CN113037828B - 一种云环境下的数据采集与控制系统 - Google Patents

一种云环境下的数据采集与控制系统 Download PDF

Info

Publication number
CN113037828B
CN113037828B CN202110232869.9A CN202110232869A CN113037828B CN 113037828 B CN113037828 B CN 113037828B CN 202110232869 A CN202110232869 A CN 202110232869A CN 113037828 B CN113037828 B CN 113037828B
Authority
CN
China
Prior art keywords
acquisition
data
client
instruction
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110232869.9A
Other languages
English (en)
Other versions
CN113037828A (zh
Inventor
张永跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202110232869.9A priority Critical patent/CN113037828B/zh
Publication of CN113037828A publication Critical patent/CN113037828A/zh
Application granted granted Critical
Publication of CN113037828B publication Critical patent/CN113037828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种云环境下的数据采集与控制系统，属于云环境下的资源监控与数据采集领域，本发明Client端与Server端通过HTTP+JSON的方式进行数据交互；Server通过向Client端发送采集指令和配置信息的方式来拉取要采集的数据和配置修改，Client端向Server端发送注册信息和定期发送心跳，以达到对Client端的状态监控。

Description

一种云环境下的数据采集与控制系统
技术领域
本发明涉及云环境下的资源监控与数据采集领域，尤其涉及一种云环境下的数据采集与控制系统。
背景技术
从维基百科上了解到，云计算是一种能够将动态伸缩的虚拟化资源通过互联网以服务的方式提供给用户的计算模式，而用户是不需要知道如何管理那些支持云计算的基础设施。通过这种方式，可以将软硬件资源共享给其它用户，提高了资源的利用效率。
但随着云计算的发展，云环境变得越来越复杂，云环境下的单个资源产生的问题很可能会对其它部分产生影响，这就需要我们对云平台环境下的资源进行统一的管理和调度。面对多云环境的场景，云平台需要监控采集的资源异常多，所涉及的接口、协议也是异常的繁杂，在没有统一的管理的情况下，这不仅给代码开发带来大量重复的工作，还给后续的运维带来异常多的工作量。数据采集方法的好坏，直接涉及到云平台对云资源的调度能力。
现有的采集方式，就是针对每一种采集资源，都会有一套采集程序，而每一套采集程序其中可能会涉及多个采集程序，比如Openstack平台下的物理机的采集，这涉及CPU、内存、磁盘和网卡等的采集，这套采集程序是由两部分组成：一部分是通过NET-SNMP工具进行的采集；另一部分是通过IPMI工具进行的采集。在多云环境下，采集程序更是异常繁杂，配置文件和日志文件繁多，这使得后续的运维工作异常艰难。
现在的数据采集方式越来越不适应多云环境，这就急需一个多云环境下的一个统一的数据采集平台对资源进行采集管理，来达到对多云环境下的全量资源进行监控，确保云平台运营者可以了解和把握总体运行情况，检查系统瓶颈和隐藏的缺陷，及时优化资源性能和可用性，并让运维人员在发生严重故障时及时对问题进行定位并解决。
发明内容
为了解决以上技术问题，本发明提供了一种云环境下的数据采集与控制方法，针对当前大量的不同协议的采集对象，统一纳管所有的采集对象，对云平台进行多维度、全方位的监控。
本发明的技术方案是：
一种云环境下的数据采集与控制方法，Client端与Server端通过HTTP+JSON的方式进行数据交互。
Server通过向Client端发送采集指令和配置信息的方式来拉取要采集的数据和配置修改，Client端向Server端发送注册信息和定期发送心跳，以达到对Client端的状态监控。
Client端在接收到采集指令后，通过规则引擎解析并将其下发到具体的采集插件中，采集插件获取到采集指令后进行采集，并将采集到的初始数据返回给数据聚合插件，数据聚合插件根据规则将数据进行聚合获取复合指标，之后Client端将采集到的指标通过Server端的默认数据接收端口发送给Server端。
进一步的，
针对大流量突发问题，Client端在采集指令接收端和采集结果端都设计并实现了对应的缓冲队列。Client端接收指令是异步的方式，在接收到指令后，并不会等待采集插件完成采集，而是直接返回采集命令已接收的响应，等到所有采集结果全部采集完，才会将复合结果返回给Server端。。
此外，本发明还提供了一种云环境下的数据采集与控制系统，包括Client客户端和Server端；
Server端用于接收Client端的注册和心跳、向Client发送采集指令、接收Client的采集数据、向数据库中灌入采集数据。Client端用于向Server端发送注册和心跳、采集数据（包括性能、告警、日志、资源等）。
在数据传输方面，两者通过HTTP+JSON的方式进行指令下达和数据交互。
进一步的，
Client端分为缓冲层、解析层、控制层、采集层、数据聚合层。
控制层是Client端对整个Client软件进行运行控制的层面，当出现错误的时候，可以让Client端捕捉错误、抛出错误、回归正常运行状态。
缓冲层是Client端将接收到的采集指令进行缓冲，以面对大量业务突发情况。
在解析层，Client端初步解析采集指令，并将指令分发到指定的采集插件中。
采集层是采集插件进行具体的采集工作，获取初步的数据。
数据聚合层是采集插件将初步采集数据进行规则运算，获取聚合指标。
进一步的，
所述Client端的工作内容如下：
（1）Client首次启动的时候需要向Server端注册，表明在某台机器上启动了Client端；
（2）已注册的Client端需要间隔固定时间向Server端发送心跳信息，表明当前客户端还活着，可以从Server端接收指令。
（3）Client端从Server端接收采集指令，然后对JSON数据进行解析，下发指令到具体完成采集工作的采集插件。
（4）Client端的指令接收与采集工作是异步的，在接收到采集指令后，并不会等待采集插件完成采集工作在响应，而是立即返回指令已接收的响应数据，待具体的采集插件采集完数据后，Client端会将数据发送到对应的Server端。
（5）Client端可纳管的对象，从底层管理对象开始，向上包括空间资源、基础设施、虚拟化平台、Laas层、Paas层、Saas层等各层的对象。
（6）从OSI分层模型上看支持的协议。在应用层上，Client支持的协议包括HTTP/HTTPS、SNMP、DNS。在传输层上，支持TCP、UDP协议。在网络层上支持IP、ICMP协议。
（7）Client统一管理所有采集对象的日志。日志文件分为两个：一个是普通日志文件，统计warn及以上级别的日志；另一个是错误日志，用于统计error及以上级别的日志。
进一步的，
（1）要监控的数据通过拉取的方式获取。也就是说需要Server端通过采集指令下达到Client端，Client端才会主动将要监控的数据发送到Server端。
（2）Client端异步处理采集指令，这可以让Client端释放占用的线程等资源，不浪费当前机器的CPU和内存，待当前采集结果全部出来之后，Client端才会返回结果集合，提高响应效率。
（3）为降低运维的难度，Client端使用的配置文件只有一个，文件内容只有Server端的信息，包括Server端的默认注册地址、心跳周期、心跳上报URL、Client端的UUID、Server端默认数据接收端口。配置文件支持热更新，可通过人工或者Server端进行修改。
（4）针对大流量突发的业务场景，Client端在指令接收一侧和采集数据聚合一侧各实现了一个缓冲队列，用于保护系统的正常运行。
（5）Client端的采集插件根据采集指令的规则进行数据的采集和数据的聚合。规则引擎支持以下规则：数值之间的加减乘除四则运算，以及字符串之间的加法运算；支持完整的逻辑运算，包括逻辑与（&&）、逻辑或（||）、逻辑非（！）；支持比较运算，包括等于（==）、不等于（！=）、大于（>）、小于（<）、大于等于（>=）、小于等于（<=）；支持+=、-=、*=、/=；支持小括号。符号之间的优先级为（从左到右逐渐降低）：小括号、逻辑非、乘除、加减、逻辑与和逻辑或。
进一步的，
在Client端代码实现上，分为对外接口、公共组件、采集插件；
对外接口用于通上游软件进行信息交互，公共组件用于指令解析、数据整合、配置修改、错误处理方面，采集插件里集合了众多的采集插件，以底层功能函数为依托，不仅囊括了针对具体的采集对象的采集插件，还可以和不同的云服务商进行对接。
进一步的，
对外接口部分提供了统一采集接收接口、配置更新接口、数据上送接口、心跳接口；
其中，
统一采集接收接口用于接收上游Server端下发的采集指令；
配置更新接口用于上游Server端更新配置信息；
数据上送接口将聚合后的数据从Client端上传到Server端；
心跳接口用于Client端发送信息到Server端，以表明自己当前还存活着。
公共组件部分提供了缓冲队列、指令解析与分发、数据整合、配置修改、定时任务、错误处理、日志处理。
采集插件部分以功能函数为依托，将解析后的采集指令下发到具体的采集插件，采集插件将采集到的数据输送到数据整合接口，并且支持从其它云厂商开放的api接口来采集数据。
本发明的有益效果是
在现在的多云环境下，本项发明囊括HTTP/HTTPS、SNMP、DNS、TCP、UDP、IP、ICMP等众多协议，支持其它云服务商开放的接口，能够统一采集所有的监控对象，统一采集流程，并对采集日志进行统一处理。统一采集的意义，对于云服务商来说， 及时获取监控对象的数据，掌握当前监控对象的资源使用情况，把握整个平台的运行情况，在面对问题时能够及时溯源，大大降低了整个的运维成本，对于客户来说，可以让客户更放心的使用云服务商的产品。
附图说明
图1是Client端的逻辑图；
图2是缓冲队列的原理流程图；
图3是采集流程图；
图4是整体设计图；
图5是网络架构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着云计算技术的普及，大量企业开始将业务迁入到云计算环境中。对于任何一个云服务器平台，监控云平台资源的使用情况与平台上业务的运行情况，保障云平台的正常运行，是越来越重要的事情。
现在云平台环境下从底层的管理对象开始、向上到空间资源、基础设施、虚拟化平台、Laas层、Paas层、Saas层，需要采集监控的资源非常多，每一种资源的监控手段也会有很多差别。如果针对每一种采集对象编写一个采集程序，这带来的编程工作量非常大，而且对于后续的部署运维来说，也是一个非常大的工作量。
本发明实现了从底层管理对象开始，向上针对空间资源、基础设施、虚拟化平台、Laas层、Paas层、Saas层的全面的数据采集。
在Client端代码实现上，分为对外接口、公共组件、采集插件，对外接口用于通上游软件进行信息交互，公共组件用于指令解析、数据整合、配置修改、错误处理等方面，采集插件里集合了众多的采集插件，以底层功能函数为依托，不仅囊括了针对具体的采集对象的采集插件，还可以和不同的云服务商进行对接， 来达到对多个云服务厂商的资源进行数据采集的目的。
Client端的逻辑图如图1所示。
对外接口部分提供了统一采集接收接口、配置更新接口、数据上送接口、心跳接口。其中统一采集接收接口用于接收上游Server端下发的采集指令，配置更新接口用于上游Server端更新配置信息，数据上送接口将聚合后的数据从Client端上传到Server端，心跳接口用于Client端发送信息到Server端，以表明自己当前还存活着。
公共组件部分提供了缓冲队列、指令解析与分发、数据整合、配置修改、定时任务、错误处理、日志处理。
缓冲队列是基于令牌桶进行实现的，其原理是以恒定的速率往木桶里加入令牌，当木桶满了就不再加入令牌，服务收到请求时尝试从木桶中取出一个令牌，如果能得到令牌则进行执行后续的业务逻辑，如果没有得到令牌，则会直接返回访问受限的错误码等，不继续执行后续的业务逻辑，其算法逻辑如图2所示。
采集指令以JSON串的形式下发到各个Client端，主要字段为executionNum、postUrl、clientUuid、xxx，executionNum是此次采集任务的任务号，postUrl是此次采集结果上传调用的接口，clientUuid是Client端的唯一ID，xxx以各个采集插件命令，指令解析接口以此为依据，将xxx内的JSON串下发到具体的采集插件中。
数据整合是通过规则引擎实现的，规则引擎引用哔哩哔哩授权开源的gengine，是一款基于golang和AST开发的引擎，提供了四个接口，在使用上简单易用，支持常见的基础数据类型，比如String、Bool、Int、Float等类型，支持加减乘除运算、逻辑运算、比较运算等。
配置修改接口接收JSON串，其字段包括registerUrl、heartBeatGap、heartUrl、uuid、postUrl。registerUrl指Client端的注册地址，heartBeatGap指心跳周期，即指Client端发送心跳信息的周期，heartUrl指Client端心跳上送的地址，uuid指Client端的唯一ID，postUrl是上送数据的端口。配置文件的修改支持热更新，即支持在Client端不暂停的情况下修改配置文件。
定时任务指Client端支持定时采集对象的能力，通过开启一个线程定时执行任务即可。
错误处理指Client端支持捕捉错误，并防止因为错误的发生而导致Client端没法正常运行。
日志处理是Client端统一管理产生的日志，针对warn及以上级别的日志，统一输出到日志文件中，针对error级别及以上的日志，统一输出到错误日志文件中，以方便运维人员进行问题溯源。
采集插件部分以功能函数为依托，将解析后的采集指令下发到具体的采集插件，采集插件将采集到的数据输送到数据整合接口，并且支持从其它云厂商开放的api接口来采集数据。采集插件部分从下到上要采集的对象的对象依次为：针对管理对象，支持云服务商、软件开发商、区域、位置等信息的采集；针对空间资源，支持机房、机位、动环等信息的采集；针对基础设施，支持计算资源、网络资源、存储资源、安全资源等的采集；针对虚拟化平台，支持VMware、Openstack、Docker等平台的采集；针对Laas层，支持ECS（云服务器）、EBS（云硬盘）、BMS（云物理主机）等的采集；针对Paas层，支持RDS（云数据库，包括Mysql、SQLServer、Redis等数据库）；针对Saas层，支持对web应用、业务、中间件（包括数据库中间件、消息中间件、web服务中间件等）的采集。
Client端的采集流程如图3所示。
如图4所示，通过以下步骤进行操作，获取待采集设备的数据：
1）打通分别安装了Server端和Client端的机器之间的网络，要双向互通。
2）在云管平台应用所在的机器上部署Server。
3）针对Client端，有两种情况，一种是将其作为侵入式插件进行安装，另一种是作为非侵入式插件进行安装。侵入式安装是因为只能将其安装到待采集设备上，才能获取对应权限，采集相关数据。非侵入式安装只要保障待采集设备与安装了Client端的设备之间网络互通即可。
4）Server端向指定Client端发送配置信息，配置信息里指定了Server端的信息和心跳信息，以用于后期的心跳发送和数据发送。
5）Server端向指定的Client端发送采集命令。
6）Client端接收指令，并缓冲到队列中，然后从缓冲队列中获取采集指令，并将解析后的指令分发到指定的采集插件中。
7）采集插件根据指令采集初始数据，并根据规则引擎将数据聚合获取复合指标。
8）获取到复合指标后，Client端通过数据上送接口将其发送到对应的Server端。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (3)

1.一种云环境下的数据采集与控制系统，其特征在于，
包括Client客户端和Server端；
Server端用于接收Client端的注册和心跳、向Client发送采集指令、接收Client的采集数据、向数据库中灌入采集数据；
Client端用于向Server端发送注册和心跳、采集数据；
在数据传输方面，两者通过HTTP+JSON的方式进行指令下达和数据交互；
Client端分为缓冲层、解析层、控制层、采集层、数据聚合层；
控制层是Client端对整个Client软件进行运行控制的层面，当出现错误的时候，让Client端捕捉错误、抛出错误、回归正常运行状态；
缓冲层是Client端将接收到的采集指令进行缓冲，以面对大量业务突发情况；
在解析层，Client端初步解析采集指令，并将指令分发到指定的采集插件中；
采集层是采集插件进行具体的采集工作，获取初步的数据；
数据聚合层是采集插件将初步采集数据进行规则运算，获取聚合指标；
所述Client端的工作内容如下：
（1）Client首次启动的时候需要向Server端注册，表明在台机器上启动了Client端；
（2）已注册的Client端需要间隔固定时间向Server端发送心跳信息，表明当前客户端还活着，可从Server端接收指令；
（3）Client端从Server端接收采集指令，然后对JSON数据进行解析，下发指令到具体完成采集工作的采集插件；
（4）Client端的指令接收与采集工作是异步的，在接收到采集指令后，并不会等待采集插件完成采集工作在响应，而是立即返回指令已接收的响应数据，待具体的采集插件采集完数据后，Client端会将数据发送到对应的Server端；
（5）Client端可纳管的对象，从底层管理对象开始，向上包括空间资源、基础设施、虚拟化平台、Laas层、Paas层、Saas层的对象；
（6）从OSI分层模型上看支持的协议；在应用层上，Client支持的协议包括HTTP/HTTPS、SNMP、DNS；在传输层上，支持TCP、UDP协议；在网络层上支持IP、ICMP协议；
（7）Client统一管理所有采集对象的日志；日志文件分为两个：一个是普通日志文件，统计warn及以上级别的日志；另一个是错误日志，用于统计error及以上级别的日志；
要监控的数据通过拉取的方式获取； Server端通过采集指令下达到Client端，Client端才会主动将要监控的数据发送到Server端；
Client端异步处理采集指令，让Client端释放占用的资源，待当前采集结果全部出来之后，Client端才会返回结果集合；
Client端使用的配置文件只有一个，文件内容只有Server端的信息；配置文件支持热更新，可通过人工或者Server端进行修改；
针对大流量突发的业务场景，Client端在指令接收一侧和采集数据聚合一侧各实现了一个缓冲队列，用于保护系统的正常运行；
Client端的采集插件根据采集指令的规则进行数据的采集和数据的聚合；规则引擎支持以下规则：数值之间的加减乘除四则运算，以及字符串之间的加法运算；支持完整的逻辑运算，包括逻辑与（&&）、逻辑或（||）、逻辑非（！）；支持比较运算，包括等于（==）、不等于（！=）、大于（>）、小于（<）、大于等于（>=）、小于等于（<=）；支持+=、-=、*=、/=；支持小括号；符号之间的优先级为：小括号、逻辑非、乘除、加减、逻辑与和逻辑或，从左到右逐渐降低；
在Client端代码实现上，分为对外接口、公共组件、采集插件；
对外接口用于通上游软件进行信息交互，公共组件用于指令解析、数据整合、配置修改、错误处理方面，采集插件里集合了众多的采集插件，以底层功能函数为依托，不仅囊括了针对具体的采集对象的采集插件，还可以和不同的云服务商进行对接；
对外接口部分提供了统一采集接收接口、配置更新接口、数据上送接口、心跳接口；
其中，
统一采集接收接口用于接收上游Server端下发的采集指令；
配置更新接口用于上游Server端更新配置信息；
数据上送接口将聚合后的数据从Client端上传到Server端；
心跳接口用于Client端发送信息到Server端，以表明自己当前还存活着。
2.根据权利要求1所述的系统，其特征在于，
Client端的公共组件部分提供了缓冲队列、指令解析与分发、数据整合、配置修改、定时任务、错误处理、日志处理。
3.根据权利要求1所述的系统，其特征在于，
Client端的采集插件部分以功能函数为依托，将解析后的采集指令下发到具体的采集插件，采集插件将采集到的数据输送到数据整合接口，并且支持从其它云厂商开放的api接口来采集数据。
CN202110232869.9A 2021-03-03 2021-03-03 一种云环境下的数据采集与控制系统 Active CN113037828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110232869.9A CN113037828B (zh) 2021-03-03 2021-03-03 一种云环境下的数据采集与控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110232869.9A CN113037828B (zh) 2021-03-03 2021-03-03 一种云环境下的数据采集与控制系统

Publications (2)

Publication Number Publication Date
CN113037828A CN113037828A (zh) 2021-06-25
CN113037828B true CN113037828B (zh) 2023-01-20

Family

ID=76465920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110232869.9A Active CN113037828B (zh) 2021-03-03 2021-03-03 一种云环境下的数据采集与控制系统

Country Status (1)

Country Link
CN (1) CN113037828B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992492B (zh) * 2021-12-28 2022-08-09 北京天维信通科技有限公司 基于扩展tcp协议实现单地址单端口连接的管理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061786A (zh) * 2019-11-11 2020-04-24 国云科技股份有限公司 一种多云环境下的资源同步方法及其系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117376A1 (en) * 2002-07-12 2004-06-17 Optimalhome, Inc. Method for distributed acquisition of data from computer-based network data sources
CN108512719B (zh) * 2018-03-02 2021-06-08 南京易捷思达软件科技有限公司 一种基于开源云平台的一体化资源监控系统
CN110795412B (zh) * 2019-10-10 2023-01-20 北京达佳互联信息技术有限公司 日志信息的处理方法、装置及存储介质
CN110784377A (zh) * 2019-10-30 2020-02-11 国云科技股份有限公司 一种多云环境下的云监控数据统一管理的方法
CN111258979B (zh) * 2020-01-16 2022-04-15 山东大学 一种云防护日志系统及其工作方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061786A (zh) * 2019-11-11 2020-04-24 国云科技股份有限公司 一种多云环境下的资源同步方法及其系统

Also Published As

Publication number Publication date
CN113037828A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN107992398B (zh) 一种业务系统的监控方法和监控系统
US9916232B2 (en) Methods and systems of distributed tracing
Kutare et al. Monalytics: online monitoring and analytics for managing large scale data centers
US9342431B2 (en) Technique to generically manage extensible correlation data
US9521004B2 (en) Methods and systems of generating a billing feed of a distributed network
EP3796167A1 (en) Router management by an event stream processing cluster manager
US9535749B2 (en) Methods for managing work load bursts and devices thereof
CN113676400B (zh) 用于环保数据采集设备物联接入的云网关系统
CN113037828B (zh) 一种云环境下的数据采集与控制系统
Li et al. Research and application of server cluster load balancing technology
KR20180086919A (ko) 네트워크 보안 기능 가상화 기반의 클라우드 보안 분석 장치, 보안 정책 관리 장치 및 보안 정책 관리 방법
Wang et al. Scalable run-time correlation engine for monitoring in a cloud computing environment
CN107370724A (zh) 一种分布式云计算系统
Huang et al. Harnessing data movement in virtual clusters for in-situ execution
CN112667683A (zh) 流计算系统及其电子设备和存储介质
Zhang et al. Efficient online surveillance video processing based on spark framework
Gogouvitis et al. A monitoring mechanism for storage clouds
CN103078764A (zh) 基于虚拟计算任务的运行监测系统及方法
Agavane Improve Load Balancing Performance and Efficiency Using Equally Spread Current Execution Algorithm working with response time clustering in Microservices
Wang et al. Log data modeling and acquisition in supporting SaaS software performance issue diagnosis
CN115309559A (zh) 一种基于kvm云平台的虚拟化资源统筹优化系统
Long et al. An improved topology schedule algorithm for storm system
Gao et al. A remote resource management method for transparent computing
Wang et al. Model Construction and Data Management of Running Log in Supporting SaaS Software Performance Analysis.
Chakraborty et al. Priority based resource scheduling techniques for a resource constrained stream processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant