CN113010565B - 基于服务器集群的服务器实时数据处理方法及系统 - Google Patents

基于服务器集群的服务器实时数据处理方法及系统 Download PDF

Info

Publication number
CN113010565B
CN113010565B CN202110319518.1A CN202110319518A CN113010565B CN 113010565 B CN113010565 B CN 113010565B CN 202110319518 A CN202110319518 A CN 202110319518A CN 113010565 B CN113010565 B CN 113010565B
Authority
CN
China
Prior art keywords
data
real
server
time
time data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110319518.1A
Other languages
English (en)
Other versions
CN113010565A (zh
Inventor
易龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110319518.1A priority Critical patent/CN113010565B/zh
Publication of CN113010565A publication Critical patent/CN113010565A/zh
Application granted granted Critical
Publication of CN113010565B publication Critical patent/CN113010565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请提供了基于服务器集群的服务器实时数据处理方法及系统；其中，该方法包括：采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据；对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将格式转换后的服务器实时数据写入消息队列；采用至少一种数据解析插件，对消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求。通过本申请，能够更好地支持大规模服务器运营场景中实时数据处理需求，提升数据应用场景覆盖率及运营数据处理效率，降低运营成本。

Description

基于服务器集群的服务器实时数据处理方法及系统
技术领域
本申请涉及但不限于大数据技术领域，尤其涉及一种基于服务器集群的服务器实时数据处理方法及系统。
背景技术
随着云服务业务的发展，各云服务运营商和使用方越来越重视用户业务运行的稳定性和持续性，从而对服务器的数据运营能力也提出了更高的要求。相关技术中，针对服务器的数据运营只能提供对较小规模的服务器运营场景的数据支撑能力，数据应用场景的覆盖面较小，无法很好地对百万级服务器甚至千万级服务器的运营场景提供数据支撑，特别是无法满足实时业务场景中的数据处理及分析需求。
发明内容
本申请实施例提供一种基于服务器集群的服务器实时数据处理方法及系统，能够更好地支持大规模服务器运营场景中的实时数据处理及分析需求，从而可以增强服务器运营的数据支撑能力，提升服务器运营领域数据应用场景覆盖率，并且能够提升运营数据的处理效率，降低人工运营成本。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种基于服务器集群的服务器实时数据处理方法，包括：
采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据；
对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将所述格式转换后的服务器实时数据写入消息队列；
采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；所述实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求。
本申请实施例提供一种基于服务器集群的服务器实时数据处理系统，包括：
数据采集服务，用于采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据；
数据适配服务，用于对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将所述格式转换后的服务器实时数据写入消息队列；
数据解析服务，用于采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；所述实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求。
在一些实施例中，所述服务器实时数据的类型包括以下至少之一：服务器硬件状态类型，服务器网络状态类型，操作系统日志类型。
在一些实施例中，所述数据采集服务还用于：针对每一种服务器实时数据的类型，基于设定的数据采集策略，确定所述类型对应的数据采集通道；采用每一所述数据采集通道，从服务器集群的至少一个服务器中，采集服务器实时数据。
在一些实施例中，所述数据适配服务还用于：针对每一所述数据采集通道，基于所述数据采集通道的数据采集协议和设定的目标协议，将所述数据采集通道中采集的服务器实时数据的格式转换为与所述目标协议匹配的格式。
在一些实施例中，所述数据解析服务还用于：采用所述至少一种数据解析插件从所述消息队列中获取待解析的服务器实时数据；采用所述至少一种数据解析插件中的每一数据解析插件，基于所述数据解析插件的数据解析策略，对所述待解析的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据。
在一些实施例中，所述数据解析服务还用于：获取预先配置的至少一种数据解析策略；针对每一数据解析策略，采用微服务部署方式部署并启动所述数据解析策略对应的数据解析插件。
在一些实施例中，所述数据解析服务还用于：监听每一数据解析策略是否发生变更；在确定有数据解析策略发生变更的情况下，获取变更后的所述数据解析策略；基于变更后的所述数据解析策略，采用微服务部署方式重新部署并启动所述数据解析策略对应的数据解析插件。
在一些实施例中，所述系统还包括：实时大数据处理服务，用于采用实时大数据处理框架，至少对所述实时指标数据进行实时计算处理，得到计算结果；采用至少一种数据存储方式，对所述计算结果进行存储，以支撑服务器实时数据运营需求。
在一些实施例中，所述实时大数据处理服务还用于：采用列式存储的方式，对所述计算结果进行存储，以支撑针对服务器实时数据的联机分析处理(Online analyticalprocessing，OLAP)查询分析需求。
本申请实施例具有以下有益效果：
首先，通过采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据，可以更好地支持大数据量的、多种类型的服务器实时数据的采集；其次，通过对每一数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将格式转换后的服务器实时数据写入消息队列，可以避免后续数据处理过程中由于系统性能、发布或漏洞等原因导致采集到的服务器实时数据的丢失，保证对大数据量的服务器实时数据进行实时处理时的数据稳定性；最后，采用至少一种数据解析插件，对消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据，可以通过平行扩展插件的方式实现对服务器实时数据的不同解析处理，从而得到的实时指标数据用于实时大数据处理框架进行计算处理时，可以支撑不同的服务器实时数据运营需求。这样，通过在数据采集、落地存储、数据解析以及数据计算四个层面提升对大数据量的、多种类型的服务器实时数据的实时处理能力，能够更好地支持大规模服务器运营场景中的实时数据处理及分析需求，从而可以增强服务器运营的数据支撑能力，提升服务器运营领域数据应用场景的覆盖率，并且能够提升运营数据的处理效率，降低人工运营成本。
附图说明
图1A是相关技术中基于离线计算的数据处理框架的组成结构示意图；
图1B是本申请实施例提供一种基于服务器集群的服务器实时数据处理系统的一个可选的架构示意图；
图2是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图；
图3是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图；
图4是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图；
图5是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图；
图6是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图；
图7是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图；
图8是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图；
图9是本申请实施例提供的服务器数据运营场景下的数据处理方法的实现架构示意图；
图10是Lambda数据架构的组成结构示意图；
图11是本申请实施例提供的一种服务器运营领域的离线实时计算+OLAP大数据分析处理框架的架构示意图；
图12是本申请实施例提供一种基于服务器集群的服务器实时数据处理系统的组成架构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)Lambda数据架构：一种实时大数据处理框架，能满足实时大数据系统的高容错、低延时和可扩展等关键特性，可以整合离线计算和实时计算，融合不可变性、读写分离和复杂性隔离等一系列架构原则。
2)离线计算：离线计算是指在计算开始前已知所有输入数据，输入数据不会产生变化，且在解决一个问题后就要立即得出结果的前提下进行的计算。离线计算在大数据处理中属于数据的计算部分，在该计算部分中与离线计算对应的则是实时计算；
3)实时计算：实时计算是对一种或者多种数据源按照业务需求，实时进行的计算处理。
为了更好地理解本申请实施例提供的基于服务器集群的服务器实时数据处理方法，下面先对相关技术中对服务器数据的处理方案进行说明。
相关技术中，通常采用基于离线计算的数据处理框架对服务器数据进行处理，参见图1A，图1A是相关技术中基于离线计算的数据处理框架的组成结构示意图，该框架包括：不可变的主数据库111、解析接入模块112、数据源113、预计算视图模块114、数据仓库115、本地存储数据库116，在该架构下，对数据进行处理的主要流程如下：
1)解析接入模块112从多个数据源113获取待处理的原始数据，待处理的原始数据可以包括采集的服务器整机和部件数据、服务器运营流程数据、外部系统数据等；
2)解析接入模块112将待处理的原始数据进行解析后，接入到数据仓库中不可变的主数据库111中，数据仓库115可以是腾讯数据仓库(Tencent Data Warehouse，TDW)、Apache Hadoop、Hadoop数据库(Hadoop Database，HBase)等；
3)不可变的主数据库111中不同业务的数据经过在离线计算引擎中配置的离线计算任务，根据不同的模型逻辑计算得到离线处理后的结果，并将离线处理后的结果写回到数据仓库115中，离线计算任务周期支持小时级、天级、周级、月级；
4)经过数据出库调度任务，将数据仓库115中离线处理后的结果数据出库到本地存储数据库116，例如MySQL，出库任务周期支持小时级、天级、周级、月级；
5)各个业务应用120的后台读取本地存储数据库116中的数据，可以将数据提供给业务前端页面展示或者以API的方式供外部系统调用。
上述相关技术中对服务器数据的处理方案，仅支持基于离线计算的数据处理，而无法支持实时计算的业务场景需求，对于服务器实时数据的采集和解析接入处理也随着服务器集群规模的增大而存在性能瓶颈，此外，也不支持各种数据源解析策略的实时变更，如服务器部件数据和日志数据的实时解析策略变更。因此，上述相关技术中对服务器数据的处理方案无法很好地对大规模服务器集群中的服务器运营场景提供数据支撑，特别是无法满足实时业务场景中的数据处理及分析需求。
本申请实施例提供一种基于服务器集群的服务器实时数据处理方法及系统，能够更好地支持大规模服务器运营场景中的实时数据处理及分析需求，从而可以增强服务器运营的数据支撑能力，提升服务器运营领域数据应用场景覆盖率，并且能够提升运营数据的处理效率，降低人工运营成本。下面说明本申请实施例提供的基于服务器集群的服务器实时数据处理系统的示例性应用，参见图1B，图1B是本申请实施例提供的基于服务器集群的服务器实时数据处理系统100的一个可选的架构示意图，可以实现大规模服务器集群运营场景中的实时数据处理，该系统包括数据采集服务110、数据适配服务120和数据解析服务130，其中：
数据采集服务110，用于采用多种数据采集通道，从服务器集群200的至少一个服务器中，采集不同类型的服务器实时数据；
数据适配服务120，用于对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将所述格式转换后的服务器实时数据写入消息队列；
数据解析服务130，用于采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；所述实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求。这里，实时大数据处理框架进行计算处理得到的结果可以存储在至少一种存储系统(示例性示出存储系统400-1、400-2和400-3)中，以供数据运营系统500查询，用于支撑服务器实时数据运营需求。
数据采集服务110与数据适配服务120之间可以通过网络310连接，数据适配服务120与数据解析服务130之间可以通过网络320连接，网络310和网络320均可以是广域网或者局域网，又或者是二者的组合，网络310和网络320可以是同一个网络也可以是不同的两个网络。
本申请实施例提供的基于服务器集群的服务器实时数据处理系统中的数据采集服务、数据适配服务和数据解析服务可以运行在笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端上，也可以运行在服务器上。数据采集服务、数据适配服务和数据解析服务可以运行在同一终端或服务器上，也可以分别部署在不同的终端或服务器上。
在一些实施例中，运行数据采集服务、数据适配服务或数据解析服务的服务器可以是独立的物理服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。数据采集服务、数据适配服务和数据解析服务中的任意两个运行在同一服务器中时，可以是互相独立的两个进程或线程，也可以是同一个进程中的不同线程。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。多个终端或服务器之间可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例中不做限制。
本申请实施例涉及的基于服务器集群的服务器实时数据处理系统也可以是应用于区块链系统的分布式系统，所述分布式系统可以是由多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)和客户端形成的分布式节点，节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，TransmissionControl Protocol)之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，运行数据采集服务、数据适配服务或数据解析服务的服务器或终端均可以作为该分布式系统中的节点。
下面将结合本申请实施例提供的基于服务器集群的服务器实时数据处理系统的示例性应用和实施，说明本申请实施例提供的基于服务器集群的服务器实时数据处理方法。
参见图2，图2是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图，下面将结合图2示出的步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S101中，采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据。
这里，服务器集群可以是任意合适的集群，包括至少一个服务器。服务器集群中的服务器可以是独立的物理服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，这里并不限定。
服务器实时数据为用于表征服务器实时信息的数据，根据实际情况可以采用任意合适的分类方式将服务器实时数据划分为不同的类型。例如，可以根据数据表征信息的维度，将服务器实时数据划分为服务器硬件状态类型、服务器网络状态类型、操作系统日志类型等，其中，服务器硬件状态类型的数据为表征服务器各硬件实时运行状态的数据，可以包括但不限于服务器的硬盘、风扇、电源、中央处理器(Central Processing Unit，CPU)等部件的实时运行状态，服务器网络状态类型的数据为表征服务器实时网络状态的数据，可以包括服务器的实时网络连接状态、实时每秒查询率(QPS，Queries-per-second)、实时网络吞吐量等，操作系统日志类型的数据可以是记录操作系统实时运行状态的日志数据，可以包括系统的实时内存使用状态、系统运行错误信息等。又如，可以根据数据采集方式的维度，将服务器实时数据划分为带内采集类型和带外采集类型，也可以将服务器实时数据划分为服务器上报类型和主动采集类型。
数据采集通道为对服务器实时数据进行采集的数据通道，不同种类的数据采集通道可以采用不同的方式对不同类型的服务器实时数据进行的采集。在实施时，每一数据采集通道可以基于一设定的数据采集规则或协议，从服务器中采集服务器实时数据。
在一些实施例中，所述服务器实时数据的类型包括以下至少之一：服务器硬件状态类型，服务器网络状态类型，操作系统日志类型。
在步骤S102中，对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将所述格式转换后的服务器实时数据写入消息队列。
这里，不同的数据采集通道中采集的服务器实时数据的数据格式可能会不同，可以通过格式转换处理，将每一数据采集通道中采集的服务器实时数据转换为特定的格式，以便于后续的数据解析、数据计算等处理。在实施时，可以基于采集的服务器实时数据的原始格式和转换后的目标格式，采用任意合适的方式对采集的服务器实时数据进行格式处理，这里并不限定。转换后的目标格式可以是用户预先配置的，也可以是系统默认的。
对采集的服务器实时数据进行格式转换后，可以将格式转换后的服务器实时数据写入消息队列，使得其他应用或服务可以从消息队列中获取格式转换后的服务器实时数据，用于进行展示或进一步处理等。在实施时，可以采用任意合适的消息队列，例如ActiveMQ、RabbitMQ、RocketMQ、Kafka等。
在步骤S103中，采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；所述实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求。
这里，可以运行至少一种数据解析插件，每一数据解析插件可以对消息队列中的服务器实时数据进行解析处理，得到解析后的实时指标数据。数据解析插件可以是根据不同的服务器实时数据运营需求开发后运行的，不同的数据解析插件可以按照不同的数据解析策略对服务器实时数据进行解析处理。在实施时，本领域技术人员可以根据实际需求部署和运行合适的数据解析插件，这里并不限定。例如，在服务器实时数据运营时，需要查询服务器集群中出现电源异常的服务器的电源实时指标数据，如电源实时使用时长、电源实时运行状态等，则可以部署并运行一个用于解析电源实时指标数据的数据解析插件，对消息队列中的电源实时运行状态数据进行解析处理，得到电源实时运行状态数据中电源实时使用时长、电源实时运行状态等对应字段的值。又如，在服务器实时数据运营时，需要查询服务器集群中各服务器的内存使用状态实时指标数据，如实时内存使用率、实时可用内存量等，则可以部署并运行一个用于解析内存使用状态实时指标数据的数据解析插件，对消息队列中的内存实时使用状态数据进行解析处理，得到实时内存使用率、实时可用内存量等内存使用状态实时指标数据。
在得到解析后的实时指标数据后，可以根据实际需求对得到的实时指标数据进行存储，进而可以采用实时大数据处理框架基于存储的实时指标数据进行计算处理，以支撑服务器实时数据运营需求。在实施时，可以采用任意合适的方式对实时指标数据进行存储，例如，可以将实时指标数据存储至数据仓库、MySQL数据库、消息队列等。在对存储的实时指标数据进行计算处理时，可以采用任意合适的实时大数据处理框架，例如Lambda数据处理架构、Kappa数据处理架构等。
本申请实施例中，首先，采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据，可以更好地支持大数据量的、多种类型的服务器实时数据的采集；其次，通过对每一数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将格式转换后的服务器实时数据写入消息队列，可以避免后续数据处理过程中由于系统性能、发布或漏洞等原因导致采集到的服务器实时数据的丢失，保证对大数据量的服务器实时数据进行实时处理时的数据稳定性；最后，采用至少一种数据解析插件，对消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据，可以通过平行扩展插件的方式实现对服务器实时数据的不同解析处理，从而得到的实时指标数据用于实时大数据处理框架进行计算处理时，可以支撑不同的服务器实时数据运营需求。这样，通过在数据采集、落地存储、数据解析以及数据计算四个层面提升对大数据量的、多种类型的服务器实时数据的实时处理能力，能够更好地支持大规模服务器运营场景中的实时数据处理及分析需求，从而可以增强服务器运营的数据支撑能力，提升服务器运营领域数据应用场景的覆盖率，并且能够提升运营数据的处理效率，降低人工运营成本。
在一些实施例中，参见图3，图3是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图，基于图2，步骤S101可以通过如下步骤S301至步骤S302实现。下面将结合各步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S301中，针对每一种服务器实时数据的类型，基于设定的数据采集策略，确定所述类型对应的数据采集通道。
这里，每一种服务器实时数据的类型对应一种数据采集通道。数据采集策略可以是预先设定的针对不同类型的服务器实时数据进行采集的策略，可以包括采集各类型的服务器实时数据时需要采用的数据采集通道。在实施时，可以通过匹配设定的数据采集策略，确定每一种服务器实时数据的类型对应的数据采集通道。
在步骤S302中，采用每一所述数据采集通道，从服务器集群的至少一个服务器中，采集服务器实时数据。
这里，每一数据采集通道可以基于数据采集服务与服务器集群的至少一个服务器之间的连接实现服务器实时数据的采集。例如，针对每一数据采集通道，可以在服务器集群的至少一个服务器上部署该数据采集通道对应的数据采集代理，数据采集代理可以实时从服务器中采集与数据采集通道对应的类型的服务器实时数据，并将采集到的服务器实时数据通过该数据采集通道上传至数据采集服务。又如，针对每一数据采集通道，还可以通过该数据采集通道向服务器集群中的至少一个服务器下发实时数据采集指令，通过在服务器上执行该数据采集指令，可以从服务器中采集与数据采集通道对应的类型的服务器实时数据，并将采集到的服务器实时数据通过该数据采集通道上传至数据采集服务。
本申请实施例中，针对每一种服务器实时数据的类型，基于设定的数据采集策略，确定该类型对应的数据采集通道，并采用每一数据采集通道，从服务器集群的至少一个服务器中，采集服务器实时数据。这样，可以通过不同的数据采集通道分别采集不同类型的服务器实时数据，从而可以更好地满足不同运营场景的服务器实时数据采集需求，并且通过对要采集的服务器实时数据进行分类，可以实现数据采集的分流，从而可以提高数据采集的性能，有效避免因采集的数据量过大导致的性能瓶颈。
在一些实施例中，参见图4，图4是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图，基于图2，步骤S102可以通过如下步骤S401实现。下面将结合各步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S401中，针对每一所述数据采集通道，基于所述数据采集通道的数据采集协议和设定的目标协议，将所述数据采集通道中采集的服务器实时数据的格式转换为与所述目标协议匹配的格式。
这里，数据采集通道可以基于一个特定的数据采集协议从服务器中采集数据，数据采集通道中采集的服务器实时数据的格式是由该数据采集协议确定的。不同的数据采集通道锁采用的数据采集协议可以是不同的。目标协议为定义采集的服务器实时数据需要统一转换的数据格式的协议，可以是预先设定的任意合适的协议。在实施时，可以根据对服务器实时数据进行解析处理及计算处理的下游服务或下游系统，确定合适的目标协议，这里并不限定。
本申请实施例中，针对每一数据采集通道，基于该数据采集通道的数据采集协议和设定的目标协议，将数据采集通道中采集的服务器实时数据的格式转换为与目标协议匹配的格式。这样，可以将不同数据采集通道采集的服务器实时数据转换为统一的格式，从而可以更好地适配对服务器实时数据进行解析处理及计算处理的下游服务或下游系统，减少数据解析处理及数据计算处理的复杂度。
在一些实施例中，参见图5，图5是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图，基于图2，步骤S103可以通过如下步骤S501至步骤S502实现。下面将结合各步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S501中，采用所述至少一种数据解析插件从所述消息队列中获取待解析的服务器实时数据。
这里，可以在服务器中运行至少一个数据解析插件，每一数据解析插件可以通过从消息队列中订阅消息，来获取待解析的服务器实时数据。不同的数据解析插件可以订阅同样的消息，也可以订阅不同的消息，这里并不限定。
在步骤S502中，采用所述至少一种数据解析插件中的每一数据解析插件，基于所述数据解析插件的数据解析策略，对所述待解析的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据。
这里，每一数据解析插件可以实现一种数据解析策略，通过运行每一数据解析插件，可以对待解析的服务器实时数据按照对应的数据解析策略进行解析处理，得到相应的实时指标数据。在一些实施例中，数据解析插件可以通过读取配置文件的方式确定对应的数据解析策略，并基于该数据解析策略对待解析的服务器实时数据进行解析处理。在一些实施例中，还可以基于数据解析策略开发对应的数据解析插件，从而在数据解析插件的程序中实现对应的数据解析策略。
本申请实施例中，采用至少一种数据解析插件从消息队列中获取待解析的服务器实时数据，采用至少一种数据解析插件中的每一数据解析插件，基于数据解析插件的数据解析策略，对待解析的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据。这样，可以基于不同的数据解析策略实现对服务器实时数据的不同解析处理，从而可以更好地满足不同的服务器实时数据运营场景下的数据解析需求。
在一些实施例中，参见图6，图6是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图，基于图2，在步骤S103之前，该方法还可以执行步骤S601至步骤S602。下面将结合各步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S601中，获取预先配置的至少一种数据解析策略。
这里，可以预先根据服务器数据运营需求配置至少一种数据解析策略。在实施时，预先配置的数据解析策略可以存储在配置文件或者数据库等中，可以通过读取配置文件或者查询数据库等方式，得到至少一种数据解析策略。
在步骤S602中，针对每一数据解析策略，采用微服务部署方式部署并启动所述数据解析策略对应的数据解析插件。
这里，每一数据解析策略可以对应一个数据解析插件。在实施时，可以预先针对每一数据解析策略，开发生成一个实现该数据解析策略的插件文件，并将生成的至少一个插件文件存储在本地文件系统、数据库或者云端等中的一处或多处。在进行服务部署时，可以针对每一数据解析策略，读取该数据解析策略对应的插件文件，并可以基于该插件文件，采用微服务部署方式部署并启动该数据解析策略对应的数据解析插件。
需要说明的是，上述步骤S601至步骤S602不限于如图6所示的执行顺序，例如，还可以在步骤S101之前执行步骤S601至步骤S602。
本申请实施例中，获取预先配置的至少一种数据解析策略，并针对每一数据解析策略，采用微服务部署方式部署并启动所述数据解析策略对应的数据解析插件。这样，由于微服务部署方式可以实现服务的即插即用，因而可以在不影响已部署的数据解析插件的正常运行的基础上，方便地新增实现其他数据解析策略的数据解析插件，从而可以实现新增数据解析策略的实时生效，从而可以进一步提升对大数据量的、多种类型的服务器实时数据的实时处理能力。
在一些实施例中，参见图7，图7是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图，基于图6，该方法还可以执行步骤S701至步骤S703。下面将结合各步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S701中，监听每一数据解析策略是否发生变更。
这里，可以采用任意合适的方式监听数据解析策略是否发生变更，本申请实施例对此并不限定。
在步骤S702中，在确定有数据解析策略发生变更的情况下，获取变更后的所述数据解析策略。
这里，可以通过读取配置文件或者查询数据库等方式，得到变更后的数据解析策略。
在步骤S703中，基于变更后的所述数据解析策略，采用微服务部署方式重新部署并启动所述数据解析策略对应的数据解析插件。
这里，针对变更后的数据解析策略，可以预先开发生成变更后的插件文件，并将变更后的插件文件存储在本地文件系统、数据库或者云端等中的一处或多处，通过读取变更后的插件文件，可以基于该变更后插件文件，采用微服务部署方式重新部署并启动该数据解析策略对应的数据解析插件。
需要说明的是，上述步骤S701至步骤S703不限于如图7所示的执行顺序，例如，还可以在步骤S103之前执行步骤S701至步骤S703。
本申请实施例中，监听每一数据解析策略是否发生变更，在确定有数据解析策略发生变更的情况下，获取变更后的数据解析策略，基于变更后的数据解析策略，采用微服务部署方式重新部署并启动数据解析策略对应的数据解析插件。这样，可以保证数据解析策略的修改能够实时生效，从而可以进一步提升对大数据量的、多种类型的服务器实时数据的实时处理能力。
在一些实施例中，参见图8，图8是本申请实施例提供的基于服务器集群的服务器实时数据处理方法的一个可选的流程示意图，基于图2，该方法还可以执行步骤S801至步骤S802。下面将结合各步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S801中，采用实时大数据处理框架，至少对所述实时指标数据进行实时计算处理，得到计算结果。
这里，可以根据实际的服务器数据运营场景，采用任意合适的实时大数据处理框架，例如Lambda数据处理架构、Kappa数据处理架构等，对实时指标数据进行实时计算处理，这里并不限定。例如，实时指标数据可以包括服务器集群中每一服务器的电源实时运行状态，采用实时大数据处理框架，对每一服务器的电源实时运行状态进行计算，可以得到服务器集群中的实时电源异常服务器数量。
在一些实施例中，可以采用实时大数据处理框架，对实时指标数据进行实时计算处理和离线计算处理，并将得到的实时计算结果和离线计算结果进行合并，得到合并后的计算结果。这里，进行实时计算处理时，可以仅基于当前的实时指标数据进行计算，也可以基于前一时刻的实时指标数据和当前的实时指标数据进行累计计算，这里并不限定。在进行离线计算处理时，可以基于当前的实时指标数据和对应的历史指标数据进行计算，得到离线计算结果，也可以基于当前的实时指标数据和历史的离线计算结果进行计算，得到更新后的离线计算结果，这里并不限定。
在步骤S802中，采用至少一种数据存储方式，对所述计算结果进行存储，以支撑服务器实时数据运营需求。
这里，对计算结果进行存储的数据存储方式可以支持但不限于关系型数据库(如Mysql等)、支持大数据量快速查询的ElasticSearch(一种实时搜索引擎，简称ES)、支持大数据量OLAP查询分析的列式存储(如Clickhouse等)、腾讯开源时序数据库(Cloud TimeSeries Database，CTSDB)、Ceph文件系统(Ceph File System，CephFS)等中的一种或多种。在实施时，本领域技术人员可以根据实际情况采用合适的数据存储方式对计算结果进行存储。
在一些实施例中，上述步骤S802可以包括：步骤S821，采用列式存储的方式，对所述计算结果进行存储，以支撑针对服务器实时数据的OLAP查询分析需求。这里，由于列式存储可以支持大数据量的多维实时查询分析，从而可以很好地支撑针对服务器实时数据的OLAP查询分析需求。
本申请实施例中，采用实时大数据处理框架，至少对所述实时指标数据进行实时计算处理，得到计算结果，并采用至少一种数据存储方式，对所述计算结果进行存储，可以很好地支撑服务器实时数据运营需求，从而能够进一步提升运营数据的处理效率，降低人工运营成本。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。以大规模服务器集群的服务器数据运营场景为例，针对大规模服务器集群，为保证用户业务运行的稳定性和持续性，对服务器运营提出了更高的要求，特别是实时计算的业务场景需求，需要对相应的数据进行实时计算、实时告警监控和数据实时可视化展示等，例如：现网实时的服务器数量查看、现网实时的部件数据量查看、现网服务器和部件健康度状况查看(如电源异常数据实时查询等)、硬件日志数据实时查看等。此外，对于各大云服务商、服务器厂商而言，需要加强服务器运营数据的处理效率来提升自身的服务质量，并为业务稳定运行提供支持，以满足客户的需要。
可见，大规模服务器集群由于服务器数量庞大，且运营场景多，各个场景的历史数据量大，同时又有大量的增量实时数据。有鉴于此，本申请实施例对相关技术中的服务器数据处理方案进行了如下改进：
1)在采集解析层，提供了服务器数据解析策略配置模块，该模块支持服务器各种部件数据和各种日志数据的解析策略的动态配置和实时生效；
2)在数据计算层，采用Lambda数据架构进行大数据处理，在Hadoop离线计算的基础上，引入消息队列和实时计算技术，构建将离线计算和实时计算合并后落地多种存储的能力，可以支持离线和实时数据结合的运营场景，提高数据运营场景覆盖率；
3)在数据存储层，引入Clickhouse列式存储组件，支持实时高性能OLAP查询分析等。
在此基础上，本申请实施例提供一种服务器数据运营场景下的数据处理方法，可以实现离线实时计算+OLAP大数据分析处理框架，给百万级服务器，甚至千万级服务器发展过程中的智能化运营提供全场景数据能力支撑，可以包括：
1)针对历史数据要求高的数据运营场景，使用离线计算；
2)针对实时数据能力要求高的数据运营场景，提供实时计算；
3)针对需要对超大数据量进行分析查询的场景，提供OLAP查询分析能力；
4)支持服务器运营数据实时配置化解析，提升数据解析效率。
参见图9，图9为本申请实施例提供的服务器数据运营场景下的数据处理方法的实现架构示意图。如图9所示，多种数据采集通道(示例性示出911和912)可以分别采用不同的数据采集协议，通过部署在服务器中的代理Agent(示例性示出921、922和923)从服务器中采集服务器实时数据，数据适配服务(示例性示出931和932)通过数据采集通道获取采用不同数据采集协议采集的服务器实时数据，并将采集的服务器实时数据转为匹配统一协议的格式，这样，可以适配下游服务，后续几乎无需变更数据格式，数据接入服务940可以将从数据适配服务接入的数据先落地存储至CKafka消息队列，防止数据处理过程中因性能、发布、漏洞等导致的数据丢失，数据处理系统950可以通过数据分发服务951自动部署并运行根据业务适用场景开发的不同的数据解析插件(示例性示出插件1和插件2)，实现对不同类型的服务器实时数据的解析处理，并将解析得到的服务器实时数据存储至数据存储系统960，数据解析插件可以采用微服务方式部署，实现新增数据解析插件的即插即用，可平行扩容，且对已有插件的数据解析策略的修改也可实时生效，数据存储系统960可以通过数据查询API提供数据拉取功能，还可以通过数据订阅方式实现数据推送功能，对于大业务系统，为保证资源隔离和数据安全，可以通过API网关970按维度授权数据运营相关的应用拉取或订阅数据存储系统960中的数据，以实现不同的数据运营需求(如故障发现、系统日志查询、大数据分析、外部门合作等)，数据运营相关的应用在开发时无需关心数据的采集方式。此外，可以通过运营监控系统980对数据采集、上报、处理、存储等各环节的耗时进行监控，以及时发现并解决数据采集、解析等过程中的时延问题，从而更好地保证数据采集、上报、处理、存储等过程中的实时性。
在一些实施例中，可以采用Lambda数据架构，在Hadoop离线计算的基础上，引入实时计算技术，对存储系统中存储的服务器实时数据进行计算处理，并将离线计算和实时计算合并后落地多种存储的能力。参见图10，图10是Lambda数据架构的组成结构示意图，Lambda数据架构包括进行离线计算的批量处理层1010，提供数据查询的服务层1020和进行实时计算的速度层1030，批量处理层1010通过对不可变的主数据1011进行批量重新计算得到预计算视图1012，并通过执行查询获得批量视图1013，速度层1030通过对数据过程流1031进行实时增量计算得到增量视图1032，并通过执行查询获得实时视图1033。服务层1020用于响应用户的查询请求，合并批量视图1013和实时视图1033中的结果数据集到最终的数据集。
在Lambda数据架构下，对于实时计算部分的计算成本可控，批量处理离线计算可以利用业务低峰时间段来整体批量计算，这样可以把实时计算和离线计算高峰分开。Lambda数据架构核心如下：
批量视图＝function(全量数据)；
实时视图＝function(实时视图，新数据)；
查询＝function(批量视图，实时视图)；
其中，function可以是根据实际情况确定的任意合适的数据计算模型。
在一些实施例中，图9中的存储系统960可以将解析后的服务器实时数据写入消息队列，参见图11，图11是本申请实施例提供的一种服务器运营领域的离线实时计算+OLAP大数据分析处理框架的架构示意图，可以对消息队列中的服务器实时数据进行计算处理，并将离线计算和实时计算合并后落地多种存储的能力，该框架可以实现数据接入1110、数据计算1120和数据应用1130三个子流程，下面分别对各个子流程进行说明：
1)数据接入：
在数据接入子流程中，可以对各种数据源、合规数据进行接入，并将接入的数据写入消息队列1121(如Kafka等)。合规数据1111包括各种经过处理后的数据，数据内容和格式都已经符合数据平台的业务场景需求，可以直接写入到消息队列1121，数据源可以包括内部数据1112和外部数据1113，内部数据1112为可以从服务器内部采集得到的数据，如采集的部件数据、运营流程数据等，内部数据一般是需要进行合规处理的，外部数据1113主要是依赖外部系统的数据，如来源于服务器部件厂商的数据等，通过统一数据接入服务1114可以对内部数据1112和外部数据1113进行采集，将采集的内部数据1112和外部数据1113写入消息队列1112，并且对于需要合规处理的内部数据1112或外部数据1113，统一数据接入服务1114也可以进行解析处理后写入消息队列1121。这里，统一数据接入服务1114可以参见如图9所示的服务器数据运营场景下的数据处理方法进行实现。
2)数据计算：
数据计算可以是基于Lambda数据架构的大数据计算处理过程，主要可以通过四条途径消费并处理消息队列1121中的数据：
(1)数据解析服务1122消费消息队列1121的数据，可以在进行解析处理后，将解析后的数据写入腾讯数据仓库(Tencent Data Warehouse，TDW)1123，TDW可以是基于ApacheHadoop、HBASE集群实现的，通过对TDW 1123中的数据进行离线计算以及对应的出库任务，可以得到离线计算的结果，并将离线计算的结果出库至多种存储；
(2)实时计算组件1124(如flink、Storm等)消费消息队列1121的数据，并获取实时计算过程中要用到的维表数据，为了保证数据的实时性，维表数据可以从多种存储系统通过数据同步1125存储在redis 1126中，实时计算环节通过将消息队列1121来源的主表数据和redis 1126中的维表数据进行异步IO的合并(join)，并将合并的数据经过实时计算组件1124的实时计算后写入消息队列1127；此外，还可以通过数据合并1128根据业务场景按需将离线和实时计算的数据结果进行合并，合并后的数据可以写入到各种存储；
(3)消息队列1121中的数据直接落地到存储，数据解析服务按照一定的策略将来自消息队列1121的数据解析后将写入到各种存储，如Mysql、ES、Clickhouse、CTSDB、Cephfs等；
(4)利用消息队列1121中的数据进行机器学习1129，例如可以采用硬件故障预测模型，对消息队列1121中的数据进行处理，得带硬件故障的预测结果。
将离线计算的结果出库至多种存储以及将离线和实时计算的数据结果进行合并后写入到存储时，可以支持如下存储方式:
(1)关系型数据库，如Mysql等；
(2)ElasticSearch，支持大数据量快速查询；
(3)Clickhouse，列式存储，支持大数据量OLAP查询分析；
(4)CTSDB，腾讯开源时序数据，基于ElasticSearch；
(5)CephFS，是一套兼容POSIX标准的集群文件系统，它基于Ceph存储集群构建，继承了其容错性和扩展性，支持多备份和数据高可靠性。
在实施时，可以根据实际业务需求，采用合适的存储方式对服务器实时数据进行存储。例如，对于有大数据量OLAP查询需求的场景，如实时电源异常数据查询，则可以选择将数据存储在Clickhouse中。
3)数据应用：
落地至多种存储的数据可以应用至不同的服务器运营场景，包括：
(1)数据通过商业智能(Business Intelligence，BI)进行分析和报表展示，如对接腾讯云的小马BI 1131；
(2)对接业务系统1132的后台服务，提供给业务系统前端进行展示，而且BI上的报表也可以通过嵌入的方式展示在业务前端页面；
(3)通过应用程序编程接口(Application Programming Interface，API)服务1133提供给第三方系统1134。
本申请实施例提供的本申请实施例提供的服务器运营领域的离线实时计算+OLAP大数据分析处理框架，具有以下有益效果：
1)通过构建服务器运营离线实时计算+OLAP大数据分析处理框架，可以增强对大数据进行实时处理的基础能力，如实时数据查询能力，可以从基人工的小时级别提升到毫秒级；
2)可以提升服务器运营领域数据应用场景覆盖率，如现网实时的服务器数量查看、现网实时的部件数据量查看、现网服务器健康度状况查看、硬件日志数据实时查看等；
3)能够支持智能化运营，大幅提升运营效率，同时降低运营的人工成本。
本申请实施例提供一种基于服务器集群的服务器实时数据处理系统，如图12所示，该系统1200包括：
数据采集服务1210，用于采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据；
数据适配服务1220，用于对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将所述格式转换后的服务器实时数据写入消息队列；
数据解析服务1230，用于采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；所述实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求。
在一些实施例中，所述服务器实时数据的类型包括以下至少之一：服务器硬件状态类型，服务器网络状态类型，操作系统日志类型。
在一些实施例中，所述数据采集服务还用于：针对每一种服务器实时数据的类型，基于设定的数据采集策略，确定所述类型对应的数据采集通道；采用每一所述数据采集通道，从服务器集群的至少一个服务器中，采集服务器实时数据。
在一些实施例中，所述数据适配服务还用于：针对每一所述数据采集通道，基于所述数据采集通道的数据采集协议和设定的目标协议，将所述数据采集通道中采集的服务器实时数据的格式转换为与所述目标协议匹配的格式。
在一些实施例中，所述数据解析服务还用于：采用所述至少一种数据解析插件从所述消息队列中获取待解析的服务器实时数据；采用所述至少一种数据解析插件中的每一数据解析插件，基于所述数据解析插件的数据解析策略，对所述待解析的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据。
在一些实施例中，所述数据解析服务还用于：获取预先配置的至少一种数据解析策略；针对每一数据解析策略，采用微服务部署方式部署并启动所述数据解析策略对应的数据解析插件。
在一些实施例中，所述数据解析服务还用于：监听每一数据解析策略是否发生变更；在确定有数据解析策略发生变更的情况下，获取变更后的所述数据解析策略；基于变更后的所述数据解析策略，采用微服务部署方式重新部署并启动所述数据解析策略对应的数据解析插件。
在一些实施例中，所述系统还包括：实时大数据处理服务，用于采用实时大数据处理框架，至少对所述实时指标数据进行实时计算处理，得到计算结果；采用至少一种数据存储方式，对所述计算结果进行存储，以支撑服务器实时数据运营需求。
在一些实施例中，所述实时大数据处理服务还用于：采用列式存储的方式，对所述计算结果进行存储，以支撑针对服务器实时数据的OLAP查询分析需求。
综上所述，通过本申请实施例能够更好地支持大规模服务器运营场景中的实时数据处理及分析需求，从而可以增强服务器运营的数据支撑能力，提升服务器运营领域数据应用场景覆盖率，并且能够提升运营数据的处理效率，降低人工运营成本。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (10)

1.一种基于服务器集群的服务器实时数据处理方法，其特征在于，包括：
采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据；一种数据采集通道对应一种类型的服务器实时数据，不同数据采集通道用于采集不同类型的服务器实时数据；数据采集通道基于数据采集服务进行服务器实时数据的采集；所述至少一个服务器上部署有数据采集通道对应的数据采集代理；所述数据采集代理实时从所述至少一个服务器中采集与相应数据采集通道对应类型的服务器实时数据，并将采集到的服务器实时数据通过相应数据采集通道上传至所述数据采集服务；
对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将所述格式转换后的服务器实时数据写入消息队列；
采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；所述实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求；不同的数据解析插件基于不同的服务器实时数据运营需求开发得到；一种数据解析插件对应一种数据解析策略，一种数据解析插件用于按照对应的数据解析策略对一种类型的服务器实时数据进行解析处理；数据解析策略支持实时变更，依据数据解析策略的变更，相应的数据解析插件支持重新部署；其中，用于存储所述实时指标数据的数据存储系统，依据资源隔离和数据安全的需求，按维度授权对所述实时指标数据的使用。
2.根据权利要求1所述的方法，其特征在于，所述服务器实时数据的类型包括以下至少之一：服务器硬件状态类型，服务器网络状态类型，操作系统日志类型。
3.根据权利要求1所述的方法，其特征在于，所述采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据，包括：
针对每一种服务器实时数据的类型，基于设定的数据采集策略，确定所述类型对应的数据采集通道；
采用每一所述数据采集通道，从服务器集群的至少一个服务器中，采集服务器实时数据。
4.根据权利要求1至3中任一所述的方法，其特征在于，所述对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，包括：
针对每一所述数据采集通道，基于所述数据采集通道的数据采集协议和设定的目标协议，将所述数据采集通道中采集的服务器实时数据的格式转换为与所述目标协议匹配的格式。
5.根据权利要求1至3中任一所述的方法，其特征在于，所述采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据，包括：
采用所述至少一种数据解析插件从所述消息队列中获取待解析的服务器实时数据；
采用所述至少一种数据解析插件中的每一数据解析插件，基于所述数据解析插件的数据解析策略，对所述待解析的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据。
6.根据权利要求1至3中任一所述的方法，其特征在于，在所述采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据之前，所述方法还包括：
获取预先配置的至少一种数据解析策略；
针对每一数据解析策略，采用微服务部署方式部署并启动所述数据解析策略对应的数据解析插件。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
监听每一数据解析策略是否发生变更；
在确定有数据解析策略发生变更的情况下，获取变更后的所述数据解析策略；
基于变更后的所述数据解析策略，采用微服务部署方式重新部署并启动所述数据解析策略对应的数据解析插件。
8.根据权利要求1至3中任一所述的方法，其特征在于，所述方法还包括：
采用实时大数据处理框架，至少对所述实时指标数据进行实时计算处理，得到计算结果；
采用至少一种数据存储方式，对所述计算结果进行存储，以支撑服务器实时数据运营需求。
9.根据权利要求8所述的方法，其特征在于，所述采用至少一种数据存储方式，对所述计算结果进行存储，以支撑服务器实时数据运营需求，包括：
采用列式存储的方式，对所述计算结果进行存储，以支撑针对服务器实时数据的联机分析处理OLAP查询分析需求。
10.一种基于服务器集群的服务器实时数据处理系统，其特征在于，包括：
数据采集服务，用于采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据；一种数据采集通道对应一种类型的服务器实时数据，不同数据采集通道用于采集不同类型的服务器实时数据；数据采集通道基于数据采集服务进行服务器实时数据的采集；所述至少一个服务器上部署有数据采集通道对应的数据采集代理；所述数据采集代理实时从所述至少一个服务器中采集与相应数据采集通道对应类型的服务器实时数据，并将采集到的服务器实时数据通过相应数据采集通道上传至所述数据采集服务；
数据适配服务，用于对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将所述格式转换后的服务器实时数据写入消息队列；
数据解析服务，用于采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；所述实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求；不同的数据解析插件基于不同的服务器实时数据运营需求开发得到；一种数据解析插件对应一种数据解析策略，一种数据解析插件用于按照对应的数据解析策略对一种类型的服务器实时数据进行解析处理；数据解析策略支持实时变更，依据数据解析策略的变更，相应的数据解析插件支持重新部署；其中，用于存储所述实时指标数据的数据存储系统，依据资源隔离和数据安全的需求，按维度授权对所述实时指标数据的使用。
CN202110319518.1A 2021-03-25 2021-03-25 基于服务器集群的服务器实时数据处理方法及系统 Active CN113010565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110319518.1A CN113010565B (zh) 2021-03-25 2021-03-25 基于服务器集群的服务器实时数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110319518.1A CN113010565B (zh) 2021-03-25 2021-03-25 基于服务器集群的服务器实时数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN113010565A CN113010565A (zh) 2021-06-22
CN113010565B true CN113010565B (zh) 2023-07-18

Family

ID=76407049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110319518.1A Active CN113010565B (zh) 2021-03-25 2021-03-25 基于服务器集群的服务器实时数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN113010565B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580619B (zh) * 2022-11-25 2023-03-10 江苏金恒信息科技股份有限公司 数据处理系统和数据处理方法
CN115982211B (zh) * 2022-12-02 2023-09-26 北京凌云雀科技有限公司 基于云原生的MySQL数据查询分析方法及装置
CN116629805B (zh) * 2023-06-07 2023-12-01 浪潮智慧科技有限公司 一种分布式流批一体化的水利指标服务方法、设备及介质
CN116991925B (zh) * 2023-07-27 2024-03-15 广东德尔智慧科技股份有限公司 一种高速采集数据以及快速海量数据保存的方法
CN117290384B (zh) * 2023-11-27 2024-02-02 同方赛威讯信息技术有限公司 一种基于大数据与计算机视觉结合的图文检索系统及方法
CN117389486B (zh) * 2023-12-13 2024-04-19 浙江国利信安科技有限公司 用于实时处理epa网络数据的方法、计算设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170090114A (ko) * 2016-01-28 2017-08-07 주식회사 아임클라우드 빅데이터 기반의 스마트 팩토리 분석시스템 및 방법
CN109977158A (zh) * 2019-02-28 2019-07-05 武汉烽火众智智慧之星科技有限公司 公安大数据分析处理系统及方法
CN111813848A (zh) * 2020-07-08 2020-10-23 江苏聚衣网络科技有限公司 基于kafka日志中间件的数据实时采集分析方法
CN111984436A (zh) * 2020-08-25 2020-11-24 中央广播电视总台 一种数据采集系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415944B (zh) * 2018-01-30 2019-03-22 长安大学 一种交通环境下基于微服务的实时计算系统及其实现方法
CN109492040B (zh) * 2018-11-06 2021-12-28 深圳航天智慧城市系统技术研究院有限公司 一种适用于数据中心海量短报文数据处理的系统
CN110022226B (zh) * 2019-01-04 2023-04-04 国网浙江省电力有限公司 一种基于面向对象的数据采集系统及采集方法
CN109951463A (zh) * 2019-03-07 2019-06-28 成都古河云科技有限公司 一种基于流计算和新型列式存储的物联网大数据分析方法
CN111209364A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种基于众包地图更新的海量数据接入处理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170090114A (ko) * 2016-01-28 2017-08-07 주식회사 아임클라우드 빅데이터 기반의 스마트 팩토리 분석시스템 및 방법
CN109977158A (zh) * 2019-02-28 2019-07-05 武汉烽火众智智慧之星科技有限公司 公安大数据分析处理系统及方法
CN111813848A (zh) * 2020-07-08 2020-10-23 江苏聚衣网络科技有限公司 基于kafka日志中间件的数据实时采集分析方法
CN111984436A (zh) * 2020-08-25 2020-11-24 中央广播电视总台 一种数据采集系统

Also Published As

Publication number Publication date
CN113010565A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113010565B (zh) 基于服务器集群的服务器实时数据处理方法及系统
US10447772B2 (en) Managed function execution for processing data streams in real time
US10599478B1 (en) Automated reconfiguration of real time data stream processing
CN110019240B (zh) 一种业务数据交互方法、装置及系统
US11755452B2 (en) Log data collection method based on log data generated by container in application container environment, log data collection device, storage medium, and log data collection system
CN109918349B (zh) 日志处理方法、装置、存储介质和电子装置
Khriji et al. Design and implementation of a cloud-based event-driven architecture for real-time data processing in wireless sensor networks
US9426219B1 (en) Efficient multi-part upload for a data warehouse
CN111209352B (zh) 一种数据处理方法、装置、电子设备及存储介质
Mehdipour et al. Fog computing realization for big data analytics
WO2018156983A1 (en) Managing publish-subscribe channels in an open data ecosystem
CN111258978B (zh) 一种数据存储的方法
CN112328448A (zh) 基于Zookeeper的监控方法、监控装置、设备及存储介质
CN116627333A (zh) 日志缓存方法、装置、电子设备及计算机可读存储介质
CN116166191A (zh) 湖仓一体系统
US20220129381A1 (en) Blockchain cache system
CN111259066A (zh) 服务器集群数据同步方法及装置
Calderon et al. Monitoring Framework for the Performance Evaluation of an IoT Platform with Elasticsearch and Apache Kafka
CN111597157A (zh) 一种改进日志处理系统架构的方法
CN117131059A (zh) 报表数据处理方法、装置、设备及存储介质
US10348596B1 (en) Data integrity monitoring for a usage analysis system
US10706073B1 (en) Partitioned batch processing for a usage analysis system
US10540669B2 (en) Managing object values and resource consumption
CN111858260A (zh) 信息显示方法、装置、设备及介质
Abead et al. A comparative study of hdfs replication approaches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046853

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant