CN115878702A - 一种实现运维数据采集的方法、装置及设备 - Google Patents

Abstract

本发明涉及计算机应用领域，提出一种实现运维数据采集的方法、装置及设备。方法包括：为系统的数据产生节点配置采集节点，在所述数据产生节点中设置所述采集节点进行访问的统一数据读取接口并在所述采集节点设置实时访问周期；所述采集节点通过所述统一数据读取接口对所述数据产生节点的基本信息完成注册并建立与数据库的连接；响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中。本发明的方案可以对运维数据进行中心化采集以及持久化存储，方便程序问题的溯源排查。

Description

一种实现运维数据采集的方法、装置及设备

技术领域

本发明涉及计算机应用领域，尤其涉及一种实现运维数据采集的方法、装置及设备。

背景技术

系统中项目程序产生的运维数据，至少包括程序运维指标数据、机器运维指标数据。现有技术中对于运维数据的采集，仅实现了部分实时产生的运维指标数据接口，缺少历史运行时数据的缓存、统一持久化存储项目适配，同时对系统中的各个数据产生节点(系统中运维数据的产生者)的访问接口不一致会导致获取运维数据的操作困难。

发明内容

有鉴于此，本发明提出了一种实现运维数据采集的方法、装置及设备，基于对系统的各个数据产生节点访问的统一数据读取接口以及对统一数据读取接口进行访问的采集中心，系统开始运行，系统的各个数据产生节点在所述采集中心进行注册，当采集中心接受到采集命令，通过采集中心从统一数据读取节点实时获取采集命令对应的运维数据并进行数据库存储，对运维数据进行持久化存储，为各个数据产生节点的运维管理和问题排查提供数据保障。

基于以上目的，本发明的实施例的一种实现运维数据采集的方法、装置及设备，所述方法包括以下步骤：为系统的数据产生节点配置采集节点，在所述数据产生节点中设置所述采集节点进行访问的统一数据读取接口并在所述采集节点设置实时访问周期；所述采集节点通过所述统一数据读取接口对所述数据产生节点的基本信息完成注册并建立与数据库的连接；响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中。

在一些实施例中，所述方法还包括：在所述采集中心设置数据上传周期，根据所述数据上传周期所述采集中心将所述数据库存储的数据上传至云端数据库并将所述数据库存储的数据清0。

在一些实施例中，所述方法还包括：所述采集节点通过调节所述实时访问周期以及数据上传周期配置所述数据库并获取所述数据产生节点的实时数据。

在一些实施例中，所述方法还包括：响应于所述数据产生节点集群化运行，所述统一数据读取接口从所述数据产生节点中的任意一个返回所述采集命令的对应数据。

在一些实施例中，所述为系统的数据产生节点配置采集节点，在所述数据产生节点中设置所述采集节点进行访问的统一数据读取接口并在所述采集节点设置实时访问周期包括：至少根据运维指标的数据值、存储类型、运维指标类型在内的数据结构设置所述统一数据读取接口。

在一些实施例中，所述采集节点通过所述统一数据读取接口对所述数据产生节点的基本信息完成注册并建立与数据库的连接包括：所述数据产生节点向所述采集节点发送注册请求；所述采集节点根据所述注册请求通过所述统一数据读取接口读取所述数据产生节点的基本信息，并解析所述基本信息得到配置实体进行存储。

在一些实施例中，所述数据产生节点的基本信息至少包括：所述数据产生节点IP、所述采集中心IP、每个运维指标对应参数及采集器、每个运维指标初始采集周期。

在一些实施例中，所述响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中包括：响应于所述采集节点接收到采集命令，所述采集节点按照所述实时访问周期访问所述统一数据读取接口并通过所述采集命令对应的运维指标的采集器从对应的数据产生节点获取对应数据。

在一些实施例中，所述响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中还包括：所述采集节点将所述对应数据添加时间戳并存储到所述数据库中。

本发明实施例的另一个方面，还提供了一种实现运维数据采集的装置，所述装置包括：第一模块，配置用于为系统的数据产生节点配置采集节点，在所述数据产生节点中设置所述采集节点进行访问的统一数据读取接口并在所述采集节点设置实时访问周期；第二模块，配置用于所述采集节点通过所述统一数据读取接口对所述数据产生节点的基本信息完成注册并建立与数据库的连接；第三模块，配置用于响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中。

本发明实施例的另一方面，还提供一种计算机设备，包括至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述任一方法的步骤。

本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上任一方法步骤的计算机程序。

本发明至少具有以下有益效果：本发明提出一种实现运维数据采集的方法、装置及设备，其中，本发明提出的一种实现运维数据采集的方法对系统的各个数据产生节点访问的统一数据读取接口和对统一数据读取接口进行访问的采集中心，可以通过统一数据读取接口读取不同运维指标对应的数据并存储到数据库中，可以对指标数据进行自定义，对运维指标对应的数据进行中心化采集及持久化存储，方便程序问题的溯源排查。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的实施例。

图1示出的为本发明提供的一种实现运维数据采集的方法的实施例的示意图；

图2示出的为本发明提供的系统的数据产生节点在采集中心进行注册的示意图；

图3示出的为本发明提供的采集中心访问统一数据读取接口读取数据并进行存储的示意图；

图4示出的为本发明提供的将数据库的数据定期上传云端的示意图；

图5示出的为本发明提供的通过管理平台与采集中心进行交互的示意图；

图6示出的为本发明提供的一种实现运维数据采集的装置的实施例的示意图；

图7示出的为本发明提供的一种计算机设备的实施例的示意图；

图8示出的为本发明提供的一种计算机可读存储介质的实施例的示意图。

具体实施方式

以下描述了本发明的实施例。然而，应该理解，所公开的实施例仅仅是示例，并且其它实施例可以采取各种替代形式。

此外，需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。术语“包括”、“包含”或其任何其它变形旨在涵盖非排他性的包括，以使包含一系列要素的过程、方法、物品或装置不仅包括那些要素，也可以包括未明确列出的或这些过程、方法、物品或装置所固有的要素。

下面将结合附图说明本申请的一个或多个实施例。

基于以上目的，本发明实施例的第一个方面，提出了一种实现运维数据采集的方法的实施例。图1示出的是本发明提供的一种实现运维数据采集的方法的实施例的示意图。如图1所示，本发明实施例的一种实现运维数据采集的方法包括以下步骤：

S1、为系统的数据产生节点配置采集节点，在所述数据产生节点中设置所述采集节点进行访问的统一数据读取接口并在所述采集节点设置实时访问周期；

S2、所述采集节点通过所述统一数据读取接口对所述数据产生节点的基本信息完成注册并建立与数据库的连接；

S3、响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中。

根据本发明的若干实施例，方法还包括：在采集中心设置数据上传周期，根据数据上传周期采集中心将数据库存储的数据上传至云端数据库并将数据库存储的数据清0。

根据本发明的若干实施例，方法还包括：采集节点通过调节实时访问周期以及数据上传周期配置数据库并获取数据产生节点的实时数据。

根据本发明的若干实施例，方法还包括：响应于数据产生节点集群化运行，统一数据读取接口从数据产生节点中的任意一个返回采集命令的对应数据。

根据本发明的若干实施例，为系统的数据产生节点配置采集节点，在数据产生节点中设置采集节点进行访问的统一数据读取接口并在采集节点设置实时访问周期包括：至少根据运维指标的数据值、存储类型、运维指标类型在内的数据结构设置统一数据读取接口。

根据本发明的若干实施例，采集节点通过统一数据读取接口对数据产生节点的基本信息完成注册并建立与数据库的连接包括：数据产生节点向采集节点发送注册请求；采集节点根据注册请求通过统一数据读取接口读取数据产生节点的基本信息，并解析基本信息得到配置实体进行存储。

根据本发明的若干实施例，数据产生节点的基本信息至少包括：数据产生节点IP、采集中心IP、每个运维指标对应参数及采集器、每个运维指标初始采集周期。

根据本发明的若干实施例，响应于采集节点接收到采集命令，采集节点从统一数据读取接口按照实时访问周期读取采集命令的对应数据，并通过与数据库的连接将对应数据存储到数据库中包括：响应于采集节点接收到采集命令，采集节点按照实时访问周期访问统一数据读取接口并通过采集命令对应的运维指标的采集器从对应的数据产生节点获取对应数据。

根据本发明的若干实施例，响应于采集节点接收到采集命令，采集节点从统一数据读取接口按照实时访问周期读取采集命令的对应数据，并通过与数据库的连接将对应数据存储到数据库中还包括：采集节点将对应数据添加时间戳并存储到数据库中。

以下为根据本发明提供的一种实现运维数据采集的方法的另一实施例。

图2示出的为本发明提供的系统的数据产生节点在采集中心进行注册的示意图，如图2所示，数据产生节点进行基本信息的配置，包括数据产生节点IP、采集中心IP、各个运维指标的初始采集周期、各个运维指标对应参数及自定义采集器、自定义sql采集器配置等基本信息，数据产生节点的基本信息配置完成后，启动当前所在的程序，当前所在的程序会自动将配置信息进行组装并向采集中心发送注册请求，采集中心在接收到数据产生节点的注册请求后，将解析数据产生节点的配置实体并进行存储，同时对采集线程进行初始化，完成信息注册。对于自定义的数据指标的数据的采集需求，可以根据数据产生时机进行不同的实现逻辑(实现接口或者写入缓存区中)，如在访问时产生的CPU、内存指标的数据，产生时间不定的用户访问记录指标的数据。对于数据节点关闭的场景，正常关机时将会访问采集中心对本数据产生节点的相关数据进行删除，以备下一次数据产生节点的重启，同时缓解采集中心的程序压力。

图3示出的为本发明提供的采集中心访问统一数据读取接口读取数据并进行存储的示意图，如图3所示，在采集中心设置定时任务，当采集中心接收到采集命令，采集中心根据定时任务定时读取统一数据读取接口中的信息注册表，获取对应数据产生节点的IP及端口的数据。统一数据读取接口返回统一的数据结构，此数据结构中对数据的指标值、存储表明、指标类型等数据进行了定义，采集中心对返回的统一数据结构进行解析得到采集命令对应的数据。同时，在采集中心中执行数据库操作，将对应的数据存储在数据库中，优选地，可以对采集的对应数据添加时间戳之后，再存储到数据库中。优选地，为防止数据库崩溃等不正常原因导致数据丢失，可以对数据库进行多节点备份或者主从备份，以提高可用性。当系统中的各个数据产生节点为集群化运行时，对于某些数据(如集群应用的数据库连接数)而言，从同一时间任何一个节点获取都是一样的，因此采集节点可以从集群化运行的任一数据产生节点获得返回的数据，可以通过配置采集器的scope字段进行采集优化，此时采集中心将通过访问实时硬件指标最低的节点来提高数据采集效率，并且能避免对高压节点的性能损耗，提高集群整体性能。

图4示出的为本发明提供的将数据库的数据定期上传云端的示意图，如图4所示，在采集中心每次执行数据库操作进行数据存储时查询数据量进行长期数据的清理，在采集中心设置上传周期，根据所述上传周期采集中心定期将存储器中的数据上传至云端数据库中，并将本地数据库中的数据清0。

图5示出的为本发明提供的通过管理平台与采集中心进行交互的示意图，如图5所示，管理平台通过对接UI操作，实现用户控制采集中心启停、修改采集/上传周期、历史数据展示、实时数据获取及图形化绘制等需求功能。采集中心注册为系统服务(跟随操作系统启停)，可通过页面进行服务的管理；通过直接访问数据产生节点进行实时数据的获取，并通过图形化绘制对获取的数据绘制；用户可以通过页面操作对采集中心连接的数据库进行修改，实现采集周期、上传周期的管理，同时通过定时任务线程的重置使修改生效。

本发明的实施例的第二个方面，提出了一种实现运维数据采集的装置。图6示出的是本发明提供的一种实现运维数据采集的装置的实施例的示意图。如图6所示，本发明提供的一种实现运维数据采集的装置包括：第一模块011，配置用于为系统的数据产生节点配置采集节点，在所述数据产生节点中设置所述采集节点进行访问的统一数据读取接口并在所述采集节点设置实时访问周期；第二模块012，配置用于所述采集节点通过所述统一数据读取接口对所述数据产生节点的基本信息完成注册并建立与数据库的连接；第三模块013，配置用于响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中。

基于以上目的，本发明实施例的第三个方面，提出了一种计算机设备，图7示出的是本发明提供的一种计算机设备的实施例的示意图。如图7所示，本发明提供的一种计算机设备的实施例，包括以下模块：至少一个处理器021；以及存储器022，存储器022存储有可在处理器021上运行的计算机指令023，该计算机指令023由处理器021执行时实现如上所述的方法的步骤。

本发明还提供了一种计算机可读存储介质。图8示出的是本发明提供的一种计算机可读存储介质的实施例的示意图。如图8所示，计算机可读存储介质031存储有被处理器执行时执行以下步骤的计算机程序032。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，设置系统参数的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。

此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、D0L或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (11)

1.一种实现运维数据采集的方法，其特征在于，包括：

为系统的数据产生节点配置采集节点，在所述数据产生节点中设置所述采集节点进行访问的统一数据读取接口并在所述采集节点设置实时访问周期；

所述采集节点通过所述统一数据读取接口对所述数据产生节点的基本信息完成注册并建立与数据库的连接；

响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述采集中心设置数据上传周期，根据所述数据上传周期所述采集中心将所述数据库存储的数据上传至云端数据库并将所述数据库存储的数据清0。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

所述采集节点通过调节所述实时访问周期以及所述数据上传周期配置所述数据库并获取所述数据产生节点的实时数据。

4.根据权利要求1所述的方法，其特征在于，还包括：

响应于所述数据产生节点集群化运行，所述统一数据读取接口从所述数据产生节点中的任意一个返回所述采集命令的对应数据。

5.根据权利要求1所述的方法，其特征在于，所述为系统的数据产生节点配置采集节点，在所述数据产生节点中设置所述采集节点进行访问的统一数据读取接口并在所述采集节点设置实时访问周期包括：

至少根据运维指标的数据值、存储类型、运维指标类型在内的数据结构设置所述统一数据读取接口。

6.根据权利要求1所述的方法，其特征在于，所述采集节点通过所述统一数据读取接口对所述数据产生节点的基本信息完成注册并建立与数据库的连接包括：

所述数据产生节点向所述采集节点发送注册请求；

所述采集节点根据所述注册请求通过所述统一数据读取接口读取所述数据产生节点的基本信息，并解析所述基本信息得到配置实体进行存储。

7.根据权利要求6所述的方法，其特征在于，所述数据产生节点的基本信息至少包括：

所述数据产生节点IP、所述采集中心IP、每个运维指标对应参数及采集器、每个运维指标初始采集周期。

8.根据权利要求7所述的方法，其特征在于，所述响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中包括：

响应于所述采集节点接收到采集命令，所述采集节点按照所述实时访问周期访问所述统一数据读取接口并通过所述采集命令对应的运维指标的采集器从对应的数据产生节点获取对应数据。

9.根据权利要求8所述的方法，其特征在于，所述响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中还包括：

所述采集节点将所述对应数据添加时间戳并存储到所述数据库中。

10.一种实现运维数据采集的装置，其特征在于，所述装置包括：

第一模块，配置用于为系统的数据产生节点配置采集节点，在所述数据产生节点中设置所述采集节点进行访问的统一数据读取接口并在所述采集节点设置实时访问周期；

第二模块，配置用于所述采集节点通过所述统一数据读取接口对所述数据产生节点的基本信息完成注册并建立与数据库的连接；

第三模块，配置用于响应于所述采集节点接收到采集命令，所述采集节点从所述统一数据读取接口按照所述实时访问周期读取所述采集命令的对应数据，并通过所述与数据库的连接将所述对应数据存储到所述数据库中。

11.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-9任意一项所述方法的步骤。

Images