CN117807025A - 基于文件同步运行数据至时序库的方法、存储介质及设备 - Google Patents

Abstract

本发明公开了一种基于文件同步运行数据至时序库的方法、存储介质及设备，包括：上层应用将待同步数据的文件放置在指定的文件目录中，并发送kafka消息到资享平台，所述资享平台根据kafka消息获取待同步数据的文件；所述资享平台收到待同步数据的文件后，解析待同步数据的文件内容，并根据配置文件获取入时序数据库的参数信息，进行模转入时序数据库；根据实际功能需要对时序数据库中的数据进行定时数据汇聚，提供上层应用的数据查询。本发明将数据从文件同步到时序数据库是实时的，可以确保数据同步的及时性和准确性。

Description

基于文件同步运行数据至时序库的方法、存储介质及设备

技术领域

本发明属于云网数字孪生技术领域，具体地，涉及一种基于文件同步运行数据至时序库的方法、存储介质及设备。

背景技术

存储海量数据及其引发的性能压力的应对策略一直受到全球广泛关注。当这一问题刚刚出现时，一种常见的处理方式是忽略某些数据源或舍弃部分采集到数据。然而，这种处理方式仅在短期内有效，对于存储几年甚至几个月前的数据尤为不足。随着数据的价值逐渐被认可，并已经超越了传统企业广泛认同的价值边界，数据作为一种宝贵的无形资产，正在逐步取代传统有形资产的地位。这使得人们意识到，通过丢弃数据来降低存储与I/O压力是一种非常不明智的选择。

关系数据库集群是一种针对大规模数据存储和高并发读写问题的解决方案，通过集群化单机的硬件性能限制。利用不同的服务器来处理读请求和写请求，实现读写分离，有效减轻了高并发条件下数据库的读写压力。然而，关系数据库集群并不是一个完全完美的解决方案，用户首先需要面对扩容困难这一问题。在向集群中新增一个数据库节点时，意味着需要进行重新分区与数据迁移，这些操作会耗费大量的I/O资源，并且在操作执行的过程中，整个集群的性能也将受到非常大的影响。另外，一些限制来自关系型数据库设计本身的制约。使用范式来约束数据模型的设计以减少数据冗余，但范式化的处理却导致查询过程中涉及到非常多的连接join操作，引起查询性能的下降，尤其是在分布式环境中，join操作还会产生大量的额外网络开销。

在云计算环境中，数据中心的核心组成部分通常包括大量的硬件和软件资源，这些资源之间相互作用，共同形成了一个复杂的服务提供系统。这种系统的动态特性和相互依赖性往往给预测和管理其行为带来了挑战。为确保服务提供的可靠性和质量，必须实施一种有效的监控策略。然而，传统的集中式监控策略往往缺乏扩展性和实时性，无法满足现代数据中心的需求。特别是，这种集中式监控系统在处理巨大的数据流时可能会遇到瓶颈，无法在秒级级别执行实时监控任务。有必要开发一种全新的监控架构体系，这种体系应能实时或准实时地监测这些资源的状态和性能，并能灵活扩展以适应不断变化的数据负载。因此，构建一个能够满足这些需求的监控架构体系，对于确保云计算数据中心的稳定运行和优质服务至关重要。

发明内容

针对现有技术中存在的问题，本发明提供了一种基于文件同步运行数据至时序库的方法、存储介质及设备，实现历史文件数据查询和监测。

为实现上述技术目的，本发明采用如下技术方案：一种基于文件同步运行数据至时序库的方法，具体包括如下步骤：

步骤1、上层应用将待同步数据的文件放置在指定的文件目录中，并发送kafka消息到资享平台，所述资享平台根据kafka消息获取待同步数据的文件；

步骤2、所述资享平台收到待同步数据的文件后，解析待同步数据的文件内容，并根据配置文件获取入时序数据库的参数信息，进行模转入时序数据库；

步骤3、根据实际功能需要对时序数据库中的数据进行定时数据汇聚，提供上层应用的数据查询。

进一步地，步骤1包括如下子步骤：

步骤101、上层应用将待同步数据的文件生成json或者文件数据后，推送至所述上层应用的服务器指定的文件目录下；

步骤102、通过kafka消息平台将对应的kafka消息推送至资享平台，所述资享平台通过监听对应消费组，获取待同步数据的文件的文件目录路径及类型。

进一步地，所述消费组将消费者提交偏移量修改为自动提交，并且所述资享平台通过多线程池获取待同步的文件的文件目录路径及类型。

进一步地，步骤2包括如下子步骤：

步骤201、资享平台收到待同步数据的文件后，解析其对应性能文件的内容、文件类型和所属云系统；

步骤202、设置服务模板，根据解析的性能文件将要入时序数据库的指标和标签动态化配置到服务模板中；

步骤203、将对应的指标和标签作为查询条件配置到时序数据库中，并将待同步数据的文件推送至资享平台的时间作为入时序数据库的时间戳，通过api命令将同步数据的文件写入时序数据库。

进一步地，步骤3中数据查询的过程为：构建查询条件，根据查询条件调用时序数据库的查询api，生成数据；所述查询条件包括：指定符合实际功能需要的开始结束时间、tags、metric和聚合查询条件。

进一步地，步骤3进行数据查询后，通过前端可视化页面呈现，分析出异常数据，实现实时监控告警。

进一步地，本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行所述的基于文件同步运行数据至时序库的方法。

进一步地，本发明还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现所述的基于文件同步运行数据至时序库的方法。

与现有技术相比，本发明具有如下有益效果：本发明基于文件同步运行数据至时序库的方法，上层应用将数据发送至kafka消息平台，kafka具有非常高的吞吐量和低延迟，可以轻松处理每秒数百万条消息，同时本方法采用多线程接收消息，保证收到消息后就能被消费，从而实现数据从文件同步到时序数据库是实时的，可以确保数据同步的及时性和准确性；之前为了存储不同云的资源数据，都需要单独开发针对某一个系统提供的数据，不具有灵活性，而本发明可以轻松地适应不同格式和结构的数据文件，使用灵活的数据解析将其转换为时序数据库所需的格式，以最小的工作量实现不同类别云资源数据的存储，同时根据实际功能需要进行定时数据汇聚，提供上层应用数据查询能力；此外，通过kafka消息实现数据的传输，使得不同系统的资源数据通过配置能够定制化存储，有效地扩大了监控范围和容量；通过时序数据库来存储不同云资源性能指标数据，通过前端展示组件实现指标数据的图表展示，有效解决了性能数据实时监测和历史数据查询的可视化监控需求。

附图说明

图1为本发明基于文件同步运行数据至时序库的方法的流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步地解释说明。

为了应对多样化的应用需求，实现海量资源设备数据的高效存储和快速查询处理，已成为行业内的重要挑战。为此，采用时序数据库，实现了对不同格式性能文件的统一数据归并。此外，提供按需数据能力服务，以满足后续性能数据的需求，以高效存取时序数据和统计分析功能为服务核心，能够为客户提供卓越的产品导向服务。

如图1为本发明基于文件同步运行数据至时序库的方法的流程图，该方法具体包括如下步骤：

步骤1、上层应用将待同步数据的文件放置在指定的文件目录中，并发送kafka消息到资享平台，所述资享平台根据kafka消息获取待同步数据的文件，kafka具有非常高的吞吐量和低延迟，可以轻松处理每秒数百万条消息，同时它也具有良好的可扩展性和可靠性，可以轻松地扩展到成百上千台服务器，而且即使在节点故障的情况下，数据也不会丢失，这对于构建可靠的数据管道非常重要。具体包括如下子步骤：

步骤101、上层应用将某云系统待同步数据的文件生成json或者文件数据后，推送至所述上层应用的服务器指定的文件目录下；

步骤102、通过kafka消息平台将对应的kafka消息推送至资享平台，所述资享平台通过监听对应消费组，获取待同步数据的文件的文件目录路径及类型。

由于资源拥有大量服务器，同一时间内会发送大量kafka消息，为了保证kafka消息及时处理避免消息积压，消费组将消费者提交偏移量修改为自动提交，并且所述资享平台通过多线程池获取待同步的文件的文件目录路径及类型。

步骤2、所述资享平台收到待同步数据的文件后，解析待同步数据的文件内容，并根据配置文件获取入时序数据库的参数信息，进行模转入时序数据库，本发明可以轻松地适应不同格式和结构的数据文件，使用灵活的数据解析将其转换为时序数据库所需的格式，以最小的工作量实现不同类别云资源数据的存储；具体包括如下子步骤：

步骤201、资享平台收到待同步数据的文件后，解析其对应性能文件的内容、文件类型和所属云系统，分为json消息和文件资源，同时云资源性能文件分为多种类型，如txt、xml、csv和excel等多个类型；

步骤202、因此，设置服务模板，根据解析的性能文件将要入时序数据库的指标和标签动态化配置到服务模板中，部分字段需经过特殊处理，如：经过转驼峰或者大小写转换，只需在配置中设置是否开启的开关，资享平台处理时会自动进行判断处理转换。通过设置服务模板使得多个资源入库的信息不同时，只需要切换读取服务模板中不同的配置文件，将各个要入时序数据库的指标和标签存储在配置文件中，实现灵活配置；

步骤203、将对应的指标和标签作为查询条件配置到时序数据库中，并将待同步数据的文件推送至资享平台的时间作为入时序数据库的时间戳，通过api命令将同步数据的文件写入时序数据库，确保数据的完整性和一致性。

步骤3、根据实际功能需要对时序数据库中的数据进行定时数据汇聚，提供上层应用的数据查询。当时序数据库存储的数据量较大时，将数据按照用户指定的规则筛选出来需要较长的时间，且有可能出现请求超时，导致查询失败的问题，针对这种情况，用户可以对数据进行定时过滤、分组、聚合等，实现快速返回查询结果。本发明中数据查询的过程为：构建查询条件，根据查询条件调用时序数据库的查询api，生成数据；所述查询条件包括：指定符合实际功能需要的开始结束时间、tags、metric和聚合查询条件。

在本发明的一个技术方案中，进行数据查询后，可以对某个主机、网络或设备最近某段时间或者某个时刻的交易情况、处理性能、异常等进行实时监控告警，通过前端可视化页面呈现，分析出异常数据，实现实时监控告警，为后续的监控和排查问题提供极大便利，同时提供对云资源数据进行资源的统一管理能力和实时监控管理。

在本发明的另一个技术方案中，还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行项所述的基于文件同步运行数据至时序库的方法。

在本发明的另一个技术方案中，还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现所述的基于文件同步运行数据至时序库的方法。

在本申请所公开的实施例中，计算机存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。计算机存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。计算机存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

本领域普通技术人员可以意识到，结合本申请所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种基于文件同步运行数据至时序库的方法，其特征在于，具体包括如下步骤：

步骤1、上层应用将待同步数据的文件放置在指定的文件目录中，并发送kafka消息到资享平台，所述资享平台根据kafka消息获取待同步数据的文件；

步骤2、所述资享平台收到待同步数据的文件后，解析待同步数据的文件内容，并根据配置文件获取入时序数据库的参数信息，进行模转入时序数据库；

步骤3、根据实际功能需要对时序数据库中的数据进行定时数据汇聚，提供上层应用的数据查询。

2.根据权利要求1所述的一种基于文件同步运行数据至时序库的方法，其特征在于，步骤1包括如下子步骤：

步骤101、上层应用将待同步数据的文件生成json或者文件数据后，推送至所述上层应用的服务器指定的文件目录下；

步骤102、通过kafka消息平台将对应的kafka消息推送至资享平台，所述资享平台通过监听对应消费组，获取待同步数据的文件的文件目录路径及类型。

3.根据权利要求2所述的一种基于文件同步运行数据至时序库的方法，其特征在于，所述消费组将消费者提交偏移量修改为自动提交，并且所述资享平台通过多线程池获取待同步的文件的文件目录路径及类型。

4.根据权利要求1所述的一种基于文件同步运行数据至时序库的方法，其特征在于，步骤2包括如下子步骤：

步骤201、资享平台收到待同步数据的文件后，解析其对应性能文件的内容、文件类型和所属云系统；

步骤202、设置服务模板，根据解析的性能文件将要入时序数据库的指标和标签动态化配置到服务模板中；

步骤203、将对应的指标和标签作为查询条件配置到时序数据库中，并将待同步数据的文件推送至资享平台的时间作为入时序数据库的时间戳，通过api命令将同步数据的文件写入时序数据库。

5.根据权利要求1所述的一种基于文件同步运行数据至时序库的方法，其特征在于，步骤3中数据查询的过程为：构建查询条件，根据查询条件调用时序数据库的查询api，生成数据；所述查询条件包括：指定符合实际功能需要的开始结束时间、tags、metric和聚合查询条件。

6.根据权利要求1所述的一种基于文件同步运行数据至时序库的方法，其特征在于，步骤3进行数据查询后，通过前端可视化页面呈现，分析出异常数据，实现实时监控告警。

7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序使计算机执行如权利要求1-6任一项所述的基于文件同步运行数据至时序库的方法。

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如权利要求1-6任一项所述的基于文件同步运行数据至时序库的方法。