CN113268637A - 一种数据处理方法、系统、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种数据处理方法、系统、存储介质及电子设备，将获取到的不同类型的原始数据的格式进行转换，得到预设格式的待处理数据，获取预设格式的待处理数据对应的预警级别字段，基于预警级别字段确定待处理数据的预警级别，当待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据。通过上述方案，针对不同类型的原始数据的格式进行转换，得到统一格式的待处理数据并进行过滤，得到预设严重预警级别的预警数据，在大量不同类型的原始数据下，减轻对预设严重预警级别的预警数据的筛选压力，提高获取预设严重预警级别的预警数据的效率。此外，根据预设严重预警级别的预警数据和标签分类反馈结果，提高预警配置的灵活性。

Description

一种数据处理方法、系统、存储介质及电子设备

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及一种数据处理方法、系统、存储介质及电子设备。

背景技术

在线上服务中，涉及到监控系统可用率、机器性能、重要业务功能逻辑等服务。

一个线上服务可能会在多个预警系统上配置不同类型的预警来实现监控系统可用率、机器性能、重要业务功能逻辑等服务。

现有技术中，由于应用预警配置不规范、跨多个预警系统、预警量大等问题，导致研发、运维、测试人员对于预警数据的筛选困难，从而降低了获取预警数据的效率。

发明内容

有鉴于此，本发明公开了一种数据处理方法、系统、存储介质及电子设备，实现减轻对预设严重预警级别的预警数据的筛选压力，提高获取预设严重预警级别的预警数据的效率的目的。此外，根据预设严重预警级别的预警数据和标签分类反馈结果，提高预警配置的灵活性。

为了实时上述目的，其公开的技术方案如下：

本发明第一方面公开了一种数据处理方法，所述方法包括：

获取不同类型的原始数据；

将所述不同类型的原始数据的格式进行转换，得到预设格式的待处理数据；

获取所述预设格式的待处理数据对应的预警级别字段；

基于所述预警级别字段，确定所述待处理数据的预警级别；

当所述待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据。

优选的，所述获取所述预设格式的待处理数据对应的预警级别字段，包括：

基于统一映射规则，获取所述预设格式的待处理数据对应的预警级别字段。

优选的，在所述获取所述预设格式的待处理数据对应的预警级别字段之前，还包括：

基于预设时间字段，对所述原始数据的时间字段进行赋值，得到包含所述预设时间字段的待处理数据并存储。

优选的，在所述当所述待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据之后，还包括：

对所述预设严重预警级别的预警数据进行标签分类并存储。

优选的，还包括：

当所述待处理数据的预警级别为预设普通预警级别时，输出预设普通预警级别的预警数据。

本发明第二方面公开了一种数据处理系统，所述系统包括：

第一获取单元，用于获取不同类型的原始数据；

转换单元，用于将所述不同类型的原始数据的格式进行转换，得到预设格式的待处理数据；

第二获取单元，用于获取所述预设格式的待处理数据对应的预警级别字段；

确定单元，用于基于所述预警级别字段，确定所述待处理数据的预警级别；

第一输出单元，用于当所述待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据。

优选的，所述第二获取单元，具体用于：

基于统一映射规则，获取所述预设格式的待处理数据对应的预警级别字段。

优选的，还包括赋值单元；

所述赋值单元，用于基于预设时间字段，对所述原始数据的时间字段进行赋值，得到包含所述预设时间字段的待处理数据并存储。

本发明第三方面公开了一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如第一方面任意一项所述的数据处理方法。

本发明第四方面公开一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如第一方面任意一项所述的数据处理方法。

经由上述技术方案可知，获取不同类型的原始数据，将不同类型的原始数据的格式进行转换，得到预设格式的待处理数据，获取预设格式的待处理数据对应的预警级别字段，基于预警级别字段，确定待处理数据的预警级别，当待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据。通过上述方案，针对不同类型的原始数据的格式进行转换，得到统一格式的待处理数据并进行过滤，得到预设严重预警级别的预警数据，在大量不同类型的原始数据下，减轻对预设严重预警级别的预警数据的筛选压力，提高获取预设严重预警级别的预警数据的效率。此外，根据预设严重预警级别的预警数据和标签分类反馈结果，提高预警配置的灵活性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种数据处理系统的架构示意图；

图2为本发明实施例公开的一种数据处理方法的流程示意图；

图3为本发明实施例公开的一种数据处理系统的结构示意图；

图4为本发明实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由背景技术可知，由于应用预警配置不规范、跨多个预警系统、预警量大等问题，导致研发、运维、测试人员对于预警数据的筛选困难，从而降低了获取预警数据的效率。

为例解决该问题，本发明实施例公开了一种数据处理方法、系统、存储介质及电子设备，针对不同类型的原始数据的格式进行转换，得到统一格式的待处理数据并进行过滤，得到预设严重预警级别的预警数据，在大量不同类型的原始数据下，减轻对预设严重预警级别的预警数据的筛选压力，提高获取预设严重预警级别的预警数据的效率。具体实现方式通过下述实施例具体进行说明。

参考图1所示，为本发明实施例公开的一种数据处理系统的架构示意图，该数据处理系统包括预警实时数据接入层11、预警配置层12和预警数据层13。

预警实时数据接入层11获取不同类型的原始数据，将不同类型的原始数据的格式进行转换，得到预设格式的待处理数据。

其中，原始数据即由其他各个预警系统发出来的预警数据，包括服务器资源预警数据、实例状态预警数据、方法性能预警数据、业务逻辑预警数据等。

预警实时数据接入层11具有可扩展性，如果有其他类型的预警数据接入，可以开发对应的接入接口，接入接口可以是分布式发布订阅消息系统(Kafka)接口、消息队列(Message Queue，MQ)接口、超文件传输协定(Hyper Text TransferProtocol，HTTP)推送接口等。

原始数据接入后，需要对原始数据进行统一性映射操作和统一字段添加操作。统一字段添加操作是为了存储时做分库分表，增加统一的时间字段，由于不同预警系统发出来的原始数据结构不同，包括原始数据的时间字段的字段名称也不同，为此，添加统一时间字段，对接收到原始数据的时间字段进行赋值。统一性映射操作，即通过统一映射规则，分析不同预警系统发出来的原始数据来获取重要字段，重要字段包括预警级别字段、应用级别字段、应用名称字段、负责人字段、预警类型字段、预警内容字段、预警系统字段等，并按照统一的格式存储。统一性映射操作为了方便进行存储和后续的统计分析，除了存储统一性映射操作后的数据，统一性映射操作前的原始数据也会存储下来。

预警实时数据接入层11为了适配各种预警系统发出的原始数据，提供接入方式。例如，通过MQ方式的预警消息和HTTP接口推送方式的预警数据，均可以通过预警实时数据接入层，进行接收，并转化为统一的格式进行存储，从而方便后续筛选过滤、统计分析等操作。

预警配置层12获取预设格式的待处理数据对应的预警级别字段，基于预警级别字段，确定待处理数据的预警级别，当待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据。

预警配置层12通过预设预警配置规则(预警过滤配置的配置方式)对预设格式的待处理数据进行过滤，得到预设严重预警级别的预警数据，其中，预警配置规则可根据实际需求进行配置。

预警配置层12的预警过滤配置的配置方式可以是粗粒度过滤配置、细粒度过滤配置等，具体预警配置层12的预警过滤配置的方式的确定由技术人员根据实际情况进行设置，本发明不做具体限定。

预警配置层12还包括发送配置，发送配置用来配置预警接收人员或用户组(接收组配置)和值班配置，预警配置层12筛选出来的预警数据(预设严重预警级别的预警数据)，可根据业务线信息发送到对应的研发、测试或值班人员等，除人员以外，还可以配置不同用户组的接收时间来对应不同等级的预警，不同用户组的接收时间可以是工作日节假日、24小时、工作时间等等。

通过预警数据层13存储预警详细数据，预警详细数据包括原始数据和过滤出来的预警数据(包括预设严重预警级别的预警数据等)，该过滤后的预设严重预警级别的预警数据，即为符合了预警配置层12中预警配置规则的预设严重预警级别的预警数据，预设严重预警级别的预警数据可以是某个预警系统的可用率下降等预警数据。

通过预警数据层13中的统计功能，可以按照时间、按照系统统计预警数量、统计反馈时间等等，并且可以按照需要生成报表，通过报表对预警过滤的效果进行反馈。

通过预警数据层13对筛选出来的预警数据进行打标签操作，得到已解决标签、非问题标签、依赖系统问题标签等等。通过打标签反馈的结果，进行分析、处理和反馈，来优化预警配置，减少不必要预警数据(如普通级别的预警数据)频繁发送。

本数据处理系统的架构不限制具体的技术，例如存储采用MySQL数据库，后端采用springboot框架，前端采用react框架可以实现，使用其他框架也可以实现，框架的确定由技术人员根据实际情况进行选取，本发明对框架不做具体限定。

本方案方便多系统预警消息的统一管理，通过配置预警配置规则自动筛选过滤、可配置化的预警数据，并统计预警数据生成报表，通过报表对预警过滤的效果进行反馈，并对预警过滤的效果进行反馈的反馈结果进行标签分类操作，根据存储的预警数据和标签分类反馈结果为预警配置优化提供依据。

本发明实施例中，针对不同类型的原始数据的格式进行转换，得到统一格式的预警数据并进行过滤，得到预设严重预警级别的预警数据，在大量不同类型的原始数据下，减轻对预设严重预警级别的预警数据的筛选压力，提高获取预设严重预警级别的预警数据的效率。此外，根据预设严重预警级别的预警数据和标签分类反馈结果，提高预警配置的灵活性。

参考图2所示，为本发明实施例公开的一种数据处理方法的流程示意图，该数据处理方法应用于上述实施例图1的数据处理系统，该数据处理方法主要包括如下步骤：

步骤S201：获取不同类型的原始数据。

在步骤S201中，不同类型的原始数据包括服务器资源数据、实例状态数据、方法性能数据、业务逻辑预警数据等。

步骤S202：将不同类型的原始数据的格式进行转换，得到预设格式的待处理数据。

在步骤S202中，通过将不同类型的原始数据的格式进行转换，得到预设(统一)格式的待处理数据，方便后续筛选过滤、统计分析等操作。

具体预设格式的确定由技术人员根据实际情况进行设置，本发明不做具体限定。

步骤S203：获取预设格式的待处理数据对应的预警级别字段。

在步骤S203中，基于统一映射规则，获取待处理数据对应的预警级别字段。

通过统一映射规则，分析不同预警系统发出来的不同类型的原始数据来获取重要字段，重要字段包括预警级别字段、应用级别字段、应用名称字段、负责人字段、预警类型字段、预警内容字段、预警系统字段等，并按照统一的格式存储。进行统一性映射操作(统一映射规则)为了方便进行存储和后续的统计分析，除了存储统一性映射操作后的数据，统一性映射操作前的原始数据也会存储下来。

步骤S204：基于预警级别字段，确定待处理数据的预警级别。

在步骤S204中，通过预设预警配置规则对预警级别字段进行识别，当预警级别字段符合严重预警级别时，确定待处理数据的预警级别为严重预警级别，当预警级别字段符合普通预警级别时，确定待处理数据的预警级别为普通预警级别。

步骤S205：当待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据。

在步骤S205中，通过预设预警配置规则，对待处理数据对应的预警级别字段进行过滤，得到预设严重预警级别的预警数据。

通过预设预警配置规则(预警过滤配置的配置方式)对预设格式的待处理数据进行过滤，得到预设严重预警级别的预警数据，其中，预警配置规则可根据实际需求进行配置。

预警过滤配置的配置方式可以是粗粒度过滤配置、细粒度过滤配置等，具体预警过滤配置的方式的确定由技术人员根据实际情况进行设置，本发明不做具体限定。

可选的，通过预设预警配置规则，对待处理数据对应的预警级别字段进行普通预警级别过滤，得到预设普通预警级别的预警数据并输出。

预设预警配置规则可同时设置严重预警级别过滤和普通预警级别过滤。

在实际应用场景中，当预警接收人员接收到预设严重预警级别的预警数据，基于预设严重预警级别的预警数据进行判断，当预警接收人员确定预设严重预警级别的预警数据时，对预设严重预警级别的预警数据进行相关处理操作(转发操作、提醒操作等)，当预警接收人员接收到预设严重预警级别的预警数据时，确定该预警数据不为预设严重预警级别的预警数据时，对预设严重预警级别的预警数据进行降级处理，即，将预设严重预警级别的预警数据降为预设普通预警级别的预警数据。

本发明实施例中，针对不同类型的原始数据的格式进行转换，得到统一格式的预警数据并进行过滤，得到预设严重预警级别的预警数据，在大量不同类型的原始数据下，减轻对预设严重预警级别的预警数据的筛选压力，提高获取预设严重预警级别的预警数据的效率。此外，根据预设严重预警级别的预警数据和标签分类反馈结果，提高预警配置的灵活性。

可选的，在获取待处理数据对应的预警级别字段之前，基于预设时间字段，对原始数据的时间字段进行赋值，得到包含预设时间字段的待处理数据并存储。

基于预设时间字段，对原始数据的时间字段进行赋值，即为对原始数据的字段进行统一字段添加操作。

统一字段添加操作是为了存储时做分库分表，增加统一的时间字段，由于不同预警系统发出来的原始数据结构不同，包括原始数据的时间字段的字段名称也不同，为此，添加统一时间字段，对接收到原始数据的时间字段进行赋值。

本发明实施例中，在获取待处理数据对应的预警级别字段之前，基于预设时间字段，对原始数据的时间字段进行赋值，得到包含预设时间字段的待处理数据并存储，实现对待处理数据的时间字段进行存储时做分库分表，增加统一的时间字段的目的。

可选的，在当待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据之后，对预设严重预警级别的预警数据进行标签分类并存储。

可选的，在当待处理数据的预警级别为预设普通预警级别时，输出预设普通预警级别的预警数据之后，对预设普通预警级别的预警数据进行标签分类并存储。

本发明实施例中，通过对筛选出来的预警数据进行打标签操作，得到已解决标签、非问题标签、依赖系统问题标签等等。通过打标签反馈的结果，进行分析处理，来优化预警配置，减少不必要预警数据(如普通级别的预警数据)频繁发送。

基于上述实施例图2公开的一种数据处理方法，本发明实施例还对应公开了一种数据处理系统的结构示意图，如图3所示，该数据处理系统包括第一获取单元301、转换单元302、第二获取单元303、确定单元304和第一输出单元305。

第一获取单元301，用于获取不同类型的原始数据。

转换单元302，用于将不同类型的原始数据的格式进行转换，得到预设格式的待处理数据。

第二获取单元303，用于获取预设格式的待处理数据对应的预警级别字段。

确定单元304，用于基于预警级别字段，确定待处理数据的预警级别。

第一输出单元305，用于当待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据。

进一步的，第二获取单元303，具体用于基于统一映射规则，获取预设格式的待处理数据对应的预警级别字段。

进一步的，还包括赋值单元。

赋值单元，用于基于预设时间字段，对原始数据的时间字段进行赋值，得到包含预设时间字段的待处理数据并存储。

进一步的，还包括分类单元。

分类单元，用于对预设严重预警级别的预警数据进行标签分类并存储。

进一步的，还包括第二输出单元。

第二输出单元，用于当待处理数据的预警级别为预设普通预警级别时，输出预设普通预警级别的预警数据。

本发明实施例中，针对不同类型的原始数据的格式进行转换，得到统一格式的待处理数据并进行过滤，得到预设严重预警级别的预警数据，在大量不同类型的原始数据下，减轻对预设严重预警级别的待处理数据的筛选压力，提高获取预设严重预警级别的预警数据的效率。此外，根据预设严重预警级别的预警数据和标签分类反馈结果，提高预警配置的灵活性。

本发明实施例还公开了一种存储介质，存储介质包括存储指令，其中，在指令运行时控制存储介质所在的设备执行如上述实施例公开的数据处理方法。

本发明实施例还提供了一种电子设备，其结构示意图如图4所示，具体包括存储器401，以及一个或者一个以上的指令402，其中一个或者一个以上指令402存储于存储器401中，且经配置以由一个或者一个以上处理器403执行所述一个或者一个以上指令402进行以下操作：

获取不同类型的原始数据；

将不同类型的原始数据的格式进行转换，得到预设格式的待处理数据；

获取预设格式的待处理数据对应的预警级别字段；

基于预警级别字段，确定所述待处理数据的预警级别；

当待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据。

上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取不同类型的原始数据；

将所述不同类型的原始数据的格式进行转换，得到预设格式的待处理数据；

获取所述预设格式的待处理数据对应的预警级别字段；

基于所述预警级别字段，确定所述待处理数据的预警级别；

当所述待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据。

2.根据权利要求1所述的方法，其特征在于，所述获取所述预设格式的待处理数据对应的预警级别字段，包括：

基于统一映射规则，获取所述预设格式的待处理数据对应的预警级别字段。

3.根据权利要求1所述的方法，其特征在于，在所述获取所述预设格式的待处理数据对应的预警级别字段之前，还包括：

基于预设时间字段，对所述原始数据的时间字段进行赋值，得到包含所述预设时间字段的待处理数据并存储。

4.根据权利要求1所述的方法，其特征在于，在所述当所述待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据之后，还包括：

对所述预设严重预警级别的预警数据进行标签分类并存储。

5.根据权利要求1所述的方法，其特征在于，还包括：

当所述待处理数据的预警级别为预设普通预警级别时，输出预设普通预警级别的预警数据。

6.一种数据处理系统，其特征在于，所述系统包括：

第一获取单元，用于获取不同类型的原始数据；

转换单元，用于将所述不同类型的原始数据的格式进行转换，得到预设格式的待处理数据；

第二获取单元，用于获取所述预设格式的待处理数据对应的预警级别字段；

确定单元，用于基于所述预警级别字段，确定所述待处理数据的预警级别；

第一输出单元，用于当所述待处理数据的预警级别为预设严重预警级别时，输出预设严重预警级别的预警数据。

7.根据权利要求6所述的系统，其特征在于，所述第二获取单元，具体用于：

基于统一映射规则，获取所述预设格式的待处理数据对应的预警级别字段。

8.根据权利要求6所述的系统，其特征在于，还包括赋值单元；

所述赋值单元，用于基于预设时间字段，对所述原始数据的时间字段进行赋值，得到包含所述预设时间字段的待处理数据并存储。

9.一种存储介质，其特征在于，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1至5任意一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1至5任意一项所述的数据处理方法。

Images