CN115437826A

CN115437826A - 数据异常的预警方法、装置、电子设备及存储介质

Info

Publication number: CN115437826A
Application number: CN202211062379.XA
Authority: CN
Inventors: 张峤
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2022-08-31
Filing date: 2022-08-31
Publication date: 2022-12-06

Abstract

本申请提供了一种数据异常的预警方法、装置、电子设备及存储介质，可应用于大数据领域。在该方法中，首先构建数据链路关系图谱。然后按照预设的时间周期，获取系统运行数据和作业执行数据。若检测到系统运行数据出现异常，则生成当前系统异常的预警信息。若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统。针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统。针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。本申请可以有效压缩生产事件异常处理时间，受影响系统根据预警信息及时进行响应，避免影响进一步扩大。

Description

数据异常的预警方法、装置、电子设备及存储介质

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据异常的预警方法、装置、电子设备及存储介质。

背景技术

银行业务条线多，数据口径繁杂，且不同口径的业务数据具有不同的时效性要求。后线数据处理系统(数据湖、数据仓库等)承担了大量的数据分析加工工作，作为全行数据加工出口，数据处理系统每日的批量时间长短、运行的稳定性对各后线业务系统，尤其是一些涉监管的高时效性要求的业务条线非常重要。

当数据湖或数仓系统等后线数据处理系统，在生产上因上游源数据未及时到达或批量运行问题导致无法按时为下游业务系统提供加工数据时，无法及时有效的对异常事件的影响范围进行分析，主要依赖于数仓及下游业务系统开发人员的关联性分析，生产问题的响应速度慢，且可能存在分析不充分情况。

发明内容

有鉴于此，本申请提供了一种数据异常的预警方法、装置、电子设备及存储介质，以解决现有技术中在出现数据异常时，无法及时有效的对异常事件的影响范围进行分析，主要依赖于数仓及下游业务系统开发人员的关联性分析，生产问题的响应速度慢，且可能存在分析不充分情况的问题。

为实现上述目的，本申请提供如下技术方案：

本申请第一方面公开了一种数据异常的预警方法，包括：

构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系；

按照预设的时间周期，获取系统运行数据和作业执行数据；

若检测到系统运行数据出现异常，则生成当前系统异常的预警信息；

若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统；

针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统；

针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。

可选的，上述的方法，所述构建数据链路关系图谱之后，还包括：

按照预设的时间周期，对所述数据链路关系图谱进行更新维护。

可选的，上述的方法，所述获取系统运行数据和作业执行数据之后，还包括：

对所述系统运行数据和作业执行数据进行数据预处理。

可选的，上述的方法，还包括：

若检测到所述异常作业已恢复正常，则向所述异常作业涉及的上游系统和下游系统分别发送异常解除的提示信息。

本申请第二方面公开了一种数据异常的预警装置，包括：

构建单元，用于构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系；

获取单元，用于按照预设的时间周期，获取系统运行数据和作业执行数据；

信息生成单元，用于若检测到系统运行数据出现异常，则生成当前系统异常的预警信息；

确定单元，用于若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统；

第一发送单元，用于针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统；

第二发送单元，用于针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。

可选的，上述的装置，还包括：

更新单元，用于按照预设的时间周期，对所述数据链路关系图谱进行更新维护。

可选的，上述的装置，还包括：

预处理单元，用于对所述系统运行数据和作业执行数据进行数据预处理。

可选的，上述的装置，还包括：

第三发送单元，用于若检测到所述异常作业已恢复正常，则向所述异常作业涉及的上游系统和下游系统分别发送异常解除的提示信息。

本申请第三方面公开了一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如本申请第一方面中任意一项所述的方法。

本申请第四方面公开了一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如本申请第一方面中任意一项所述的方法。

从上述技术方案可以看出，本申请提供的一种数据异常的预警方法中，首先构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系。然后按照预设的时间周期，获取系统运行数据和作业执行数据。若检测到系统运行数据出现异常，则生成当前系统异常的预警信息。若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统。针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统。针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。由此可知，利用本申请的方法，当生产上出现异常时，可以根据数据链路关系图谱，对上游延时未到达数据进行督办提醒，同时主动向下游受影响链路系统进行预警信息推送，有效压缩生产事件事中分析时间，受影响系统或后续业务数据使用方根据预警信息及时进行响应，避免影响进一步扩大。解决了现有技术中在出现数据异常时，无法及时有效的对异常事件的影响范围进行分析，主要依赖于数仓及下游业务系统开发人员的关联性分析，生产问题的响应速度慢，且可能存在分析不充分情况的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的一种数据异常的预警方法的流程图；

图2为本申请另一实施例公开的一种数据异常的预警装置的示意图；

图3为本申请另一实施例公开的一种电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

并且，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

由背景技术可知，当数据湖或数仓系统等后线数据处理系统，在生产上因上游源数据未及时到达或批量运行问题导致无法按时为下游业务系统提供加工数据时，无法及时有效的对异常事件的影响范围进行分析，主要依赖于数仓及下游业务系统开发人员的关联性分析，生产问题的响应速度慢，且可能存在分析不充分情况。

鉴于此，本申请提供了一种数据异常的预警方法、装置、电子设备及存储介质，以解决现有技术中在出现数据异常时，无法及时有效的对异常事件的影响范围进行分析，主要依赖于数仓及下游业务系统开发人员的关联性分析，生产问题的响应速度慢，且可能存在分析不充分情况的问题。

需要说明的是，本发明提供的一种数据异常的预警方法、装置、电子设备及存储介质可用于大数据领域。上述仅为示例，并不对本发明提供的数据异常的预警方法、装置、电子设备及存储介质的应用领域进行限定。

本申请实施例提供了一种数据异常的预警方法，具体如图1所示，具体包括：

S101、构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系。

需要说明的是，首先构建数据链路关系图谱，其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系。利用所述数据链路关系图谱，可以快速查看各个系统之间的数据关系。

可选的，在本申请的另一实施例中，在执行步骤S101之后，还可以包括：

按照预设的时间周期，对数据链路关系图谱进行更新维护。

需要说明的是，为了保证数据链路关系图谱的数据准确性，则按照预设的时间周期，定期对数据链路关系图谱进行更新维护，其中，时间周期可以根据时间情况进行设定，例如1天。

S102、按照预设的时间周期，获取系统运行数据和作业执行数据。

需要说明的是，按照预设的时间周期，获取当前系统的系统运行数据和作业执行数据。其中，时间周期可以根据实际情况进行设定，例如10分钟。

可选的，在本申请的另一实施例中，在执行步骤S102之后，还可以包括：

对系统运行数据和作业执行数据进行数据预处理。

需要说明的是，在按照预设的时间周期，获取系统运行数据和作业执行数据之后，则对获取到的系统运行数据和作业执行数据进行数据预处理，例如数据清洗、数据格式化等。

S103、若检测到系统运行数据出现异常，则生成当前系统异常的预警信息。

需要说明的是，获取系统运行数据之后，通过对内层、CPU、进程等数据进行异常监控，从系统层面及时识别异常。若检测到系统运行数据出现异常，则生成当前系统异常的预警信息，预警信息中包含具体的异常事项，以便工作人员快速针对异常做出响应措施。

S104、若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统。

需要说明的是，获取作业执行数据之后，根据生产运行情况，对源数据到达时间，批量脚本执行时间，作业时间等设置完成时间阈值，识别完成时间异常的作业。如果检测到作业执行数据出现异常，则确定出异常作业，并基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统。

S105、针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统。

需要说明的是，在基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统之后，则针对异常作业涉及的每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统。

S106、针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述上游系统。

需要说明的是，在基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统之后，则针对异常作业涉及的每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。

本申请提供的一种数据异常的预警方法中，首先构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系。然后按照预设的时间周期，获取系统运行数据和作业执行数据。若检测到系统运行数据出现异常，则生成当前系统异常的预警信息。若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统。针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统。针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。由此可知，利用本申请的方法，当生产上出现异常时，可以根据数据链路关系图谱，对上游延时未到达数据进行督办提醒，同时主动向下游受影响链路系统进行预警信息推送，有效压缩生产事件事中分析时间，受影响系统或后续业务数据使用方根据预警信息及时进行响应，避免影响进一步扩大。解决了现有技术中在出现数据异常时，无法及时有效的对异常事件的影响范围进行分析，主要依赖于数仓及下游业务系统开发人员的关联性分析，生产问题的响应速度慢，且可能存在分析不充分情况的问题。

可选的，在本申请的另一实施例中，上述数据异常的预警方法，还可以包括：

若检测到异常作业已恢复正常，则向异常作业涉及的上游系统和下游系统分别发送异常解除的提示信息。

需要说明的是，如果检测到异常作业已恢复正常，则向异常作业涉及的上游系统和下游系统分别发送异常解除的提示信息，以便上下游系统能够及时了解异常作业的处理情况。

在本申请的另一实施例还公开了一种数据异常的预警装置，如图2所示，具体包括：

构建单元201，用于构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系。

获取单元202，用于按照预设的时间周期，获取系统运行数据和作业执行数据。

信息生成单元203，用于若检测到系统运行数据出现异常，则生成当前系统异常的预警信息。

确定单元204，用于若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统。

第一发送单元205，用于针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统。

第二发送单元206，用于针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。

本实施例中，构建单元201、获取单元202、信息生成单元203、确定单元204、第一发送单元205以及第二发送单元206的具体执行过程，可参见对应上述图1方法实施例内容，此处不再赘述。

本申请提供的一种数据异常的预警装置中，构建单元201首先构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系。然后获取单元202按照预设的时间周期，获取系统运行数据和作业执行数据。若检测到系统运行数据出现异常，信息生成单元203则生成当前系统异常的预警信息。若检测到作业执行数据出现异常，确定单元204则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统。第一发送单元205针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统。第二发送单元206针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。由此可知，利用本申请的方法，当生产上出现异常时，可以根据数据链路关系图谱，对上游延时未到达数据进行督办提醒，同时主动向下游受影响链路系统进行预警信息推送，有效压缩生产事件事中分析时间，受影响系统或后续业务数据使用方根据预警信息及时进行响应，避免影响进一步扩大。解决了现有技术中在出现数据异常时，无法及时有效的对异常事件的影响范围进行分析，主要依赖于数仓及下游业务系统开发人员的关联性分析，生产问题的响应速度慢，且可能存在分析不充分情况的问题。

可选的，在本申请的另一实施例中，上述数据异常的预警装置，还可以包括：

本实施例中，更新单元的具体执行过程，可参见对应上述方法实施例内容，此处不再赘述。

本实施例中，预处理单元的具体执行过程，可参见对应上述方法实施例内容，此处不再赘述。

本实施例中，第三发送单元的具体执行过程，可参见对应上述方法实施例内容，此处不再赘述。

本申请另一实施例还提供了一种电子设备，如图3所示，具体包括：

一个或多个处理器301。

存储装置302，其上存储有一个或多个程序。

当一个或多个程序被一个或多个处理器301执行时，使得一个或多个处理器301实现如上述实施例中任意一项方法。

本申请另一实施例还提供了计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述实施例中任意一项方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据异常的预警方法，其特征在于，包括：

按照预设的时间周期，获取系统运行数据和作业执行数据；

2.根据权利要求1所述的方法，其特征在于，所述构建数据链路关系图谱之后，还包括：

3.根据权利要求1所述的方法，其特征在于，所述获取系统运行数据和作业执行数据之后，还包括：

对所述系统运行数据和作业执行数据进行数据预处理。

4.根据权利要求1所述的方法，其特征在于，还包括：

5.一种数据异常的预警装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，还包括：

7.根据权利要求5所述的装置，其特征在于，还包括：

8.根据权利要求5所述的装置，其特征在于，还包括：

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至4中任意一项所述的方法。

10.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述的方法。