CN113868096A

CN113868096A - 异步数据传输的监控方法及装置、电子设备、存储介质

Info

Publication number: CN113868096A
Application number: CN202111204512.6A
Authority: CN
Inventors: 解晶; 常冬冬; 王艳华; 赵刘韬; 赵子琦
Original assignee: China Construction Bank Corp
Current assignee: China Construction Bank Corp
Priority date: 2021-10-15
Filing date: 2021-10-15
Publication date: 2021-12-31
Anticipated expiration: 2041-10-15
Also published as: CN113868096B

Abstract

本申请公开了一种异步数据传输的监控方法及装置、电子设备、存储介质，方法包括：每间隔第一预设时间间隔，通过各个设备实例访问所在的应用系统的数据库实例，采集到各个设备实例的当前数据传输信息；按照预定义的日志格式对各个设备实例的当前数据传输信息进行处理，得到各个设备实例对应的监控数据文件；将各个设备实例对应的监控数据文件存储到各个设备实例对应的监控采集路径下；每间隔第二预设时间，从各个设备实例对应的监控采集路径下，读取出各个设备实例对应的监控数据文件；利用各个设备实例对应的监控数据文件，确定出当前每个节点下的目标指标；每个节点由至少一个设备实例组成；至少将当前各个节点下的目标指标展示在监控页面上。

Description

异步数据传输的监控方法及装置、电子设备、存储介质

技术领域

本申请涉及数据监控技术领域，特别涉及一种异步数据传输的监控方法及装置、电子设备、存储介质。

背景技术

企业级架构下，应用系统之间可能通过异步文件传输来进行实时性要求非极强类、但依然很重要的数据交互。如客户信息变动明细、合约信息明细、日终清算明细、企业工资发放明细等。为了保证数据的异步传输，需要对其进行实时监控。

目前常用的异步文件传输监控方法是在每个发送方实例上定时扫描本地异步文件传输任务的排队情况、传输进度与传输结果，并在每个接收方实例上按预先约定扫描目标路径下的文件到达情况。

但是现有的方式仅适用于单个文件传输任务只在一个发送设备实例和一个接受设备实例的场景。而现在发送方及接收方可能会是由多设备实例组成的集群，并且每个文件传输任务的各个处理阶段可能随机分布在任一集群内某一个设备实例上，因此在这种情况下，现有的方式并不能进行有效的监控。

发明内容

基于上述现有技术的不足，本申请提供了一种异步数据传输的监控方法及装置、电子设备、存储介质，以解决现有无法对在发送方及接收方由多设备实例组成的集群时的异步数据传输进行监控的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请第一方面提供了一种异步数据传输的监控方法，包括：

每间隔第一预设时间间隔，通过各个设备实例访问所在的应用系统的数据库实例，采集到各个所述设备实例的当前数据传输信息；其中，每个所述设备实例用于实现预先划分的文件传输阶段中的一个子阶段的文件传输任务；

按照预定义的日志格式对各个所述设备实例的当前数据传输信息进行处理，得到各个所述设备实例对应的监控数据文件；

将各个所述设备实例对应的监控数据文件存储到各个所述设备实例对应的监控采集路径下；

每间隔第二预设时间，从各个所述设备实例对应的监控采集路径下，读取出各个所述设备实例对应的监控数据文件；

利用各个所述设备实例对应的监控数据文件，确定出当前每个节点下的目标指标；其中，每个所述节点由至少一个所述设备实例组成；

至少将当前各个所述节点下的目标指标展示在监控页面上。

可选地，在上述的异步数据传输的监控方法中，所述节点下的目标指标包括所述节点在目标时间段内文件传输任务成功数量、文件传输任务失败数量以及正在传输，且耗时已超过预设时间长度的文件传输任务的数量；

可选地，在上述的异步数据传输的监控方法中，所述目标时间段包括距离当前时刻第一时间长度的时间段以及当天截至当前时刻的时间段。

可选地，在上述的异步数据传输的监控方法中，所述至至少将当前各个所述节点下的目标指标展示在监控页面上，包括：

生成各个所述节点对应的任务明细视图以及任务总览视图；其中，一个所述节点对应的任务总览视图中至少包括当前所述节点下的目标指标；

将所述任务明细视图以及所述任务总览视图分别展示在监控页面上。

可选地，在上述的异步数据传输的监控方法中，还包括：

分别针对每个所述节点，将当前所述节点下的目标指标与对应的预设告警阈值进行对比，得到当前所述节点对应的对比结果；

根据当前所述节点对应的对比结果与预先定义的告警规则，确定当前所述节点对应的对比结果是否满足告警要求；

若确定出当前所述节点对应的对比结果满足告警要求，则生成并反馈告警信息。

本申请第二方面提供了一种异步数据传输的监控装置，包括：

采集单元，用于每间隔第一预设时间间隔，通过各个设备实例访问所在的应用系统的数据库实例，采集到各个所述设备实例的当前数据传输信息；其中，每个所述设备实例用于实现预先划分的文件传输阶段中的一个子阶段的文件传输任务；

处理单元，用于按照预定义的日志格式对各个所述设备实例的当前数据传输信息进行处理，得到各个所述设备实例对应的监控数据文件；

存储单元，用于将各个所述设备实例对应的监控数据文件存储到各个所述设备实例对应的监控采集路径下；

扫描单元，用于每间隔第二预设时间，从各个所述设备实例对应的监控采集路径下，读取出各个所述设备实例对应的监控数据文件；

计算单元，用于利用各个所述设备实例对应的监控数据文件，确定出当前每个节点下的目标指标；其中，每个所述节点由至少一个所述设备实例组成；

展示单元，用于至少将当前各个所述节点下的目标指标展示在监控页面上。

可选地，在上述的异步数据传输的监控装置中，所述节点下的目标指标包括所述节点在目标时间段内文件传输任务成功数量、文件传输任务失败数量以及正在传输，且耗时已超过预设时间长度的文件传输任务的数量；

可选地，在上述的异步数据传输的监控装置中，所述目标时间段包括距离当前时刻第一时间长度的时间段以及当天截至当前时刻的时间段。

可选地，在上述的异步数据传输的监控装置中，所述展示单元，包括：

生成单元，用于生成各个所述节点对应的任务明细视图以及任务总览视图；其中，一个所述节点对应的任务总览视图中至少包括当前所述节点下的目标指标；

展示子单元，用于将所述任务明细视图以及所述任务总览视图分别展示在监控页面上。

可选地，在上述的异步数据传输的监控装置中，还包括：

对比单元，用于分别针对每个所述节点，将当前所述节点下的目标指标与对应的预设告警阈值进行对比，得到当前所述节点对应的对比结果；

确定单元，用于根据当前所述节点对应的对比结果与预先定义的告警规则，确定当前所述节点对应的对比结果是否满足告警要求；

告警单元，用于若确定出当前所述节点对应的对比结果满足告警要求，则生成并反馈告警信息。

本申请第三方面提供了一种电子设备，其特征在于，包括：

存储器和处理器；

其中，所述存储器用于存储程序；

所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如上述任意一项所述的异步数据传输的监控方法。

本申请第四方面提供了一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，用于实现如上述任意一项所述的异步数据传输的监控方法。

本申请提供了一种异步数据传输的监控方法，每间隔第一预设时间间隔，通过各个设备实例访问所在的应用系统的数据库实例，采集到各个设备实例的当前数据传输信息，其中，每个设备实例用于实现预先划分的文件传输阶段中的一个子阶段的文件传输任务，从而获取得到文件传输过程中各个设备实例执行的各个传输阶段的数据传输信息。然后按照预定义的日志格式对各个设备实例的当前数据传输信息进行处理，得到各个设备实例对应的监控数据文件，并将各个设备实例对应的监控数据文件存储到各个设备实例对应的监控采集路径下。每间隔第二预设时间，从各个设备实例对应的监控采集路径下，读取出各个设备实例对应的监控数据文件，并利用各个设备实例对应的监控数据文件，确定出当前每个节点下的目标指标，最后至少将当前各个所述节点下的目标指标展示在监控页面上。通过获取到各个设备实例的数据传输信息，从而获取到数据传输中的各个阶段的信息，并且每个节点由至少一个设备实例组成，所以最终可以得到整个数据传输过程的各个目标指标，通过目标指标实现对发送方及接收方为多设备实例组成的集群时的异步数据传输的有效监控。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种异步数据传输的监控方法的流程图；

图2为本申请实施例提供的一种展示目标指标的方法的流程图；

图3为本申请实施例提供的一种基于当前节点下的目标指标实现的告警的方法的流程图；

图4为本申请另一实施例提供的一种异步数据传输的监控装置的结构示意图；

图5为本申请另一实施例提供的一种展示单元的结构示意图；

图6为本申请另一实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请实施例提供了一种异步数据传输的监控方法，如图1所示，包括以下步骤：

S101、每间隔第一预设时间间隔，通过各个设备实例访问所在的应用系统的数据库实例，采集到各个设备实例的当前数据传输信息。

其中，每个设备实例用于实现预先划分的文件传输阶段中的一个子阶段的文件传输任务。提供文件处理服务的虚机或物理机，又或者容器等。

需要说明的是，在本申请实施例中，根据应用系统中的文件传输组件传输数据的处理逻辑，将数据传输处理阶段划分为多个子阶段，每个子阶段会随机分布于集群内任意一台设备实例上。这也便于在出现异常时，可以准确地定位哪个环节、在本端处理还是对端处理出现问题。

设备实例的当前数据传输信息指的是设备实例执行数据传输任务的相关信息。需要说明的是，每个文件传输任务在各个处理阶段的明细会记录在数据库中，所以通过访问数据库，来获取每个任务的当前处理阶段的信息。

可选地，可以通过编写采集脚本，并通过运行采集脚本使得各个设备实例每间隔第一预设时间间隔进行一次数据采集，即通过采集脚本实现案子一定的频率进行数据采集。例如，按照每分钟的频率，所有设备实例访问应用系统中现有的数据库实例，以进行采集各个设备实例当前已有的数据传输处理的相关数据，即采集当前数据传输信息。

可选地，在设备实例进行数据传输信息采集时，可以从异步文件传输任务表中获取“更新时间”，并将其作为当前时间点，而当前处理的数据库实例的编号作为本设备实例的当前的文件传输任务记录。

S102、按照预定义的日志格式对各个设备实例的当前数据传输信息进行处理，得到各个设备实例对应的监控数据文件。

S103、将各个所述设备实例对应的监控数据文件存储到各个设备实例对应的监控采集路径下。

可选地，监控采集路径下还可以存储有基础数据文件。基础数据文件中的存储有各个任务的基础详细信息，以能后续同监控到的数据共同展示，也便于用户的使用。

S104、每间隔第二预设时间，从各个设备实例对应的监控采集路径下，读取出各个设备实例对应的监控数据文件。

可选地，可以在设备实例上部署日志采集代理服务，从而通过配置日志采集代理的规则，按照第二预设时间的频率，例如每分钟，扫描监控采集路径下的文件，若发现在监控采集路径下存在文件，则读取该文件，并将监控采集路径下的原始文件删除。

S105、利用各个设备实例对应的监控数据文件，确定出当前每个节点下的目标指标。

需要说明的是，目标指标指的是根据监控需求指定的指标，在设定目标指标后，还需要配置目标指标对应的计算方式。例如，在最近一段时间段文件传输任务成功的数量以及失败的数量等。

其中，每个节点由至少一个设备实例组成，即在应用系统中使用唯一标识的文件传输节点号进行异步文件传输，每个文件传输节点号使用多台设备实例组成的应用集群方式部署，而在本申请实施例中一个节点对应一个节点号，所以一个节点有多台设备实例组成。所以可以根据组成节点的各个设备实例的监控数据文件，并根据各个目标指标的计算方式，统计出当前各个节点下的目标指标。

可选地，在本申请另一实施例中，节点下的目标指标包括节点在目标时间段内文件传输任务成功数量、文件传输任务失败数量以及正在传输，且耗时已超过预设时间长度的文件传输任务的数量。

可选地，在本申请另一实施例中，目标时间段包括距离当前时刻第一时间长度的时间段以及当天截至当前时刻的时间段。

所以在本申请实施例中的目标时间段包括两个时间段，分别获取节点在两个时间段内文件传输任务成功数量、文件传输任务失败数量以及正在传输，且耗时已超过预设时间长度的文件传输任务的数量。

例如，目标时间段可以包括距离当前时刻一分钟内的时间段，即最近的一分钟内，以及当天截至当前时刻的时间段。所以获取的目标指标包括：

1、最近一分钟内文件传输任务成功数量。

2、最近一分钟内文件传输任务失败数量。

3、最近一分钟内文件传输任务耗时已超过30分钟但仍未完成的数量。

具体的，可以通过任务的完成时间是否为空，确定任务是否处于未完成的状态。并且，根据当前时间与任务的开始时间的差值，确定任务的耗时是否已超过30分钟。

4、截至当前时间点、当天文件传输任务成功数量。

5、截至当前时间点、当天文件传输任务失败数量。

6、截至当前时间点、耗时超过30分钟且未完成的堆积任务数量。

可选地，节点下的目标指标还可以包括有基础数据增量，即包括有新增的任务的详细信息的数量或者其他的信息。

S106、至少将当前各个节点下的目标指标展示在监控页面上。

可选地，可以将各个节点下的目标指标展示在监控页面上，并且还可以将各个目标指标所涉及到的任务的基础数据展示在监控页面上，以能让用户了解到各个任务的具体情况。

可选地，在本申请另一实施例中，步骤S106的一种具体实施方式，如图2所示，具体包括：

S201、生成各个节点对应的任务明细视图以及任务总览视图。

其中，一个节点对应的任务总览视图中至少包括当前节点下的目标指标。

需要说明的是，在本申请实施例中，按照明细视图及总览视图两个视角展示监控加工计算结果。

可选地，对于任务明细视图，可以按照时间段筛选，展示特定时间点或特定时间段内，某一个节点作为发送方或解锁方的任务明细视图。可选地，展示的新可以包括运维关注的重要信息，如文件传输任务号、设备实例名称、发送方传输节点号及对应应用系统名称、接收方传输节点号及对应应用系统名称、任务耗时、当前处理阶段等信息。

同样，任务总览视图可按照时间段筛选，展示特定时间点或特定时间段内，某个节点作为发送方或接收方的任务总览信息。其中，任务总览信息包括有当前节点下的目标指标，还可以包括有节点号及对应应用系统名等。

S202、将任务明细视图以及任务总览视图分别展示在监控页面上。

可选地，在本申请另一实施例中，还可以进一步包括基于当前节点下的目标指标实现的告警的方法，具体如图3所示，包括以下步骤：

S301、分别针对每个节点，将当前该节点下的目标指标与对应的预设告警阈值进行对比，得到当前节点对应的对比结果。

可选地，在本申请实施例中，用户可以预设定义告警规则，并且设置相应的告警阈值。可选地，可以采用采用基线自适应的方式进行告警阈值计算。而设置告警阈值，可以是针对部分目标指标进行设置，所以在进行对比时，可以指示利用部分的目标指标进行对比，例如利用文件传输任务失败数量以及正在传输，且耗时已超过预设时间长度的文件传输任务的数量与对应的预设告警阈值进行对比，得到对比结果。

具体通常每个类型的目标指标需要设置一个对应的告警阈值。

S302、根据当前节点对应的对比结果与预先定义的告警规则，确定当前所述节点对应的对比结果是否满足告警要求。

可选地，可以是任意一个目标指标大于对应的预设告警阈值，则确定当前该节点对应的对比结果满足告警要求，或者是在大于对应的预设告警阈值的目标指标的数量达到预设数量时，确定当前该节点对应的对比结果满足告警要求等。

需要说明的是，当确定当前该节点对应的对比结果满足告警要求，则执行步骤S303。

S303、生成并反馈告警信息。

可选地，针对当前该节点，可以生成包括该节点的信息以及对比结果等信息的告警信息，并将其反馈到监控页面上，以让用户及时准确地获知到告警的情况。

本申请实施例提供了一种异步数据传输的监控方法，每间隔第一预设时间间隔，通过各个设备实例访问所在的应用系统的数据库实例，采集到各个设备实例的当前数据传输信息，其中，每个设备实例用于实现预先划分的文件传输阶段中的一个子阶段的文件传输任务，从而获取得到文件传输过程中各个设备实例执行的各个传输阶段的数据传输信息。然后按照预定义的日志格式对各个设备实例的当前数据传输信息进行处理，得到各个设备实例对应的监控数据文件，并将各个设备实例对应的监控数据文件存储到各个设备实例对应的监控采集路径下。每间隔第二预设时间，从各个设备实例对应的监控采集路径下，读取出各个设备实例对应的监控数据文件，并利用各个设备实例对应的监控数据文件，确定出当前每个节点下的目标指标，最后至少将当前各个所述节点下的目标指标展示在监控页面上。通过获取到各个设备实例的数据传输信息，从而获取到数据传输中的各个阶段的信息，并且每个节点由至少一个设备实例组成，所以最终可以得到整个数据传输过程的各个目标指标，通过目标指标实现对发送方及接收方为多设备实例组成的集群时的异步数据传输的有效监控。

本申请另一实施例提供了一种异步数据传输的监控装置，如图4所示，包括：

采集单元401，用于每间隔第一预设时间间隔，通过各个设备实例访问所在的应用系统的数据库实例，采集到各个设备实例的当前数据传输信息。

其中，每个设备实例用于实现预先划分的文件传输阶段中的一个子阶段的文件传输任务。

处理单元402，用于按照预定义的日志格式对各个设备实例的当前数据传输信息进行处理，得到各个设备实例对应的监控数据文件。

存储单元403，用于将各个设备实例对应的监控数据文件存储到各个设备实例对应的监控采集路径下。

扫描单元404，用于每间隔第二预设时间，从各个设备实例对应的监控采集路径下，读取出各个设备实例对应的监控数据文件。

计算单元405，用于利用各个设备实例对应的监控数据文件，确定出当前每个节点下的目标指标。其中，每个节点由至少一个设备实例组成。

展示单元406，用于至少将当前各个节点下的目标指标展示在监控页面上。

可选地，在本申请另一实施例提供的异步数据传输的监控装置中，节点下的目标指标包括节点在目标时间段内文件传输任务成功数量、文件传输任务失败数量以及正在传输，且耗时已超过预设时间长度的文件传输任务的数量。

可选地，在本申请另一实施例提供的异步数据传输的监控装置中，目标时间段包括距离当前时刻第一时间长度的时间段以及当天截至当前时刻的时间段。

可选地，在本申请另一实施例提供的异步数据传输的监控装置中，展示单元，如图5所示，包括：

生成单元501，用于生成各个节点对应的任务明细视图以及任务总览视图。

展示子单元502，用于将任务明细视图以及任务总览视图分别展示在监控页面上。

可选地，在本申请另一实施例提供的异步数据传输的监控装置中，还包括：

对比单元，用于分别针对每个节点，将当前节点下的目标指标与对应的预设告警阈值进行对比，得到当前节点对应的对比结果。

确定单元，用于根据当前节点对应的对比结果与预先定义的告警规则，确定当前节点对应的对比结果是否满足告警要求。

告警单元，用于若确定出当前节点对应的对比结果满足告警要求，则生成并反馈告警信息。

需要说明的是，本申请上述实施例提供的各个单元的具体工作过程可相应地参考上述方法实施例中的相应的步骤，此处不再赘述。

本申请另一实施例提供了一种电子设备，如图6所示，包括：

存储器601和处理器602。

其中，存储器601用于存储程序。

处理器602用于执行存储器601存储的程序，并且该程序被执行时，具体用于实现如上述任意一个实施例提供的异步数据传输的监控方法。

本申请另一实施例提供了一种计算机存储介质，用于存储计算机程序，计算机程序被执行时，用于实现如上述任意一个实施例提供的异步数据传输的监控方法。

计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种异步数据传输的监控方法，其特征在于，包括：

至少将当前各个所述节点下的目标指标展示在监控页面上。

2.根据权利要求1所述的方法，其特征在于，所述节点下的目标指标包括所述节点在目标时间段内文件传输任务成功数量、文件传输任务失败数量以及正在传输，且耗时已超过预设时间长度的文件传输任务的数量。

3.根据权利要求2所述的方法，其特征在于，所述目标时间段包括距离当前时刻第一时间长度的时间段以及当天截至当前时刻的时间段。

4.根据权利要求1所述的方法，其特征在于，所述至至少将当前各个所述节点下的目标指标展示在监控页面上，包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.一种异步数据传输的监控装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述展示单元，包括：

8.根据权利要求6所述的装置，其特征在于，还包括：

9.一种电子设备，其特征在于，包括：

存储器和处理器；

其中，所述存储器用于存储程序；

所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如权利要求1至5任意一项所述的异步数据传输的监控方法。

10.一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，用于实现如权利要求1至5任意一项所述的异步数据传输的监控方法。