CN112751722B - 数据传输质量监控方法和系统 - Google Patents

Abstract

本申请实施例提供了一种数据传输质量监控方法，该方法包括：接收数据传输链路中网关节点上报的第一监控数据和数据分发节点上报的第二监控数据；及根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量。本实施例所述的技术方案，通过在各个节点的监控数据，来监控整个数据传输链路中是否出现异常情况，以及时发现故障，隔离、替换故障设备，维持流式数据传输系统的正常运行。

Description

数据传输质量监控方法和系统

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种数据传输质量监控方法、系统、计算机设备及计算机可读存储介质。

背景技术

通过部署单个网络设备实现所有业务，已经无法适应当前网络需求，如无法适应日益增加的各类数据的传输和存储等需求。为此，人们开始通过分布式计算机架构来实现各类业务，其通常包括数量庞大的网络设备，且网络设备之间多层级联。例如，流式数据传输系统就是由大量节点组合的。要维持流式数据传输系统的正常运行，需要有效监控整条传输链路的数据传输质量，以及时发现故障，隔离、替换故障设备。

发明内容

本申请实施例的目的是提供一种数据传输质量监控方法、系统、计算机设备及计算机可读存储介质，可以用于解决如何有效监控整条传输链路的数据传输质量的技术问题。

本申请实施例的一个方面提供了一种数据传输质量监控方法，所述方法包括：接收数据传输链路中网关节点上报的第一监控数据和数据分发节点上报的第二监控数据；及根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量。

可选的，所述第一监控数据包括所述网关节点在第一时间段接收到的数据的接收字节数，所述第二监控数据包括所述数据分发节点在所述第一时间段输出的数据的落地字节数。

可选的，根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量，包括：对比所述接收字节数和所述落地字节数；及如果所述接收字节数和所述字节数之间的字节数差距大于第一预设阈值，则确定所述数据传输链路出现异常事件。

可选的，根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量，包括：对比所述落地字节数与历史落地字节数，所述历史落地字节数包括所述数据分发节点在历史时间段输出的数据的落地字节数，所述历史时间段为与所述第一时间段对应的在上一天或上一周中的时间段；及如果所述落地字节数和所述历史落地字节数之间的字节数差距大于第二预设阈值，则确定所述数据传输链路出现异常事件。

可选的，所述方法还包括：接收所述数据传输链路中存储节点上报的第三监控数据，所述第三监控数据包括各个目录在第二时间段时的字节数；对比所述各个目录的字节数和各个目录的历史字节数，所述历史字节数包括所述存储节点历史时间段中各个目录的字节数，所述历史时间段为与所述第二时间段对应的在上一天或上一周中的时间段；及如果所述各个目录的字节数和历史字节数之间的字节数差距大于第三预设阈值，则确定所述数据传输链路出现异常事件。

可选的，所述第一监控数据还包括所述网关节点接收到的数据的接收时间戳，所述第二监控数据包括所述数据分发节点输出的数据的落地时间戳；根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量，包括：对比所述接收时间戳与所述落地时间戳；及如果所述接收时间戳和所述落地时间戳之间的时间差距大于第四预设阈值，则确定所述数据传输链路出现传输延时事件。

可选的，所述第一监控数据还包括在第三时间段内接收到的数据的第一数据个数，所述第二监控数据包括接收时间戳在第三时间段内的输出数据的个数；根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量，包括：对比所述第一数据个数与所述第二数据个数；及如果所述第一数据个数和所述第二数据个数之间的个数差距大于第五预设阈值，则确定所述数据传输链路出现数据丢失事件。

本申请实施例的再一个方面提供了一种数据传输质量监控系统，所述系统包括：接收模块，用于接收数据传输链路中网关节点上报的第一监控数据和数据分发节点上报的第二监控数据；及分析模块，用于根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量。

本申请实施例的再一个方面提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，上述处理器执行上述计算机程序时用于实现如上任一项所述的数据传输质量监控方法的步骤。

本申请实施例的又一个方面提供了一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时用于实现如上任一项所述的数据传输质量监控方法的步骤。

本申请实施例提供的数据传输质量监控方法、系统、计算机设备及计算机可读存储介质，通过在各个节点的监控数据，来监控整个数据传输链路中是否出现异常情况，以及时发现故障，隔离、替换故障设备，维持流式数据传输系统的正常运行。

附图说明

图1示意性示出了流式数据传输系统的系统架构图；

图2示意性示出了根据本申请实施例一的数据传输质量监控方法的流程图；

图3示意性示出了实施例一的监控逻辑图；

图4示意性示出了步骤S202的子流程图；

图5示意性示出了实施例一的各类数据流向图；

图6示意性示出了步骤S202的子流程图；

图7示意性示出了步骤S202的子流程图；

图8示意性示出了步骤S202的子流程图；

图9示意性示出了步骤S202的子流程图；

图10示意性示出了根据本申请实施例二的数据传输质量监控系统的框图；以及

图11示意性示出了根据本申请实施例三的适于实现数据传输质量监控方法的计算机设备的硬件架构示意图。

具体实施方式

为了使本申请实施例的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

图1示意性示出了根据本申请实施例的流式数据传输系统，所述流式数据传输系统在于提供流式的数据传输服务，如用于实时流和离线流两大场景的数据收集和分发。实时流场景，对应于秒级别的数据时效性，主要用于将数据写入到kafka、hbase等数据库中。离线流场景，对应于小时级别或天级别的数据时效性，主要用于将数据写入到hdfs、hive等数据库中。所述流式数据传输系统可以由下几部分组成：数据源1、网络路由层2、数据缓冲层3、数据分发层4、数据存储层5和监控模块6等。

所述数据源1，可以是内部数据源，也可以连接外部数据源的数据接口。所述数据源1中可以有多种格式的数据，例如，APP和Web的上报数据是HTTP(HyperText TransferProtocol，超文本传输协议)格式的数据，服务端的内部通信数据是RPC(Remote ProcedureCall，远程过程调用)格式的数据。

所述网络路由层2，可以通过一个或多个网关节点实现，用于协议解析、打包和压缩等，以保障数据在不丢失的前提下写入到数据缓冲层3。具体的，所述网络路由层2被配置连接于数据源1，并可以适应各种不同的业务场景和数据协议，例如，被配置用于兼容解析多种协议的数据，诸如基于HTTP(HyperText Transfer Protocol，超文本传输协议)协议的APP和Web数据，和基于RPC协议的服务端的内部通信数据。解析得到的数据可以被转换为标准格式数据库文件并被存储到数据缓冲层3。

所述数据缓冲层3，可以通过消息分发订阅系统或上述系统集群实现。在一些实施例中，数据缓冲层3可以由多套kafka cluster(kafka集群)组成，起到数据削峰填谷的作用。不同重要性、优先级、数据吞吐量的数据，可以被分流到不同的kafka cluster中，以保障不同类型数据的价值，避免系统故障影响整体数据。

数据分发层4，可以由一个或多个数据分发节点(Collector)实现，用于内容转换和分发存储，即保障数据从数据缓冲层3获取并写入到数据存储层5中对应的存储节点。具体的，所述数据分发层4用于数据的分发落地，支持的分发场景包括HDFS(HadoopDistributed File System，Hadoop分布式文件系统)、Kafka、Hbase、ES(Elasticsearch)等，而在分发的过程中，由于不同存储节点的数据落地时效性要求可能不同，例如，HDFS的数据写入是按天进行任务的计算和应用，Kafka的数据写入一般是按秒进行任务的计算和应用，通常用于诸如实时推荐、实时计算等场景中。针对数据不同场景的分发要求，数据分发层4可以根据存储节点进行服务分组管理。例如，线上会划分为Kafka Collector组、HDFSCollector组等。不同Collector组会从数据缓冲层3获取相应标签(topic)的数据并分发至下游。

所述数据存储层5，用于存储数据，可以由不同形式的数据库构成，所述数据库可以ES、Hive、Kafka、Hadoop和Hbase等。

所述监控模块6，用于监控整条传输链路中所体现的数据质量，以为所述流式数据传输系统对外传输质量提供监控告警。如何衡量数据的传输质量是衡量所述流式数据传输系统的重要指标之一，例如，所述流式数据传输系统数据丢失率、延迟率、接收数据量、分发数据量等。

为了帮助理解所述数据传输系统的工作原理，下面对其提供的数据传输服务进行介绍：数据源1可以是每条记录为单位形成一条一条的数据，也可以以logId为单位形成一批一批的数据(即，每批数据分别标识有一个logId)，通过HTTP、RPC等协议将这些数据上报给网关路由层2，并依次经过网关路由层2、数据缓冲层3进入到数据分发层4，通过数据分发层4将这些数据发到数据存储层5中的存储节点中。

实施例一

图2示意性示出了根据本申请实施例一的数据传输质量监控方法的流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备20为执行主体进行示例性描述。其中，计算机设备20可以内置有监控模块6，用于实现针对流式数据传输系统的数据传输链路的监控和告警操作。

如图2所示，该数据传输质量监控方法可以包括步骤S200～步骤S202，其中：

步骤S200，接收数据传输链路中网关节点上报的第一监控数据和数据分发节点上报的第二监控数据。

步骤S202，根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量。

如图3所示，网关节点和数据分发节点分别安装有监控程序，如监控计数器(AgentCounter)。这些监控计数器会以预定时间间隔(如，15秒)将计数器数据上报至计算机设备20中。计算机设备20收集这些计数器数据之后，可以将这些计数器数据按照上报时间存储到Hbase，并复制一份存放到Mysql中。所述计数器数据可以包括接收数据数量、处理数据数量、发送成功数据数量、发送失败数据数量等。

前端设备可以从Hbase中获取各个监控计数器的计数器数据，并将各个监控计数器的计数器数据展示在显示屏幕上，以供用户细粒度地查看各个节点的监控数据。

计算机设备20可以定时检查Mysql收集的这些监控数据，以根据这些监控数据判断链路中是否出现异常事件。如果判断出现异常事件，则可以通过内置的告警模块发送邮件到指定邮件地址，以实现对流式数据传输系统的高效监控和高效告警。

所述第一、第二监控数据，可以是来自不同节点的多种数据。不难理解，通过这些监控数据可以确定传输链路是否出现异常事件，或出现传输延时、数据丢失等事件。

所述第一监控数据包括所述网关节点在第一时间段接收到的数据的接收字节数，所述第二监控数据包括所述数据分发节点在所述第一时间段输出的数据的落地字节数。需要说明的是，所述落地字节数是指成功存储到数据存储层5中的字节的数量。

在示例性的实施例中，如图4所示，所述步骤S202包括步骤S400～S402，其中：步骤S400，对比所述接收字节数和所述落地字节数；步骤S402，如果所述接收字节数和所述字节数之间的字节数差距大于第一预设阈值，则确定所述数据传输链路出现异常事件。

例如，如图5所示，网关节点可以将其数据接收接口接收到的数据的接收字节数每隔15秒通过监控程序上报至计算机设备20，数据分发节点可以将其数据输出接口输出的数据的落地字节数每隔15秒上报至计算机设备20。网关节点的接收字节数和数据分发节点的落地字节数可以按照上报时间顺序被被写到Hbase中，并被复制到Mysql中。然后，对比同一时间段的接收字节数和落地字节数，以根据二者之间的字节数差距来确定所述数据传输链路是否处于异常状态。所述同一时间段，可以是相同的15分钟时间。所述字节数差距可以是基于百分比的相对差距，也可以基于字节数的绝地差距。

不难理解，通过上述接收字节数和落地字节数的分析，可以得到数据传输链路的是否出现异常情况。

在示例性的实施例中，如图6所示，所述步骤S202包括步骤S600～S602，其中：步骤S600，对比所述落地字节数与历史落地字节数；步骤S602，如果所述落地字节数和所述历史落地字节数之间的字节数差距大于第二预设阈值，则确定所述数据传输链路出现异常事件。

所述历史落地字节数包括所述数据分发节点在历史时间段输出的数据的落地字节数，所述历史时间段为与所述第一时间段对应的在上一天或上一周中的时间段。例如，第一时间段为将2019年9月16号AM8:00～9:00，则与该第一时间段对应的历史时间段为2019年9月15号AM8:00～9:00或2019年9月9号AM8:00～9:00)。

例如，如图5所示，数据分发节点可以将其数据输出接口输出的数据的落地字节数每隔15秒上报至计算机设20。数据分发节点的落地字节数可以按照上报时间顺序被被写到Hbase中，并被复制到Mysql中。然后，计算机设备20每隔15分钟时间对比一次当前小时落地字节数(不满一小时则通过换算得到)与昨日或上周同一个小时的落地字节数进行对比，以根据二者之间的字节数差距来确定所述数据传输链路是否处于异常状态。

发明人发现，数据在各个时间段都会存在一定的规律性，比如，数据量差距小。因此，通过上述落地字节数与历史落地字节数，可以根据二者的差距来监控得到数据传输链路，以及时排除问题。

在示例性的实施例中，所述监控数据包括存储节点上报的第三监控数据，所述第三监控数据包括各个目录在第二时间段时的字节数。如图7所示，所述数据传输质量监控方法还可以包括步骤S700～S704，其中：步骤S700，接收所述数据传输链路中存储节点上报的第三监控数据，所述第三监控数据包括各个目录在第二时间段时的字节数；步骤S702，对比所述各个目录的字节数和各个目录的历史字节数；步骤S704，如果所述各个目录的字节数和历史字节数之间的字节数差距大于第三预设阈值，则确定所述数据传输链路出现异常事件。

所述历史字节数包括所述存储节点历史时间段中各个目录的字节数，所述历史时间段为与所述第二时间段对应的在上一天或上一周中的时间段。

例如，存储节点可以将其各个目录下存储的数据的落地字节数每隔15秒上报至计算机设备20。数据分发节点的落地字节数可以按照上报时间顺序被被写到Hbase中，并被复制到Mysql中。然后，计算机设备20每隔15分钟时间对比对比一次指定目录HDFS的字节数与昨日同一时刻HDFS指定目录的字节数，以根据二者之间的字节数差距来确定所述数据传输链路是否处于异常状态。

发明人发现，HDFS同一目录会存在一定的规律性，比如，数据量差距小。因此，通过上述各个目录的字节数和各个目录的历史字节数，可以根据二者的差距来监控得到数据传输链路，以及时排除问题。

在示例性的实施例中，所述第一监控数据还包括所述网关节点接收到的数据的接收时间戳，所述第二监控数据包括所述数据分发节点输出的数据的落地时间戳。如图8所示，所述步骤S202包括步骤S800～S802，其中：步骤S800，对比所述接收时间戳与所述落地时间戳；步骤S802，如果所述接收时间戳和所述落地时间戳之间的时间差距大于第四预设阈值，则确定所述数据传输链路出现传输延时事件。

例如，网关节点的数据接收接口在接收到一条消息后，给这条消息打上对应于接收时间节点的接收时间戳；在数据分发节点的数据输出接口将这条消息成功写入到存储节点之后，给这条消息打上对应于落地时间节点的落地时间戳；判断接收时间戳和落地时间戳之间的时间差值是否大于预先定义的延时时间；如果时间差值大于预先定义的延时时间，则判断这条消息是延迟达到的，则更新基于延迟事件的计数器数据，并每隔15S将延迟事件的计数器数据通过监控程序上报给计算机设备20，基于延迟事件的计数器数据可以按照上报时间顺序被被写到Hbase中，并被复制到Mysql中。计算机设备20每隔15分钟检查一次Mysql中的基于延迟事件的计数器数据。当计数器数据大于预定值时，则可以通过告警模块发出告警信息。

不难理解，通过对数据设置接收时间戳，可以在数据传输链路中的该数据的传输情况，以检测数据是否延迟，以便流式数据传输系统调整传输策略或排查传输故障。

在示例性的实施例中，所述第一监控数据还包括在第三时间段内接收到的数据的第一数据个数，所述第二监控数据包括接收时间戳在第三时间段内的输出数据的个数。如图9所示，所述步骤S202包括步骤S900～S902，其中：步骤S900，对比所述第一数据个数与所述第二数据个数；步骤S902，如果所述第一数据个数和所述第二数据个数之间的个数差距大于第五预设阈值，则确定所述数据传输链路出现数据丢失事件。

不难理解，通过对数据设置接收时间戳，可以由有检测到网关节点接收到的数据是否全部经由数据分发节点存储到数据存储层中。

例如：

a，在网关节点的数据接收接口在接收到数据时，给数据打上当前时刻的接收时间戳，在网关节点的监控程序中，按接收时间戳在第一统计数组对应的位置进行累加。

第一统计数组由60个单元组成，每个单元代表最近1小时内的每个分钟。

例如，最近1小时为2019年9月19号AM8:00～9:00，则第一统计数组用于统计该时间段接收到的数据个数，该第一统计数组分为60个单元，每个单元对应其中1分钟，如第1个单元用于记录2019年9月19号AM8:00:00～8:01:00这个子时间段接收到的数据个数。例如，当网络节点在2019年9月19号AM8:00:05接收到一个数据时，则为该数据打上“2019年9月19号AM8:00:05”的接收时间戳，因此，基于该接收时间戳会在第一统计数据的第1个单元内进行累加，即加1操作。

b，在数据分发节点的数据输出接口在写数据成功时，按照a中打的接收时间戳，在数据分发节点的监控程序中，在第二统计数组对应的位置进行累加。

第二统计数组由60个单元组成，每个单元代表最近1小时内的每个分钟。

例如，最近1小时为2019年9月19号AM8:00～9:00，则第二统计数组用于统计数据分发节点输出数据的数据个数，该第二统计数组分为60个单元，每个单元对应其中1分钟，如第1个单元用于记录2019年9月19号AM8:00:00～8:01:00这个子时间段的数据个数。例如，当网络节点在2019年9月19号AM8:02:34输出一个数据时，且这个输出的数据的接收时间戳“2019年9月19号AM8:00:08”，因此，基于该接收时间戳会在第二统计数据的第1个单元内进行累加，即加1操作。

c，各个节点的监控程序会每隔M(如，15)秒对各自统计数组最近N(如，10)分钟的监控数据汇总上报到计算机设备20中，计算机设备20将监控数据存储到队列中。

d，计算机设备20会每分钟将队列中的监控数据进行一次按时间区间(如，分钟)汇总统计，写入到Mysql中。

e，计算机设备20会以预定频率(如，每分钟)检查Mysql，将当前时间2分钟前的那个分钟的监控数据进行计算：丢失条数＝接收条数-落地条数，如果条数大于0，则通过告警模块发出告警信息。

当然，也可以按天进行监控数据的汇总，例如，在凌晨一点的时候将昨日的丢失条数进行汇总。

实施例二

图10示出了根据本申请实施例二的传输质量监控系统的框图，该传输质量监控系统可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。

如图10所示，所述传输质量监控系统1000可以包括以下组成部分：

接收模块1002，用于接收数据传输链路中网关节点上报的第一监控数据和数据分发节点上报的第二监控数据；及

分析模块1004，用于根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量。

在示例性的实施例中，所述第一监控数据包括所述网关节点在第一时间段接收到的数据的接收字节数，所述第二监控数据包括所述数据分发节点在所述第一时间段输出的数据的落地字节数。

在示例性的实施例中，所述分析模块1004，用于：对比所述接收字节数和所述落地字节数；及如果所述接收字节数和所述字节数之间的字节数差距大于第一预设阈值，则确定所述数据传输链路出现异常事件。

在示例性的实施例中，所述分析模块1004，用于：对比所述落地字节数与历史落地字节数，所述历史落地字节数包括所述数据分发节点在历史时间段输出的数据的落地字节数，所述历史时间段为与所述第一时间段对应的在上一天或上一周中的时间段；及如果所述落地字节数和所述历史落地字节数之间的字节数差距大于第二预设阈值，则确定所述数据传输链路出现异常事件。

在示例性的实施例中，接收模块1002，还用于：接收所述数据传输链路中存储节点上报的第三监控数据，所述第三监控数据包括各个目录在第二时间段时的字节数；所述分析模块1004，用于：对比所述各个目录的字节数和各个目录的历史字节数，所述历史字节数包括所述存储节点历史时间段中各个目录的字节数，所述历史时间段为与所述第二时间段对应的在上一天或上一周中的时间段；及如果所述各个目录的字节数和历史字节数之间的字节数差距大于第三预设阈值，则确定所述数据传输链路出现异常事件。

在示例性的实施例中，所述第一监控数据还包括所述网关节点接收到的数据的接收时间戳，所述第二监控数据包括所述数据分发节点输出的数据的落地时间戳。所述分析模块1004，用于：对比所述接收时间戳与所述落地时间戳；及如果所述接收时间戳和所述落地时间戳之间的时间差距大于第四预设阈值，则确定所述数据传输链路出现传输延时事件。

在示例性的实施例中，所述第一监控数据还包括在第三时间段内接收到的数据的第一数据个数，所述第二监控数据包括接收时间戳在第三时间段内的输出数据的个数。所述分析模块1004，用于：对比所述第一数据个数与所述第二数据个数；及如果所述第一数据个数和所述第二数据个数之间的个数差距大于第五预设阈值，则确定所述数据传输链路出现数据丢失事件。

实施例三

图11示意性示出了根据本申请实施例三的适于实现数据传输质量监控方法的计算机设备的硬件架构示意图。本实施例中，计算机设备20是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是笔记本电脑、台式计算机、监控设备、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图11所示，计算机设备20至少包括但不限于：可通过系统总线相互通信连接存储器21、处理器22、网络接口23。其中：

存储器21至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储模块，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(FlashCard)等。当然，存储器21还可以既包括计算机设备20的内部存储模块也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如数据传输质量监控方法的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器22在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作，例如执行与计算机设备20进行数据交互或者通信相关的控制和处理等。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据。

网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在计算机设备20与其他计算机设备之间建立通信连接。例如，网络接口23用于通过网络将计算机设备20与外部终端相连，在计算机设备20与外部终端之间的建立数据传输通道和通信连接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

需要指出的是，图11仅示出了具有部件21-23的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。

在本实施例中，存储于存储器21中的数据传输质量监控方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。

实施例四

本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的数据传输质量监控方法的步骤。

本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的数据传输质量监控方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种数据传输质量监控方法，其特征在于，所述方法包括：

接收数据传输链路中网关节点上报的第一监控数据和数据分发节点上报的第二监控数据；及

根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量；

所述方法还包括：

接收所述数据传输链路中存储节点上报的第三监控数据，所述第三监控数据包括各个目录在第二时间段时的字节数；

对比所述各个目录的字节数和各个目录的历史字节数，所述历史字节数包括所述存储节点历史时间段中各个目录的字节数，所述历史时间段为与所述第二时间段对应的在上一天或上一周中的时间段；及

如果所述各个目录的字节数和历史字节数之间的字节数差距大于第三预设阈值，则确定所述数据传输链路出现异常事件。

2.根据权利要求1所述的数据传输质量监控方法，其特征在于，所述第一监控数据包括所述网关节点在第一时间段接收到的数据的接收字节数，所述第二监控数据包括所述数据分发节点在所述第一时间段输出的数据的落地字节数。

3.根据权利要求2所述的数据传输质量监控方法，其特征在于，根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量，包括：

对比所述接收字节数和所述落地字节数；及

如果所述接收字节数和所述字节数之间的字节数差距大于第一预设阈值，则确定所述数据传输链路出现异常事件。

4.根据权利要求2所述的数据传输质量监控方法，其特征在于，根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量，包括：

对比所述落地字节数与历史落地字节数，所述历史落地字节数包括所述数据分发节点在历史时间段输出的数据的落地字节数，所述历史时间段为与所述第一时间段对应的在上一天或上一周中的时间段；及

如果所述落地字节数和所述历史落地字节数之间的字节数差距大于第二预设阈值，则确定所述数据传输链路出现异常事件。

5.根据权利要求1所述的数据传输质量监控方法，其特征在于，所述第一监控数据还包括所述网关节点接收到的数据的接收时间戳，所述第二监控数据包括所述数据分发节点输出的数据的落地时间戳；

根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量，包括：

对比所述接收时间戳与所述落地时间戳；及

如果所述接收时间戳和所述落地时间戳之间的时间差距大于第四预设阈值，则确定所述数据传输链路出现传输延时事件。

6.根据权利要求1所述的数据传输质量监控方法，其特征在于，所述第一监控数据还包括在第三时间段内接收到的数据的第一数据个数，所述第二监控数据包括接收时间戳在第三时间段内的输出数据的个数；

根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量，包括：

对比所述第一数据个数与输出数据的个数；及

如果所述第一数据个数和输出数据的个数之间的个数差距大于第五预设阈值，则确定所述数据传输链路出现数据丢失事件。

7.一种数据传输质量监控系统，其特征在于，所述系统包括：

接收模块，用于接收数据传输链路中网关节点上报的第一监控数据和数据分发节点上报的第二监控数据；及

分析模块，用于根据所述第一监控数据和所述第二监控数据，分析所述数据传输链路的数据传输质量；

所述接收模块，还用于：接收所述数据传输链路中存储节点上报的第三监控数据，所述第三监控数据包括各个目录在第二时间段时的字节数

所述分析模块，用于：对比所述各个目录的字节数和各个目录的历史字节数，所述历史字节数包括所述存储节点历史时间段中各个目录的字节数，所述历史时间段为与所述第二时间段对应的在上一天或上一周中的时间段；及如果所述各个目录的字节数和历史字节数之间的字节数差距大于第三预设阈值，则确定所述数据传输链路出现异常事件。

8.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1至6任一项所述数据传输质量监控方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现权利要求1至6任一项所述数据传输质量监控方法的步骤。

Images