CN108512726B

CN108512726B - 一种数据监控的方法及设备

Info

Publication number: CN108512726B
Application number: CN201810269379.4A
Authority: CN
Inventors: 郁国勇
Original assignee: Shanghai Lianshang Network Technology Co Ltd
Current assignee: Shanghai Lianshang Network Technology Co Ltd
Priority date: 2018-03-29
Filing date: 2018-03-29
Publication date: 2020-06-02
Anticipated expiration: 2038-03-29
Also published as: CN108512726A

Abstract

本申请的目的是提供一种数据监控的方法及设备，本申请通过获取在数据源端进行标签标记的数据以及标签标记的数据的统计信息；将所述标签标记的数据按照传输链路进行传输，确定各标签标记的数据在传输链路的层级时对应的统计信息；基于所述标签标记的数据的统计信息及所述传输链路的层级时对应的统计信息，对在所述传输链路中的标签标记的数据进行监控分析，能够达到第一时间发现数据丢失和快速定位丢失数据的效果，能绝对保证数据的完整性。

Description

一种数据监控的方法及设备

技术领域

本申请涉及计算机领域，尤其涉及一种数据监控的方法及设备。

背景技术

随着信息技术的发展，大数据分析与人们的生活联系的越来越紧密，比如对数据采集系统的数据完整性进行监控，数据监控是指通过数据的变化趋势，来判断数据、处理设备等是否出现异常情况，以便于能够及时发现问题，尽早进行维护。

目前，普遍存在系统上线后很难及时发现数据丢失，快速找回和补全丢失数据的痛点。

发明内容

本申请的一个目的是提供一种数据监控的方法及设备，解决现有技术中在系统上线后很难及时发现数据丢失及具体定位到丢失的数据的问题。

根据本申请的一个方面，提供了一种数据监控的方法，该方法包括：

获取在数据源端进行标签标记的数据以及标签标记的数据的统计信息；

将所述标签标记的数据按照传输链路进行传输，确定各标签标记的数据在传输链路的层级时对应的统计信息；

基于所述标签标记的数据的统计信息及所述传输链路的层级时对应的统计信息，对在所述传输链路中的标签标记的数据进行监控分析。

进一步地，所述标签标记的数据的统计信息包括标签名、源端唯一标识、起始时间、结束时间、数据条数及发送时间。

进一步地，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据标签对所述标签标记的数据进行分区存储成文件，并确定每一条标签标记的数据的全局唯一序列标识及存储成文件时的文件标识；

根据所述标签标记的数据生成的分区及所述文件标识确定所述标签标记的数据在传输链路的第一层级时对应的统计信息。

进一步地，所述方法包括：

将接收到的数据源端发送的所述标签标记的数据的统计信息、所述标签标记的数据在所述第一层级时对应的统计信息及文件的起止标识存储至数据库。

进一步地，所述标签标记的数据的全局唯一序列标识包括：

标签、所在服务器的标识、所在分区的分区标识及所在文件的文件标识。

进一步地，所述方法包括：

根据标签对所述标签标记的数据进行分区存储成文件之后，将所述标签标记的数据存储成的每一文件分成一个或多个事务；

将所述一个或多个事务写入分布式消息系统，并进行同步标识，其中，进行同步标识包括：更改所述一个或多个事务对应的文件的文件标识或将对应的文件移动至指定位置。

根据每一事务确定每条标签标记的数据在传输链路的第二层级时对应的第一统计信息，并将所述第一统计信息存储至数据库，其中，所述第一统计信息包括事务标识、服务器标识、分区标识、文件标识、文件的起止标识及事务状态信息。

进一步地，所述方法包括：

读取所述分布式消息系统中的数据，并将所述数据存储至分布式仓库。

根据标签、服务器标识、分区标识及文件标识确定每条标签标记的数据在传输链路的第三层级时对应的第二统计信息，并将所述第二统计信息存储至数据库。

根据所述标签标记的数据的全局唯一序列标识、所在分区的分区标识及所在文件的文件标识中任几种组合确定每条标签标记的数据在传输链路的第四层级时对应的统计信息，并将确定的统计信息存储至数据库。

进一步地，所述对在所述传输链路中的标签标记的数据进行监控分析，包括：

根据所述标签标记的数据的统计信息及所述标签标记的数据在所述第一层级时对应的统计信息，判断所述标签标记的数据从数据源端到所述第一层级的传输过程中是否存在数据丢失。

进一步地，所述方法包括：

若所述标签标记的数据从数据源端到所述第一层级的传输过程中存在数据丢失，则根据标签、数据接收的起止时间、所述标签标记的数据的数量定位数据丢失的位置，将定位到的位置对应的标签标记的数据进行重新传输。

根据所述标签标记的数据在所述第一层级时对应的统计信息及所述标签标记的数据在所述第四层级时对应的统计信息，判断所述标签标记的数据从所述第一层级至所述第四层级的传输过程中是否存在数据丢失。

进一步地，所述方法包括：

若所述标签标记的数据从所述第一层级至所述第四层级的传输过程中存在数据丢失，则根据所述服务器时对应的统计信息定位发生数据丢失的服务器及所在的文件；

对定位到的文件进行重新处理，更新所述标签标记的数据在所述第二层级时对应的统计信息。

根据本申请又一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。

根据本申请再一个方面，还提供了一种数据监控的设备，其中，所述设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述所述方法的操作。

与现有技术相比，本申请获取在数据源端进行标签标记的数据以及标签标记的数据的统计信息；将所述标签标记的数据按照传输链路进行传输，确定各标签标记的数据在传输链路的层级时对应的统计信息；基于所述标签标记的数据的统计信息及所述传输链路的层级时对应的统计信息，对在所述传输链路中的标签标记的数据进行监控分析，能够达到第一时间发现数据丢失和快速定位丢失数据的效果，能绝对保证数据的完整性。

进一步地，若所述标签标记的数据从数据源端到所述服务器的传输过程中存在数据丢失，则根据标签、数据接收的起止时间、所述标签标记的数据的数量定位数据丢失的位置，将定位到的位置对应的标签标记的数据进行重新传输。若所述标签标记的数据从服务器至所述分布式数据仓库的传输过程中存在数据丢失，则根据所述服务器时对应的统计信息定位发生数据丢失的服务器及所在的文件；对定位到的文件进行重新处理，更新所述标签标记的数据在第一异步传输时对应的统计信息。完成对丢失的数据进行补全，让数据重新完整。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请的一个方面提供的一种数据监控的方法流程示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

图1示出根据本申请的一个方面提供的一种数据监控的方法流程示意图，该方法包括：步骤S11～步骤S13，其中，

在步骤S11中，获取在数据源端进行标签标记的数据以及标签标记的数据的统计信息；在此，确定需要在传输链路中进行传输的源数据，在数据源端将该源数据打标签，以方便后续按照标签进行统计分析，其中，所述标签可以是特定业务标签及源端唯一标识及后续的采集服务器标识及分区标识及文件标识，确定标签标记的数据的统计信息是基于标签维度的统计信息，该统计信息可以包括业务标签名、源端唯一标识、后续的采集服务器标识、分区标识、文件标识等维度，以及起始时间、结束时间、数据条数及发送时间等信息，可以理解的是，源端唯一标识用于标识数据的具体来源，比如用户唯一标识或其他数据源唯一标识，以便于出现故障，数据异常时能够往数据源端进行溯源。接着，在步骤S12中，将所述标签标记的数据按照传输链路进行传输，确定各标签标记的数据在传输链路的层级时对应的统计信息；在此，将打上标签的数据按照传输链路进行依次传输，当标签标记的数据传输至每一层级时统计该层级处基于标签的统计信息，其中，层级可以为传输链路的节点，如服务器、数据库等，也可以是将数据传输至传输链路的节点这一传输步骤，统计该传输步骤对应的统计信息。随后，在步骤S13中，基于所述标签标记的数据的统计信息及所述传输链路的层级时对应的统计信息，对在所述传输链路中的标签标记的数据进行监控分析。在此，需要基于所述数据源端及传输链路的层级时基于标签的统计数据，对所述传输链路中的标记了标签的数据进行监控分析，具体地，根据数据源端时的统计信息及将打上标签的数据进行传输时在传输过程中的节点或传输步骤对应的统计信息，进行联合查询比对，以对传输链路中的标签标记的数据进行监控分析，可以将数据源端时的统计信息与传输链路中的每一节点时的统计信息进行比对，也可以是传输链路中的各节点的统计信息进行比对，以确定从数据源端到与其比对的传输链路的节点这一传输过程中是否有数据异常，或从传输链路的某一节点传输至另一节点的传输过程中是否有数据异常，进而能够实现第一时间发现数据丢失和快速定位丢失的数据，从而保证数据的完整性。

进一步地，所述传输链路的层级包括一个或多个层级，例如，在本申请中以四个层级为例，其中，第一层级为服务器，第二层级为第一异步传输，第三层级为第二异步传输，及第四层级为分布式数据仓库。在本申请一应用场景中，如在数据的采集系统中，对该数据采集系统中的数据完整性的监控，可以对其传输链路的每一层级进行监控，如从数据源端采集数据传输至服务器，服务器可以将采集的数据通过第一异步传输的方式传输至分布式消息系统，第二异步传输从分布式消息系统中读取数据并写入分布式数据仓库，对该传输链路中的每一条数据进行追踪，以及对每一条数据在每一节点如采集服务器、分布式数据仓库，以及第一异步传输的传输步骤、第二异步传输的传输步骤时进行统计分析。具体统计分析如下：

具体地，在步骤S12中，根据标签对所述标签标记的数据进行分区存储成文件，并确定每一条标签标记的数据的全局唯一序列标识及存储成文件时的文件标识；根据所述标签标记的数据生成的分区及所述文件标识确定所述标签标记的数据在传输链路的第一层级时对应的统计信息。在本申请以下实施例中，第一层级为服务器，其中，服务器优选为数据采集服务器，在传输链路中可以为一个或多个，在本申请一优选实施例中，为数据采集服务器集群，当将源数据打上标签后传输至数据采集服务器集群时，根据标签对传输的数据进行分区存储成文件，为每一条数据生成全局唯一序列标识，其中，所述标签标记的数据的全局唯一序列标识包括：特定的业务标签、所在数据采集服务器的标识、所在分区的分区标识及所在文件的文件标识。在此，比如为每一条数据生成全局唯一的序列号，该序列号带有标签、采集服务器标识(比如采集服务器ID)、分区标识(如分区ID)及文件标识(如文件ID)，并且保证一个文件内的序列号是连续的。生成基于分区标识及文件标识为维度的统计信息，统计信息可以包括某一文件包含多少条数据及起止序列号，起止序列号用于后续定位某一具体序列号的数据所在的原始文件。

在本申请一实施例中，所述方法包括：步骤S12，将接收到的数据源端发送的所述标签标记的数据的统计信息、所述标签标记的数据在所述数据采集服务器时对应的统计信息及文件的起止标识存储至数据库。在此，数据采集服务器集群将接收的数据源端上报的统计信息存入数据库，并将根据分区及文件标识确定的统计信息以及文件的起止序列号存入数据库中，其中，数据库优选为关系型数据库，比如RDBMS，便于后续在关系型数据库中进行统计分析，将存储的数据进行联合查询比对。例如，表一和表二分别为存储至RDBMS中的数据源端上报的统计信息、数据采集服务器集群端的统计信息：

表一：数据源端上报的统计信息

起始数据接收时间	结束序列号	结束数据接收时间
			$ts_start	$tag_mach_part_file_sn2	$ts_end

表二：数据采集服务器集群端的统计信息

在本申请一实施例中，所述方法包括：步骤S121，根据标签对所述标签标记的数据进行分区存储成文件之后，在写入分布式消息系统阶段，将所述标签标记的数据存储成的每一文件中的数据分成一个或多个事务；将所述一个或多个事务写入所述分布式消息系统，并进行同步标识，其中，进行同步标识包括：更改所述一个或多个事务对应的文件的文件标识或将对应的文件移动至指定位置。在此，利用可靠的分布式数据传输工具将每一个文件中的数据分成多个事务，将分成事务后的数据进行提交，写入可靠的分布式消息系统，当文件成功写入分布式消息系统后，即文件分成的所有事物全部提交成功后，对文件进行同步标识，其中，可以通过更改文件名后缀或移动文件到指定其他位置完成同步标识。进一步地，在步骤S12中，根据每一事务确定每条标签标记的数据在传输链路的第二层级时对应的第一统计信息，并将所述第一统计信息存储至数据库，其中，所述第一统计信息包括事务标识、数据采集服务器标识、分区标识、文件标识、文件的起止标识及事务状态信息。在此，所述传输链路的第二层级为第一异步传输，第一异步传输时对应的第一统计信息是将数据写入分布式消息系统这一步骤过程中进行统计分析得到的统计信息，该步骤过程是带有事务的，即一个事务所涉及的数据全部写入成功或全部失败，该步骤过程的统计信息包括每一个事务对应的标签、采集服务器、分区、文件、起止序列号以及事务状态信息等，如表三所示的第一异步传输中将数据写入分布式消息系统这一步骤过程确定的第一统计信息：

起始序列号	结束序列号	事务状态
			$tag_mach_part_file_sn1	$tag_mach_part_file_sn2	0或1

表三：第一异步传输时对应的第一统计信息

在本申请一实施例中，将数据进行传输时，除了第一异步传输的方式，还有第二异步传输的方式，传输链路的层级还包括第三层级：第二异步传输的方式，在第二异步传输的方式的传输步骤中，所述方法包括：步骤S122，读取所述分布式消息系统中的数据，并将所述数据存储至分布式仓库。在此，使用可靠的分布式数据传输工具从分布式消息系统中读取数据，并将数据存入分布式数据仓库系统，因此，在所述传输链路的层级包括第二异步传输时，步骤S12中，根据标签、数据采集服务器标识、分区标识及文件标识确定每条标签标记的数据在所述第二异步传输时对应的第二统计信息，并将所述第二统计信息存储至数据库。在此，可以按照特定业务标签、数据采集服务器ID(如机器名)、分区标识(如分区名)和文件标识(如文件名)中任意组合的多个维度对数据进行统计，以确定第二异步传输时对应的第二统计信息，将确定的第二统计信息存入至关系型数据库(RDBMS)中。其中，如表四所示第二异步传输时对应的第二统计信息：

表四：第二异步传输时对应的第二统计信息

当数据出现不完整时，上述表三和表四可分别用于确定和定位数据丢失是否发生在第一异步传输的步骤过程中或第二异步传输的步骤过程中。

在本申请一实施例中，通过第二异步传输将从分布式消息系统中读取的数据存入至分布式数据仓库，对该分布式数据仓库中的数据进行统计分析，在步骤S12中，根据所述标签标记的数据的全局唯一序列标识、所在分区的分区标识及所在文件的文件标识中任几种组合确定每条标签标记的数据在传输链路的第四层级时对应的统计信息，并将确定的统计信息存储至数据库。在此传输链路的第四层级为分布式数据仓库，直接按照分区、文件标识、每条数据的全局唯一序列号进行统计分析，如表五所示的统计信息，并将该统计信息存储至关系型数据库(RDBMS)中。

标签名	采集服务器ID	分区标识	文件标识	数据条数
					$tag	$svr_id	$partition	$file	$normal_cnt

表五：分布式数据仓库中的统计信息

将数据源端上报的统计信息(表一)以及传输链路中各层级的统计信息(表二至表五)存储至关系型数据库(RDBMS)中，根据对各统计信息的比对分析，进行完整性可视化展现和警告。比如，在步骤S13中，根据所述标签标记的数据的统计信息及所述标签标记的数据在所述数据采集服务器时对应的统计信息，判断所述标签标记的数据从数据源端到所述数据采集服务器的传输过程中是否存在数据丢失。在此，将上述表一、表二的统计信息进行联合查询比对，判断数据从数据源端至数据采集服务器集群这一传输过程中是否发生了数据丢失的情况，若所述标签标记的数据从数据源端到所述数据采集服务器的传输过程中存在数据丢失，则根据标签、数据接收的起止时间、所述标签标记的数据的数量定位数据丢失的位置，将定位到的位置对应的标签标记的数据进行重新传输。在此，利用上述数据判定是否异常的方法，可以实现监控数据源端的统计信息可以及时发现程序、系统层面的数据问题。当需要进行数据补全时，数据源端可根据标签、起止时间、数据条数等信息确定丢失的数据，并将丢失数据进行重发。

根据所述标签标记的数据在数据采集服务器时对应的统计信息及所述标签标记的数据在分布式数据仓库时对应的统计信息，判断所述标签标记的数据从数据采集服务器至所述分布式数据仓库的传输过程中是否存在数据丢失。

在本申请一实施例中，还可以进行以下的数据丢失的判定及重新完整数据：若所述标签标记的数据从数据采集服务器至所述分布式数据仓库的传输过程中存在数据丢失，则根据所述数据采集服务器时对应的统计信息定位发生数据丢失的数据采集服务器及所在的文件；对定位到的文件进行重新处理，更新所述标签标记的数据在第一异步传输时对应的统计信息。在此，将上述表二、表五的统计信息进行联合查询比对，可判断出从数据采集服务器至分布式数据仓库这一传输过程中是否有数据丢失，这一传输过程还包括了第一异步传输和第二异步传输的步骤过程；当判定有数据丢失时，可根据表二中的数据定位丢失数据所在的采集服务器以及具体文件，并在第一异步传输时将该文件进行重新处理。需要说明的是，各统计信息存储至RDBMS中，判定数据丢失时RDBMS可选择只存最近3-7天的数据，从而保证RDBMS的查询性能。

通过本申请上述所述的数据监控的方法，可应用于高并发数据上报的场景，通过数据源打标签和上报分类汇总数据，对服务端整个传输链路中每一条数据进行跟踪，并对每一链路的层级(包括节点和传输至该节点时的步骤过程)进行统计分析，能够达到第一时间发现数据丢失和快速定位丢失数据的效果，能绝对保证数据的完整性。

此外，根据本申请另一个方面，提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述所述的方法。

在本申请一实施例中，根据本申请再一个方面，还提供了一种数据监控的设备，其中，所述设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述一种数据监控的方法的操作。

例如，计算机可读指令在被执行时使所述一个或多个处理器：对待监控的源数据进行标签标记，并确定标签标记的数据的统计信息；将所述标签标记的数据按照传输链路进行传输，确定各标签标记的数据在传输链路的层级时对应的统计信息；基于所述标签标记的数据的统计信息及所述传输链路的层级时对应的统计信息，对在所述传输链路中的标签标记的数据进行监控分析。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims

1.一种数据监控的方法，其中，所述方法包括：

获取在数据源端进行标签标记的数据以及标签标记的数据的统计信息，其中，所述标签标记的数据的统计信息包括标签名、源端唯一标识、起始时间、结束时间、数据条数及发送时间；

将所述标签标记的数据按照传输链路进行传输，确定各标签标记的数据在传输链路的层级时对应的统计信息，其中，所述传输链路的层级为数据传输时的传输链路的节点或传输步骤；

2.根据权利要求1所述的方法，其中，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据所述标签标记的数据生成的分区及所述文件标识确定所述标签标记的数据在传输链路的第一层级对应的统计信息。

3.根据权利要求2所述的方法，其中，所述方法包括：

将接收到的数据源端发送的所述标签标记的数据的统计信息、所述标签标记的数据在所述第一层级对应的统计信息及文件的起止标识存储至数据库。

4.根据权利要求2所述的方法，其中，所述标签标记的数据的全局唯一序列标识包括标签、所在采集服务器的标识、所在分区的分区标识及所在文件的文件标识。

5.根据权利要求2所述的方法，其中，所述方法包括：

6.根据权利要求5所述的方法，其中，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据每一事务确定每条标签标记的数据在传输链路的第二层级对应的第一统计信息，并将所述第一统计信息存储至数据库，其中，所述第一统计信息包括事务标识、采集服务器标识、分区标识、文件标识、文件的起止标识及事务状态信息。

7.根据权利要求6所述的方法，其中，所述方法包括：

8.根据权利要求7所述的方法，其中，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据标签、采集服务器标识、分区标识及文件标识确定每条标签标记的数据在传输链路的第三层级对应的第二统计信息，并将所述第二统计信息存储至数据库。

9.根据权利要求8所述的方法，其中，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据所述标签标记的数据的全局唯一序列标识、所在分区的分区标识及所在文件的文件标识中任几种组合确定每条标签标记的数据在传输链路的第四层级对应的统计信息，并将确定的统计信息存储至数据库。

10.根据权利要求2至9中任一项所述的方法，其中，所述对在所述传输链路中的标签标记的数据进行监控分析，包括：

根据所述标签标记的数据的统计信息及所述标签标记的数据在所述第一层级对应的统计信息，判断所述标签标记的数据从数据源端到所述第一层级的传输过程中是否存在数据丢失。

11.根据权利要求10所述的方法，其中，所述方法包括：

12.根据权利要求9所述的方法，其中，所述对在所述传输链路中的标签标记的数据进行监控分析，包括：

根据所述标签标记的数据在所述第一层级对应的统计信息及所述标签标记的数据在所述第四层级对应的统计信息，判断所述标签标记的数据从所述第一层级至所述第四层级的传输过程中是否存在数据丢失。

13.根据权利要求12所述的方法，其中，所述方法包括：

若所述标签标记的数据从所述第一层级至所述第四层级的传输过程中存在数据丢失，则根据采集服务器对应的统计信息定位发生数据丢失的服务器及所在的文件；

对定位到的文件进行重新处理，更新所述标签标记的数据在所述第二层级对应的统计信息。

14.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至13中任一项所述的方法。

15.一种数据监控的设备，其中，所述设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至13中任一项所述方法的操作。