CN110611576B - 一种数据质量监测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种数据质量监测方法、装置、设备及存储介质，方法包括：从各个系统获取日志数据，获得各个系统的日志数据，日志数据包括数据生命周期中各个数据阶段的日志数据；将各个系统的日志数据的格式转换为预设格式，获得各个系统的目标日志数据，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段的汇总数据；通过每个数据阶段的汇总数据确定待监测网元的数据质量信息；基于显示配置信息显示各个数据阶段的目标日志数据中的数据和待监测网元的数据质量信息。本申请可对数据生命周期中各个数据阶段的数据质量进行监测。

Description

一种数据质量监测方法、装置、设备及存储介质

技术领域

本发明涉及通信技术领域，尤其涉及一种数据质量监测方法、装置、设备及存储介质。

背景技术

目前，通信网络中包括多个系统，多个系统对应数据生命周期中的不同数据阶段，例如，数据生命周期包括数据生成、数据处理和数据消费，那么，有些系统生成数据，有些系统处理数据，有些系统则消费数据。为了了解各个系统的数据质量情况，需要对各个系统的数据质量进行监测。

现有技术中，对各个系统的数据质量进行监测的方式为：各个系统从各自的主要功能出发，基于各自的主要功能对自身的数据质量进行监测，即各个系统之间彼此独立。在各个系统对数据质量进行监测时，由于其考察的维度和标准迥异，呈现内容和呈现方式也不同，因此，无法全面了解整个数据生命周期中的数据质量情况，从而无法及时准确地定位数据质量问题。

发明内容

有鉴于此，本发明提供了一种数据质量监测方法、装置、设备及存储介质，用以解决现有的数据质量监测方法无法全面了解整个数据生命周期中的数据质量情况，从而无法及时准确地定位数据质量问题，其技术方案如下：

一种数据质量监测方法，应用于服务器，包括：

从各个系统获取日志数据，获得各个系统的日志数据，其中，所述日志数据包括数据生命周期中各个数据阶段的日志数据；

将所述各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据，其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；

从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据；

对于每个数据阶段，通过所述数据阶段的汇总数据确定所述待监测网元的数据质量信息，其中，所述数据质量信息包括异常信息、及时性信息、完整性信息；

基于显示配置信息显示所述各个数据阶段的所述目标日志数据中的数据和所述待监测网元的数据质量信息，其中，所述显示配置信息用于指示在显示界面中显示的信息、信息的显示方式。

优选地，所述数据质量监测方法还包括：

在获得所述各个系统的目标日志数据之后，将所述各个系统的目标日志数据发送至分布式消息系统，以使所述分布式消息系统将所述各个系统的目标日志数据存入数据库；

从所述数据库获取所述各个系统的目标日志数据，执行所述从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总。

其中，确定所述各个系统的目标日志数据所处的数据阶段，包括：

通过所述各个系统的目标日志数据对应的数据阶段标识确定所述各个系统的目标日志数据所处的数据阶段，其中，所述数据阶段标识通过与所述目标日志数据对应的系统的标识确定。

其中，通过所述数据阶段的汇总数据确定所述待监测网元的异常信息，包括：

对于每个目标待监测网元，判断所述目标待监测网元的日志数据中是否包含预设关键字，其中，所述预设关键字为指示所述目标待监测网元存在异常的关键字；

若所述目标待监测网元的日志数据中包含所述预设关键字，则判定所述目标待监测网元存在异常，否则，判定所述目标待监测网元无异常。

其中，通过所述数据阶段的汇总数据确定所述待监测网元的及时性信息，包括：

对于每个目标待监测网元，从所述目标待监测网元的每个目标任务对应的日志数据所包含的任务执行时间信息获得任务耗时；

判断所述任务耗时是否大于为所述目标任务设置的及时性阈值，若所述任务耗时大于所述及时性阈值，则判定所述目标任务执行不及时，否则，判定所述目标任务执行及时；

统计所述目标待监测网元中执行及时的任务的数量，以及，所述目标待监测网元中任务的总数量；

通过所述目标待监测网元中执行及时的任务的数量，以及，所述目标待监测网元中任务的总数量，确定所述目标待监测网元的及时率；

判断所述目标待监测网元的及时率是否大于及时率阈值，若所述目标待监测网元的及时率大于所述及时率阈值，则判定所述目标待监测网元及时，否则，判定所述目标待监测网元不及时。

在判定出所述目标任务执行不及时后，所述数据质量监测方法还包括：

通过所述任务耗时和所述及时性阈值确定所述目标任务的超门限时延；

在确定出所述目标待监测网元中所有执行不及时的任务的超门限时延后，将所述目标待监测网元中所有执行不及时的任务的超门限时延求和，获得所述目标待监测网元的超门限时延。

其中，通过所述数据阶段的汇总数据确定所述待监测网元的完整性信息，包括：

对于每个目标待监测网元，从所述目标待监测网元的每个目标任务对应的日志数据中获取输入数据大小和输出数据大小，其中，所述输入数据大小为所述目标任务在处理目标对象时，输入所述目标任务的数据的大小，所述输出数据大小为所述目标任务处理完所述目标对象后输出的数据的大小；

将从每个所述目标任务的日志数据中获取的输入数据大小求和，获得所述目标待监测网元的总输入数据大小，并且，将从每个所述目标任务的日志数据中获取的输出数据大小求和，获得所述目标待监测网元的总输出数据大小；

通过所述总输出数据大小和所述总输入数据大小确定所述目标待监测网元的完整率；

判断所述目标待监测网元的完整率是否大于完整率阈值，若所述目标待监测网元的完整率大于所述完整率阈值，则判定所述目标待监测网元完整，否则，判定所述目标待监测网元不完整；

或者，

对于每个目标待监测网元，从所述目标待监测网元的每个目标任务对应的日志数据中获取输入数据大小和输出数据大小，并通过所述输出数据大小和输入数据大小确定所述目标任务的完整率；

从所述目标待监测网元中各个目标任务的完整率中确定最小完整率；

将所述最小完整率确定为所述目标待监测网元的完整率；

判断所述目标待监测网元的完整率是否大于完整率阈值，若所述目标待监测网元的完整率大于所述完整率阈值，则判定所述目标待监测网元完整，否则，判定所述目标待监测网元不完整；

或者，

对于每个目标待监测网元，通过所述目标待监测网元的每个目标任务对应的日志数据中所包含的任务执行状态信息，确定所述目标待监测网元中执行成功的目标任务；

统计所述目标待监测网元中执行成功的目标任务的数量，并统计所述目标待监测网元中任务的总数量；

通过所述目标待监测网元中执行成功的目标任务的数量和所述目标待监测网元中任务的总数量确定所述目标待监测网元的完整率；

判断所述目标待监测网元的完整率是否大于完整率阈值，若所述目标待监测网元的完整率大于所述完整率阈值，则判定所述目标待监测网元完整，否则，判定所述目标待监测网元不完整。

一种数据质量监测装置，应用于服务器，包括：获取模块、转换模块、汇总模块、确定模块和显示模块；

所述获取模块，用于从各个系统获取日志数据，获得各个系统的日志数据，其中，所述日志数据包括数据生命周期中各个数据阶段的日志数据；

所述转换模块，用于将所述各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据，其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；

所述汇总模块，用于从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据；

所述确定模块，用于对于每个数据阶段，通过所述数据阶段的汇总数据确定所述待监测网元的数据质量信息，其中，所述数据质量信息包括异常信息、及时性信息、完整性信息；

所述显示模块，用于基于显示配置信息显示所述各个数据阶段的所述目标日志数据中的数据和所述待监测网元的数据质量信息，其中，所述显示配置信息用于指示在显示界面中显示的信息、信息的显示方式。

一种数据质量监测设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，所述程序具体用于：

从各个系统获取日志数据，获得各个系统的日志数据，其中，所述日志数据包括数据生命周期中各个数据阶段的日志数据；

将所述各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据，其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；

从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据；

对于每个数据阶段，通过所述数据阶段的汇总数据确定所述待监测网元的数据质量信息，其中，所述数据质量信息包括异常信息、及时性信息、完整性信息；

基于显示配置信息显示所述各个数据阶段的所述目标日志数据中的数据和所述待监测网元的数据质量信息，其中，所述显示配置信息用于指示在显示界面中显示的信息、信息的显示方式。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述数据质量监测方法的各个步骤。

本发明提供的数据质量监测方法、装置、设备及存储介质，可从各个系统获取数据生命周期中各个数据阶段的日志数据，在获取到各个数据阶段的日志数据后，考虑到日志数据格式不统一，为了便于后续处理，将各个系统的日志数据的格式转换为统一格式，获得各个系统的目标日志数据，然后从时间维度和空间维度将处于相同数据阶段的目标日志数据进行汇总，在获得各个数据阶段对应的汇总数据后，通过各个数据阶段对应的汇总数据确定待监测网元的异常信息、及时性信息和完整性信息，最后基于显示配置信息显示各个数据阶段的目标日志数据中的数据和待监测网元的异常信息、及时性信息、完整性信息。由此可见，本发明实施例提供的数据质量监测方法、装置、设备及存储介质可实现对数据生命周期中各个数据阶段的数据质量的监测，这使得用户能够全面了解整个数据生命周期中的数据质量情况，从而能够及时准确地定位数据质量问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的数据质量监测方法的流程示意图；

图2为本发明实施例提供的数据质量监测方法中，通过数据阶段的汇总数据确定待监测网元的异常信息的具体实现过程的流程示意图；

图3为本发明实施例提供的数据质量监测方法中，通过数据阶段的汇总数据确定待监测网元的及时性信息的具体实现过程的流程示意图；

图4为本发明实施例提供的数据质量监测方法中，通过数据阶段的汇总数据确定待监测网元的完整性信息的一种可能的实现方式的流程示意图；

图5为本发明实施例提供的数据质量监测方法中，通过数据阶段的汇总数据确定待监测网元的完整性信息的另一种可能的实现方式的流程示意图；

图6为本发明实施例提供的数据质量监测方法中，通过数据阶段的汇总数据确定待监测网元的完整性信息的再一种可能的实现方式的流程示意图；

图7为本发明实施例提供的数据质量监测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种数据质量监测方法，应用于服务器，请参阅图1，示出了该数据质量监测方法的流程示意图，可以包括：

步骤S101：从各个系统获取日志数据，获得各个系统的日志数据。

在本实施例中，预先配置与各个系统的接口对应的元件，通过配置的元件从各个系统获取日志数据。

其中，日志数据包括数据生命周期中各个数据阶段的日志数据。数据生命周期可以包括数据产生、数据处理和数据消费。

步骤S102：将各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据。

其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据。

由于各个系统的日志数据的格式不相同，为了便于后续的数据处理，需将从各个系统获取的日志数据的格式进行统一，即，将各个系统的日志数据的格式统一转换为预设格式。

在某些情况下，可能存在日志数据的处理速度与日志数据的获取速度不匹配的问题，为了避免该问题，在一种优选地实现方式中，在获得各个系统的目标日志数据之后，可先将各个系统的目标日志数据发送至分布式消息系统，以使分布式消息系统将各个系统的目标日志数据存入数据库，鉴于目标日志数据的数据量较大，数据库优选为分布式数据库。在后续对目标日志数据进行处理时，可从数据库中获取各个系统的目标日志数据。考虑到Kafka分布式消息系统的高效率和高可靠性，本实施例中的分布式消息系统优选为Kafka分布式消息系统。

步骤S103：从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据。

示例性地，对于时间维度，可预先设定汇总时间周期，例如，可设定汇总时间周期为1小时，即每隔一小时对处于相同数据阶段目标日志数据汇总一次，假设总共有10个网元，在1小时内，对于每个网元，获取到10个任务对应的目标日志数据，则在汇总时，将1小时内获取到的10个网元对应的100个任务对应的目标日志数据进行汇总。示例性地，对于空间维度，可设定汇总的空间范围，例如，可设定汇总的范围为市，假设某市总共有100个网元，每个网元对应有10个任务，那么100个网元总共有1000个任务，则在汇总时，将1000个任务对应的目标日志数据进行汇总。在实际应用时，通常是时间维度和空间维度两个维度进行汇总，例如，每隔一个小时将某市的所有网元的所有任务对应的目标日志进行汇总。

在本实施例中，由于需要将相同数据阶段的目标日志数据进行汇总，因此，在获取到目标日志数据时，需要确定目标日志数据所处的数据阶段。确定目标日志数据所处的数据阶段的实现方式有多种，在一种可能的实现方式中，可通过目标日志数据对应的数据阶段标识确定目标日志数据所处的数据阶段。其中，数据阶段标识通过与目标日志数据对应的系统的标识确定。

需要说明的是，系统对应的数据阶段是已知的，通过系统所对应的数据阶段，便可获知从该系统获取的日志数据所处的数据阶段。在一种可能的实现方式中，当从系统获取日志数据时，可通过系统标识确定该系统对应的数据阶段，进而将该系统对应的数据阶段确定为获取的日志数据所处的数据阶段，然后将确定出的数据阶段的标识写入获取的日志数据中。当汇总数据时，通过目标日志数据中的数据阶段标识，便可获知目标日志数据所处的数据阶段。

在另一种可能的实现方式中，可通过目标日志数据中数据的属性信息确定目标日志数据所处的数据阶段。其中，目标日志数据中数据的属性信息可以但不限定为目标日志数据中所包含的数据指标。示例性的，一数据阶段的系统的目标日志数据中包括的数据指标为“尝试呼叫次数”、“尝试呼叫成功次数”、“尝试呼叫失败次数”，而另一数据阶段的系统的日志数据中包括的数据指标为“呼叫次数”、“呼叫成功次数”、“呼叫失败次数”，处于不同数据阶段的数据指标是不同的，因此，通过目标日志数据中的数据指标可确定目标日志数据所处的数据阶段。

步骤S104：对于每个数据阶段，通过数据阶段的汇总数据确定待监测网元的数据质量信息。

其中，数据质量信息包括异常信息、及时性信息和完整性信息。各个数据阶段待监测网元的异常信息、及时性信息和完整性信息能够表征待监测网元在整个数据生命周期中各个数据阶段的数据质量情况。

本步骤的具体实现过程可参见后续实施例的说明。

步骤S105：基于显示配置信息显示各个数据阶段的目标日志数据中的数据和待监测网元的异常信息、及时性信息和完整性信息。

其中，显示配置信息用于指示在显示界面中显示的信息、信息的显示方式。

在本实施例中，首先确定待显示信息，待显示信息可以包括目标日志数据中的部分信息以及表征数据质量的信息即待监测网元的异常信息、及时性信息、完整性信息，其中，目标日志数据中的部分信息可以为待监测网元相关的基础信息，例如待监测网元的名称、待监测网元的版本名称、待监测网元的IP地址、待监测网元的厂家等等。

在确定出待显示信息后，可基于显示方式对待显示信息进行分类、关联和显示。在一种可能的实现方式中，可预先设定多个显示层次，基于显示层次对待显示信息进行分类和关联，例如，预先设定两个显示层次，分别为第一显示层次和第二显示层次，将待显示信息划分为与第一显示层次对应的第一待显示信息和与第二显示层次对应的第二待显示信息，然后，将第一待显示信息和第二待显示信息关联，其中，第二待显示信息可以为第一待显示信息中部分信息的详情，在对待显示信息进行显示时，先在显示界面直观显示第一待显示信息，当用户对显示界面的某个信息进行操作时，可触发第二待显示信息进行显示。

本发明实施例提供的数据质量监测方法，可从各个系统获取数据生命周期中各个数据阶段的日志数据，在获取到各个数据阶段的日志数据后，考虑到日志数据格式不统一，为了便于后续处理，将各个系统的日志数据的格式转换为统一格式，获得各个系统的目标日志数据，然后从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，在获得各个数据阶段对应的汇总数据后，通过各个数据阶段对应的汇总数据确定待监测网元的异常信息、及时性信息、完整性信息，最后基于显示配置信息显示各个数据阶段的目标日志数据中的数据和待监测网元的异常信息、及时性信息、完整性信息。由此可见，本发明实施例提供的数据质量监测方法可实现对数据生命周期中各个数据阶段的数据质量的监测，这使得用户能够全面了解整个数据生命周期中的数据质量情况，从而能够及时准确地定位数据质量问题。

以下对步骤S104对于每个数据阶段，通过数据阶段的汇总数据确定待监测网元的数据质量信息的具体实现过程进行说明。

首先，对通过数据阶段的汇总数据确定待监测网元的异常信息的具体实现过程进行说明，请参阅图2，示出了通过数据阶段的汇总数据确定待监测网元的异常信息的具体实现过程的流程示意图，具体实现过程可以包括：

步骤S201：对于每个目标待监测网元，判断目标待监测网元的日志数据中是否包含预设关键字。

其中，预设关键字为指示所述目标待监测网元存在异常的关键字。

步骤S202a：若目标待监测网元的日志数据中包含预设关键字，则判定目标待监测网元存在异常。

步骤S202b：若目标待监测网元的日志数据中不包含预设关键字，则判定目标待监测网元无异常。

具体地，判断目标待监测网元的日志数据中是否包含预设关键字即判断目标待监测网元的每个目标任务对应的日志数据中是否包含预设关键字，如果目标任务对应的日志数据中包含预设关键字，则可判定该目标任务存在异常，如果目标待监测网元有至少一个目标任务对应的日志中包含预设关键字，则可判定目标待监测网元存在异常。

通过上述过程可获知每个目标待监测网元是否存在异常，还可获知存在异常的待监测网元中哪些任务存在异常。

然后，对通过数据阶段的汇总数据确定待监测网元的及时性信息的具体实现过程进行说明，请参阅图3，示出了通过数据阶段的汇总数据确定待监测网元的及时性信息的具体实现过程的流程示意图，具体实现过程可以包括：

步骤S301：对于每个目标待监测网元，从该目标待监测网元的每个目标任务对应的日志数据所包含的任务执行时间信息获得任务耗时。

在一种可能的情况中，目标任务对应的日志数据所包含的任务执行时间信息为任务开始执行时间和任务结束执行时间，则获得任务耗时的方法为将任务结束执行时间与任务开始执行时间作差，获得的时间差值即为任务耗时。在另一种可能的情况中，目标任务对应的日志数据所包含的任务执行时间信息为任务耗时，则此时直接从目标任务对应的日志数据中获取任务耗时即可。

步骤S302：判断任务耗时是否大于为目标任务设置的及时性阈值。

步骤S303a：若任务耗时大于及时性阈值，则判定目标任务执行不及时。

步骤S303b：若任务耗时小于或等于及时性阈值，则判定目标任务执行不及时。

步骤S304：统计目标待监测网元中执行及时的任务的数量，以及，目标待监测网元中任务的总数量。

步骤S305：通过目标待监测网元中执行及时的任务的数量，以及，目标待监测网元中任务的总数量确定目标待监测网元的及时率。

具体的，计算目标待监测网元中执行及时的任务的数量与目标待监测网元中任务的总数量的比值，获得目标待监测网元的及时率。

步骤S306：判断目标待监测网元的及时率是否大于及时率阈值。

步骤S307a:若目标待监测网元的及时率大于所述及时率阈值，则判定目标待监测网元及时。

步骤S307b:若目标待监测网元的及时率小于或等于及时率阈值，则判定目标待监测网元不及时。

在本实施例中，及时性信息除了可以包括上述目标待监测网元的及时率、目标待监测网元是否及时外，还可以包括目标待监测网元的超门限时延。

则上述对通过数据阶段的汇总数据确定待监测网元的及时性信息的过程还可以包括：在判定出目标任务执行不及时之后，通过任务耗时和及时性阈值确定目标任务的超门限时延；在确定出目标待监测网元中所有执行不及时的任务的超门限时延后，将目标待监测网元中所有执行不及时的任务的超门限时延求和，获得目标待监测网元的超门限时延。其中，目标任务的超门限时延可通过目标任务的耗时与及时性阈值作差得到。

通过上述过程可获知每个目标待监测网元是否及时，每个目标待监测网元的及时率、每个目标待监测网元的超门限时延，每个目标待监测网元中执行不及时的任务以及该任务的超门限时延。

最后，对通过数据阶段的汇总数据确定待监测网元的完整性信息的具体实现过程进行说明。对通过数据阶段的汇总数据确定待监测网元的完整性信息的实现过程有多种。

请参阅图4，示出了通过数据阶段的汇总数据确定待监测网元的完整性信息的第一种可能的实现方式的流程示意图，可以包括：

步骤S401：对于每个目标待监测网元，从目标待监测网元的每个目标任务对应的日志数据中获得获取输入数据大小和输出数据大小。

其中，输入数据大小为目标任务在处理目标对象时，输入目标任务的数据的大小，输出数据大小为目标任务处理完目标对象后输出的数据的大小。

步骤S402：将从每个目标任务的日志数据中获取的输入数据大小求和，获得目标待监测网元的总输入数据大小，并且，将从每个目标任务的日志数据中获取的输出数据大小求和，获得目标待监测网元的总输出数据大小。

步骤S403：通过总输出数据大小和总输入数据大小确定目标待监测网元的完整率。

具体地，计算总输出数据大小与总输入数据大小的比值，获得目标待监测网元的完整率。

步骤S404：判断目标待监测网元的完整率是否大于完整率阈值。

步骤S405a：若目标待监测网元的完整率大于完整率阈值，则判定目标待监测网元完整。

步骤S405b：若目标待监测网元的完整率小于或等于完整率阈值，则判定目标待监测网元不完整。

请参阅图5，示出了通过数据阶段的汇总数据确定待监测网元的完整性信息的第二种可能的实现方式的流程示意图，可以包括：

步骤S501：对于每个目标待监测网元，从目标待监测网元的每个目标任务对应的日志数据中获取输入数据大小和输出数据大小，并通过输入数据大小和输出数据大小确定目标任务的完整率。

具体地，计算输出数据大小与输入数据大小的比值，获得目标任务的完整率。

步骤S502：从目标待监测网元中各个目标任务的完整率中确定最小完整率。

步骤S503：将最小完整率确定为目标待监测网元的完整率。

步骤S504：判断目标待监测网元的完整率是否大于完整率阈值。

步骤S505a：若目标待监测网元的完整率大于完整率阈值，则判定目标待监测网元完整。

步骤S505b：若目标待监测网元的完整率小于或等于完整率阈值，则判定目标待监测网元不完整。

请参阅图6，示出了通过数据阶段的汇总数据确定待监测网元的完整性信息的第三种可能的实现方式的流程示意图，可以包括：

步骤S601：对于每个目标待监测网元，通过目标待监测网元的每个目标任务对应的日志数据中所包含的任务执行状态信息，确定目标待监测网元中执行成功的目标任务。

其中，任务执行状态信息用于指示目标任务是否执行成功。

步骤S602：统计目标待监测网元中执行成功的目标任务的数量，并统计目标待监测网元中任务的总数量。

步骤S603：通过目标待监测网元中执行成功的目标任务的数量和目标待监测网元中任务的总数量确定目标待监测网元的完整率。

具体地，计算目标待监测网元中执行成功的目标任务的数量与目标待监测网元中任务的总数量的比值，获得目标待监测网元的完整率。

步骤S604：判断目标待监测网元的完整率是否大于完整率阈值。

步骤S605a：若目标待监测网元的完整率大于完整率阈值，则判定目标待监测网元完整。

步骤S605b：若目标待监测网元的完整率小于或等于完整率阈值，则判定目标待监测网元不完整。

通过上述过程可获知每个目标待监测网元是否完整时，每个目标待监测网元的完整率。

在获得待监测网元的异常信息、及时性信息和完整性信息之后，可基于异常信息、及时性信息和完整性信息生成短信数据和/或告警数据，将短信数据发送至目标移动终端，将告警数据发生至对应的网元或系统，同时，短信数据和/或告警数据可存储至分布式数据库或分布式文件系统中。

在一种可能的实现方式中，如果待监测网元存在异常、不及时和/或不完整，则可生成指示待监测网元存在异常、不及时和/或不完整的短信数据，然后将该短信数据发送至监测人员的移动终端。另外，假设每隔一预设时间周期对目标日志数据进行汇总和处理，获得待监测网元的异常信息、及时性信息和完整性信息，如果在N(N个根据实际需求设定)个连续的统计周期内，某待监测网元均存在异常，和/或，该待监测网元均不及时，和/或，该待监测网元均不完整，则可生成指示待监测网元存在异常、不及时和/或不完整的告警数据，然后将告警数据发送至该待监测网元和/或对应的系统。

上述本发明实施例提供的数据质量监测方法使得用户如系统维护人员可以了解整个数据生命周期中各个数据阶段的数据质量信息，即异常信息、及时性信息和完整性信息，获知存在异常的网元、及时性最好的网元(及时率最大的网元)、及时性最差的网元(及时率最小的网元)、完整性最好的网元(完整率最大的网元)和完整性最差的网元(完整率最小的网元)，并且，用户通过各个数据阶段的数据质量信息可快速定位问题(定位出具体是哪个环节出了问题)和预测问题，即各个数据阶段的数据质量信息为网络优化提供了数据基础，并且，减少了各环节维护人员的投入，即降低了维护成本。

本发明实施例还提供了一种与上述的数据质量监测方法相对应的数据质量监测装置，该装置可应用于服务器，请参阅图7，示出了该装置的结构示意图，可以包括：获取模块701、转换模块702、汇总模块703、确定模块704和显示模块705。其中：

获取模块701，用于从各个系统获取日志数据，获得各个系统的日志数据。

其中，各个系统的日志数据包括数据生命周期中各个数据阶段的日志数据。

转换模块702，用于将各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据。

其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据。

汇总模块703，用于从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据。

确定模块704，用于对于每个数据阶段，通过所述数据阶段的汇总数据确定所述待监测网元的数据质量信息。

其中，数据质量信息包括异常信息、及时性信息、完整性信息。

显示模块705，用于基于显示配置信息显示各个数据阶段的目标日志数据中的数据和待监测网元的数据质量信息。

其中，显示配置信息用于指示在显示界面中显示的信息、信息的显示形式。

本发明实施例提供的数据质量监测装置可实现对数据生命周期中各个数据阶段的数据质量的监测，这使得用户能够全面了解整个数据生命周期中的数据质量情况，从而能够及时准确地定位数据质量问题。

上述实施例提供的数据质量监测装置还可以包括：发送模块和获取模块。其中：

发送模块，用于在获得各个系统的目标日志数据之后，将各个系统的目标日志数据发送至分布式消息系统，以使分布式消息系统将所述各个系统的目标日志数据存入数据库。

获取模块，用于从数据库获取各个系统的目标日志数据，执行所述从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总。

上述实施例提供的数据质量监测装置还可以包括：确定模块。

确定模块，用于确定各个系统的目标日志数据所处的数据阶段。

在一种可能的实现方式中，确定模块确定各个系统的目标日志数据所处的数据阶段，具体用于通过各个系统的目标日志数据对应的数据阶段标识确定各个系统的目标日志数据所处的数据阶段，其中，数据阶段标识通过与所述目标日志数据对应的系统的标识确定。

在另一种可能的实现方式中，确定模块确定各个系统的目标日志数据所处的数据阶段，具体用于通过各个系统的目标日志数据的属性信息确定各个系统的目标日志数据所处的数据阶段。

上述实施例提供的数据质量监测装置中，确定模块704可以包括：异常确定子模块。

异常确定子模块进一步可以包括：判断子单元。

判断子单元，用于对于所述汇总数据中每个目标待监测网元的每个目标任务对应的日志数据，判断所述目标任务对应的日志数据是否包含预设关键字；若所述目标任务对应的日志数据包含所述预设关键字，则判定所述目标任务存在异常，并判定所述目标待监测网元存在异常。

上述实施例提供的数据质量监测装置中，确定模块704可以包括：及时性确定子模块。

及时性确定子模块进一步可以包括：获取子单元、第一判断子单元、统计子单元、第一确定子单元和第二判断子单元。其中：

获取子单元，用于对于每个目标待监测网元，从所述目标待监测网元的每个目标任务对应的日志数据所包含的任务执行时间信息获得任务耗时。

第一判断子单元，用于判断所述任务耗时是否大于为所述目标任务设置的及时性阈值，若所述任务耗时大于所述及时性阈值，则判定所述目标任务执行不及时，否则，判定所述目标任务执行及时。

统计子单元，用于统计所述目标待监测网元中执行及时的任务的数量，以及，所述目标待监测网元中任务的总数量。

确定子单元，用于通过所述目标待监测网元中执行及时的任务的数量，以及，所述目标待监测网元中任务的总数量，确定所述目标待监测网元的及时率。

第二判断子单元，用于判断所述目标待监测网元的及时率是否大于及时率阈值，若所述目标待监测网元的及时率大于所述及时率阈值，则判定所述目标待监测网元及时，否则，判定所述目标待监测网元不及时。

及时性确定子模块还可以包括：第二确定子单元和计算子单元。

第二确定子单元，用于通过任务耗时和及时性阈值确定目标任务的超门限时延。

计算子单元，用于在确定出目标待监测网元中所有执行不及时的任务的超门限时延后，将目标待监测网元中所有执行不及时的任务的超门限时延求和，获得目标待监测网元的超门限时延。

上述实施例提供的数据质量监测装置中，确定模块704可以包括：完整性确定子模块。

在一种可能的实现方式中，完整性确定子模块进一步可以包括：获取子单元、计算子单元、确定子单元和判断子单元。

获取子单元，用于对于每个目标待监测网元，从所述目标待监测网元的每个目标任务对应的日志数据中获取输入数据大小和输出数据大小，其中，所述输入数据大小为所述目标任务在处理目标对象时，输入所述目标任务的数据的大小，所述输出数据大小为所述目标任务处理完所述目标对象后输出的数据的大小。

计算子单元，用于将从每个所述目标任务的日志数据中获取的输入数据大小求和，获得所述目标待监测网元的总输入数据大小，并且，将从每个所述目标任务的日志数据中获取的输出数据大小求和，获得所述目标待监测网元的总输出数据大小。

确定子单元，用于通过所述总输出数据大小和所述总输入数据大小确定所述目标待监测网元的完整率。

判断子单元，用于判断所述目标待监测网元的完整率是否大于完整率阈值，若所述目标待监测网元的完整率大于所述完整率阈值，则判定所述目标待监测网元完整，否则，判定所述目标待监测网元不完整。

在另一种可能的实现方式中，完整性确定子模块进一步可以包括：获取子单元、第一确定子单元、第二确定子单元、第三确定子单元、判断子单元。

获取子单元，用于对于每个目标待监测网元，从所述目标待监测网元的每个目标任务对应的日志数据中获取输入数据大小和输出数据大小，并通过所述输出数据大小和输入数据大小确定所述目标任务的完整率。

第一确定子单元，用于从所述目标待监测网元中各个目标任务的完整率中确定最小完整率。

第二确定子单元，用于将所述最小完整率确定为所述目标待监测网元的完整率。

第三确定子单元，用于判断所述目标待监测网元的完整率是否大于完整率阈值，若所述目标待监测网元的完整率大于所述完整率阈值，则判定所述目标待监测网元完整，否则，判定所述目标待监测网元不完整。

在再一种可能的实现方式中，完整性确定子模块进一步可以包括：第一确定子单元、统计子单元和第二确定子单元。

第一确定子单元，用于对于每个目标待监测网元，通过所述目标待监测网元的每个目标任务对应的日志数据中所包含的任务执行状态信息，确定所述目标待监测网元中执行成功的目标任务。

统计子单元，用于统计所述目标待监测网元中执行成功的目标任务的数量，并统计所述目标待监测网元中任务的总数量。

第二确定子单元，用于通过所述目标待监测网元中执行成功的目标任务的数量和所述目标待监测网元中任务的总数量确定所述目标待监测网元的完整率。

判断子单元，用于判断所述目标待监测网元的完整率是否大于完整率阈值，若所述目标待监测网元的完整率大于所述完整率阈值，则判定所述目标待监测网元完整，否则，判定所述目标待监测网元不完整。

本发明实施例还提供了一种数据质量监测设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，所述程序具体用于：

从各个系统获取日志数据，获得各个系统的日志数据，其中，所述日志数据包括数据生命周期中各个数据阶段的日志数据；

将所述各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据，其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；

从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据；

对于每个数据阶段，通过所述数据阶段的汇总数据确定所述待监测网元的数据质量信息，其中，所述数据质量信息包括异常信息、及时性信息、完整性信息；

基于显示配置信息显示所述各个数据阶段的所述目标日志数据中的数据和所述待监测网元的数据质量信息，其中，所述显示配置信息用于指示在显示界面中显示的信息、信息的显示方式。

本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的数据质量监测方法的各个步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据质量监测方法，其特征在于，应用于服务器，包括：

从各个系统获取日志数据，获得各个系统的日志数据，其中，所述日志数据包括数据生命周期中各个数据阶段的日志数据；

将所述各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据，其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；

从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据；

对于每个数据阶段，通过所述数据阶段的汇总数据确定所述待监测网元的数据质量信息，其中，所述数据质量信息包括异常信息、及时性信息、完整性信息；若所述待监测网元的日志数据中包含预设关键字，则判定所述待监测网元存在异常，否则，判定所述待监测网元无异常；若所述待监测网元的及时率大于及时率阈值，则判定所述待监测网元及时，否则，判定所述待监测网元不及时；若所述待监测网元的完整率大于完整率阈值，则判定所述待监测网元完整，否则，判定所述待监测网元不完整；

基于显示配置信息显示所述各个数据阶段的所述目标日志数据中的数据和所述待监测网元的数据质量信息，其中，所述显示配置信息用于指示在显示界面中显示的信息、信息的显示方式。

2.根据权利要求1所述的数据质量监测方法，其特征在于，所述数据质量监测方法还包括：

在获得所述各个系统的目标日志数据之后，将所述各个系统的目标日志数据发送至分布式消息系统，以使所述分布式消息系统将所述各个系统的目标日志数据存入数据库；

从所述数据库获取所述各个系统的目标日志数据，执行所述从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总。

3.根据权利要求1或2所述的数据质量监测方法，其特征在于，确定所述各个系统的目标日志数据所处的数据阶段，包括：

通过所述各个系统的目标日志数据对应的数据阶段标识确定所述各个系统的目标日志数据所处的数据阶段，其中，所述数据阶段标识通过与所述目标日志数据对应的系统的标识确定。

4.根据权利要求3所述的数据质量监测方法，其特征在于，通过所述数据阶段的汇总数据确定所述待监测网元的异常信息，包括：

对于每个目标待监测网元，判断所述目标待监测网元的日志数据中是否包含预设关键字，其中，所述预设关键字为指示所述目标待监测网元存在异常的关键字；

若所述目标待监测网元的日志数据中包含所述预设关键字，则判定所述目标待监测网元存在异常，否则，判定所述目标待监测网元无异常。

5.根据权利要求3所述的数据质量监测方法，其特征在于，通过所述数据阶段的汇总数据确定所述待监测网元的及时性信息，包括：

对于每个目标待监测网元，从所述目标待监测网元的每个目标任务对应的日志数据所包含的任务执行时间信息获得任务耗时；

判断所述任务耗时是否大于为所述目标任务设置的及时性阈值，若所述任务耗时大于所述及时性阈值，则判定所述目标任务执行不及时，否则，判定所述目标任务执行及时；

统计所述目标待监测网元中执行及时的任务的数量，以及，所述目标待监测网元中任务的总数量；

通过所述目标待监测网元中执行及时的任务的数量，以及，所述目标待监测网元中任务的总数量，确定所述目标待监测网元的及时率；

判断所述目标待监测网元的及时率是否大于及时率阈值，若所述目标待监测网元的及时率大于所述及时率阈值，则判定所述目标待监测网元及时，否则，判定所述目标待监测网元不及时。

6.根据权利要求5所述的数据质量监测方法，其特征在于，在判定出所述目标任务执行不及时后，所述数据质量监测方法还包括：

通过所述任务耗时和所述及时性阈值确定所述目标任务的超门限时延；

在确定出所述目标待监测网元中所有执行不及时的任务的超门限时延后，将所述目标待监测网元中所有执行不及时的任务的超门限时延求和，获得所述目标待监测网元的超门限时延。

7.根据权利要求3所述的数据质量监测方法，其特征在于，通过所述数据阶段的汇总数据确定所述待监测网元的完整性信息，包括：

对于每个目标待监测网元，从所述目标待监测网元的每个目标任务对应的日志数据中获取输入数据大小和输出数据大小，其中，所述输入数据大小为所述目标任务在处理目标对象时，输入所述目标任务的数据的大小，所述输出数据大小为所述目标任务处理完所述目标对象后输出的数据的大小；

将从每个所述目标任务的日志数据中获取的输入数据大小求和，获得所述目标待监测网元的总输入数据大小，并且，将从每个所述目标任务的日志数据中获取的输出数据大小求和，获得所述目标待监测网元的总输出数据大小；

通过所述总输出数据大小和所述总输入数据大小确定所述目标待监测网元的完整率；

判断所述目标待监测网元的完整率是否大于完整率阈值，若所述目标待监测网元的完整率大于所述完整率阈值，则判定所述目标待监测网元完整，否则，判定所述目标待监测网元不完整；

或者，

对于每个目标待监测网元，从所述目标待监测网元的每个目标任务对应的日志数据中获取输入数据大小和输出数据大小，并通过所述输出数据大小和输入数据大小确定所述目标任务的完整率；

从所述目标待监测网元中各个目标任务的完整率中确定最小完整率；

将所述最小完整率确定为所述目标待监测网元的完整率；

判断所述目标待监测网元的完整率是否大于完整率阈值，若所述目标待监测网元的完整率大于所述完整率阈值，则判定所述目标待监测网元完整，否则，判定所述目标待监测网元不完整；

或者，

对于每个目标待监测网元，通过所述目标待监测网元的每个目标任务对应的日志数据中所包含的任务执行状态信息，确定所述目标待监测网元中执行成功的目标任务；

统计所述目标待监测网元中执行成功的目标任务的数量，并统计所述目标待监测网元中任务的总数量；

通过所述目标待监测网元中执行成功的目标任务的数量和所述目标待监测网元中任务的总数量确定所述目标待监测网元的完整率；

判断所述目标待监测网元的完整率是否大于完整率阈值，若所述目标待监测网元的完整率大于所述完整率阈值，则判定所述目标待监测网元完整，否则，判定所述目标待监测网元不完整。

8.一种数据质量监测装置，其特征在于，应用于服务器，包括：获取模块、转换模块、汇总模块、确定模块和显示模块；

所述获取模块，用于从各个系统获取日志数据，获得各个系统的日志数据，其中，所述日志数据包括数据生命周期中各个数据阶段的日志数据；

所述转换模块，用于将所述各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据，其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；

所述汇总模块，用于从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据；

所述确定模块，用于对于每个数据阶段，通过所述数据阶段的汇总数据确定所述待监测网元的数据质量信息，其中，所述数据质量信息包括异常信息、及时性信息、完整性信息；若所述待监测网元的日志数据中包含预设关键字，则判定所述待监测网元存在异常，否则，判定所述待监测网元无异常；若所述待监测网元的及时率大于及时率阈值，则判定所述待监测网元及时，否则，判定所述待监测网元不及时；若所述待监测网元的完整率大于完整率阈值，则判定所述待监测网元完整，否则，判定所述待监测网元不完整；

所述显示模块，用于基于显示配置信息显示所述各个数据阶段的所述目标日志数据中的数据和所述待监测网元的数据质量信息，其中，所述显示配置信息用于指示在显示界面中显示的信息、信息的显示方式。

9.一种数据质量监测设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，所述程序具体用于：

从各个系统获取日志数据，获得各个系统的日志数据，其中，所述日志数据包括数据生命周期中各个数据阶段的日志数据；

将所述各个系统的日志数据的格式统一转换为预设格式，获得各个系统的目标日志数据，其中，每个系统的目标日志数据包括至少一个待监测网元的至少一个任务对应的日志数据；

从时间维度、空间维度将处于相同数据阶段的目标日志数据进行汇总，获得各个数据阶段对应的汇总数据；

对于每个数据阶段，通过所述数据阶段的汇总数据确定所述待监测网元的数据质量信息，其中，所述数据质量信息包括异常信息、及时性信息、完整性信息；若所述待监测网元的日志数据中包含预设关键字，则判定所述待监测网元存在异常，否则，判定所述待监测网元无异常；若所述待监测网元的及时率大于及时率阈值，则判定所述待监测网元及时，否则，判定所述待监测网元不及时；若所述待监测网元的完整率大于完整率阈值，则判定所述待监测网元完整，否则，判定所述待监测网元不完整；

基于显示配置信息显示所述各个数据阶段的所述目标日志数据中的数据和所述待监测网元的数据质量信息，其中，所述显示配置信息用于指示在显示界面中显示的信息、信息的显示方式。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的数据质量监测方法的各个步骤。

Images