CN109359277B

CN109359277B - 数据监控方法、设备及计算机存储介质

Info

Publication number: CN109359277B
Application number: CN201811226988.8A
Authority: CN
Inventors: 钱立化; 周明莉
Original assignee: Zhongan Online P&c Insurance Co ltd
Current assignee: Zhongan Online P&c Insurance Co ltd
Priority date: 2018-10-22
Filing date: 2018-10-22
Publication date: 2023-04-28
Anticipated expiration: 2038-10-22
Also published as: CN109359277A

Abstract

本公开内容公开了数据监控方法、设备及计算机存储介质。数据监控方法包括：在多个第一类规则集合中每一个第一类规则集合中判断是否存在至少一个规则共性；在存在至少一个规则共性的情况下，将第一类规则集合划分出相应的第二类规则集合；利用规则共性生成与第二类规则集合相对应的验证规则模型；基于第二类规则集合与需要符合第二类规则集合的字段、标准数据表的关联性，识别出要符合第二类规则集合的标准数据表中的字段；将字段结合到验证规则模型中以生成与字段相对应的验证脚本；在字段所属的标准数据表中通过验证脚本来验证与字段相对应的所有数据单元；以及当存在不满足验证脚本的数据单元时，生成与数据单元相关的报错信息。

Description

数据监控方法、设备及计算机存储介质

技术领域

本公开内容属于数据处理技术领域，尤其涉及一种数据监控方法、一种数据监控设备以及一种相应的计算机可读存储介质。

背景技术

近年来，随着计算机技术的不断的发展，各个领域中的数据都呈现出爆炸性增长的趋势，因此，对于大量、复杂数据的计算处理能力的要求也越来越高。例如，在保险金融领域中，为了确保每份保险中的所有数据的合法性、合规性，需要繁多的数据规则以及大量的标准数据表完成对保险中的所有数据进行不同方式的验证以及将该保险中的所有数据根据不同的标准需求填入不同的标准数据表格中，以便于相关工作部门对保险数据进行核实。在上述情形中，如果仅手工编写监控程序验证每份保险中的数据，不仅需要消耗大量的人力，而且也需要花费大量的时间，容易导致数据监控的规则遗漏；另一方面，由于保险和互联网的结合，保险数据量增长速度非常快，保险数据也变得复杂多样，因此对保险数据的监控提出了更高的要求。

发明内容

随着各个领域中的数据的增长速度不断加快，通过需要根据大量数据规则、标准数据表对数据进行处理、监控以确保数据的准确性，目前的技术一般是开发人员编写针对每张标准数据表的监控程序来监控该标准数据表中的数据；由此，不仅消耗了大量的人力、物力，花费了大量的时间，而且当标准数据表发生变化时，需要重新编写监控程序完成监控目的。

针对上述问题，本公开内容的第一方面提出了一种数据监控方法，所述方法包括：

在多个第一类规则集合中的每一个第一类规则集合中判断是否存在至少一个规则共性，其中，所述多个第一类规则集合是将所有数据规则进行划分而形成的并且每一个所述第一类规则集合包括一条或多条数据规则；

在存在所述至少一个规则共性的情况下，将所述第一类规则集合划分出相应的第二类规则集合，其中，所述第二类规则集合包括具有所述至少一个规则共性的一条或多条数据规则；

利用所述规则共性生成与所述第二类规则集合相对应的验证规则模型；

基于所述第二类规则集合与需要符合所述第二类规则集合的字段、标准数据表的关联性，识别出要符合所述第二类规则集合的所述标准数据表中的所述字段；

将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本；

在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元；以及

当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。

在根据本公开内容的第一方面的实施例中，在每一个第一类规则集合中判断是否存在至少一个规则共性进一步包括：

提取所述第一类规则集合中的每一条数据规则的关键字；

判断是否存在相同或相似含义的关键字，其中，所述相同或相似含义的关键字作为所述规则共性。

在根据本公开内容的第一方面的实施例中，对于所述第一类规则集合中除了所述第二类规则集合以外的每一个数据规则而言，所述方法进一步包括：

利用所述数据规则生成与所述数据规则相对应的验证规则模型；

基于所述数据规则与需要符合所述数据规则的字段、标准数据表的关联性，识别出要符合所述数据规则的所述标准数据表中的所述字段；

在根据本公开内容的第一方面的实施例中，所述标准数据表在第一方向上包括一个或多个字段并且在第二方向上包括一条或多条符合所述标准数据表的格式的数据消息，根据所述第一方向上的一个或多个字段将每一条数据消息划分成相应的一个或多个数据单元。

在根据本公开内容的第一方面的实施例中，当存在不满足所述验证脚本的数据单元时生成与所述数据单元相对应的报错信息进一步包括：

当利用所述验证脚本验证在所述标准数据表中存在所述字段相对应的任一数据单元不符合所述验证脚本时，识别出所述数据单元；

利用所述数据单元所属的字段、标准数据表以及数据消息生成所述报错信息。

在根据本公开内容的第一方面的实施例中，在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元之后，所述方法进一步包括：

当与所述字段相对应的所有数据单元的数量超过所述验证脚本的验证能力时，返回数据告警。

针对上述问题，本公开内容的第二方面提出了一种数据监控设备，所述设备包括：

处理器；以及

存储器，其用于存储指令，当所述指令执行时使得所述处理器执行以下操作：

在根据本公开内容的第二方面的实施例中，在每一个第一类规则集合中判断是否存在至少一个规则共性进一步包括：

提取所述第一类规则集合中的每一条数据规则的关键字；

在根据本公开内容的第二方面的实施例中，对于所述第一类规则集合中除了所述第二类规则集合以外的每一个数据规则而言，当所述指令执行时使得所述处理器进一步执行以下操作：

在根据本公开内容的第二方面的实施例中，所述标准数据表在第一方向上包括一个或多个字段并且在第二方向上包括一条或多条符合所述标准数据表的格式的数据消息，根据所述第一方向上的一个或多个字段将每一条数据消息划分成相应的一个或多个数据单元。

在根据本公开内容的第二方面的实施例中，当存在不满足所述验证脚本的数据单元时生成与所述数据单元相对应的报错信息进一步包括：

在根据本公开内容的第二方面的实施例中，在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元之后，当所述指令执行时使得所述处理器进一步执行以下操作：

针对上述问题，本公开内容的第三方面提出了一种计算机可读存储介质，其具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于执行上述第一方面所公开的数据监控方法。

依据本公开内容的数据监控方法、设备及相应的计算机存储介质能够根据每一个第二类规则集合生成相应的验证规则模型，以便于适于该第二类规则集合的任何字段利用所述验证规则模型生成与该字段相对应的验证脚本，来验证与该字段相对应的所有数据单元。本公开内容一方面能够更早、更多地发现数据消息中的数据单元的问题，促使生成该数据消息的业务部门等与该数据消息相关联的工作部门不断修复该数据消息，以提高数据的质量；另一方面，随着数据规则的不断变化，可以随时修改相应的规则模型，从而很容易地实现利用最新的验证脚本对相应的数据进行验证，大大提高了数据监控效率。

附图说明

结合附图并参考以下详细说明，本公开内容的各实施例的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本公开的若干实施例，在附图中：

图1为依据本公开内容的数据监控方法的第一示例性流程图；

图2为依据本公开内容的数据监控方法的第二示例性流程图；以及

图3为依据本公开内容的数据监控设备的示意图。

具体实施方式

以下参考附图详细描述本公开的各个示例性实施例。附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。

本文所使用的术语“包括”、“包含”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”，表示还可以包括其他内容。术语“基于”是“至少部分地基于"。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”，等等。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。对于附图中的各单元之间的连线，仅仅是为了便于说明，其表示至少连线两端的单元是相互通信的，并非旨在限制未连线的单元之间无法通信。

本公开内容的实施例主要关注以下技术问题：为了满足一些应用领域中的数据的合法性、合规性，现有的解决方案是针对不同的标准数据表编写相应的监控程序来验证存放在相应标准数据表中的每个数据单元，当某个应用场景中存在大量的标准数据表并且标准数据表随着社会、经济的发展而不断变化时，需要开发人员随时根据标准数据表的改变重新编写新的监控程序对数据进行验证。因此，现有的解决方案一方面会消耗大量的人力、物力和时间，另一方面对于变化的响应较慢，从而容易导致数据监控出现问题。

为了解决上述问题，本公开内容实现了一种数据监控方法，能够更早、更多地发现数据问题，并且能够快速生成用于验证数据的验证脚本以暴露各种数据问题，促进与该数据相关的各个工作部门不断修复数据，以提高数据准确性，并且所生成的验证脚本还能够适应各种标准数据表的变化，大大降低的人力、物力和时间的消耗。

图1示出了数据监控方法的示例性流程图。在本实施例中，存在若干条数据规则和若干张标准数据表，使得不同标准数据表需要填写不同格式的数据消息，同时每张标准数据表中的不同的字段需要满足一条或多条数据规则，并且每条数据规则可能适用于不同的字段。如图1所示的方法具体如下：

在步骤110之前，首先根据规则分类原则将所有数据规则划分成相应的多个第一类规则集合。

其中，在定义所有数据规则的同时，即设计了规则分类原则，按照规则分类原则将所有数据规则分成多个第一类规则集合，其中，每一个第一类规则集合包括一条或多条数据规则，以便于后续查找未能通过验证的数据单元所对应的数据规则。

步骤110：在每一个第一类规则集合中判断是否存在至少一个规则共性。

在步骤110中，首先，针对每一个第一类规则集合，分别提取其中的每一条数据规则的关键字。其次，判断在该第一类规则集合是否存在一个或多个相同或相似含义的关键字，其中，每一个相同或相似含义的关键字作为一个规则共性。

步骤120：在存在所述至少一个规则共性的情况下，将所述第一类规则集合划分出相应的第二类规则集合，其中，所述第二类规则集合包括具有所述至少一个规则共性的一条或多条数据规则。

在步骤120中，根据每个第一类规则集合中所包括的规则共性的数量，在该第一类规则集合中划分出相同数量的第二类规则集合。

步骤130：利用所述规则共性生成与所述第二类规则集合相对应的验证规则模型。

在本步骤中，针对若干个规则共性中的每一个规则共性分别生成相应的验证规则模型。当任一规则共性发生变化时，可以修改与该规则共性相对应的验证规则模型，从而能够采用最新的验证规则模型完成本方法后续的验证步骤。

步骤140：基于所述第二类规则集合与需要符合所述第二类规则集合的字段、标准数据表的关联性，识别出要符合所述第二类规则集合的所述标准数据表中的所述字段；

步骤150：将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本。

在上述步骤中，当任一规则共性所对应的验证规则模型发生变化时，需要符合该规则共性的任一字段所生成的相应验证脚本也会发生变化，使得后续的验证结果可能与之前针对本字段所对应的数据单元的验证结果不同；从而能够及时确保数据实现最新监控保证。另外，当任一标准数据表变化使得该标准数据表所对应的规则、字段发生变化时，能够自动识别出符合该标准数据表的一个或多个验证脚本也发生了变化，进而也能够及时确保数据实现最新监控保证。

在本公开内容中，将存储系统(例如，分布式存储系统)中存储的数据分别按照不同的标准数据表的格式填入相应的标准数据表中，以便于本方法对每张标准数据表实现数据监控。

步骤160：在所述字段所属的标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元。

在本步骤中，首先，查找需要符合任一规则共性的所有字段。其次，确定所查找到的每一个字段所属的所有标准数据表，其中，每一张标准数据表在第一方向(例如，表格的横向方向)上包括一个或多个字段并且在第二方向(例如，表格的纵向方向)上包括一条或多条符合该标准数据表的格式的数据消息，根据第一方向上的一个或多个字段将每一条数据消息划分成相应的一个或多个数据单元。最后，建立每一个规则共性与需要符合该规则共性的每一个字段、该字段所属的每一张标准数据表之间相应的关联关系。

在本公开内容中，同一字段可以存在于不同的标准数据表中，一个字段可能需要同时符合一条或多条数据规则，而且一条数据规则可能适用于一个或多个字段。因此，需要建立一个规则共性分别与需要符合该规则共性的每一个字段、该字段所属的每一张标准数据表的关联关系，从而确保每一张标准数据表中的每一个字段所对应的数据单元都能够满足其需要符合的一条或多条数据规则的要求。

接下来，基于规则共性与相应字段的关联关系，在该字段所属的每一张标准数据表中通过与该字段、该规则共性相对应的验证脚本来验证与该字段相对应的所有数据单元。

本实施例中，在步骤160之后，当与所述字段相对应的所有数据单元的数量超过所述验证脚本的验证能力时，返回数据告警。

本步骤公开了验证脚本的最大验证能力，当待验证数据过多时，返回数据告警，从而能够提示开发人员对相应的验证规则模型进行修改，以便能够提高验证脚本的验证能力。

步骤170：当存在不满足所述数据规则的数据单元时，生成与所述数据单元相关的报错信息。

在本步骤中，第一，当利用所述验证脚本验证在所述标准数据表中存在所述字段相对应的任一数据单元不符合所述数据规则时，识别出所述数据单元。第二，利用所述数据单元所属的字段、标准数据表以及数据消息生成所述报错信息。

另外，如图2所示，在本公开内容中，对于所述第一类规则集合中除了所述第二类规则集合以外的每一个数据规则而言，所述方法进一步包括：

步骤230：利用所述数据规则生成与所述数据规则相对应的验证规则模型。

步骤240：基于所述数据规则与需要符合所述数据规则的字段、标准数据表的关联性，识别出要符合所述数据规则的所述标准数据表中的所述字段；

步骤250：将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本。

步骤260：在所述字段所属的标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元。

步骤270：当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。

在本实施例中，基于对第二类规则集合与需要符合所述第二类规则集合的字段、标准数据表的关联性的识别以及基于对数据规则与需要符合所述数据规则的字段、标准数据表的关联性的自动识别，可以针对同一张标准数据表批量生成该标准数据表中每一个字段的所需要的所有验证脚本，进而能够对该标准数据表中的每一个字段所对应的所有数据单元同时进行多个数据规则验证，大大提高了数据验证的效率。

此外，本实施例为了便于向提供数据的人员和/或部门、负责标准数据表的开发人员和/或部门以及验证规则模型的开发人员提供监控的反馈结果，以便于实现数据监控的最终目的——发现问题进而解决问题，本公开内容的方法进一步包括：

首先，确定与所述报错信息相对应的数据规则所属的第一类规则集合。

其次，根据所述报错信息中包括的所述数据消息，确定所述报错信息的数据来源。

再次，根据所述报错信息中包括的所述标准数据表，确定所述标准数据表的开发信息。

最后，根据所确定的所述数据规则所属的第一类规则集合、所述数据消息的数据来源以及所述标准数据表的开发信息生成与所述报错信息相对应的错误数据报告。

本公开内容所公开的方法，能够根据数据规则的变化实时修改相应的验证规则模型，从而使得需要符合该数据规则的字段相应地生成最新的验证脚本，最终使得不同的标准数据表中的该字段所对应的所有数据单元采用最新的验证脚本进行验证。与现有技术中针对标准数据表编写验证程序相比，能够更加灵活的针对数据规则的变化、标准数据表的变化实现对具体字段的数据单元的准确监控；同时由于无需因为某个数据规则的变化和/或标准数据表的变化而针对标准数据表重新开发相应的验证工具，因此降低了开发人员的工作量、以及开发成本。

以下通过实施例1来具体描述图1所公开的数据监控方法。

实施例1

在保险金融领域中，为了确保数据的合法性、合规性，可能存在成百上千的数据规则，并且利用这些规则分别来验证上百张标准数据表中的数据。由于规则多并且适用于每个标准数据表的验证规则都是不一样的，多则有几十个规则，少则可能仅几个规则。为了满足这种不确定情况，根据上述公开的方法创建验证规则模型，基于每张标准数据表中的字段生成相应的验证脚本，并且能够随时根据数据规则的调整，很容易地实现验证脚本的自动修改。不仅满足了数据规则的变化，而且为数据的监控力度提供了有力的支撑。所述标准数据表在第一方向上包括一个或多个字段并且在第二方向上包括一条或多条符合所述标准数据表的格式的数据消息，根据所述第一方向上的一个或多个字段将每一条数据消息划分成相应的一个或多个数据单元。

第一，将存储系统(例如，分布式存储系统，诸如海杜普(Hadoop)分布式系统)中存储的数据分别按照不同的标准数据表的格式填入相应的标准数据表中，以便于本方法对每张标准数据表实现数据监控。

第二，将要求满足的成百上千个数据规则根据规则分类原则划分成相应的多个第一类规则集合。例如，规则提供者(或规则提供单位)提供了五千多个数据规则、两百多张标准数据表，要求保险公司生成的每一份保险的数据都能够符合上述五千多个数据规则、两百多张标准数据表。例如，将所提供的五千多个数据规则划分成相应的多个第一类规则集合，诸如表内必填项验证规则集合，数据完整的唯一性、存在性校验规则集合，枚举值的码表校验规则集合，事实数据的表内字段校验规则集合，业务逻辑表间字段关联性校验规则集合，数据字典定义验证规则集合，报送数据质量评分性验证规则集合。

第三，在每一个第一类规则集合中判断是否存在至少一个规则共性。具体地，首先，提取该第一类规则集合中的每一条数据规则的关键字，其次，判断是否存在相同或相似含义的关键字，其中，所述相同或相似含义的关键字作为所述规则共性。

第四，在存在规则共性的情况下，将该第一类规则集合划分出相应的第二类规则集合，其中，所述第二类规则集合包括具有该规则共性的一条或多条数据规则。

第五，利用所述规则共性生成与所述第二类规则集合相对应的验证规则模型。

例如，表内必填项验证规则集合中的具体数据规则分别用于监控在一张或多张标准数据表中哪些字段不能为空。那么，在表内必填项验证规则集合中提取一个或多个规则共性以生成一个或多个第二类规则集合，进而生成相应的验证规则模型。与表内必填项验证规则集合相关联的验证规则模型都可以具有如下参数：数据规则编号、所属的第一类规则集合、标准数据表的中文名称、标准数据表的英文名称、标准数据表的中文字段名称、标准数据表的英文字段名称、数据规则的备注。另外，表内必填项验证规则集合相关联的验证规则模型分别可以具有与各自的规则共性相对应的模型参数。

例如，数据完整的唯一性、存在性校验规则集合中的具体数据规则分别用于监控在一张或多张标准数据表中按照给定的条件组合不能重复的数据并且监控必须存在的数据。那么，在数据完整的唯一性、存在性校验规则集合中提取一个或多个规则共性以生成一个或多个第二类规则集合，进而生成相应的验证规则模型。与数据完整的唯一性、存在性校验规则集合相关联的验证规则模型都可以具有如下参数：数据规则编号、数据规则所属的第一类规则集合、标准数据表的中文名称、标准数据表的英文名称、标准数据表的中文字段名称、标准数据表的英文字段名称、数据规则所属的第二类规则集合以及数据规则的备注。另外，数据完整的唯一性、存在性校验规则集合相关联的验证规则模型分别可以具有与各自的规则共性相对应的模型参数。

例如，枚举值的码表校验规则集合中的具体数据规则分别用于监控在一张或多张标准数据表中数据消息中的各种枚举值的编码是否与规则提供者的要求一致。那么，在枚举值的码表校验规则集合中提取一个或多个规则共性以生成一个或多个第二类规则集合，进而生成相应的验证规则模型。与枚举值的码表校验规则集合相关联的验证规则模型都可以具有如下参数：数据规则编号、所属的第一类规则集合、标准数据表的中文名称、标准数据表的英文名称、标准数据表的中文字段名称、标准数据表的英文字段名称以及相关数据规则的备注。另外，枚举值的码表校验规则集合相关联的验证规则模型分别可以具有与各自的规则共性相对应的模型参数。

例如，事实数据的表内字段校验规则集合中的具体数据规则分别用于监控在一张或多张标准数据表中关于金额方面的数据不能小于0。那么，在事实数据的表内字段校验规则集合中提取一个或多个规则共性以生成一个或多个第二类规则集合，进而生成相应的验证规则模型。与事实数据的表内字段校验规则集合相关联的验证规则模型都可以具有如下参数：数据规则编号、数据规则所属的第一类规则集合、标准数据表的中文名称、标准数据表的英文名称、标准数据表的中文字段名称、标准数据表的英文字段名称、数据规则所属的第二类规则集合以及相关数据规则的备注。另外，事实数据的表内字段校验规则集合相关联的验证规则模型分别可以具有与各自的规则共性相对应的模型参数。

例如，业务逻辑表间字段关联性校验规则集合中的具体数据规则分别用于监控在一张或多张标准数据表中数据的完整性。那么，在业务逻辑表间字段关联性校验规则集合中提取一个或多个规则共性以生成一个或多个第二类规则集合，进而生成相应的验证规则模型。与业务逻辑表间字段关联性校验规则集合相关联的验证规则模型都可以具有如下参数：数据规则编号、所属的第一类规则集合以及相关数据规则的备注。另外，业务逻辑表间字段关联性校验规则集合相关联的验证规则模型分别可以具有与各自的规则共性相对应的模型参数。

例如，报送数据质量评分性验证规则集合中的具体数据规则分别用于监控在一张或多张标准数据表中数据的质量。那么，在数据字典定义验证规则集合中提取一个或多个规则共性以生成一个或多个第二类规则集合，进而生成相应的验证规则模型。与报送数据质量评分性验证规则集合相关联的验证规则模型都可以具有如下参数：数据规则编号、所属的第一类规则集合以及相关数据规则的备注。另外，报送数据质量评分性验证规则集合相关联的验证规则模型分别可以具有与各自的规则共性相对应的模型参数。

第六，基于所述第二类规则集合与需要符合所述第二类规则集合的任一字段、标准数据表的关联性，识别出要符合所述第二类规则集合的所述标准数据表中的所述字段。

第七，在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元。

在本步骤中，验证脚本能够自动识别出被监控的标准数据表中的数据单元与数据规则之间的匹配关系。

例如，针对所生成表内必填项验证规则集合相关联的验证脚本而言，能够建立标准数据表与其中字段的关系，例如，保单基本信息表中不能为空的字段有保单金额、保险费、税额、保单状态、地区信息等。

例如，针对所生成数据完整的唯一性、存在性校验规则集合相关联的验证脚本而言，能够建立标准数据表与其中字段的关系，例如，每份保险数据必须具有保单投保人信息、被保险人信息、保单佣金信息、渠道信息、产品信息、从业人员信息等。

例如，针对所生成枚举值的码表校验规则集合相关联的验证脚本而言，能够建立保险公司的业务代码与中国保险要求的代码建立关系，例如，保单基本信息表中险种代码、保单种类代码、保单终止原因代码、承保地区代码。

例如，针对所生成事实数据的表内字段校验规则集合相关联的验证脚本而言，例如，从金额方面来验证，保险业务金额不能小于0；涉及的范围有保单信息表金额、保费不能小于0；保单标的责任表的赔偿限额不能小于0等；从业务条件方面来验证必填项，当社保代码有“Y”字段时，包括保单自然人被保险人信息表中的“社会保险登记号”为必填项。

例如，针对所生成业务逻辑表间字段关联性校验规则集合相关联的验证脚本而言，从表间字段和数值的关系上来验证保险业务事实数据是否正确。例如，保单基本信息表和保单标的责任表之间的金额，在同一保单下，【保单基本信息】中的<总保险金额>是否等于【保单标的责任信息】中<保险金额/赔偿限额>之和。

例如，所生成数据字典定义验证规则集合相关联的验证脚本根据存储系统表结构的字段类型定义或者是字段描述的说明，来验证添加存储系统表字段是否满足定义的数据类型，如：浮点数中不能有小数点、数字中不能有字符，表字段值的字符长度不能大于存储系统表结构所定义的长度等。

例如，所生成报送数据质量评分性验证规则集合相关联的验证脚本用于对监控数据中出现的错误类型进行评分，例如，保单状态所对应的业务逻辑、产品条款所对应的业务逻辑、金额所对应的业务逻辑等。

另外，可以将所生成的所有验证脚本与数据规则有序地匹配起来，以配置验证脚本有序地执行验证任务。

第八，当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。具体如下：首先，当利用所述验证脚本验证在所述标准数据表中存在所述字段相对应的任一数据单元不符合所述验证脚本时，识别出所述数据单元；其次，利用所述数据单元所属的字段、标准数据表以及数据消息生成所述报错信息。

此外，在上述步骤七之后，当与所述字段相对应的所有数据单元的数量超过所述验证脚本的验证能力时，返回数据告警。

在实施例1中，对于第一类规则集合中除了第二类规则集合以外的每一个数据规则而言，所述方法进一步包括：

首先，利用所述数据规则生成与所述数据规则相对应的验证规则模型。在本步骤中，仅利用第一类规则集合中除了第二类规则集合以外的数据规则来生成相应的验证规则模型。

其次，基于该数据规则与需要符合该数据规则的字段、标准数据表的关联性，识别出要符合该数据规则的所述标准数据表中的所述字段。

再次，将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本。

第四，在所述字段所属的标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元。

最后，当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。

在本实施例中，基于对上述数据规则与需要符合该数据规则的字段、标准数据表的关联性的自动识别以及对所述第二类规则集合与需要符合所述第二类规则集合的任一字段、标准数据表的关联性的自动识别，可以针对同一张标准数据表批量生成该标准数据表中每一个字段的所需要的所有验证脚本，进而能够对该标准数据表中的每一个字段所对应的所有数据单元同时进行多个数据规则验证，最终能够实现对大量标准数据表中每个字段所对应数据单元的快速验证。

此外，本实施例为了便于向提供数据的人员和/或部门、负责标准数据表的开发人员和/或部门以及验证规则模型的开发人员提供监控的反馈结果，以便于实现数据监控的最终目的——发现问题进而解决问题，本公开内容进一步包括：

首先，确定与所述报错信息相对应的数据规则所属的第一类规则集合；其次，根据所述报错信息中包括的所述数据消息来确定所述报错信息的数据来源；再次，根据所述报错信息中包括的所述标准数据表来确定所述标准数据表的开发信息；最后，根据所述数据规则所属的规则集合、所述数据消息的数据来源以及所述标准数据表的开发信息生成与所述报错信息相对应的错误数据报告。

本公开内容在数据量大、数据规则多并且要形成的标准数据表数量多的情况下，利用数据规则、规则共性生成相应的验证规则模型以及结合具体字段所生成的验证脚本实现了快速定位数据问题所在的负责部分和开发者，以避免在数据报送后发现问题再通过消耗大量的人力、时间来分析具体问题的情况出现，最终实现对数据的快速、准确验证。

此外，替代地，上述方法能够通过计算机程序产品，即计算机可读存储介质来实现。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明内容的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

图3示出了依据本发明内容所公开的数据监控设备300的示意图。从图3中可以看出，数据监控设备300包括中央处理单元(CPU)301(例如，处理器)，其可以根据存储在只读存储器(ROM)302中的计算机程序指令或者从存储单元408加载到随机访问存储器(RAM)303中的计算机程序指令，来执行各种适当的动作和处理。在RAM 303中，还可存储该设备300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许该设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

本公开内容所公开的设备300中，处理器301执行时指令，使得处理器301执行以下操作：

基于所述第二类规则集合与需要符合所述第二类规则集合的任一字段、标准数据表的关联性，识别出要符合所述第二类规则集合的所述标准数据表中的所述字段；

在依据本公开内容的一个实施例中，在每一个第一类规则集合中判断是否存在至少一个规则共性进一步包括：

提取所述第一类规则集合中的每一条数据规则的关键字；

在依据本公开内容的一个实施例中，对于所述第一类规则集合中除了所述第二类规则集合以外的每一个数据规则而言，当所述指令执行时使得所述处理器301进一步执行以下操作：

基于所述数据规则与需要符合所述数据规则的任一字段、标准数据表的关联性，识别出要符合所述数据规则的所述标准数据表中的所述字段；

在依据本公开内容的一个实施例中，所述标准数据表在第一方向上包括一个或多个字段并且在第二方向上包括一条或多条符合所述标准数据表的格式的数据消息，根据所述第一方向上的一个或多个字段将每一条数据消息划分成相应的一个或多个数据单元。

在依据本公开内容的一个实施例中，当存在不满足所述验证脚本的数据单元时生成与所述数据单元相对应的报错信息进一步包括：

在依据本公开内容的一个实施例中，在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元之后，当所述指令执行时使得所述处理器301进一步执行以下操作：

本公开内容所公开的数据监控方法、设备及计算机可读存储介质，一方面能够快速生成验证脚本、快速定位、分析未通过验证的数据单元的具体问题，提高数据质量；另一方面在标准数据表或数据规则发生变化时，能够快速修改验证规则模型以适应最新的标准数据表或数据规则，确保对所有数据采用最新的数据规则进行验证，提高了监控效率。

应当注意，尽管在上文的详细描述中提及了设备的若干装置或子装置，但是这种划分仅仅是示例性而非强制性的。实际上，根据本公开的实施例，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

以上所述仅为本公开的实施例可选实施例，并不用于限制本公开的实施例，对于本领域的技术人员来说，本公开的实施例可以有各种更改和变化。凡在本公开的实施例的精神和原则之内，所作的任何修改、等效替换、改进等，均应包含在本公开的实施例的保护范围之内。

虽然已经参考若干具体实施例描述了本公开的实施例，但是应该理解，本公开的实施例并不限于所公开的具体实施例。本公开的实施例旨在涵盖在所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims

1.一种数据监控方法，所述方法包括：

当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息，

其中，所述标准数据表在第一方向上包括一个或多个字段并且在第二方向上包括一条或多条符合所述标准数据表的格式的数据消息，根据所述第一方向上的一个或多个字段将每一条数据消息划分成相应的一个或多个数据单元。

2.根据权利要求1所述的数据监控方法，其中，在每一个第一类规则集合中判断是否存在至少一个规则共性进一步包括：

提取所述第一类规则集合中的每一条数据规则的关键字；

3.根据权利要求1所述的数据监控方法，其中，对于所述第一类规则集合中除了所述第二类规则集合以外的每一个数据规则而言，所述方法进一步包括：

4.根据权利要求1所述的数据监控方法，其中，当存在不满足所述验证脚本的数据单元时生成与所述数据单元相对应的报错信息进一步包括：

5.根据权利要求1或3所述的数据监控方法，其中，在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元之后，所述方法进一步包括：

6.一种数据监控设备，所述设备包括：

处理器；以及

7.根据权利要求6所述的数据监控设备，其中，在每一个第一类规则集合中判断是否存在至少一个规则共性进一步包括：

提取所述第一类规则集合中的每一条数据规则的关键字；

8.根据权利要求6所述的数据监控设备，其中，对于所述第一类规则集合中除了所述第二类规则集合以外的每一个数据规则而言，当所述指令执行时使得所述处理器进一步执行以下操作：

9.根据权利要求6所述的数据监控设备，其中，当存在不满足所述验证脚本的数据单元时生成与所述数据单元相对应的报错信息进一步包括：

10.根据权利要求6或8所述的数据监控设备，其中，在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元之后，当所述指令执行时使得所述处理器进一步执行以下操作：

11.一种计算机可读存储介质，其具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于执行根据权利要求1至5中任一项所述的数据监控方法。