CN101990208B - 一种数据自动校验方法、系统和设备 - Google Patents

Abstract

本发明实施例公开了一种数据自动校验方法，该方法包括以下步骤：上级数据质量校验系统接收来自下级数据质量校验系统的统计数据；所述上级数据质量校验系统对所述统计数据进行完整性检查；当完整性检查结果为统计数据完整时，所述上级数据质量校验系统对所述统计数据进行合理性检查；当合理性检查结果为统计数据合理时，所述上级数据质量校验系统确定所述统计数据为正常数据。本发明中，通过对统计数据进行完整性检查和合理性检查，使得数据质量的校验粒度更细，实现了数据的准确性校验，而且数据质量校验结果的反馈加及时、方便。

Description

一种数据自动校验方法、系统和设备

技术领域

本发明涉及通信技术领域，特别是涉及一种数据自动校验方法、系统和设备。

背景技术

随着电信企业的不断发展，电信行业的竞争越来越激烈，一方面，客户可以选择的电信业务及电信企业越来越多，电信企业对客户的争夺愈演愈烈，由于客户的离网，或重新入网，造成了客户的大规模流失，使得电信企业的业务收入下降、客户发展的效率低，成本高；另一方面，由于电信客户的高速增长，形成了需求差异很大的客户群，适用于不同人群的各种新业务不断推出，电信企业需要通过分析市场、客户群，将最合适的业务推荐给最需要的客户，从而实现业务和客户的最佳匹配。其中，在上述激烈的竞争情况下，为了提高经济效益，需要运用科学的经营分析方法，实现精细化的管理和营销，用高质量的服务来吸引和留住客户，扩大市场占有率，并在竞争中占据有利位置。为了解决上述问题，电信运营商都建立了以经营分析系统为核心的企业决策支持体系，通过对日常经营数据的分析、挖掘，为公司决策者、各级管理者提供经营决策依据，以实现精细化营销。

通过使用上述经营分析系统，各电信企业都建立了面向企业运营的统一数据信息平台，为全网业务、客户服务、市场营销、经营决策、业务实施等工作提供了有效的支撑，例如，通过经营分析系统对来自下一级别的数据文件进行校验，使得各电信运营商根据该校验结果进行数据的统计和分析，从而为各级管理者提供了经营决策依据，进一步支持了对各省(下一级别)市场经营活动的管理和指导，为精细化运营提供了基础。

现有技术中，经营分析等大型系统中，在对数据文件进行校验时是以数据文件为最小粒度进行及时性和完整性校验，而校验的结果通常是以日志的形式记录的。

此外，在一种电信管理网中进行上下层网管数据一致性的处理方法中，下层网管向上层网管上报数据变化，上层网管根据电信业务配置的情况对变化的数据进行冲突校，对于校验结果为非冲突的数据，上层网管直接进行入库处理；对于校验结果为冲突的数据，上层网管根据同步规则对冲突数据进行一致性处理，使数据达到一致。从而实现了对网管数据进行细粒度的数据校验方法，使网管数据冲突的范围影响最小。

在实现本发明的过程中，发明人发现现有技术中存在以下问题：

在以数据文件为最小粒度进行及时性和完整性校验时，只能实现对数据文件本身进行及时性和完整性的校验，而数据文件内部实际数据记录和字段是否完整、格式是否正确无法校验，校验的准确性较差；而且校验结果是以日志形式记录的，不能进行实时反馈。

而上述电信管理网中进行上下层网管数据一致性的处理方法，是针对一致性进行校验的，即在同步规则的条件下，若数据完全一致，则数据正确，否则数据异常，该处理方法是应用于网管系统等对精度要求高的系统中，并不适用于以统计各类指标，描述数据变化趋势和规律的分析系统中，而且校验结果也没有进行实时反馈。

发明内容

本发明实施例提供一种数据自动校验方法、系统和设备，以对数据进行准确的校验。

为了达到上述目的，本发明实施例提出了一种数据自动校验方法，应用于由不同等级数据质量校验系统组成的系统中，包括以下步骤：

上级数据质量校验系统接收来自下级数据质量校验系统的统计数据；

所述上级数据质量校验系统对所述统计数据进行完整性检查；

当完整性检查结果为统计数据完整时，所述上级数据质量校验系统对所述统计数据进行合理性检查；

当合理性检查结果为统计数据合理时，所述上级数据质量校验系统确定所述统计数据为正常数据。

优选的，所述上级数据质量校验系统对所述统计数据进行完整性检查包括：

检查统计数据的数据表类信息是否完整，当数据表类信息不完整时，所述统计数据不完整；否则，进一步检查统计数据的记录类信息是否完整，当记录类信息不完整时，所述统计数据不完整；否则，进一步校验统计数据的字段类信息是否完整，当字段类信息不完整时，所述统计数据不完整，否则，所述统计数据完整。

优选的，所述上级数据质量校验系统对所述统计数据进行合理性检查包括：

所述上级数据质量校验系统对所述统计数据进行逻辑性检查；和/或，对所述统计数据进行一致性检查。

优选的，所述上级数据质量校验系统对所述统计数据进行逻辑性检查具体包括：

所述上级数据质量校验系统检查所述统计数据是否为造假数据；和/或检查所述统计数据是否为统计学异常数据。

优选的，检查所述统计数据是否为造假数据包括以下内容中的一种或几种：检查所述统计数据是否为人工填写的造假数据；检查所述统计数据是否为系统故障引起的造假数据；检查所述统计数据是否为函数生成器生成的造假数据；

检查所述统计数据是否为统计学异常数据包括：根据统计数据的局部平均值和该统计数据的全局平均值检查所述统计数据是否为统计学异常数据；和/或根据统计数据的个别取值和该统计数据的局部平均值检查所述统计数据是否为统计学异常数据。

优选的，对所述统计数据进行一致性检查具体包括以下内容中的一种或几种：

对所述统计数据进行日报与月报的交叉一致性检查；对所述统计数据进行日报的一致性检查；对所述统计数据进行月报的一致性检查；对所述统计数据进行日报业务量的一致性检查；对所述统计数据进行月报业务量的一致性检查。

优选的，对所述统计数据进行日报与月报的交叉一致性检查具体包括：检查同一地区、同一受理渠道、同一品牌类型、同一业务类型，一个月内日报所有统计数据之和与月报对应的统计数据是否相同；

对所述统计数据进行日报或月报的一致性检查具体包括：检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据之和是否相同；和/或，检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据值是否相同；

对所述统计数据进行日报业务量或月报业务量的一致性检查具体包括：检查某地区某类业务构成的各子类所占比重与全网平均所占比重之间的关系。

优选的，所述方法还包括：

当完整性检查结果为统计数据不完整时，或所述完整性检查结果为统计数据完整但合理性检查结果为统计数据不合理时，所述上级数据质量校验系统向所述下级数据质量校验系统发送校验结果，所述校验结果中携带所述统计数据异常的信息。

优选的，所述上级数据质量校验系统向所述下级数据质量校验系统发送校验结果之后，还包括：

所述下级数据质量校验系统根据所述校验结果判断所述统计数据是否异常；

当所述统计数据异常时，所述下级数据质量校验系统修改所述统计数据，并将修改后的统计数据重新上传给所述上级数据质量校验系统；

当所述统计数据没有异常时，所述下级数据质量校验系统向所述上级数据质量校验系统发送统计数据没有异常的说明信息。

优选的，所述上级数据质量校验系统向所述下级数据质量校验系统发送校验结果具体包括：

所述上级数据质量校验系统根据预先存储的地址信息将所述校验结果发送给对应的管理终端；

所述管理终端将所述校验结果发送给所述下级数据质量校验系统。

本发明实施例提出了一种数据自动校验系统，包括：配置管理模块、数据校验模块和校验结果发布模块；其中，

所述配置管理模块，用于对预设的统计数据的校验规则进行统一管理，所述统计数据的校验规则包括完整性校验规则、逻辑性校验规则和一致性校验规则；

所述数据校验模块，用于根据预先设定的校验规则和调度规则，触发统计数据的校验操作；

所述校验结果发布模块，用于将校验结果以报表展示，并将校验结果发送给下级数据质量校验系统，以解决数据质量问题。

优选的，所述配置管理模块包括：

校验规则配置单元，用于导入初始的统计数据的校验规则；

校验规则检查单元，用于对所述校验规则配置单元导入的校验规则中涉及的数据表、记录、字段进行有效性检查；

校验调度控制单元，用于为所述校验规则配置单元导入的校验规则配置对应的触发机制；

号簿管理功能单元，用于配置上级数据质量校验系统和下级数据质量校验系统所需要的终端号码信息和电子邮件地址信息。

优选的，所述数据校验模块包括：

数据提取单元，用于从数据库中提取待校验的统计数据；

数据处理单元，用于对所述统计数据进行完整性校验；

数据切分单元，用于对所述统计数据进行逻辑性校验和一致性校验；

数据更新单元，用于将下级数据质量校验系统修改后统计数据写入到上级数据质量校验系统中，并覆盖原数据。

优选的，所述校验结果发布模块包括：

报表查询与分析单元，用于提供校验结果信息的报表展示，以进行历史校验结果的查询与对帐；

校验结果通知单元，用于通过邮件方式、彩信方式、或短信方式将校验结果通知给下级数据质量校验系统。

本发明实施例提出了一种数据自动校验设备，包括：

收发模块，用于接收来自下级数据质量校验系统的统计数据；

检查模块，用于对所述收发模块接收的统计数据进行完整性检查；并在完整性检查结果为统计数据完整时，对所述统计数据进行合理性检查；

处理模块，用于当所述检查模块合理性检查结果为统计数据合理时，确定所述统计数据为正常数据。

优选的，所述检查模块对所述收发模块接收的统计数据进行完整性检查，具体为：

检查统计数据的数据表类信息是否完整，当数据表类信息不完整时，所述统计数据不完整；否则，进一步检查统计数据的记录类信息是否完整，当记录类信息不完整时，所述统计数据不完整；否则，进一步校验统计数据的字段类信息是否完整，当字段类信息不完整时，所述统计数据不完整，否则，所述统计数据完整。

优选的，所述检查模块对所述统计数据进行合理性检查，具体为：

对所述统计数据进行逻辑性检查；和/或，对所述统计数据进行一致性检查。

优选的，所述检查模块对所述统计数据进行逻辑性检查，具体为：

检查所述统计数据是否为造假数据；和/或，检查所述统计数据是否为统计学异常数据；具体用于：

检查所述统计数据是否为人工填写的造假数据；检查所述统计数据是否为系统故障引起的造假数据；检查所述统计数据是否为函数生成器生成的造假数据；

根据统计数据的局部平均值和该统计数据的全局平均值检查所述统计数据是否为统计学异常数据；根据统计数据的个别取值和该统计数据的局部平均值检查所述统计数据是否为统计学异常数据。

优选的，所述检查模块对所述统计数据进行一致性检查，具体为：

对所述统计数据进行日报与月报的交叉一致性检查；对所述统计数据进行日报的一致性检查；对所述统计数据进行月报的一致性检查；对所述统计数据进行日报业务量的一致性检查；对所述统计数据进行月报业务量的一致性检查；具体用于：

对所述统计数据进行日报与月报的交叉一致性检查具体包括：检查同一地区、同一受理渠道、同一品牌类型、同一业务类型，一个月内日报所有统计数据之和与月报对应的统计数据是否相同；

检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据之和是否相同；

检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据值是否相同；

检查某地区某类业务构成的各子类所占比重与全网平均所占比重之间的关系。

优选的，所述收发模块还用于：

当完整性检查结果为统计数据不完整时，或所述完整性检查结果为统计数据完整但合理性检查结果为统计数据不合理时，向所述下级数据质量校验系统发送校验结果，所述校验结果中携带所述统计数据异常的信息。

优选的，所述收发模块具体用于：

根据预先存储的地址信息将所述校验结果发送给对应的管理终端，由所述管理终端将所述校验结果发送给所述下级数据质量校验系统。

与现有技术相比，本发明具有以下优点：通过对统计数据进行完整性检查和合理性检查，使得数据质量的校验粒度更细，实现了数据的准确性校验，而且数据质量校验结果的反馈加及时、方便。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对本发明或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些附图，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提出的一种数据自动校验方法流程图；

图2为本发明实施例具体应用场景下提出的数据自动校验方法流程图；

图3为本发明实施例提出的一种数据自动校验系统的结构图；

图4为本发明实施例提出的一种数据自动校验设备的结构图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的仅仅是本发明一部分，而不是全部的。基于本发明，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他发明，都属于本发明保护的范围。

如图1所示，本发明实施例提出的一种数据自动校验方法，应用于由不同等级数据质量校验系统组成的系统中，包括以下步骤：

步骤101，上级数据质量校验系统接收来自下级数据质量校验系统的统计数据。

步骤102，所述上级数据质量校验系统对所述统计数据进行完整性检查。

具体的，所述上级数据质量校验系统对所述统计数据进行完整性检查包括：

a，检查统计数据的数据表类信息是否完整，当数据表类信息不完整时，则判断所述统计数据不完整；

b，检查统计数据的记录类信息是否完整，当记录类信息不完整时，则判断所述统计数据不完整；

c，校验统计数据的字段类信息是否完整，当字段类信息不完整时，则判断所述统计数据不完整；

当检查统计数据的数据表类信息、记录类信息以及字段类信息都完整时，则判断所述统计数据完整。

步骤103，当完整性检查结果为统计数据完整时，所述上级数据质量校验系统对所述统计数据进行合理性检查。

本发明实施例中，上级数据质量校验系统对所述统计数据进行合理性检查包括：

a.所述上级数据质量校验系统对所述统计数据进行逻辑性检查；和/或，

b.对所述统计数据进行一致性检查。

进一步的，所述上级数据质量校验系统对所述统计数据进行逻辑性检查具体包括：所述上级数据质量校验系统检查所述统计数据是否为造假数据；和/或检查所述统计数据是否为统计学异常数据。其中，检查所述统计数据是否为造假数据包括以下内容中的一种或几种：检查所述统计数据是否为人工填写的造假数据；检查所述统计数据是否为系统故障引起的造假数据；检查所述统计数据是否为函数生成器生成的造假数据；检查所述统计数据是否为统计学异常数据包括：根据统计数据的局部平均值和该统计数据的全局平均值检查所述统计数据是否为统计学异常数据；和/或根据统计数据的个别取值和该统计数据的局部平均值检查所述统计数据是否为统计学异常数据。

进一步的，对所述统计数据进行一致性检查具体包括以下内容中的一种或几种：对所述统计数据进行日报与月报的交叉一致性检查；对所述统计数据进行日报的一致性检查；对所述统计数据进行月报的一致性检查；对所述统计数据进行日报业务量的一致性检查；对所述统计数据进行月报业务量的一致性检查。其中，对所述统计数据进行日报与月报的交叉一致性检查具体包括：检查同一地区、同一受理渠道、同一品牌类型、同一业务类型，一个月内日报所有统计数据之和与月报对应的统计数据是否相同；对所述统计数据进行日报或月报的一致性检查具体包括：检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据之和是否相同；和/或，检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据值是否相同；对所述统计数据进行日报业务量或月报业务量的一致性检查具体包括：检查某地区某类业务构成的各子类所占比重与全网平均所占比重之间的关系。

步骤104，当合理性检查结果为统计数据合理时，所述上级数据质量校验系统确定所述统计数据为正常数据。

本发明实施例中，当完整性检查结果为统计数据不完整时，或所述完整性检查结果为统计数据完整但合理性检查结果为统计数据不合理(逻辑性检查结果为统计数据不符合逻辑，或一致性检查结果为统计数据不一致)时，所述上级数据质量校验系统向所述下级数据质量校验系统发送校验结果，所述校验结果中携带所述统计数据异常的信息。

当所述上级数据质量校验系统将校验结果发送给所述下级数据质量校验系统时，所述下级数据质量校验系统根据所述校验结果判断所述统计数据是否异常；当所述统计数据异常时，所述下级数据质量校验系统修改所述统计数据，并将修改后的统计数据重新上传给所述上级数据质量校验系统；当所述统计数据没有异常时，所述下级数据质量校验系统向所述上级数据质量校验系统发送统计数据没有异常的说明信息。

进一步的，所述上级数据质量校验系统还可以根据预先存储的地址信息将所述校验结果发送给对应的管理终端；由所述管理终端将所述校验结果发送给所述下级数据质量校验系统。

可见，通过使用本发明提供的方法，可以对数据的质量进行全面、深入的校验，从数据的及时性、完整性、准确性三个方面建立统计数据(例如，客户服务数据)质量的校验体系；本发明实施例确保了上级数据质量校验系统可以及时、完整、准确的集中最为关键的数据，为服务质量提升决策制定和服务质量考核提供了重要的依据，并能将上级数据质量校验系统汇总的全局数据及时、完整、准确的下发至下级数据质量校验系统，以便于下级数据质量校验系统分析自身的服务量和服务质量在全网所处的水平和位置；进一步的，本发明实施例的校验结果反馈和分发准确、高效，通过采用存储过程循环校验和事件触发校验相结合的反馈机制，由上级数据质量校验系统自动收集、整理和分发校验结果，无需人工干预，效率高。同时可配置电子邮件、彩信、短信等分发渠道，确保反馈信息能快速到达下级数据质量校验系统。

基于图1所示的数据自动校验方法，在一种具体的应用场景下，本发明实施例还提出了一种数据自动校验方法，该方法适用于分级的数据质量校验系统中，包括上级数据质量校验系统和下级数据质量校验系统，其中，该上级数据质量校验系统可以为第一级数据质量校验系统，例如，总公司的数据质量校验系统，该下级数据质量校验系统为第二级数据质量校验系统，例如，省公司的数据质量校验系统。当然，该上级数据质量校验系统和下级数据质量校验系统并不局限于此，例如，该上级数据质量校验系统为第二级数据质量校验系统(省公司的数据质量校验系统)，该下级数据质量校验系统为第三级数据质量校验系统(市公司的数据质量校验系统)；该上级数据质量校验系统为第一级数据质量校验系统，该下级数据质量校验系统为第三级数据质量校验系统等，即具有上下级关系的数据质量校验系统均在本发明保护范围之内，在此不再详加描述。

另外，需要说明的是，本发明实施例中的数据质量校验系统包括但不限于通信客户服务数据质量校验系统、客户关系数据质量校验系统、经营分析数据质量校验系统、社会经济统计数据质量校验系统、税务数据质量校验系统等。相应地，本发明实施例中的数据质量校验系统也并不局限于此，所有分级的数据质量校验系统均在本发明保护范围之内，在此不再赘述。如图2所示，上述的数据自动校验方法包括以下步骤：

步骤201，预先在上级数据质量校验系统中设置数据质量校验规则，并将该数据质量校验规则导入到校验数据库中。

具体地，开发人员通过终端在上级数据质量校验系统中设置数据质量校验规则，该数据质量校验规则为根据实际需要所设置，包括完整性校验规则、逻辑性校验规则、一致性校验规则；其中，完整性校验规则用于校验统计数据是否有缺失；逻辑性校验规则用于校验统计数据是否符合逻辑；一致性校验规则用于校验在不同时间接收到的统计数据是否一致。

进一步的，该完整性校验规则具体包括通过校验数据表类、记录类、字段类是否有缺失，从而逐层深入校验统计数据的完整性，即首先校验统计数据的数据表类信息是否有缺失，当数据表类信息有缺失时，则证明统计数据不完整；其次，校验统计数据的记录类信息是否有缺失，当记录类信息有缺失时，则证明统计数据不完整；接下来，校验统计数据的字段类信息是否有缺失，当字段类信息有缺失时，则证明统计数据不完整，当校验数据表类、记录类和字段类信息的结是都为完整时，则判断该统计数据完整。

该逻辑性校验规则具体包括校验统计数据是否为造假数据；校验统计数据是否统计学异常。其中，

造假数据包括但不限于：(1)人工填写的造假数据，例如，同一时间区间内业务分量之和大于业务总量；同一时间区间内平均人工工时超过每天24小时；同一时间区间内呼叫服务热线次数超过总呼叫次数；同一时间区间内各渠道成功服务人数超过与该渠道接触的总人数；平均应答时间小于平均接通时间等；(2)系统故障引起的造假数据，例如，下级数据质量校验系统上传的所有统计数据在给定时间区间内保持不变；下级数据质量校验系统上传的所有统计数据在给定时间区间内按数据文件上传周期逐步累加；(3)函数生成器生成的造假数据，即下级数据质量校验系统上传的所有统计数据在给定时间区间内可以拟合成函数，例如，拟合成整系数线性函数、整系数二次函数、整系数正余弦函数等。

校验统计数据是否统计学异常包括但不限于：(1)上级数据质量校验系统根据统计数据的局部平均值和该统计数据的全局平均值对所述统计数据进行指定时间区间内的校验；(2)上级数据质量校验系统根据统计数据的个别取值和该统计数据的局部平均值对所述统计数据进行指定时间区间内的校验。以下以投诉数据来说明上述两种校验过程，

针对上述第一种情况，假如全国在指定时间区间1个月内的日平均投诉数据为100(全局平均值)，根据实际的需要为该全局平均值设定一个取值范围(例如，加或减20)，当某地区的局部平均值(1个月内的日平均投诉数据)在80-120之间时，则该地区的投诉数据统计学正常，否则，该地区的投诉数据统计学异常。当然，该取值范围还可以选取2～3倍的标准差，该标准差为根据全国各个城市的统计数据计算得出，在此不再赘述，即当局部平均值在全局平均值减2～3个标准差至全局平均值加2～3个标准差之间时，该局部平均值统计学正常。

针对上述第二种情况，假如某地区的局部平均值(1个月内的日平均投诉数据)为100，根据实际的需要为该全局平均值设定一个取值范围(例如，加或减20)，该地区在这个月内每一天的投诉数据在80-120之间时，则这一天的投诉数据统计学正常，否则，这一天的投诉数据统计学异常。同样的，该值范围可以选取2～3倍的标准差，在此不再赘述。需要说明的是，上述校验统计数据是否统计学异常的两种情况需要综合考虑，即对统计数据依次进行上述的两种校验过程；当然，根据实际的需要，也可以选取其中一种校验过程。

该一致性校验规则具体包括通过进行日报数据校验、月报数据校验、日报与月报交叉校验等，来校验不同时间接收到的统计数据是否一致。其中，

(1)该日报与月报交叉校验具体包括：对于同一地区(例如，北京)、同一受理渠道(例如，电话反馈)、同一品牌类型(例如，动感地带)、同一业务类型(例如，包月短信)，当一个月内日报所有统计数据之和与月报对应的统计数据不相等，则统计数据不一致，否则，统计数据一致。

(2)该月报校验或日报校验具体包括：A，总体统计数据表(简称总表)中特定字段(例如，投诉数据)的统计数据值不等于各个子表中对应字段的统计数据之和时，则月报之间存在数据不一致，否则，月报之间数据一致；例如，对于投诉数据，总表中包含的投诉渠道包括10086，Web，SMS(ShortMessaging Service，短消息业务)，对应的子表分别为10086子表、Web子表、SMS子表；当总表中的投诉数据为1000，10086子表的投诉数据为300，Web子表的投诉数据为300，SMS子表的投诉数据为300时，总表中的投诉数据字段值不等于各个子表中投诉数据字段之和(900)，此时，月报之间存在数据不一致；当然，上述月报校验过程同样适用于日报校验过程，在此不再赘述。B，总表中特定字段(例如，彩信数据)的统计数据值不等于各个子表中对应字段的统计数据值时，则月报之间存在数据不一致，否则，月报之间数据一致；例如，对于彩信数据，总表中包含的投诉渠道只有SMS，则该业务对应的子表为SMS子表；当总表中的彩信数据值与该SMS子表中的彩信数据值相同时，月报之间数据一致，否则，数据不一致；当然，上述月报校验过程同样适用于日报校验过程，在此不再赘述。需要说明的是，上述情况A中的特定字段为具有公有属性的字段，例如，投诉数据可以从10086中获得，可以从Web网站中获得，也可以从SMS中获得；而上述情况B中的特定字段为具有私有属性的字段，例如，彩信数据只能从SMS中获得。

(3)对于日报数据和月报数据，还可以对日报业务量和/或月报业务量进行数据一致性校验，即校验某地区某类业务(例如，话费业务)构成的各子类(例如，基本通话等)所占比重与全网平均所占比重之间的关系，当差异量超过预设数值时，则该类业务的统计数据存在不一致。例如，可以通过某类业务的一个子类判断数据是否一致，对于话费业务，有20个业务指标，分别为基本通话、呼叫等待、呼叫转移、三方通话、呼叫限制、来电显示等，对于某一地区，基本通话占话费业务的70％，而在全国范围内，该基本通话占话费业务的30％，若该差异量的预设数值为加或减20％时，则该某一地区的基本通话超过预设数值，该话费业务的统计数据存在不一致。

进一步的，还可以通过某类业务的所有子类判断统计数据是否一致，对于某一地区，当子类业务所占比重超出该子类对应的全网平均所占比重的2倍，或低于全网平均所占比重的1/2时，为该业务加1分，当超出3倍或低于1/3时，为该业务加2分，依次类推，该业务的分数(即差异量)超过预设数值(4)时，则该类业务的统计数据存在不一致。例如，对于某一地区，基本通话占话费业务的70％，而在全国范围内，该基本通话占话费业务的30％，则为该话费业务加2分；该地区呼叫等待占话费业务的2％，而全国范围内为7％，则为该话费业务加3分，对于话费业务中的其他子类业务，均没有超出范围时，该话费业务的差异量超出了预设的数值，该话费业务的统计数据存在不一致。其中，上述校验过程中的数值信息均为根据实际需要任意选取的数值，还可以为其他的情况，在此不再赘述。

需要说明的是，上述的完整性校验规则、逻辑性校验规则、一致性校验规则只是本发明实施例中所举的几个例子，均不局限于此，根据实际的情况，还可以选取其他的校验规则，在此不再赘述。

本发明实施例中，对于初始的数据质量校验规则，随着样本数据的增加和业务发展的需要，可以对数据质量校验规则中涉及的可调参数进行重新设置(例如，该可调参数包括逻辑性校验规则中的标准差倍值、一致性校验规则中的差异量阈值等，当然，并不局限于于此，可以根据实际情况对校验规则中的信息进行调整，在此不再赘述)，以更加准确的校验数据。进一步的，上级数据质量校验系统还需要对数据质量校验规则进行有效性检查，即对于同一种形式的规则，检查是否存在互斥的规则，例如，同一种形式的规则，输入相同的统计数据，而校验结果不同时，则为互斥的规则，需要对互斥的规则进行修改以通过数据校验；当检查通过后，将相应的数据质量校验规则存储到校验数据库中。

步骤202，上级数据质量校验系统针对每个数据质量校验规则，制定对应的触发机制，将该触发机制导入到对应的校验数据库中。其中，

该触发机制包括但不限于按小时周期性触发、按天周期性触发、按设定天数为周期触发、按周周期性触发、按月周期性触发、数据到达事件的即时触发等。例如，上述的日报数据校验，对应的触发机制为按天周期性触发，如表1所示，为一种数据质量校验规则与触发机制的对应关系，当然，本发明实施例中，该对应关系并不局限于此，可以根据实际的需要对该对应关系进行修改和补充，在此不再赘述。

表1

触发机制	数据质量校验规则
		按天周期性触发	完整性校验
按周周期性触发	合理性校验
		按月周期性触发	一致性校验

步骤203，上级数据质量校验系统接收来自下级数据质量校验系统的统计数据，并对该统计数据进行完整性校验，即对该统计数据进行缺失校验，判断是否有数据缺失。如果存在缺失，转到步骤204；否则，转到步骤205。例如，该来自下级数据质量校验系统的统计数据包括但不限于客户投诉信息、客户业务办理信息、客户业务查询信息、客户业务咨询信息等。其中，当完整性校验规则的触发机制为按数据到达事件的即时触发时，上级数据质量校验系统在接收到统计数据时，直接使用完整性校验规则对数据库中的数据进行完整性校验。

具体的，该上级数据质量校验系统使用完整性校验规则(以通过校验数据表类、记录类、字段类是否有缺失，从而逐层深入校验统计数据的完整性为例进行说明)对数据库中的数据进行完整性校验具体包括：

(1)上级数据质量校验系统对统计数据进行数据表类的完整性校验，其中，如果元数据表中的数据表属性为不可缺失时，当统计数据中没有数据表时，则校验结果为统计数据不完整，否则，进一步执行(2)中的校验过程；对于元数据表中的数据表属性为可缺失的情况，即不需要进行该数据表类的校验，本发明实施例中不再赘述；

(2)上级数据质量校验系统对统计数据进行记录类的完整性校验，其中，如果统计数据中的每一个取值(即离散字段)或取值区间(即连续字段)不可缺失时，当记录中缺少其中一条或多条记录，则校验结果为统计数据不完整，否则进一步执行(3)中的校验过程；对于统计数据中的离散字段或连续字段可缺失的情况，即不需要进行该记录类的校验，本发明实施例中不再赘述；

(3)上级数据质量校验系统对统计数据进行字段类的完整性校验，其中，如果元数据表中的数据表属性为不可缺失时，而该数据表中没有该字段或者该字段的取值为空(NULL)，则校验结果为统计数据不完整，否则该校验结果为统计数据完整。

可以看出，上述对数据表类进行完整性校验为对所有字段进行校验；对记录类进行完整性校验为对某一区间的字段进行校验；对字段类进行完整性校验为对具体的字段进行校验。

需要说明的是，当来自下级数据质量校验系统的数据(例如，客户投诉信息)并不需要立即进行数据质量校验时(例如，该数据所使用的数据质量校验规则不是数据到达事件的即时触发)，上级数据质量校验系统可以将该统计数据存储到数据库中，在到达对应的触发机制(例如，采用按天周期性触发完整性校验，而到达到触发机制即到达一天后)时，上级数据质量校验系统使用完整性数据校验规则对该数据进行校验。

步骤204，上级数据质量校验系统在校验结果数据库中存储该缺失信息所对应的统计数据，并转到步骤209。

例如，当投诉数据在进行完整性校验，若进行到记录类的完整性校验时校验出统计数据不完整时，该上级数据质量校验系统记录该记录不完整部分所对应的投诉数据，以在后续步骤中要求下级数据质量校验系统重新发送该记录不完整部分所对应的投诉数据，在此不再赘述。

步骤205，上级数据质量校验系统对统计数据进行逻辑性校验，并根据校验结果判断统计数据是否异常，当统计数据异常时，转到步骤206；否则，转到步骤207。

本发明实施例中，根据实际的需要，上级数据质量校验系统可以只校验统计数据是否为造假数据；或只校验统计数据是否统计学异常；或二者均进行校验。在进行校验的过程中，可以只用单一的逻辑性校验规则进行校验，也可以综合考虑各种校验规则以完整最终的逻辑性校验。

例如，在校验统计数据是否为造假数据时，可以只校验统计数据是否为人工填写的造假数据或系统故障引起的造假数据或函数生成器生成的造假数据；也可以依次校验统计数据是否为人工填写的造假数据、是否为系统故障引起的造假数据、是否为函数生成器生成的造假数据，当有其中一个的校验结果为是造假数据时，则该统计数据位造假数据；还可以选取其中任意两种的组合，在此不再赘述。

进一步的，在校验统计数据是否统计学异常时，为了使校验结果更加准确，需要综合考虑根据统计数据的局部平均值和该统计数据的全局平均值对所述统计数据进行指定时间区间内的校验，和根据统计数据的个别取值和该统计数据的局部平均值对所述统计数据进行指定时间区间内的校验两种校验规则，并根据该两种校验规则对统计数据进行校验；当然，根据实际需要也可以任选一种进行校验，在此不再赘述。本发明实施例中，校验统计数据是否异常在上面步骤201中已经详细描述，本步骤中不再赘述。

步骤206，上级数据质量校验系统在校验结果数据库中存储该异常的统计数据，并转到步骤209。

例如，当校验投诉数据是否为造假数据时，获知该投诉数据在同一时间区间内各渠道成功服务人数超过与该渠道接触的总人数，则该投诉数据为人工填写的造假数据，该上级数据质量校验系统记录该人工填写部分的投诉数据，以在后续步骤中要求下级数据质量校验系统重新发送该部分的投诉数据，其中，本发明实施例中可以只记录异常数据，也可以记录异常数据和数据异常的原因(例如，投诉数据为人工填写的造假数据)，在此不再赘述。

步骤207，上级数据质量校验系统进行数据的一致性校验，并根据一致性校验结果判断统计数据是否存在不一致，当存在不一致时，转到步骤208；否则，结束流程。

本发明实施例中，根据实际的需要，上级数据质量校验系统综合考虑日报数据校验、月报数据校验、日报与月报交叉校验等校验规则，从而来校验不同时间接收到的统计数据是否一致。其中，上述一致性的校验规则在步骤201中已经详细描述，在此不再赘述，上级数据质量校验系统可以选取上述3种一致性校验规则的任意一种，也可以选择其中的任意两种，还可以三种均选择。以使用日报与月报交叉的校验规则来校验统计数据为例进行说明，对于下级数据质量校验系统北京通过电话反馈对动感地带包月短信的投诉数据来说，若一个月内日报所有统计数据之和为10000，而月报时对应的统计数据为20000，显然的，该统计数据前后不一致，统计数据有问题，转到步骤208进行后续处理。

本步骤中，当统计数据一致时，则说明该统计数据通过了完整性校验、逻辑性校验和一致性校验，该统计数据位正常的数据，可以使用该统计数据进行相应的处理，例如，当北京的投诉数据正常时，集团公司可以处理该投诉数据，该过程本发明实施例中不再赘述。

步骤208，上级数据质量校验系统在校验结果数据库中存储该不一致的统计数据，并转到步骤209。

例如，当投诉数据在进行日报与月报交叉校验时，获知该投诉数据出现不一致的情况，该上级数据质量校验系统记录该不一致的统计数据，以在后续步骤中要求下级数据质量校验系统重新发送该一致部分的投诉数据。

步骤209，上级数据质量校验系统通知下级数据质量校验系统校验结果。其中，当统计数据出现异常(包括统计数据完整性校验时的异常、统计数据逻辑性校验时的异常、统计数据一致性校验时的异常等)时，上级数据质量校验系统需要通知校验结果。

具体的，上级数据质量校验系统通知校验结果的方式包括但不限于邮件方式、彩信方式、短信方式等。其中，在上级数据质量校验系统中预先存储了需要接收该校验结果的地址信息，上级数据质量校验系统根据该地址信息将校验结果发送至对应的地址。例如，在上级数据质量校验系统中存储上级数据质量校验系统管理终端(管理人员所使用的终端)，和下级数据质量校验系统管理终端的终端号码和电子邮件地址，当采用邮件方式通知校验结果时，上级数据质量校验系统根据管理终端的电子邮件地址发送校验结果，即通过电子邮件地址将校验结果发送给对应的管理终端，由管理终端根据该校验结果进行相应的处理，该处理过程将在下面的步骤中进行详细描述，在此不再赘述。

需要说明的是，该校验结果中可以携带校验的详细信息，也可以携带校验的概要信息；例如，在通过校验字段类是否缺失来对客户投诉信息进行完整性校验时，若对客户投诉信息缺少字段时(例如，客户投诉信息中没有投诉原因的信息)，则上级数据质量校验系统需要向管理终端发送校验结果，该校验结果中可以只携带客户投诉信息中缺少字段的信息，也可以携带客户投诉信息中没有投诉原因字段的信息。本发明实施例中，当在校验结果中携带校验的详细信息时，可以是通过文本文件的方式携带详细信息的，当然，也可以通过其他的方式携带详细信息，例如，通过HTML(HyperText Mark-upLanguage，超文本标记语言)方式，在此不再赘述。

本发明实施例中，需要在上级数据质量校验系统中存储管理终端的地址信息，该管理终端为管理员所使用的终端，该地址信息可以为管理终端的邮件地址、终端号码等。进一步的，当管理终端的地址需要更新时，该管理终端需要向上级数据质量校验系统发送更新消息，由上级数据质量校验系统根据该更新消息更新对于的邮件地址和/或终端号码。进一步的，该上级数据质量校验系统还可以根据实际的需要添加其他管理终端的邮件地址、终端号码等信息；或根据实际的需要删除已有管理终端的邮件地址、终端号码等信息。如表3所示，为一种管理终端和地址信息的对应关系，当然，本发明实施例中，该对应关系并不局限于此，在此不再赘述。

表3

管理终端	邮件地址	终端号码
			管理终端A	aaaaaa.net	11111111111
管理终端B	bbbbbb.net	22222222222

当以邮件地址方式发送校验结果时，上级数据质量校验系统向管理终端A对应的aaaaaa.net发送校验结果，并向管理终端B对应的bbbbbb.net发送校验结果，在此不再赘述。

本发明实施例中，根据实际的需要，当统计数据没有出现异常(即数据完整性校验、逻辑性校验以及一致性校验均没有出现异常)时，上级数据质量校验系统也可以通知管理终端校验结果，该校验结果中携带没有出现异常的信息，在此不再赘述。需要进一步说明的是，统计数据没有出现异常时，上级数据质量校验系统还可以通过报表的方式展示校验结果的概要信息或详细信息，以便于历史校验结果的查询与对帐，并查询详细校验结果，作为修订校验规则的参考依据。

步骤210，下级数据质量校验系统判断异常数据是否为质量问题，当数据是质量问题时，转到步骤211；否则，转到步骤212。其中，

管理终端在获知统计数据出现异常时，实时的通知下级数据质量校验系统，使下级数据质量校验系统获知出现的异常的数据，并对该异常的数据进行判断。当然，根据实际的需要，上级数据质量校验系统也可以直接将校验结果发送给该下级数据质量校验系统，在此不再赘述。

步骤211，下级数据质量校验系统修改并重新上传统计数据，转到步骤203中，重新执行上述的完整性校验、逻辑性校验以及一致性校验过程，其中，下级数据质量校验系统需要根据校验结果分析数据异常的原因，重新获取并上传新的统计数据。例如，当下级数据质量校验系统从校验结果中获知客户投诉信息中缺少字段时，则该下级数据质量校验系统需要检查该客户投诉信息，判断是否缺失字段，当缺失字段时，则对该客户投诉信息进行修改，将缺少的字段部分添加到该客户投诉信息，并将修改后的客户投诉信息重新上传给上级数据质量校验系统；对应的，校验结果中携带客户投诉信息中没有投诉原因的信息时，则该下级数据质量校验系统需要检查该客户投诉信息，判断是否缺失投诉原因的信息，当缺失时，则添加投诉原因的信息，并将修改后的客户投诉信息重新上传给上级数据质量校验系统。

具体的，当该上传的信息为下级数据质量校验系统修改并重新上传的统计数据时，该上级数据质量校验系统可以通过上述步骤203至步骤208的处理流程对该重新上传的统计数据进行校验，或，还可以根据实际的需要对该统计数据进行部分校验，例如，当修改前的统计数据执行到步骤207进行数据一致性校验的时候出现异常时，则上级数据质量校验系统可以只对该重新上传的统计数据进行一致性校验，该校验过程在上面已经介绍，在此不再赘述。

步骤212，下级数据质量校验系统向上级数据质量校验系统发送说明信息，即下级数据质量校验系统说明数据异常的原因。

本步骤中，下级数据质量校验系统确定上传的数据没有出现异常，但接收到了来自上级数据质量校验系统的校验结果(表明该上传的统计数据出现异常)，则该下级数据质量校验系统需要向上级数据质量校验系统解释出现这种现象的原因，当然，根据实际的需要，该下级数据质量校验系统也可以不解释原因，只向上级数据质量校验系统发送统计数据没有异常的信息，在此不再赘述。例如，上级数据质量校验系统收到的日报投诉数据为平均每天100，而收到的月报投诉数据为1000时，上级数据质量校验系统获知日报数据按月汇总后为投诉数据3000，可知，上级数据质量校验系统需要向下级数据质量校验系统发送校验结果，并在校验结果中携带上述问题的原因。下级数据质量校验系统在收到该校验结果时，通过检查自身的数据库，获知自身发生了故障，在本月内有20天并没有上报投诉数据，使得月报投诉数据只能为1000，则该下级数据质量校验系统将该原因发送给上级数据质量校验系统。

需要说明的是，将该说明信息发送给上级数据质量校验系统的方式包括但不限于通过文本文件的方式发送，通过HTML的方式发送等，在此不再详加描述。

步骤213，上级数据质量校验系统判断下级数据质量校验系统上传的说明信息是否合理，当上传的说明信息合理时，则该统计数据通过校验，结束该数据的校验流程。当然，根据实际的需要，说明信息合理时，也可以转到步骤203中，由上级数据质量校验系统综合考虑该说明信息对该统计数据(原有的统计数据)重新执行上述的完整性校验、逻辑性校验以及一致性校验过程，或，还可以对该统计数据进行部分校验，例如，当修改前的统计数据执行到步骤207进行数据一致性校验的时候出现异常时，则上级数据质量校验系统通过综合考虑该说明信息对该统计数据进行一致性校验，该校验过程在上面已经介绍，在此不再赘述。当该上传的信息不合理时，则转到步骤211，由下级数据质量校验系统修改并重新上传统计数据，其中，上级数据质量校验系统可以通过校验结果的方式通知下级数据质量校验系统该上传信息不合理，并在该校验结果中携带上传信息不合理的原因，并要求下级数据质量校验系统修改并重新上传统计数据，在此不再赘述。

其中，本发明方法可以根据实际需要对各个步骤顺序进行调整。

可见，通过使用本发明提供的方法，可以对数据(例如，客户服务数据)的质量进行全面、深入的校验，从数据的及时性、完整性、准确性三个方面建立服务数据质量的校验体系；本发明实施例确保了上级数据质量校验系统可以及时、完整、准确的集中最为关键的数据，为服务质量提升决策制定和服务质量考核提供了重要的依据，并能将上级数据质量校验系统汇总的全局数据及时、完整、准确的下发至下级数据质量校验系统，以便于下级数据质量校验系统分析自身的服务量和服务质量在全网所处的水平和位置；进一步的，本发明实施例的校验结果反馈和分发准确、高效，通过采用存储过程循环校验和事件触发校验相结合的反馈机制，由上级数据质量校验系统自动收集、整理和分发校验结果，无需人工干预，效率高。同时可配置电子邮件、彩信、短信等分发渠道，确保反馈信息能快速到达下级数据质量校验系统。

本发明实施例提供的方法适用于任意分级的客户服务的数据质量控制与管理的系统中，通过建立数据质量校验模型，对下级客户服务系统上传到上级客户服务系统的统计数据进行自动质量校验和评估，校验的粒度更细，从数据的及时性、完整性以及数据内部进行准确性的校验，并将校验结果以邮件、彩信、短信等方式及时通知相关人员，以及时发现并解决数据质量问题，确保数据质量全面、真实和准确。

本发明实施例还提出了一种数据自动校验系统，该数据校验系统包括上级数据质量校验系统和下级数据质量校验系统，该上级数据质量校验系统和下级数据质量校验系统为相同的系统，具有相同的功能模块，以上级数据质量校验系统为例进行说明，如图3所示，包括：配置管理模块31、数据校验模块32和校验结果发布模块33(其中，该配置管理模块31、数据校验模块32和校验结果发布模块33也可以作为单独的装置集成在数据质量校验系统中，在此不再赘述)；其中，该上级数据质量校验系统中还包括数据校验操作界面、各种数据库(例如，规则配置库、调度控制库、彩信接收号码库、彩信分发控制库、投诉受理数据库、业务咨询数据库、业务查询数据库、业务办理数据库、客服运营管理数据库、校验结果库等)、各种外部接口(例如，与经营分析系统连接的外部接口、与邮件网关、彩信网关以及短信网关连接的外部接口、与BOSS连接的外部接口)等。

该配置管理模块31用于对预设的统计数据的校验规则进行统一管理，该统计数据的校验规则包括完整性校验规则、逻辑性校验规则和一致性校验规则；该配置管理模块31进一步包括校验规则配置单元311、校验规则检查单元312、校验调度控制单元313和号簿管理功能单元314；其中，

该校验规则配置单元311用于导入初始的统计数据的校验规则，其中，需要将初始的数据校验规则存储到规则配置库中；随着样本数据的增加和业务发展需要，可对规则中涉及的可调参数进行重新设置。

具体的，该导入的完整性校验规则包括通过校验数据表类、记录类、字段类是否有缺失，从而逐层深入校验统计数据的完整性，即首先校验统计数据的数据表类信息是否有缺失，当数据表类信息有缺失时，则证明数据不完整；否则，进一步校验数据的记录类信息是否有缺失，当记录类信息有缺失时，则证明数据不完整；否则，进一步校验数据的字段类信息是否有缺失，当字段类信息有缺失时，则证明数据不完整，否则，数据完整。

该导入的该逻辑性校验规则包括校验统计数据是否为造假数据；校验统计数据是否统计学异常。其中，造假数据包括但不限于：人工填写的造假数据；系统故障引起的造假数据；函数生成器生成的造假数据。校验统计数据是否统计学异常包括但不限于上级数据质量校验系统根据统计数据的局部平均值和该统计数据的全局平均值对所述统计数据进行指定时间区间内的校验；上级数据质量校验系统根据统计数据的个别取值和该统计数据的局部平均值对所述统计数据进行指定时间区间内的校验。

该导入的一致性校验规则具体包括通过进行日报数据校验、月报数据校验、日报与月报交叉校验等，来校验不同时间接收到的统计数据是否一致。其中，该日报与月报交叉校验具体包括：对于同一地区、同一受理渠道、同一品牌类型、同一业务类型，当一个月内日报所有统计数据之和与月报对应的统计数据不相等，则统计数据不一致，否则，统计数据一致。该月报校验或日报校验具体包括：A，总体统计数据表(简称总表)中特定字段的统计数据值不等于各个子表中对应字段的统计数据之和时，则月报之间存在数据不一致，否则，月报之间数据一致；B，总表中特定字段的统计数据值不等于各个子表中对应字段的统计数据值时，则月报之间存在数据不一致，否则，月报之间数据一致；对于日报数据和月报数据，还可以对日报业务量和/或月报业务量进行数据一致性校验，即校验某地区某类业务构成的各子类所占比重与全网平均所占比重之间的关系，当差异量超过预设数值时，则该类业务的统计数据存在不一致。

该校验规则检查单元312用于对规则中涉及的数据表、记录、字段等进行有效性检查；对于同一种形式的规则，检查是否存在互斥的规则，即同种前提推导出多种结论。其中，当检查通过后，需要更新规则配置库中所配置的规则。

该校验调度控制单元313用于根据数据校验要求，配置每一个校验规则的触发机制，包括但不限于按小时周期性触发、按天周期性触发、按周周期性触发、按月周期性触发、数据到达事件的即时触发等。

该号簿管理功能单元314用于配置上级数据质量校验系统和下级数据质量校验系统的相关人员的手机号码和电子邮件地址，以便以邮件方式、或彩信方式、或短信方式接收相应的数据质量校验结果。其中，上述的信息是存储在彩信接收号码库中的。

该数据校验模块32用于根据预先设定的校验规则和调度规则，自动触发数据校验操作。该数据校验模块32进一步包括：

数据提取单元321，用于从数据库中提取待校验的目标数据(即来自下级数据质量校验系统的统计数据，例如，投诉数据)。

数据处理单元322，用于对目标数据进行完整性校验，具体为检查统计数据的数据表类信息是否完整，当数据表类信息不完整时，所述统计数据不完整；否则，进一步检查统计数据的记录类信息是否完整，当记录类信息不完整时，所述统计数据不完整；否则，进一步校验统计数据的字段类信息是否完整，当字段类信息不完整时，所述统计数据不完整，否则，所述统计数据完整。

数据切分单元323，用于对目标数据进行合理性校验，具体为对统计数据进行逻辑性检查；和/或，对统计数据进行一致性检查。对统计数据进行逻辑性检查具体为检查统计数据是否为造假数据、检查统计数据是否为统计学异常数据。对统计数据进行一致性检查具体为对统计数据进行日报与月报的交叉一致性检查；对统计数据进行日报的一致性检查；对统计数据进行月报的一致性检查；对统计数据进行日报业务量的一致性检查；对统计数据进行月报业务量的一致性检查等。

数据更新单元324，用于将下级数据质量校验系统反馈的修改后统计数据写入到上级数据质量校验系统中，并覆盖原数据，并记录数据的更新日志。

校验结果发布模块33用于将校验结果以报表展示，并通过邮件方式、彩信方式、短信方式等多种方式，将校验结果呈现给各业务相关人员，以便及时发现并解决数据质量问题。该校验结果发布模块33进一步包括：

报表查询与分析单元331，用于提供校验结果信息的报表展示功能，以便于历史校验结果的查询与对帐，并查询详细校验结果，作为修订校验规则的参考依据。

校验结果通知单元332，用于通过邮件方式、彩信方式、短信方式等方式将校验结果通知给下级数据质量校验系统的相关人员，该校验结果是以文本文件的方式携带的。

其中，本发明装置的各个模块和单元可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个单元；上述单元可以合并为一个模块，也可以进一步拆分成多个子单元。

本发明实施例还提出的一种用于不同等级间数据质量校验系统中的数据自动校验设备，由于该数据自动校验设备用于不同等级间的数据质量校验，该数据自动校验设备在数据自动校验系统可以为上级数据质量校验装置，也可以为下级数据质量校验装置，如图4所示，该数据自动校验设备包括：

收发模块41，用于接收来自下级数据质量校验系统的统计数据。

检查模块42，用于对所述收发模块41接收的统计数据进行完整性检查，并在完整性检查结果为统计数据完整时，对所述收发模块41接收的统计数据进行合理性检查。

其中，当接收到来自下级数据质量校验系统的统计数据时，所述检查模块42检查统计数据的数据表类信息是否完整，当数据表类信息不完整时，所述统计数据不完整；否则，进一步检查统计数据的记录类信息是否完整，当记录类信息不完整时，所述统计数据不完整；否则，进一步校验统计数据的字段类信息是否完整，当字段类信息不完整时，所述统计数据不完整，否则，所述统计数据完整。

进一步的，当统计数据完整时，对所述统计数据进行逻辑性检查；和/或，对所述统计数据进行一致性检查。

具体的，检查模块42检查所述统计数据是否为造假数据；和/或，检查所述统计数据是否为统计学异常数据；检查所述统计数据是否为造假数据具体为：检查所述统计数据是否为人工填写的造假数据；检查所述统计数据是否为系统故障引起的造假数据；检查所述统计数据是否为函数生成器生成的造假数据；检查所述统计数据是否为统计学异常数据具体为：根据统计数据的局部平均值和该统计数据的全局平均值检查所述统计数据是否为统计学异常数据；根据统计数据的个别取值和该统计数据的局部平均值检查所述统计数据是否为统计学异常数据。

进一步的，检查模块42还需要对所述统计数据进行日报与月报的交叉一致性检查；对所述统计数据进行日报的一致性检查；对所述统计数据进行月报的一致性检查；对所述统计数据进行日报业务量的一致性检查；对所述统计数据进行月报业务量的一致性检查；对所述统计数据进行日报与月报的交叉一致性检查具体包括：检查同一地区、同一受理渠道、同一品牌类型、同一业务类型，一个月内日报所有统计数据之和与月报对应的统计数据是否相同；对所述统计数据进行日报的一致性检查和对所述统计数据进行月报的一致性检查具体包括：检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据之和是否相同；检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据值是否相同；对所述统计数据进行日报业务量的一致性检查和对所述统计数据进行月报业务量的一致性检查具体包括：检查某地区某类业务构成的各子类所占比重与全网平均所占比重之间的关系。

进一步的，收发模块41还用于当完整性检查结果为统计数据不完整时，或所述完整性检查结果为统计数据完整但合理性检查结果为统计数据不合理时，向所述下级数据质量校验系统发送校验结果，所述校验结果中携带所述统计数据异常的信息。

其中，该收发模块41可以根据预先存储的地址信息将所述校验结果发送给对应的管理终端，由所述管理终端将所述校验结果发送给所述下级数据质量校验系统。

处理模块43，用于当所述检查模块42合理性检查结果为统计数据合理时，确定所述统计数据为正常数据。

本发明实施例中，当该数据自动校验设备作为下级数据质量校验装置使用时(上述的功能均是作为上级数据质量校验装置使用时的功能)，该处理模块43还用于根据来自所述上级数据质量校验装置的校验结果判断所述统计数据是否异常；当所述统计数据异常时，修改所述统计数据，并将修改后的统计数据重新上传给所述上级数据质量校验装置；当所述统计数据没有异常时，向所述上级数据质量校验装置发送统计数据没有异常的说明信息。

其中，本发明装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。

可见，通过使用本发明提供的装置，可以对数据的质量进行全面、深入的校验，从数据的及时性、完整性、准确性三个方面建立客户服务数据质量的校验体系；本发明实施例确保了上级数据质量校验系统可以及时、完整、准确的集中最为关键的数据，为服务质量提升决策制定和服务质量考核提供了重要的依据，并能将上级数据质量校验系统汇总的全局数据及时、完整、准确的下发至下级数据质量校验系统，以便于下级数据质量校验系统分析自身的服务量和服务质量在全网所处的水平和位置；进一步的，本发明实施例的校验结果反馈和分发准确、高效，通过采用存储过程循环校验和事件触发校验相结合的反馈机制，由上级数据质量校验系统自动收集、整理和分发校验结果，无需人工干预，效率高。同时可配置电子邮件、彩信、短信等分发渠道，确保反馈信息能快速到达下级数据质量校验系统。

本发明实施例提供的装置适用于任意分级的客户服务的数据质量控制与管理的系统中，通过建立数据质量校验模型，对下级客户服务系统上传到上级客户服务系统的统计数据进行自动质量校验和评估，校验的粒度更细，从数据的及时性、完整性以及数据内部进行准确性的校验，并将校验结果以邮件、彩信、短信等方式及时通知相关人员，以及时发现并解决数据质量问题，确保数据质量全面、真实和准确。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以可借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (17)

1.一种数据自动校验方法，应用于由不同等级数据质量校验系统组成的系统中，其特征在于，包括以下步骤：

上级数据质量校验系统接收来自下级数据质量校验系统的统计数据；

所述上级数据质量校验系统对所述统计数据进行完整性检查；

当完整性检查结果为统计数据完整时，所述上级数据质量校验系统对所述统计数据进行合理性检查；其中，所述上级数据质量校验系统对所述统计数据进行合理性检查包括：所述上级数据质量校验系统对所述统计数据进行逻辑性检查；和/或，对所述统计数据进行一致性检查；

当合理性检查结果为统计数据合理时，所述上级数据质量校验系统确定所述统计数据为正常数据；

其中，所述方法还包括：当完整性检查结果为统计数据不完整时，或所述完整性检查结果为统计数据完整但合理性检查结果为统计数据不合理时，所述上级数据质量校验系统向所述下级数据质量校验系统发送校验结果，所述校验结果中携带所述统计数据异常的信息。

2.如权利要求1所述的方法，其特征在于，所述上级数据质量校验系统对所述统计数据进行完整性检查包括：

检查统计数据的数据表类信息是否完整，当数据表类信息不完整时，所述统计数据不完整；否则，进一步检查统计数据的记录类信息是否完整，当记录类信息不完整时，所述统计数据不完整；否则，进一步校验统计数据的字段类信息是否完整，当字段类信息不完整时，所述统计数据不完整，否则，所述统计数据完整。

3.如权利要求1所述的方法，其特征在于，所述上级数据质量校验系统对所述统计数据进行逻辑性检查具体包括：

所述上级数据质量校验系统检查所述统计数据是否为造假数据；和/或检查所述统计数据是否为统计学异常数据。

4.如权利要求3所述的方法，其特征在于，检查所述统计数据是否为造假数据包括以下内容中的一种或几种：检查所述统计数据是否为人工填写的造假数据；检查所述统计数据是否为系统故障引起的造假数据；检查所述统计数据是否为函数生成器生成的造假数据；

检查所述统计数据是否为统计学异常数据包括：根据统计数据的局部平均值和该统计数据的全局平均值检查所述统计数据是否为统计学异常数据；和/或，根据统计数据的个别取值和该统计数据的局部平均值检查所述统计数据是否为统计学异常数据。

5.如权利要求1所述的方法，其特征在于，对所述统计数据进行一致性检查具体包括以下内容中的一种或几种：

对所述统计数据进行日报与月报的交叉一致性检查；对所述统计数据进行日报的一致性检查；对所述统计数据进行月报的一致性检查；对所述统计数据进行日报业务量的一致性检查；对所述统计数据进行月报业务量的一致性检查。

6.如权利要求5所述的方法，其特征在于，对所述统计数据进行日报与月报的交叉一致性检查具体包括：检查同一地区、同一受理渠道、同一品牌类型、同一业务类型，一个月内日报所有统计数据之和与月报对应的统计数据是否相同；

对所述统计数据进行日报或月报的一致性检查具体包括：检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据之和是否相同；和/或，检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据值是否相同；

对所述统计数据进行日报业务量或月报业务量的一致性检查具体包括：检查某地区某类业务构成的各子类所占比重与全网平均所占比重之间的关系。

7.如权利要求1所述的方法，其特征在于，所述上级数据质量校验系统向所述下级数据质量校验系统发送校验结果之后，还包括：

所述下级数据质量校验系统根据所述校验结果判断所述统计数据是否异常；

当所述统计数据异常时，所述下级数据质量校验系统修改所述统计数据，并将修改后的统计数据重新上传给所述上级数据质量校验系统；

当所述统计数据没有异常时，所述下级数据质量校验系统向所述上级数据质量校验系统发送统计数据没有异常的说明信息。

8.如权利要求1所述的方法，其特征在于，所述上级数据质量校验系统向所述下级数据质量校验系统发送校验结果具体包括：

所述上级数据质量校验系统根据预先存储的地址信息将所述校验结果发送给对应的管理终端；

所述管理终端将所述校验结果发送给所述下级数据质量校验系统。

9.一种数据自动校验系统，其特征在于，该数据校验系统包括上级数据质量校验系统和下级数据质量校验系统，所述上级数据质量校验系统或下级数据质量校验系统包括：配置管理模块、数据校验模块和校验结果发布模块；其中，

所述配置管理模块，用于对预设的统计数据的校验规则进行统一管理，所述统计数据的校验规则包括完整性校验规则、逻辑性校验规则和一致性校验规则；

所述数据校验模块，用于根据预先设定的校验规则和调度规则，触发统计数据的校验操作；其中，所述调度规则具体为：对所述统计数据进行完整性检查；当完整性检查结果为统计数据完整时，对所述统计数据进行逻辑性检查，和/或，对所述统计数据进行一致性检查；

所述校验结果发布模块，用于将校验结果以报表展示，并将校验结果发送给下级数据质量校验系统，以解决数据质量问题。

10.如权利要求9所述的系统，其特征在于，所述配置管理模块包括：

校验规则配置单元，用于导入初始的统计数据的校验规则；

校验规则检查单元，用于对所述校验规则配置单元导入的校验规则中涉及的数据表、记录、字段进行有效性检查；

校验调度控制单元，用于为所述校验规则配置单元导入的校验规则配置对应的触发机制；

号簿管理功能单元，用于配置上级数据质量校验系统和下级数据质量校验系统所需要的终端号码信息和电子邮件地址信息。

11.如权利要求9所述的系统，其特征在于，所述数据校验模块包括：

数据提取单元，用于从数据库中提取待校验的统计数据；

数据处理单元，用于对所述统计数据进行完整性校验；

数据切分单元，用于对所述统计数据进行逻辑性校验和一致性校验；

数据更新单元，用于将下级数据质量校验系统修改后统计数据写入到上级数据质量校验系统中，并覆盖原数据。

12.如权利要求9所述的系统，其特征在于，所述校验结果发布模块包括：

报表查询与分析单元，用于提供校验结果信息的报表展示，以进行历史校验结果的查询与对帐；

校验结果通知单元，用于通过邮件方式、彩信方式、或短信方式将校验结果通知给下级数据质量校验系统。

13.一种数据自动校验设备，其特征在于，包括：

收发模块，用于接收来自下级数据质量校验系统的统计数据；

检查模块，用于对所述收发模块接收的统计数据进行完整性检查；并在完整性检查结果为统计数据完整时，对所述统计数据进行合理性检查；其中，所述检查模块对所述统计数据进行合理性检查，具体为：对所述统计数据进行逻辑性检查；和/或，对所述统计数据进行一致性检查；

处理模块，用于当所述检查模块合理性检查结果为统计数据合理时，确定所述统计数据为正常数据；

其中，所述收发模块还用于：当完整性检查结果为统计数据不完整时，或所述完整性检查结果为统计数据完整但合理性检查结果为统计数据不合理时，向所述下级数据质量校验系统发送校验结果，所述校验结果中携带所述统计数据异常的信息。

14.如权利要求13所述的设备，其特征在于，所述检查模块对所述收发模块接收的统计数据进行完整性检查，具体为：

检查统计数据的数据表类信息是否完整，当数据表类信息不完整时，所述统计数据不完整；否则，进一步检查统计数据的记录类信息是否完整，当记录类信息不完整时，所述统计数据不完整；否则，进一步校验统计数据的字段类信息是否完整，当字段类信息不完整时，所述统计数据不完整，否则，所述统计数据完整。

15.如权利要求13所述的设备，其特征在于，所述检查模块对所述统计数据进行逻辑性检查，具体为：

检查所述统计数据是否为造假数据；和/或，检查所述统计数据是否为统计学异常数据；具体用于：

检查所述统计数据是否为人工填写的造假数据；检查所述统计数据是否为系统故障引起的造假数据；检查所述统计数据是否为函数生成器生成的造假数据；

根据统计数据的局部平均值和该统计数据的全局平均值检查所述统计数据是否为统计学异常数据；根据统计数据的个别取值和该统计数据的局部平均值检查所述统计数据是否为统计学异常数据。

16.如权利要求13所述的设备，其特征在于，所述检查模块对所述统计数据进行一致性检查，具体为：

对所述统计数据进行日报与月报的交叉一致性检查；对所述统计数据进行日报的一致性检查；对所述统计数据进行月报的一致性检查；对所述统计数据进行日报业务量的一致性检查；对所述统计数据进行月报业务量的一致性检查；具体用于：

对所述统计数据进行日报与月报的交叉一致性检查具体包括：检查同一地区、同一受理渠道、同一品牌类型、同一业务类型，一个月内日报所有统计数据之和与月报对应的统计数据是否相同；

检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据之和是否相同；

检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据值是否相同；

检查某地区某类业务构成的各子类所占比重与全网平均所占比重之间的关系。

17.如权利要求13所述的设备，其特征在于，所述收发模块具体用于：

根据预先存储的地址信息将所述校验结果发送给对应的管理终端，由所述管理终端将所述校验结果发送给所述下级数据质量校验系统。

Images