CN108280151A - 一种监控数据清洗质量的方法及系统 - Google Patents

Abstract

本发明公开了一种监控数据清洗质量的方法，所述数据基于订单生成，所述方法包括以下步骤：S10：基于已清洗的所述数据还原订单信息；S20：基于所述订单信息统计订单指标；S30：基于所述订单指标生成订单报表；S40：基于所述订单报表监控所述数据清洗质量。所述订单指标包括商户信息、订单总量、总人数、用户覆盖度、逾期率、首逾订单数、首逾M1订单数、M1、M2、M3、每日订单增量、每日订单人数增量、日新增用户量、周新增用户量、月新增用户量的至少其中之一。此外，还公开了相应的系统。本发明能有效监控数据尤其是底层交易支付数据的清洗质量，以利于对清洗质量异常的数据尤其是底层交易支付数据及时采取对应措施。

Description

一种监控数据清洗质量的方法及系统

技术领域

本发明涉及一种监控数据质量的方法及系统，尤其涉及一种监控数据清洗质量的方法及系统。

背景技术

信用卡携带方便，使用便捷，又有一定的透支额度，一直是公众喜爱的传统银行产品之一，而第三方支付兴起后，两者所代表的传统银行业和互联网金融业之间竞争激烈。不过，随着时间的推进，这两款金融产品在某些方面却在慢慢融合。

随着互联网金融的快速发展，各家银行都在不断加快在互联网金融上的布局，而支撑这个互联网金融运转的一定是征信系统，利用互联网大数据、云计算等技术，多维度地给用户进行评级，包括更多的银行会依托大数据征信和自己传统累积的数据源做交叉验证风控。

这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突等问题，数据清洗是对数据进行重新审查和校验的过程，数据清洗的任务是过滤不符合要求的数据，删除重复信息、纠正存在的错误，并提供数据一致性。对第三方支付而言，大数据征信首先需要对底层交易支付数据进行清洗，以还原出准确的订单信息，而底层交易支付数据清洗的质量对还原出的订单信息的准确性有很大的影响。

因此，如何有效监控底层交易支付数据的清洗质量，以对清洗质量异常的底层交易支付数据及时采取对应措施，成为一个函待解决的关键问题。

发明内容

针对目前存在的问题，本发明提供了一种监控数据清洗质量的方法及系统，其能有效监控数据尤其是底层交易支付数据的清洗质量，以利于对清洗质量异常的数据尤其是底层交易支付数据及时采取对应措施。

本发明第一个方面提供了一种监控数据清洗质量的方法，所述数据基于订单生成，所述方法包括以下步骤：

S10：基于已清洗的所述数据还原订单信息；

S20：基于所述订单信息统计订单指标；

S30：基于所述订单指标生成订单报表；

S40：基于所述订单报表监控所述数据清洗质量。

本发明所述的监控数据清洗质量的方法，其利用所述已清洗的所述数据与订单信息的内在关系还原订单信息，并基于还原的订单信息统计订单指标，该订单指标以订单报表的形式展示给决策者，决策者基于订单报表监控所述数据清洗质量。该方法将已清洗的所述数据转化为相应的订单指标，而订单指标从大数据统计上是符合一定的统计规律的，因此可以根据订单指标偏离统计规律的程度判断订单指标是否出现异常，而订单指标出现异常通常是清洗质量的不合格所导致的，从而可以通过监测所述订单指标的异常监测所述数据的清洗质量。

因此，本发明方法能有效监控数据的清洗质量，以利于对清洗质量异常的数据及时采取对应措施。

进一步地，本发明所述的监控数据清洗质量的方法中，所述数据包括底层交易支付数据。

上述方案中，所述订单通常通过第三方支付平台处理并在第三方支付平台中生成相应的底层交易支付数据。

进一步地，本发明所述的监控数据清洗质量的方法的步骤S20中，所述订单指标包括多个字段，所述字段包括：商户信息、订单总量、总人数、用户覆盖度、逾期率、首逾订单数、首逾M1订单数、M1、M2、M3、每日订单增量、每日订单人数增量、日新增用户量、周新增用户量、月新增用户量的至少其中之一。

上述方案中：

所述商户信息通常包括商户名称、商户规模、商户成立时间等信息。

所述用户覆盖度是指计入统计的用户数占全体用户数的比例。

所述逾期率即逾期贷款率，是指逾期贷款占全部贷款的比例。

所述首逾订单数是指第一次逾期未还款的订单数量。

所述首逾M1订单数是指第一次逾期在M1时段未还款的订单数量。

所述M1是指M1时段，是M0时段的延续，所述M0时段是最后缴款日的第二天到下一个账单日；所述M1时段是在未还款的第二个账单日到第二次账单的最后缴款日之间。所述M2是指M2时段，是M1的延续，即在未还款的第三个账单日到第三次账单的最后缴款日之间。所述M3是指M3时段，是M2的延续，即在未还款的第四个账单日到第四次账单的最后缴款日之间。

进一步地，本发明所述的监控数据清洗质量的方法的步骤S30中，所述订单报表包括不定时清洗监控报告、定时清洗监控报告，所述不定时清洗监控报告优选为可以查看任意时间的清洗数据，所述定时清洗监控报告包括日报表、周报表、月报表的至少其中之一。

上述方案中，发明人设计对应的报表监控体系，从不同维度和指标层面监控数据清洗的质量。其中，通常所有报表可以选择所关注的订单指标、时间段和商户。

进一步地，本发明所述的监控数据清洗质量的方法的步骤S40中，还通过BI系统调用所述订单报表，以基于所述订单报表监控所述数据清洗质量。

上述方案中，BI是商业智能(Business Intelligence)的英文缩写。目前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。商务智能系统中的数据来自企业其他业务系统。发明人利用BI系统调用所述订单报表，从而有助于对数据清洗质量的精准判断。

更进一步地，上述监控数据清洗质量的方法的步骤S40中，所述订单报表的更新方式为t+1更新。

上述方案中，所述t+1更新是指延迟一个时间段更新，例如1天。

更进一步地，上述监控数据清洗质量的方法的步骤S40中，所述订单报表以图表形式展示。

上述方案中，所述图表展示有利于数据清洗质量的判断。

进一步地，本发明所述的监控数据清洗质量的方法的步骤S40中，根据所述订单报表中订单指标与其统计均值的差异程度判断所述数据清洗质量。

更进一步地，上述监控数据清洗质量的方法的步骤S40中，所述统计均值的统计来源范围为相应的商户数据。

上述方案中，所述商户通常具有自己个性的行为特征，因此可以以商户为单位作为统计来源范围。

更进一步地，上述监控数据清洗质量的方法的步骤S40中，所述统计均值的统计时间范围为预设的动态时间窗口。

上述方案中，通过动态时间窗口排除较老的数据，以适应目前的行为规律。

更进一步地，上述监控数据清洗质量的方法的步骤S40中，所述差异程度为20％以上、优选为10％以上、更有选为5％以上判断为清洗质量异常。

本发明的一种优选实施例中，所述监控数据清洗质量的包括：

S10：基于已清洗的所述数据还原订单信息；

S20：基于所述订单信息统计订单指标；

S30：基于所述订单指标生成订单报表；

S40：基于所述订单报表监控所述数据清洗质量；如果发现清洗结果不符合预期，则生成重新进行数据清洗的指令；如果清洗结果符合预期，则发送给BI系统。

本发明的一种优选实施例中，所述监控数据清洗质量的包括：

S10：基于已清洗的所述数据还原订单信息；

S20：基于所述订单信息统计订单指标；

S30：基于所述订单指标生成订单报表；

S40：基于所述订单报表监控所述数据清洗质量；如果发现清洗结果不符合预期，则生成重新进行数据清洗的指令；如果清洗结果符合预期，则发送给BI系统；通过BI系统进一步判断清洗质量，如果判断清洗结果不符合预期，则生成重新进行数据清洗的指令。

其中，所述清洗结果是否符合预期的判断方法为：

预设一个或多个字段的清洗预期值、以及清洗结果偏差阈值；

将清洗结果与所述清洗预期值进行对比，判断是否在阈值范围内，如果超出阈值范围，则判断为清洗结果异常；

其中，所述清洗结果偏差＝(清洗预期值-清洗结果)/清洗预期值；

和/或，所述清洗结果是否符合预期的判断方法为：

预设一个或多个字段的清洗预期值，

如果清洗结果与所述清洗预期值正负相反，则判断为清洗结果异常。

其中，所述预期值可以是选自该领域内用户的通常数据范围、或通常数据值(如平均数值)，也可以是选自部分用户历史清洗数据统计得出的正常范围或正常值(如平均值)。

所述平均数值可以是数均平均和/或几何平均。

本发明第二个方面提供了一种监控数据清洗质量的系统，所述数据基于订单生成，其中，所述系统执行上述任一方法的步骤，所述系统包括订单还原模块、指标统计模块、报表生成模块、质量监控模块，其中：

所述订单还原模块执行步骤S10；

所述指标统计模块执行步骤S20；

所述报表生成模块执行步骤S30；

所述质量监控模块执行步骤S40。

本发明所述的监控数据清洗质量的系统中，所述模块可以是运行在计算机上的程序模块。

进一步地，本发明所述的监控数据清洗质量的系统中，所述质量监控模块包括BI系统。

本发明所述的监控数据清洗质量的方法及系统，其具有以下优点和有益效果：

1)能有效监控数据尤其是底层交易支付数据的清洗质量，保证生产环境数据的准确性。

2)有利于对清洗质量异常的数据尤其是底层交易支付数据及时采取对应措施。

3)有利于还原出准确的订单信息。

附图说明

图1为本发明所述的监控数据清洗质量的方法的基本流程示意图。

图2为本发明的实施例1的监控数据清洗质量的系统的结构示意图。

图3为本发明的实施例2的监控数据清洗质量的方法的流程示意图。

图4为本发明的实施例3的监控数据清洗质量的方法的流程示意图。

图5为本发明的实施例4的监控数据清洗质量的方法的流程示意图。

图6为本发明的实施例5的监控数据清洗质量的方法的流程示意图。

图7为本发明的实施例6的监控数据清洗质量的方法的流程示意图。

具体实施方式

下面结合说明书附图及实施例进一步说明本发明所述的技术方案。

图1示意了本发明所述的监控数据清洗质量的方法的基本流程。图2示意了本发明实施例1的监控数据清洗质量的系统的结构。图3-图5分别示意了本发明实施例2-实施例4的监控数据清洗质量的方法的流程。

如图1所示，本发明所述的监控数据清洗质量的方法用于监控底层交易支付数据的清洗质量，其包括以下步骤：

S10：基于已清洗的数据还原订单信息；

S20：基于订单信息统计订单指标；

S30：基于订单指标生成订单报表；

S40：基于订单报表监控数据清洗质量。

在某些实施方式中，步骤S20中，订单指标包括商户信息、订单总量、总人数、用户覆盖度、逾期率、首逾订单数、首逾M1订单数、M1、M2、M3、每日订单增量、每日订单人数增量、日新增用户量、周新增用户量、月新增用户量的至少其中之一。

在某些实施方式中，步骤S30中，订单报表包括总报表、日报表、周报表、月报表的至少其中之一。其中，所有报表可以选择所关注的订单指标、时间段和商户。

在某些实施方式中，步骤S40中，通过BI系统调用订单报表，以基于订单报表监控数据清洗质量。其中，订单报表的更新方式为以天为单位t+1更新，订单报表以图表形式展示。

在某些实施方式中，步骤S40中，根据订单报表中订单指标与其统计均值的差异程度判断数据清洗质量。其中，统计均值的统计来源范围为相应的商户数据，统计均值的统计时间范围为预设的动态时间窗口，差异程度为20％以上判断为清洗质量异常。

实施例1

如图2所示，本实施例的监控数据清洗质量的系统的结构包括调用连接的订单还原模块1、指标统计模块2、报表生成模块3、质量监控模块4。其中订单还原模块1执行步骤S10；指标统计模块2执行步骤S20；报表生成模块3执行步骤S30；质量监控模块4执行步骤S40。上述模块是运行在计算机上的程序。

实施例2

如图3所示，本实施例的监控数据清洗质量的方法的流程基于实施例1的系统实现，包括以下步骤：

步骤1：订单还原模块1基于已清洗的底层交易支付数据还原订单信息。

步骤2：指标统计模块2基于订单信息统计订单指标。其中：

订单指标包括商户信息、订单总量、总人数、逾期率、每日订单增量、每日订单人数增量、日新增用户量、周新增用户量、月新增用户量。

步骤3：报表生成模块3基于订单指标生成订单报表。其中：

订单报表包括总报表、日报表、周报表、月报表。其中，所有报表可以选择所关注的订单指标、时间段和商户。

步骤4：质量监控模块4基于订单报表监控底层交易支付数据清洗质量。其中：

根据订单报表中订单指标与其统计均值的差异程度判断底层交易支付数据清洗质量。统计均值的统计来源范围为相应的商户数据，统计均值的统计时间范围为预设的动态时间窗口，差异程度为20％以上判断为清洗质量异常。

实施例3

如图4所示，本实施例的监控数据清洗质量的方法的流程基于实施例1的系统实现，包括以下步骤：

步骤1：订单还原模块1基于已清洗的底层交易支付数据还原订单信息。

步骤2：指标统计模块2基于订单信息统计订单指标。其中：

订单指标包括商户信息、订单总量、总人数、用户覆盖度、逾期率、首逾订单数、首逾M1订单数、M1、M2、M3、每日订单增量、每日订单人数增量、日新增用户量、周新增用户量、月新增用户量。

步骤3：报表生成模块3基于订单指标生成订单报表。其中：

订单报表包括总报表、日报表、周报表、月报表。其中，所有报表可以选择所关注的订单指标、时间段和商户。

步骤4：质量监控模块4基于订单报表监控底层交易支付数据清洗质量。其中：

根据订单报表中订单指标与其统计均值的差异程度判断底层交易支付数据清洗质量。统计均值的统计来源范围为相应的商户数据，统计均值的统计时间范围为预设的动态时间窗口，差异程度为20％以上判断为清洗质量异常。

实施例4

如图5所示，本实施例的监控数据清洗质量的方法的流程基于实施例1的系统实现，包括以下步骤：

步骤1：订单还原模块1基于已清洗的底层交易支付数据还原订单信息。

步骤2：指标统计模块2基于订单信息统计订单指标。其中：

订单指标包括商户信息、订单总量、总人数、用户覆盖度、逾期率、首逾订单数、首逾M1订单数、M1、M2、M3、每日订单增量、每日订单人数增量、日新增用户量、周新增用户量、月新增用户量。

步骤3：报表生成模块3基于订单指标生成订单报表。其中：

订单报表包括总报表、日报表、周报表、月报表。其中，所有报表可以选择所关注的订单指标、时间段和商户。

步骤4：通过BI系统调用订单报表，以基于订单报表监控底层交易支付数据清洗质量。其中：

订单报表的更新方式为以天为单位t+1更新，订单报表以图表形式展示。其中，根据订单报表中订单指标与其统计均值的差异程度判断底层交易支付数据清洗质量。统计均值的统计来源范围为相应的商户数据，统计均值的统计时间范围为预设的动态时间窗口，差异程度为20％以上判断为清洗质量异常。

实施例5

采集本领域用户通常数据，对用户逾期率、首逾订单数(或首逾订单率)、首逾M1订单数、M1、M2、M3、每日订单增量、每日订单人数增量、日新增用户量、周新增用户量、月新增用户量进行统计分析，获得通常数值。

接收来自一个数据端的所有用户数据流量进行清洗。

本实施例中，参照图6，对清洗结果监控方法如下：

S10基于已清洗的所述数据还原订单信息；

S20：基于所述订单信息统计订单指标；订单指标包括多个字段，如商户信息、订单总量、总人数、用户覆盖度、逾期率、首逾订单数、首逾M1订单数、M1、M2、M3、每日订单增量、每日订单人数增量、日新增用户量、周新增用户量、月新增用户量等等；将还原的信息按照上述字段进行分类统计。

S30：基于所述订单指标生成订单报表；

根据各个字段统计出的数据，与通常数值进行对比，判断清洗质量。

例如：该数据端的逾期率与通常值相比，偏差超出-5％至5％范围，则认为清洗质量存在异常，发出重新清洗的指令，进行重新清洗。如果偏差在-5％至5％范围内，则认为清洗质量正常。将订单报表发送给BI系统，通过BI系统，可以通过人工或计算机进行二次监控，如果通过BI系统判断清洗结果异常，则发出重新清洗的指令，进行重新清洗。

再比如：正常情况下，欠款额为正值，但是清洗后监控发现该数据端欠款数量为负数，则清洗质量存在异常，发出重新清洗的指令，进行重新清洗。

实施例6

参照图7，本实施例中，如实施例5不同之处在于，本申请生成的报表包括不定时清洗监控报告和定时清洗监控报告。其中，不定时清洗监控报告可以是一根清洗订单报表，记载所有清洗监控数据，可以查询任意时刻的清洗监控情况；而定时清洗监控报告则可以包括清洗日报、清洗周报、清洗月报，记录相关时间段的清洗监控情况。

这种情况下，本发明还可以将历史清洗监控数据替代本领域内用户的通常数据作为预定值或预定范围的依据，判断该数据端的数据的清洗质量。

需要说明的是，本发明的保护范围中现有技术部分并不局限于本申请文件所给出的实施例，所有不与本发明的方案相矛盾的现有技术，包括但不局限于在先专利文献、在先公开出版物，在先公开使用等等，都可纳入本发明的保护范围。

另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种监控数据清洗质量的方法，所述数据基于订单生成，其特征在于，所述方法包括以下步骤：

S10：基于已清洗的所述数据还原订单信息；

S20：基于所述订单信息统计订单指标；

S30：基于所述订单指标生成订单报表；

S40：基于所述订单报表监控所述数据清洗质量。

2.如权利要求1所述的监控数据清洗质量的方法，其特征在于：

步骤S20中，所述订单指标包括多个字段，所述字段包括：商户信息、订单总量、总人数、用户覆盖度、逾期率、首逾订单数、首逾M1订单数、M1、M2、M3、每日订单增量、每日订单人数增量、日新增用户量、周新增用户量、月新增用户量的至少其中之一。

3.如权利要求1所述的监控数据清洗质量的方法，其特征在于：

步骤S30中，所述订单报表包括不定时清洗监控报告、定时清洗监控报告，所述不定时清洗监控报告优选为可以查看任意时间的清洗数据，所述定时清洗监控报告包括日报表、周报表、月报表的至少其中之一。

4.如权利要求1所述的监控数据清洗质量的方法，其特征在于：

步骤S40中，还通过BI系统调用所述订单报表，以基于所述订单报表监控所述数据清洗质量。

5.如权利要求4所述的监控数据清洗质量的方法，其特征在于：

步骤S40中基于所述订单报表监控所述数据清洗质量；如果发现清洗结果不符合预期，则生成重新进行数据清洗的指令；如果清洗结果符合预期，则发送给BI系统。

6.如权利要求5所述的监控数据清洗质量的方法，其特征在于：

步骤S40中，还通过BI系统进一步判断清洗质量，如果判断清洗结果不符合预期，则生成重新进行数据清洗的指令。

7.如权利要求4所述的监控数据清洗质量的方法，其特征在于：

所述清洗结果是否符合预期的判断方法为：

预设一个或多个字段的清洗预期值、以及清洗结果偏差阈值；

将清洗结果与所述清洗预期值进行对比，判断是否在阈值范围内，如果超出阈值范围，则判断为清洗结果异常；

其中，所述清洗结果偏差＝(清洗预期值-清洗结果)/清洗预期值；

和/或，所述清洗结果是否符合预期的判断方法为：

预设一个或多个字段的清洗预期值，

如果清洗结果与所述清洗预期值正负相反，则判断为清洗结果异常。

8.如权利要求1或2所述的监控数据清洗质量的方法，其特征在于：

所述预期值选自该领域内用户的通常数据范围、或通常数据值，和/或选自部分用户历史清洗数据统计得出的正常范围或正常值。

9.一种监控数据清洗质量的系统，所述数据基于订单生成，其特征在于，所述系统执行权利要求1-11中任意一项的方法，所述系统包括订单还原模块、指标统计模块、报表生成模块、质量监控模块，其中：

所述订单还原模块执行步骤S10；

所述指标统计模块执行步骤S20；

所述报表生成模块执行步骤S30；

所述质量监控模块执行步骤S40。

10.如权利要求9所述的监控数据清洗质量的系统，其特征在于：

所述质量监控模块包括BI系统，接收所述质量监控模块生成并发送的订单报表。