CN104252398A - 一种数据防火墙系统修复数据方法和系统 - Google Patents

Abstract

本申请提供了一种数据防火墙系统修复数据的方法，包括：当子系统开启数据录入时，母系统触发数据防火墙；防火墙根据预置规则计算重要数据属性；防火墙根据用户选择的重要数据属性和用户确定的正确数据利用预置规则确定其它不确定数据，并标识错误数据；防火墙根据参考数据更新错误数据。本发明实施例还提供了对应的系统。通过对子系统待录入数据的监测，触发防火墙系统并依据已确定的正确数据和系统中预先制定的规则对其他不确定数据进行审核与修复，进而确保待录入数据的正确性，从而实现一种保证正确和数据质量的数据修复系统。

Description

一种数据防火墙系统修复数据方法和系统

技术领域

 本申请涉及数据处理技术领域，特别是涉及一种数据防火墙系统修复数据方法和系统。

背景技术

大型的集团控股公司，拥有总公司和分散到各地的若干子公司或分公司。这些集团股份总公司主数据系统，都有统一、严格的数据管理机制；同时，为了提高基础数据质量，降低业务数据分析处理难度，提高业务数据准确性，总公司会对主数据进行认真的清洗和维护，然而下属的子公司或分公司则并没有如此完善的数据管理体系， 每个子公司或分公司在录入待处理的业务数据时，常常都有自己的输入方式，使得不同子公司或分公司的数据形式无法保持一致。甚至于，因为不同的子公司或分公司最终都会把自己的业务数据汇总到主数据中，在数据的先后修改过程中，会引入错误到主数据库当中。这种情况下，就会因为数据标准不一致或者人为因素会导致数据的错误，影响了公司整体数据的质量，因此需要一种对数据录入时就进行监控与修复的数据修复方法。

发明内容

本申请所要解决的技术问题是提供一种确保待录入数据的正确性的数据防火墙系统修复数据方法和系统。

为了解决上述问题，本申请公开了一种数据防火墙系统修复数据的方法，包括：

当子系统开启数据录入时，母系统触发数据防火墙；

防火墙根据预置规则计算重要数据属性；

防火墙根据用户选择的重要数据属性和用户确定的正确数据利用预置规则确定其它不确定数据，并标识错误数据；

防火墙根据参考数据更新错误数据。

进一步，所述防火墙根据参考数据更新错误数据后还包括：

防火墙将更新后的数据录入到子系统的数据库。

进一步，所述防火墙根据预置规则计算重要数据属性后还包括：

防火墙系统通过与用户交互来确定正确数据。

进一步，所述防火墙系统通过用户交互来确定正确数据还包括：

防火墙系统通过用户交互来确定数据的属性。

进一步，所述防火墙根据用户选择的重要数据属性和用户确定的正确数据利用预置规则确定其它不确定数据包括：

防火墙根据用户选择的重要数据属性和用户确定的正确数据利用母系统预先制定的修订规则确定其它不确定数据；所述规则根据函数依赖规则与母系统的主数据相关联。

进一步，所述标记错误数据包括：

标记错误数据的错误属性。

进一步，所述防火墙根据参考数据更新错误数据包括：防火墙根据参考数据中数据所属的正确值更新所述错误数据的对应属性。

本申请还提供了一种修复数据的系统，包括：

触发单元，用于当子系统开启数据录入时，触发数据防火墙；

数据计算单元，用于根据预置规则计算重要数据属性；

确定单元，用于根据用户选择的重要数据属性和用户确定的正确数据利用预置规则确定其它不确定数据；

标记单元，用于标记错误数据；

数据更新单元，用于根据参考数据更新错误数据。

进一步，所述系统还包括：

录入单元，用于将更新后的数据录入到子系统的数据库。

进一步，所述系统还包括：

交互单元，用于通过与用户交互来确定正确数据。

进一步，所述交互单元还用于：

通过用户交互来确定数据的属性。

进一步，所述确定单元还用于：

根据用户选择的重要数据属性和用户确定的正确数据利用母系统预先制定的修订规则确定其它不确定数据；所述规则根据函数依赖规则与母系统的主数据相关联。

进一步，所述标记单元还用于：

标记错误数据的错误属性。

进一步，所述数据更新单元还用于：

根据参考数据中数据所属的正确值更新所述错误数据的对应属性。

与现有技术相比，本申请包括以下优点：通过对子系统待录入数据的监测，触发防火墙系统并依据已确定的正确数据和系统中预先制定的规则对其他不确定数据进行审核与修复，进而确保待录入数据的正确性，从而实现一种保证正确和数据质量的数据修复系统。

附图说明                        

图1是本发明一种基于防火墙的数据修复方法一实施例的流程示意图；

图2是本发明一种基于防火墙的数据修复方系统一实施例的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

参照图1，示出了本申请一种数据防火墙系统修复数据的方法。

本发明实施例提供的数据防火墙系统修复数据的方法，包括：

在本发明实施例中，概念定义如下：

1.确定的属性(Valid Attribute)：经用户确认或利用确认属性进行推理，是一条数据里的正确的属性。

2.参考数据（Main Data）：参考数据来自于用户的主系统，本发明实施例默认这些数据是真实的、可信的。

3.规则（Rule）：规则是提前制定并设置在系统中的修订规则，它们和主数据的模式结构关联，并依托函数依赖规则技术实现。

例如一条规则（A，Am）-> (B，Bm) || （C=’1’），它的意思是当属性A的值和Am（在参考数据中的对应属性）的值相等，这条数据中属性B的值和Bm的值也相等，前提条件是数据的属性C的值为‘1’，其中条件值可为空。

4.推荐属性集：在与用户交互时，部分属性应当由用户来确认（这是由于如果用户不确认任何属性值则无法对数据进行推理，也就无法衍生确定其他属性），若所有属性均由用户来确认则会加重用户负担，为此应提供给用户推荐属性集用于候选，保证推荐属性集的属性用户确认后能够推理出其他属性值（由于推理过程是基于确认值和主数据的，所以该推理值是确定的属性）。

步骤S101、当子系统开启数据录入时，母系统触发数据防火墙；

步骤S102、防火墙根据预置规则计算重要数据属性；

计算重要数据属性的方法存在多种，下面先提出一种贪心的方法。

规则指定了属性之间的依赖关系，比如规则（A，Am）-> (B，Bm)||（）表明了当数据的A属性值确定了那么B属性值就可以利用主数据获得，故若将A属性值提供给用户确认则B属性值就可以不提供。利用规则可以知道属性之间的依赖关系，就可以贪心地获得一个供用户确认的属性集合。

举例来说已有规则rule1：（A，Am）-> (B，Bm)||（）；rule2：（B，Bm）-> (C，Cm)||（），待修复数据的模式为R=（A，B，C）则通过规则可以发现A能决定B、B能决定C，将A加入到推荐属性集合中则B、C可以通过推理得到。由此推荐属性集合为{A}。

其中规则集合和属性集合前面已经定义。属性的依赖关系图是将属性当做是点，属性和属性之间的依赖关系看做是有向边。扩展属性集合是对推荐属性集合的扩展。

利用规则确定属性的依赖关系图，其方式是在左项属性（点）和右项属性（点）间建立一条有向边，如rule1：（A，Am）-> (B，Bm)||（）则建立有向边A-> B。

贪心添加属性到推荐属性集，贪心的策略是将当前入边最少、出边最多且不在扩展属性集中的点所指的属性添加到推荐属性集中。

计算扩展属性集，将满足如下条件的属性添加到扩展属性集：1）推荐属性集中的属性，或2）入边存在且入点（属性）均在扩展属性集中的点（属性）。将推荐属性集作为重要数据属性。

步骤S103、防火墙根据用户选择的重要数据属性和用户确定的正确数据利用预置规则确定其它不确定数据，并标识错误数据；

进一步，所述防火墙根据预置规则计算重要数据属性后还包括：

防火墙系统通过与用户交互来确定正确数据。

进一步，所述防火墙系统通过用户交互来确定正确数据还包括：

防火墙系统通过用户交互来确定数据的属性。

进一步，所述防火墙根据用户选择的重要数据属性和用户确定的正确数据利用预置规则确定其它不确定数据包括：

防火墙根据用户选择的重要数据属性和用户确定的正确数据利用母系统预先制定的修订规则确定其它不确定数据；所述规则根据函数依赖规则与母系统的主数据相关联。

进一步，所述标记错误数据包括：

标记错误数据的错误属性。

在本步骤中，所述用户交互确定正确的数据包括数据中的正确属性。所述正确属性根据用户的经验进行判断，所述用户交互来确定正确的数据可以为一条确定数据里的属性。例如：有一条待确定数据包含以下多个属性：A、B、C、D、E、F、G、H、I。用户既可以根据自身经验确定其中某一条也可以确定整条数据属性均为正确。

在本步骤中，所述规则是根据母系统预先制定的修订规则，所述规则根据函数依赖规则与母系统的主数据相关联，所述对错误的数据进行标记包括对数据的错误属性进行标记。。例如：有一条规则（A，Am）-> (B，Bm)||（），而属性A已经被用户确认为正确值，而B是不确定数据，则通过比对主数据中，Am和A相同的那条数据的Bm值和B的值，来判断B是否正确。如果判断B为错误则对其进行标记。

步骤S104、防火墙根据参考数据更新错误数据。

进一步，步骤S104之后还可以包括：

防火墙将更新后的数据录入到子系统的数据库。

进一步，所述防火墙根据参考数据更新错误数据包括：防火墙根据参考数据中数据所属的正确值更新所述错误数据的对应属性。

在本步骤中，所述对错误的数据进行更新包括根据参考数据中数据所属的正确值更新所述错误数据的对应属性。如上例中，发现B的值为错误，那么我们就把Bm的值更新到B上。本发明通过对子系统待录入数据的监测，触发防火墙系统并依据已确定的正确数据和系统中预先制定的规则对其他不确定数据进行审核与修复，进而确保待录入数据的正确性，从而实现一种保证正确和数据质量的数据修复方法。

参照图2为本发明一种修复数据的系统一实施例的结构示意图；

本发明实施例提供的修复数据的系统包括：

触发单元21，用于当子系统开启数据录入时，触发数据防火墙；

数据计算单元22，用于根据预置规则计算重要数据属性；

确定单元23，用于根据用户选择的重要数据属性和用户确定的正确数据利用预置规则确定其它不确定数据；

标记单元24，用于标记错误数据；

数据更新单元25，用于根据参考数据更新错误数据。

进一步，所述系统还包括：

录入单元26，用于将更新后的数据录入到子系统的数据库。

进一步，所述系统还包括：

交互单元27，用于通过与用户交互来确定正确数据。

进一步，所述交互单元27还用于：

通过用户交互来确定数据的属性。

进一步，所述确定单元23还用于：

根据用户选择的重要数据属性和用户确定的正确数据利用母系统预先制定的修订规则确定其它不确定数据；所述规则根据函数依赖规则与母系统的主数据相关联。

进一步，所述标记单元24还用于：

标记错误数据的错误属性。

进一步，所述数据更新单元25还用于：

根据参考数据中数据所属的正确值更新所述错误数据的对应属性。

数据计算单元22利用的预置规则指定了属性之间的依赖关系，比如规则（A，Am）-> (B，Bm)||（）表明了当数据的A属性值确定了那么B属性值就可以利用主数据获得，故若将A属性值提供给用户确认则B属性值就可以不提供。利用规则可以知道属性之间的依赖关系，就可以贪心地获得一个供用户确认的属性集合。

举例来说已有规则rule1：（A，Am）-> (B，Bm)||（）；rule2：（B，Bm）-> (C，Cm)||（），待修复数据的模式为R=（A，B，C）则数据计算单元23通过规则可以发现A能决定B、B能决定C，将A加入到推荐属性集合中则B、C可以通过推理得到。由此推荐属性集合为{A}。

其中规则集合和属性集合前面已经定义。属性的依赖关系图是将属性当做是点，属性和属性之间的依赖关系看做是有向边。扩展属性集合是对推荐属性集合的扩展。

数据计算单元22利用规则确定属性的依赖关系图，其方式是在左项属性（点）和右项属性（点）间建立一条有向边，如rule1：（A，Am）-> (B，Bm)||（）则建立有向边A-> B。

贪心添加属性到推荐属性集，贪心的策略是将当前入边最少、出边最多且不在扩展属性集中的点所指的属性添加到推荐属性集中。

数据计算单元22计算扩展属性集，将满足如下条件的属性添加到扩展属性集：1）推荐属性集中的属性，或2）入边存在且入点（属性）均在扩展属性集中的点（属性）。将推荐属性集作为重要数据属性。

交互单元26用于防火墙系统通过与用户交互来确定正确的数据。在交互单元26中，所述用户交互确定正确的数据包括数据中的正确属性，所述正确属性根据用户的经验进行判断，所述用户交互来确定正确的数据可以为一条确定数据里的属性。例如：有一条待确定数据包含以下多个属性：A、B、C、D、E、F、G、H、I。用户既可以根据自身经验确定其中某一条也可以确定整条数据属性均为正确。

确定单元23根据上述正确的数据和规则来审核其他不确定的数据，并对错误的数据进行标记。在确定单元23中，所述规则是根据母系统预先制定的修订规则，所述规则根据函数依赖规则与母系统的主数据相关联，所述对错误的数据进行标记包括对数据的错误属性进行标记。。例如：有一条规则（A，Am）-> (B，Bm)||（），而属性A已经被用户确认为正确值，而B是不确定数据，则通过比对主数据中，Am和A相同的那条数据的Bm值和B的值，来判断B是否正确。如果判断B为错误则对其进行标记。

数据更新单元25用于子系统根据参考数据对上述错误的数据进行更新，并将更新后的数据录入到子系统的数据库。在数据更新单元25中，所述对错误的数据进行更新包括根据参考数据中数据所属的正确值更新所述错误数据的对应属性。如上例中，发现B的值为错误，那么我们就把Bm的值更新到B上。本发明通过对子系统待录入数据的监测，触发防火墙系统并依据已确定的正确数据和系统中预先制定的规则对其他不确定数据进行审核与修复，进而确保待录入数据的正确性，从而实现一种保证正确和数据质量的数据修复系统。

 对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上对本申请所提供的一种数据防火墙系统修复数据方法和系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种数据防火墙系统修复数据的方法，其特征在于，包括：

当子系统开启数据录入时，母系统触发数据防火墙；

防火墙根据预置规则计算重要数据属性；

防火墙根据用户选择的重要数据属性和用户确定的正确数据利用预置规则确定其它不确定数据，并标识错误数据；

防火墙根据参考数据更新错误数据。

2.根据权利要求1所述的方法，其特征在于，所述防火墙根据参考数据更新错误数据后还包括：

防火墙将更新后的数据录入到子系统的数据库。

3.根据权利要求2所述的方法，其特征在于，所述防火墙根据预置规则计算重要数据属性后还包括：

防火墙系统通过与用户交互来确定正确数据。

4.根据权利要求3所述的方法，其特征在于，所述防火墙系统通过用户交互来确定正确数据还包括：

防火墙系统通过用户交互来确定数据的属性。

5.根据权利要求1所述的方法，其特征在于，所述防火墙根据用户选择的重要数据属性和用户确定的正确数据利用预置规则确定其它不确定数据包括：

防火墙根据用户选择的重要数据属性和用户确定的正确数据利用母系统预先制定的修订规则确定其它不确定数据；所述规则根据函数依赖规则与母系统的主数据相关联。

6.根据权利要求1所述的方法，其特征在于，所述标记错误数据包括：

标记错误数据的错误属性。

7.根据权利要求1或6所述的方法，其特征在于，所述防火墙根据参考数据更新错误数据包括：防火墙根据参考数据中数据所属的正确值更新所述错误数据的对应属性。

8.一种修复数据的系统，其特征在于，包括：

触发单元，用于当子系统开启数据录入时，触发数据防火墙；

数据计算单元，用于根据预置规则计算重要数据属性；

确定单元，用于根据用户选择的重要数据属性和用户确定的正确数据利用预置规则确定其它不确定数据；

标记单元，用于标记错误数据；

数据更新单元，用于根据参考数据更新错误数据。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括：

录入单元，用于将更新后的数据录入到子系统的数据库。

10.根据权利要求9所述的系统，其特征在于，所述系统还包括：

交互单元，用于通过与用户交互来确定正确数据。

11.根据权利要求10所述的系统，其特征在于，所述交互单元还用于：

通过用户交互来确定数据的属性。

12.根据权利要求8所述的系统，其特征在于，所述确定单元还用于：

根据用户选择的重要数据属性和用户确定的正确数据利用母系统预先制定的修订规则确定其它不确定数据；所述规则根据函数依赖规则与母系统的主数据相关联。

13.根据权利要求8所述的系统，其特征在于，所述标记单元还用于：

标记错误数据的错误属性。

14.根据权利要求8或13所述的系统，其特征在于，所述数据更新单元还用于：

根据参考数据中数据所属的正确值更新所述错误数据的对应属性。