CN103713967A - 一种基于规则优化的数据防火墙修复方法及系统 - Google Patents
一种基于规则优化的数据防火墙修复方法及系统 Download PDFInfo
- Publication number
- CN103713967A CN103713967A CN201310637570.7A CN201310637570A CN103713967A CN 103713967 A CN103713967 A CN 103713967A CN 201310637570 A CN201310637570 A CN 201310637570A CN 103713967 A CN103713967 A CN 103713967A
- Authority
- CN
- China
- Prior art keywords
- data
- rule
- vset
- firewall
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种基于规则优化的数据防火墙修复方法,包括:当母系统监测到子系统有待录入数据库的数据时,触发防火墙系统;防火墙系统通过与用户交互来确定正确的数据;防火墙系统对所述规则预先进行优化,根据正确的数据和规则来审核其他不确定的数据并对错误的数据进行标记;子系统根据参考数据对上述错误的数据进行更新。本发明通过对子系统待录入数据的监测,触发防火墙系统并依据已确定的正确数据和对系统中预先制定的规则进行优化对其他不确定数据进行审核与修复,从而进一步确保待录入数据的正确性,实现了一种保证数据正确和数据质量的数据修复方法及系统。另外,本发明还提供一种基于规则优化的数据防火墙修复系统。
Description
技术领域
本发明涉及数据修复领域,尤其涉及一种基于规则优化的数据防火墙修复方法及系统。
背景技术
大型的集团控股公司,拥有总公司和分散到各地的若干子公司或分公司。这些集团股份总公司主数据系统,都有统一、严格的数据管理机制;同时,为了提高基础数据质量,降低业务数据分析处理难度,提高业务数据准确性,总公司会对主数据进行认真的清洗和维护,然而下属的子公司或分公司则并没有如此完善的数据管理体系, 每个子公司或分公司在录入待处理的业务数据时,常常都有自己的输入方式,使得不同子公司或分公司的数据形式无法保持一致。甚至于,因为不同的子公司或分公司最终都会把自己的业务数据汇总到主数据中,在数据的先后修改过程中,会引入错误到主数据库当中。这种情况下,就会因为数据标准不一致或者人为因素会导致数据的错误,影响了公司整体数据的质量,因此需要一种对数据录入时就进行监控与修复的数据修复方法。
发明内容
为此,本发明为了解决上述缺陷之一。
因而本发明提供一种基于规则优化的数据防火墙修复方法及系统,通过对子系统待录入数据的监测,触发防火墙系统并依据已确定的正确数据和对系统中预先制定的规则进行优化对其他不确定数据进行审核与修复,从而进一步确保待录入数据的正确性,实现了一种保证数据正确和数据质量的数据修复方法及系统。
所以,本发明一个实施例提供一种基于规则优化的数据防火墙修复方法,该方法包括:当母系统监测到子系统有待录入数据库的数据时,触发防火墙系统;防火墙系统通过与用户交互来确定正确的数据;防火墙系统根据上述正确的数据和规则来审核其他不确定的数据,并对错误的数据进行标记;子系统根据参考数据对上述错误的数据进行更新,并将更新后的数据录入到子系统的数据库,所述方法包括:所述防火墙系统对所述规则预先进行优化。
进一步地,所述防火墙系统对所述规则预先进行优化具体包括以下步骤:防火墙系统获取已知规则列表和已确定的数据属性集合步骤;根据所述规则的逻辑顺序确定它们的依赖关系步骤;从上述规则中确定能直接应用的规则集合VSet步骤;遍历规则集合VSet,如果规则集合VSet为空,则输出确认的属性集合,否则,审核和修复规则集合VSet中规则对应的确定属性,并通过依赖关系找到所述规定推出的其他规则,将这些规则对应的确定属性放入到规则集合VSet中步骤。
优选地,所述用户交互确定正确的数据包括数据中的正确属性。
优选地,所述已确定的数据属性集合根据用户交互确定正确的数据来确定。
优选地,所述用户交互来确定正确的数据包括确定数据的属性。
优选地,所述依据所述规则的逻辑顺序确定它们的依赖关系依据所述规则的属性值进行。
优选地,所述对错误的数据进行标记包括对数据的错误属性进行标记。
优选地,所述对错误的数据进行更新包括根据参考数据中数据所属的正确值更新所述错误数据的对应属性。本发明通过对子系统待录入数据的监测,触发防火墙系统并依据已确定的正确数据和对系统中预先制定的规则进行优化对其他不确定数据进行审核与修复,从而进一步确保待录入数据的正确性,实现了一种保证数据正确和数据质量的数据修复方法。
本发明另一个实施例提供一种基于规则优化的数据防火墙修复系统,所述系统包括:数据触发单元,用于当母系统监测到子系统有待录入数据库的数据时,触发防火墙系统;数据交互单元,用于防火墙系统通过与用户交互来确定正确的数据;数据审核单元,用于防火墙系统根据上述正确的数据和规则来审核其他不确定的数据,并对错误的数据进行标记;数据更新单元,用于子系统根据参考数据对上述错误的数据进行更新,并将更新后的数据录入到子系统的数据库,所述系统包括:规则优化单元,用于所述防火墙系统对所述规则预先进行优化。
进一步地,所述规则优化单元中所述防火墙系统对所述规则预先进行优化具体包括以下步骤:防火墙系统获取已知规则列表和已确定的数据属性集合步骤;根据所述规则的逻辑顺序确定它们的依赖关系步骤;从上述规则中确定能直接应用的规则集合VSet步骤;遍历规则集合VSet,如果规则集合VSet为空,则输出确认的属性集合,否则,审核和修复规则集合VSet中规则对应的确定属性,并通过依赖关系找到所述规定推出的其他规则,将这些规则对应的确定属性放入到规则集合VSet中步骤。本发明通过对子系统待录入数据的监测,触发防火墙系统并依据已确定的正确数据和对系统中预先制定的规则进行优化对其他不确定数据进行审核与修复,从而进一步确保待录入数据的正确性,实现了一种保证数据正确和数据质量的数据修复系统。
附图说明
图1是本发明一个实施例提供的一种基于规则优化的数据防火墙修复方法的流程示意图。
图2是本发明一个实施例提供的规则预先进行优化具体流程的示意图。
图3是本发明另一个实施例提供的一种基于规则优化的数据防火墙修复系统的示意图。
具体实施例
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
本发明提供一种基于规则优化的数据防火墙修复方法及系统,本发明通过对子系统待录入数据的监测,触发防火墙系统并依据已确定的正确数据和对系统中预先制定的规则进行优化对其他不确定数据进行审核与修复,从而进一步确保待录入数据的正确性,实现了一种保证数据正确和数据质量的数据修复方法及系统。
附图1是本发明提供的一种基于规则优化的数据防火墙修复方法的流程示意图,具体包括以下步骤。
步骤S110:当母系统监测到子系统有待录入数据库的数据时,触发防火墙系统。
步骤S120:防火墙系统通过与用户交互来确定正确的数据。
在本步骤中,所述用户交互确定正确的数据包括数据中的正确属性。所述正确属性根据用户的经验进行判断,所述用户交互来确定正确的数据可以为一条确定数据里的属性。例如:有一条待确定数据包含以下多个属性:A、B、C、D、E、F、G、H、I。用户既可以根据自身经验确定其中某一条也可以确定整条数据属性均为正确。
步骤S130:防火墙系统根据上述正确的数据和规则来审核其他不确定的数据,并对错误的数据进行标记,所述防火墙系统对所述规则预先进行优化。
图2是本发明一个实施例提供的规则预先进行优化具体流程的示意图。在本步骤中,所述防火墙系统对所述规则预先进行优化具体包括以下步骤:防火墙系统获取已知规则列表和已确定的数据属性集合步骤;根据所述规则的逻辑顺序确定它们的依赖关系步骤;从上述规则中确定能直接应用的规则集合VSet步骤;遍历规则集合VSet,如果规则集合VSet为空,则输出确认的属性集合,否则,审核和修复规则集合VSet中规则对应的确定属性,并通过依赖关系找到所述规定推出的其他规则,将这些规则对应的确定属性放入到规则集合VSet中步骤。
所述已确定的数据属性集合根据用户交互确定正确的数据来确定。所述依据所述规则的逻辑顺序确定它们的依赖关系依据所述规则的属性值进行。在本步骤中,对规则的遍历顺序不同,会是推导出来的审核属性结果不一样,那么在本步骤中需要先根据规则的属性值来确定所述规则间的依赖关系,例如,已知有三条规则Rule1:(A,Am)-> (B,Bm)||(),Rule2:(B,Bm)-> (C,Cm)||(),Rule3:(E,Em)-> (B,Bm)||(D =‘0’)。根据这三条规则的属性可知Rule2同时依赖于Rule1和Rule3,也即当Rule1和Rule3中任意一个规则包含的属性值确认后,Rule2的属性值才有可能确认。比如用户交互确定正确属性为A,根据上述规则应用,首先利用Rule1,即当前VSet = {Rule1}。因为VSet不为空,所以我们根据Rule1可以推导出属性B能够被确认。因为Rule2依赖于Rule1,由此得到Rule2在当前情况下是可用的规则,把它放入VSet,此时,VSet = {Rule2},Rule1已经用完,被删除了。再次使用VSet,能够确认属性C。而此时,VSet是为空了,没有更多的规则可用了。最后属性{B、C}的集合会被返回,作为经过审核能够确认的属性,如果错误,则可以修复它们。
步骤S140:子系统根据参考数据对上述错误的数据进行更新,并将更新后的数据录入到子系统的数据库。在本步骤中,所述对错误的数据进行标记包括对数据的错误属性进行标记,所述对错误的数据进行更新包括根据参考数据中数据所属的正确值更新所述错误数据的对应属性。如上例中,发现B和C的值为错误,那么我们就把Bm的值更新到B上、Cm的值更新到C上。本发明通过对子系统待录入数据的监测,触发防火墙系统并依据已确定的正确数据和对系统中预先制定的规则进行优化对其他不确定数据进行审核与修复,从而进一步确保待录入数据的正确性,实现了一种保证数据正确和数据质量的数据修复方法。
如图3所示是本发明另一个实施例提供的一种基于规则优化的数据防火墙修复系统的示意图,具体为:数据触发单元10用于当母系统监测到子系统有待录入数据库的数据时,触发防火墙系统。
数据交互单元20用于防火墙系统通过与用户交互来确定正确的数据。在数据交互单元20中,所述用户交互确定正确的数据包括数据中的正确属性,所述正确属性根据用户的经验进行判断,所述用户交互来确定正确的数据可以为一条确定数据里的属性。例如:有一条待确定数据包含以下多个属性:A、B、C、D、E、F、G、H、I。用户既可以根据自身经验确定其中某一条也可以确定整条数据属性均为正确。
数据审核单元30用于防火墙系统根据上述正确的数据和规则来审核其他不确定的数据,并对错误的数据进行标记。所述数据审核单元30包括规则优化单元50,所述规则优化单元50用于所述防火墙系统对所述规则预先进行优化。
在所述规则优化单元50中,所述防火墙系统对所述规则预先进行优化具体包括以下步骤:防火墙系统获取已知规则列表和已确定的数据属性集合步骤;根据所述规则的逻辑顺序确定它们的依赖关系步骤;从上述规则中确定能直接应用的规则集合VSet步骤;遍历规则集合VSet,如果规则集合VSet为空,则输出确认的属性集合,否则,审核和修复规则集合VSet中规则对应的确定属性,并通过依赖关系找到所述规定推出的其他规则,将这些规则对应的确定属性放入到规则集合VSet中步骤。
数据更新单元40,用于子系统根据参考数据对上述错误的数据进行更新,并将更新后的数据录入到子系统的数据库。在数据更新单元40中,所述对错误的数据进行更新包括根据参考数据中数据所属的正确值更新所述错误数据的对应属性。本发明通过对子系统待录入数据的监测,触发防火墙系统并依据已确定的正确数据和对系统中预先制定的规则进行优化对其他不确定数据进行审核与修复,从而进一步确保待录入数据的正确性,实现了一种保证数据正确和数据质量的数据修复系统。
Claims (10)
1.一种基于规则优化的数据防火墙修复方法,该方法包括:当母系统监测到子系统有待录入数据库的数据时,触发防火墙系统;防火墙系统通过与用户交互来确定正确的数据;防火墙系统根据上述正确的数据和规则来审核其他不确定的数据,并对错误的数据进行标记;子系统根据参考数据对上述错误的数据进行更新,并将更新后的数据录入到子系统的数据库,其特征在于,所述方法包括:所述防火墙系统对所述规则预先进行优化。
2.根据权利要求1所述的方法,其特征在于,所述防火墙系统对所述规则预先进行优化具体包括以下步骤:
防火墙系统获取已知规则列表和已确定的数据属性集合步骤;
根据所述规则的逻辑顺序确定它们的依赖关系步骤;
从上述规则中确定能直接应用的规则集合VSet步骤;
遍历规则集合VSet,如果规则集合VSet为空,则输出确认的属性集合,否则,审核和修复规则集合VSet中规则对应的确定属性,并通过依赖关系找到所述规定推出的其他规则,将这些规则对应的确定属性放入到规则集合VSet中步骤。
3.根据权利要求1所述的方法,其特征在于,所述用户交互确定正确的数据包括数据中的正确属性。
4.根据权利要求2所述的方法,其特征在于,所述已确定的数据属性集合根据用户交互确定正确的数据来确定。
5.根据权利要求1或3所述的方法,其特征在于,所述用户交互来确定正确的数据包括确定数据的属性。
6.根据权利要求2所述的方法,其特征在于,所述依据所述规则的逻辑顺序确定它们的依赖关系依据所述规则的属性值进行。
7.根据权利要求1所述的方法,其特征在于,所述对错误的数据进行标记包括对数据的错误属性进行标记。
8.根据权利要求1或7所述的方法,其特征在于,所述对错误的数据进行更新包括根据参考数据中数据所属的正确值更新所述错误数据的对应属性。
9.一种基于防火墙的数据修复方系统,所述系统包括:
数据触发单元,用于当母系统监测到子系统有待录入数据库的数据时,触发防火墙系统;
数据交互单元,用于防火墙系统通过与用户交互来确定正确的数据;
数据审核单元,用于防火墙系统根据上述正确的数据和规则来审核其他不确定的数据,并对错误的数据进行标记;
数据更新单元,用于子系统根据参考数据对上述错误的数据进行更新,并将更新后的数据录入到子系统的数据库,其特征在于,所述系统包括:规则优化单元,用于所述防火墙系统对所述规则预先进行优化。
10.根据权利要求9所述的系统,其特征在于,所述规则优化单元中所述防火墙系统对所述规则预先进行优化具体包括以下步骤:
防火墙系统获取已知规则列表和已确定的数据属性集合步骤;
根据所述规则的逻辑顺序确定它们的依赖关系步骤;
从上述规则中确定能直接应用的规则集合VSet步骤;
遍历规则集合VSet,如果规则集合VSet为空,则输出确认的属性集合,否则,审核和修复规则集合VSet中规则对应的确定属性,并通过依赖关系找到所述规定推出的其他规则,将这些规则对应的确定属性放入到规则集合VSet中步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310637570.7A CN103713967A (zh) | 2013-12-04 | 2013-12-04 | 一种基于规则优化的数据防火墙修复方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310637570.7A CN103713967A (zh) | 2013-12-04 | 2013-12-04 | 一种基于规则优化的数据防火墙修复方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103713967A true CN103713967A (zh) | 2014-04-09 |
Family
ID=50406968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310637570.7A Pending CN103713967A (zh) | 2013-12-04 | 2013-12-04 | 一种基于规则优化的数据防火墙修复方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103713967A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015103878A1 (zh) * | 2014-01-07 | 2015-07-16 | 深圳市华傲数据技术有限公司 | 一种基于防火墙的数据修复方法及系统 |
WO2015103879A1 (zh) * | 2014-01-07 | 2015-07-16 | 深圳市华傲数据技术有限公司 | 一种基于规则优化的数据防火墙修复方法及系统 |
WO2015103880A1 (zh) * | 2014-01-07 | 2015-07-16 | 深圳市华傲数据技术有限公司 | 一种对批量数据进行自动修复的方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040117358A1 (en) * | 2002-03-16 | 2004-06-17 | Von Kaenel Tim A. | Method, system, and program for an improved enterprise spatial system |
US20060294151A1 (en) * | 2005-06-27 | 2006-12-28 | Stanley Wong | Method and apparatus for data integration and management |
CN101676900A (zh) * | 2008-09-18 | 2010-03-24 | 阿里巴巴集团控股有限公司 | 提高目标数据准确性的数据清洗方法及清洗系统 |
CN102411600A (zh) * | 2011-08-02 | 2012-04-11 | 暨南大学 | 一种基于蕴涵规则的数据质量自动检测方法 |
-
2013
- 2013-12-04 CN CN201310637570.7A patent/CN103713967A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040117358A1 (en) * | 2002-03-16 | 2004-06-17 | Von Kaenel Tim A. | Method, system, and program for an improved enterprise spatial system |
US20060294151A1 (en) * | 2005-06-27 | 2006-12-28 | Stanley Wong | Method and apparatus for data integration and management |
CN101676900A (zh) * | 2008-09-18 | 2010-03-24 | 阿里巴巴集团控股有限公司 | 提高目标数据准确性的数据清洗方法及清洗系统 |
CN102411600A (zh) * | 2011-08-02 | 2012-04-11 | 暨南大学 | 一种基于蕴涵规则的数据质量自动检测方法 |
Non-Patent Citations (1)
Title |
---|
WENFEI FAN,ETAL: "CerFix: A System for Cleaning Data with Certain Fixes", 《PROCEEDINGS OF THE VLDB ENDOWMENT》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015103878A1 (zh) * | 2014-01-07 | 2015-07-16 | 深圳市华傲数据技术有限公司 | 一种基于防火墙的数据修复方法及系统 |
WO2015103879A1 (zh) * | 2014-01-07 | 2015-07-16 | 深圳市华傲数据技术有限公司 | 一种基于规则优化的数据防火墙修复方法及系统 |
WO2015103880A1 (zh) * | 2014-01-07 | 2015-07-16 | 深圳市华傲数据技术有限公司 | 一种对批量数据进行自动修复的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107958057B (zh) | 一种用于异构数据库中数据迁移的代码生成方法及装置 | |
US9817876B2 (en) | Enhanced mechanisms for managing multidimensional data | |
WO2015103880A1 (zh) | 一种对批量数据进行自动修复的方法及系统 | |
CN111651431A (zh) | 一种面向数据库服务的管理流程标准化方法 | |
CN112508249A (zh) | 突发事件推演图结构的构建及突发事件推演的方法和装置 | |
CN103716301A (zh) | 一种基于防火墙的数据修复方法及系统 | |
CN110471694A (zh) | 注释信息处理方法、装置、计算机设备及存储介质 | |
EP3286611B1 (en) | Method and system for cross discipline data validation checking in a multidisciplinary engineering system | |
CN110956282A (zh) | 一种配电自动化缺陷管理系统及方法 | |
CN105678055B (zh) | 一种通用的概率安全评价模型转换系统 | |
CN103713967A (zh) | 一种基于规则优化的数据防火墙修复方法及系统 | |
US9165090B2 (en) | Concise modeling and architecture optimization | |
WO2015103879A1 (zh) | 一种基于规则优化的数据防火墙修复方法及系统 | |
WO2022142927A1 (zh) | 一种基于规则的故障分析方法、装置、设备和存储介质 | |
CN102025548B (zh) | 一种用户自定义的性能指标多版本平滑升级的方法及装置 | |
CN105117329A (zh) | 一种应用程序自动上线方法及系统 | |
CN113220633A (zh) | 统一文件编码管理方法及系统 | |
CN107885869A (zh) | 一种修改数据库的方法和系统 | |
CN110019118A (zh) | 基于DevOps提升数据库运维效率的系统及其方法 | |
CN108287844A (zh) | 一种公交数据管理方法和系统、及导航设备 | |
US20210216533A1 (en) | Method and system for handling engineering data in a multiengineering system environment | |
CN103714415A (zh) | 一种对批量数据进行自动修复的方法及系统 | |
CN115185493A (zh) | 基于模型的航电系统架构设计方法 | |
CN104753659A (zh) | 一种多网元数据同步加载的方法、装置及系统 | |
CN108319795B (zh) | 一种利用三维模型设计航天器的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140409 |
|
RJ01 | Rejection of invention patent application after publication |