CN105138612B - 数据一致性差异原因的分析和定位的方法及系统 - Google Patents

Abstract

本发明涉及数据一致性差异原因的分析和定位的方法及系统，其方法包括：步骤1：采集差异数据，并预处理；步骤2：判断差异数据是否存在直接数据差异，如果是，执行步骤3；否则，执行步骤4；步骤3：获得差异数据的差异原因，并对定位结果进行结果分析，结束；步骤4：加载特征库和源数据；步骤5：获得至少一个特征，构成与差异数据相对应的差异特征组；步骤6：从差异特征组中取一个特征，将差异数据具体定位到具体数据特征中，获得差异数据的特征差异原因，并对定位结果进行结果分析；步骤7：判断所述差异特征组是否还存在未分类特征，如果是，删除已分类特征，执行步骤6；否则，结束。降低了人为差错，提高维护工作的稳定性。

Description

数据一致性差异原因的分析和定位的方法及系统

技术领域

本发明涉及一种数据一致性差异原因的分析和定位的方法及系统。

背景技术

随着核心业务系统的解耦以及外围平台的不断扩展，系统间数据一致性和系统内各处理环节与接口的数据一致性问题日趋重要，如何快速发现、定位数据差异，并进行针对性处理修复数据，是目前数据一致性管理中的重要工作。

目前在数据一致性比对方面，普遍具备成熟的产品能够快速比对发现数据差异。但是对于发现差异后的处理，尚没有统一的、成熟的处理模式。大多数省份均是在完成差异比对后，提交由各业务部门的具体维护人员进行核查和修复，维护人员基于经验对不同数据进行逐个的分析，确定数据差异的原因以及后续的处理方式，然后通过手工修改的方式完成对差异的处理。

这种处理模式，存在以下缺陷：系统能够自动完成的，只是数据一致性管理的一小部分工作，大部分工作仍然需要由人工完成，效率低，依赖于维护人员的个人工作经验，对差异数据的处理经验难以保留，也缺乏对差异数据的统一分析和评估。

发明内容

本发明所要解决的技术问题是，针对现有技术的不足，提供一种通过规则引擎来针对一致性比对结果进行分类和分析，用于获取导致异常数据产生的生产环节以及具体的差异原因的数据一致性差异原因的分析和定位的方法及系统。

本发明解决上述技术问题的技术方案如下：数据一致性差异原因的分析和定位的方法，具体包括以下步骤：

步骤1：采集一致性比对得到的差异数据，并对差异数据进行预处理；

步骤2：基于业务类型对差异数据进行切分，判断切分后的差异数据是否存在直接数据差异，如果是，执行步骤3；否则，执行步骤4；

步骤3：基于数据值的规则进行匹配，将差异数据定位到具体的异常类型中获得差异数据的差异原因，并对定位结果进行结果分析，结束；

步骤4：对规则引擎进行初始化，加载特征库和源数据；

步骤5：将差异数据与特征库中的特征相匹配，获得至少一个特征，构成与差异数据相对应的差异特征组；

步骤6：从差异特征组中取一个特征，根据特征库中配置的数据特征模板，对差异数据进行逐级分类，将差异数据具体定位到具体数据特征中，获得差异数据的特征差异原因，并对定位结果进行结果分析；

步骤7：判断所述差异特征组是否还存在未分类特征，如果是，删除已分类特征，执行步骤6；否则，结束。

本发明的有益效果是：初步实现了对一致性比对差异数据的自动化分析功能，可在一定程度上减轻维护人员的人工工作量；通过规则引擎的引入，能够灵活、快速的针对分析规则进行改变，能够适应业务流程和业务规则的不断变化；通过规则库和特征库的运用，能够将维护人员现在以经验形式保存的业务知识结构化，降低了人为差错，提高维护工作的稳定性。并为后续的差异修复工作提供技术支撑。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1具体包括以下步骤：

步骤1.1：采集一致性比对得到的差异数据，并对差异数据进行完整性校验和数据归档处理；

步骤1.2：将差异数据进行格式转换和处理，并将处理后的差异数据存入数据库。

进一步，所述步骤6中的将差异数据定位到具体数据特征中，是根据差异数据的类型和所属业务等信息，引入不同的业务数据，通过异常数据和业务数据间的数据验证，判断异常所在环节和原因。

进一步，所述步骤6具体包括以下步骤：

步骤6.1：从差异特征组中取一个特征，根据特征库中配置的数据特征模板解析得到规则内容；

步骤6.2：根据特征库内的数据抽取规则获取业务数据，参与对差异数据的特征判断，通常是根据异常数据与各业务数据间的关联关系获取；

步骤6.3：从特征库内提取特征匹配算法，对异常数据和业务数据进行多重匹配与规则判断，从而最终确认差异数据的特征符合程度；

步骤6.4：对定位结果进行结果分析。

进一步，所述对定位结果的结果分析包括原因汇总、权重计算、生成结果报告和统计分析等。

本发明解决上述技术问题的技术方案如下：数据一致性差异原因的分析和定位的系统，包括采集模块、判断模块、数据差异模块、加载模块、特征匹配模块和特征定位模块；

所述采集模块用于采集一致性比对得到的差异数据，并对差异数据进行预处理；

所述判断模块用于基于业务类型对差异数据进行切分，判断切分后的差异数据是否存在直接数据差异，如果是，触发数据差异模块；否则，触发加载模块；

所述数据差异模块用于基于数据值的规则进行匹配，将差异数据定位到具体的异常类型中获得差异数据的差异原因，并对定位结果进行结果分析，结束；

所述加载模块用于对规则引擎进行初始化，加载特征库和源数据；

所述特征匹配模块用于将差异数据与特征库中的特征相匹配，获得至少一个特征，构成与差异数据相对应的差异特征组；

所述特征定位模块用于从差异特征组中取所有特征，依次进行根据特征库中配置的数据特征模板，对差异数据进行逐级分类，将差异数据具体定位到具体数据特征中，获得差异数据的特征差异原因，并对定位结果进行结果分析。

本发明的有益效果是：初步实现了对一致性比对差异数据的自动化分析功能，可在一定程度上减轻维护人员的人工工作量；通过规则引擎的引入，能够灵活、快速的针对分析规则进行改变，能够适应业务流程和业务规则的不断变化；通过规则库和特征库的运用，能够将维护人员现在以经验形式保存的业务知识结构化，降低了人为差错，提高维护工作的稳定性。并为后续的差异修复工作提供技术支撑。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述采集模块包括差异数据获取模块和预处理模块；

所述差异数据获取模块用于采集一致性比对得到的差异数据，并对差异数据进行完整性校验和数据归档处理；

所述预处理模块用于将差异数据进行格式转换和处理，并将处理后的差异数据存入数据库。

进一步，所述特征定位模块中的将差异数据定位到具体数据特征中，是根据差异数据的类型和所属业务等信息，引入不同的业务数据，通过异常数据和业务数据间的数据验证，判断异常所在环节和原因。

进一步，所述特征定位模块包括特征库模块、规则运算模块、差异定位模块和结果分析模块；

所述特征库模块用于从差异特征组中取一个特征，根据特征库中配置的数据特征模板解析得到规则内容；

所述规则运算模块用于根据特征库内的数据抽取规则获取业务数据，参与对差异数据的特征判断，通常是根据异常数据与各业务数据间的关联关系获取；

所述差异定位模块用于从特征库内提取特征匹配算法，对异常数据和业务数据进行多重匹配与规则判断，从而最终确认差异数据的特征符合程度；

所述结果分析模块用于对定位结果进行结果分析。

进一步，所述对定位结果的结果分析包括原因汇总、权重计算、生成结果报告和统计分析等。

数据分析规则由两个模式构成：基于数据特征的分析定位以及基于特定数据值的规则分析。系统通过对两种分析模式的运用，逐步筛选出能够明确差异原因和所在环节的异常数据，供后续的分析和整理、修复进行使用。

对于一致性差异的分析，最终表现为复杂的数据逻辑验证。如果提炼、表达、组织和高效的实现这些逻辑是基于规则的数据清洗技术的关键。

需要注意的是，对于分析规则的定义和业务是强相关的，针对不同的业务类型、业务流程有完全不同的分析要求，而且，业务是随时间变化的，因此分析规则的定义也是需要随时间变化的。这些判定规则，目前通常是维护人员的个人经验，没有实现知识的结构化，因此，还需要系统能够支撑灵活的定义规则和调整规则。

系统引入规则引擎技术来解决基于特定数据值的规则分析，规则引擎将提交给他的异常数据与加载在引擎中的业务规则进行比对(规则引擎同时负责加载进行规则比对所需要的其他外部数据)，对符合业务规则比对结果的，按照规则-结果关系输出分析结果。规则引擎的存在可以做到灵活的定义规则和在线调整规则。规则引擎使用Rate算法。

同时为解决大批量数据比对后差异数据和冗余数据较多的情况，为能够快速、高效完成对数据的清理和对简单分析数据的判定，引入基于数据特征的分类方法。

总体系统架构包括：

整个数据一致性结果分析系统分为5个部分：

关联规则库：集中保存对数据进行关联验证所需的各类业务知识转化的判定规则，用于规则的管理和重用。

特征规则库：集中管理对数据特征分析所需要的相关规则，用于此类规则的管理和重用。

规则引擎：是规则的运行环境，负责编译和执行。

任务调度：负责各个结果分析任务的调度工作，同时负责关联规则和特征规则的执行顺序控制。

数据管理组件：负责数据的抽取、预处理、过滤，包括比对差异结果数据和进行关联验证所需要的其他。

结果分析组件：对分析结果数据进行整合和统计，形成结果报表。

基本设计思路：

通过对差异数据的归类以及综合维护人员的实际处理经验，目前整理出来的针对异常数据的定位方式包括：

1、数据差异所在的字段，可以直接对应到某个处理环节或者某种原因；

2、差异数据的某个字段的，不同的值可以对应到某个处理环节或异常原因；

3、通过差异数据与其他相关业务数据的数据关联关系，来判定对应的处理环节和异常原因；

4、上述三种情况的结合。

通过对上述4种情况的分析，第一和第二种是通过对差异数据本身的字段或者数据进行分析，然后通过差异情况与固话的业务规则进行关联，得出相应的差异原因和所处环节。第二种则复杂一些，除了对异常数据本身的数据分析外，还需要关联其他业务处理过程数据，通过相互间的数据验证，来判断异常原因和环节，这种验证往往是需要与多个业务数据源进行验证的。第四种情况则是上述两个方法的整合。

基于上述分析结果，本系统采用两层体系进行异常分析定位：

1、基于直接数据特征的定位，主要是基于对数据值的规则判断，将差异数据定位到具体的异常类型中，再根据特征库中固化的异常类型与处理环节、异常原因的对应关系，得到相应的分析结果。

由于此类分析相对简单，也不需要关联太多的业务数据，通过对异常数据本身进行判断即可，并且通过此类判断，可以大幅度的辨识常见的、无需进一步分析的数据，因此在系统中，首先运用此方法对异常数据进行初步的判断和分类，针对那些需要由复杂业务规则进行判定的，则在此步骤后分线程进行单独处理。

2、基于数据关系验证的定位，主要是根据差异数据的类型和所属业务等信息，引入不同的业务数据，通过异常数据和业务数据间的数据验证，判断异常所在环节和原因。

此方法会涉及大量的业务数据，不同的业务类型会有不同的业务规则树，在执行路径上也会有区别，因此需要使用规则引擎进行逐条的判断。

附图说明

图1为本发明所述的数据一致性差异原因的分析和定位的方法流程图；

图2为本发明所述的数据一致性差异原因的分析和定位的系统结果框图。

附图中，各标号所代表的部件列表如下：

1、采集模块，2、判断模块，3、数据差异模块，4、加载模块，5、特征匹配模块，6、特征定位模块，11、差异数据获取模块，12、预处理模块，61、特征库模块，62、规则运算模块，63、差异定位模块，64、结果分析模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明所述的数据一致性差异原因的分析和定位的方法，具体包括以下步骤：

步骤1：采集一致性比对得到的差异数据，并对差异数据进行预处理；

步骤2：基于业务类型对差异数据进行切分，判断切分后的差异数据是否存在直接数据差异，如果是，执行步骤3；否则，执行步骤4；

步骤3：基于数据值的规则进行匹配，将差异数据定位到具体的异常类型中获得差异数据的差异原因，并对定位结果进行结果分析，结束；

步骤4：对规则引擎进行初始化，加载特征库和源数据；

步骤5：将差异数据与特征库中的特征相匹配，获得至少一个特征，构成与差异数据相对应的差异特征组；

步骤6：从差异特征组中取一个特征，根据特征库中配置的数据特征模板，对差异数据进行逐级分类，将差异数据具体定位到具体数据特征中，获得差异数据的特征差异原因，并对定位结果进行结果分析；

步骤7：判断所述差异特征组是否还存在未分类特征，如果是，删除已分类特征，执行步骤6；否则，结束。

所述步骤1具体包括以下步骤：

步骤1.1：采集一致性比对得到的差异数据，并对差异数据进行完整性校验和数据归档处理；

步骤1.2：将差异数据进行格式转换和处理，并将处理后的差异数据存入数据库。

所述步骤6中的将差异数据定位到具体数据特征中，是根据差异数据的类型和所属业务等信息，引入不同的业务数据，通过异常数据和业务数据间的数据验证，判断异常所在环节和原因。

所述步骤6具体包括以下步骤：

步骤6.1：从差异特征组中取一个特征，根据特征库中配置的数据特征模板解析得到规则内容；

步骤6.2：根据特征库内的数据抽取规则获取业务数据，参与对差异数据的特征判断，通常是根据异常数据与各业务数据间的关联关系获取；

步骤6.3：从特征库内提取特征匹配算法，对异常数据和业务数据进行多重匹配与规则判断，从而最终确认差异数据的特征符合程度；

步骤6.4：对定位结果进行结果分析。

所述对定位结果的结果分析包括原因汇总、权重计算、生成结果报告和统计分析等。

如图2所示，为本发明所述的数据一致性差异原因的分析和定位的系统，包括采集模块1、判断模块2、数据差异模块3、加载模块4、特征匹配模块5和特征定位模块6；

所述采集模块1用于采集一致性比对得到的差异数据，并对差异数据进行预处理；

所述判断模块2用于基于业务类型对差异数据进行切分，判断切分后的差异数据是否存在直接数据差异，如果是，触发数据差异模块3；否则，触发加载模块4；

所述数据差异模块3用于基于数据值的规则进行匹配，将差异数据定位到具体的异常类型中获得差异数据的差异原因，并对定位结果进行结果分析，结束；

所述加载模块4用于对规则引擎进行初始化，加载特征库和源数据；

所述特征匹配模块5用于将差异数据与特征库中的特征相匹配，获得至少一个特征，构成与差异数据相对应的差异特征组；

所述特征定位模块6用于从差异特征组中取所有特征，依次进行根据特征库中配置的数据特征模板，对差异数据进行逐级分类，将差异数据具体定位到具体数据特征中，获得差异数据的特征差异原因，并对定位结果进行结果分析。

所述采集模块1包括差异数据获取模块11和预处理模块12；

所述差异数据获取模块11用于采集一致性比对得到的差异数据，并对差异数据进行完整性校验和数据归档处理；

所述预处理模块12用于将差异数据进行格式转换和处理，并将处理后的差异数据存入数据库。

所述特征定位模块6中的将差异数据定位到具体数据特征中，是根据差异数据的类型和所属业务等信息，引入不同的业务数据，通过异常数据和业务数据间的数据验证，判断异常所在环节和原因。

所述特征定位模块6包括特征库模块61、规则运算模块62、差异定位模块63和结果分析模块64；

所述特征库模块61用于从差异特征组中取一个特征，根据特征库中配置的数据特征模板解析得到规则内容；

所述规则运算模块62用于根据特征库内的数据抽取规则获取业务数据，参与对差异数据的特征判断，通常是根据异常数据与各业务数据间的关联关系获取；

所述差异定位模块63用于从特征库内提取特征匹配算法，对异常数据和业务数据进行多重匹配与规则判断，从而最终确认差异数据的特征符合程度；

所述结果分析模块64用于对定位结果进行结果分析。

所述对定位结果的结果分析包括原因汇总、权重计算、生成结果报告和统计分析等。

整体运行步骤：

1、文件形式获取一致性比对差异数据；

2、根据特征库中配置的数据特征模板，对差异数据进行逐级分类；

3、根据不同的特征分类，基于规则库设定的条件，对不同的特征使用不同规则进行进一步的判断；

4、存在多重判断逻辑的，运用rate算法进行多次规则运算；

5、进行结果数据的整合。

基于直接数据特征定位技术实现：

1、根据异常数据的基本信息，例如业务类型、所属系统等，从特征库中提取对应的特征分析规则组，规则组是多条规则的集合；

2、对异常数据运用规则组的各个规则，每个规则执行后的结果形成单独的数据块放入缓存；

3、特征规则组中规则执行没有先后顺序，因此一条异常数据可能同时存在于多个数据块中；

4、对于每一个数据块，系统会按照规则库中定义的后续执行标示，分别作为独立的进程进行后续处理。

后续处理包括：

1)对于基于特征判断后能够准确定位的数据，不需要再执行其他规则的，直接存入数据库作为结果数据

2)对于基于特征判断后仍不能准确定位，只是做简单分类，需要进一步关联验证数据的，作为下一个环节的处理输入数据。具体执行后续的哪类规则，则是根据在特征库中记录的后续执行规则ID决定

基于数据关联验证的技术实现：

1、输入数据为特征分析后的分类数据；

2、通过获取后续执行规则ID，从规则库中获取相应的规则集合，按照规则优先顺序形成规则树；

3、引擎按照规则树逐个执行单个规则；

4、每个规则执行时，首先基于规则配置从数据库中获取所需验证的业务数据，然后按照规则配置中的验证规则，逐条对异常数据进行验证。验证结果按照规则库中对结果的动作定义，进行处理。需要进行下一步处理的，由任务调度组件进行后续规则执行。

结果分析与整合功能技术实现：

由于系统将特征分析和数据验证分析作为两个相对独立的部分运行，因此可能存在一条异常记录对应多个分析结果的情况，系统需要针对这些分析结果进行整合，得到一个最终可信的异常原因结果。

1、分别获取一条异常记录对应的特征分析和数据验证差异原因；

2、从规则库和特征库中获取异常原因的评定优先级以及检查是否存在包含关系；

3、按照优先级大小以及包含关系进行具体定位，对于存在优先级差异但不存在包含关系的结果，按照优先级大小为先后顺序同时列出。对于存在包含关系的，一般使用分析粒度更细的结果作为最终结果。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据一致性差异原因的分析和定位的方法，其特征在于，具体包括以下步骤：

步骤1：采集一致性比对得到的差异数据，并对差异数据进行预处理；

步骤2：基于业务类型对差异数据进行切分，判断切分后的差异数据是否存在直接数据差异，如果是，执行步骤3；否则，执行步骤4；

步骤3：基于数据值的规则进行匹配，将差异数据定位到具体的异常类型中，获得差异数据的差异原因，并对定位结果进行结果分析，结束；

步骤4：对规则引擎进行初始化，加载特征库和源数据；

步骤5：将差异数据与特征库中的特征相匹配，获得至少一个特征，构成与差异数据相对应的差异特征组；

步骤6：从差异特征组中取一个特征，根据特征库中配置的数据特征模板，对差异数据进行逐级分类，将差异数据定位到具体数据特征中，获得差异数据的特征差异原因，并对定位结果进行结果分析；

步骤7：判断所述差异特征组是否还存在未分类特征，如果是，删除已分类特征，执行步骤6；否则，结束。

2.根据权利要求1所述的一种数据一致性差异原因的分析和定位的方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1.1：采集一致性比对得到的差异数据，并对差异数据进行完整性校验和数据归档处理；

步骤1.2：将差异数据进行格式转换，并将转换后的差异数据存入数据库。

3.根据权利要求1或2所述的一种数据一致性差异原因的分析和定位的方法，其特征在于，所述步骤6中的将差异数据定位到具体数据特征中，是根据差异数据的类型和所属业务信息，引入不同的业务数据，通过异常数据和业务数据间的数据验证，判断异常所在环节和原因。

4.根据权利要求3所述的一种数据一致性差异原因的分析和定位的方法，其特征在于，所述步骤6具体包括以下步骤：

步骤6.1：从差异特征组中取一个特征，根据特征库中配置的数据特征模板解析得到规则内容；

步骤6.2：根据特征库内的数据抽取规则获取业务数据，参与对差异数据的特征判断；

步骤6.3：从特征库内提取特征匹配算法，对异常数据和业务数据进行多重匹配与规则判断，从而最终确认差异数据的特征符合程度；

步骤6.4：对定位结果进行结果分析。

5.根据权利要求1所述的一种数据一致性差异原因的分析和定位的方法，其特征在于，所述对定位结果的结果分析包括原因汇总、权重计算、生成结果报告和统计分析。

6.一种数据一致性差异原因的分析和定位的系统，其特征在于，包括采集模块、判断模块、数据差异模块、加载模块、特征匹配模块和特征定位模块；

所述采集模块用于采集一致性比对得到的差异数据，并对差异数据进行预处理；

所述判断模块用于基于业务类型对差异数据进行切分，判断切分后的差异数据是否存在直接数据差异，如果是，触发数据差异模块；否则，触发加载模块；

所述数据差异模块用于基于数据值的规则进行匹配，将差异数据定位到具体的异常类型中获得差异数据的差异原因，并对定位结果进行结果分析，结束；

所述加载模块用于对规则引擎进行初始化，加载特征库和源数据；

所述特征匹配模块用于将差异数据与特征库中的特征相匹配，获得至少一个特征，构成与差异数据相对应的差异特征组；

所述特征定位模块用于从差异特征组中取所有特征，依次进行根据特征库中配置的数据特征模板，对差异数据进行逐级分类，将差异数据定位到具体数据特征中，获得差异数据的特征差异原因，并对定位结果进行结果分析。

7.根据权利要求6所述的一种数据一致性差异原因的分析和定位的系统，其特征在于，所述采集模块包括差异数据获取模块和预处理模块；

所述差异数据获取模块用于采集一致性比对得到的差异数据，并对差异数据进行完整性校验和数据归档处理；

所述预处理模块用于将差异数据进行格式转换，并将转换后的差异数据存入数据库。

8.根据权利要求6或7所述的一种数据一致性差异原因的分析和定位的系统，其特征在于，所述特征定位模块中的将差异数据定位到具体数据特征中，是根据差异数据的类型和所属业务信息，引入不同的业务数据，通过异常数据和业务数据间的数据验证，判断异常所在环节和原因。

9.根据权利要求8所述的一种数据一致性差异原因的分析和定位的系统，其特征在于，所述特征定位模块包括特征库模块、规则运算模块、差异定位模块和结果分析模块；

所述特征库模块用于从差异特征组中取一个特征，根据特征库中配置的数据特征模板解析得到规则内容；

所述规则运算模块用于根据特征库内的数据抽取规则获取业务数据，参与对差异数据的特征判断，通常是根据异常数据与各业务数据间的关联关系获取；

所述差异定位模块用于从特征库内提取特征匹配算法，对异常数据和业务数据进行多重匹配与规则判断，从而最终确认差异数据的特征符合程度；

所述结果分析模块用于对定位结果进行结果分析。

10.根据权利要求6所述的一种数据一致性差异原因的分析和定位的系统，其特征在于，所述对定位结果的结果分析包括原因汇总、权重计算、生成结果报告和统计分析。