CN101188013A - 用于实现数据清分的框架系统及应用该框架系统的方法 - Google Patents

Abstract

本发明提供了一种用于实现数据清分的框架系统及应用该框架系统的方法，其中，所述框架系统包括：接口单元，用于实现原始数据的输入和清分结果的输出，包括数据读取器和数据写入器；辅助单元，用于辅助完成数据清分过程；组合处理器，用于实现多种逻辑组合接口，所述逻辑组合接口包括与、或、非、异或；所述逻辑组合接口用于连接完成数据清分过程的具体处理器。与现有技术相比，本发明实现了一个通用的数据清分框架系统，此框架系统可以高效地实现一个具有可扩展性、高性能、高可用性的数据清分系统。

Description

用于实现数据清分的框架系统及应用该框架系统的方法

技术领域

本发明涉及数据处理领域，尤其涉及一种用于实现数据清分的框架系统及应用所述的框架系统建立和运行一种数据清分系统的方法。

背景技术

数据清分系统是一种常见的业务处理系统，在银行卡、金融和通信等领域应用广泛。它可以根据企业的业务需求，对大批量的企业数据进行扫描、分流和归类，并对分类后的数据进行转换、计算和统计等处理，以获得期望的业务数据。如：银行卡交易清分系统，可以对银行卡交易数据按照交易所属的机构进行分类，并对分类的交易数据按照业务规则进行格式转换、费用计算和汇总统计等一系列处理，最后输出的数据可供银行卡交易系统生成报表和明细文件，进行资金清算之用。

数据清分系统的特点是业务逻辑密集、性能要求高、需求变动频繁。目前的数据清分系统一般为纯过程系统，采用面向过程的方式设计和实现，系统由若干处理流程组成，通常使用过程性计算机编程语言(如：C语言等)来实现。

这种方式的主要缺点是：

1、不能很好的适应业务流程的变更，当需要业务流程发生变化时，系统适应变更的能力差。由于系统中各个模块的功能不独立，相互关联，在修改了一个模块后，其他的相关模块也必须进行适应性的修改，在实际的使用维护中，为实现一个业务流程的变更，常常需要进行大量的系统修改，系统不能及时准确的适应业务需求的变更。

2、业务逻辑与具体的技术实现混杂，不易分离，系统质量差。系统的业务逻辑和技术实现部分未分开处理，造成维护人员在处理业务逻辑方面的修改时，还必须考虑技术细节的具体实现问题，不能把全部精力放在业务逻辑的设计上，系统的设计上存在缺陷，质量低。

3、维护成本高。当需要根据业务流程的变更修改系统时，维护人员需要付出很多精力关注不同方面的细节，修改时间长，而且维护人员不仅要懂得具体业务方面的知识，还必须精通技术实现，对维护人员要求高，系统的维护时间成本和人员成本高。

4、抽象层次低，复用性和功能扩展能力弱。系统对具体业务流程中的基本功能没有很好的抽象，基本功能单元中带有具体业务的特征，不能很好的用在不同的业务流程中，继承后，也需要大量更改代码来适应新的业务，不能很好的由原有系统的功能扩展而实现新的功能。

5、系统性能难以保证。系统构架不清晰，不能很好的从总体上组织好各个业务流程，这样在具体的业务流程的组织中存在重复部分和流程的混乱，影响系统的运行效率，降低了系统性能。

发明内容

本发明所要解决的技术问题是提供一种用于实现数据清分的框架系统以及应用系统建立和运行一种数据清分系统的方法，以解决现有系统不能适应业务流程的变更、系统质量差、维护成本高、复用性和扩展能力差等问题。

为了解决上述问题，本发明提供了一种用于实现数据清分的框架系统，包括：

接口单元，用于实现原始数据的输入和清分结果的输出，包括数据读取器和数据写入器；

辅助单元，用于辅助完成数据清分过程；

组合处理器，用于实现多种逻辑组合接口，所述逻辑组合接口包括与、或、非、异或；所述逻辑组合接口用于连接完成数据清分过程的具体处理器。

其中，所述数据读取器和数据写入器适应多种具体IO设备。

优选的，所述辅助单元为日志记录器和异常处理器。

优选的，所述的框架系统还可以包括：统计单元，用于对处理完的当前数据按照预置统计方式进行统计汇总。

优选的，所述的框架系统还可以包括：公共数据存储单元，用于存储清分过程中的配置参数和/或中间数据。

本发明还公开了一种应用权利要求1所述的框架系统建立和运行一种数据清分系统的方法，包括以下步骤：

提供一框架系统，所述框架系统包括：接口单元，用于实现原始数据的输入和清分结果的输出，包括数据读取器和数据写入器；辅助单元，用于辅助完成数据清分过程；组合处理器，用于实现多种逻辑组合接口，所述逻辑组合接口包括与、或、非、异或，所述逻辑组合接口用于连接完成数据清分过程的具体处理器；公共数据存储单元，用于存储清分过程中的配置参数和/或中间数据；

根据具体数据清分过程的业务逻辑，对所述公共数据存储单元的存储空间的具体结构进行设定；

实现各种针对该具体数据清分过程的具体处理器，所述具体处理器包括条件处理器、数据处理器和配置参数获取处理器，所述具体处理器均继承所述组合处理器实现的所述逻辑组合接口；

根据所述逻辑组合接口组装所述各种具体处理器，生成针对该具体数据清分过程的数据清分系统，所述各个处理器通过组装规则相连而构成多条数据处理路径；

运行该数据清分系统，依次读取每笔交易数据，沿合适的数据处理路径，调用组装连接的具体处理器，完成数据清分过程。

优选的，所述的方法可以包括，对处理完的当前数据按照预置统计方式进行统计汇总。

其中，所述数据读取器和数据写入器适应多种具体IO设备。所述辅助单元为日志记录器和异常处理器。

优选的，所述的方法可以包括，在所述组装过程中复用一个或者多个具体处理器。

优选的，所述的方法可以包括，不同的条件处理器、数据处理器和配置参数获取处理器采用所述逻辑组合接口形成一新的具体处理器。

与现有技术相比，本发明实现了一个通用的数据清分框架系统，此框架系统可以高效地实现一个具有可扩展性、高性能、高可用性的数据清分系统。与现有技术相比，本发明具有以下优点：

1、简化开发过程。由于提供了一个开发框架系统，开发者只需要针对具体的业务需求实现具体的参数配置空间、清分数据缓存空间、条件判断处理器和动作处理器等组件即可，可以将精力集中在实现业务需求上，不需要考虑技术实现的细节，提高了开发的效率；

2、系统扩展性和灵活性提高。由于采用了框架系统，对于增加业务需求的情况，只需要增加相应的参数配置空间和条件判断处理器、动作处理器即可，对于原有代码的改动极小甚至为零；

3、系统质量提高，降低维护成本。系统的架构清晰，易于扩展，模块间耦合度小，对于系统的后期维护非常有利；

4、易于实现高性能系统。由于系统架构的清晰和简易，避免了传统实现方式的重复流程和逻辑混乱，提高了系统整体性能，实际上系统的性能情况将主要取决于IO设备的性能；

5、有利于软件复用。清分框架中的日志记录器、异常处理器、计算器以及数据读取器、数据写入器等组件与具体业务的关联性不大，可以复用到其他的系统中，已经实现了的具体处理器可以在框架系统中重复使用，避免重复开发导致的成本浪费。

附图说明

图1是本发明的一种用于实现数据清分的框架系统框图；

图2是应用本发明的框架系统建立的一种清分系统的结构框图；

图3是应用本发明的框架系统建立和运行一种数据清分系统的方法框图；

图4a，是本发明一具体实施例的环境信息获取处理逻辑图；

图4b，是本发明一具体实施例的本金清算处理逻辑图；

图4c，是本发明一具体实施例的手续费清算处理逻辑图；

图4d，是本发明一具体实施例的原交易环境获取处理逻辑图；

图4e，是本发明一具体实施例的回退本金清算处理逻辑图；

图4f，是本发明一具体实施例的回退清算处理逻辑图；

图4g，是本发明一具体实施例的回退手续费清算处理逻辑图。

实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，是本发明一种用于实现数据清分的框架系统框图。

本发明提出了一种实现数据清分系统的框架系统。利用这种框架系统，可以帮助开发人员根据实际业务的需要，快速方便的建立所需要的数据清分系统，并能够在框架系统中运行所建立的数据清分系统，所建立的数据清分系统具有可扩展、易维护、高性能和可复用等良好的技术特性。

本发明的框架系统具体包括以下部件：

接口单元101，用于实现原始数据的输入和清分结果的输出，包括数据读取器1011和数据写入器1012；

辅助单元102，用于辅助完成数据清分过程；

组合处理器103，用于实现多种逻辑组合接口，所述逻辑组合接口包括与、或、非、异或；所述逻辑组合接口用于连接完成数据清分过程的具体处理器。

在具体的数据清分系统中，各种具体业务流程的需要对数据进行处理，这些数据的处理过程可以分成两种类型：条件类处理和动作类处理，条件类处理是根据原始待清分数据的具体特征进行判断，如果符合条件要求，则输出结果为真，若否，结果为假；动作类处理是指对待处理的数据进行计算、字段补充和格式转换等处理，得到处理结果数据。可以根据具体业务的要求先建立一些进行这两类处理的基本处理过程，这些基本处理过程实现最基本的条件判断和单一的动作处理，这些基本处理过程功能独立，不互相依赖，可以单独的进行修改和维护，不影响其他的基本处理过程；这些基本处理过程还可以由与、或、非、异或等多种逻辑关系相互组合，构成新的处理过程，例如，由两个条件类处理按与关系相互组合，两者输出都为真时，组合结果输出真，其它情况输出假。条件处理和动作处理可以构成条件→行为的逻辑关系，当满足一定的条件时，执行一定的动作，并得到执行结果。把这些新的处理过程再进行逻辑组合，就能实现更复杂的处理功能，进而实现数据清分系统的数据处理功能。

在本框架系统中，由组合处理器103实现各种逻辑组合接口，所述逻辑组合接口包括与、或、非、异或等。具体清分系统的数据处理的功能由各种具体处理器完成，具体处理器在实现时继承由组合处理器103实现的各种逻辑接口，并在继承的基础上扩充具体的功能，形成特定功能的具体处理器，例如可以实现不同的条件判断处理器、配置参数获取处理器，数据转换处理器等，配置参数获取处理器用于搜索和得到符合数据特征的处理参数，数据转换处理器用于对数据进行转换加工，并输出结果，以备其他具体处理器和输出设备使用。它们之间还可以由逻辑关系的组合形成条件→行为逻辑关系，从而构成新的动作处理器，当原始数据满足一定的条件就执行对数据的某种操作。具体处理器之间也可以进行递归调用，递归调用可以简化一些复杂计算的实现方法。对具体处理器进行逻辑关系上的组装，就可以形成具体的数据清分系统。

下面与、或、非、异或四种逻辑组合接口分别进行介绍，其中，使用C代表条件类，A代表动作类，用序号来区分不同的条件或动作。

1、AND(与)规则，当组合对象是条件时，使用方式为AND(C1，C2)，条件C1和条件C2之间是与关系，即C1和C2都为真时，返回真，其他情况返回；当组合对象是动作时，使用方式为AND(A1，A2)，当A1和A2两动作都执行成功时，返回成功，其他情况返回失败。

2、OR(或)规则，当组合对象是条件时，使用方式为OR(C1，C2)，条件C1和条件C2之间是或关系，即C1和C2都为假时，返回假，其他情况返回真；当组合对象是动作时，使用方式为OR(A1，A2)，当A1和A2两动作都执行失败时，返回失败，其他情况返回成功。

3、NOT(非)规则，当组合对象是条件时，使用方式为NOT(C)，条件C为假时，返回真，条件C为真时，返回假；当组合对象是动作时，使用方式为NOT(A)，当A执行失败时，返回成功，当A执行成功时，返回失败。

4、‘IFELSE’(异或)规则，使用方式IFELSE(C，A1，A2)，构造的新的动作的执行含义为如果满足条件C，则执行动作A1，反之执行动作A2。

在实现了具体的清分系统后，就可以进行数据的清分清分处理，接口单元101的数据读取器1011接收待进行清分处理的原始数据，发送给组合处理器103，组合处理器103得到需要进行清分的原始数据后，使用预先生成的条件处理器对原始数据进行分析，根据分析结果决定后续的处理步骤，如决定是否需要配置参数获取处理器和数据转换处理器发生作用，并且决定使用哪些配置参数获取处理器和数据转换处理器。如果需要获取配置参数的话，配置参数获取处理器搜索到符合原始数据特征的处理配置参数，相应的数据转换处理器按照获取的配置参数对原始数据进行转换加工，转换加工后的数据暂存起来，满足一定条件时由接口单元101的数据写入器1012把数据写入到输出设备中。辅助单元102用于在上述处理过程中的提供计算辅助功能。

优选的，所述数据读取器1011和数据写入器1012可以适应多种具体IO设备。在实际的使用中，数据的存储的方式可以有多种形式，如，从数据读取器读入的原始数据的数据可以是从数据文件、数据库或者是从网络得到，而数据写入处理器也可以是把输出数据写入数据文件、数据库或者是网络。

优选的，所述辅助单元102为日志记录器1021和异常处理器1022。日志处理器1021用于记录数据处理过程的日志信息，异常处理器1022用于记录数据处理过程中的出错信息，两者结合可以作为分析系统运行情况的依据，并可以在系统出错时帮助维护人员判断错误的类型。

优选的，上述系统还包括统计单元106，用于对处理完的当前数据按照预置统计方式进行统计汇总，统计结果可以清晰的反应数据处理的结果的特征，并可帮助业务人员进行数据分析。

优选的，上述系统还包括公共数据存储单元107，用于存储清分过程中的配置参数和/或中间数据。公共数据存储单元107可以包含多个参数配置空间，由配置参数获取处理器根据具体的待清分的数据的需要选择相应的配置参数进行获取，本单元还用于保存清分过程中的中间结果数据，当满足一定条件后，例如数据缓存区接近满载、数据处理量达到指定的数值等，由接口单元101中的数据写入器1012把本单元中的数据写入输出设备。

参见图2，是应用本发明的框架系统建立的一种清分系统的结构框图，图中的条件判处理器、配置参数获取处理器，数据转换处理器和统计处理器是由框架系统的组合处理器通过各种逻辑组合规则连接的具体处理器。数据读取器204用于接收需要处理的清分数据，参数配置空间201用于存储清分系统所需要的处理参数，清分数据缓存空间202用于存储清分处理过程中的中间结果，如未完成全部数据统计时存放在计算机内存中的中间结果。当清分数据处理完成时，由数据写入器203将数据写入到输出设备上，图中所包含的其它部件功能以已经在上述框架系统中做过相关介绍。

图2得到的清分系统按照以下顺序完成数据处理过程：

首先对数据进行扫描，确定当前数据的特征；

然后按照当前数据的特征，将数据分流到相应的后续处理模块；具体的处理过程可以包括：根据当前数据的特征，搜索到与之对应的配置参数；根据搜索到的配置参数，对当前数据进行计算、字段补充、格式转换等处理；以及对处理完的当前数据按某些统计方式进行统计、汇总；

最后，将处理完的单笔数据和统计数据写入文件或数据库。

参见图3，是应用本发明的框架系统建立和运行一种数据清分系统的方法框图，具体说明如下。

预先提供一框架系统，本框架系统用于提供一个开发平台，使用者可以利用此平台上提供的各种部件，方便的根据具体的业务逻辑的需要，开发出对应的清分系统。所述框架系统包括：接口单元，用于实现原始数据的输入和清分结果的输出，包括数据读取器和数据写入器；辅助单元，用于辅助完成数据清分过程；组合处理器，用于实现多种逻辑组合接口，所述逻辑组合接口包括与、或、非、异或，所述逻辑组合接口用于连接完成数据清分过程的具体处理器；公共数据存储单元，用于存储清分过程中的配置参数和/或中间数据。

具体包括下列步骤：

步骤301，根据具体数据清分过程的业务逻辑，对所述公共数据存储单元的参数配置空间的具体结构进行设定。公共数据存储单元是供各个模块访问的全局数据区，其中的参数配置空间用于存放清分过程中不易变的配置参数。对于各个不同的清分的业务需求，参数配置空间的具体的结构也有所不同。

步骤302，实现各种针对该具体数据清分过程的具体处理器，所述具体处理器包括条件处理器、数据处理器和配置参数获取处理器，所述具体处理器均继承所述组合处理器实现的所述逻辑组合接口。

在本框架系统中，采用由组合处理器实现各种逻辑接口，所述逻辑组合接口包括与、或、非、异或等，具体清分系统的数据处理的功能由各种具体处理器完成，具体处理器在实现时继承由组合处理器实现的各种逻辑接口，并在继承的基础上扩充具体的功能，例如可以实现不同的条件判断处理器、配置参数获取处理器，数据转换处理器等，条件判断处理器用于对原始数据中条件进行判断，决定后续的处理步骤，配置参数获取处理器用于搜索和得到符合数据特征的处理参数，数据转换处理器用于对数据进行转换加工，并输出结果，以备其他具体处理器和输出设备使用。

参见图4a到图4g，是本发明一具体实施例的处理逻辑图，其中

图4a，是本发明一具体实施例的环境信息获取处理逻辑图；

图4b，是本发明一具体实施例的本金清算处理逻辑图；

图4c，是本发明一具体实施例的手续费清算处理逻辑图；

图4d，是本发明一具体实施例的原交易环境获取处理逻辑图；

图4e，是本发明一具体实施例的回退本金清算处理逻辑图；

图4f，是本发明一具体实施例的回退清算处理逻辑图；

图4g，是本发明一具体实施例的回退手续费清算处理逻辑图

图4a到图4g是以一个比较简单的清算系统为例，可以描述为以下推理逻辑来实现：

如果满足普通交易条件，获取普通交易清算信息；

如果满足清算到商户，获取商户清算信息；

如果清算到终端，获取终端清算信息；

如果满足本金清算条件，计算本金；

如果满足手续费计算条件，计算手续费(

    如果清算到商户，计算商户手续费，否则计算普通手续费；

    如果普通条件，计算普通分润；

    如果清算到商户，计算商户分润；

    如果满足计算终端分润条件，计算终端分润；

)

如果满足回退计算条件，计算回退手续费(

   如果原交易需要清算到商户，获取原始交易商户清算信息；

   如果原始交易需要清算到终端，获取原始交易终端清算信息；

   如果原始交易满足本金清算条件，回退本金；

   如果原始交易满足手续费清算条件，回退手续费(

      如果原始交易清算到商户，回退商户手续费，否则回退普通手续

  费；

      如果原始交易满足普通条件，回退普通利润；

      如果原始交易满足清算到商户，回退商户分润；

      如果原始交易满足计算终端分润条件，回退终端分润；

    )

)

把上述逻辑描述可以改写为推理式，表示如下：

CommCond＝＞PpCtxGetter

MchnCond＝＞PpMchnCtxFGetter

TermSCond＝＞PpTermCtxGetter

AtCond＝＞AtProcessor

FeeCond＝＞(

  MchnCond＝＞MchnDisc

  CommDisc

  CommCond＝＞CommAllot

  MchnCond＝＞MchnAllot

  TermCond＝＞TermAllot

)

RevCond＝＞(

  OrigCommCond＝＞PpOrigCtxGetter

  OrigMchnCond＝＞PpOrigMchnCtxGetter

  OrigTermCond＝＞PpOrigTermCtxGetter

  OrigAtCond＝＞RevAtProcessor

  OrigFeeCond＝＞(

    OrigMchnCond＝＞RevMchnDisc

    RevCommDisc

    OrigCommCond＝＞RevCommAllot

    OrigMchnCond＝＞RevMchnAllot

    OrigTermCond＝＞RevTermAllot

  )

)

使用组合图表示上述推理式，如图4a-图4g所示。本领域技术人员可以从组合图中，容易得到如下的条件、动作处理器：

本金清算条件处理器(SettleAtCond)

手续费清算条件处理器(SettleFeeCond)

回退清算条件处理器(SettleRevCond)

普通交易条件处理器(CommCond)

商户分润条件处理器(MchnCond)

终端分润条件处理器(TermCond)

原交易本金清算条件处理器(SettleOrigAtCond)

原交易手续费清算条件处理器(SettleOrigFeeCond)

原交易普通处理条件处理器(OrigCommCond)

原交易商户分润条件处理器(OrigMchnCond)

原交易终端分润条件处理器(OrigTermCond)

普通清算环境获取处理器(PpCtxGetter)

商户分润清算环境获取处理器(PpMchnCtxGetter)

终端分润清算环境获取处理器(PpTermCtxGetter)

原交易普通清算环境获取处理器(PpOrigCtxGetter)

原交易商户分润清算环境获取处理器(PpOrigMchnCtxGetter)

原交易终端分润清算环境获取处理器(PpOrigTermtxGetter)

本金处理处理器(PpSettleAtProcessor)

手续费处理处理器(PpTotalDiscProcessor)

商户手续费处理处理器(PpMchnDiscProcessor)

分润处理(普通/商户)处理器(PpDiscAllotProcessor)

终端分润处理器(PpTermAllotProcessor)

回退手续费处理器(PpTotalDiscRevProcessor)

回退商户手续费处理器(PpMchnRevDiscProcessor)

回退(普通/商户)手续费分润处理器(PpDiscAllotRevProcessor)

回退终端分润处理器(PpTermAllotRevProcessor)

优选的，不同的条件处理器、数据处理器和配置参数获取处理器采用所述逻辑组合接口可以形成条件→行为逻辑关系，从而构成新的具体处理器，这种方式可以方便的扩充系统的功能。具体处理器之间也可以进行递归调用。

步骤303，根据所述逻辑组合接口组装所述各种具体处理器，生成针对该具体数据清分过程的数据清分系统，所述各个处理器通过组装规则相连而构成多条数据处理路径，从而建立出具体的数据清分系统。不同路径的执行依靠条件判断处理器对原始数据的判断结果来确定。

用代码实现步骤302中得到的所有处理器，然后根据交易数据的性质使用组合处理器进行粘合，就可以完成清算系统的构建。各处理器没有耦合关系，系统构建方便，使用推导方式实现工业组装的系统构建。本发明适合于所有业务处理系统，特别适用于所有处理逻辑复杂的系统，如复金融类清算系统，电信类计费系统等等。因为本发明各个处理器的开发过程并不会随着整个业务逻辑的复杂而变复杂，仍然是作为一个基本处理器进行开发即可，并且大部分的基本处理器还是可以复用的，更加进一步减少了开发难度和节省了开发资源。

步骤304，运行该数据清分系统，依次读取每笔交易数据，沿合适的数据处理路径，调用组装连接的具体处理器，完成数据清分过程。

在框架系统的环境下运行所建立的清分系统，接口单元的数据读取器接收待清分处理的原始数据，发送给组合处理器，组合处理器得到需要进行清分的原始数据后，使用条件处理器对原始数据进行分析，根据分析结果决定后续的处理路径，如是否需要配置参数获取处理器和数据转换处理器发生作用，并且决定使用哪些配置参数获取处理器和数据转换处理器。如果需要获取配置参数的话，配置参数获取处理器搜索到符合原始数据特征的处理参数，相应的数据转换处理器按照获取的配置参数对原始数据进行转换加工，把转换加工后的数据送到公共数据存储单元的数据缓存区暂存，当数据缓存区接近满载或者数据处理量达到指定的数值时，由接口单元中的数据写入器把数据缓存区数据数据写入输出设备。辅助单元用于在上述处理过程中的提供计算辅助功能。

优选的，还可以对处理完的当前数据按照预置统计方式进行统计汇总，统计结果可以清晰的反应数据处理结果的特征，并可帮助业务人员进行数据分析。

优选的，数据读取器和数据写入器适应多种具体IO设备。在实际的使用中，数据的提供和存储的方式可以有多种形式，如，从数据读取器读入的原始数据的数据可以是从数据文件、数据库或者是从网络得到，数据写入处理器也可以是把输出数据写入数据文件、数据库或者是网络。

下面以银行卡数据清分系统为例进一步说明本发明。

对于一个银行卡数据清分系统，该系统需要在一定时间内处理大量的银行卡交易数据，如：消费、取款、存款、转帐等交易数据。

银行卡数据清分系统所要做的工作是：

对交易进行按笔处理，根据交易的种类(消费还是取款)计算交易的本金和手续费，其算法根据用户的具体业务规则来确定，对于不同的用户是各不相同的。处理过程如发生错误，清分系统可以进行适当的处理，如记录错误日志等；

按照交易的所属机构(各清算方)对交易数据进行分拣和归并；

根据处理的结果生成各种明细文件和资金报表，供交易相关参与方生参考。

如果采用本发明所提供的框架进行设计，则可以包括以下步骤：根据业务配置需求设计参数配置空间的具体结构，根据清分数据结构设计清分数据缓存空间的具体结构；按照业务逻辑，实现条件判断处理器和动作处理器，可使用C++、java等面向对象的语言实现；按照总体处理流程的需要，组装处理器；如果需要的话，针对IO的特殊性设计数据读取器和数据写入器；最后，将所有的组件组合成完整系统，进行测试即可。

使用本发明的框架系统在开发一个针对具体业务需求的数据清分系统时，开发人员的主要工作是设计业务数据结构和对应业务逻辑的条件处理器、动作处理器等，这种开发模式使得开发人员可以将精力集中到复杂的业务逻辑上，而不至于在系统的稳定性、性能和结构等技术因素上耗费过多的精力，从而极大地降低了系统设计、开发的难度，提高了设计、开发的效率。

以上对本发明所提供的一种用于实现数据清分的框架系统以及应用本框架系统建立和运行一种数据清分系统的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种用于实现数据清分的框架系统，其特征在于，包括：

接口单元，用于实现原始数据的输入和清分结果的输出，包括数据读取器和数据写入器；

辅助单元，用于辅助完成数据清分过程；

组合处理器，用于实现多种逻辑组合接口，所述逻辑组合接口包括与、或、非、异或；所述逻辑组合接口用于连接完成数据清分过程的具体处理器。

2.如权利要求1所述的框架系统，其特征在于，所述数据读取器和数据写入器适应多种具体IO设备。

3.如权利要求1所述的框架系统，其特征在于，所述辅助单元为日志记录器和异常处理器。

4.如权利要求1所述的框架系统，其特征在于，还包括：

统计单元，用于对处理完的当前数据按照预置统计方式进行统计汇总。

5.如权利要求1所述的框架系统，其特征在于，还包括：

公共数据存储单元，用于存储清分过程中的配置参数和/或中间数据。

6.一种应用权利要求1所述的框架系统建立和运行一种数据清分系统的方法，其特征在于，

提供一框架系统，所述框架系统包括：接口单元，用于实现原始数据的输入和清分结果的输出，包括数据读取器和数据写入器；辅助单元，用于辅助完成数据清分过程；组合处理器，用于实现多种逻辑组合接口，所述逻辑组合接口包括与、或、非、异或，所述逻辑组合接口用于连接完成数据清分过程的具体处理器；公共数据存储单元，用于存储清分过程中的配置参数和/或中间数据；

根据具体数据清分过程的业务逻辑，对所述公共数据存储单元的存储空间的具体结构进行设定；

实现各种针对该具体数据清分过程的具体处理器，所述具体处理器包括条件处理器、数据处理器和配置参数获取处理器，所述具体处理器均继承所述组合处理器实现的所述逻辑组合接口；

根据所述逻辑组合接口组装所述各种具体处理器，生成针对该具体数据清分过程的数据清分系统，所述各个处理器通过组装规则相连而构成多条数据处理路径；

运行该数据清分系统，依次读取每笔交易数据，沿合适的数据处理路径，调用组装连接的具体处理器，完成数据清分过程。

7.如权利要求6所述的方法，其特征在于，还包括，对处理完的当前数据按照预置统计方式进行统计汇总。

8.如权利要求6所述的方法，其特征在于，所述辅助单元为日志记录器和异常处理器。

9.如权利要求6所述的方法，其特征在于，还包括：

在所述组装过程中复用一个或者多个具体处理器。

10.如权利要求6所述的方法，其特征在于，还包括：

不同的条件处理器、数据处理器和配置参数获取处理器采用所述逻辑组合接口形成一新的具体处理器。

Images