CN110378778A - 多数据源对账方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种多数据源对账方法、系统、电子设备及存储介质，其中对账方法包括：提供数据适配器，用来实时接入多种数据源；根据系统的数据属性处理规则，用数据转换引擎将接收到的数据实时的转为标准的对账数据模型；根据数据的特征信息，筛选对账数据模型中的对账数据；通过核对对账数据的属性值进行两两对账。可以提取实时数据，实现多种数据源接入，适配不同文件格式，满足多个交易链路、交易种类、交易场景对账。

Description

多数据源对账方法、系统、电子设备及存储介质

技术领域

本发明涉及金融信息技术领域，特别是涉及一种多数据源对账方法、系统、电子设备及存储介质。

背景技术

对账系统，是指在一个清算周期内，为保证双方或多方交易平台数据记录正确可靠，对数据中的有关数据进行检查和核对的系统。随着互联网金融的迅猛发展，越来越多的业务从线下转到线上，交易量越来越大，而往往账务相关的交易场景往往会与多个核心进行交互，由前置系统串接多个核心来完成一笔交易。因此，对账系统存在交易量大、交易场景复杂、多个交易系统，同时对账系统之间的交互异常时就会导致一笔交易在各个核心的结果不一致等问题。

公开号为108509392A的中国发明专利申请，其主要公开如下技术内容：

1、解析标准对账文件格式，获取各个交易系统的对账文件。

2、根据标准对账文件格式配置对账数据模型，从而获取对账结果；

3、根据对账结果动态配置对账结果文件；

4、对账文件格式要求低，降低客户工作量；利用批量核对方式进行对账，提高对账效率；

5、采用滚动序号对账的方式，提高对账的灵活性，以实现对账要素动态配置和对账结果动态输出等效果。

但是，上述方案中，在分布式系统中，只能获取对账文件，不能提取实时数据；对账文件的格式、内容不可能全部一致，缺少统一的数据转换引擎，对账文件有些需要关联操作，缺少数据标准数据模型的关联组装；根据对账结果动态配置对账结果文件，不能满足多个交易链路、交易种类、交易场景；真实的场景，再加上夜间的批量对账方式，很多需要实时对账、及时发现差错，没有不差错补偿机制。

发明内容

本发明的目的在于提供一种多数据源对账方法、系统、电子设备及存储介质，可以提取实时数据，实现多种数据源接入，适配不同文件格式，满足多个交易链路、交易种类、交易场景对账。

为实现上述目的，本发明提供了一种多数据源对账方法，包括：提供数据适配器，用来实时接入多种数据源；根据系统的数据属性处理规则，用数据转换引擎将接收到的数据实时的转为标准的对账数据模型；根据数据的特征信息，筛选对账数据模型中的对账数据；通过核对对账数据的属性值进行两两对账。

可选的或优选的，根据交易环境配置差错帐的补偿次数和周期。

可选的或优选的，差错帐的补偿次数至少10次、周期至少为3天。

可选的或优选的，所述处理规则包括拆分规则、映射规则、转换规则、关联规则配置。

可选的或优选的，数据源的格式为txt、csv或json。

可选的或优选的，所述数据转换引擎支持内置的通用函数和个性自定义的函数。

可选的或优选的，所述数据转换引擎能够实现数据的转换、数据的萃取、数据的过滤加工、指定特征数据的选择。

本发明还提供一种基于通用对账数据模型的多数据源对账系统，包括：数据适配器，其用来实时接入多种数据源；数据转换引擎，其根据系统的数据属性处理规则，将接收到的数据实时的转为标准的对账数据模型；筛选模块，其根据数据的特征信息筛选对账数据模型中的对账数据；以及核对模块，其通过核对对账数据的属性值进行两两对账。

本发明还提供一种电子设备，其包括处理器和存储器；存储器，用于存储操作指令；处理器，用于通过调用操作指令，执行上述多数据源对账方法。

本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的多数据源对账方法。

本发明提供的技术方案带来的有益效果是：实现多种数据源接入，适配不同文件格式；针对不同格式内容做通用的转换，数据转换引擎支持内置的通用函数，个性自定义的函数，方便了属性的提取、转换；两两系统间对账，可以根据配置化参数，灵活适应系统的数据内容格式、属性名字的变动、对账方式变更的需求。

附图说明

图1是本发明实施例提供的多数据源对账系统的架构图；

图2是本发明实施例提供的多数据源对账方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。显然，所描述的实施例实际上仅仅是说明性的或者示例性的，决不作为对本发明及其应用或使用的任何限制。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的全部细节均已了解的情况下实施。下面对实施例的描述仅仅是为了通过展示本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例提供一种多数据源对账方法，包括如下步骤：

第一步，提供数据适配器，用来实时接入多种数据源。该步骤主要是数据接入，支持多种接入方式，包括kafka流式数据，大数据导出的txt、csv数据，或程序中对象生产的json对象数据。提供数据适配器，可接入txt、csv、json、实时的流式数据等多种数据源。

第二步，根据系统的数据属性处理规则，用数据转换引擎将接收到的数据实时的转为标准的对账数据模型。通过配置，可以指定不同数据使用不同的方式，最终都转换为标准数据模型存储在缓存中。具体地，通过关键属性字段映射，表达式引擎，将不同的系统的账务流水，转化为标准结构的账务流水。转换支持简单的字段映射，比如属性重命名；个性化转换比如金额单位转换、日期时间格式转换、字符串分隔等操作。支持引擎的内置函数，例如：str_to_date(str,format)字符串转日期，double(str)字符串转双精度数据，也支持自定义扩展的函数做特殊复杂的处理，可以随意绑定到数据引擎中。处理规则一般包括拆分规则、映射规则、转换规则、关联规则配置，用数据转换引擎可以把接收到的数据实时的转为标准的对账模型。例如多个系统的交易日期采用的格式有可能不同，金额的单位精度有可能不同，有的属性需要解析复杂的报文体才能获取，有的对账记录需要多条关联才能获取我们想要的格式。

4提供多少数据接入方式，所以支持多种对账方式

5提供针对差错帐的补偿策略，可配置为固定的次数(差错帐可以补偿10次)、固定时间周期(补偿3天内的差错帐)，针对日切时候发生的交易，或是节假日发生的交易操作。

第三步，根据数据的特征信息，筛选对账数据模型中的对账数据。该步骤中，根据数据的特征、关键信息，在对账数据模型中筛选出需要进行对账的数据。

第四步，通过核对对账数据的属性值进行两两对账。该步骤中，用两组标准结构的财务流水对账，基于标准数据模型的对账方式支持简单的属性对比，特殊属性的预期值对比，特殊公式，逻辑表达式的对比，实现通用化。因为不同系统间的对账方式、对账规则都不同，有的需要核对金额、有的需要核对状态，有的需要核对交易码。

作为一种优选实施例，根据交易环境，提供针对差错帐的补偿策略，可配置为固定的次数(差错帐可以补偿至少10次)、固定时间周期(补偿至少3天内的差错帐)，针对日切时候发生的交易，或是节假日发生的交易操作。

作为一种优选实施例，数据引擎可以实现数据的转换、数据的萃取、数据的过滤加工、指定特征数据的选择。支持多种数据源按照指定的规则转换为固定的标准数据模型；支持数据属性的简单映射，数据内容的类型转换，复杂数据报文体的再提取加工；支持针对数据特征的在一组数据集合中选择目标数据。

如图2所示，本实施例提供一种基于通用对账数据模型的多数据源对账系统，包括数据适配器、数据转换引擎、筛选模块以及核对模块，数据适配器用来实时接入多种数据源，数据转换引擎根据系统的数据属性处理规则，将接收到的数据实时的转为标准的对账数据模型。筛选模块根据数据的特征信息筛选对账数据模型中的对账数据，核对模块通过核对对账数据的属性值进行两两对账。数据适配器用来实时接入多种数据源，实现多种数据源接入，适配不同文件格式。针对不同格式内容做通用的转换，数据转换引擎支持内置的通用函数，个性自定义的函数，方便了属性的提取、转换。例如时间戳转日期：str_to_date(123456789)返回一个日志类型date，double(‘1234’)返回double类型的属性。两两系统间对账，可以根据配置化参数，灵活适应系统的数据内容格式、属性名字的变动、对账方式变更的需求，例如账管系统和卡管系统对账时，采用对比金额、对比状态和对比交易码。

本实施例还提供一种电子设备，其包括处理器和存储器。所述存储器，用于存储操作指令；所述处理器，用于通过调用所述操作指令，执行上述多数据源对账方法。

本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述多数据源对账方法。

除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明专利发明说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。

以上所述仅为本发明的示例实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多数据源对账方法，其特征在于，包括：

提供数据适配器，用来实时接入多种数据源；

根据系统的数据属性处理规则，用数据转换引擎将接收到的数据实时的转为标准的对账数据模型；

根据数据的特征信息，筛选对账数据模型中的对账数据；

通过核对对账数据的属性值进行两两对账。

2.根据权利要求1所述的多数据源对账方法，其特征在于，还包括差错帐的补偿步骤，该步骤根据交易环境配置差错帐的补偿次数和周期。

3.根据权利要求2所述的多数据源对账方法，其特征在于，差错帐的补偿次数至少10次、周期至少为3天。

4.根据权利要求1所述的多数据源对账方法，其特征在于，所述处理规则包括拆分规则、映射规则、转换规则、关联规则配置。

5.根据权利要求1所述的多数据源对账方法，其特征在于，数据源的格式为txt、csv或json。

6.根据权利要求1所述的多数据源对账方法，其特征在于，所述数据转换引擎支持内置的通用函数和个性自定义的函数。

7.根据权利要求1所述的多数据源对账方法，其特征在于，所述数据转换引擎能够实现数据的转换、数据的萃取、数据的过滤加工、指定特征数据的选择。

8.一种基于通用对账数据模型的多数据源对账系统，其特征在于，包括：

数据适配器，其用来实时接入多种数据源；

数据转换引擎，其根据系统的数据属性处理规则，将接收到的数据实时的转为标准的对账数据模型；

筛选模块，其根据数据的特征信息筛选对账数据模型中的对账数据；以及

核对模块，其通过核对对账数据的属性值进行两两对账。

9.一种电子设备，其特征在于，其包括处理器和存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，执行上述权利要求1-7中任一项所述的多数据源对账方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述权利要求1-7中任一项所述的多数据源对账方法。