CN110428319A

CN110428319A - 一种数据比对平台、方法、设备和存储介质

Info

Publication number: CN110428319A
Application number: CN201910717437.XA
Authority: CN
Inventors: 王文武; 谭仕朝
Original assignee: Shenzhen Lexin Software Technology Co Ltd
Current assignee: Shenzhen Lexin Software Technology Co Ltd
Priority date: 2019-08-05
Filing date: 2019-08-05
Publication date: 2019-11-08
Anticipated expiration: 2039-08-05
Also published as: CN110428319B

Abstract

本发明实施例公开了一种数据比对平台、方法、设备和存储介质，所述数据比对平台包括：平台架构模块和比对配置模块，其中，所述平台架构模块，用于存储所述数据比对平台中各数据比对业务共享的平台架构；所述比对配置模块，用于配置所述数据比对业务的配置参数。本发明实施例提供的数据比对平台简化了对账业务的开发流程，加快了开发速度，降低了开发成本。

Description

一种数据比对平台、方法、设备和存储介质

技术领域

本发明实施例涉及数据技术领域，尤其涉及一种数据比对平台、方法、设备和存储介质。

背景技术

对账是企业运营领域中的记录到报告过程中的重要过程。例如，在某一企业中，在总分类账内、在分类账与子分类账之间、在公司间分类账之间的对账以及在多个企业之间，在银行对账单与现金账户之间的对账。

目前企业的对账通常通过对账平台完成，而不同的对账业务的数据来源、对账规则等可能不同，因此当有新的对账业务时，需要重新开发该对账业务的业务代码，开发完成后再线上验证。现有的对账平台存在如下缺点：一方面对账业务方需要为对账平台的研发人员与产品人员讲解对账业务需求；另一方面对账平台的产品人员与研发人员也需要耗时耗力理解业务需求，然后根据理解的需求为业务量身开发设计一套对账规则，耗时耗力，且每个对账业务均开发一套对应的业务代码，开发工作量大，测试重复工作量大，新的对账业务接入速度慢。

发明内容

本发明实施例提供了一种数据比对平台、方法、设备和存储介质，以实现简化对账业务的开发流程，加快开发速度，降低开发成本。

第一方面，本发明实施例提供了一种数据比对平台，包括：平台架构模块和比对配置模块，其中：

所述平台架构模块，用于存储所述数据比对平台中各数据比对业务共享的平台架构；

所述比对配置模块，用于配置所述数据比对业务的配置参数。

第二方面，本发明实施例还提供了一种数据比对方法，由如本发明实施例第一方面提供的数据比对平台执行，所述方法包括：

根据预先配置的源数据路径信息和目标数据路径信息获取数据比对业务的原始源数据和原始目标数据；

根据预先配置的数据比对规则将所述原始源数据和所述原始目标数据进行数据比对；

根据所述原始源数据和所述原始目标数据的数据比对结果以及比对结果输出规则生成所述数据比对业务的数据比对结果。

第三方面，本发明实施例还提供了一种计算机设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的数据比对方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的数据比对方法。

本发明实施例所提供的数据比对平台包括平台架构模块和比对配置模块，其中：所述平台架构模块，用于存储所述数据比对平台中各数据比对业务共享的平台架构；所述比对配置模块，用于配置所述数据比对业务的配置参数。本发明实施例所提供的数据比对平台简化了对账业务的开发流程，加快了开发速度，降低了开发成本。

附图说明

图1a是本发明实施例一所提供的数据比对平台的结构示意图；

图1b是本发明实施例一所提供的数据比对平台的数据路径配置示意图；

图1c是本发明实施例一所提供的数据比对平台的辅助数据路径配置示意图；

图2a是本发明实施例二所提供的数据比对方法的流程图；

图2b是本发明实施例二所提供的数据比对方法的流程示意图；

图3是本发明实施例三所提供的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a是本发明实施例一所提供的数据比对平台的结构示意图，本实施例所提供的数据比对平台可用于新的对账业务的开发。如图1a所示，所述数据比对平台10包括：平台架构模块110和比对配置模块120，其中：

所述平台架构模块110，用于存储所述数据比对平台中各数据比对业务共享的平台架构；

所述比对配置模块120，用于配置所述数据比对业务的配置参数。

在本实施例中，数据比对平台10包括平台架构模块110和比对配置模块120，平台架构模块110中存储有数据比对平台中各数据比对业务共享的平台架构，如各数据比对业务的共享执行逻辑，虽然各数据比对业务的数据来源、对账规则等可能不同，但是各数据比对业务执行时具有共同的执行逻辑、调用关系等，可以根据各数据比对业务共享的执行逻辑创建各数据比对业务共享的平台架构，将上述平台架构存储至平台架构模块中。比对配置模块120用于配置数据比对业务所需配置的配置参数，当需要开发新的数据比对业务或对已开发的数据比对业务进行修改时，只需在比对配置模块120中配置待开发的数据比对业务的配置参数即可。可选的，数据比对业务的配置参数可以为数据比对业务的数据源的路径信息、数据比对规则以及比对结果输出规则等参数。

需要说明的是，本发明实施例所提供的数据比对平台不仅能够实现新的数据比对业务的开发，还可以实现已有数据比对业务的修改。可选的，已有数据比对业务的修改可以通过调整已有数据比对业务的比对配置模块中的对应的配置参数实现。

在上述方案的基础上，所述比对配置模块包括：数据源配置单元、比对规则配置单元和结果输出配置单元，其中：

所述数据源配置单元，用于配置所述数据比对业务的源数据路径信息和所述数据比对业务的目标数据路径信息；

所述比对规则配置单元，用于配置所述数据比对业务的数据比对规则；

所述结果输出配置单元，用于配置所述数据比对业务的数据比对结果输出规则。

可选的，比对配置模块包括数据源配置单元，比对规则配置单元和结果输出配置单元。数据源配置单元用于配置数据比对业务的源数据路径信息和目标数据路径信息，以使在进行数据比对时，根据配置的源数据路径信息获取源数据，根据配置的目标数据路径信息获取目标数据。示例性的，本发明实施例提供的数据比对平台可以支持数据源来源于FTP文件数据，也可以支持数据来源于数据库库表数据。可选的，若数据源来源于FTP文件数据，则路径信息可以为服务器标识、服务器端口、以及登录服务器所需的用户名和密码。若数据源来源于数据库库表数据，则路径信息可以为数据库的路径以及数据源所在的实例名和/或库表名。比对规则配置单元用于配置数据比对业务的数据比对规则，可选的，数据比对规则可以为将源数据与目标数据进行数据比对时的具体规则，例如，将源数据中的某一字段对应的数据与目标数据中的某一字段对应的数据进行比对。结果输出配置单元用于配置数据比对业务的数据比对结果输出规则。示例性的，可以设置若源数据与目标数据比对失败时，如何输出数据比对结果。

图1b是本发明实施例一所提供的数据比对平台的数据路径配置示意图。图1b中示意性的示出了数据源的配置方式。如图1b所示，可以通过配置数据源管理类型、数据库实例、库名、表名、分表字段、分库分表策略、句柄等参数配置数据获取路径。图1c是本发明实施例一所提供的数据比对平台的辅助数据路径配置示意图，图1c中示意性的示出了辅助数据源的配置方式。如图1c所示，可以通过配置数据库实例、库名、表名、别名、分表映射字段、关联条件等参数配置辅助数据获取路径。

在上述方案的基础上，所述比对配置模块还包括：辅助数据源配置单元，用于配置所述数据比对业务的辅助源数据路径信息和所述数据比对业务的辅助目标数据路径信息。

可选的，比对配置模块还包括辅助数据源配置单元，用于配置数据比对业务的辅助源数据路径信息和辅助目标数据的路径信息。在进行数据比对时，除需要获取源数据和目标数据之外，还需要获取辅助源数据以及辅助目标数据，用于辅助对源数据以及目标数据进行筛选，和/或辅助将源数据和目标数据进行比对。可选的，辅助源数据和辅助目标数据可以为与源数据相关的用户信息或订单信息等数据。

在上述方案的基础上，所述比对配置模块还包括：取数规则配置单元，用于配置所述数据比对业务的源数据取数规则和/或所述数据比对业务的目标数据取数规则。

可选的，比对配置模块还包括取数规则配置单元，用于配置数据比对业务的取数规则，即拉取源数据的数据拉取规则和/或拉取目标数据的数据拉取规则。示例性的，可以在取数规则配置单元配置源数据和/或目标数据的资源文件目录、文件名、内容行/列分隔符等信息，便于获取源数据及目标数据。

在上述方案的基础上，所述比对配置模块还包括：数据筛选规则配置单元，用于配置所述数据比对业务的源数据筛选规则和/或所述数据比对业务的目标数据筛选规则。

可选的，为了使数据比对更加准确，可以在将源数据和目标数据进行比对之前，对源数据和目标数据进行筛选，将筛选后的源数据和筛选后的目标数据进行比对。在本实施例中，可以在数据筛选规则配置单元配置源数据筛选规则和/或目标数据筛选规则，以使在进行数据比对时，根据源数据筛选规则对源数据进行筛选，根据目标数据筛选规则对目标数据进行筛选。可选的，数据筛选规则可以为某一数据中不存在某一字段对应的数据，则将该数据删除。

实施例二

图2是本发明实施例二所提供的数据比对方法的流程图。本实施例可适用于进行数据比对时的情形。该方法可以由数据比对平台执行，该数据比对平台可以采用软件和/或硬件的方式实现，例如，该数据比对平台可配置于计算机设备中。如图2所示，所述方法包括：

S210、根据预先配置的源数据路径信息和目标数据路径信息获取数据比对业务的原始源数据和原始目标数据。

在本实施例中，在进行数据比对时，根据预先在数据比对平台中配置的配置参数进行数据的获取、筛选、比对以及结果输出。可选的，可以通过数据比对执行逻辑调用预先配置的源数据路径信息以及目标数据路径信息，根据获取的源数据路径信息获取用于数据比对的原始源数据，根据获取的目标数据路径信息获取用于数据比对的原始目标数据。

S220、根据预先配置的数据比对规则将所述原始源数据和所述原始目标数据进行数据比对。

获取原始源数据和原始目标数据后，通过数据比对执行逻辑调用预先配置的数据比对规则，根据获取的数据比对规则将原始源数据和原始目标数据进行比对，得到原始源数据与原始目标数据的数据比对结果。

S230、根据原始源数据和原始目标数据的数据比对结果以及比对结果输出规则生成数据比对业务的数据比对结果。

得到原始源数据与原始目标数据的数据比对结果后，调用预先配置的比对结果输出规则获取比对结果输出规则，根据原始源数据与原始目标数据的数据比对结果以及比对结果输出规则生成数据比对业务的数据比对结果，并将数据比对业务的数据比对结果输出。

本发明实施例通过根据预先配置的源数据路径信息和目标数据路径信息获取数据比对业务的原始源数据和原始目标数据；根据预先配置的数据比对规则将所述原始源数据和所述原始目标数据进行数据比对；根据所述原始源数据和所述原始目标数据的数据比对结果以及比对结果输出规则生成所述数据比对业务的数据比对结果，通过预先配置数据比对业务的配置参数，简化了对账业务的开发流程，加快了开发速度，降低了开发成本。

在上述方案的基础上，在根据预先配置的数据比对规则将所述原始源数据和所述原始目标数据进行数据比对之前，还包括：

根据预先配置的辅助源数据路径信息和辅助目标数据路径信息获取所述数据比对业务的辅助源数据和辅助目标数据；

基于所述辅助源数据，根据预先配置的源数据筛选规则对所述原始源数据进行数据筛选，得到筛选源数据；

基于所述辅助目标数据，根据预先配置的目标数据筛选规则对所述原始目标数据进行筛选，得到筛选目标数据。

在本发明的一种实施方式中，为了使数据比对结果更加准确，简化数据比对流程，在进行数据比对之前，对原始源数据和原始目标数据进行筛选。可选的，可以通过数据比对执行逻辑调用预先配置的辅助源数据路径信息以及辅助目标数据路径信息，根据获取的辅助源数据路径信息获取辅助源数据，根据获取的辅助目标数据路径信息获取辅助目标数据，然后调用预先配置的源数据筛选规则获取源数据筛选规则，调用预先配置的目标数据筛选规则获取目标数据筛选规则，基于获取的辅助源数据根据源数据筛选规则对原始源数据进行筛选，得到筛选源数据，基于获取的辅助目标数据根据目标数据筛选规则对原始目标数据进行筛选，得到筛选目标数据。

在上述方案的基础上，所述根据预先配置的数据比对规则将所述原始源数据和所述原始目标数据进行数据比对，包括：

根据预先配置的数据比对规则将所述筛选源数据和所述筛选目标数据进行数据比对；

相应的，所述根据所述原始源数据和所述原始目标数据的数据比对结果以及比对结果输出规则生成所述数据比对业务的数据比对结果，包括：

根据所述筛选源数据和所述筛选目标数据的数据比对结果以及比对结果输出规则生成所述数据比对业务的数据比对结果。

在上述方案的基础上，若将原始源数据和原始目标数据进行筛选，则在进行数据比对时，根据预先设置的数据比对规则将筛选源数据和筛选目标数据进行数据比对，并根据筛选源数据和筛选目标数据的数据比对结果生成数据比对业务的数据比对结果。

图2b是本发明实施例二所提供的数据比对方法的流程示意图。如图2b所示，从数据库(DB)类型的业务数据源以及FTP数据类型的业务数据源中，根据配置的源数据拉取策略获取业务源数据以及业务辅助数据，根据配置的目标数据拉取策略获取业务目标数据以及业务辅助数据，根据预先配置的源数据清洗策略将业务源数据进行筛选后得到业务对账源数据，根据预先配置的目标数据清洗策略将业务目标数据进行筛选后得到业务对账目标数据，将业务对账源数据和业务对账目标数据进行业务核对，然后根据配置的差错处理策略进行自动补单，并输出相应的对账结果，根据配置的通知策略，进行业务对账回调通知，并将对账差异事件推送至事件推送平台，输出相应的对账差异结果分析及数据报表。

实施例三

图3是本发明实施例三所提供的计算机设备的结构示意图。图3示出了适于用来实现本发明实施方式的示例性计算机设备312的框图。图3显示的计算机设备312仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示，计算机设备312以通用计算设备的形式表现。计算机设备312的组件可以包括但不限于：一个或者多个处理器316，系统存储器328，连接不同系统组件(包括系统存储器328和处理器316)的总线318。

总线318表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器316或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备312访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器328可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)340和/或高速缓存存储器342。计算机设备312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置344可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储器328可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块342的程序/实用工具340，可以存储在例如存储器328中，这样的程序模块342包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块342通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备312也可以与一个或多个外部设备314(例如键盘、指向设备、显示器324等)通信，还可与一个或者多个使得用户能与该计算机设备312交互的设备通信，和/或与使得该计算机设备312能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。并且，计算机设备312还可以通过网络适配器320与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器320通过总线318与计算机设备312的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备312使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器316通过运行存储在系统存储器328中的程序，从而执行各种功能应用以及数据比对，例如实现本发明实施例所提供的数据比对方法，该方法包括：

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的数据比对方法的技术方案。

实施例四

本发明实施例四还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的数据比对方法，该方法包括：

当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据比对方法中的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种数据比对平台，其特征在于，包括：平台架构模块和比对配置模块，其中：

2.根据权利要求1所述的数据比对平台，其特征在于，所述比对配置模块包括：数据源配置单元、比对规则配置单元和结果输出配置单元，其中：

3.根据权利要求2所述的数据比对平台，其特征在于，所述比对配置模块还包括：辅助数据源配置单元，用于配置所述数据比对业务的辅助源数据路径信息和所述数据比对业务的辅助目标数据路径信息。

4.根据权利要求2所述的数据比对平台，其特征在于，所述比对配置模块还包括：取数规则配置单元，用于配置所述数据比对业务的源数据取数规则和/或所述数据比对业务的目标数据取数规则。

5.根据权利要求2所述的数据比对平台，其特征在于，所述比对配置模块还包括：数据筛选规则配置单元，用于配置所述数据比对业务的源数据筛选规则和/或所述数据比对业务的目标数据筛选规则。

6.一种数据比对方法，其特征在于，由权利要求1-5任一项所述的数据比对平台执行，所述方法包括：

7.根据权利要求6所述的方法，其特征在于，在根据预先配置的数据比对规则将所述原始源数据和所述原始目标数据进行数据比对之前，还包括：

8.根据权利要求7所述的方法，其特征在于，所述根据预先配置的数据比对规则将所述原始源数据和所述原始目标数据进行数据比对，包括：

9.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求6-8中任一项所述的数据比对方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6-8中任一项所述的数据比对方法。