CN114331654A - 一种基于hive的页面配置对账系统和方法 - Google Patents

Abstract

本发明提出了一种基于hive的页面配置对账系统和方法，该系统包括对账平台和大数据平台；对账平台包括应用部署模块和数据存储中间件，应用部署模块包括前端分发器、前端页面服务器、后端分发器和后端逻辑服务器，数据存储中间件用于存储配置数据；前端分发器和后端分发器分别用于将请求分发至前端页面服务器和后端逻辑服务器；前端页面服务器用于展示页面，后端逻辑服务器用于处理请求；大数据平台包括SPARK任务流和HIVE数据库，SPARK任务流定时扫描对账数据库中待对账任务，HIVE数据库用于保存待对账数据。本发明通过页面配置对账方式，针对银行对账场景多，需要快速响应的的情况，实现了快速开发，准确对账的功能。

Description

一种基于hive的页面配置对账系统和方法

技术领域

本发明涉及软件系统开发技术领域，具体而言，涉及一种基于hive的页面配置对账系统和方法。

背景技术

随着金融业的发展，金融场景在不断的丰富中，资金交易的类型在不断增加，对资金交易的安全把控也越来越严格，凡是涉及到资金的交易都应该做对账以确保资金安全。因此，对账的需求在不断增加。

在传统的对账中，需要编码实现上下游系统的对账，获取到上下游对账表/对账单的数据字段、格式，根据唯一id排序，匹配双方唯一id后对比状态和金额，根据不同的结果进行下一步操作。传统对账产品存在如下缺陷：1.数据量大，系统可能内存不足；2.改状态后不支持重跑；3.多次重跑对账结果不同；4.各对账系统逻辑类似，重复造轮子；5.代码编写复杂，耗时长，尤其是新建系统，还涉及到增加服务器，部署和维护等，增加服务器成本和维护成本；6.新开发的系统易存在bug。例如：开科公司开发的对账系统，其功能复杂，界面不友好，不易上手，外部依赖较多，难以部署安装及维护，无法做到充分适配银行对账场景。

发明内容

鉴于上述问题，本发明提供了一种基于hive的页面配置对账系统和方法，其通过页面配置对账方式，针对银行资金交易中对账场景多，需要快速响应的的情况，实现了快速开发，准确对账的功能。

为解决上述技术问题，本发明采用的技术方案是：一种基于hive的页面配置对账系统，包括对账平台和大数据平台，及配套服务器；所述对账平台包括应用部署模块和数据存储中间件，所述应用部署模块包括前端分发器、前端页面服务器、后端分发器和后端逻辑服务器，所述数据存储中间件包括REDIS集群和对账数据库，分别用于存储临时数据和配置数据；所述前端分发器用于将请求分发至前端页面服务器，所述后端分发器用于将请求分发至后端逻辑服务器；所述前端页面服务器用于展示页面，所述后端逻辑服务器用于处理请求；所述大数据平台包括SPARK任务流和HIVE数据库，所述SPARK任务流定时扫描对账数据库中的待对账任务，并提交到yarn集群中执行，所述HIVE数据库用于保存待对账数据。

作为优选方案，所述配套服务器包括：单点登录服务器，用于控制统一账号登录；EMP服务器，用于集成多个管理系统；SCM服务器，用于保存配置参数；DBSP服务器，用于定时启动对账任务；FTP服务器，用于储存对账结果。

本发明还提供了一种基于hive的页面配置对账方法，包括如下步骤：根据对账双方的业务数据库中流水表结构，在HIVE数据库中创建至少两个hive表，所述hive表结构与流水表相同；获取所述hive表信息，并根据所述hive表信息配置对账平台的数据源；执行SPARK任务流获取所述hive表字段信息，将所述hive表字段信息作为字段模板存储于对账数据库；配置对账规则，根据所述对账规则匹配对账双方的唯一id、状态和金额，生成对账结果和结果码；根据对账双方的字段模板、对账结果和FTP地址，配置结果集信息；配置完成后，生成sql语句，所述sql语句包括结果集字段和对账规则；获取待对账任务，及与所述待对账任务对应的sql语句，执行所述sql语句，获取对账结果文件。

作为优选方案，所述HIVE数据库内配置有TDATA表和ODATA表，则所述hive表的构建，包括：当对账一方的数据存储于同一张流水表中，则无需构建hive表，直接使用ODATA表；当对账一方的数据分别存储于多张流水表中，则构建hive表，用于集合多张流水表数据。

作为优选方案，所述生成对账结果，包括：根据对账规则中对账双方字段进行匹配，生成对账结果和对应结果码，所述对账结果包括id匹配成功且金额状态相等、id数据源A有且数据源B没有、id数据源B有且数据源A没有、状态不等、金额不等中的一种或多种。

作为优选方案，所述获取待对账任务之前，还包括大数据日常抽数，具体为：通过大数据平台定时从对账双方的业务数据库中抽取流水表信息，并将其存储于TDATA表和ODATA表中，再将所述ODATA表中的数据抽取至hive表。

作为优选方案，所述获取待对账任务，包括：响应手动或定时触发信号，在对账数据库的待对账任务表中添加待对账任务；SPARK任务流中的jar包定时扫描所述待对账任务表，获取对应待对账任务。

作为优选方案，所述执行sql语句，包括：通过SPARK任务流将所述sql语句提交至大数据平台的yarn集群中执行，同时构建临时hive表，将所述hive表中数据转发至临时hive表，通过对账双方的临时hive表进行对账。

与现有技术相比，本发明的有益效果包括：

1.通过页面配置实现对账，不需要编写任何代码即可实现对账，页面友好，研发、产品、运营人员均可配置对账任务，了解对账需求即可，门槛较低；

2.缩短开发周期，配置对账任务比较简单，大大缩短开发周期；

3.节省人力成本，当前各资金交易系统的对账逻辑大同小异，使用对账平台可以快速实现对账，避免重复造轮子；

4.节约运维成本，当前各资金交易系统基本都有专门对账的应用，使用对账平台统一实现对账可以节省服务器的成本和运维成本；

5.减少bug的产生，对账平台是经过大量数据考验的成熟对账产品，正确使用的情况下可以大大减少bug的产生。

附图说明

参照附图来说明本发明的公开内容。应当了解，附图仅仅用于说明目的，而并非意在对本发明的保护范围构成限制。在附图中，相同的附图标记用于指代相同的部件。其中：

图1为本发明实施例的基于hive的页面配置对账系统的结构示意图；

图2为本发明实施例的基于hive的页面配置对账方法的流程示意图；

图3为本发明实施例的构建hive表的流程示意图；

图4为本发明实施例的对账任务的结构示意图。

具体实施方式

容易理解，根据本发明的技术方案，在不变更本发明实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。

下面对本发明实施例中涉及到的专业名词进行解释：

对账业务:某个需求或某项业务，一个对账业务可以对应多个对账任务。

对账任务配置：记录对账任务信息，保存所属的业务编码，对账周期，双方数据源，对账结果表信息。

执行的对账任务记录:执行某对账业务(biz_id)的某对账任务(task_id)的记录，每次对账有唯一的id，记录对账结果，对平笔数，差异笔数，对平金额，差异金额，账期等信息。新增对账任务时，构建此对象，状态为待执行，等待spark任务扫描，执行结束后更新对账结果数据。

数据源:数据来源,通过配置模板,字段来描述一个文件或者一张表.可以是ftp文件,也可以是hive表。若某方对账数据来自多个表，多个数据源可以组合成为新的数据源。可以横向或纵向合并数据源。

数据字段模板：根据大数据表结构或对账单文件字段结构生成的模板，保存在对账平台中。

数据源模板字段：记录此数据源模板中，具体的字段信息。

对账匹配规则：根据业务逻辑，在页面上将对账双方数据字段模板中需要匹配的唯一id、交易状态、金额等字段相互匹配。

结果码：根据匹配规则生成的若干种对账结果，每种对账结果用一个结果码来表示。

结果集：配置对账结果中结果码对应的数据。

任务结果集执行记录：记录对账任务执行结果，对平及不平笔数等。

告警信息配置：记录某对账任务对应的告警配置，短信方式还是邮件方式，告警内容等，当对账出错时发送短信或发送邮件通知。

执行分析大数据表记录：执行解析大数据表任务记录，包含数据源模板信息，大数据配置信息。新增解析大数据表任务时，构建此对象，状态为待执行，等待spark任务扫描，执行结束后获取到大数据表结构信息，更新数据源模板字段表。

结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。

根据本发明的一实施方式结合图1示出。一种基于hive的页面配置对账系统，包括对账平台和大数据平台，及配套服务器。业务人员通过PC端登录对账系统，向对账系统发送对账请求。

上述对账平台包括应用部署模块和数据存储中间件，该应用部署模块包括前端分发器、前端页面服务器、后端分发器和后端逻辑服务器。其中，前端分发器用于将对账请求分发至前端页面服务器，后端分发器用于将请求分发至后端逻辑服务器；前端页面服务器用于展示页面，如图片、按钮等。后端逻辑服务器用于处理请求。数据存储中间件包括REDIS集群和对账数据库，REDIS集群用于存储临时数据，对账数据库用于存储配置数据，如对账规则、字段模板、待对账任务表等数据。

上述大数据平台包括SPARK任务流和HIVE数据库，SPARK任务流定时扫描对账数据库中的待对账任务，并提交到yarn集群中执行，HIVE数据库用于保存待对账数据。

具体的，上述配套服务器包括：单点登录服务器，其全称为ISSO内网单点登录服务器，为苏宁公司自行开发的一款用于控制统一账号登录的服务器系统，各系统接入后都可以通过统一账号登录，不用分别注册账号。EMP服务器，用于集成多个管理系统，例如：有三个后台管理系统，可以通过EMP服务器集成到一起，在左侧菜单添加三个链接，点击链接后右侧展示对应的系统页面。SCM服务器，用于保存配置参数。DBSP服务器，即定时调度系统，用于定时启动对账任务。FTP服务器，用于储存对账结果，并接入业务系统供其获取对账结果文件。

参见图2，本发明还提供了一种基于hive的页面配置对账方法，包括如下步骤：

S101，根据对账双方的业务数据库中流水表结构，在HIVE数据库中创建至少两个hive表，hive表结构与流水表相同。

例如，AAA系统的流水表的结构为：

表信息：userInfo

表名：username varchar

表ID：userid varchar

生效时间：createTime date

在大数据平台的某个schema(模式)下，比如BBBschema，构建结构相同的hive表。Schema与用户相对应，即一个schema对应一个用户。

例如，hive表结构为：

表信息：AAA_userinfo

表名：username

表ID：userid

生效时间：createTime

优选的，在hive表名前加系统名和下划线，以防各系统有相同名字的表混淆。

参见图3，在HIVE数据库内配置有TDATA表和ODATA表，TDATA表、ODATA表结构和数据均与业务数据库中流水表一致,则hive表的构建，包括：

当对账一方的数据存储于同一张流水表中，则无需构建hive表，直接使用ODATA表；

当对账一方的数据分别存储于多张流水表中，则构建hive表，用于集合多张流水表数据，进行联合查询。

S102，获取hive表结构信息，并根据hive表结构配置对账平台的数据源。具体包括：

(1)通过页面操作将hive表AAA_userinfo配置为对账平台的数据源。即将schema与表名相匹配，例如：

schema：BBBschema

表名：AAA_userinfo

(2)通过跑spark任务到hive表中执行命令：desc BBBschema.AAA_userinfo，得到如下表结构信息：

AAA_userinfo

username

userid

createTime

(3)对账平台将hive表结构信息保存到对账数据库的配置表中。

S103，执行SPARK任务流获取hive表字段信息，将hive表字段信息作为字段模板存储于对账数据库。

将“获取字段模板”任务提交到spark任务流，spark任务流执行desc hive表命令，获取hive表字段信息，返回对账平台，对账平台将字段信息作为模板落库。

S104，配置对账规则，根据对账规则匹配对账双方的唯一id、状态和金额，生成对账结果和结果码。

对账规则为：在页面上可以选择对账双方匹配的id，如对账A侧选择流水号trans_nbr，对账B侧选择流水号transNbr，双方以此字段的值匹配，再选择双方状态和金额，即可实现由id匹配后，比较状态和金额。

上述生成对账结果，包括：根据对账规则中对账双方字段(流水号id、状态、金额)进行匹配。一般场景中，根据id匹配后，比对状态和金额，此时生成5种对账结果和对应结果码。当然，若根据id匹配后，只比对状态，则生成生成4对账结果。如果比对的字段更多，对账结果的种类相应更多。也可以选择在最终生成的对账结果文件中输出哪几种对账结果的数据。

5种对账结果包括：

A00000，id匹配成功且金额状态相等；

A00001，id数据源A有且数据源B没有；

A00002，id数据源B有且数据源A没有；

A00003，状态不等；

A00004，金额不等。

本发明实施例中，上述对账方法还包括：

S105，根据对账双方的字段模板、对账结果和FTP地址，配置结果集信息。

配置结果集信息，包括：选择输出结果码、输出方式(FTP地址或HIVE表)、文件类型、编码格式等。还可以在配置对账结果文件中选择要输出对账双方表中的字段，以及调整字段顺序。

FTP地址信息在页面上手动配置，配置参数包括：FTP地址、端口号、FTP模式、用户名、密码、日期格式和存放地址。

S106，配置完成后，生成sql语句，sql语句包括结果集字段和匹配规则。

获取对账双方表结构和对账规则后，即可按照固定格式生成sql语句。该sql语句包括：

(1)查找对平数据sql：

select A表/B表字段

from A表inner join(等值连接)B表

on A表.日期＝日期参数

and B表.日期＝日期参数

and A表.流水号＝B表.流水号

and A表.状态＝B表.状态

and A表.金额＝B表.金额；

其中，inner join(等值连接)表示只返回两个表中联结字段相等的行。最终需要搜索的字段在结果集中配置，日期参数在启动对账任务时指定，比较哪些字段由对账规则中配置。

(2)查找A侧多流水号数据sql：

select A表/B表字段

from A表left join(左联接)B表

on A表.日期＝日期参数

and B表.日期＝日期参数

and A表.流水号＝B表.流水号

where B表.流水号is null；

其中，left join(左联接)表示返回包括A表中的所有记录和B表中联结字段相等的记录。最终需要搜索的字段在结果集中配置，日期参数在启动对账任务时指定，双方流水号字段由对账规则中配置。

(3)查找状态不等数据sql：

select A表/B表字段

from A表inner join(等值连接)B表

on A表.日期＝日期参数

and B表.日期＝日期参数

and A表.流水号＝B表.流水号

where A表.状态！＝B表.状态

其中，inner join(等值连接)表示只返回两个表中联结字段相等的行。最终需要搜索的字段在结果集中配置，日期参数在启动对账任务时指定，双方流水号字段由对账规则中配置。

S107，获取待对账任务，及与所述待对账任务对应的sql语句，执行所述sql语句，获取对账结果文件。

本发明实施例中，在获取待对账任务之前，还包括大数据日常抽数，具体为：通过大数据平台定时从对账双方的业务数据库中抽取流水表信息，并将其存储于TDATA表和ODATA表中，再将所述ODATA表中的数据抽取至hive表。

由对账平台在大数据平台IDE中配置hive任务，编写insert select语句，每日将数据抽取到hive表中，日常抽数要在对账任务之前执行。

上述获取待对账任务，包括：

(1)响应手动或定时触发信号，在对账数据库的待对账任务表中添加待对账任务。抽数完毕后，DBSP服务器发送请求到对账平台的后端逻辑服务器，在对账数据库的待对账任务表里添加一条待对账任务。

(2)SPARK任务流中的jar包定时扫描所述待对账任务表，获取对应待对账任务。

上述执行sql语句，包括：通过SPARK任务流将所述sql语句提交至大数据平台的yarn集群中执行，同时构建临时hive表，将所述hive表中数据转发至临时hive表，通过对账双方的临时hive表进行对账。

参见图4，在页面配置中，通过配置数据源、数据字段模板、匹配规则，结果集、结果码、对账结果文件信息来确定如何生成搜索到对账结果的sql语句。将该sql语句通过spark任务流在hive表上执行，生成最终的对账结果文件。

将对账结果文件发送到ftp服务器，或将对账结果数据插入结果表中，并发送邮件至邮件服务器通知业务系统开发人员。若执行过程中出现问题，发送短信至短信平台通知对应业务系统开发人员。通过RSF或http通知对应业务系统接口对账完毕，并向业务系统发送对账结果文件地址等信息；业务系统获取对账结果文件后并解析，做下一步处理。

可选的，对账任务执行时通过yarn集群实现，即将sql语句作为计算任务，被分解为多个子任务提交到yarn集群上执行。当对账系统有性能压力时，可以为大数据平台的yarn集群添加服务器，使每台服务器执行任务量变少即可。

综上所述，本发明的有益效果包括：通过页面配置实现对账，不需要编写任何代码即可实现对账，页面友好，研发、产品、运营人员均可配置对账任务，了解对账需求即可，门槛较低；缩短开发周期，配置对账任务比较简单，大大缩短开发周期；节省人力成本，当前各资金交易系统的对账逻辑大同小异，使用对账平台可以快速实现对账，避免重复造轮子；节约运维成本，当前各资金交易系统基本都有专门对账的应用，使用对账平台统一实现对账可以节省服务器的成本和运维成本；减少bug的产生，对账平台是经过大量数据考验的成熟对账产品，正确使用的情况下可以大大减少bug的产生。

应理解，所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的技术范围不仅仅局限于上述说明中的内容，本领域技术人员可以在不脱离本发明技术思想的前提下，对上述实施例进行多种变形和修改，而这些变形和修改均应当属于本发明的保护范围内。

Claims (8)

1.一种基于hive的页面配置对账系统，其特征在于，包括对账平台和大数据平台，及配套服务器；

所述对账平台包括应用部署模块和数据存储中间件，所述应用部署模块包括前端分发器、前端页面服务器、后端分发器和后端逻辑服务器，所述数据存储中间件包括REDIS集群和对账数据库，分别用于存储临时数据和配置数据；

所述前端分发器用于将请求分发至前端页面服务器，所述后端分发器用于将请求分发至后端逻辑服务器；所述前端页面服务器用于展示页面，所述后端逻辑服务器用于处理请求；

所述大数据平台包括SPARK任务流和HIVE数据库，所述SPARK任务流定时扫描对账数据库中的待对账任务，并提交到yarn集群中执行，所述HIVE数据库用于保存待对账数据。

2.根据权利要求1所述的基于hive的页面配置对账系统，其特征在于，所述配套服务器包括：

单点登录服务器，用于控制统一账号登录；

EMP服务器，用于集成多个管理系统；

SCM服务器，用于保存配置参数；

DBSP服务器，用于定时启动对账任务；

FTP服务器，用于储存对账结果。

3.一种基于hive的页面配置对账方法，其特征在于，包括如下步骤：

根据对账双方的业务数据库中流水表结构，在HIVE数据库中创建至少两个hive表，所述hive表结构与流水表相同；

获取所述hive表信息，并根据所述hive表信息配置对账平台的数据源；

执行SPARK任务流获取所述hive表字段信息，将所述hive表字段信息作为字段模板存储于对账数据库；

配置对账规则，根据所述对账规则匹配对账双方的唯一id、状态和金额，生成对账结果和结果码；

根据对账双方的字段模板、对账结果和FTP地址，配置结果集信息；

配置完成后，生成sql语句，所述sql语句包括结果集字段和对账规则；

获取待对账任务，及与所述待对账任务对应的sql语句，执行所述sql语句，获取对账结果文件。

4.根据权利要求3所述的基于hive的页面配置对账方法，其特征在于，所述HIVE数据库内配置有TDATA表和ODATA表，则所述hive表的构建，包括：

当对账一方的数据存储于同一张流水表中，则无需构建hive表，直接使用ODATA表；

当对账一方的数据分别存储于多张流水表中，则构建hive表，用于集合多张流水表数据。

5.根据权利要求3所述的基于hive的页面配置对账方法，其特征在于，所述生成对账结果，包括：根据对账规则中对账双方字段进行匹配，生成对账结果和对应结果码，所述对账结果包括id匹配成功且金额状态相等、id数据源A有且数据源B没有、id数据源B有且数据源A没有、状态不等、金额不等中的一种或多种。

6.根据权利要求3所述的基于hive的页面配置对账方法，其特征在于，所述获取待对账任务之前，还包括大数据日常抽数，具体为：

通过大数据平台定时从对账双方的业务数据库中抽取流水表信息，并将其存储于TDATA表和ODATA表中，再将所述ODATA表中的数据抽取至hive表。

7.根据权利要求3所述的基于hive的页面配置对账方法，其特征在于，所述获取待对账任务，包括：

响应手动或定时触发信号，在对账数据库的待对账任务表中添加待对账任务；

SPARK任务流中的jar包定时扫描所述待对账任务表，获取对应待对账任务。

8.根据权利要求3所述的基于hive的页面配置对账方法，其特征在于，所述执行sql语句，包括：通过SPARK任务流将所述sql语句提交至大数据平台的yarn集群中执行，同时构建临时hive表，将所述hive表中数据转发至临时hive表，通过对账双方的临时hive表进行对账。

Images