CN111161047A

CN111161047A - 银行业务数据处理、查询方法及装置

Info

Publication number: CN111161047A
Application number: CN201911360509.6A
Authority: CN
Inventors: 张世宜; 李杨
Original assignee: China Construction Bank Corp; CCB Finetech Co Ltd
Current assignee: China Construction Bank Corp
Priority date: 2019-12-25
Filing date: 2019-12-25
Publication date: 2020-05-15

Abstract

本发明提供了银行业务数据处理、查询方法及装置，方法包括：将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；将预处理后的银行业务源数据存储至HBASE数据库。本发明基于大数据技术支持海量数据的处理和查询，解决数据容量存储问题以及维度查询效率问题，能有效的满足历史数据分析，分维度快速展示的需求。

Description

银行业务数据处理、查询方法及装置

技术领域

本发明涉及数据处理技术，具体的讲是一种银行业务数据处理、查询方法及装置。

背景技术

根据金融行业需求，需要提供相关交易的各种维度的查询，以支持业务部门营销活动和考核的开展。

现有技术的报表系统多采用关系型数据库如oracle，如果数据规模达到TB级以上，加工效率和查询效率就会严重降低，对于传统关系型数据库，只能采用部分存储或者分库分表的方式来解决容量限制问题。

发明内容

为满足银行对历史数据分析，分维度快速展示的需求，实现海量数据处理及查询，本发明实施例提供了一种银行业务数据处理方法，该处理方法包括：

将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；

按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；

将预处理后的银行业务源数据存储至HBASE数据库。

本发明实施例中，将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库包括：

根据业务数据的交易明细将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；其中，所述的业务数据的交易明细包括：产品交易流水、产品基本信息、交易机构信息、客户持仓信息、产品类型信息及交易渠道信息。

本发明实施例中，所述的按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理包括：

按预设的业务数据维度利用KYLIN对HIVE数据库中的银行业务源数据进行预处理；其中，所述的业务数据维度包括：交易日期、交易机构、交易渠道及产品类型。

同时，本发明还提供一种银行业务数据查询方法，该查询方法包括：

将预处理后的银行业务源数据存储至HBASE数据库；

利用多维数据引擎查询存储至HBASE数据库的银行业务源数据。

同时，本发明还提供一种银行业务数据处理装置，处理装置包括：

HIVE加载模块，用于将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；

预处理模块，用于按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；

存储模块，用于将预处理后的银行业务源数据存储至HBASE数据库。

本发明实施例中，所述的HIVE加载模块将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库包括：

本发明实施例中，所述的预处理模块按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理包括：

进一步，本发明还提供一种银行业务数据查询装置，查询装置包括：

存储模块，用于将预处理后的银行业务源数据存储至HBASE数据库；

查询模块，用于利用多维数据引擎查询存储至HBASE数据库的银行业务源数据。

同时，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法。

同时，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有执行上述方法的计算机程序。

本发明基于大数据技术来支持海量数据的处理和查询，解决数据容量存储问题以及维度查询效率问题。本发明以大数据的HIVE和HBASE为存储引擎，以KYLIN为数据加工和查询的执行引擎，能有效的满足历史数据分析，分维度快速展示的需求。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的银行业务数据处理方法的流程图；

图2为本发明提供的银行业务数据查询方法的流程图；

图3为本发明实施例中的数据处理流程图；

图4为本发明实施例中的数据获取的流程图；

图5为本发明实施例中的数据处理流程图；

图6为本发明提供的银行业务数据处理装置框图；

图7为本发明提供的银行业务数据查询装置框图；

图8为本发明实施例中提供的电子设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种银行业务数据处理方法，如图1所示，该处理方法包括：

步骤S101，将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；

步骤S102，按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；

步骤S103，将预处理后的银行业务源数据存储至HBASE数据库。

随着大数据的兴起以及发展，分布式技术已日趋成熟，它能有效的解决数据存储容量问题，同时提供较好的技术生态和工具来完成传统技术无法解决的数据存储和数据处理问题。

现有技术中，已有的相关基于大数据处理和查询工具，都是作为前端BI(业务分析引擎)的技术提供商，不仅收费较贵，而且还需要针对行内系统加工进行二次开发和定制。本发明提供的银行业务数据处理方法，以大数据的HIVE和HBASE为存储引擎，基于大数据技术来支持海量数据的处理和查询，拟解决数据容量存储问题以及维度查询效率问题。

本发明实施例中，所述的将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库包括：

本发明实施例中，以KYLIN为数据加工和查询的执行引擎，在KYLIN加工完成后，业务数据已经装载至HBASE数据库中，通过访问KYLIN数据源，由于KYLIN已对数据进行预处理，针对TB级的数据，也能够实现秒级处理。

同时，本发明还提供一种银行业务数据查询方法，如图2所示，该方法包括：

步骤S201，将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；

步骤S202，按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；

步骤S203，将预处理后的银行业务源数据存储至HBASE数据库；

步骤S204，利用多维数据引擎查询存储至HBASE数据库的银行业务源数据。

本发明的银行业务数据查询方法，结合大数据相关开源技术，采用KYLIN作为大数据批量加工和维度查询引擎，利用HIVE和HBASE作为大数据存储引擎，通过多维数据引擎前端BI进行拖来拽展示，形成一个大数据分析、处理和展示的完整生态链。本发明以开源的多维数据引擎作为BI前端，以大数据KYLIN为数据源，支持了海量数据查询，查询效率高，实施成本较低，其中，多维数据引擎可采用saiku，或开发的可实现数据查询的功能的工具。

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是开源实现，HBase利用Hadoop作为其文件存储系统，HBase位于结构化存储层，Hadoop为HBase提供了高可靠性的底层存储支持，Hadoop为HBase提供了高性能的计算能力。

HIVE是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为任务进行运行。

HIVE是建立在Hadoop上的数据仓库基础构架。它提供一系列的工具，可以用来进行数据提取转化加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。HIVE没有专门的数据格式。HIVE可以很好的工作在Thrift之上，控制分隔符，也允许用户指定数据格式。HIVE是一种底层封装了Hadoop的数据仓库处理工具，使用类SQL的HIVEQL语言实现数据查询，所有HIVE的数据都存储在Hadoop兼容的文件系统中。HIVE在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS中HIVE设定的目录下。

本发明一实施例提供一种基于Hadoop的大规模数据量的历史数据加工处理和查询，以及提供展示前端BI，实现按不同维度展示数据的技术方案。

本实施例涉及大数据数据存储引擎HIVE和HBASE，批量加工和查询引擎KYLIN，以及数据展示BI引擎多维数据引擎；本实施例以各产品系统源历史成交数据为数据基础，以产品类型、交易机构、交易日期、交易渠道等作为维度，经由大数据加工和处理后，通过前端展示BI进行维度展示。本实施例的数据处理流程如图3所示，其包括：

从上游交易系统获取源数据文件；

将获取的源数据文件传输至大数据文件系统；

对大数据文件系统中的文件进行加载、加工；

利用多维数据引擎对加工后的数据进行查询。

关于数据获取：

本实施例中，每日日终，联机系统将本日的交易明细，按照特定格式(即HIVE可识别的通用格式)生成数据文档，推送到大数据节点，由大数据批量进行数据装载，进入HIVE，本实施例中各系统推送数据包括：产品交易流水、产品基本信息、交易机构信息、客户持仓信息、产品类型信息及交易渠道信息，这些数据统一传输至大数据数据仓库平台，再由数据仓库平台统一转发至灵活报表系统的批量节点。

本实施例中数据获取流程说明：

日终时，由上游各业务系统导出数据到数据仓库系统。这些数据文件按照规定的文件格式，最终发送至大数据文件系统。如图4所示，为本发明实施例中数据获取的流程图。

数据加载：

加载数据到HIVE，本实施例中上游系统的数据文件传输到大数据平台后，由大数据平台检测文件是否到达，如果条件满足则启动数据装载批量，将源数据文件加载至hive数据库中。

KYLIN数据批量处理：

本实施例中的KYLIN处理流程：

数据加载进HIVE数据库后，按照KYLIN已经配置的建模条件，根据业务需求对已装载的数据进行批量加工(预处理)，按照交易日期，交易机构，交易渠道，产品类型等维度对明细数据进行分类汇总；待KYLIN批量执行完成后，将已加工好的数据装载至HBASE中，以提供联机实施多维分析查询，形成报表所需的结果数据记录。数据处理流程图如图5所示。

KYLIN加工完成后，业务数据已经装载至HBASE数据库中。多维数据引擎前端BI通过访问KYLIN数据源，以传统的方式来查询HBASE数据库中的加工结果数据记录。由于KYLIN已对数据进行预处理，针对TB级的数据，也能够实现秒级出数。多维数据引擎前端可根据用户需求，按照不同的维度进行数据查询，查询效率高，查询时限长。

本发明实施例具有以下优势：

1、大数据处理，通过应用KYLIN技术，能对大型金融机构的超大规模数据进行快速加工处理；

2、能访问大数据数据源的BI，通过对多维数据引擎多维分析工具的开发，支持访问大数据数据源，并能根据用户定制的界面进行按需查询。

本发明还提供一种银行业务数据处理装置，如图6所示，该装置包括：

HIVE加载模块601，用于将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；

预处理模块602，用于按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；

存储模块603，用于将预处理后的银行业务源数据存储至HBASE数据库。

本发明还提供一种银行业务数据处理装置，如图7所示，包括：

HIVE加载模块701，用于将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；

预处理模块702，用于按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；

存储模块703，用于将预处理后的银行业务源数据存储至HBASE数据库；

查询模块704，用于利用多维数据引擎查询存储至HBASE数据库的银行业务源数据。

本发明实施例还提供一种电子设备，该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照前述实施例的方法实施所述的装置，其内容被合并于此，重复之处不再赘述。

图8为本发明实施例的电子设备600的系统构成的示意框图。如图8所示，该电子设备600可以包括中央处理器100和存储器140；存储器140耦合到中央处理器100。值得注意的是，该图是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

一实施例中，银行业务数据处理功能可以被集成到中央处理器100中。其中，中央处理器100可以被配置为进行如下控制：

将预处理后的银行业务源数据存储至HBASE数据库。

一实施例中，所述的将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库包括：

一实施例中，所述的按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理包括：

同样，在一实施例中，银行业务数据查询功能可以被集成到中央处理器100中。其中，中央处理器100可以被配置为进行如下控制：

将预处理后的银行业务源数据存储至HBASE数据库；

如图8所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图8中所示的所有部件；此外，电子设备600还可以包括图8中没有示出的部件，可以参考现有技术。

如图8所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。

其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。

输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。

存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。

本发明实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在所述电子设备中执行如上面实施例所述的银行业务数据处理方法，或银行业务数据查询方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行上面实施例所述的银行业务数据处理，或银行业务数据查询。

以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此所附权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种银行业务数据处理方法，其特征在于，所述的方法包括：

将预处理后的银行业务源数据存储至HBASE数据库。

2.如权利要求1所述的银行业务数据处理方法，其特征在于，所述的将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库包括：

3.如权利要求1所述的银行业务数据处理方法，其特征在于，所述的按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理包括：

4.一种银行业务数据查询方法，其特征在于，所述的方法包括：

将预处理后的银行业务源数据存储至HBASE数据库；

5.如权利要求4所述的银行业务数据查询方法，其特征在于，所述的将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库包括：

6.如权利要求4所述的银行业务数据查询方法，其特征在于，所述的按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理包括：

7.一种银行业务数据处理装置，其特征在于，所述的装置包括：

8.如权利要求7所述的银行业务数据处理装置，其特征在于，所述的HIVE加载模块将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库包括：

9.如权利要求7所述的银行业务数据处理装置，其特征在于，所述的预处理模块按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理包括：

10.一种银行业务数据查询装置，其特征在于，所述的装置包括：

11.如权利要求10所述的银行业务数据查询装置，其特征在于，所述的HIVE加载模块将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库包括：

12.如权利要求10所述的银行业务数据查询装置，其特征在于，所述的预处理模块按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理包括：

13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一项所述方法的计算机程序。

15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求4至6任一项所述方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求4至6任一项所述方法的计算机程序。