CN107908672A - 基于Hadoop平台的应用报表实现方法、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于Hadoop平台的应用报表实现方法，包括：将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中，并从中抽取数据进行数据质量校验，若校验通过，则对抽取数据进行转换处理后加载到数据仓库的模型层数据表中，然后再从中抽取数据进行数据质量校验，若校验通过，则对抽取数据进行转换处理后加载到数据仓库的应用层数据表中；对应用层数据表中数据进行数据质量校验，若校验通过，则将应用层数据表作为待上报的应用报表，否则发出校验异常告警。本发明还公开了一种基于Hadoop平台的应用报表实现设备及计算机可读存储介质。本发明可在低成本硬件资源下，实现海量数据报送，并满足高数据质量报送要求。

Description

基于Hadoop平台的应用报表实现方法、设备及存储介质

技术领域

本发明涉及数据库技术领域，尤其涉及一种基于Hadoop平台的应用报表实现方法、设备及计算机可读存储介质。

背景技术

在数据库数据处理领域，现有技术方案通常依赖于机器以及数据库软件本身的性能来处理数据。目前国内企业为了应对海量数据的时效和存储，不断地提升大型机/小型机/服务器的配置，以及扩大高端SAN共享存储容量，但系统的可扩展性不强，而且建设成本高昂。

由于海量的数据处理量进而导致数据校验的性能不佳，以及依赖传统数据库结构的约束来进行数据质量校验，而无系统化的数据质量校验体系，进而无法进行完整的数据质量校验，以致应用报表的数据质量无法得到有效保证。

发明内容

本发明的主要目的在于提供一种基于Hadoop平台的应用报表实现方法、设备及计算机可读存储介质，旨在解决如何低成本地实现海量数据的报送，并满足高数据质量报送要求的技术问题。

为实现上述目的，本发明提供一种基于Hadoop平台的应用报表实现方法，所述Hadoop平台至少包括：存储海量源数据的分布式文件系统HDFS、数据仓库工具Hive，采用Hive作为数据仓库，所述应用报表实现方法包括以下步骤：

S1、将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中；从贴源层数据表中抽取数据进行数据质量校验，若校验通过，则执行S2，否则发出校验异常告警；

S2、对贴源层数据表中的抽取数据进行转换处理后加载到数据仓库的模型层数据表中；从模型层数据表中抽取数据进行数据质量校验，若校验通过，则执行S3，否则发出校验异常告警；

S3、对模型层数据表中的抽取数据进行转换处理后加载到数据仓库的应用层数据表中；对应用层数据表中数据进行数据质量校验，若校验通过，则将应用层数据表作为待上报的应用报表，否则发出校验异常告警。

可选地，在步骤S1之前，所述应用报表实现方法还包括：

通过Hive进行数据仓库建模，并分别得到数据仓库的贴源层数据表、模型层数据表以及应用层数据表。

可选地，所述模型层数据表的建模原则至少包括：窄表转换为宽表、共性字段聚集、采用分区表存储每日切片数据；

其中，在所述分区表中，分区日期采用业务日期，且每个分区存储的切片数据为当日增量数据或者全量数据。

可选地，所述数据质量校验至少包括：数据规范性校验；

其中，所述数据规范性校验至少包括：主键唯一性校验、字段类型校验、字段长度校验、字典值校验、字段值格式规范校验。

可选地，所述数据质量校验至少还包括：数据完整性校验；

其中，所述数据完整性校验至少包括：字段必填项校验、不同数据表间平衡性校验。

可选地，所述数据质量校验至少还包括：数据一致性校验；

其中，所述数据一致性校验至少包括：外键一致性校验、不同字段间逻辑一致性校验、不同应用类别间相同数据一致性校验。

可选地，所述数据质量校验至少还包括：数据准确性校验；

其中，所述数据准确性校验至少包括：按照不同业务场景进行人工抽样校验。

可选地，所述数据质量校验至少还包括：数据及时性校验；

其中，所述数据及时性校验至少包括：对数据表中数据的产出时间进行时效校验。

进一步地，为实现上述目的，本发明还提供一种基于Hadoop平台的应用报表实现设备，所述应用报表实现设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的应用报表实现程序，所述应用报表实现程序被所述处理器执行时实现如上述任一项所述的应用报表实现方法的步骤。

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有应用报表实现程序，所述应用报表实现程序被处理器执行时实现如上述任一项所述的应用报表实现方法的步骤。

本发明基于Hadoop开源大数据技术平台来实现应用报表，并使用Hive作为数据仓库。Hadoop分布式大数据技术，带来了更大的扩展性和弹性，进而可增加系统的数据计算能力与吞吐能力，更适合处理数据量大的分析计算，对解决日益增长的海量业务数据且要求高时效的应用报表具备天然优势，而且具备更强的水平扩展能力和成本低的特点。此外，对于数据报送类应用，数据质量是整个应用的核心，因此，本发明为了保证数据质量，报送数据统一在数据仓库中加工形成，进而可保证各报送数据的一致性，同时在应用报表形成过程中，为每个系统模块设立数据准入/准出标准，如果输入数据不满足标准，则发出告警，避免有质量问题的数据影响到下游系统。

附图说明

图1是本发明实施例方案涉及的设备硬件运行环境的结构示意图；

图2为本发明基于Hadoop平台的应用报表实现方法一实施例流程示意图；

图3为本发明应用报表实现方法一实施例中数据质量验证流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的设备硬件运行环境的结构示意图。

本发明实施例应用报表实现设备可以是PC机、服务器，也可以是平板电脑、便携计算机等设备。

如图1所示，该应用报表实现设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。

本领域技术人员可以理解，图1中示出的应用报表实现设备的硬件结构并不构成对应用报表实现设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序，比如应用报表实现程序等。其中，操作系统是管理和控制应用报表实现设备与软件资源的程序，支持网络通信模块、用户接口模块、应用报表实现程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的应用报表实现设备硬件结构中，网络接口1004主要用于连接系统后台，与系统后台进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；应用报表实现设备通过处理器1001调用存储器1005中存储的应用报表实现程序，以执行以下操作：

S1、将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中；从贴源层数据表中抽取数据进行数据质量校验，若校验通过，则执行S2，否则发出校验异常告警；

S2、对贴源层数据表中的抽取数据进行转换处理后加载到数据仓库的模型层数据表中；从模型层数据表中抽取数据进行数据质量校验，若校验通过，则执行S3，否则发出校验异常告警；

S3、对模型层数据表中的抽取数据进行转换处理后加载到数据仓库的应用层数据表中；对应用层数据表中数据进行数据质量校验，若校验通过，则将应用层数据表作为待上报的应用报表，否则发出校验异常告警。

进一步地，所述应用报表实现设备通过处理器1001调用存储器1005中存储的应用报表实现程序，以执行以下操作：

通过Hive对数据仓库进行建模，并分别得到数据仓库的贴源层数据表、模型层数据表以及应用层数据表。

基于上述应用报表实现设备硬件结构，提出本发明基于Hadoop平台的应用报表实现方法的各个实施例。

参照图2，图2为本发明基于Hadoop平台的应用报表实现方法一实施例的流程示意图。

本实施例中，Hadoop平台至少包括：

(1)分布式文件系统HDFS：用于存储构建数据仓库的海量源数据；

(2)数据仓库工具Hive：可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。

此外，为实现海量数据的即时查询，Hadoop平台还可以包括：分布式数据库HBASE以及分布式计算框架MapReduce。

数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持，比如企业管理人员基于数据仓库的应用报表管理企业运营。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据仓库的数据来源于外部系统，比如各种业务系统、监控系统等，并且开放给外部应用，比如进行报表展示、数据即时查询、数据分析或挖掘等，因此数据仓库的基本架构主要包含的是数据流入流出的过程，数据仓库只是中间集成化数据管理的一个平台，基于数据流入流出的过程，可以划分为以下三个数据层：

第一层：贴源层，此层数据不做任何更改，直接沿用外围系统数据结构和数据，因而有外部系统的细节数据；

第二层：模型层，此层包含有各种主题明细宽表、多维数据模型、业务模型；多维数据模型提供了多角度多层次的分析应用，比如基于时间维、地域维等构建的销售星形模型、雪花模型，可以实现在各时间维度和地域维度的交叉查询，以及基于时间维和地域维的细分；业务模型指的是基于某些数据分析和决策支持而建立起来的数据模型，比如用户评价模型、关联推荐模型、RFM分析模型等，此层为外部业务数据在数据仓库中的口径统一与沉淀；

第三层：应用层，前端应用程序直接读取的数据源，对外开放。比如各种应用报表、应专题分析需求而计算生成的数据等。

数据仓库从HDFS获取的数据在数据仓库内进行转换和流动都可以认为是ETL(抽取Extra、转化Transfer、加载Load)过程，ETL是数据仓库的流水线，维系着数据仓库中数据的新陈代谢。

ETL工作的实质就是从各个数据源抽取数据，对数据进行转换，并最终加载填充数据到数据仓库建模后的数据表中。只有当这些数据表(比如维度表、事实表)被填充好，ETL工作才算完成。

1.抽取阶段

数据仓库是面向分析的，而操作型数据库是面向应用的。显然，并不是所有用于支撑业务系统的数据都有拿来分析的必要。因此，抽取阶段主要是根据数据仓库主题、主题域确定需要从外部数据源(比如HDFS中存储的数据)中提取数据。

2.转换阶段

转换阶段主要是指对抽取好了的数据的结构进行转换，以满足目标数据仓库模型的过程。此外，转换阶段也负责数据质量工作，也即在数据转行过程中将不需要的、不符合规范的数据进行清洗处理。

3.加载阶段

加载阶段将已经抽取好并转换后的数据加载到目标数据仓库建模后的数据表中。加载可分首次加载和刷新加载两种，其中，首次加载会涉及到大量数据，而刷新加载则属于一种微批量式的加载。

本实施例中，应用报表实现方法采用Hive作为数据仓库，通过ETL过程在数据仓库中实现应用报表，具体包括以下步骤：

S10、将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中；

S20、从贴源层数据表中抽取数据进行数据质量校验，若校验通过，则执行S30，否则发出校验异常告警；

S30、对贴源层数据表中的抽取数据进行转换处理后加载到数据仓库的模型层数据表中；

S40、从模型层数据表中抽取数据进行数据质量校验，若校验通过，则执行S50，否则发出校验异常告警；

S50、对模型层数据表中的抽取数据进行转换处理后加载到数据仓库的应用层数据表中；

S60、对应用层数据表中数据进行数据质量校验，若校验通过，则将应用层数据表作为待上报的应用报表，否则发出校验异常告警。

本实施例中，ETL贯穿于数据仓库的整个环节，包括：

首先，通过ETL，从HDFS中抽取源数据、对数据进行转换，并最终加载填充数据到数据仓库的贴源层数据表中；

其次，通过ETL，从贴源层数据表中抽取源数据、对数据进行转换，并最终加载填充数据到数据仓库的模型层数据表中；

最后，通过ETL，从模型层数据表中抽取源数据、对数据进行转换，并最终加载填充数据到数据仓库的应用层数据表中。

如图3所示，为保证应用报表中数据的质量，报送数据统一在数据仓库中加工形成，进而可保证各报送数据的一致性，同时在应用报表形成过程中，本实施例中，在每一数据处理环节设立数据准入/准出标准，如果输入数据不满足标准，则发出告警，避免有质量问题的数据影响到下游系统。

本发明基于Hadoop开源大数据技术平台来实现应用报表，并使用Hive作为数据仓库。Hadoop分布式大数据技术，带来了更大的扩展性和弹性，进而可增加系统的数据计算能力与吞吐能力，更适合处理数据量大的分析计算，对解决日益增长的海量业务数据且要求高时效的应用报表具备天然优势，而且具备更强的水平扩展能力和成本低的特点，并且本发明基于hadoop的大数据平台，建立了一套数据质量监控流程，可以保证高质量的应用报表，例如银行业的监管报表以及银行内部报表。

进一步可选的，在本发明应用报表实现方法另一实施例中，在步骤S1之前，应用报表实现方法还包括：

通过Hive进行数据仓库建模，并分别得到数据仓库的贴源层数据表、模型层数据表以及应用层数据表。

可选的，在一实施例中，模型层数据表的建模原则至少包括：窄表转换为宽表、共性字段聚集、采用分区表存储每日切片数据；

其中，在分区表中，分区日期采用业务日期，且每个分区存储的切片数据为当日增量数据或者全量数据。

(1)窄表与宽表是数据表的两种不同表现形式，所谓的窄表就是字段比较少的表，包含的维度层次比较少，因而冗余也比较少，适用于联机处理，而所谓的宽表就是字段比较多的表，包含的维度层次比较多，造成冗余也比较多，适用于数据挖掘。

在数据仓库中，通常要进行宽化，也即窄表变宽表，数据字段贴源，可以减少逻辑加工。比如业务系统的数据需要联机处理，因此，数据表的设计需要避免数据冗余、提高联机效率，因而采用窄表形式，而数据仓库的数据用于数据挖掘、数据分析等，因此数据表的设计需要方便业务分析，对源系统的数据少做转换，这样才可以更好地支持多种数据报送的需求，因而采用宽表设计。

(2)数据仓库中重要的任务就是沉淀数据，因而需要进行共性字段的聚集处理，它是粗化数据粒度的过程。聚集处理需要选取特定度量字段(比如某一维度)，然后对度量字段使用某种聚集函数以实现共性字段聚集。

(3)采用Hive分区表设计，存储每日切片数据：分区日期为业务日期，每个分区存储当日增量数据(比如交易流水)或者当日全量数据(比如账户信息)。

进一步地，在本发明应用报表实现方法一实施例中，为保证应用报表中数据的质量，报送数据统一在数据仓库中加工形成，进而可保证各报送数据的一致性，同时在应用报表形成过程中，本实施例中，在每一数据处理环节设立数据准入/准出标准，如果输入数据不满足标准，则发出告警，避免有质量问题的数据影响到下游系统，如图3所示。

可选的，数据质量校验至少包括：

(1)数据规范性校验

主键唯一性校验：校验数据表的主键，进而确保数据记录唯一性；

字段类型校验：校验字段的数据类型，比如数值型或字符型等；

字段长度校验：校验字段的长度，比如字段长度必须小于或等于多少位；

字典值校验：校验字段值是否在某个数据字典范围内；

字段值格式规范校验：校验字段值是否满足某种格式规则，比如身份证号码的格式规则。

(2)数据完整性校验

字段必填项校验：校验字段是否为空，比如某些字段是要求必填的；

不同数据表间平衡性校验：比如校验TA表的记录条数、累计发生金额是否与TB表的记录条数、累计发生金额相等；

(3)数据一致性校验

外键一致性校验：比如校验TA表的字段AA是否在TB表的字段BB存在；

不同字段间逻辑一致性校验：比如当AA字段为某值时，校验BB字段是否为空或满足某个条件；

不同应用类别间相同数据一致性校验：比如应用报表为监管报表，则需校验不同监管类别的报表间数据是否一致；

(4)数据准确性校验，也即抽样校验，比如按照不同业务场景分类抽样明细数据，提供给业务人员进行人工核查；

(5)数据及时性校验，也即时效性校验，比如，设置每张表每天批量数据预期产出时间，如果超过，则告警，以便人工介入查找数据异常原因。

本实施例中，当数据校验出现异常时，则发出告警，以便人工介入检查数据异常原因，例如，若为源系统数据异常，则需由源业务系统修改数据后重新跑批，采用Hive分区表的设计，可以实现按照指定日期重新跑批，也即跑批异常可以灵活地在断点继续处理。

本发明还提供一种计算机可读存储介质。

本发明的计算机可读存储介质上存储有应用报表实现程序，该应用报表实现程序被处理器执行时实现上述应用报表实现方法任一实施例中的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。

Claims (10)

1.一种基于Hadoop平台的应用报表实现方法，所述Hadoop平台至少包括：存储海量源数据的分布式文件系统HDFS、数据仓库工具Hive，其特征在于，采用Hive作为数据仓库，所述应用报表实现方法包括以下步骤：

S1、将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中；从贴源层数据表中抽取数据进行数据质量校验，若校验通过，则执行S2，否则发出校验异常告警；

S2、对贴源层数据表中的抽取数据进行转换处理后加载到数据仓库的模型层数据表中；从模型层数据表中抽取数据进行数据质量校验，若校验通过，则执行S3，否则发出校验异常告警；

S3、对模型层数据表中的抽取数据进行转换处理后加载到数据仓库的应用层数据表中；对应用层数据表中数据进行数据质量校验，若校验通过，则将应用层数据表作为待上报的应用报表，否则发出校验异常告警。

2.如权利要求1所述的应用报表实现方法，其特征在于，在步骤S1之前，所述应用报表实现方法还包括：

通过Hive进行数据仓库建模，并分别得到数据仓库的贴源层数据表、模型层数据表以及应用层数据表。

3.如权利要求2所述的应用报表实现方法，其特征在于，所述模型层数据表的建模原则至少包括：窄表转换为宽表、共性字段聚集、采用分区表存储每日切片数据；

其中，在所述分区表中，分区日期采用业务日期，且每个分区存储的切片数据为当日增量数据或者全量数据。

4.如权利要求1-3中任一项所述的应用报表实现方法，其特征在于，所述数据质量校验至少包括：数据规范性校验；

其中，所述数据规范性校验至少包括：主键唯一性校验、字段类型校验、字段长度校验、字典值校验、字段值格式规范校验。

5.如权利要求4所述的应用报表实现方法，其特征在于，所述数据质量校验至少还包括：数据完整性校验；

其中，所述数据完整性校验至少包括：字段必填项校验、不同数据表间平衡性校验。

6.如权利要求5所述的应用报表实现方法，其特征在于，所述数据质量校验至少还包括：数据一致性校验；

其中，所述数据一致性校验至少包括：外键一致性校验、不同字段间逻辑一致性校验、不同应用类别间相同数据一致性校验。

7.如权利要求6所述的应用报表实现方法，其特征在于，所述数据质量校验至少还包括：数据准确性校验；

其中，所述数据准确性校验至少包括：按照不同业务场景进行人工抽样校验。

8.如权利要求7所述的应用报表实现方法，其特征在于，所述数据质量校验至少还包括：数据及时性校验；

其中，所述数据及时性校验至少包括：对数据表中数据的产出时间进行时效校验。

9.一种基于Hadoop平台的应用报表实现设备，其特征在于，所述应用报表实现设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的应用报表实现程序，所述应用报表实现程序被所述处理器执行时实现如权利要求1至8中任一项所述的应用报表实现方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有应用报表实现程序，所述应用报表实现程序被处理器执行时实现如权利要求1至8中任一项所述的应用报表实现方法的步骤。