CN111639062A

CN111639062A - 一种数据仓库一键搭建的方法、系统及存储介质

Info

Publication number: CN111639062A
Application number: CN202010472655.4A
Authority: CN
Inventors: 商晓健
Original assignee: BOE Technology Group Co Ltd
Current assignee: BOE Technology Group Co Ltd
Priority date: 2020-05-29
Filing date: 2020-05-29
Publication date: 2020-09-08
Anticipated expiration: 2040-05-29
Also published as: CN111639062B

Abstract

本发明公开了一种数据仓库一键搭建的方法、系统及存储介质，该方法包括：持续系统集成工具获取用户输入的第一参数类型，并生成数据分类工具创建类的第一相关命令和数据收集工具收集数据的第二相关命令，以通过所述第一相关命令、所述第二相关命令分别更新所述数据分类工具、所述数据收集工具；其中，所述第一相关命令和所述第二相关命令中携带所述第一参数类型；更新后的所述数据分类工具接收数据服务器产生的基础数据，并从所述基础数据中获取属于所述第一参数类型的第一数据；更新后的所述数据收集工具，按所述第一参数类型对应的地址将所述第一数据存储到存储设备中的对应位置。

Description

一种数据仓库一键搭建的方法、系统及存储介质

技术领域

本发明涉及大数据领域，尤其是涉及一种数据仓库一键搭建的方法、系统及存储介质。

背景技术

自从进入2012年，大数据(big data)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据。

例如，在购物网站通过对用户购物的海量数据进行收集、研究，可以确定用户感兴趣的商品、可以进一步研究这些商品有什么特征，从而为企业提供产品设计的依据，让企业可以及时的调整设计方向。

又如，在生产产品的过程中，可以通过对生产设备在工作过程中产生的海量动作数据、运行数据等进行收集、研究，可以及时发现设备可能将要出现的问题，或找到产品产生瑕疵与设备执行过程中某个或某些步骤之间的关联性，从而预先解决设备中可能存在的问题，提高产品良率等。

目前，对海量数据进行收集通常会采用数据仓库技术(Extract Transform Load，ETL)，其核心是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

然而，在现有技术中，由于对数据仓库中的数据进行分析的需求不同，相应的对数据库中存储数据的分类要求不同，在改变分类时，需要修改为数据仓库进行数据分类及传输的相应软件工具的程序代码，而修改原有软件工具的程序代码后，要使修改后的软件工具能被使用，需要对整个软件工具的程序代码进行测试、编译、集成、发布等，才能更新原有软件工具，使之按修改后的类型对数据进行分类收集、传输，这就使得需要不断地去重新搭建数据仓，造成数据仓库的搭建效率较低。

鉴于此，如何提高数据仓库的搭建效率成为一个亟待解决的技术问题。

发明内容

本发明提供一种数据仓库一键搭建的方法、系统及存储介质，用以解决现有技术中存在的数据仓库的搭建效率较低的技术问题。

第一方面，为解决上述技术问题，本发明实施例提供的一种数据仓库一键搭建的方法的技术方案如下：

持续系统集成工具获取用户输入的第一参数类型，并生成数据分类工具创建类的第一相关命令和数据收集工具收集数据的第二相关命令，以通过所述第一相关命令、所述第二相关命令分别更新所述数据分类工具、所述数据收集工具；其中，所述第一相关命令和所述第二相关命令中携带所述第一参数类型；

更新后的所述数据分类工具接收数据服务器产生的基础数据，并从所述基础数据中获取属于所述第一参数类型的第一数据；

更新后的所述数据收集工具，按所述第一参数类型对应的地址将所述第一数据存储到存储设备中的对应位置。

一种可能的实施方式，持续系统集成工具获取用户输入的第一参数类型后，还包括：

所述持续系统集成工具获取所述用户输入的第二参数类型，并生所述第一相关命令和所述第二相关命令，以通过所述第一相关命令、所述第二相关命令分别更新所述数据分类工具、所述数据收集工具；其中，所述第一相关命令和所述第二相关命令中还携带所述第二参数类型。

一种可能的实施方式，更新后的所述数据分类工具从所述第一数据中获取属于所述第二参数类型的第二数据。

一种可能的实施方式，更新后的所述数据收集工具，按所述第二参数类型对应的地址将所述第二数据存储到所述存储设备中的对应位置。

一种可能的实施方式，所述存储设备上部署的是Hadoop。

一种可能的实施方式，所述持续系统集成工具为Jekins，所述数据分类工具为Kafka，所述数据收集工具为Flume。

第二方面，本发明实施例提供了一种数据仓库一键搭建的系统，包括：

持续系统集成工具，用于获取用户输入的第一参数类型，并生成数据分类工具创建类的第一相关命令和数据收集工具收集数据的第二相关命令，以通过所述第一相关命令、所述第二相关命令分别更新所述数据分类工具、所述数据收集工具；其中，所述第一相关命令和所述第二相关命令中携带所述第一参数类型；

数据产生系统，用于产生基础数据；

更新后的所述数据分类工具，用于接收所述基础数据，并从所述基础数据中获取属于所述第一参数类型的第一数据；

更新后的所述数据收集工具，用于按所述第一参数类型对应的地址将所述第一数据存储到存储设备中的对应位置。

一种可能的实施方式，所述持续系统集成工具还用于：

获取用户输入的第二参数类型，并生所述第一相关命令和所述第二相关命令，以通过所述第一相关命令、所述第二相关命令分别更新所述数据分类工具、所述数据收集工具；其中，所述第一相关命令和所述第二相关命令中还携带所述第二参数类型。

一种可能的实施方式，更新后的所述数据分类工具还用于，从所述第一数据中获取属于所述第二参数类型的第二数据。

一种可能的实施方式，更新后的所述数据收集工具，还用于按所述第二参数类型对应的地址将所述第二数据存储到所述存储设备中的对应位置。

一种可能的实施方式，所述存储设备上部署的是Hadoop。

第三方面，本发明实施例还提供一种计算机非瞬态可读存储介质，包括：

存储器，所述存储器用于存储计算机程序指令，当所述指令被处理器执行时，使得包括所述可读存储介质的装置完成如上第一方面所述的方法。

通过本发明实施例的上述一个或多个实施例中的技术方案，本发明实施例至少具有如下技术效果：

在本发明提供的实施例中，通过使用持续系统集成工具获取提供用户可输入的第一参数类型，并利用持续系统集成工具将第一参数类型组织到启动数据分类工具运行的第一相关命令，以及启动数据收集工具运行的第二相关命令中，使数据分类工具、数据收集工具分别执行第一相关命令、第二相关命令来完成更新过程，这样可以在改变第一参数类型后将繁琐的构建数据分类工具和数据收集工具的工作流过程，简化为一步创建完成、且可复用，从而避免重复的开发流程、节约劳动力，进而实现提高开发效率的技术效果；在更新后的数据分类工具接收到数据服务器产生的基础数据后，从基础数据中获取属于第一参数类型的第一数据，之后让更新的数据收集工具按第一参数类型对应的地址将第一数据存储到存储设备的对应位置。由于构成数据仓库的数据分类工具、数据收集工具的开发效率提高了，从而能提高有效的提高数据仓库的搭建效率。

附图说明

图1为本发明实施例提供的一种数据仓库一键搭建的流程图；

图2为本发明实施例提供的Jekins将用户输入的参数组织到Kafka和Flume的流程图；

图3为本发明实施例提供的持续系统集成工具为Jekins、数据分类工具为Kafka、数据收集工具为Flume搭建的数据仓库的架构示意图；

图4为本发明实施例提供的一种数据仓库一键搭建系统的结构示意图。

具体实施方式

本发明实施列提供一种数据仓库一键搭建的方法、系统及存储介质，以解决现有技术中存在的数据仓库的搭建效率较低的技术问题。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面将结合附图和实施例对本发明做进一步说明。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。本发明中所描述的表达位置与方向的词，均是以附图为例进行的说明，但根据需要也可以做出改变，所做改变均包含在本发明保护范围内。本发明的附图仅用于示意相对位置关系不代表真实比例。

需要说明的是，在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

下面结合附图，对本发明实施例提供的一种数据仓库一键搭建的方法、系统及存储介质进行具体说明。

请参考图1，本发明实施例提供一种数据仓库一键搭建的方法，该方法的处理过程如下。

步骤101：持续系统集成工具获取用户输入的第一参数类型，并生成数据分类工具创建类的第一相关命令和数据收集工具收集数据的第二相关命令，以通过第一相关命令、第二相关命令分别更新数据分类工具、数据收集工具；其中，第一相关命令和第二相关命令中携带第一参数类型。

在本发明提供的实施例中，持续系统集成工具获取用户输入的第一参数类型后，还可以获取用户输入的第二参数类型，并生第一相关命令和第二相关命令，以通过第一相关命令、第二相关命令分别更新所述数据分类工具、数据收集工具；其中，第一相关命令和第二相关命令中还携带所述第二参数类型。

在本发明提供的实施例中，持续系统集成工具可以为Jekins，数据分类工具可以为Kafka，数据收集工具可以为Flume。

Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。Kafka对数据进行保存时，是根据Topic进行归类的。

Flume是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。

例如，持续系统集成工具为Jekins时，要对数据分类工具Kafka，数据收集工具Flume进行一次集成，需要对插件进行发送命令包装(即生成第一相关命令和第二相关命令)，以保证对Kafka以及Flume命令的可运行性。

需要说明的是，在首次使用Jekins集成Kafka和Flume时，需要在Jekins中下载并安装Publish over SSH插件，并在Jekins配置页面中的Publish over SSH插件选项卡中配置Flume和Kafka节点的name、hostname、username、password、port等信息以完成注册。构建工程时，需要在工程构建配置中选择此工程要发送到的Kafka和Flume节点以及对应的操作命令(即第一相关命令、第二相关命令)。

例如，在程序代码中第一参数类型对应的变量为dataType，Jekins为Kafka生成的第一相关命令的代码示例如下：

#设置环境变量。

export

PATH＝/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/usr/local/jdk/bin：

/usr/local/jdk/jre/bin:/home/sysadmin/.local/bin:/home/sysadmin/bin

#进入命令编辑核心逻辑模块工作目录中。

cd/usr/local/kafka_2.11-2.1.0/GeneralLogAnalysis

#执行初始化工作流任务命令。

python Main.py datatype-reg$sysInfo$dataType

#执行构建kafkaTopic命令。

python Main.py kafka-topiccheck$sysInfo$dataType

jekins为flume生成的第二相关命令的代码示例如下：

#设置环境变量。

export

PATH＝:/root/apache-kylin-2.2.0-bin/bin:/usr/local/node/8.11.2/bin:/usr/local/sb in:/usr/local/bin:

/usr/sbin:/usr/bin:/usr/lib/golang/bin:/home/zhangshaonan/go/bin:/root/bin

#后台执行程序。

BUILD_ID＝

#执行命令编辑核心逻辑模块中检查flume配置任务命令。

python/home/sxj/flume/GeneralLogAnalysis/Main.py flumeetl-cfgready$sysInfo$dataType

#执行命令编辑核心逻辑模块中flume生效命令。

python/home/sxj/flume/GeneralLogAnalysis/Main.py flumeetl-enable$sysInfo$dataType

#执行命令编辑核心逻辑模块中flume任务启动命令。

python/home/sxj/flume/GeneralLogAnalysis/Main.py flumeetl–taskup

请参见图2，为本发明实施例提供的jekins将用户输入的参数组织到kafka和flume的流程图。

步骤201：获得用户输入的第一参数类型和第二参数类型。

步骤202：将第一参数类型和第二参数类型组织到Kafka和Flume对应的启动命令(第一相关命令、第二相关命令)中。

步骤203：通过远程命令发送插件将第一相关命令、第二相关命令分别发送给Kafka、Fumle中执行，以更新Kafka、Fumle。远程命令发送插件即为Publish over SSH插件。

通过在持续系统集成工具中提供用户可输入的第一参数类型，并利用持续系统集成工具将数据分类工具和数据收集工具结合在一起，可以在改变第一参数类型后将繁琐的构建数据分类工具和数据收集工具的工作流过程，简化为一步创建完成、且可复用，从而避免重复的开发流程、节约劳动力，进而实现提高开发效率的技术效果。

步骤102：更新后的数据分类工具接收数据服务器产生的基础数据，并从基础数据中获取属于第一参数类型的第一数据。

在本发明提供的实施例中，若持续系统集成工具在获取第一参数类型的同时还获取了第二参数类型，则更新后的数据分类工具在从基础数据中获取属于第一参数类型的第一数据后，还会从第一数据中获取属于第二参数类型的第二数据。

也就是说，更新后的数据分类工具需要先从基础数据中获取属于第一参数类型(大类)的第一数据，然后还要进一步的从第一数据中获取属于第二参数类型(大类中的一个子类)的第二数据。并将这些数据发送给更新后的数据收集工具。

步骤103：更新后的数据收集工具，按第一参数类型对应的地址将第一数据存储到存储设备中的对应位置。

在本发明提供的实施例中，若持续系统集成工具在获取第一参数类型的同时还获取了第二参数类型，则更新后的数据收集工具，还要按第二参数类型对应的地址将第二数据存储到存储设备中的对应位置。

在本发明提供的实施例中，存储设备上部署的是Hadoop，多个被部署了Hadoop的存储设备可以被称之为Hadoop集群。

请参见图3为本发明实施例提供的持续系统集成工具为Jekins、数据分类工具为Kafka、数据收集工具为Flume搭建的数据仓库的架构示意图。

在图3中以虚线箭头示意用户输入第一参数类型之前Kafka、Flume收集的属于类型1的数据的传输过程，以实线箭头示意用户输入第一参数类型之后(即Jekins发送第一相关命令和第二相关命令，使Kafka、Flume更新后)Kafka、Flume收集的属于类型2的数据的传输过程。

基于同一发明构思，本发明一实施例中提供一种数据仓库一键搭建的系统，该系统的数据仓库一键搭建的方法的具体实施方式可参见方法实施例部分的描述，重复之处不再赘述，请参见图4，该系统包括：

持续系统集成工具401，用于获取用户输入的第一参数类型，并生成数据分类工具402创建类的第一相关命令和数据收集工具403收集数据的第二相关命令，以通过所述第一相关命令、所述第二相关命令分别更新所述数据分类工具402、所述数据收集工具403；其中，所述第一相关命令和所述第二相关命令中携带所述第一参数类型；

数据产生系统404，用于产生基础数据；

更新后的所述数据分类工具402，用于接收所述基础数据，并从所述基础数据中获取属于所述第一参数类型的第一数据；

更新后的数据收集工具403，用于按所述第一参数类型对应的地址将所述第一数据存储到存储设备405中的对应位置。

一种可能的实施方式，所述持续系统集成工具401还用于：

获取用户输入的第二参数类型，并生所述第一相关命令和所述第二相关命令，以通过所述第一相关命令、所述第二相关命令分别更新所述数据分类工具402、所述数据收集工具403；其中，所述第一相关命令和所述第二相关命令中还携带所述第二参数类型。

一种可能的实施方式，更新后的所述数据分类工具402还用于，从所述第一数据中获取属于所述第二参数类型的第二数据。

一种可能的实施方式，更新后的所述数据收集工具403，还用于按所述第二参数类型对应的地址将所述第二数据存储到所述存储设备405中的对应位置。

一种可能的实施方式，所述存储设备405上部署的是Hadoop。

一种可能的实施方式，所述持续系统集成工具401为Jekins，所述数据分类工具402为Kafka，所述数据收集工具403为Flume。

基于同一发明构思，本发明实施例还提一种计算机非瞬态可读存储介质，包括：

存储器，所述存储器用于存储计算机程序指令，当所述指令被处理器执行时，使得包括所述可读存储介质的装置完成如上所述的数据仓库一键搭建的方法。

本领域内的技术人员应明白，本发明实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种数据仓库一键搭建的方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，持续系统集成工具获取用户输入的第一参数类型后，还包括：

3.如权利要求2所述的方法，其特征在于，还包括：

更新后的所述数据分类工具从所述第一数据中获取属于所述第二参数类型的第二数据。

4.如权利要求3所述的方法，其特征在于，还包括：

更新后的所述数据收集工具，按所述第二参数类型对应的地址将所述第二数据存储到所述存储设备中的对应位置。

5.如权利要求1所述的方法，其特征在于，所述存储设备上部署的是Hadoop。

6.如权利要求1-5任一项所述的方法，其特征在于，所述持续系统集成工具为Jekins，所述数据分类工具为Kafka，所述

数据收集工具为Flume。

7.一种数据仓库一键搭建的系统，其特征在于，包括：

数据产生系统，用于产生基础数据；

8.如权利要求7所述的系统，其特征在于，所述持续系统集成工具还用于：

9.如权利要求8所述的系统，其特征在于，更新后的所述数据分类工具还用于，从所述第一数据中获取属于所述第二参数类型的第二数据。

10.一种计算机非瞬态可读存储介质，其特征在于，包括存储器，

所述存储器用于存储计算机程序指令，当所述指令被处理器执行时，使得包括所述可读存储介质的装置完成如权利要求1～6中任一项所述的方法。