CN111143465A - 一种数据中台的实现方法、装置以及电子设备 - Google Patents

Abstract

本发明实施例涉及信息技术领域，特别是涉及一种数据中台的实现方法、装置以及电子设备。该方法包括：对各项目的数据库里的数据进行汇聚；对所汇聚的数据进行存储；建立可视化界面订阅接口；接收用户通过所述界面订阅接口所选择的数据参数信息；根据所述用户所选择的数据参数，生成应用程序接口，以便于外部应用程序可以通过所述应用程序接口按所述数据参数调用所存储的数据。通过上述方法，本发明实施例可以建立一个数据共享的平台，从而使用户的使用更敏捷，可以快速地适应瞬息万变的市场。

Description

一种数据中台的实现方法、装置以及电子设备

技术领域

本发明实施例涉及信息技术领域，特别是涉及一种数据中台的实现方法、装置以及电子设备。

背景技术

在互联网时代的今天，未来是属于用好互联网，用好互联网数据的企业。企业的数据是企业的一类核心资源，例如财务系统，产品系统，客户管理系统，仓库物流管理系统等。企业对数据的管理和计算能力往往决定了企业未来的发展高度。

但是，在实现本发明实施例的过程中，发明人发现：传统的企业数据是以各个项目单独存储，单独计算的方式存在的，这样的数据存储和计算方式往往不能满足用户的需求，因此迫切需要实现一个共享的公共数据平台。

发明内容

鉴于上述问题，本发明实施例提供了一种数据中台的实现方法、装置以及电子设备，克服了上述问题或者至少部分地解决了上述问题。

根据本发明实施例的一个方面，提供了一种数据中台的实现方法，包括：对各项目的数据库里的数据进行汇聚；对所汇聚的数据进行存储；建立可视化界面订阅接口；接收用户通过所述界面订阅接口所选择的数据参数信息；根据所述用户所选择的数据参数，生成应用程序接口，以便于外部应用程序可以通过所述应用程序接口按所述数据参数调用所存储的数据。

在一种可选的方式中，所述对各项目的数据库里的数据进行汇聚的步骤，进一步包括：通过日志同步软件，获取所述数据库的日志并进行解析；将所述经过解析的所述日志存入分布式消息发布订阅系统；对所述数据库里的源数据制作一次性数据快照；每隔预设时间间隔从所述分布式消息发布订阅系统中获取所述日志；将所述一次性数据快照与从所述分布式消息发布订阅系统中获取的所述日志进行汇聚。

在一种可选的方式中，所述对所汇聚的数据进行存储的步骤，进一步包括：根据预设维度建模模型，将所述汇聚的数据存入公共维度模型层。

在一种可选的方式中，所述公共维度模型层具体包括汇总事实表、明细事实表以及维度表。所述将所述汇聚的数据存入公共维度模型层的步骤，进一步包括：将所述汇聚的数据进行维度物理化之后以宽表的形式存为所述维度表；根据所述汇聚的数据，制作与各所述维度表对应的所述明细事实表，所述明细事实表存储的是所述汇聚的数据中原始粒度的明细数据，一张所述维度表可以对应一张或多张所述明细事实表；将所述维度表以及与其对应的所述明细事实表进行聚合，以宽表的形式存为所述汇总事实表。

在一种可选的方式中，所述对所汇聚的数据进行存储的步骤，还包括：将所述汇聚的数据存储为操作数据层。

根据本发明实施例的另一个方面，提供了一种数据中台的实现装置，包括:数据汇聚模块，用于对各项目的数据库里的数据进行汇聚；数据存储模块，用于对所汇聚的数据进行存储；接口建立模块，用于建立可视化界面订阅接口；信息接收模块，用于接收用户通过所述界面订阅接口所选择的数据参数信息；接口生成模块，用于根据所述用户所选择的数据参数，生成应用程序接口，以便于外部应用程序可以通过所述应用程序接口按所述数据参数调用所存储的数据。

在一种可选的方式中，所述数据汇聚模块包括：第一获取单元，用于通过日志同步软件，获取所述数据库的日志并进行解析；第一数据存储单元，用于将所述经过解析的所述日志存入分布式消息发布订阅系统；数据快照制作单元，用于对所述数据库里的源数据制作一次性数据快照；第二获取单元，用于每隔预设时间间隔从所述分布式消息发布订阅系统中获取所述日志；数据汇聚单元，用于将所述一次性数据快照与从所述分布式消息发布订阅系统中获取的所述日志进行汇聚。

在一种可选的方式中，所述数据存储模块包括：第二数据存储单元，用于根据预设维度建模模型，将所述汇聚的数据存入公共维度模型层。

在一种可选的方式中，所述公共维度模型层具体包括汇总事实表、明细事实表以及维度表。所述第二数据存储单元具体用于：将所述汇聚的数据进行维度物理化之后以宽表的形式存为所述维度表；根据所述汇聚的数据，制作与各所述维度表对应的所述明细事实表，所述明细事实表存储的是所述汇聚的数据中原始粒度的明细数据，一张所述维度表可以对应一张或多张所述明细事实表；将所述维度表以及与其对应的所述明细事实表进行聚合，以宽表的形式存为所述汇总事实表。

在一种可选的方式中，所述对所汇聚的数据进行存储的步骤，还包括：第三数据存储单元，用于将所述汇聚的数据存储为操作数据层。

根据本发明实施例的另一个方面，提供了一种电子设备，该电子设备包括：至少一个处理器，以及存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本发明实施例的另一个方面，提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行如上所述的方法。

本发明实施例的有益效果是：本实施例通过对各项目的数据库里的数据进行汇聚，对所汇聚的数据进行存储以及建立可视化界面订阅接口，以便于对所存储的数据进行应用的方法，可以建立一个数据共享的平台，从而使用户的使用更敏捷，可以快速地适应瞬息万变的市场。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种数据中台的实现方法的流程示意图；

图2是本发明实施例提供的一种数据汇聚的方法的流程示意图；

图3是本发明实施例提供的一种数据中台的实现装置的示意图；

图4是本发明实施例提供的执行数据中台的实现方法的电子设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例一

请参阅图1，图1是本发明实施例提供的一种数据中台的实现方法的流程示意图，该方法包括以下步骤：

步骤S1，对各项目的数据库里的数据进行汇聚。

传统的企业数据是以各个项目单独存储，单独计算的方式存在的，这样的数据存储和计算方式往往不能与用户需求的速率相匹配。本发明实施例将各项目之间的数据进行汇聚，使得散列的数据能够统一存储，从而满足用户的需求。

对各项目的数据库里的数据进行汇聚的方法，具体的，如图2所示，步骤S1包括：

步骤S11，通过日志同步软件，获取所述数据库的日志并进行解析。

值得说明的是，在一些实施例中，所述数据库可以是一种关系型数据库，如MySQL数据库，所述MySQL数据库可以接受命令，并做出相应的操作，由于命令中可以包含删除文件、获取文件内容等众多操作，对于编写的命令就是SQL语句。与所述MySQL数据库对应的日志为一种二进制日志Binlog，所述Binlog记录的是对所述MySQL数据库中的数据发生或潜在发生更改的SQL语句，并以二进制的形式保存在磁盘中。

进一步的，所述日志同步软件可以是canal。在一些实施例中，所述数据中台可以从MySQL数据库实时拉取Binlog并完成适当解析。

步骤S12，将所述经过解析的所述日志存入分布式消息发布订阅系统。

可以理解的是，在一些实施例中，可以将从所述MySQL数据库实时拉取的Binlog数据进行暂时存储。在一些实时例中，所述从所述MySQL数据库实时拉取的Binlog数据可以暂时存储在分布式消息发布订阅系统。

在一些实施例中，将所述经过解析的所述日志存入分布式消息发布订阅系统可以通过Kafka实现。Kafka是由Apache软件基金会开发的高吞吐量的分布式发布订阅消息系统。

步骤S13，对所述数据库里的源数据制作一次性数据快照。

步骤S14，每隔预设时间间隔从所述分布式消息发布订阅系统中获取所述日志。

其中，所述预设时间间隔可以根据实际情况进行设定。在一些实施例中，所述预设时间间隔可以根据所述Binlog的产生频率进行设定，例如所述Binlog的产生频率比较低，为每小时5次，则可以将所述预设间隔时间设置的长一些，比如为2小时，即每2小时从所述分布式消息发布订阅系统中获取所述日志。又例如，所述Binlog的产生频率比较高，为每小时10000次，则可以将所述预设间隔时间设置的段一些，比如为4分钟，即每4分钟从所述分布式消息发布订阅系统中获取所述日志。进一步的，可以采用LinkedIn的开源组件Camus获取分布式消息发布订阅系统中的Binlog，并落地到Hive。

步骤S15，将所述一次性数据快照与从所述分布式消息发布订阅系统中获取的所述日志进行汇聚。

将所述一次性数据快照与从所述分布式消息发布订阅系统中获取的所述日志进行汇聚，即可还原出与所述各项目的数据库相同的数据，从而获得各所述项目的业务数据。

步骤S2，对所汇聚的数据进行存储。

在对所汇聚的数据进行存储时，可以预设维度建模模型，将所述汇聚的数据存入公共维度模型层。在所述维度建模模型中，所述公共维度模型层中的数据是以数据宽表的形式存在的。所述宽表是数据写入表的方式，宽表的信息更加清晰明细。所述公共维度模型层中的所述数据宽表包括汇总事实表、明细事实表以及维度表。所述公共维度模型层中的数据的存储方法具体的为：将所述汇聚的数据进行维度物理化之后以宽表的形式存为所述维度表；根据所述汇聚的数据，制作与各所述维度表对应的所述明细事实表，所述明细事实表存储的是所述汇聚的数据中原始粒度的明细数据，一张所述维度表可以对应一张或多张所述明细事实表；将所述维度表以及与其对应的所述明细事实表进行聚合，以宽表的形式存为所述汇总事实表。

下面举一个简单的例子来说明所述公共维度模型层中的数据的存储方法。例如，假设A店一天的销售量为9，则将这样的数据存入维度表，假设记为维度表1。与上述维度表1相对应的，假设A店10:00销售了a、b，则将该数据存入明细事实表，假设记为明细事实表1；假设A店14:00销售了c、d、e、f，则将该数据存入明细事实表，假设记为明细事实表2；假设A店19:00销售了a、b、d，则将该数据存入明细事实表，假设记为明细事实表3。将上述维度表1与明细事实表1、明细事实表2以及明细事实表3进行聚合，即可获得汇总事实表。

值得说明的是，在一些实施例中，可以首先将所述汇聚的数据存入操作数据层。所述操作数据层存储的是没有经过任何处理的所述汇聚的数据。将所述汇聚的数据存入操作数据层，一方面可以减轻所述数据中台系统的压力，所述数据中台可以将所述汇聚的数据存入所述操作数据层之后再进行整理存入所述公共维度模型层中；另一方面，在所述公共维度模型层里的数据出现问题时可以根据所述操作数据层里的数据再次建立公共维度模型层数据，从而避免再次进行数据汇聚。

步骤S3，建立可视化界面订阅接口。

为方便用户的使用，可以建立可视化界面订阅接口，用户可以根据所述可视化的界面订阅接口获取数据。

步骤S4，接收用户通过所述界面订阅接口所选择的数据参数信息。

步骤S5，根据所述用户所选择的数据参数，生成应用程序接口。

为了提升用户体验，可以在所述界面订阅接口设置可供选择的维度参数。所述数据中台系统接收到用户选择的数据维度参数后，将进一步的生成个性化应用程序接口，以便于外部应用程序可以通过所述应用程序接口按所述数据参数调用所存储的数据。在一些实施例中，所述数据中台可以根据用户要获取的数据的类型，在生成个性化应用程序接口的同时，配置相应的数据处理系统，比如擅长数据的分析的Kylin系统或者是擅长事务处理的ElasticSearch系统。

在本发明实施例中，通过对各项目的数据库里的数据进行汇聚，对所汇聚的数据进行存储，建立可视化界面订阅接口，接收用户通过所述界面订阅接口所选择的数据参数信息以及根据所述用户所选择的数据参数，生成应用程序接口，以便于外部应用程序可以通过所述应用程序接口按所述数据参数调用所存储的数据的方法，可以建立一个数据共享的平台，从而使用户的使用更敏捷，可以快速地适应瞬息万变的市场。

实施例二

请参阅图3，图3是本发明实施例提供的一种数据中台的实现装置的示意图，该装置40包括：数据汇聚模块41、数据存储模块42、接口建立模块43、信息接收模块44以及接口生成模块45。其中，数据汇聚模块41，用于对各项目的数据库里的数据进行汇聚；数据存储模块42，用于对所汇聚的数据进行存储；接口建立模块43，用于建立可视化界面订阅接口；信息接收模块44，用于接收用户通过所述界面订阅接口所选择的数据参数信息；接口生成模块45，用于根据所述用户所选择的数据参数，生成应用程序接口，以便于外部应用程序可以通过所述应用程序接口按所述数据参数调用所存储的数据。

在本发明实施例中，通过数据汇聚模块对各项目的数据库里的数据进行汇聚，通过数据存储模块对所汇聚的数据进行存储，通过接口建立模块建立可视化界面订阅接口，通过信息接收模块接收用户通过所述界面订阅接口所选择的数据参数信息以及根据所述用户所选择的数据参数，通过接口生成模块生成应用程序接口，以便于外部应用程序可以通过所述应用程序接口按所述数据参数调用所存储的数据，可以建立一个数据共享的平台，从而使用户的使用更敏捷，可以快速地适应瞬息万变的市场。

在一些实施例中，所述数据汇聚模块41包括第一获取单元411、第一数据存储单元412、数据快照制作单元413、第二获取单元414以及数据汇聚单元415。其中，第一获取单元411，用于通过日志同步软件，获取所述数据库的日志并进行解析；第一数据存储单元412，用于将所述经过解析的所述日志存入分布式消息发布订阅系统；数据快照制作单元413，用于对所述数据库里的源数据制作一次性数据快照；第二获取单元414，用于每隔预设时间间隔从所述分布式消息发布订阅系统中获取所述日志；数据汇聚单元415，用于将所述一次性数据快照与从所述分布式消息发布订阅系统中获取的所述日志进行汇聚。

在一些实施例中，所述数据存储模块42包括第二数据存储单元421以及第三数据存储单元422。其中，第二数据存储单元421，用于根据预设维度建模模型，将所述汇聚的数据存入公共维度模型层。第三数据存储单元422，用于将所述汇聚的数据存储为操作数据层。

在一些实施例中，所述第二数据存储单元421具体用于：将所述汇聚的数据进行维度物理化之后以宽表的形式存为所述维度表；根据所述汇聚的数据，制作与各所述维度表对应的所述明细事实表，所述明细事实表存储的是所述汇聚的数据中原始粒度的明细数据，一张所述维度表可以对应一张或多张所述明细事实表；将所述维度表以及与其对应的所述明细事实表进行聚合，以宽表的形式存为所述汇总事实表。

在本发明实施例中，通过数据汇聚模块对各项目的数据库里的数据进行汇聚，通过数据存储模块对所汇聚的数据进行存储，通过接口建立模块建立可视化界面订阅接口，通过信息接收模块接收用户通过所述界面订阅接口所选择的数据参数信息以及根据所述用户所选择的数据参数，通过接口生成模块生成应用程序接口，以便于外部应用程序可以通过所述应用程序接口按所述数据参数调用所存储的数据，可以建立一个数据共享的平台，从而使用户的使用更敏捷，可以快速地适应瞬息万变的市场。

实施例三

请参阅图4，图4是是本发明实施例提供的执行数据中台的实现方法的电子设备的硬件结构示意图。如图4所示，该电子设备50包括：一个或多个处理器51以及存储器52，图4中以一个存储器为例。

处理器51和存储器52可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器52作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的数据中台的实现方法对应的程序指令/模块(例如，附图3所示的各个模块)。处理器51通过运行存储在存储器52中的非易失性软件程序、指令以及模块，从而执行数据中台的实现装置的各种功能应用以及数据处理，即实现上述方法实施例的数据中台的实现方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据中台的实现装置的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至数据中台的实现装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器52中，当被所述一个或者多个处理器51执行时，执行上述任意方法实施例中的数据中台的实现方法，例如，执行以上描述的图1中的方法步骤S1至步骤S5，图2中的方法步骤S11至步骤S15，实现图3中的模块41-45、模块411-415或模块421-422的功能。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

本发明实施例提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被电子设备执行上述任意方法实施例中的数据中台的实现方法，例如，执行以上描述的图1中的方法步骤S1至步骤S5，图2中的方法步骤S11至步骤S15，实现图3中的模块41-45、模块411-415或模块421-422的功能。

本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的数据中台的实现方法，例如，执行以上描述的图1中的方法步骤S1至步骤S5，图2中的方法步骤S11至步骤S15，实现图3中的模块41-45、模块411-415或模块421-422的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件来实现。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据中台的实现方法，其特征在于，包括：

对各项目的数据库里的数据进行汇聚；

对所汇聚的数据进行存储；

建立可视化界面订阅接口；

接收用户通过所述界面订阅接口所选择的数据参数信息；

根据所述用户所选择的数据参数，生成应用程序接口，以便于外部应用程序可以通过所述应用程序接口按所述数据参数调用所存储的数据。

2.根据权利要求1所述的方法，其特征在于，所述对各项目的数据库里的数据进行汇聚的步骤，进一步包括：

通过日志同步软件，获取所述数据库的日志并进行解析；

将所述经过解析的所述日志存入分布式消息发布订阅系统；

对所述数据库里的源数据制作一次性数据快照；

每隔预设时间间隔从所述分布式消息发布订阅系统中获取所述日志；

将所述一次性数据快照与从所述分布式消息发布订阅系统中获取的所述日志进行汇聚。

3.根据权利要求2所述的方法，其特征在于，所述对所汇聚的数据进行存储的步骤，进一步包括：

根据预设维度建模模型，将所述汇聚的数据存入公共维度模型层。

4.根据权利要求3所述的方法，其特征在于，所述公共维度模型层具体包括汇总事实表、明细事实表以及维度表；

所述将所述汇聚的数据存入公共维度模型层的步骤，进一步包括：

将所述汇聚的数据进行维度物理化之后以宽表的形式存为所述维度表；

根据所述汇聚的数据，制作与各所述维度表对应的所述明细事实表，所述明细事实表存储的是所述汇聚的数据中原始粒度的明细数据，一张所述维度表可以对应一张或多张所述明细事实表；

将所述维度表以及与其对应的所述明细事实表进行聚合，以宽表的形式存为所述汇总事实表。

5.根据权利要求3所述的方法，其特征在于，所述对所汇聚的数据进行存储的步骤，还包括：

将所述汇聚的数据存储为操作数据层。

6.一种数据中台的实现装置，其特征在于，包括:

数据汇聚模块，用于对各项目的数据库里的数据进行汇聚；

数据存储模块，用于对所汇聚的数据进行存储；

接口建立模块，用于建立可视化界面订阅接口；

信息接收模块，用于接收用户通过所述界面订阅接口所选择的数据参数信息；

接口生成模块，用于根据所述用户所选择的数据参数，生成应用程序接口，以便于外部应用程序可以通过所述应用程序接口按所述数据参数调用所存储的数据。

7.根据权利要求6所述的装置，其特征在于，所述数据汇聚模块包括：

第一获取单元，用于通过日志同步软件，获取所述数据库的日志并进行解析；

第一数据存储单元，用于将所述经过解析的所述日志存入分布式消息发布订阅系统；

数据快照制作单元，用于对所述数据库里的源数据制作一次性数据快照；

第二获取单元，用于每隔预设时间间隔从所述分布式消息发布订阅系统中获取所述日志；

数据汇聚单元，用于将所述一次性数据快照与从所述分布式消息发布订阅系统中获取的所述日志进行汇聚。

8.根据权利要求7所述的装置，其特征在于，所述数据存储模块包括：

第二数据存储单元，用于根据预设维度建模模型，将所述汇聚的数据存入公共维度模型层。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

10.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行权利要求1-5中任一项所述的方法。

Images