CN116361386A - 基于数仓的数据存储方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例属于数据仓库技术领域，涉及一种基于数仓的数据存储方法、装置、计算机设备及存储介质，方法包括下述步骤：将数据库中的新日志同步至数仓；对新日志进行解析，获取目标操作信息；在目标操作信息上插入标签；根据标签获取目标数据。本申请对同步至数仓的新日志进行解析，获取目标操作信息，对目标操作信息打上标签，然后根据标签获取目标数据，无需拉链表繁琐的计算方式。相比于拉链表的方式，本申请既有拉链表节省存储空间的优势，又可以节省计算资源，还能支持准确重跑历史相关数据分析任务。

Description

基于数仓的数据存储方法、装置、计算机设备及存储介质

技术领域

本申请涉及数据仓库技术领域，尤其涉及基于数仓的数据存储方法、装置、计算机设备及存储介质。

背景技术

传统数据库会基于业务变化，反应业务的状态，例如用户ID、年龄、照片、名称、年龄等信息发生更改，但是不会对历史状态进行保存。与传统数据库用途不同，数仓会将历史状态都保存下来，支持海量数据的存储和查询，但是并不支持更新和删除。

因此，业务数据库是数仓的数据的来源。目前从业务库同步过来的数据在数仓中的组织和更新方式主要有全量分区和增量分区。全量分区：即每天存储一份对应业务数据库的表的历史全量快照；增量分区：即每天存储一份对应业务数据库的表的新增数据。

增量分区存储的是业务数据库那种表的数据不会发生改变的，比如金融流水，所以每天保留新增的数据，也就相当于是最新的快照，需要所有的数据，取全部的分区的数据即可。全量分区存储的是，会发生变化的数据，那么就需要每天保留一份全量的快照，以便分析和追溯每天的一个数据情况。但是全量分区的缺陷是每天保留一份全量的快照，对于存储空间的占用非常大(相当于每天复制一张表，且每天都要保留下来)。

所以业界对上述情况的优化方案是拉链表，拉链表对于没有产生变化的数据，只保留一份，对于产生变化的数据，只保留变化的状态，极大地减少了存储空间的浪费。但是这个方案对计算资源使用比较多，并且重跑历史相关的数据分析任务可能会造成数据不准确。

发明内容

本申请实施例的目的在于提出一种基于数仓的数据存储方法、装置、计算机设备及存储介质，解决计算资源使用多，重跑历史相关数据分析任务造成数据不准确的技术问题。

为了解决上述技术问题，本申请实施例提供一种基于数仓的数据存储方法，采用了如下所述的技术方案：

基于数仓的数据存储方法，包括下述步骤：

将数据库中的新日志同步至数仓；

对新日志进行解析，获取目标操作信息；

在目标操作信息上插入标签；

根据标签获取目标数据。

进一步的，所述将数据库中的新日志同步至数仓的步骤，包括：

对存储日志的数据库进行监听；

当监听到数据库生成新日志时，将新日志同步至数仓中。

进一步的，所述对新日志进行解析，获取目标操作信息的步骤，包括：

对新日志进行解析，获取新增操作信息，其中，新增操作信息包括明细数据的信息及对应的操作日志；

结合新增操作信息和数仓中的历史操作信息，对新增操作信息和历史操作信息中的所有操作信息进行排序，将至少一条操作信息作为目标操作信息。

进一步的，所述结合新增操作信息和数仓中的历史操作信息，对新增操作信息和历史操作信息中的所有操作信息进行排序，将至少一条操作信息作为目标操作信息的步骤，包括：

根据预设的排序周期，将对应同一账户的操作信息按照生成的时间进行排序，得到操作历史；

将操作历史中最新的操作信息作为目标操作信息。

进一步的，根据标签获取目标数据的步骤，包括：

目标数据为目标账户在目标日期的历史状态，根据标签获取目标账户在目标日期的历史状态，其中，标签包括目标操作信息的有效日期。

进一步的，所述目标数据为目标账户在目标日期的历史状态，根据标签获取目标账户在目标日期的历史状态的步骤，包括：

所述当需要目标账户在目标日期的历史状态时，根据标签获取目标账户在目标日期的历史状态的步骤，包括：

当需要目标账户在目标日期的历史状态时，根据目标日期将目标账户中带有标签的目标操作信息作为目标账户的历史状态；

根据目标账户的历史状态进行标签过滤，得到目标账户在目标日期的历史状态。

进一步的，所述对存储日志的数据库进行监听的步骤，包括：

使用canal监控业务数据库的数据变化日志。

为了解决上述技术问题，本申请实施例还提供一种基于数仓的数据存储装置，采用了如下所述的技术方案：

一种基于数仓的数据存储装置，包括：

同步模块，用于将数据库中的新日志同步至数仓；

解析模块，用于对新日志进行解析，获取目标操作信息；

插入模块，用于在目标操作信息上插入标签；及

获取模块，根据标签获取目标数据。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于数仓的数据存储方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于数仓的数据存储方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

业务数据库中业务更改或更新时，业务数据库的操作日志会生成binlog日志，以记录业务数据库的操作明细，将数据库中的新日志同步至数仓，对新日志进行解析，获取目标操作信息，在目标操作信息上插入标签，通过map类型字段flag,标记目标操作信息的有效日期，当需要目标账户在目标日期的历史状态时，根据标签获取目标账户在目标日期的历史状态。本申请实施例优化拉链表的实现方式，使用标签的方式，当业务数据库中业务更改或更新时，对同步至数仓的新日志进行解析，获取目标操作信息，对目标操作信息打上标签，然后根据标签获取目标账户在目标日期的历史状态，无需拉链表繁琐的计算方式。相比于拉链表的方式，本申请既有拉链表节省存储空间的优势，又可以节省计算资源，还能支持准确重跑历史相关数据分析任务。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的基于数仓的数据存储方法的一个实施例的流程图；

图3是图2中步骤S101的一种具体实施方式的流程图；

图4是图2中步骤S102的一种具体实施方式的流程图；

图5是图2中步骤S104的一种具体实施方式的流程图；

图6是根据本申请的基于数仓的数据存储装置的一个实施例的结构示意图；

图7是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

实施例

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的基于数仓的数据存储方法一般由服务器/终端设备执行，相应地，基于数仓的数据存储装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的基于数仓的数据存储方法的一个实施例的流程图。所述基于数仓的数据存储方法，包括：步骤S101、步骤S102、步骤S103以及步骤S104。

步骤S101，将数据库中的新日志同步至数仓。

数据库(Database)，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。其中，数据库可为MySQL数据库。

数仓，又称数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。其中，数仓可为HIVE数仓。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为任务在Hadoop上运行。

传统数据库会基于业务变化，反应业务的状态，例如用户ID、年龄、照片、名称、年龄等信息发生更改，但是不会对历史状态进行保存。与数据库用途不同，数仓会将历史状态都保存下来，支持海量数据的存储和查询，但是并不支持更新和删除。

本申请实施例可适用于将数据库中数据向数据仓库进行同步的情况，例如可以是将MySQL数据库中的新日志向HIVE数仓进行同步的情况，该方法可以由本申请任意实施例提供的基于数仓的数据存储装置来执行，该装置可由硬件和/或软件组成，并一般可集成在计算机设备。

作为一种可选的实施方式，以业务数据库举例，业务数据库中业务更改或更新时，业务数据库的操作日志会产生额外记录的binlog日志存在其他日志文件中，以记录业务数据库的操作明细。将数据库中的新日志同步至数仓，数仓获取binlog日志的最新的一条日志，该新日志包含有某一时刻的状态(所有字段的明细信息)。

binlog日志是二进制日志，记录了数据库(如MySQL)所有的DDL(DataDefinitionLanguage，数据定义语言)和DML(Data Manipulation Language，数据操纵语言)语句(除了数据查询语句select、show等)，以事件形式进行记录，还包含语句执行所消耗的时间，MySQL的binlog日志是事务安全型的，后续可以基于binlog日志恢复出数据。

binlog日志有ROW，Statement，MiXED三种格式，在本申请实施例中基于ROW格式的binlog日志进行数据恢复。ROW格式的binlog日志，能非常清晰地记录下每行数据的修改细节，不需要记录上下文相关信息，因此不会发生某些特定情况下的procedure(程序)、function(函数)、及trigger(触发器)的调用触发无法被正确复制的问题，任何情况都可以被复制。

由于数据库所有执行的语句在ROW格式的binlog日志中都将以每行记录的修改细节来记录，因此，可能会产生大量的日志内容，比如一条update(更新)语句，如修改多条记录，则ROW格式的binlog日志中每一条修改都会有记录，这样使binlog日志量会很大，特别是当执行alter table(修改数据表)之类的语句的时候，由于表结构修改，每条记录都发生改变，那么该表每一条记录都会记录到日志中，相当于重建了数据表。在新版本中binlog日志默认为ROW格式，把该参数的参数值设置为minimal以后，binlog日志记录的就只是影响的列，大大减少了binlog日志内容。

作为一种可选的实施方式，将新日志同步到数仓中专门用于存储文本形式日志的数据表中。其中，不同时间段内的新日志可以存储在同一个数据表中，也可以存储在不同的数据库表中。当不同时间段内的新日志存储在同一个数据表时，可以在数据表中设置时间区分字段，以区别新日志所属的时间段。

作为一种可选的实施方式，采用定时同步的方式，将数据库中的新日志同步至数仓。例如，可以为若干分钟同步一次，也可以为若干小时同步一次，也可以为一天同步一次等，具体可以根据实际应用场景确定。

作为一种可选的实施方式，也可采用实时同步的方式，可以发送至消息中间件实现实时同步，例如，通过kafka实现实时同步。

步骤S102，对新日志进行解析，获取目标操作信息。

作为一种可选的实施方式，通过hiveSql解析同步过来的结构化的mysqlbinlog日志，也可以通过sparkSql解析。

步骤S103，在目标操作信息上插入标签。

作为一种可选的实施方式，通过一个map类型字段flag，标记目标操作信息的有效日期。使用时，只需要通过map类型字段获取该日期的值为1的记录即可。

业务数据库的表通常有3种组织方式，全量不分区，增量分区(即每天存储一份对应业务数据库的表的新增数据)，全量分区(即每天存储一份对应业务数据库的表的历史全量快照)。比如：像用户表通常是需要全量快照数据用于关联其他表数据。但如果需要用到一些随时间变化的字段用于计算逻辑(比如：用户级别，不同时期可能属于不同级别享受不同的优惠)，为了满足重跑历史数据的幂等性，则需要保存用户的历史变更记录。

常见的实现方案有2种：

方案1、每天一个全量快照。这种方式简单，但消耗磁盘。(比如2千万用户，1年就是70多亿条记录)

方案2、保存一个拉链表，然后根据拉链表生成一个当时视角的快照表(重跑历史数据存在无法使用快照表的风险)。

本申请实施例采用方案3，方案3也是采用类似拉链表的思想，但不需要用快照表，通过一个map类型字段flag，标记该条记录的有效的日期。使用时，只需要通过map类型字段获取该日期的值为1的记录即可。

例如，数据库中数据的原始修改记录为：

日期：20220701，用户id：001，级别：C；

日期：20220703，用户id：001，级别：B；

日期：20220705，用户id：001，级别：A。

站在2022年7月5号这天的视角来看：

方案1：7月1号和7月2号各有1条记录(级别为C)，7月3号和7月4号分别有两条记录，7月5号有3条记录，总计9条记录。优点为使用简单，缺点为磁盘浪费严重。

每日全量快照表的方式：

日期：20220701，用户id：001，级别：C，日期分区：20220701；

日期：20220702，用户id：001，级别：C，日期分区：20220702。

方案2：拉链表3条记录，加上快照表1条记录，总计4条记录。优点为节约了磁盘，缺点为：需要新增一个快照表。另外在重刷历史数据的过程中，快照表是不能用的(比如：在7月5号重刷7月2号数据时，快照表中用户的级别是B，其实当前时间应该是A,所以若此时有人用了这张表，那么结果就是错的)。

方案3：只有3条记录，通过单独一个字段记录数据的生效时间。

通过map类型字段flag,标记目标操作信息的有效日期后：

日期：20220701，用户id：001，级别：C，flag:{"20220701":1,"20220702":1}；

日期：20220703，用户id：001，级别：B，flag:{"20220703":1,"20220704":1}；

日期：20220705，用户id：001，级别：A，flag:{"20220705":1}。

flag:{"20220701":1,"20220702":1}代表用户001在20220701和20220702都是取这条数据,相当于将原本使用每日全量快照中需要两条记录来表示的，合并成了一条，"20220701":1表示：比如用户001的某条记录是属于20220701这天的快照，那么该条记录的flag[‘20220701’]的值就等于1，否则就为空。使用时，只需要通过map类型字段获取该日期的值为1的记录即可，如Flag[‘20220701’]就能获取到20220701的值。本申请通过map类型字段flag,标记目标操作信息的有效日期，一方面节约了磁盘，另一方面解决了方案2中重刷数据时快照表不能使用的缺点。

步骤S104，根据标签获取目标数据。

本申请实施例提供的基于数仓的数据存储方法，业务数据库中业务更改或更新时，业务数据库的操作日志会生成binlog日志，以记录业务数据库的操作明细，将数据库中的新日志同步至数仓，对新日志进行解析，获取目标操作信息，在目标操作信息上插入标签，根据标签获取目标数据。本申请实施例优化拉链表的实现方式，使用标签的方式，当业务数据库中业务更改或更新时，对同步至数仓的新日志进行解析，获取目标操作信息，对目标操作信息打上标签，然后根据标签获取目标数据，无需拉链表繁琐的计算方式。相比于拉链表的方式，本申请既有拉链表节省存储空间的优势，又可以节省计算资源，还能支持准确重跑历史相关数据分析任务。

继续参考图3，步骤S101包括：

步骤S1011，对存储日志的数据库进行监听；

步骤S1012，当监听到数据库生成新日志时，将新日志同步至数仓中。

作为一种可选的实施方式，使用canal(canal是阿里巴巴MySQL数据库Binlog日志的增量订阅&消费组件)监控业务数据库的数据变化日志，即binlog日志，canal可以用来监听数据库的变化，从而获得新增数据，或者修改的数据，当业务数据库中业务更改或更新时，业务数据库的操作日志会产生额外记录的binlog日志存在其他日志文件中，以记录业务数据库的操作明细。当监听到业务数据库生成新日志时，将该新日志同步至数仓中，从而数仓获取到binlog日志的新日志，该新日志包含有某一时刻的状态(所有字段的明细信息)。使用canal监控业务数据库的数据变化日志的优势就是对业务数据库产生的负担较少。

在其他可选的实施方式，可通过数据传输模块(Data Transmission Service，DTS)中的监控代码，监控业务数据库的日志。

在其他可选的实施方式，可使用sqoop批量复制业务数据库的表的数据到数仓中。

继续参考图4，步骤S102包括：

步骤S1021，对新日志进行解析，获取新增操作信息，其中，新增操作信息包括明细数据的信息及对应的操作日志；

步骤S1022，结合新增操作信息和数仓中的历史操作信息，对新增操作信息和历史操作信息中的所有操作信息进行排序，将至少一条操作信息作为目标操作信息。

作为一种可选的实施方式，解析新日志，获取若干新增操作信息，新增操作信息包括明细数据的信息及对应的操作日志，明细数据的信息包括年龄、生日、性别等信息，将新增操作信息和数仓中的历史操作信息结合排序，以预设规则对所有的操作信息进行排序，选取一条或者一条以上的操作信息作为目标操作信息。

步骤S1022包括：

根据预设的排序周期，将对应同一账户的操作信息按照生成的时间进行排序，得到操作历史；

将操作历史中最新的操作信息作为目标操作信息。

作为一种可选的实施方式，预设的排序周期可以为若干分钟排序一次，也可以为若干小时排序一次，也可以为一天排序一次等，具体可以根据实际应用场景确定。新增操作信息和历史操作信息中的所有操作信息按照生成的时间进行排序后，选取操作历史中一条操作信息作为目标操作信息，本实施方式选取排序序号为第一的操作信息，即当日最新的操作信息作为目标操作信息。

继续参考图5，步骤S104包括：

目标数据为目标账户在目标日期的历史状态，根据标签获取目标账户在目标日期的历史状态，其中，标签包括目标操作信息的有效日期。

作为一种可选的实施方式，对不同日期的目标操作信息赋予一个标签，标签包括该目标操作信息的有效日期。

作为一种可选的实施方式，根据带有标签的目标操作信息，通过标签获得目标账户在在目标日期的历史状态，例如，目标账号为账号A，目标日期为2022年7月1日，当需要账户A在2022年7月1日的历史状态时，根据"20220701":1标签，获取账户A在2022年7月1的历史状态。

所述目标数据为目标账户在目标日期的历史状态，根据标签获取目标账户在目标日期的历史状态的步骤包括：

步骤S1041，当需要目标账户在目标日期的历史状态时，根据目标日期将目标账户中带有标签的目标操作信息作为目标账户的历史状态；

步骤S1042，根据目标账户的历史状态进行标签过滤，得到目标账户在目标日期的历史状态。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图6，作为对上述图2所示方法的实现，本申请提供了一种基于数仓的数据存储装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例所述的基于数仓的数据存储装置200包括：同步模块201、解析模块202、插入模块203以及获取模块204。其中：

同步模块201用于将数据库中的新日志同步至数仓；

解析模块202用于对新日志进行解析，获取目标操作信息；

插入模块203用于在目标操作信息上插入标签；

获取模块204根据标签获取目标数据。

本申请实施例提供的基于数仓的数据存储装置，业务数据库中业务更改或更新时，业务数据库的操作日志会生成binlog日志，以记录业务数据库的操作明细，将数据库中的新日志同步至数仓，对新日志进行解析，获取目标操作信息，在目标操作信息上插入标签，通过map类型字段flag,标记目标操作信息的有效日期，当需要目标账户在目标日期的历史状态时，根据标签获取目标账户在目标日期的历史状态。本申请实施例优化拉链表的实现方式，使用标签的方式，当业务数据库中业务更改或更新时，对同步至数仓的新日志进行解析，获取目标操作信息，对目标操作信息打上标签，然后根据标签获取目标账户在目标日期的历史状态，无需拉链表繁琐的计算方式。相比于拉链表的方式，本申请既有拉链表节省存储空间的优势，又可以节省计算资源，还能支持准确重跑历史相关数据分析任务。

在本申请实施例中，同步模块201包括监听模块和子同步模块，监听模块用于对存储日志的数据库进行监听，子同步模块用于当监听到数据库生成新日志时，将新日志同步至数仓中。

作为一种可选的实施方式，监听模块使用canal(canal是阿里巴巴MySQL数据库Binlog日志的增量订阅&消费组件)监控业务数据库的数据变化日志，即binlog日志，canal可以用来监听数据库的变化，从而获得新增数据，或者修改的数据，当业务数据库中业务更改或更新时，业务数据库的操作日志会产生额外记录的binlog日志存在其他日志文件中，以记录业务数据库的操作明细。当监听到业务数据库生成新日志时，将该新日志同步至数仓中，从而数仓获取到binlog日志的新日志，该新日志包含有某一时刻的状态(所有字段的明细信息)。使用canal监控业务数据库的数据变化日志的优势就是对业务数据库产生的负担较少。

在本申请实施例中，解析模块202包括子解析模块和排序模块，子解析模块用于对新日志进行解析，获取操作信息，排序模块用于对操作信息进行排序，将至少一条操作信息作为目标操作信息。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。

所述计算机设备300包括通过系统总线相互通信连接存储器301、处理器302、网络接口303。需要指出的是，图中仅示出了具有组件301-303的计算机设备300，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器301至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器301可以是所述计算机设备300的内部存储单元，例如该计算机设备300的硬盘或内存。在另一些实施例中，所述存储器301也可以是所述计算机设备300的外部存储设备，例如该计算机设备300上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器301还可以既包括所述计算机设备300的内部存储单元也包括其外部存储设备。本实施例中，所述存储器301通常用于存储安装于所述计算机设备300的操作系统和各类应用软件，例如基于数仓的数据存储方法的程序代码等。此外，所述存储器301还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器302在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器302通常用于控制所述计算机设备300的总体操作。本实施例中，所述处理器302用于运行所述存储器301中存储的程序代码或者处理数据，例如运行所述基于数仓的数据存储方法的程序代码。

所述网络接口303可包括无线网络接口或有线网络接口，该网络接口303通常用于在所述计算机设备300与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于数仓的数据存储方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于数仓的数据存储方法，其特征在于，包括下述步骤：

将数据库中的新日志同步至数仓；

对新日志进行解析，获取目标操作信息；

在目标操作信息上插入标签；

根据标签获取目标数据。

2.根据权利要求1所述的基于数仓的数据存储方法，其特征在于，所述将数据库中的新日志同步至数仓的步骤，包括：

对存储日志的数据库进行监听；

当监听到数据库生成新日志时，将新日志同步至数仓中。

3.根据权利要求1所述的基于数仓的数据存储方法，其特征在于，所述对新日志进行解析，获取目标操作信息的步骤，包括：

对新日志进行解析，获取新增操作信息，其中，新增操作信息包括明细数据的信息及对应的操作日志；

结合新增操作信息和数仓中的历史操作信息，对新增操作信息和历史操作信息中的所有操作信息进行排序，将至少一条操作信息作为目标操作信息。

4.根据权利要求3所述的基于数仓的数据存储方法，其特征在于，所述结合新增操作信息和数仓中的历史操作信息，对新增操作信息和历史操作信息中的所有操作信息进行排序，将至少一条操作信息作为目标操作信息的步骤，包括：

根据预设的排序周期，将对应同一账户的操作信息按照生成的时间进行排序，得到操作历史；

将操作历史中最新的操作信息作为目标操作信息。

5.根据权利要求1所述的基于数仓的数据存储方法，其特征在于，所述根据标签获取目标数据的步骤，包括：

目标数据为目标账户在目标日期的历史状态，根据标签获取目标账户在目标日期的历史状态，其中，标签包括目标操作信息的有效日期。

6.根据权利要求5所述的基于数仓的数据存储方法，其特征在于，所述目标数据为目标账户在目标日期的历史状态，根据标签获取目标账户在目标日期的历史状态的步骤，包括：

当需要目标账户在目标日期的历史状态时，根据目标日期将目标账户中带有标签的目标操作信息作为目标账户的历史状态；

根据目标账户的历史状态进行标签过滤，得到目标账户在目标日期的历史状态。

7.根据权利要求2所述的基于数仓的数据存储方法，其特征在于，所述对存储日志的数据库进行监听的步骤，包括：

使用canal监控业务数据库的数据变化日志。

8.一种基于数仓的数据存储装置，其特征在于，包括：

同步模块，用于将数据库中的新日志同步至数仓；

解析模块，用于对新日志进行解析，获取目标操作信息；

插入模块，用于在目标操作信息上插入标签；及

获取模块，根据标签获取目标数据。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于数仓的数据存储方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于数仓的数据存储方法的步骤。

Images