CN114676161A - 一种数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法、装置、设备及存储介质。该数据处理方法通过获取第一预设时间内的批量数据，并同步到第一数据库，得到第一数据表；然后根据第一数据表，对第二数据表进行数据补充，得到第三数据表。由于第一数据库同时支持批量数据和流式数据的写入、存储和计算，使得第三数据表可以同时包含批量数据和流式数据，如此实现了批量数据和流式数据的合并，满足了同时使用批量数据和流式数据的需求，提高了数据的处理效果。

Description

一种数据处理方法、装置、设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

批量处理，简称批处理，即对分批到达的数据定时定量按批处理，一般将批处理的数据称为批量数据。

流式处理，简称流处理，即对持续到达的数据进行实时处理，不断输出，一般将流处理的数据称为流式数据。

在某些数据处理的场景中，可能需要用到某个过去的时间开始到当前时刻的数据，其中，某个过去的时间开始到当前时刻之前的数据可以通过批处理得到，当前时刻的数据可以通过流处理得到，也即该数据处理需要同时使用批量数据和流式数据。

但由于批量数据和流式数据的存储介质、数据结构等不同，目前多采用批量数据或流式数据进行处理，效果较差。

申请内容

本申请实施例提供一种数据处理方法、装置、设备及存储介质，可以同时使用批量数据和流式数据，提高了数据的处理效果。

第一方面，本申请实施例提供了一种数据处理方法，包括：

获取第一预设时间内的批量数据；

同步批量数据到第一数据库，得到第一数据表，第一数据库支持批量数据和流式数据的写入、存储和计算；

根据第一数据表，对第二数据表进行数据补充，得到第三数据表，第二数据表是基于第一数据库得到的，用于存储第二预设时间内的流式数据，第一预设时间为第二预设时间之前的时间。

第二方面，本申请实施例提供了一种数据处理方法，包括：

获取第三预设时间内的全量数据；

同步全量数据到第二数据库，得到第七数据表，第二数据库支持批量数据和流式数据的写入、存储和计算；

获取第四预设时间内的流式数据；

将流式数据写入第七数据表，得到第八数据表，第三预设时间为第四预设时间之前的时间。

第三方面，本申请实施例提供了一种数据处理装置，包括：

获取模块，用于获取第一预设时间内的批量数据；

同步模块，用于同步批量数据到第一数据库，得到第一数据表，第一数据库支持批量数据和流式数据的写入、存储和计算；

补充模块，用于根据第一数据表，对第二数据表进行数据补充，得到第三数据表，第二数据表是基于第一数据库得到的，用于存储第二预设时间内的流式数据，第一预设时间为第二预设时间之前的时间。

第四方面，本申请实施例提供了一种数据处理装置，包括：

获取模块，用于获取第三预设时间内的全量数据；

同步模块，用于同步全量数据到第二数据库，得到第七数据表，第二数据库支持批量数据和流式数据的写入、存储和计算；

获取模块，还用于获取第四预设时间内的流式数据；

写入模块，用于将流式数据写入第七数据表，得到第八数据表，第三预设时间为第四预设时间之前的时间。

第五方面，本申请实施例提供了一种电子设备，包括：

处理器；

存储器，用于存储计算机程序指令；

当计算机程序指令被处理器执行时，实现如第一方面所述的方法。

第六方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如第一方面所述的方法。

第七方面，本申请实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如第一方面所述的方法。

本申请实施例提供的数据处理方法、装置、设备及存储介质，通过获取第一预设时间内的批量数据，并同步到第一数据库，得到第一数据表；然后根据第一数据表，对第二数据表进行数据补充，得到第三数据表。由于第一数据库同时支持批量数据和流式数据的写入、存储和计算，使得第三数据表可以同时包含批量数据和流式数据，如此实现了批量数据和流式数据的合并，满足了同时使用批量数据和流式数据的需求，提高了数据的处理效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的流程图；

图2为本申请实施例提供的一种用于实现累计指标的数据加工的过程示意图；

图3为本申请实施例提供的另一种数据处理方法的流程图；

图4为本申请实施例提供的一种展示实时明细数据的过程示意图；

图5为本申请实施例提供的一种数据处理装置的结构图；

图6为本申请实施例提供的另一种数据处理装置的结构图；

图7为本申请实施例提供的一种电子设备的结构图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。还需要说明的是，本申请所有实施方式对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

如上所述的流式数据通常可以通过Oracle Golden Gate(简称OGG)、集中式数据采集(Centralized Data Collection，CDC)、Google Landmarks Dataset(简称GLD)、日志采集(简称LOG)等多种采集方式采集，并接入Stage原始层kafka，然后通过Flink技术进行清洗转换处理后存入Base_rt标准层kafka，也即流式数据通常是存储在大数据平台的kafka中。

批量数据通常是通过上游卸数、文件传输等方式接入，然后通过文件加载的方式写入贴源Stage层大规模并行数据库(Massively Parallel Processing，MPP)，最后通过贴源的算法写入Base标准层MPP，也即批量数据通常是存储在大数据平台的托管MPP数据库中。

由此可见，流式数据和批量数据存储于不同的介质中。当需要同时用到批量数据和流式数据时，目前主要采用单一的数据进行处理，例如只采用批量数据或只采用流式数据。

若只采用流式数据处理，由于kafka的存储周期有限，因此不可能将数据持久化的存储在kafka内；如果数据量特别大，Flink的计算也会遭遇瓶颈，无法完成大数据量的实时计算；此外，流式数据因为网络、采集技术等原因也会存在丢数的风险，容易导致数据不准确。

若只采用批量数据处理，获取历史时间段的数据没有问题，但要获取当天最新时刻的数据是无法实现的，即使通过微批来实现，微批次也无法做到实时，因为数据在卸载、传输、加载的过程中都要消耗时间。

因此，无论采用哪一种数据进行后续处理，都会影响数据的处理效果。

为此，本申请实施例提供了一种数据处理方法，可以满足同时使用批量数据和流式数据的需求，提高了数据的处理效果。

下面结合具体的实施例对本申请实施例提供的数据处理方法进行说明，图1为本申请实施例提供的一种数据处理方法的流程图。该方法可以对存储于不同介质的批量数据和流式数据进行处理，以满足同时使用批量数据和流式数据的需求。该方法可以应用于电子设备，电子设备可以包括但不限于手机、平板电脑、笔记本电脑、掌上电脑等。

如图1所示，该数据处理方法可以包括如下步骤：

S110、获取第一预设时间内的批量数据。

S120、同步批量数据到第一数据库，得到第一数据表。

其中，第一数据库支持批量数据和流式数据的写入、存储和计算。

S130、根据第一数据表，对第二数据表进行数据补充，得到第三数据表。

其中，第二数据表是基于第一数据库得到的，用于存储第二预设时间内的流式数据，第一预设时间为第二预设时间之前的时间。

在本申请实施例中，通过获取第一预设时间内的批量数据，并同步到第一数据库，得到第一数据表；然后根据第一数据表，对第二数据表进行数据补充，得到第三数据表。由于第一数据库同时支持批量数据和流式数据的写入、存储和计算，使得第三数据表可以同时包含批量数据和流式数据，如此实现了批量数据和流式数据的合并，满足了同时使用批量数据和流式数据的需求，提高了数据的处理效果。

下面对上述步骤进行详细说明，具体如下所示：

在S110中，第一预设时间可以是从过去某个时间开始到当前时刻之前的任一段时间。这里的批量数据可以包括全量数据和增量数据，其中，增量数据为相较于全量数据新增加的数据。

示例性地，可以按照一定的频率获取第一预设时间内的批量数据，例如可以每日定时从MPP获取第一预设时间内的批量数据。

在S120中，第一数据库可以是同时支持批量数据和流式数据的写入、存储和计算的数据库。示例性地，第一数据库可以是HIVE，HIVE支持离线计算的数据处理过程。

第一数据表即为将上述获取的批量数据同步至第一数据库得到的数据表。示例性地，可以将上述批量数据通过数据集成的方式同步至第一数据库。

在S130中，第二数据表即为将第二预设时间内的流式数据，也即实时数据，从kafka写入第一数据库得到的数据表，第二数据表和第一数据表为两个不同的数据表。示例性地，第二预设时间可以是当前时刻。

考虑到流式数据容易因为网络或采集技术等原因存在丢数的风险，为了保证数据的准确性，本申请实施例利用批量数据修补流式数据。示例性地，可以通过主键对第一数据表和第二数据表中的数据进行比对，并将第一数据表比第二数据表多的数据插入第二数据表，以此完成对第二数据表丢失数据的补充。

由于第一数据表和第二数据表均是基于第一数据库得到，因此第一数据表和第二数据表也均支持批量数据和流式数据的写入、存储和计算，因此可以将第一数据表中的批量数据插入第二数据表中的流式数据中，得到第三数据表，也即第三数据表可以同时存储批量数据和流式数据，如此实现了对存储于不同介质的批量数据和流式数据的合并，满足了同时使用批量数据和流式数据的需求，提高了后续数据的处理效果。

示例性地，参考图2，图2为本申请实施例提供的一种用于实现累计指标的数据加工的过程示意图。该数据加工所需的数据源主要是基于OGG实时采集的数据表，通过流计算标准化后写入第一数据库HIVE，得到第二数据表，同时每日从MPP获取批量数据，并同步至第一数据库HIVE，得到第一数据表，然后利用主键的方式将第一数据表中的数据与第二数据表进行对比，将第二数据表中丢失的数据补到第二数据表中，之后即可基于补全后的数据表(第三数据表)按照预设频率(例如每小时统计一次)累计指标，并将最终的结果从第一数据库HIVE同步到Oracle。

这样即使当天的数据有丢失，也可以保证第二天统计的累计指标是准确的，由此解决了因为网络抖动、kafka集群节点坏掉、采集任务失效等原因而导致丢数，进而导致累计指标不准确的问题。

在一些实施例中，在电子设备首次上线时，为了保证数据的准确性，可以进行初始化，相应地，在S110之前，该数据处理方法还可以包括如下步骤：

在电子设备上线的情况下，同步第一预设时间内的全量数据到第一数据库，得到第四数据表，全量数据为批量数据中的数据；

获取第二预设时间内的流式数据；

将流式数据写入第四数据表，得到第五数据表。

具体地，在电子设备首次上线时，可以对诸如账户信息表、活动信息表等主档类型的数据表进行初始化，也即将第一预设时间内的全量数据同步至第一数据库，得到第四数据表，同时，可以实时将第二预设时间内的流式数据写入第四数据表，如此可以得到一份截止第二预设时间的最新实时数据，也即第五数据表。第五数据表中同时包含了批量数据和流式数据，如此实现了批量数据和流式数据的有效合并，满足了同时使用批量数据和流式数据的需求，提高了后续数据的处理效果。初始化一般仅在电子设备上线的时候执行一次。

由于实时采集数据的特性，对于同一张数据表，流式数据的粒度与批量数据的粒度可能存在差异，因此在基于新的数据表进行后续数据处理之前，可以对新的数据表中的数据进行预处理，基于此，在一些实施例中，在S130之后，该数据处理方法还可以包括如下步骤：

在需要对第三数据表中的数据进行数据加工的情况下，对第三数据表中的数据进行去重处理，得到第六数据表。

具体地，可以针对第三数据表，按照主键分组，并按时间戳排序，以最新一条数据为准，如此可以剔除重复的数据，保证了数据的准确性。

对于同时支持批量数据和流式数据的数据库，除了可以采用HIVE，还可以采用HBASE，HBASE支持流计算的数据处理过程。下面结合HBASE对本申请实施例提供的数据处理方法进行说明，图3为本申请实施例提供的另一种数据处理方法的流程图。

如图3所示，该数据处理方法可以包括如下步骤：

S310、获取第三预设时间内的全量数据。

S320、同步全量数据到第二数据库，得到第七数据表。

其中，第二数据库支持批量数据和流式数据的写入、存储和计算。

S330、获取第四预设时间内的流式数据。

S340、将流式数据写入第七数据表，得到第八数据表。

其中，第三预设时间为第四预设时间之前的时间。

在本申请实施例中，利用同时支持批量数据和流式数据写入、存储和计算的数据库，存储第三预设时间内的全量数据和第四预设时间内的流式数据，实现了批量数据和流式数据的有效合并，满足了同时使用批量数据和流式数据的需求，提高了后续数据的处理效果。

示例性地，第二数据库可以是HBASE。第四预设时间可以是当前时刻，第三预设时间可以是从过去某个时间开始到当前时刻之前的任一段时间，第三预设时间与第一预设时间可以相同也可以不同。

具体地，可以预先设计HBASE表的rowkey、列族以及分区，这里的HBASE表也即上述的第七数据表。然后通过数据集成的方式将第三预设时间内的全量数据同步至上述第七数据表，并通过流计算的方式将第四预设时间内的流式数据写入上述第七数据表，如此实现了在一个数据表中同时存储批量数据和流式数据的目的，也即实现了批量数据和流式数据的有效合并。

考虑到部分流式数据可能会丢失，在一些实施例中，在S340之后，该数据处理方法还可以包括如下步骤：

获取第三预设时间内的增量数据，增量数据为第三预设时间内相对于全量数据增加的数据。

同步增量数据到第八数据表。

本申请实施例利用第三预设时间内的增量数据对第三预设时间内丢失的流式数据进行补充，保证了数据的完整性。

示例性地，参考图4，图4为本申请实施例提供的一种展示实时明细数据的过程示意图。对于信用卡分期、对公定期存款以及对公活期存款等产品，如果单纯的批量复制，只能获取截止当天之前一天的数据，无法获取当天新增的数据。本申请实施例利用HBASE，将第三预设时间内的全量数据一次性同步至HBASE，并将日常增量通过流计算由flink写入HBASE，从而形成一个实时的最新界面维表数据，满足了对当天新增数据的需求。

基于相同的发明构思，本申请实施例还提供了一种数据处理装置，下面结合图5对本申请实施例提供的数据处理装置进行详细说明。

图5为本申请实施例提供的一种数据处理装置的结构图。

如图5所示，该数据处理装置可以包括：

获取模块51，用于获取第一预设时间内的批量数据；

同步模块52，用于同步批量数据到第一数据库，得到第一数据表，第一数据库支持批量数据和流式数据的写入、存储和计算；

补充模块53，用于根据第一数据表，对第二数据表进行数据补充，得到第三数据表，第二数据表是基于所述第一数据库得到的，用于存储第二预设时间内的流式数据，第一预设时间为第二预设时间之前的时间。

在本申请实施例中，通过获取第一预设时间内的批量数据，并同步到第一数据库，得到第一数据表；然后根据第一数据表，对第二数据表进行数据补充，得到第三数据表。由于第一数据库同时支持批量数据和流式数据的写入、存储和计算，使得第三数据表可以同时包含批量数据和流式数据，如此实现了批量数据和流式数据的合并，满足了同时使用批量数据和流式数据的需求，提高了数据的处理效果。

在一些实施例中，同步模块52，还用于在获取模块51获取第一预设时间内的批量数据之前，在电子设备上线的情况下，同步第一预设时间内的全量数据到所述第一数据库，得到第四数据表，全量数据为批量数据中的数据；

获取模块51，还用于获取第二预设时间内的流式数据；

该装置还可以包括：写入模块，用于将流式数据写入第四数据表，得到第五数据表。

在一些实施例中，该装置还可以包括：去重模块，用于在补充模块53根据第一数据表，对第二数据表进行数据补充，得到第三数据表之后，在需要对第三数据表中的数据进行数据加工的情况下，对第三数据表中的数据进行去重处理，得到第六数据表。

图5所示装置中的各个模块具有实现图1中各个步骤的功能并能达到相应的技术效果，为简洁描述，此处不再赘述。

基于相同的发明构思，本申请实施例还提供了一种数据处理装置，下面结合图6对本申请实施例提供的数据处理装置进行详细说明。

图6为本申请实施例提供的另一种数据处理装置的结构图。

如图6所示，该数据处理装置可以包括：

获取模块61，用于获取第三预设时间内的全量数据；

同步模块62，用于同步所述全量数据到第二数据库，得到第七数据表，第二数据库支持批量数据和流式数据的写入、存储和计算；

获取模块61，还用于获取第四预设时间内的流式数据；

写入模块63，用于将流式数据写入第七数据表，得到第八数据表，第三预设时间为第四预设时间之前的时间。

在本申请实施例中，利用同时支持批量数据和流式数据写入、存储和计算的数据库，存储第三预设时间内的全量数据和第四预设时间内的流式数据，实现了批量数据和流式数据的有效合并，满足了同时使用批量数据和流式数据的需求，提高了后续数据的处理效果。

在一些实施例中，获取模块61，还用于在写入模块63将流式数据写入第七数据表，得到第八数据表之后，获取第三预设时间内的增量数据，增量数据为第三预设时间内相对于全量数据增加的数据；

同步模块62，还用于同步增量数据到第八数据表。

图6所示装置中的各个模块具有实现图3中各个步骤的功能并能达到相应的技术效果，为简洁描述，此处不再赘述。

基于相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备例如可以是手机、平板电脑、笔记本电脑、掌上电脑等。下面结合图7对本申请实施例提供的电子设备进行详细说明。

如图7所示，该电子设备可以包括处理器71以及用于存储计算机程序指令的存储器72。

处理器71可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器72可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器72可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器72可以包括可移除或不可移除(或固定)的介质，或者存储器72是非易失性固态存储器。在一个实例中，存储器72可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器71通过读取并执行存储器72中存储的计算机程序指令，以实现图1和图3所示实施例中的方法，并达到图1和图3所示实施例执行其方法达到的相应技术效果，为简洁描述，在此不再赘述。

在一个示例中，该电子设备还可包括通信接口73和总线74。其中，如图7所示，处理器71、存储器72、通信接口73通过总线74连接并完成相互间的通信。

通信接口73，主要用于实现本申请实施例中各模块、装置和/或设备之间的通信。

总线74包括硬件、软件或两者，将电子设备的各部件彼此耦接在一起。举例来说而非限制，总线74可包括加速图形端(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(IndustryStandard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线74可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该电子设备在获取第一预设时间内的批量数据后可以执行本申请实施例中的数据处理方法，从而实现结合图1和图3描述的数据处理方法以及图5和图6描述的数据处理装置。

另外，结合上述实施例中的数据处理方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据处理方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请实施例的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取第一预设时间内的批量数据；

同步所述批量数据到第一数据库，得到第一数据表，所述第一数据库支持批量数据和流式数据的写入、存储和计算；

根据所述第一数据表，对第二数据表进行数据补充，得到第三数据表，所述第二数据表是基于所述第一数据库得到的，用于存储第二预设时间内的流式数据，所述第一预设时间为所述第二预设时间之前的时间。

2.根据权利要求1所述的方法，其特征在于，应用于电子设备，所述获取第一预设时间内的批量数据之前，所述方法还包括：

在所述电子设备上线的情况下，同步所述第一预设时间内的全量数据到所述第一数据库，得到第四数据表，所述全量数据为所述批量数据中的数据；

获取所述第二预设时间内的流式数据；

将所述流式数据写入所述第四数据表，得到第五数据表。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一数据表，对第二数据表进行数据补充，得到第三数据表之后，所述方法还包括：

在需要对所述第三数据表中的数据进行数据加工的情况下，对所述第三数据表中的数据进行去重处理，得到第六数据表。

4.一种数据处理方法，其特征在于，包括：

获取第三预设时间内的全量数据；

同步所述全量数据到第二数据库，得到第七数据表，所述第二数据库支持批量数据和流式数据的写入、存储和计算；

获取第四预设时间内的流式数据；

将所述流式数据写入所述第七数据表，得到第八数据表，所述第三预设时间为所述第四预设时间之前的时间。

5.根据权利要求4所述的方法，其特征在于，所述将所述流式数据写入所述第七数据表，得到第八数据表之后，所述方法还包括：

获取所述第三预设时间内的增量数据，所述增量数据为所述第三预设时间内相对于所述全量数据增加的数据。

同步所述增量数据到所述第八数据表。

6.一种数据处理装置，其特征在于，包括：

获取模块，用于获取第一预设时间内的批量数据；

同步模块，用于同步所述批量数据到第一数据库，得到第一数据表，所述第一数据库支持批量数据和流式数据的写入、存储和计算；

补充模块，用于根据所述第一数据表，对第二数据表进行数据补充，得到第三数据表，所述第二数据表是基于所述第一数据库得到的，用于存储第二预设时间内的流式数据，所述第一预设时间为所述第二预设时间之前的时间。

7.一种数据处理装置，其特征在于，包括：

获取模块，用于获取第三预设时间内的全量数据；

同步模块，用于同步所述全量数据到第二数据库，得到第七数据表，所述第二数据库支持批量数据和流式数据的写入、存储和计算；

所述获取模块，还用于获取第四预设时间内的流式数据；

写入模块，用于将所述流式数据写入所述第七数据表，得到第八数据表，所述第三预设时间为所述第四预设时间之前的时间。

8.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储计算机程序指令；

当所述计算机程序指令被所述处理器执行时，实现如权利要求1-5中任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时，实现如权利要求1-5中任一项所述的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求1-5中任一项所述的方法。

Images