CN111767318A - 一种数据统计方法、装置、电子设备及介质 - Google Patents

Abstract

本发明公开了一种数据统计方法、装置、电子设备及介质，包括：建立独立于线上数据库的静态数据库；为所述静态数据库设置数据同步时间和数据统计时间；在数据同步时间内对所述静态数据库进行线上数据同步，在数据统计时间内对所述静态数据库进行数据统计，并在统计完成后，将统计的报表数据写入所述线上数据库。本发明通过独立于线上业务和线上数据库的静态数据库进行数据统计，不对线上数据库造成数据统计处理的压力，同时对线上数据没有任何影响，维护线上数据库的数据稳定性。

Description

一种数据统计方法、装置、电子设备及介质

技术领域

本发明涉及数据统计技术领域，具体涉及一种数据统计方法、装置、电子设备及介质。

背景技术

随着互联网和信息技术的快速发展，网络数据量极具增长，给数据统计查询技术带来了不小的挑战，尤其对于电商平台来说，平台数据不可能去实时统计查询，当平台订单量达到上千万后，生成统计日报数据需要一两分钟，生成统计月报数据需要十分钟左右，且内存消耗大。传统处理方式是每天凌晨执行自动任务，生成统计报表，但可能会造成慢查询的SQL，导致数据库的主从延迟，影响平台的数据库稳定，进而影响到整个平台的正常使用。

发明内容

针对现有技术中的缺陷，本发明提供一种数据统计方法、装置、电子设备及介质，部署静态数据库，作为线上数据库的从库，所述静态数据库主要用于线上数据同步和统计，并将统计报表写入所述线上数据库。

具体发明内容为：

一种数据统计方法，包括：

建立独立于线上数据库的静态数据库；

为所述静态数据库设置数据同步时间和数据统计时间；

在数据同步时间内对所述静态数据库进行线上数据同步，在数据统计时间内对所述静态数据库进行数据统计，并在统计完成后，将统计的报表数据写入所述线上数据库；

所述静态数据库与线上业务完全独立，在数据统计时对线上业务没有任何影响，维护了线上数据库的数据稳定性。

进一步地，所述静态数据库包括第一数据库和第二数据库，所述第一数据库在数据同步时间进行线上数据同步，在数据统计时间停止线上数据同步；所述第二数据库在数据统计时间对所述第一数据库线上同步的数据进行统计，并在统计完成后，将统计的报表数据发送给所述第一数据库；所述第一数据库接收所述第二数据库发送的统计报表数据，将所述统计报表数据写入所述线上数据库；

在数据统计时间，在所述第一数据库和所述第二数据库之间进行跨数据库联表，所述第一数据库通过跨数据库联表将线上同步的数据传输给所述第二数据库进行统计，所述第二数据库统计完成后，通过数据库联表将统计的报表数据发送给所述第一数据库。

进一步地，所述第二数据库在数据统计时间对所述第一数据库线上同步的数据进行统计，具体为：在数据统计时间，所述第二数据库对所述第一数据库线上同步的数据进行分类，不同类别的数据分别统计到不同的报表中；

所述第二数据库为读写数据库，在进行数据统计时，针对不同类别的数据分别生成不同的报表，包括订单状态报表、用户注册报表、成交率报表等等，这些报表最后会写入线上数据库，避免在执行查询任务时的全表查询，提升查询效率。

进一步地，所述统计为增量式统计；在执行统计操作之前，先将线上同步的数据与历史数据进行比对，对新产生或者有更新的数据执行统计操作，无更新的数据则保持原统计状态；将统计报表写入线上数据库时，仅写入新产生或者有更新的部分；增量式统计一般基于后台增量式算法实现，有效节省数据统计时间，提升统计效率，减少统计计算时的内存压力，提升数据库性能；

因增量式统计的特性，所述第二数据库保存有所述第一数据库同步过的所有线上数据，当需要全表查询时，可直接在所述第二数据库中进行查询，所述第二数据库没有其他业务处理压力，尤其是在数据同步时间，能够极大提升查询效率。

一种数据统计装置，包括：

建立模块，用于建立独立于线上数据库的静态数据库；

时间设置模块，用于设置数据同步时间和数据统计时间；

静态数据库模块，用于根据所述时间设置模块的设置，在数据同步时间进行线上数据同步，在数据统计时间进行数据统计，并在统计完成后，将统计的报表数据写入线上数据库；

线上数据库，用于保存所述静态数据库模块写入的报表数据；

所述静态数据库模块与线上业务完全独立，在数据统计时对线上业务没有任何影响，维护了线上数据库的数据稳定性。

进一步地，所述静态数据库模块包括第一数据库模块和第二数据库模块，具体为：所述第一数据库模块用于在数据同步时间进行线上数据同步，在数据统计时间停止线上数据同步；所述第二数据库模块用于在数据统计时间对所述第一数据库模块线上同步的数据进行统计，并在统计完成后，将统计的报表数据发送给所述第一数据库模块；所述第一数据库模块接收所述第二数据库模块发送的统计报表数据，将所述统计报表数据写入所述线上数据库；

在数据统计时间，在所述第一数据库模块和所述第二数据库模块之间进行跨数据库联表，所述第一数据库模块通过跨数据库联表将线上同步的数据传输给所述第二数据库模块进行统计，所述第二数据库模块统计完成后，通过数据库联表将统计的报表数据发送给所述第一数据库模块。

进一步地，所述第二数据库模块在数据统计时间对所述第一数据库模块线上同步的数据进行统计，具体为：在数据统计时间，所述第二数据库模块对所述第一数据库模块线上同步的数据进行分类，不同类别的数据分别统计到不同的报表中；

所述第二数据库模块为读写数据库，在进行数据统计时，针对不同类别的数据分别生成不同的报表，包括订单状态报表、用户注册报表、成交率报表等等，这些报表最后会写入线上数据库，避免在执行查询任务时的全表查询，提升查询效率。

进一步地，所述统计为增量式统计；在执行统计操作之前，先将线上同步的数据与历史数据进行比对，对新产生或者有更新的数据执行统计操作，无更新的数据则保持原统计状态；将统计报表写入线上数据库时，仅写入新产生或者有更新的部分；增量式统计一般基于后台增量式算法实现，有效节省数据统计时间，提升统计效率，减少统计计算时的内存压力，提升系统性能；

因增量式统计的特性，所述第二数据库模块保存有所述第一数据库模块同步过的所有线上数据，当需要全表查询时，可直接在所述第二数据库模块中进行查询，所述第二数据库模块没有其他业务处理压力，尤其是在数据同步时间，能够极大提升查询效率。

一种电子设备，包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一所述的方法。

一种计算机可读存储介质，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述任一所述的方法。

本发明的有益效果体现在：

本发明通过独立于线上业务和线上数据库的静态数据库进行数据统计，不对线上数据库造成数据统计处理的压力，同时对线上数据没有任何影响，维护线上数据库的数据稳定性，不影响用户使用；线上数据同步和数据统计时间分开，在统计时待统计数据不会发生变化，能够确保统计结果的精确性；进一步地，增量式统计能够节省统计时间，提高统计效率；进一步地，对不同类别数据分别生成报表数据写入线上数据库，在执行查询业务时避免了全表查询给线上数据库带来影响；进一步地，所述第二数据库保存有全部数据，可单独提供全表查询，极大的提升了查询效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明一种数据统计方法流程图；

图2为本发明一种数据统计装置结构图；

图3为本发明另一种数据统计装置结构图；

图4为本发明在数据统计时间内的一种数据统计方法流程图；

图5为本发明一种电子设备结构示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

如图1所示，为本发明一种数据统计方法实施例，包括：

S11：建立独立于线上数据库的静态数据库；

S12：为所述静态数据库设置数据同步时间和数据统计时间；

S13：在数据同步时间内对所述静态数据库进行线上数据同步，在数据统计时间内对所述静态数据库进行数据统计；

例如，设置数据同步时间为每天6:00-23:59，设置数据统计时间为每天0:00-5:59；则所述静态数据库在每天6:00-23:59进行线上数据同步，在每天0:00-5:59进行数据统计；每天0:00-5:59静态数据库中没有数据写入，保证了统计数据的统一，进一步确保了统计数据的准确性；

S14：统计完成后，将统计的报表数据写入所述线上数据库；

所述静态数据库与线上业务完全独立，在数据统计时对线上业务没有任何影响，维护了线上数据库的数据稳定性。

优选地，所述静态数据库包括第一数据库和第二数据库，所述第一数据库在数据同步时间进行线上数据同步，在数据统计时间停止线上数据同步；所述第二数据库在数据统计时间对所述第一数据库线上同步的数据进行统计，并在统计完成后，将统计的报表数据发送给所述第一数据库；所述第一数据库接收所述第二数据库发送的统计报表数据，将所述统计报表数据写入所述线上数据库；

在数据统计时间，在所述第一数据库和所述第二数据库之间进行跨数据库联表，所述第一数据库通过跨数据库联表将线上同步的数据传输给所述第二数据库进行统计，所述第二数据库统计完成后，通过数据库联表将统计的报表数据发送给所述第一数据库。

优选地，所述第二数据库在数据统计时间对所述第一数据库线上同步的数据进行统计，具体为：在数据统计时间，所述第二数据库对所述第一数据库线上同步的数据进行分类，不同类别的数据分别统计到不同的报表中；

例如，针对未结算订单数据，对其进行单独统计，生成未结算订单报表，或将其统计到订单状态报表；

所述第二数据库为读写数据库，在进行数据统计时，针对不同类别的数据分别生成不同的报表，包括订单状态报表、用户注册报表、成交率报表等等，这些报表最后会写入线上数据库，避免在执行查询任务时的全表查询，提升查询效率；相应地，在所述第二数据库将统计的报表数据发送给所述第一数据库时的跨数据库联表为对相对应的表数据进行联表，例如所述第二数据库统计出来的订单状态报表与所述第一数据库中的订单状态表进行联表，完成报表数据的统计发送。

优选地，所述统计为增量式统计；在执行统计操作之前，先将线上同步的数据与历史数据进行比对，对新产生或者有更新的数据执行统计操作，无更新的数据则保持原统计状态；将统计报表写入线上数据库时，仅写入新产生或者有更新的部分，比直接全表统计快将近30倍；

增量式统计一般基于后台增量式算法实现，有效节省数据统计时间，提升统计效率，减少统计计算时的内存压力，提升数据库性能；

因增量式统计的特性，所述第二数据库保存有所述第一数据库同步过的所有线上数据，当需要全表查询时，可直接在所述第二数据库中进行查询，所述第二数据库没有其他业务处理压力，尤其是在数据同步时间，能够极大提升查询效率。

相应地，本发明给出第二种数据统计方法实施例，包括：

建立独立于线上数据库的数据库服务，所述数据库服务依赖于所述静态数据库；

在所述数据库服务中创建两个数据库实例，shop数据库(即所述第一数据库)和other数据库(即所述第二数据库)；

shop数据库在每天6:00至23:59进行线上数据同步，每天0:00至5:59停止数据同步；

other数据库为一个独立的读写数据库，在每天0:00至5:59对线上同步数据进行统计，统计过程需要与shop数据库进行跨数据库联表，将统计报表数据传输给shop数据库；例如，使用shop数据库的订单表联接other数据库的订单状态表；

shop数据库将统计数据报表写入线上数据库。

所述第二种数据统计方法实施例中所述的统计为增量式统计，即在统计前，先根据shop数据库线上同步的数据将other数据库的数据表更新完，然后对新增或有修改的数据进行增量式统计；以未结束订单数据为例，第一次统计时分段每次将5000条未结束订单数据写入other数据库数据表，直至全部未结束订单数据写入完成，之后每天只对当天相应新产生或有状态变化的数据进行更新、写入和统计；根据实践经验，这种增量式统计方法比直接全表查询统计快将近30倍。

同时，other数据库保存全部数据，即需要全表查询才能统计到的信息维护在other数据库中。

如图2所示，为本发明一种数据统计装置实施例，包括：

建立模块21，用于建立独立于线上数据库的静态数据库；

时间设置模块21，用于设置数据同步时间和数据统计时间；

静态数据库模块23，用于根据所述时间设置模块的设置，在数据同步时间进行线上数据同步，在数据统计时间进行数据统计，并在统计完成后，将统计的报表数据写入线上数据库24；

例如，设置数据同步时间为每天6:00-23:59，设置数据统计时间为每天0:00-5:59；则所述静态数据库在每天6:00-23:59进行线上数据同步，在每天0:00-5:59进行数据统计；每天0:00-5:59静态数据库中没有数据写入，保证了统计数据的统一，进一步确保了统计数据的准确性；

线上数据库24，用于保存所述静态数据库模块23写入的报表数据；

所述静态数据库模块23与线上业务完全独立，在数据统计时对线上业务没有任何影响，维护了线上数据库24的数据稳定性。

优选地，所述静态数据库模块23包括第一数据库模块23-1和第二数据库模块23-2，本发明给出相应的装置实施例，如图3所示，包括：

建立模块21，时间设置模块22，静态数据库模块23，第一数据库模块23-1和第二数据库模块23-2；所述第一数据库模块23-1用于在数据同步时间进行线上数据同步，在数据统计时间停止线上数据同步；所述第二数据库模块23-2用于在数据统计时间对所述第一数据库模块23-1线上同步的数据进行统计，并在统计完成后，将统计的报表数据发送给所述第一数据库模块23-1；所述第一数据库模块23-1接收所述第二数据库模块23-2发送的统计报表数据，将所述统计报表数据写入所述线上数据库24；

线上数据库24，用于保存所述第一数据库模块23-1写入的报表数据；

在数据统计时间，在所述第一数据库模块23-1和所述第二数据库模块23-2之间进行跨数据库联表，所述第一数据库模块23-1通过跨数据库联表将线上同步的数据传输给所述第二数据库模块23-2进行统计，所述第二数据库模块23-2统计完成后，通过数据库联表将统计的报表数据发送给所述第一数据库模块23-1；

如图4所示，为本发明在数据统计时间内的一种数据统计方法实施例，包括：

在数据统计时间向所述第二数据库模块23-2发送开始统计的数据统计命令，所述第二数据库模块23-2向所述第一数据库模块23-1获取线上同步的数据；所述第一数据库模块23-1通过跨数据库联表向所属第二数据库模块23-2传输线上同步的数据；所述第二数据库模块23-2进行数据统计，并在完成统计后，通过跨数据库联表将统计的报表数据发送给所述第一数据库模块23-1；所述第一数据库模块23-1将报表数据写入线上数据库27；数据统计结束。

优选地，所述第二数据库模块23-2在数据统计时间对所述第一数据库模块23-1线上同步的数据进行统计，具体为：在数据统计时间，所述第二数据库模块23-2对所述第一数据库模块23-1线上同步的数据进行分类，不同类别的数据分别统计到不同的报表中；

例如，针对未结算订单数据，对其进行单独统计，生成未结算订单报表，或将其统计到订单状态报表；

所述第二数据库模块23-2为读写数据库，在进行数据统计时，针对不同类别的数据分别生成不同的报表，包括订单状态报表、用户注册报表、成交率报表等等，这些报表最后会写入线上数据库24，避免在执行查询任务时的全表查询，提升查询效率；相应地，在所述第二数据库模块23-2将统计的报表数据发送给所述第一数据库模块23-1时的跨数据库联表为对相对应的表数据进行联表，例如所述第二数据库模块23-2统计出来的订单状态报表与所述第一数据库模块23-2中的订单状态表进行联表，完成报表数据的统计发送。

优选地，所述统计为增量式统计；在执行统计操作之前，先将线上同步的数据与历史数据进行比对，对新产生或者有更新的数据执行统计操作，无更新的数据则保持原统计状态；将统计报表写入线上数据库24时，仅写入新产生或者有更新的部分，比直接全表统计快将近30倍；

增量式统计一般基于后台增量式算法实现，有效节省数据统计时间，提升统计效率，减少统计计算时的内存压力，提升系统性能；

因增量式统计的特性，所述第二数据库模块23-2保存有所述第一数据库模块23-1同步过的所有线上数据，当需要全表查询时，可直接在所述第二数据库模块23-2中进行查询，所述第二数据库模块23-2没有其他业务处理压力，尤其是在数据同步时间，能够极大提升查询效率。

图4所述实施例与前述第二种数据统计方法实施例相适应，部分细节请参照前述第二种数据统计方法实施例。

本发明实施例还提供一种电子设备，如图5所示，可以实现本发明图1、图4所示实施例的流程，如图5所示，上述电子设备可以包括：壳体51、处理器52、存储器53、电路板54和电源电路55，其中，电路板54安置在壳体51围成的空间内部，处理器52和存储器53设置在电路板54上；电源电路55，用于为上述电子设备的各个电路或器件供电；存储器53用于存储可执行程序代码；处理器52通过读取存储器53中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的方法。

处理器52对上述步骤的具体执行过程以及处理器52通过运行可执行程序代码来进一步执行的步骤，可以参见本发明图1、图4所示实施例的描述，在此不再赘述。

该电子设备以多种形式存在，包括但不限于：

(1)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(2)其他具有数据交互功能的电子设备。

本发明的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述任一实施方式所述的方法。

本发明针对传统电商平台数据统计方式会造成慢查询的SQL、数据库的主从延迟、数据库数据稳定性降低、平台无法使用等问题，提出一种数据统计方法、装置、电子设备及介质，通过独立于线上业务和线上数据库的静态数据库进行数据统计，不对线上数据库造成数据统计处理的压力，同时对线上数据没有任何影响，维护线上数据库的数据稳定性，不影响用户使用；线上数据同步和数据统计时间分开，在统计时待统计数据不会发生变化，能够确保统计结果的精确性；进一步地，增量式统计能够节省统计时间，提高统计效率；进一步地，对不同类别数据分别生成报表数据写入线上数据库，在执行查询业务时避免了全表查询给线上数据库带来影响；进一步地，所述第二数据库保存有全部数据，可单独提供全表查询，极大的提升了查询效率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种数据统计方法，其特征在于，包括：

建立独立于线上数据库的静态数据库；

为所述静态数据库设置数据同步时间和数据统计时间；

在数据同步时间内对所述静态数据库进行线上数据同步，在数据统计时间内对所述静态数据库进行数据统计，并在统计完成后，将统计的报表数据写入所述线上数据库。

2.如权利要求1所述的方法，其特征在于，所述静态数据库包括第一数据库和第二数据库，所述第一数据库在数据同步时间进行线上数据同步，在数据统计时间停止线上数据同步；所述第二数据库在数据统计时间对所述第一数据库线上同步的数据进行统计，并在统计完成后，将统计的报表数据发送给所述第一数据库；所述第一数据库接收所述第二数据库发送的统计报表数据，将所述统计报表数据写入所述线上数据库。

3.如权利要求2所述的方法，其特征在于，所述第二数据库在数据统计时间对所述第一数据库线上同步的数据进行统计，具体为：

在数据统计时间，所述第二数据库对所述第一数据库线上同步的数据进行分类，不同类别的数据分别统计到不同的报表中。

4.如权利要求3所述的方法，其特征在于，所述统计为增量式统计。

5.一种数据统计装置，其特征在于，包括：

建立模块，用于建立独立于线上数据库的静态数据库；

时间设置模块，用于设置数据同步时间和数据统计时间；

静态数据库模块，用于根据所述时间设置模块的设置，在数据同步时间进行线上数据同步，在数据统计时间进行数据统计，并在统计完成后，将统计的报表数据写入线上数据库；

线上数据库，用于保存所述静态数据库模块写入的报表数据。

6.如权利要求5所述的系统，其特征在于，所述静态数据库模块包括第一数据库模块和第二数据库模块，具体为：

所述第一数据库模块用于在数据同步时间进行线上数据同步，在数据统计时间停止线上数据同步；

所述第二数据库模块用于在数据统计时间对所述第一数据库模块线上同步的数据进行统计，并在统计完成后，将统计的报表数据发送给所述第一数据库模块；

所述第一数据库模块接收所述第二数据库模块发送的统计报表数据，将所述统计报表数据写入所述线上数据库。

7.如权利要求6所述的系统，其特征在于，所述第二数据库模块在数据统计时间对所述第一数据库模块线上同步的数据进行统计，具体为：

在数据统计时间，所述第二数据库模块对所述第一数据库模块线上同步的数据进行分类，不同类别的数据分别统计到不同的报表中。

8.如权利要求7所述的系统，其特征在于，所述统计为增量式统计。

9.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一权利要求所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述任一权利要求所述的方法。

Images