CN108804237A - 数据实时统计方法、装置、存储介质和电子设备 - Google Patents

Abstract

本公开是关于一种数据实时统计方法、装置以及存储介质和电子设备。该方法包括：监听业务系统的预设数据库以在数据库日志更新时获取所述数据库日志；解析所述数据库日志得到更新数据，并将所述更新数据以预设数据格式发送至消息队列；获取所述消息队列以对所述预设数据格式的更新数据进行解析，统计解析数据并存储统计结果。本公开可以基于数据库增量日志解析对业务数据进行实时统计，统计服务与业务系统解耦，不会给业务系统带来过大的额外压力，确保业务系统平稳运行。

Description

数据实时统计方法、装置、存储介质和电子设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据实时统计方法、数据实时统计装置、实现所述数据实时统计方法的计算机可读存储介质以及电子设备。

背景技术

随着互联网技术和各种如商业业务的快速发展，对业务系统的要求越来越高，如对业务数据的实时统计等。运营人员需要掌握例如实时业务数据以作为决策依据，从而便于对市场运营策略做出快速响应以做出较为准确的经营决策。

相关技术中，业务系统可以统计业务数据(如订单量等)，传统的采用离线数据统计方式统计数据，实时性较差。且随着日益增长的业务需求，数据量剧增，同时又为了确保业务系统稳定，目前统计数据量需要通过条件做一定限制和筛选，以避免数据量过大影响业务系统正常运行，确保系统的可用性。而做了一定限制后，有时又不能满足运营人员需求，达不到运营人员要求的数据范围。因此传统的采用离线数据统计方式已不能满足日益增长的业务需求。随着未来业务需求的进一步激增，如何在满足业务数据实时统计的同时，又不会给业务系统带来过大的额外压力，确保业务系统平稳运行就成为亟需解决的问题。

因此，有必要提供一种新的技术方案改善上述方案中存在的一个或者多个问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据实时统计方法、数据实时统计装置、实现所述数据实时统计方法的计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供一种数据实时统计方法，所述方法包括：

监听业务系统的预设数据库以在数据库日志更新时获取所述数据库日志；

解析所述数据库日志得到更新数据，并将所述更新数据以预设数据格式发送至消息队列；

获取所述消息队列以对所述预设数据格式的更新数据进行解析，统计解析数据并存储统计结果。

本公开的一种示例性实施例中，所述数据库日志为所述预设数据库的Binlog日志；

所述监听业务系统的预设数据库以在数据库日志更新时获取所述数据库日志包括：

采用Binlog的增量订阅和消费组件Canal监听所述业务系统的所述预设数据库，以在所述预设数据库的所述Binlog日志更新时获取所述Binlog日志。

本公开的一种示例性实施例中，所述Binlog日志为Row模式；所述解析所述数据库日志得到更新数据包括：

采用所述Canal解析所述Row模式的所述Binlog日志得到所述更新数据。

本公开的一种示例性实施例中，所述预设数据库包括数据库从库，所述方法还包括：

在所述业务系统中设置所述Canal的访问权限，以使所述Canal监听所述业务系统的所述数据库从库。

本公开的一种示例性实施例中，所述获取所述消息队列以对所述预设数据格式的更新数据进行解析，统计解析数据并存储统计结果包括：

拉取所述消息队列以对所述预设数据格式的更新数据进行解析，获取所述更新数据；

调用预设缓存中间件对所述更新数据进行数据统计，并将最终的统计结果存储至所述预设缓存中间件中。

本公开的一种示例性实施例中，所述拉取所述消息队列以对所述预设数据格式的更新数据进行解析包括：

批量拉取所述消息队列以对所述预设数据格式的更新数据进行解析。

本公开的一种示例性实施例中，所述调用预设缓存中间件对所述更新数据进行数据统计包括：

判断所述更新数据是否已统计过，若否则累加所述更新数据得到统计结果，并对所述更新数据设置标识信息；

其中，所述标识信息用于表征所述更新数据已统计过。

本公开的一种示例性实施例中，所述预设缓存中间件包括Redis缓存中间件。

根据本公开实施例的第二方面，提供一种数据实时统计装置，包括：

监听模块，用于监听一个或多个业务系统的预设数据库以在数据库日志更新时获取所述数据库日志；

解析模块，用于解析所述数据库日志得到更新数据，并将所述更新数据以预设数据格式发送至消息队列；以及

统计模块，用于获取所述消息队列以对所述预设数据格式的更新数据进行解析，统计解析数据并存储统计结果。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一个实施例中所述数据实时统计方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述数据实时统计方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的一种实施例中，通过上述数据实时统计方法及装置，在数据库日志更新时获取所述数据库日志，解析数据库日志获取更新数据并发送至消息队列，然后基于消息队列统计数据。这样，一方面，可以在数据库日志更新时统计数据，也即基于数据库增量日志解析统计数据，可以实现数据实时统计，数据统计实时性好；另一方面，基于消息队列统计数据，可以实现数据统计过程与业务系统解耦，基本不会对业务系统产生影响，从而不会给业务系统带来过大的额外压力，进而可以确保业务系统平稳运行。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中数据实时统计方法流程图；

图2示意性示出本公开示例性实施例中数据实时统计场景示意图；

图3示意性示出本公开示例性实施例中另一数据实时统计方法流程图；

图4示意性示出本公开示例性实施例中又一数据实时统计方法流程图；

图5示意性示出本公开示例性实施例中数据实时统计装置示意图；

图6示意性示出本公开示例性实施例中计算机可读存储介质示意图；

图7示意性示出本公开示例性实施例中另一数据实时统计装置示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施方式中首先提供了一种数据实时统计方法。参考图1中所示，该方法可以包括以下步骤：

步骤S101：监听业务系统的预设数据库以在数据库日志更新时获取所述数据库日志。

步骤S102：解析所述数据库日志得到更新数据，并将所述更新数据以预设数据格式发送至消息队列。

步骤S103：获取所述消息队列以对所述预设数据格式的更新数据进行解析，统计解析数据并存储统计结果。

通过上述数据实时统计方法，一方面，可以在数据库日志更新时统计数据，也即基于数据库增量日志解析统计数据，可以实现数据实时统计，数据统计实时性好；另一方面，基于消息队列统计数据，可以实现数据统计过程与业务系统解耦，基本不会对业务系统产生影响，从而不会给业务系统带来过大的额外压力，进而可以确保业务系统平稳运行。

下面，将参考图1至图4对本示例实施方式中的上述方法的各个步骤进行更详细的说明。

在步骤S101中，监听业务系统的预设数据库以在数据库日志更新时获取所述数据库日志。

本示例实施方式中，所述业务系统例如可以商品订单业务系统，当然也可是其他业务系统，对此不作限制。示例性的，所述预设数据库可以是所述业务系统的数据库从库，这样可以减少对业务系统主流程的影响，从而可以减少或者基本不对所述业务系统的正常运行产生影响。所述预设数据库例如可以是MySQL数据库，当然不限于此。所述数据库日志可以为所述预设数据库的Binlog日志。所述Binlog日志可以用于记录数据库变化情况，如更新了数据或者已经潜在更新了数据。例如有新的订单产生，业务系统可以将例如订单号和订单金额等数据存储至数据库，此时Binlog日志会作出相应的记录。

参考图2中所示，在一种示例性实施例中，步骤S101中，所述监听业务系统的预设数据库以在数据库日志更新时获取所述数据库日志可以包括：采用Binlog的增量订阅和消费组件Canal监听所述业务系统的所述预设数据库，以在所述预设数据库的所述Binlog日志更新时获取所述Binlog日志。

举例来说，所述Canal可以模拟MySQL Slave的交互协议，伪装自己为MySQLSlave，向MySQL Master发送dump协议，MySQL Master收到dump请求后，推送Binlog日志给所述Canal。所述Canal具体可以参考现有成熟技术，不再赘述。

本示例实施方式中，所述Canal可以作为整个数据统计的中层服务，在一些实施例中可以设置多个具有Canal的Canal服务器来监听获取业务系统数据库从库的所述Binlog日志，例如采用集群式的Canal服务器。这样可以提高数据统计的效率，同时避免单点服务，在业务系统数据高峰时，可以动态扩容。

在步骤S102中，解析所述数据库日志得到更新数据，并将所述更新数据以预设数据格式发送至消息队列。

示例性的，所述消息队列(MQ，Message Queue)为应用程序之间传递的信息载体。消息队列技术是分布式应用间交换信息的一种技术，消息队列可驻留在内存或磁盘上，队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行而不需要知道彼此的位置。因此消息队列为构造以同步或异步方式实现的分布式应用提供了松耦合方法。

本实施例中所述消息队列可采用开源消息队列，具体可以采用例如消息中间件实现，所述消息中间件例如可以与下文提到的Canal服务器交互。该消息中间件可以采用Apache Kafka中间件，当然并不限于此。本实施例中采用消息队列可将后续的数据统计与业务系统相隔离，使得统计数据来源不依赖于业务系统数据库链接，与业务系统解耦，不抢占数据库链接，从而大大减小对业务系统正常运行产生的影响。

示例性的，所述Binlog日志为Row模式。相应的，步骤S102中所述解析所述数据库日志得到更新数据可以包括：采用所述Canal解析所述Row模式的所述Binlog日志得到所述更新数据。

具体来说，所述Canal解析Binlog日志时，要求数据库Binlog日志的模式为Row模式。而数据库Binlog日志默认是Statement模式，因此需要修改为Row模式，以方便解析得到更新数据。当业务系统数据库Binlog日志发生变化后，所述Canal会监听到。之后所述Canal可以解析Binlog日志得到更新数据，解析后按定义的预设数据格式发送报文至消息队列MQ。示例性的，所述预设数据格式可以如以下表1所示。

表1

字段名	字段类型	备注
			systemId	long	系统ID
orderId	long	订单ID
			orderFee	long	订单金额

以统计用户订单金额为例，所述预设数据格式可以如下所示：

{“systemId”:1,"orderId":100000000001,"orderFee":100}。

考虑通用性，可以把需要的基本数据都发送到所述报文中，这样扩展其他统计逻辑时，可以不用改动消息报文体，简单方便。

示例性的，所述Canal可以用于实现上述步骤S101～S102。

在一种示例性实施例中，所述预设数据库包括数据库从库，所述方法还可以包括以下步骤：在所述业务系统中设置所述Canal的访问权限，以使所述Canal监听所述业务系统的所述数据库从库。

示例性的，接入所述Canal时，为了不影响业务系统主流程，采取监听业务系统的数据库从库。在业务系统数据库中可以开通所述Canal的访问权限，以使所述Canal监听所述业务系统的数据库从库。这样，对于要统计数据的业务系统无需做额外的开发，只需要申请开通Canal服务访问业务系统数据库的权限即可，节省开发所需的人力财力成本。

在步骤S103中，获取所述消息队列以对所述预设数据格式的更新数据进行解析，统计解析数据并存储统计结果。

参考图3中所示，在一种示例性实施例中，上述步骤S103可以包括以下步骤S301～S302。其中：

步骤S301：拉取所述消息队列以对所述预设数据格式的更新数据进行解析，获取所述更新数据。

示例性的，如图2中所示，例如可以采用MQ消息处理服务器从所述消息队列MQ拉取报文数据，解析得到更新数据并统计数据。

在一种示例性实施例中，步骤S301中所述拉取所述消息队列以对所述预设数据格式的更新数据进行解析可以包括：批量拉取所述消息队列以对所述预设数据格式的更新数据进行解析。

例如，MQ消息处理服务器可以批量拉取所述消息队列。具体的，可以采用集群方式，如采用多个MQ消息处理服务器进行批量拉取，以避免单点服务，在业务系统高峰时，可以动态扩容。同时如果某一个节点不可用，不会影响整体的数据统计处理。

步骤S302：调用预设缓存中间件对所述更新数据进行数据统计，并将最终的统计结果存储至所述预设缓存中间件中。

示例性的，所述预设缓存中间件可以包括Redis缓存中间件或者其他成熟的缓存中间件，对此不作限制。本示例性实施例中以Redis缓存中间件为例进行说明。Redis缓存中间件是一个高性能的key-value缓存中间件，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set-有序集合)和hash(哈希类型)等。这些数据类型都支持如取交集、并集和差集以及及更丰富的操作，而且这些操作都是原子性的。

在进行数据统计时，MQ消息处理服务器按统计逻辑，调用Redis统计方法进行数据统计，也即MQ消费处理服务器拉取MQ消息进行统计计算，具体计算依赖于Redis内部方法。最终的统计结果可以存储于Redis中或者数据库中。这样，通过所述Canal监听，只要业务系统中的业务数据发生变更，就能实时汇总到统计结果中，达到了实时统计的目的。

在一种示例性实施例中，步骤S302中所述调用预设缓存中间件对所述更新数据进行数据统计可以包括：判断所述更新数据是否已统计过，若否则累加所述更新数据得到统计结果，并对所述更新数据设置标识信息；其中，所述标识信息用于表征所述更新数据已统计过。

参考图2中所示，示例性的，MQ消息处理服务器从所述消息队列MQ中拉取到所述Canal发送的数据后，解析消息报文，调用Redis的getBit方法，传入关键字key和数据记录ID(如订单ID)，从而验证拉取的当前本条数据是否统计过。如果统计过直接返回，如果没有统计过，则调用Redis的原子累加方法进行累计，累加成功后，统计结果直接存储到Redis缓存中，再调用Redis的setBit方法对本条数据记录打上标识信息，以表明该本条数据已统计。本示例性实施例中进行数据标识可以有效减少空间占用量，节省Redis缓存空间，并且有效的防止重复统计。且使用Redis的原子增量累加方法进行统计，不用新开发程序去统计计算，减少开发量，进而节省成本。同时使用Redis内部方法进行数据统计，可以与业务系统进行隔离，不影响业务系统正常运行。

在又一种示例性实施例中，本示例实施方式中的上述方法也可以用用于异构业务系统间同一纬度数据统计的实现。现有技术中由于数据统计依赖于业务系统数据，那么对于多个业务系统间同一纬度的数据统计，没有更好的解决办法，只能分别统计后再对结果进行处理。

本示例性实施例中，步骤S101中可以同时监听多个不同的业务系统的预设数据库，以在每个业务系统的预设数据库的数据库日志更新时获取每个预设数据库的所述数据库日志。具体的，可以采用Binlog的增量订阅和消费组件Canal监听多个业务系统的所述预设数据库，以在每个业务系统的所述预设数据库的所述Binlog日志更新时获取每个预设数据库的所述Binlog日志，后续数据解析、数据统计处理过程可参考前述实施例中的详细描述，此处不再赘述。

参考图4中所示，举例来说，若要统计多个业务系统某段时间的订单量，这里以两个业务系统1和业务系统2为例进行说明。当系统订单表发生变化后，Canal服务监听到变化，并解析Binlog日志获取订单数据，按上述预设数据格式发送订单数据至MQ消息队列，MQ消息服务器端从MQ消息队列拉取数据，调用Redis方法统计，以systemId为key，累计各系统的订单量得到上述某段时间的总订单量。对于同一MQ消息，可采用多通道消费统计方式，每个通道独立消费统计，互不影响，解决不同统计纬度问题。依赖Redis缓存服务(如开源支持的缓存服务)计算，所以只要多个系统间统计纬度相同，可以支持使用一个统计逻辑和结果。

本示例性实施例可以解决多个系统同时统计的问题。对于同一纬度的统计，各业务系统无需开发，只需申请Canal访问数据库权限后，就可接入统计平台，解决了异构业务系统间数据统计的问题。

综上所述，本示例性实施例中的上述方法具有以下有益的技术优点：

一、基于数据库Binlog日志监听方式(如采用现有Canal服务)，进行增量日志解析将变化数据发送至MQ消息队列，MQ消息处理端拉取到MQ消息队列做实时统计处理，达到低延时的目的，计算结果存储于缓存或数据库中。整体计算周期相对较短，监听统计服务可以采用分布式集群，确保可用性。且对于变化的业务数据能做到实时监听、统计，解决了实时统计问题。

二、统计数据源无需从业务系统同步，而采用监听Binlog日志增量变化方式，把变化数据发送至消息队列，后续基于消息队列的缓存队列特性完成统计和排序等统一处理。这样数据源独立，可以减少对现有数据库链接资源的抢占，避免系统的额外开销。且消息队列的缓存服务与现有业务系统隔离，避免在业务系统中统计计算。总之数据统计逻辑可以有效的与业务系统隔离，也即与业务系统解耦。由于统计逻辑与业务系统分离，没有依赖，增大了整体统计数据的吞吐量。

三、支持异构业务系统间同一纬度的统计，对于同一纬度的统计，各业务系统无需开发，只需申请Canal访问数据库权限后，就可接入统计平台，解决了异构业务系统间数据统计的问题。

四、统计服务端独立，整体可以采用分布式架构，多端消费统计，避免单点问题，统计服务部分不可用时，不影响整体任务。拉取MQ消息后，如果出现处理失败，系统可以抛出异常，MQ收到异常后，消息不会丢失，下次拉取时，可以重试，避免数据丢失，确保数据完整性，统计服务高可用。统计服务端可采用独立集群，如遇到业务增长或并发高的情况，可支持动态水平扩展。

本示例性实施方式的方法可以实现统计数据源和统计计算独立，统计逻辑与业务系统解耦，避免对业务系统产生额外压力，在实现实时数据统计的同时可以确保业务系统较好的平稳运行。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。另外，也易于理解的是，这些步骤可以是例如在多个模块/进程/线程中同步或异步执行。

进一步的，本示例实施方式中，还提供了一种数据实时统计装置。参考图5中所示，装置100可以包括监听模块101、解析模块102和统计模块103。其中：

所述监听模块101，用于监听一个或多个业务系统的预设数据库以在数据库日志更新时获取所述数据库日志；

所述解析模块102，用于解析所述数据库日志得到更新数据，并将所述更新数据以预设数据格式发送至消息队列；以及

所述统计模块103，用于获取所述消息队列以对所述预设数据格式的更新数据进行解析，统计解析数据并存储统计结果。

在一种示例性实施例中，所述数据库日志为所述预设数据库的Binlog日志。相应的，所述监听模块101可以用于采用Binlog的增量订阅和消费组件Canal监听所述业务系统的所述预设数据库，以在所述预设数据库的所述Binlog日志更新时获取所述Binlog日志。

在一种示例性实施例中，所述Binlog日志为Row模式。相应的，所述所述解析模块102可以用于采用所述Canal解析所述Row模式的所述Binlog日志得到所述更新数据。

在又一示例性实施例中，所述预设数据库包括数据库从库，所述装置100还可以包括权限设置模块(图未示)，用于在所述业务系统中设置所述Canal的访问权限，以使所述Canal监听所述业务系统的所述数据库从库。

在一种示例性实施例中，所述统计模块103可以用于：拉取所述消息队列以对所述预设数据格式的更新数据进行解析，获取所述更新数据；调用预设缓存中间件对所述更新数据进行数据统计，并将最终的统计结果存储至所述预设缓存中间件中。

在一种示例性实施例中，所述统计模块103可以用于批量拉取所述消息队列以对所述预设数据格式的更新数据进行解析。

在一种示例性实施例中，所述统计模块103可以用于判断所述更新数据是否已统计过，若否则累加所述更新数据得到统计结果，并对所述更新数据设置标识信息；其中，所述标识信息用于表征所述更新数据已统计过。

在上述各种示例性实施例中，所述预设缓存中间件包括Redis缓存中间件。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现木公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

参考图6中所示，本示例实施方式中，还提供一种计算机可读存储介质300，其上存储有计算机程序，该程序被处理器执行时可以实现上述任意一个实施例中所述数据实时统计方法的步骤。所述数据实时统计方法的具体步骤可参考前述实施例中关于上述数据实时统计方法各步骤的详细描述，此处不再赘述。所述计算机可读存储介质300可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等，本示例实施方式中对此不作限制。

本示例实施方式中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述数据实时统计方法的步骤。该数据实时统计方法的步骤可参考前述方法实施例中的详细描述，此处不再赘述。所述电子设备可以是台式计算机、服务器等终端设备，本示例实施方式中对此不作限制。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

图7示出根据本公开示例实施方式中一种数据实时统计装置400的示意图。例如，装置400可以被提供为一服务器。装置400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理组件422的执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述方法。

装置400还可以包括一个电源组件426被配置为执行装置400的电源管理，一个有线或无线网络接口450被配置为将装置400连接到网络，和一个输入输出(I/O)接口458。装置400可以操作基于存储在存储器432的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种数据实时统计方法，其特征在于，所述方法包括：

监听业务系统的预设数据库以在数据库日志更新时获取所述数据库日志；

解析所述数据库日志得到更新数据，并将所述更新数据以预设数据格式发送至消息队列；

获取所述消息队列以对所述预设数据格式的更新数据进行解析，统计解析数据并存储统计结果。

2.根据权利要求1所述数据实时统计方法，其特征在于，所述数据库日志为所述预设数据库的Binlog日志；

所述监听业务系统的预设数据库以在数据库日志更新时获取所述数据库日志包括：

采用Binlog的增量订阅和消费组件Canal监听所述业务系统的所述预设数据库，以在所述预设数据库的所述Binlog日志更新时获取所述Binlog日志。

3.根据权利要求2所述数据实时统计方法，其特征在于，所述Binlog日志为Row模式；所述解析所述数据库日志得到更新数据包括：

采用所述Canal解析所述Row模式的所述Binlog日志得到所述更新数据。

4.根据权利要求2或3所述数据实时统计方法，其特征在于，所述预设数据库包括数据库从库，所述方法还包括：

在所述业务系统中设置所述Canal的访问权限，以使所述Canal监听所述业务系统的所述数据库从库。

5.根据权利要求1～3任一项所述数据实时统计方法，其特征在于，所述获取所述消息队列以对所述预设数据格式的更新数据进行解析，统计解析数据并存储统计结果包括：

拉取所述消息队列以对所述预设数据格式的更新数据进行解析，获取所述更新数据；

调用预设缓存中间件对所述更新数据进行数据统计，并将最终的统计结果存储至所述预设缓存中间件中。

6.根据权利要求5所述数据实时统计方法，其特征在于，所述拉取所述消息队列以对所述预设数据格式的更新数据进行解析包括：

批量拉取所述消息队列以对所述预设数据格式的更新数据进行解析。

7.根据权利要求6所述数据实时统计方法，其特征在于，所述调用预设缓存中间件对所述更新数据进行数据统计包括：

判断所述更新数据是否已统计过，若否则累加所述更新数据得到统计结果，并对所述更新数据设置标识信息；

其中，所述标识信息用于表征所述更新数据已统计过。

8.根据权利要求7所述数据实时统计方法，其特征在于，所述预设缓存中间件包括Redis缓存中间件。

9.一种数据实时统计装置，其特征在于，包括：

监听模块，用于监听一个或多个业务系统的预设数据库以在数据库日志更新时获取所述数据库日志；

解析模块，用于解析所述数据库日志得到更新数据，并将所述更新数据以预设数据格式发送至消息队列；以及

统计模块，用于获取所述消息队列以对所述预设数据格式的更新数据进行解析，统计解析数据并存储统计结果。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～8任一项所述数据实时统计方法的步骤。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～8任一项所述数据实时统计方法的步骤。