CN109492012A - 一种数据实时统计和检索的方法、装置及存储介质 - Google Patents

Abstract

本发明提供了一种数据实时统计和检索的方法、装置及存储介质，该方法包括：解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中；然后通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索。本发明基于日志和消息队列实现了数据的实时统计和检索，其解决了直连查询对数据库性能的影响，减轻了数据库访问的压力，提高了数据库查询的速度，通过流式数据处理实现了实时的数据供统计和全文检索，并且消息队列的引入也方便其他应用的扩展，提高了用户体验。

Description

一种数据实时统计和检索的方法、装置及存储介质

技术领域

本发明涉及数据库处理技术领域，特别是一种数据实时统计和检索的方法、装置及存储介质。

背景技术

Mysql是一个多用户、多线程的开源的关系型数据库，由于其体积小、速度快、总体拥有成本低的特点使得其广泛作为应用系统的数据库。因为业务需求需要对Mysql数据库进行实时的数据统计和建立全文检索以供业务端使用。现有的方式主要是通过直连数据库，然后定时查询数据来统计和建索引。

目前，现有技术是通过直连数据库使用Sql进行进行数据查询的方式存在一些技术缺陷：首先，频繁的连接查询对数据库系统本身造成很大的压力；其次，在数据量大的情况下，响应延迟时间长，特别是一些复杂的查询语句，可能需要几分钟才返回数据，用户体验性很差；再次，由于对数据库数据的获取是使用定时的方式实现，无法保证数据的实时性；最后，在应用需求增多的情况，对数据库的压力会是成倍的增长。

发明内容

本发明针对上述现有技术中的缺陷，提出了如下技术方案。

一种数据实时统计和检索的方法，该方法包括：

预处理步骤，解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中；

统计和检索步骤，通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索。

更进一步地，所述数据库为Mysql数据库，所述日志文件为Binlog的Row模式下的日志文件。

更进一步地，所述预处理步骤的操作为：配置Mysql数据库，开启Mysql的Binlog写入功能，并且配置Binlog的模式为Row；用户授权，创建一个用户并授权该用户的从节点权限，用于模拟一个Mysql的从节点；模拟Dump协议发送请求以获取Binlog数据流，解析所述Binlog数据流，并封装成Json格式的数据，然后将所述Json格式的数据存放至消息队列中。

更进一步地，所述模拟Dump协议发送请求以获取Binlog数据流的操作为：模拟Mysql的从节点的交互协议Dump协议，伪装成Mysql的从节点，向Mysql主节点发送Dump协议的请求，Mysql主节点收到Dump请求后向Mysql的从节点推送Binlog数据流。

更进一步地，所述解析Binlog数据流是解析Binlog数据流以获取时间戳、事件执行的花费时间、数据库名、表名、事件类型、提交是否成功、字段名称和对应的字段值。

更进一步地，所述Json格式的数据包括：数据库名、表名、事件类型、时间戳、事件编号、是否提交成功、行数据和旧数据，其中，行数据和旧数据也是Json对象，包含字段名和对应的字段值。

更进一步地，统计和检索步骤包括：统计子步骤，通过将消息队列的Json格式的数据作为流式处理系统的输入流，在流式处理中系统中按时间统计在线用户量、监控数据库查询花费时间和统计数据表的访问量，并将所述在线用户量、查询花费时间和访问量存储至Mysql数据库中，以供业务端实时查询；实时建立全文索引子步骤，使用所述流式处理系统订阅所述消息队列数据，过滤出新增、更新和/或修改操作的Json格式的数据，然后将所述新增、更新和/或修改操作根据对应的规则建立全文索引，实现全文索引库中索引数据的更新。业务端通过查询索引库获得最新的数据。

本发明还提出了一种数据实时统计和检索的装置，该装置包括：

预处理模块，用于解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中；

统计和检索模块，用于通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索。

更进一步地，所述数据库为Mysql数据库，所述日志文件为Binlog的Row模式下的日志文件。

更进一步地，所述预处理模块的操作为：配置Mysql数据库，开启Mysql的Binlog写入功能，并且配置Binlog的模式为Row；用户授权，创建一个用户并授权该用户的从节点权限，用于模拟一个Mysql的从节点；模拟Dump协议发送请求以获取Binlog数据流，解析所述Binlog数据流，并封装成Json格式的数据，然后将所述Json格式的数据存放至消息队列中。

更进一步地，所述模拟Dump协议发送请求以获取Binlog数据流的操作为：模拟Mysql的从节点的交互协议Dump协议，伪装成Mysql的从节点，向Mysql主节点发送Dump协议的请求，Mysql主节点收到Dump请求后向Mysql的从节点推送Binlog数据流。

更进一步地，所述解析Binlog数据流是解析Binlog数据流以获取时间戳、事件执行的花费时间、数据库名、表名、事件类型、提交是否成功、字段名称和对应的字段值。

更进一步地，所述Json格式的数据包括：数据库名、表名、事件类型、时间戳、事件编号、是否提交成功、行数据和旧数据，其中，行数据和旧数据也是Json对象，包含字段名和对应的字段值。

更进一步地，统计和检索模块包括：统计子模块，通过将消息队列的Json格式的数据作为流式处理系统的输入流，在流式处理中系统中按时间统计在线用户量、监控数据库查询花费时间和统计数据表的访问量，并将所述在线用户量、查询花费时间和访问量存储至Mysql数据库中，以供业务端实时查询；实时建立全文索引子模块，使用所述流式处理系统订阅所述消息队列数据，过滤出新增、更新和/或修改操作的Json格式的数据，然后将所述新增、更新和/或修改操作根据对应的规则建立全文索引，实现全文索引库中索引数据的更新。业务端通过查询索引库获得最新的数据。

本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。

本发明的技术效果为：本发明通过解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中；然后通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索。本发明基于日志和消息队列实现了数据的实时统计和检索，其解决了直连查询对数据库性能的影响，减轻了数据库访问的压力，提高了数据库查询的速度，通过流式数据处理实现了实时的数据供统计和全文检索，并且消息队列的引入也方便其他应用的扩展，提高了用户体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。

图1是根据本发明的实施例的一种数据实时统计和检索的方法的流程图。

图2是根据本发明的实施例的统计和检索步骤的流程图。

图3是根据本发明的实施例的一种数据实时统计和检索的装置的结构图。

图4是根据本发明的实施例的统计和检索模块的结构图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

Binlog是二进制日志文件，由于记录Mysql数据更新的Sql语句信息，以Event(事件)的形式记录，还包含语句执行的话费时间，主要用于Mysql的主从复制和数据恢复。Binlog有三种格式，主要使用基于行的复制，因为其可以不记录执行的sql语句的上下文相关的信息，仅需要记录那一条记录被修改成什么了，从而可以较方便使用Binlog解析出具体的数据操作。在mysql中开启binlog需要设置my.cnf中的log_bin参数，另外也可以通过binlog_do_db指定要记录binlog的数据库和binlog_ignore_db指定不记录binlog的数据库。

消息队列中间件是指利用高效可靠的消息队列传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，可以在分布式系统中提供数据同步、流量削峰和应用解耦等功能，由于其还支持多消费者，正好符合业务中数据需要同时做统计和建索引的需求，所以在本发明中引入消息队列达到既能保持与数据库的一致性，也能保证实时性。

图1示出了本发明的一种数据实时统计和检索的方法，该方法包括：

预处理步骤S101，解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中。

统计和检索步骤S102，通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索。

在一个实施例中，所述数据库为Mysql数据库，所述日志文件为Binlog的Row模式下的日志文件。

本发明的重要步骤在于数据的预处理，这是实现本发明数据实时统计及检索的关键所在，这也是本发明的一个重要发明点，所述预处理步骤S101的操作为：配置Mysql数据库，开启Mysql的Binlog写入功能，并且配置Binlog的模式为Row，配置命令为：log-bin＝mysql-bin，binlog-format＝ROW；用户授权，创建一个用户并授权该用户的从节点权限，用于模拟一个Mysql的从节点，可通过以下代码实现：

CREATE USER slave IDENTIFIED BY’slave’；

GRANT SELECT，REPLICATION SLAVE，REPLICATION CLIENT ON*.*TO’slave’@’％’；

FLUSH PRIVILEGES。

模拟Dump协议发送请求以获取Binlog数据流，解析所述Binlog数据流，并封装成Json格式的数据，然后将所述Json格式的数据存放至消息队列中，即，根据业务分析将上述封装好的数据按照自定义规则(比如根据优先级插入，根据FIFO机制等等)放到消息队列中，利用消息队列接收数据和推送数据快的特点，为后续的数据统计和全文检索使用提供是实时数据。

在一个实施例中，所述模拟Dump协议发送请求以获取Binlog数据流的操作为：模拟Mysql的从节点的交互协议Dump协议，伪装成Mysql的从节点，向Mysql主节点发送Dump协议的请求，Mysql主节点收到Dump请求后向Mysql的从节点推送Binlog数据流。

在一个实施例中，Binlog(二进制日志文件)是由一系列的Binlog Event构成，每个Binlog Event包含Header和Data两部分，Header提供了Event创建时间和服务器ID等，Data包含Event的具体数据修改。通过解析Binlog获取时间戳，事件执行的花费时间，数据库名，表名，事件类型，提交是否成功，字段名称和对应的字段值。即，所述解析Binlog数据流是解析Binlog数据流以获取时间戳、事件执行的花费时间、数据库名、表名、事件类型、提交是否成功、字段名称和对应的字段值。

在一个实施例中，将解析处理的数据封装成自定义Json格式，方便后续消费者使用，所述Json格式的数据包括：数据库名、表名、事件类型、时间戳、事件编号、是否提交成功、行数据和旧数据，其中，行数据和旧数据也是Json对象，包含字段名和对应的字段值。JSON(JavaScript Object Notation，JS对象简谱)是一种轻量级的数据交换格式。它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。正是JSON有上述优点，本发明中才将解析的数据封装为JSON，其数据构成格式本领域技术人员可根据实际需要定义。

本发明的另一个重要发明点是是基于消息队列中的封装为JSON格式的数据进行处理，即可以实时的进行数据的统计及查询操作，如图2所示，统计和检索步骤S102包括统计子步骤S201和实时建立全文索引子步骤S202。

统计子步骤S201，通过将消息队列的Json格式的数据作为流式处理系统的输入流，在流式处理中系统中按时间统计在线用户量、监控数据库查询花费时间和统计数据表的访问量，并将所述在线用户量、查询花费时间和访问量存储至Mysql数据库中，以供业务端实时查询。

实时建立全文索引子步骤S202，使用所述流式处理系统订阅所述消息队列数据，过滤出新增、更新和/或修改操作的Json格式的数据，然后将所述新增、更新和/或修改操作根据对应的规则建立全文索引，实现全文索引库中索引数据的更新。业务端通过查询索引库获得最新的数据。

本发明的方法减轻了数据库访问的压力，提高了数据库查询的速度，通过流式数据处理实现了实时的数据供统计和全文检索。

进一步参考图3，作为对上述图1所示方法的实现，本申请提供了一种数据实时统计和检索的装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以包含于各种电子设备中。

图3示出了本发明的一种数据实时统计和检索的装置，该装置包括：

预处理模块301，解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中。

统计和检索模块302，通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索。

在一个实施例中，所述数据库为Mysql数据库，所述日志文件为Binlog的Row模式下的日志文件。

本发明的重要操作在于数据的预处理，这是实现本发明数据实时统计及检索的关键所在，这也是本发明的一个重要发明点，所述预处理模块301的操作为：配置Mysql数据库，开启Mysql的Binlog写入功能，并且配置Binlog的模式为Row，配置命令为：log-bin＝mysql-bin，binlog-format＝ROW；用户授权，创建一个用户并授权该用户的从节点权限，用于模拟一个Mysql的从节点，可通过以下代码实现：

CREATE USER slave IDENTIFIED BY’slave’；

GRANT SELECT，REPLICATION SLAVE，REPLICATION CLIENT ON*.*TO’slave’@’％’；

FLUSH PRIVILEGES。

模拟Dump协议发送请求以获取Binlog数据流，解析所述Binlog数据流，并封装成Json格式的数据，然后将所述Json格式的数据存放至消息队列中，即，根据业务分析将上述封装好的数据按照自定义规则(比如根据优先级插入，根据FIFO机制等等)放到消息队列中，利用消息队列接收数据和推送数据快的特点，为后续的数据统计和全文检索使用提供是实时数据。

在一个实施例中，所述模拟Dump协议发送请求以获取Binlog数据流的操作为：模拟Mysql的从节点的交互协议Dump协议，伪装成Mysql的从节点，向Mysql主节点发送Dump协议的请求，Mysql主节点收到Dump请求后向Mysql的从节点推送Binlog数据流。

在一个实施例中，Binlog(二进制日志文件)是由一系列的Binlog Event构成，每个Binlog Event包含Header和Data两部分，Header提供了Event创建时间和服务器ID等，Data包含Event的具体数据修改。通过解析Binlog获取时间戳，事件执行的花费时间，数据库名，表名，事件类型，提交是否成功，字段名称和对应的字段值。即，所述解析Binlog数据流是解析Binlog数据流以获取时间戳、事件执行的花费时间、数据库名、表名、事件类型、提交是否成功、字段名称和对应的字段值。

在一个实施例中，将解析处理的数据封装成自定义Json格式，方便后续消费者使用，所述Json格式的数据包括：数据库名、表名、事件类型、时间戳、事件编号、是否提交成功、行数据和旧数据，其中，行数据和旧数据也是Json对象，包含字段名和对应的字段值。JSON(JavaScript Object Notation，JS对象简谱)是一种轻量级的数据交换格式。它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。正是JSON有上述优点，本发明中才将解析的数据封装为JSON，其数据构成格式本领域技术人员可根据实际需要定义。

本发明的另一个重要发明点是是基于消息队列中的封装为JSON格式的数据进行处理，即可以实时的进行数据的统计及查询操作，如图4所示，统计和检索模块302包括统计子模块401和实时建立全文索引子模块402。

统计子模块401，通过将消息队列的Json格式的数据作为流式处理系统的输入流，在流式处理中系统中按时间统计在线用户量、监控数据库查询花费时间和统计数据表的访问量，并将所述在线用户量、查询花费时间和访问量存储至Mysql数据库中，以供业务端实时查询。

实时建立全文索引子模块402，使用所述流式处理系统订阅所述消息队列数据，过滤出新增、更新和/或修改操作的Json格式的数据，然后将所述新增、更新和/或修改操作根据对应的规则建立全文索引，实现全文索引库中索引数据的更新。业务端通过查询索引库获得最新的数据。

本发明的装置减轻了数据库访问的压力，提高了数据库查询的速度，通过流式数据处理实现了实时的数据供统计和全文检索。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (15)

1.一种数据实时统计和检索的方法，其特征在于，该方法包括：

预处理步骤，解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中；

统计和检索步骤，通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索。

2.根据权利要求1所述的方法，其特征在于，所述数据库为Mysql数据库，所述日志文件为Binlog的Row模式下的日志文件。

3.根据权利要求2所述的方法，其特征在于，所述预处理步骤的操作为：配置Mysql数据库，开启Mysql的Binlog写入功能，并且配置Binlog的模式为Row；用户授权，创建一个用户并授权该用户的从节点权限，用于模拟一个Mysql的从节点；模拟Dump协议发送请求以获取Binlog数据流，解析所述Binlog数据流，并封装成Json格式的数据，然后将所述Json格式的数据存放至消息队列中。

4.根据权利要求3所述的方法，其特征在于，所述模拟Dump协议发送请求以获取Binlog数据流的操作为：模拟Mysql的从节点的交互协议Dump协议，伪装成Mysql的从节点，向Mysql主节点发送Dump协议的请求，Mysql主节点收到Dump请求后向Mysql的从节点推送Binlog数据流。

5.根据权利要求3所述的方法，其特征在于，所述解析Binlog数据流是解析Binlog数据流以获取时间戳、事件执行的花费时间、数据库名、表名、事件类型、提交是否成功、字段名称和对应的字段值。

6.根据权利要求3所述的方法，其特征在于，所述Json格式的数据包括：数据库名、表名、事件类型、时间戳、事件编号、是否提交成功、行数据和旧数据，其中，行数据和旧数据也是Json对象，包含字段名和对应的字段值。

7.根据权利要求3-6任一项所述的方法，其特征在于，统计和检索步骤包括：

统计子步骤，通过将消息队列的Json格式的数据作为流式处理系统的输入流，在流式处理中系统中按时间统计在线用户量、监控数据库查询花费时间和统计数据表的访问量，并将所述在线用户量、查询花费时间和访问量存储至Mysql数据库中，以供业务端实时查询；

实时建立全文索引子步骤，使用所述流式处理系统订阅所述消息队列数据，过滤出新增、更新和/或修改操作的Json格式的数据，然后将所述新增、更新和/或修改操作根据对应的规则建立全文索引，实现全文索引库中索引数据的更新。业务端通过查询索引库获得最新的数据。

8.一种数据实时统计和检索的装置，其特征在于，该装置包括：

预处理模块，用于解析数据库的日志文件获取实时的增量数据，将所述增量数据封装为Json格式的数据，将所述Json格式的数据存放至消息队列中；

统计和检索模块，用于通过流式处理方式对所述消息队列中的Json格式的数据进行实时的统计和检索。

9.根据权利要求8所述的装置，其特征在于，所述数据库为Mysql数据库，所述日志文件为Binlog的Row模式下的日志文件。

10.根据权利要求9所述的装置，其特征在于，所述预处理模块的操作为：配置Mysql数据库，开启Mysql的Binlog写入功能，并且配置Binlog的模式为Row；用户授权，创建一个用户并授权该用户的从节点权限，用于模拟一个Mysql的从节点；模拟Dump协议发送请求以获取Binlog数据流，解析所述Binlog数据流，并封装成Json格式的数据，然后将所述Json格式的数据存放至消息队列中。

11.根据权利要求10所述的装置，其特征在于，所述模拟Dump协议发送请求以获取Binlog数据流的操作为：模拟Mysql的从节点的交互协议Dump协议，伪装成Mysql的从节点，向Mysql主节点发送Dump协议的请求，Mysql主节点收到Dump请求后向Mysql的从节点推送Binlog数据流。

12.根据权利要求10所述的装置，其特征在于，所述解析Binlog数据流是解析Binlog数据流以获取时间戳、事件执行的花费时间、数据库名、表名、事件类型、提交是否成功、字段名称和对应的字段值。

13.根据权利要求10所述的装置，其特征在于，所述Json格式的数据包括：数据库名、表名、事件类型、时间戳、事件编号、是否提交成功、行数据和旧数据，其中，行数据和旧数据也是Json对象，包含字段名和对应的字段值。

14.根据权利要求10-13任一项所述的装置，其特征在于，统计和检索模块包括：

统计子模块，通过将消息队列的Json格式的数据作为流式处理系统的输入流，在流式处理中系统中按时间统计在线用户量、监控数据库查询花费时间和统计数据表的访问量，并将所述在线用户量、查询花费时间和访问量存储至Mysql数据库中，以供业务端实时查询；

实时建立全文索引子模块，使用所述流式处理系统订阅所述消息队列数据，过滤出新增、更新和/或修改操作的Json格式的数据，然后将所述新增、更新和/或修改操作根据对应的规则建立全文索引，实现全文索引库中索引数据的更新。业务端通过查询索引库获得最新的数据。

15.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-7之任一的方法。