CN110489092B

CN110489092B - 一种数据库读写分离架构下读取数据延迟问题的解决方法

Info

Publication number: CN110489092B
Application number: CN201910797611.6A
Authority: CN
Inventors: 叶丁辉; 陈波; 龚致; 常清雪
Original assignee: Sichuan Changhong Electric Co Ltd
Current assignee: Sichuan Changhong Electric Co Ltd
Priority date: 2019-08-27
Filing date: 2019-08-27
Publication date: 2022-08-16
Anticipated expiration: 2039-08-27
Also published as: CN110489092A

Abstract

本发明公开了一种数据库读写分离架构下读取数据延迟问题的解决方法，包括以下步骤：A.向原系统添加中间层组件，B.通过中间层组件分析写入语句，并创建写入操作数据表档案；C.记录从库同步完成标识；D.根据数据读取语句分析，选取读取的数据库。本发明的方法能保证在MYSQL数据库读写分离的架构条件下，不会发生因为数据同步带来的读取数据延迟的问题，有助于在提高读写性能的情况下，又能满足读取数据的实时一致性。

Description

一种数据库读写分离架构下读取数据延迟问题的解决方法

技术领域

本发明涉及软件技术领域，特别涉及一种数据库读写分离架构下读取数据延迟问题的解决方法。

背景技术

随着公司系统的数据量的不断增大，为了提高数据库的读写性能，引入了数据库读写分离架构。数据库读写分离是将对数据库的读操作和写操作分离到不同的数据库进行，读写操作的数据库可能是在同一台服务器的不同数据库中，也可能是在不同服务器的数据库中，其中写操作数据库为主库，读操作数据库为从库。读写分离的数据同步机制是先将数据写入到主库，当数据写入完毕后，再由主库将需要同步的数据的数据日志(binlog)复制到从库，从库再执行数据日志来创建数据。因为主从库并不是同一个数据库，并且MySQL复制数据日志和创建数据需要时间，所以数据写入到主库后，如果从从库读取数据，就会有一定的延迟才能读取到写入到主库的数据。当发生延迟时，会对数据实时一致性造成影响，即发生写入的数据在一定时间内无法读取的问题，从而影响公司业务数据的正常使用。在此背景下，需要一种方案来解决数据库读写分离架构下读取数据延迟的问题。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种数据库读写分离架构下读取数据延迟问题的解决方法，能保证在MYSQL数据库读写分离的架构条件下，不会发生因为数据同步带来的读取数据延迟的问题，有助于在提高读写性能的情况下，又能满足读取数据的实时一致性。

为了达到上述的技术效果，本发明采取以下技术方案：

一种数据库读写分离架构下读取数据延迟问题的解决方法，包括以下步骤：

A.向原系统添加中间层组件，所述中间层组件通过切面方法的形式拦截读写操作，并用于分析读写操作的SQL、获取和记录主库同步数据到从库的完成情况，以及将读取数据的请求分发到数据同步完成了的从库；

B.通过中间层组件分析写入语句，并创建写入操作数据表档案；

C.记录从库同步完成标识；

D.根据数据读取语句分析，选取读取的数据库。

进一步地，所述中间层组件具体添加于web应用和MySQL服务器之间。

进一步地，所述步骤B具体包括：

B1.当有数据写入时，中间层组件拦截写入语句，并将语句转存到中间层的语句解析队列中，然后放行数据写入操作，开始数据写入；

B2.中间层组件从队列中取出写入语句，通过SQL分析程序对语句进行拆解分析，提取出要写入的数据表名，并建立本次写入操作的数据表档案；

B3.数据写入完成后，会将数据日志偏移位置存入步骤B2中创建的数据表档案中；

B4.在数据表档案创建及更新后，中间层均将数据表档案纳入统计数据，统计出所有正在做同步数据的数据表在哪些从库中已经完成同步操作。

进一步地，所述数据表档案是存储在内存中的一个对象，包括档案id、写入的数据表名、主库数据日志的偏移位置、从库id列表、从库是否同步完毕完成的标识。

进一步地，所述步骤C包括：

C1.主库数据写入完成后，MySQL将数据日志复制到从库，从库从上次同步完后的偏移位置开始读取新的数据日志，并创建数据，当数据创建完成后更新同步完成到的偏移位置；

C2.中间层组件通过心跳机制，不断获取每个从库记录的同步完成的偏移位置(MySQL会自动更新该值)，并将偏移位置与步骤B创建的数据表档案中的主库数据日志偏移位置进行对比，如果前者大于等于后者，则将从库id对应的从库同步完成标识记录为完成状态；

C3.当数据表档案更新后，检测该数据表档案包含的所有从库是否都更新完成，如果是则删除该数据表档案，并更新统计数据。

进一步地，所述步骤D包括以下步骤：

D1.读取数据时，中间层组件拦截读取语句，通过SQL分析程序对语句进行拆解分析，提取出要读取的数据表名；

D2.将步骤D1中的提取的数据表名在步骤B4中的统计数据中进行查询，并根据查询结果选取读取的数据库；

D3.读取步骤D2选定的数据库，完成数据库读取。

进一步地，所述步骤D2中进行查询时，查询结果包括以下几种：

结果一：没有数据涉及需要查询的数据表名，即所有表数据均已同步完成，则根据负载均衡算法选定需要读取的从库；

结果二：有数据涉及数据表名，则查询包含所有数据表名的数据，如果能查出数据，则取出同步完成标识为完成状态的从库id，再根据负载均衡算法选定需要读取的从库；

其中，若结果二中取出的从库id数量为0，则说明需要查询的表没有任何从库同步完成，则选择读取主库；具体的，上述负载均衡算法为现有技术，此处不再赘述。

本发明与现有技术相比，具有以下的有益效果：

一种数据库读写分离架构下读取数据延迟问题的解决方法，通过采用从同步完成的从库读取数据的方法，可有效解决在引入读写分离架构后，数据写入主库后，从从库读取数据会有一定的延时的问题，从而保证在MySQL数据库读写分离的架构条件下，不会发生因为数据同步带来的读取数据延迟的问题，有助于在提高读写性能的情况下，又能满足读取数据的实时一致性。

附图说明

图1是MySQL数据库主从分离架构、读写数据、同步数据的示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

如图1所示，一种MySQL数据库读写分离架构下读取数据延迟问题的解决方法，包括以下步骤：

步骤1.向原系统添加中间层组件，并配置所有从库id和地址、端口到中间层的配置文件中。

其中，该中间层组件包含一个拦截模块用于拦截读写操作，且可通过切面方法的形式拦截读写操作，并用于分析读写操作的SQL、获取和记录主库同步数据到从库的完成情况，以及将读取数据的请求分发到数据同步完成了的从库。

步骤2.分析写入语句，并创建写入操作数据表档案。

步骤2.1.当写入操作开始执行时，就会触发步骤1中拦截模块的执行，拦截模块会在写入操作执行前先执行方法saveWriteSqlToQueue(String id,String sql)，该方法参数id为先行分配的档案id值，sql为执行语句，方法将语句和档案id存储到队列queue中，存储完毕后该方法结束，继续执行写入操作。

步骤2.2.后台线程thread-analysis从queue中获取语句和档案id，并调用方法analyzeSql(String sql)方法对语句进行分析，并取出表名T1、T2…Tn，分析完成后，调用方法buildArchive(String id,List ts)建立数据表档案。

本实施例中，该数据表档案具有如下数据结构：

{id:x,offset:m,ts:[T1,T2…,Tn],sDb:[{sid:i,flag:no}]}

其中：id为档案id；offset为主库数据日志偏移位置，是一个数值类型；ts为表名列表；sDb为从库列表，通过读取配置文件或缓存填充数据，其中sid为从库id，flag为同步完成标识，yes表示完成，no表示没有完成。

步骤2.3.当数据写入完成后，再次触发拦截模块的执行，拦截模块会执行updateArchive(String id)方法，方法通过参数id(即档案id)查询到步骤2.2中创建的数据表档案，并读取主库的Read_Master_Log_Pos值作为主库数据日志偏移位置，并将该值写入数据表档案的offset。

步骤2.4.数据表档案创建后以及更新偏移位置后，调用statistic()方法进行档案统计，统计数据有如下数据结构：

Tn:{sidm:yes}}

其中：Tn为表名，sidm为从库id(即数据表档案中的sid)，其值为同步完成标识，yes表示完成，no表示没有完成；该数据表示Tn表在sid为m的从库中是否完成数据同步。

步骤3.记录从库同步完成标识。

步骤3.1.从库通过主库复制的数据日志开始创建数据，数据创建完成后MySQL更新从库的日志偏移位置(即Read_Master_Log_Pos值)。

步骤3.2.中间层组件读取配置文件或缓存获取所有从库地址，通过心跳机制和readSyncedOffset()方法读取每个从库的日志偏移位置，Pos1、Pos2…Posn。

步骤3.3.中间层组件通过updateArchive()方法读取步骤2中创建的所有档案，并将档案中的offset和步骤3.2中读取的Posn进行对比，如果Posn大于等于offset，则更新sDb中对应的sidn的flag值为yes。其中，当档案中的所有flag为yes时删除该档案。

步骤3.4.完成上述操作后，中间层组件通过updateStatistic(List acvs)方法对档案进行修正，方法参数acvs为有变动的档案。

步骤4.读取读取语句分析，选取读取的数据库。

步骤4.1.当读取操作开始执行时，就触发步骤1中拦截模块的执行，拦截模块在读取操作执行前先执行analyzeSql(String sql)方法对语句进行分析，并取出表名t1、t2…tn。

步骤4.2.中间层组件通过selectDb(List ts)方法选择出读取从库的id(即sid)或者主库，其中，方法参数为读取操作的表名tn。该方法将所有tn代入到步骤2中的统计数据的Tn进行查询，其中：

a)如果没有任何一个tn能查到sidm，那么所有从库均同步完成，该方法返回所有从库id。

b)如果有tn查询到sidm，则将sidm值为yes的sidm取出，再取出所有tn都查到的sidm，将所有sidm代表的从库id返回。

c)如果上述b)中返回的从库id数量为0，则返回主库。

步骤4.3.完成步骤4.2操作后，拦截模块配置本次读取的数据库，并完成数据读取操作。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims

1.一种数据库读写分离架构下读取数据延迟问题的解决方法，其特征在于，包括以下步骤：

B.通过中间层组件分析写入语句，并创建写入操作数据表档案；所述步骤B具体包括：

B4.在数据表档案创建及更新后，中间层均将数据表档案纳入统计数据，统计出所有正在做同步数据的数据表在哪些从库中已经完成同步操作；

C.记录从库同步完成标识；所述步骤C包括：

C2.中间层组件通过心跳机制，不断获取每个从库记录的同步完成的偏移位置，并将偏移位置与步骤B创建的数据表档案中的主库数据日志偏移位置进行对比，如果前者大于等于后者，则将从库id对应的从库同步完成标识记录为完成状态；

C3.当数据表档案更新后，检测该数据表档案包含的所有从库是否都更新完成，如果是则删除该数据表档案，并更新统计数据；

D.根据数据读取语句分析，选取读取的数据库；所述步骤D包括以下步骤：

D3.读取步骤D2选定的数据库，完成数据库读取；

所述步骤D2中进行查询时，查询结果包括以下几种：

其中，若结果二中取出的从库id数量为0，则说明需要查询的表没有任何从库同步完成，则选择读取主库。

2.根据权利要求1所述的一种数据库读写分离架构下读取数据延迟问题的解决方法，其特征在于，所述中间层组件具体添加于web应用和MySQL服务器之间。

3.根据权利要求1所述的一种数据库读写分离架构下读取数据延迟问题的解决方法，其特征在于，所述数据表档案是存储在内存中的一个对象，包括档案id、写入的数据表名、主库数据日志的偏移位置、从库id列表、从库是否同步完毕完成的标识。