CN105528366B - 一种数据同步控制方法和装置 - Google Patents

Abstract

本发明提供一种数据同步控制方法和装置，所述方法应用于数据同步控制装置，所述装置包括数据发送模块和同步监控模块；其中方法包括：数据发送模块获取待同步的更新数据；所述数据发送模块判断是否满足预设的休眠条件，若是，则所述数据发送模块在经过预设的休眠时间之后，将所述更新数据发送至同步装置。本发明降低了数据同步占用的带宽，降低了对备库和业务的影响。

Description

一种数据同步控制方法和装置

技术领域

本发明涉及计算机技术，特别涉及一种数据同步控制方法和装置。

背景技术

目前数据库已经成为不可缺少的数据存储设备，可以用于企业存储业务数据，并且为了提供较高的可靠性保障，通常设置主备数据库进行备份，称为主库和备库，主库的数据要及时同步到备库。此外，较大的企业通常在不同的区域分别设置用于数据存储的数据库，比如A地数据库和B地数据库，该两地的数据库之间也需要进行数据同步，以满足业务需求，这种类型的数据同步可以称为应用同步，采用精卫、DRC等数据同步方式同步更新数据。

当前的数据同步中，应用同步和备库同步通常都会采取尽力发送的原则，只要IO很强，那么数据同步就会尽多尽快的执行，但是这会占用较大带宽，并且造成如下问题：一方面，作为保障性作用的备库其优先级较高，应用同步将占用较多带宽影响备库的数据同步，当备库同步延迟较大时可能造成备库不可用；另一方面，主库的数据不仅用于上述的数据同步，还用于业务使用，比如业务执行时调取数据库的数据进行使用，数据同步占用较大带宽时，将影响业务的响应速度，降低业务的执行效率。

发明内容

有鉴于此，本发明提供一种数据同步控制方法和装置，以控制数据同步的速度，降低对备库和业务的影响。

具体地，本发明是通过如下技术方案实现的：

第一方面，提供一种数据同步控制方法，所述方法应用于数据同步控制装置，所述装置包括数据发送模块和同步监控模块；所述方法包括：

数据发送模块获取待同步的更新数据；

所述数据发送模块判断是否满足预设的休眠条件，若是，则所述数据发送模块在经过预设的休眠时间之后，将所述更新数据发送至同步装置。

第二方面，提供一种数据同步控制装置，包括：数据发送模块和同步监控模块；其中，所述数据发送模块，用于获取待同步的更新数据，并判断是否满足预设的休眠条件，若是，则所述数据发送模块在经过预设的休眠时间之后，将所述更新数据发送至同步装置；所述预设的休眠条件是由所述同步监控模块设置。

本发明的数据同步控制方法和装置，通过在满足预设的休眠条件时，将数据发送停止一段休眠时间，实现了对数据同步速度的控制，比如可以通过控制休眠条件和休眠时间的长度，来调整数据发送的速度，从而相对于传统方式中的数据发送不受限制的尽力发送，降低了数据同步占用的带宽，降低了对备库和业务的影响。

附图说明

图1是本发明实施例提供的数据同步控制方法的应用示意图；

图2是本发明实施例提供的数据同步控制装置的结构示意图；

图3是本发明实施例提供的数据同步控制方法的流程示意图；

图4是本发明实施例提供的数据同步控制装置的模块关系图；

图5是本发明实施例提供的数据同步控制方法中的Binlog发送线程执行的流程示意图；

图6是本发明实施例提供的数据同步控制方法中的同步监控模块执行的流程示意图。

具体实施方式

在进行数据同步时，本申请实施例的数据同步控制方法，通过由数据同步控制装置来执行该方法，完成数据的同步。该数据同步控制装置例如可以是设置在数据库服务器上的程序指令，参见图1所示，图1示出了服务器的简单示意结构，在服务器的存储器中，不仅存储有待同步的数据，还存储有上述的数据同步控制装置；与存储器通过总线连接的处理器，可以调用该数据同步控制装置，通过执行该装置对应的程序指令，来执行本实施例的数据同步控制方法，通过网络接口将待同步的数据同步到其他设备，比如同步至备库，或者，通过精卫或者DRC的数据同步方式将数据同步至其他应用服务器。

本实施例的数据同步控制方法，通过在存储器中设置了上述的数据同步控制装置由处理器调用执行，来实现对数据同步时的控制，改变传统方式中服务器总是在尽力传送的原则，使得数据同步的速度能够得到一定的控制，减少数据同步所占用的带宽，降低对业务使用数据的影响。

基于此，本实施例的数据同步控制装置，包括两个模块，分别是数据发送模块和同步监控模块，参见图2所示的装置结构。通过这两个模块，该同步控制装置可以执行图3所示的流程：

301、数据发送模块获取待同步的更新数据；

302、数据发送模块判断是否满足预设的休眠条件，若是，则所述数据发送模块在经过预设的休眠时间之后，将所述更新数据发送至同步装置。

在上述的步骤中可以看到，数据发送模块在发送待同步的更新数据时，不再是像传统方式中的获取到数据立刻发送，而是会在满足预设的休眠条件时，停止一段休眠时间(也就是说获取到待同步的更新数据时不立刻发送，先停止一段时间)，然后经过该预设的休眠时间后再发送该数据至同步装置(比如应用服务器)，这样就实现了对数据同步速度的控制和对同步占用带宽的降低。

如下将详细描述该数据同步控制的过程，其中，通过图4说明数据同步控制装置中的两个模块，在执行数据同步控制时的逻辑关系，后续结合该图4来具体说明数据同步控制：

首先，对Binlog简单说明如下：数据库服务器中存储的数据发生更新时，更新数据都是存储在Binlog文件中，这些更新数据例如包括：新增的某条业务数据、或者删除某些数据、或者修改某些数据等等，并且，更新数据是以Binlog_event为单位存储，比如，对某个表项中的数据进行修改，那么在记录时该表项的标识可以称为一个event，数据更改的内容(将数据a1修改为a2)可以作为一个event(事件)，也就是说，如果将“对某个表项中的数据进行修改”称为一个事物，该事物可能包含多个Binlog_event。可选的，在存储时例如可以存储为如下表1中所示的表项，可以产生三个event：

表1 Binlog_event

时间	表项	原数据------新数据
			10:02	A	a1------a2

在进行数据同步时，也是通过Binlog_event来进行同步，比如，数据发送模块读取一个Binlog_event，将该event同步至备库，然后再读取下一个event发送至备库等。备库、精卫、DRC在与主库进行数据同步时，都是通过Binlog协议来进行同步的，即通过Binlog协议向主库发送同步请求消息，主库根据该请求以Binnog_evcnt为单位读取在本地的Binlog文件(该文件是请求中指定的或者默认的)，然后将文件中的各个Binlog_event发送给备库或者应用服务器。

本实施例中，数据库服务器可以预先设置两个系统参数，如下：

binlog_send_idle_period这是Binlog发送线程每次的“休眠时间”，单位是微秒，默认值是100；其中，Binlog发送线程就是上述的数据发送模块，休眠时间就是指该模块在发送数据之前需要停止一段时间再发送。

binlog_send_limit_users这是Binlog发送线程的速度配置，默认值可以是空。利用该参数可以对特定的同步线程的速度进行限制，例如，设置如下：setglobal binlog_send_limit_users＝drc:3,jingwei:10，其作用是设置DRC拉取Binlog(拉取Binlog即进行Binlog同步)的上限速度是3MB/s，jingwei拉取Binlog的上限速度是10MB/s，其中的DRC和jingwei时应用服务器在拉取Binlog时使用的用户名称。

接着，假设本实施例的数据发送模块即Binlog发送线程具体是Dump binlog线程，其启动时按照图5所示的流程图执行。

Binlog dump线程启动后，将查看其连接的用户名是否应该被限速，该用户名指的是前面所述的DRC、jingwei等，也就是说，Binlog dump线程查看该线程本身是采用的何种方式进行数据同步。而是否应用被限速，该Binlog dump线程可以是根据上述的预先设置的系统参数binlog_send_limit_users来判断，该预先设置的系统参数binlog_send_limit_users可以称为预设的限速信息。

例如，设置binlog_send_limit_users＝drc:3，那就是说设置DRC拉取Binlog的上限速度是3MB/s，该限速信息中的drc是数据同步方式的标识，3是对应该数据同步方式的速度阈值。如果Binlog dump线程查看自己连接的用户名是DRC，结合该速度限制可以确定该线程自身是需要限速的，则Binlog dump线程会将自己加入限速列表，具体是将自己对应的线程标识加入列表，限速列表如下表2：

表2限速列表

用户名	线程标识
		DRC	X1
DRC	X2
		jingwei	X3

如上的表2，限速列表中记录了需要被限速的线程标识(可能有多个线程都是使用DRC方式拉取Binlog)，该限速列表主要是用于供同步监控模块使用的，同步监控模块只对限速列表中包括的线程进行数据发送速度的监控，如果线程的速度过高将调整线程的休眠条件，这些后续在对同步监控模块的执行流程中进行详述。同理，如果Binlog dump线程停止运行时，比如线程结束或者断开连接，则该线程也会将自身对应的线程标识从上述的限速列表移除。而且，每次更新设置binlog_send_limit_users时，系统可以对当前运行的所有线程进行遍历，将需要被限制的线程加入限速列表，不受限制的线程移出列表即可，不会对线程的运行造成影响，实时生效，非常方便。

Binlog dump线程在将自己加入限速列表后，还要获取用于控制数据发送速度的一些速度限制参数，比如获取“次数阈值”和“休眠时间”。该“次数阈值”是Binlog dump线程用于判断是否满足预设的休眠条件，即判断“当前线程是否需要休眠”。例如，该“次数阈值”设置为“每发送五次，休眠一次”，那么Binlog dump线程就是要判断从上一次休眠开始，更新数据的发送次数是否达到预设的次数阈值。具体实现中，参见图5所示的流程，可以通过增加binlog_event_sent计数，来判断次数是否足够，比如，Binlog dump线程每次发送一个binlog_event，发送一次计数增加1，当发送了五个binlog_event时就可以休眠了；在休眠时可以将该计数清零，重新计算开始下一轮的判断。

图5中所示的binlog_event_bytes_sent计数，是用于供同步监控模块计算Binlogdump线程的数据发送速度所使用，后续在同步监控模块的流程中描述。Binlog dump线程根据次数阈值如果确定需要休眠，则将当前线程休眠“休眠时间”即binlog_send_idle_perid微秒，然后再将读取的Binlog_event发送出去。

假设某个线程并不需要被限速，比如备库，那么备库同步对应的Binlog dump线程在启动后判断自己是否应该被限速时，将确定自己并不需要限速，因为binlog_send_limit_users中并没有自己连接的用户名，不将自己加入限速列表，从而也不需要获取速度限制参数，读取到Binlog_event后直接发送即可，不需要进行休眠。可以看到，通过设置binlog_send_limit_users，可以对特定的线程进行速度限制，比如对DRC、jingwei进行速度限制，而对备库的同步不进行限制，避免了DRC、jingwei的同步占用较多带宽对备库同步造成影响，防止备库同步的延迟，保证备库的可用性，提高数据的可靠保障。

如下结合图6所示的流程，说明同步监控模块的执行过程，同步监控模块是用于对Binlog dump线程进行速度监控的线程，可以称为Binlog speed监控线程，主要是用于计算Binlog dump线程的数据发送速度，并据此进行调整，实现对数据发送的速度控制。

参见图6，Binlog speed监控线程随着数据库服务器AliSQL的启动而启动，在启动后定时扫描限速列表，如果线程不为空，也就是限速列表中存在线程，则计算该当前线程的数据发送速度。在计算速度时，Binlog speed监控线程可以是从Binlog dump线程获取发送参数，比如图5中所示的binlog_event_bytes_sent计数，Binlog dump线程每发送一个binlog_event，就会将该event对应的字节数进行累计，Binlog speed监控线程根据发送的字节数和时间来计算Binlog dump线程的数据发送速度。

例如，该Binlog speed监控线程是每隔1毫秒执行一次，也就是每隔1毫秒进行一次发送速度的计算；在距离上一次计算速度达到1毫秒时，Binlog speed监控线程将当前Binlog dump线程反馈的binlog_event_bytes_sent计数与上一次计算时的计数做差值，就是在1毫秒时间内发送的字节数，可以计算得到速度。

Binlog speed监控线程将上述计算得到的数据发送速度，与预设的速度阈值进行比较，并进而调整预设的休眠条件，具体是调整Binlog dump线程中的net_thread_frequency成员，该成员参数用于指示发送频率，该发送频率也就是上面描述的次数阈值，通过调整该次数阈值实现对数据发送速度的控制。

例如，如果数据发送速度低于速度阈值，则调整net_thread_frequency成员，提高发送频率。比如，在调整之前的次数阈值是5，也就是每发送5次Binlog dump线程休眠一次；经过比较发现，需要提高发送频率，调整后变更为每发送3次休眠一次，次数阈值降低了。

又例如，如果数据发送速度高于速度阈值，则调整net_thread_frequency成员，降低发送频率。比如，在调整之前的次数阈值是5，也就是每发送5次Binlogdump线程休眠一次；经过比较发现，需要降低发送频率，调整后变更为每发送7次休眠一次，次数阈值提高了。

Binlog speed监控线程对于限速列表中的每一个线程，都会按照上述的方式进行速度控制，即获取该Binlog dump线程的一些相关的发送参数，据以计算线程的数据发送速度，并结合预设的速度阈值调整发送频率，使得次数阈值得到更改；Binlog dump线程根据该次数阈值判断是否进行休眠，从而数据发送速度得到了对应的调整。当确定好某个Binlog dump线程的发送频率后，Binlog speed监控线程将获取限速列表中的下一个线程，仍然执行上述的速度控制。

当遍历完整个限速列表中的所有线程后，Binlog speed监控线程将让出CPU1毫秒之后，再次扫描限速列表，即Binlog speed监控线程可以每毫秒执行一次。

本实施例的数据同步控制方法，通过设置binlog_send_limit_users，可以准确限定指定线程的数据发送速度，比如binlog_send_limit_users＝drc:3，就是针对DRC方式的Binlog dump线程进行了上限速度的限定，从而可以有效控制DRC、jingwei等方式的数据同步占用较多带宽而对备库同步造成延迟影响，保证了备库的及时更新，也避免数据同步速度过高占用过多带宽而对业务的响应造成影响。此外，采用该方法对某个线程进行限速，对线程不会造成很大的影响，只要将需要限速的线程加入到限速列表即可，监控线程会扫描该限速列表，对列表中的线程进行速度控制，被监控线程不需要重新连接，加入列表即可进行速度控制的生效。而且，该方法是在数据库(例如AliSQL)内核实现，方案统一，易于运维调度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种数据同步控制方法，其特征在于，所述方法应用于数据同步控制装置，所述装置包括数据发送模块和同步监控模块；所述方法包括：

数据发送模块获取待同步的更新数据；

所述数据发送模块判断是否满足预设的休眠条件，若是，则所述数据发送模块在经过预设的休眠时间之后，将所述更新数据发送至同步装置；

在所述数据发送模块获取待同步的更新数据之前，还包括：

所述数据发送模块获取预设的限速信息，所述限速信息包括：数据同步方式的标识、以及对应所述数据同步方式的速度阈值；

在确定所述数据发送模块使用的数据同步方式与所述限速信息中的标识相同时，所述数据发送模块将自身对应的模块标识加入限速列表，以使得所述同步监控模块根据所述限速列表中的模块标识，设置所述数据发送模块对应的所述预设的休眠条件。

2.根据权利要求1所述的方法，其特征在于，所述预设的休眠条件是：从上一次休眠开始，更新数据的发送次数达到预设的次数阈值。

3.根据权利要求1所述的方法，其特征在于，所述设置所述数据发送模块对应的所述预设的休眠条件，包括：

所述同步监控模块计算所述数据发送模块的数据发送速度；

在确定所述数据发送速度低于所述速度阈值时，所述同步监控模块调整所述预设的休眠条件，以使得所述数据发送速度提高；

在确定所述数据发送速度高于所述速度阈值时，所述同步监控模块调整所述预设的休眠条件，以使得所述数据发送速度降低。

4.根据权利要求1所述的方法，其特征在于，还包括：

当所述数据发送模块停止运行时，所述数据发送模块将自身对应的模块标识从所述限速列表移除。

5.一种数据同步控制装置，其特征在于，包括：数据发送模块和同步监控模块；其中，

所述数据发送模块，用于获取待同步的更新数据，并判断是否满足预设的休眠条件，若是，则所述数据发送模块在经过预设的休眠时间之后，将所述更新数据发送至同步装置；所述预设的休眠条件是由所述同步监控模块设置；

所述数据发送模块，还用于在获取待同步的更新数据之前，获取预设的限速信息，所述限速信息包括：数据同步方式的标识、以及对应所述数据同步方式的速度阈值；在确定所述数据发送模块使用的数据同步方式与所述限速信息中的标识相同时，所述数据发送模块将自身对应的模块标识加入限速列表；

所述同步监控模块，用于根据所述限速列表中的模块标识，设置所述数据发送模块对应的所述预设的休眠条件。

6.根据权利要求5所述的装置，其特征在于，所述预设的休眠条件是：从上一次休眠开始，更新数据的发送次数达到预设的次数阈值。

7.根据权利要求5所述的装置，其特征在于，

所述同步监控模块，用于计算所述数据发送模块的数据发送速度；在确定所述数据发送速度低于所述速度阈值时，所述同步监控模块调整所述预设的休眠条件，以使得所述数据发送速度提高；在确定所述数据发送速度高于所述速度阈值时，所述同步监控模块调整所述预设的休眠条件，以使得所述数据发送速度降低。

8.根据权利要求5所述的装置，其特征在于，

所述数据发送模块，还用于在所述数据发送模块停止运行时，将自身对应的模块标识从所述限速列表移除。