CN109361748B - Binlog文件下载方法、装置、设备及可读存储介质 - Google Patents

Binlog文件下载方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109361748B
CN109361748B CN201811242987.2A CN201811242987A CN109361748B CN 109361748 B CN109361748 B CN 109361748B CN 201811242987 A CN201811242987 A CN 201811242987A CN 109361748 B CN109361748 B CN 109361748B
Authority
CN
China
Prior art keywords
downloading
binlog
data packet
request
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811242987.2A
Other languages
English (en)
Other versions
CN109361748A (zh
Inventor
王俊皓
褚占峰
江峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dt Dream Technology Co Ltd
Original Assignee
Hangzhou Dt Dream Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dt Dream Technology Co Ltd filed Critical Hangzhou Dt Dream Technology Co Ltd
Priority to CN201811242987.2A priority Critical patent/CN109361748B/zh
Publication of CN109361748A publication Critical patent/CN109361748A/zh
Application granted granted Critical
Publication of CN109361748B publication Critical patent/CN109361748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/34Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种Binlog文件下载方法、装置、设备及计算机可读存储介质,包括:确定客户端下载Binlog文件的最后下载位置;判断最后下载位置是否小于最大请求位置;若否,则从已下载的每个Binlog事件的起始位置中查找小于最大请求位置的有效起始位置;利用有效起始位置向服务端发送下载请求,以继续下载Binlog文件中的Binlog事件;可见,在本方案在下载中断后,检查最后下载位置是否超过最大请求位置,如果超过最大请求位置,则从已下载的Binlog事件的起始位置中,查找小于最大请求位置的有效起始位置,这样便可以根据该有效起始位置继续发送下载请求,避免出现下载异常情况。

Description

Binlog文件下载方法、装置、设备及可读存储介质
技术领域
本发明涉及数据库技术领域,更具体地说,涉及一种MySQL的Binlog文件下载方法、装置、设备及计算机可读存储介质。
背景技术
MySQL为关系型数据库管理系统,MySQL binary log为二进制日志,简称Binlogs,包含了描述数据库变化的事件,例如:创建表操作、数据变更等。Binlogs被保存在Binlog文件中,Binlog文件以Binlog文件头开头,后跟一系列Binlog事件。目前,MySQL主从复制服务器间按照客户端/服务端协议进行通信,MySQL主、从复制服务器通过网络并以Binlog网络流的形式发送Binlogs,将主服务器上发生的变化传递到从属服务器。Binlog网络流的建立过程为:需要客户端向服务端发送COM_BINLOG_DUMP请求,建立成功后,服务端会依次向客户端发送每个Binlog事件数据。在该过程中,COM_BINLOG_DUMP请求包可以指定网络流传递数据开始的Binlog文件和文件中的起始位置。
由于COM_BINLOG_DUMP请求包的参数中,Binlog位置为一个Binlog事件(包含事件头)的起始位置,它的范围是4字节的无符号整数,即可以指定的Binlog起始位置为0–4,294,967,295字节。由于MySQL规定一个Binlog文件大小最大不超过max_binlog_size(最大值为1G,1,073,741,824字节),正常情况下COM_BINLOG_DUMP请求可以指定Binlog文件中任意一个Binlog事件的起始位置;但是,由于一个事务只会写入同一个Binlog文件,因此当用户试图提交一个大事务时,Binlog文件依旧可以超过max_binlog_size,甚至超过可指定的Binlog起始位置范围。然而,现有的COM_BINLOG_DUMP请求无法从超过4,294,967,295字节的事件位置开始下载Binlog文件。
如果在下载Binlog文件过程中,由于某种原因导致下载中断,并试图恢复下载、重新建立网络流时,会由于已经读到的位置可能超过请求允许的文件起始位置范围,而使得下载线程进入异常状态。
因此,如何避免在下载Binlog文件中断时,由于读Binlog事件的位置超过请求允许的最大请求位置而导致的下载异常情况,是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种MySQL的Binlog文件下载方法、装置、设备及计算机可读存储介质,以避免在下载Binlog文件中断时,由于读Binlog事件的位置超过请求允许的最大请求位置而导致的下载异常情况。
为实现上述目的,本发明实施例提供了如下技术方案:
一种MySQL的Binlog文件下载方法,包括:
确定客户端下载Binlog文件的最后下载位置;其中,所述最后下载位置为下载中断前的最后下载位置;
判断所述最后下载位置是否小于最大请求位置;
若否,则从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的有效起始位置;
利用所述有效起始位置向所述服务端发送下载请求,以继续下载Binlog文件中的Binlog事件。
其中,所述从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的有效起始位置,包括:
从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的初始起始位置,并将位置最大的初始起始位置作为有效起始位置。
其中,若所述最后下载位置小于最大请求位置,则所述Binlog文件下载方法还包括:
利用所述最后下载位置向所述服务端发送下载请求;
接收所述服务端根据所述下载请求发送的Binlog事件的数据包,并直接写入本地文件。
其中,利用所述有效起始位置向所述服务端发送下载请求,以继续下载Binlog文件中的Binlog事件,包括:
S11、利用所述有效起始位置向所述服务端发送下载请求;
S12、接收所述服务端根据所述下载请求发送的Binlog事件的数据包;
S13、判断接收的目标数据包是否为所述客户端已下载的数据包;若是,则执行S14;若否,则执行S15;
S14、丢弃所述目标数据包,并将接收的下一个Binlog事件的数据包作为目标数据包,继续执行S13;
S15、判断所述目标数据包中是否存在已写入所述客户端的部分数据;若存在,则执行S16;若不存在,则执行S17;
S16、丢弃所述部分数据,将所述目标数据包中除所述部分数据之外的其他数据写入本地文件,并将后续接收的数据包直接写入本地文件;
S17、将所述目标数据包写入本地文件,并将后续接收的数据包直接写入本地文件。
其中,所述判断所述最后下载位置是否小于最大请求位置之后,还包括:
若所述最后下载位置小于最大请求位置,则将下载状态设置为正常状态;若所述最后下载位置不小于最大请求位置,则将下载状态设置为异常状态。
其中,利用所述有效起始位置向所述服务端发送下载请求,以继续下载Binlog文件中的Binlog事件,包括:
S21、利用所述有效起始位置向所述服务端发送下载请求;
S22、接收所述服务端根据所述下载请求发送的Binlog事件的数据包;
S23、判断客户端的下载状态是否为异常状态;若是,则执行S24;若否,则执行S29;
S24、判断接收的目标数据包是否为所述客户端已下载的数据包;若是,则执行S25;若否,则执行S26;
S25、丢弃所述目标数据包,并继续执行S24;
S26、判断所述目标数据包中是否存在已写入所述客户端的部分数据;若存在,则执行S27;若不存在,则执行S28;
S27、丢弃所述部分数据,将所述目标数据包中除所述部分数据之外的其他数据写入本地文件,并将下载状态设置为正常状态,继续执行S23;
S28、将所述目标数据包写入本地文件,并将下载状态设置为正常状态,继续执行S23;
S29、直接将接收的数据包写入本地文件。
一种MySQL的Binlog文件下载装置,包括:
最后下载位置确定模块,用于确定客户端下载Binlog文件的最后下载位置;其中,所述最后下载位置为下载中断前的最后下载位置;
判断模块,用于判断所述最后下载位置是否小于最大请求位置;
有效起始位置查找模块,用于在所述最后下载位置不小于最大请求位置时,从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的有效起始位置;
第一下载请求发送模块,用于利用所述有效起始位置向所述服务端发送下载请求,以继续下载Binlog文件中的Binlog事件。
其中,本方案还包括:
第二下载请求发送模块,用于利用所述最后下载位置向所述服务端发送下载请求;
数据包写入模块,用于接收所述服务端根据所述下载请求发送的Binlog事件的数据包,并直接写入本地文件。
一种MySQL的Binlog文件下载设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述文件下载方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述文件下载方法的步骤。
通过以上方案可知,本发明实施例提供的一种MySQL的Binlog文件下载方法,包括:确定客户端下载Binlog文件的最后下载位置;最后下载位置为下载中断前的最后下载位置;判断最后下载位置是否小于最大请求位置;若否,则从已下载的每个Binlog事件的起始位置中,查找小于最大请求位置的有效起始位置;利用有效起始位置向服务端发送下载请求,以继续下载Binlog文件中的Binlog事件;
可见,在本方案中,若在下载Binlog文件时中断,则再次发送下载请求之前,需要检查最后下载位置是否超过最大请求位置,如果超过最大请求位置,则从已下载的Binlog事件的起始位置中,查找小于最大请求位置的有效起始位置,这样便可以根据该有效起始位置继续发送下载请求,避免出现下载异常情况;
本发明还公开了一种MySQL的Binlog文件下载装置、设备及计算机可读存储介质,同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种MySQL的Binlog文件下载方法流程示意图;
图2为本发明实施例公开的一具体的Binlog文件下载方法流程示意图;
图3为本发明实施例公开的另一具体的Binlog文件下载方法流程示意图;
图4为本发明实施例公开的一种MySQL的Binlog文件下载装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,目前现有的MySQL主从复制技术,通过从服务器上启动的IO线程来获取主服务器上的Binlogs。主服务器为服务端,从服务器为客户端;COM_BINLOG_DUMP请求包可以指定网络流传递数据开始的Binlog文件和文件中的起始位置。IO线程根据用户配置组装并发送COM_BINLOG_DUMP请求,建立网络流连接,并读取MySQL包中的数据。COM_BINLOG_DUMP请求的数据格式如表1所示:
表1
Figure BDA0001839833370000061
请求成功后,客户端可以从建立的网络流中读取Binlog事件。Binlog事件以MySQL包的形式进行组装,MySQL包的格式详见表2:
表2
Figure BDA0001839833370000062
其中,数据载荷包含了Binlog事件头、Binlog事件的有效数据。Binlog事件头的格式详见表3:
表3
Figure BDA0001839833370000063
由于Binlog事件的格式根据事件类型不同,格式各有差异,此处不赘述。因此,通过将每个MySQL包中的有效数据载荷进行拼接并写入到文件中(其中文件头固定4字节标记,值为0xfe62696e),可以得到和MySQL主服务器上完全一致的Binlog文件。
由于MySQL复制协议中COM_BINLOG_DUMP请求指定的Binlog起始位置为仅为0–4,294,967,295字节,不能指定超过4,294,967,295字节的MySQLBinlog文件,这里的请求范围为0–4,294,967,295,4,294,967,295为最大请求位置;为了避免读Binlog事件的位置超过请求允许的最大请求位置,从而导致下载异常,本发明实施例公开了一种MySQL的Binlog文件下载方法、装置、设备及计算机可读存储介质,以避免在下载Binlog文件中断时,由于读Binlog事件的位置超过请求允许的最大请求位置而导致的下载异常情况。
参见图1,本发明实施例提供的一种MySQL的Binlog文件下载方法,包括:
S101、确定客户端下载Binlog文件的最后下载位置;其中,所述最后下载位置为下载中断前的最后下载位置;
具体的,本方案中的服务端为MySQL主服务器,即为A端,客户端为MySQL从服务器,为B端;正常情况下,A端开启了Binlog日志,已存在或正在写入超过4,294,967,295字节大小的Binlog文件,B端提供了具备获取Binlog文件权限的连接用户。需要说明的是,本方案中的A端和B端不排除处于同一台设备或计算机上。客户端为了下载服务端的Binlog文件,需要通过COM_BINLOG_DUMP请求建立网络流,获取Binlog事件数据的程序P,通过程序P获取Binlog事件数据,并写入本地文件。
如果客户端在下载Binlog文件的时候出现了中断情况,该中断情况包括主动或被动原因,这时需要确定最后下载位置,该最后下载位置是下载中断前的读取的Binlog文件的位置。需要说明的是,在将服务端发送的Binlog事件数据包写入本地文件时,可以实时记录当前读到的Binlog文件位置,在本实施例中,该最后下载位置用current_read_pos表示,将最后一个写入本地文件的Binlog事件结束位置+1,从头部读取服务端Binlog文件则为本地文件当前字节长度。
S102、判断所述最后下载位置是否小于最大请求位置;若否,则执行S103;若是,则执行S105;
具体的,本方案存在两种情况,一种情况为最后下载位置小于最大请求位置,这时便执行正常的处理流程,即执行S105,将从服务端获取的剩余数据直接写入本地文件;另一种情况为最后下载位置不小于最大请求位置,这时如果直接发送下载请求,由于下载请求不能指定超过最大请求位置处,因此本方案中,在这种情况下执行S103和S104,也即从请求允许的指定范围内查找有效起始位置,以继续获取剩余的数据。
S103、从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的有效起始位置;
其中,所述从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的有效起始位置,包括:
从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的初始起始位置,并将位置最大的初始起始位置作为有效起始位置。
具体的,在将服务端发送的Binlog事件数据包写入本地文件时,可以记录已写入本地文件的Binlog事件的起始位置,为了方便查找,可以按顺序将所有起始位置的生成起始位置数组,该起始位置数组用start_pos_list表示。
因此在下载中断且最后下载位置不小于最大请求位置时,便从该起始位置数组中查找小于最大请求位置的有效起始位置。该有效起始位置为下载请求可以指定的位置,正常来说,该有效起始位置只要是能指定有效的位置便可,但是为了尽量的减少从服务端获取数据包的时间,在本实施例中可以将起始位置数组中最大的起始位置作为有效起始位置。
S104、利用所述有效起始位置向所述服务端发送下载请求,以继续下载Binlog文件中的Binlog事件;
S105、利用所述最后下载位置向所述服务端发送下载请求;接收所述服务端根据所述下载请求发送的Binlog事件的数据包,并直接写入本地文件。
具体的,如果最后下载位置小于最大请求位置,这时执行S105,即将接收的数据包直接写入本地文件,该过程是目前出现中断情况的正常处理流程,可以继续从服务端下载剩余的Binlog文件;在最后下载位置不小于最大请求位置时,通过S103从请求允许的指定范围内查找到有效起始位置,进而根据该有效起始位置向服务端发送下载请求,该下载请求即为上文中的COM_BINLOG_DUMP请求,利用该请求获取数据包,以实现继续下载Binlog文件中的剩余Binlog事件的目的。
可以理解的是,将下载请求发送至服务端后,可将从服务端获取到的数据包通过多种方式写入本地文件,例如:为了确保客户端内存储数据的准确性,这时可将获取的数据包重新写入本地文件,或者进行对比后,将内容不同的数据包替换已经写入本地文件;但是为了提高下载速度,也可以仅将未写入本地文件的数据包写入,将已经写入本地文件的数据包丢弃,具体写入方式可根据实际情况选择。
综上可以看出,本方案规避了MySQL复制协议中COM_BINLOG_DUMP请求的缺陷,可以对任意大小的MySQL Binlog文件进行增量式的、断点续传的下载操作。使得下载Binlog文件的程序具有更好的健壮性,对读取Binlog文件的程序屏蔽了可恢复的异常中断。
基于上述实施例,参见图2,为本实施例提供的一具体的Binlog文件下载方法流程示意图;在本实施例中,S104中利用有效起始位置向服务端发送下载请求,以继续下载Binlog文件中的Binlog事件,具体包括:
S11、利用所述有效起始位置向所述服务端发送下载请求;
S12、接收所述服务端根据所述下载请求发送的Binlog事件的数据包;
S13、判断接收的目标数据包是否为所述客户端已下载的数据包;若是,则执行S14;若否,则执行S15;
S14、丢弃所述目标数据包,并将接收的下一个Binlog事件的数据包作为目标数据包,继续执行S13;
S15、判断所述目标数据包中是否存在已写入所述客户端的部分数据;若是,则执行S16;若否,则执行S17;
S16、丢弃所述部分数据,将所述目标数据包中除所述部分数据之外的其他数据写入本地文件,并将后续接收的数据包直接写入本地文件;
S17、将所述目标数据包写入本地文件,并将后续接收的数据包直接写入本地文件。
可以理解的是,向服务端发送了携带有效起始位置的下载请求后,接收服务端发送的有效起始位置之后的数据包;具体来说,本方案接收到服务端发送的数据包后,通过三种处理数据包方式:
第一种处理方式为:如果接收的数据包为客户端已经下载的数据包,这时直接将该数据包丢弃;
第二种处理方式为:如果接收的数据包存在部分数据已经写入客户端,这时可将已经写入的部分数据丢弃,将未写入的数据写入本地文件,由于数据包都是按顺序发送的,因此,如果该数据包一部分数据已经写入本地文件,这时说明客户端下载该数据包时出现了中断现象,那么后续接收的数据包则直接写入本地文件,也就是说,后续的数据包通过正常处理流程处理;
第三种处理方式为:如果接收的数据包未写入本地文件,这时直接将该数据包写入本地文件,也就是说,传输该数据包之前出现了中断现象,那么后续的数据包则直接按照正常处理流程处理。
可以看出,本方案针对数据包是否存储至本地文件以及是否全部存储至本地文件,提供了三种数据包的处理方式,通过这三种处理方式,可以对处于不同情况下的数据包进行处理,从而实现了对剩余数据的快速下载。
基于上述任意方法实施例,在本实施例中,判断所述最后下载位置是否小于最大请求位置之后,还包括:
若所述最后下载位置小于最大请求位置,则将下载状态设置为正常状态;若所述最后下载位置不小于最大请求位置,则将下载状态设置为异常状态。
具体的,在本实施例中,标记获取数据包程序的下载状态,该下载状态包括正常状态normal_status和异常状态spec_status;例如,有效的请求范围为0-4,294,967,295,4,294,967,295为最大请求位置,若最后下载位置current_read_pos小于最大请求位置4,294,967,295,则将请求包参数Binlog位置设置值为最后下载位置current_read_pos,发送该下载请求后进入正常获取数据、写入本地文件的过程,并设置程序状态为正常状态normal_status。
若最后下载位置current_read_pos大于等于最大请求位置4,294,967,295,则从起始位置数组start_pos_list中选取最大的且小于最大请求位置4,294,967,295的有效起始位置start_pos_list[n],作为请求包中Binlog位置的值,发送下载请求;进一步,标记程序状态为异常状态spec_status,获取数据包,进行异常处理流程。
进一步来说,参见图3,为本实施例提供的另一具体的Binlog文件下载方法流程示意图;在本实施例中,S104中利用有效起始位置向服务端发送下载请求,以继续下载Binlog文件中的Binlog事件,具体包括:
S21、利用所述有效起始位置向所述服务端发送下载请求;
S22、接收所述服务端根据所述下载请求发送的Binlog事件的数据包;
S23、判断客户端的下载状态是否为异常状态;若是,则执行S24;若否,则执行S29;
S24、判断接收的目标数据包是否为所述客户端已下载的数据包;若是,则执行S25;若否,则执行S26;
S25、丢弃所述目标数据包,并继续执行S24;
S26、判断所述目标数据包中是否存在已写入所述客户端的部分数据;若存在,则执行S27;若不存在,则执行S28;
S27、丢弃所述部分数据,将所述目标数据包中除所述部分数据之外的其他数据写入本地文件,并将下载状态设置为正常状态,继续执行S23;
S28、将所述目标数据包写入本地文件,并将下载状态设置为正常状态,继续执行S23;
S29、直接将接收的数据包写入本地文件。
具体的,本方案中的异常处理流程为:
a.若程序处于异常状态spec_status,判断该数据包是否已写入本地文件;
a)若已存在,则丢弃该数据包;
b)若数据包前面部分字节写入文件,则丢弃已写入部分字节,将未写入部分字节写入文件,重置程序处理状态为normal_status;
c)若数据包未写入文件,则写入,重置程序处理状态为normal_status;
b.若程序处于normal_status,写入本地文件。
在此,假设已知服务端中待下载的Binlog文件为mysql-bin.000003,当前读到的Binlog事件在Binlog文件中的位置为current_read_pos,该当前读到的位置即为本方案中的最后下载位置。
以最后下载位置小于最大请求位置4,294,967,295为例,例如:最后下载位置current_read_pos等于100,000,000,连接中断后,程序P重新发送请求包,Binlog位置值为100,000,000,建立网络流后,读取每一个数据包中的有效数据载荷并写入本地文件。
以最后下载位置大于等于最大请求位置4,294,967,295为例,例如:最后下载位置current_read_pos等于5,000,000,000,从已写入的Binlog事件的起始位置数组中选取一个最大且小于4,294,967,295的值,如4,294,000,000,作为请求包中Binlog位置的值。发送请求包后,建立网络流,并进入读取数据包处理逻辑。之后依次读到数据包packet1、packet2、packet3……其事件在Binlog文件中的结束位置分别为:4,794,999,000、5,094,000,000、5,100,000,000……,可以看出:
1.数据包packet1的结束位置小于最后下载位置,则说明该数据包已经写入本地文件,则丢弃;
2.数据包packet2共有2000字节,前1000字节已写入文件,丢弃已写入的前1000字节,后面1000字节继续写入本地文件,并标记程序为正常状态,后续进入正常处理状态;
3.数据包packet3写入文件;
4.……
下载其他Binlog文件的过程类似,在此不再赘述。
综上可以看出,本方案针对超过4,294,967,295字节的MySQL Binlog文件,提供了一种具备程序健壮性的、支持断点续传的下载方式,即:通过跟踪已读Binlog事件在Binlog文件中的结束位置,可以实现增量式的、断点续传的Binlog文件下载;并通过结束位置的回溯、重新读取Binlog事件、衔接文件位置等处理,实现超过大小限制的Binlog文件的增量下载,以方便MySQL Binlog日志文件的实时备份、分析。
下面对本发明实施例提供的文件下载装置进行介绍,下文描述的文件下载装置与上文描述的文件下载方法可以相互参照。
参见图4,本发明实施例提供的一种MySQL的Binlog文件下载装置,包括:
最后下载位置确定模块100,用于确定客户端下载Binlog文件的最后下载位置;其中,所述最后下载位置为下载中断前的最后下载位置;
判断模块200,用于判断所述最后下载位置是否小于最大请求位置;
有效起始位置查找模块300,用于在所述最后下载位置不小于最大请求位置时,从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的有效起始位置;
第一下载请求发送模块400,用于利用所述有效起始位置向所述服务端发送下载请求,以继续下载Binlog文件中的Binlog事件。
其中,本方案还包括:
第二下载请求发送模块,用于利用所述最后下载位置向所述服务端发送下载请求;
数据包写入模块,用于接收所述服务端根据所述下载请求发送的Binlog事件的数据包,并直接写入本地文件。
其中,有效起始位置查找模块,具体用于:从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的初始起始位置,并将位置最大的初始起始位置作为有效起始位置。
其中,第一下载请求发送模块包括:
第一请求发送单元,用于利用所述有效起始位置向所述服务端发送下载请求;
第一数据包接收单元,用于接收所述服务端根据所述下载请求发送的Binlog事件的数据包;
第一判断单元,用于判断接收的目标数据包是否为所述客户端已下载的数据包;
第一数据包处理单元,用于目标数据包为客户端已下载的数据包时,丢弃所述目标数据包,并将接收的下一个Binlog事件的数据包作为目标数据包,并触发第一判断单元;
第二判断单元,用于目标数据包不为客户端已下载的数据包时,判断所述目标数据包中是否存在已写入所述客户端的部分数据;
第二数据包处理单元,用于在目标数据包中存在已写入所述客户端的部分数据时,丢弃所述部分数据,将所述目标数据包中除所述部分数据之外的其他数据写入本地文件,并将后续接收的数据包直接写入本地文件;
第三数据包处理单元,用于在目标数据包中不存在已写入所述客户端的部分数据时,将所述目标数据包写入本地文件,并将后续接收的数据包直接写入本地文件。
其中,本方案还包括下载状态设置,用于在所述最后下载位置小于最大请求位置时,将下载状态设置为正常状态;在所述最后下载位置不小于最大请求位置时,则将下载状态设置为异常状态。
其中,第一下载请求发送模块包括:
第二请求发送单元,用于利用所述有效起始位置向所述服务端发送下载请求;
第二数据包接收单元,用于接收所述服务端根据所述下载请求发送的Binlog事件的数据包;
第三判断单元,用于判断客户端的下载状态是否为异常状态;
第四判断单元,用于在下载状态为异常状态时,判断接收的目标数据包是否为所述客户端已下载的数据包;
第四数据包处理单元,用于在目标数据包为客户端已下载的数据包时,丢弃所述目标数据包,并触发第四判断单元;
第四判断单元,用于在目标数据包不为客户端已下载的数据包时,判断所述目标数据包中是否存在已写入所述客户端的部分数据;
第五数据包处理单元,用于在目标数据包中存在已写入客户端的部分数据时,丢弃所述部分数据,将所述目标数据包中除所述部分数据之外的其他数据写入本地文件,并将下载状态设置为正常状态,并触发第三判断单元;
第六数据包处理单元,用于在目标数据包中不存在已写入客户端的部分数据时,将所述目标数据包写入本地文件,并将下载状态设置为正常状态,并触发第三判断单元;
第七数据包处理单元,用于在下载状态不为异常状态时,直接将接收的数据包写入本地文件。
本发明实施例还提供了一种MySQL的Binlog文件下载设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述任意方法实施例中所述的文件下载方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任意方法实施例中所述的文件下载方法的步骤。
其中,该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种MySQL的Binlog文件下载方法,其特征在于,包括:
确定客户端下载Binlog文件的最后下载位置;其中,所述最后下载位置为下载中断前的最后下载位置;
判断所述最后下载位置是否小于最大请求位置;
若否,则从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的有效起始位置;所述有效起始位置为:下载请求可以指定的Binlog事件的起始位置;
利用所述有效起始位置向服务端发送下载请求,以继续下载Binlog文件中的Binlog事件。
2.根据权利要求1所述的Binlog文件下载方法,其特征在于,所述从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的有效起始位置,包括:
从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的初始起始位置,并将位置最大的初始起始位置作为有效起始位置。
3.根据权利要求1所述的Binlog文件下载方法,其特征在于,若所述最后下载位置小于最大请求位置,则所述Binlog文件下载方法还包括:
利用所述最后下载位置向所述服务端发送下载请求;
接收所述服务端根据所述下载请求发送的Binlog事件的数据包,并直接写入本地文件。
4.根据权利要求3所述的Binlog文件下载方法,其特征在于,利用所述有效起始位置向所述服务端发送下载请求,以继续下载Binlog文件中的Binlog事件,包括:
S11、利用所述有效起始位置向所述服务端发送下载请求;
S12、接收所述服务端根据所述下载请求发送的Binlog事件的数据包;
S13、判断接收的目标数据包是否为所述客户端已下载的数据包;若是,则执行S14;若否,则执行S15;
S14、丢弃所述目标数据包,并将接收的下一个Binlog事件的数据包作为目标数据包,继续执行S13;
S15、判断所述目标数据包中是否存在已写入所述客户端的部分数据;若存在,则执行S16;若不存在,则执行S17;
S16、丢弃所述部分数据,将所述目标数据包中除所述部分数据之外的其他数据写入本地文件,并将后续接收的数据包直接写入本地文件;
S17、将所述目标数据包写入本地文件,并将后续接收的数据包直接写入本地文件。
5.根据权利要求1至4中任意一项所述的Binlog文件下载方法,其特征在于,所述判断所述最后下载位置是否小于最大请求位置之后,还包括:
若所述最后下载位置小于最大请求位置,则将下载状态设置为正常状态;若所述最后下载位置不小于最大请求位置,则将下载状态设置为异常状态。
6.根据权利要求5所述的Binlog文件下载方法,其特征在于,利用所述有效起始位置向所述服务端发送下载请求,以继续下载Binlog文件中的Binlog事件,包括:
S21、利用所述有效起始位置向所述服务端发送下载请求;
S22、接收所述服务端根据所述下载请求发送的Binlog事件的数据包;
S23、判断客户端的下载状态是否为异常状态;若是,则执行S24;若否,则执行S29;
S24、判断接收的目标数据包是否为所述客户端已下载的数据包;若是,则执行S25;若否,则执行S26;
S25、丢弃所述目标数据包,并继续执行S24;
S26、判断所述目标数据包中是否存在已写入所述客户端的部分数据;若存在,则执行S27;若不存在,则执行S28;
S27、丢弃所述部分数据,将所述目标数据包中除所述部分数据之外的其他数据写入本地文件,并将下载状态设置为正常状态,继续执行S23;
S28、将所述目标数据包写入本地文件,并将下载状态设置为正常状态,继续执行S23;
S29、直接将接收的数据包写入本地文件。
7.一种MySQL的Binlog文件下载装置,其特征在于,包括:
最后下载位置确定模块,用于确定客户端下载Binlog文件的最后下载位置;其中,所述最后下载位置为下载中断前的最后下载位置;
判断模块,用于判断所述最后下载位置是否小于最大请求位置;
有效起始位置查找模块,用于在所述最后下载位置不小于最大请求位置时,从已下载的每个Binlog事件的起始位置中,查找小于所述最大请求位置的有效起始位置;所述有效起始位置为:下载请求可以指定的Binlog事件的起始位置;
第一下载请求发送模块,用于利用所述有效起始位置向服务端发送下载请求,以继续下载Binlog文件中的Binlog事件。
8.根据权利要求7所述的Binlog文件下载装置,其特征在于,还包括:
第二下载请求发送模块,用于利用所述最后下载位置向所述服务端发送下载请求;
数据包写入模块,用于接收所述服务端根据所述下载请求发送的Binlog事件的数据包,并直接写入本地文件。
9.一种MySQL的Binlog文件下载设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述文件下载方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述文件下载方法的步骤。
CN201811242987.2A 2018-10-24 2018-10-24 Binlog文件下载方法、装置、设备及可读存储介质 Active CN109361748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811242987.2A CN109361748B (zh) 2018-10-24 2018-10-24 Binlog文件下载方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811242987.2A CN109361748B (zh) 2018-10-24 2018-10-24 Binlog文件下载方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109361748A CN109361748A (zh) 2019-02-19
CN109361748B true CN109361748B (zh) 2021-04-20

Family

ID=65346511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811242987.2A Active CN109361748B (zh) 2018-10-24 2018-10-24 Binlog文件下载方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109361748B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902716A (zh) * 2012-08-27 2013-01-30 苏州两江科技有限公司 基于Hadoop分布式计算平台的存储系统
WO2013166089A1 (en) * 2012-05-01 2013-11-07 Thomson Licensing System and method for content download
CN103812882A (zh) * 2012-11-06 2014-05-21 腾讯科技(深圳)有限公司 一种文件传输的方法及系统
CN104754012A (zh) * 2013-12-31 2015-07-01 北京新媒传信科技有限公司 一种数据传输方法和数据传输系统
CN108052623A (zh) * 2017-12-16 2018-05-18 沈阳明曦科技有限公司 MySQL主从数据库的同步方法及同步系统
CN108183957A (zh) * 2017-12-29 2018-06-19 北京奇虎科技有限公司 主从同步方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8914534B2 (en) * 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
CN104166567A (zh) * 2014-08-12 2014-11-26 广州金山网络科技有限公司 一种下载网络流数据的方法及装置
US10735493B2 (en) * 2015-11-23 2020-08-04 International Business Machines Corporation System, method and program product for managing mobile device operation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013166089A1 (en) * 2012-05-01 2013-11-07 Thomson Licensing System and method for content download
CN102902716A (zh) * 2012-08-27 2013-01-30 苏州两江科技有限公司 基于Hadoop分布式计算平台的存储系统
CN103812882A (zh) * 2012-11-06 2014-05-21 腾讯科技(深圳)有限公司 一种文件传输的方法及系统
CN104754012A (zh) * 2013-12-31 2015-07-01 北京新媒传信科技有限公司 一种数据传输方法和数据传输系统
CN108052623A (zh) * 2017-12-16 2018-05-18 沈阳明曦科技有限公司 MySQL主从数据库的同步方法及同步系统
CN108183957A (zh) * 2017-12-29 2018-06-19 北京奇虎科技有限公司 主从同步方法及装置

Also Published As

Publication number Publication date
CN109361748A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
CN104951474B (zh) 一种用于获取MySQL binlog增量日志的方法和装置
US20140297604A1 (en) Techniques for reconciling metadata and data in a cloud storage system without service interruption
CN110247985B (zh) 一种资源下载方法、装置、电子设备及介质
US11032584B2 (en) Picture storage method, apparatus and video monitoring system
CN110633168A (zh) 一种分布式存储系统的数据备份方法和系统
CN111064954A (zh) 一种可供旁路视频播放质量评价使用的方法和装置
CN111600945B (zh) 一种基于块传输的ftp服务器断点下载方法及装置
CN109669795A (zh) 崩溃信息处理方法及装置
CN113407376B (zh) 一种数据恢复方法、装置及电子设备
CN111212301B (zh) 一种视频码率的匹配方法、存储介质及终端设备
CN112822256A (zh) 一种行情文件转数据流传输的方法及装置
CN102255866A (zh) 一种数据下载方法及装置
CN112748877A (zh) 一种文件的整合上传方法及装置、文件的下载方法及装置
CN113301162B (zh) 一种可在高延迟场景下快速下载大量小文件的传输方法
CN109361748B (zh) Binlog文件下载方法、装置、设备及可读存储介质
CN113704359A (zh) 一种时序数据库多数据副本的同步方法、系统以及服务器
CN108121514B (zh) 元信息更新方法、装置、计算设备及计算机存储介质
CN116132625A (zh) 交易流程的监管方法和装置
CN109756708B (zh) 音视频数据的续传方法及装置
CN110430279B (zh) 文件下载控制方法及装置
CN113672248A (zh) 一种补丁获取方法、装置、服务端及存储介质
CN113127261A (zh) 文件处理方法、装置、设备及存储介质
CN110377584A (zh) 一种基于元数据的数据结构版本兼容的存取方法及装置
US10853245B2 (en) Efficient data unit reuse method and system
CN112040248B (zh) 视频压缩方法、系统、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant