CN105260486A - 一种数据处理方法、装置及系统 - Google Patents
一种数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN105260486A CN105260486A CN201510820832.2A CN201510820832A CN105260486A CN 105260486 A CN105260486 A CN 105260486A CN 201510820832 A CN201510820832 A CN 201510820832A CN 105260486 A CN105260486 A CN 105260486A
- Authority
- CN
- China
- Prior art keywords
- data
- binarylog
- action type
- order data
- master server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种数据处理方法、装置及系统,方法包括:获取MySQL数据库主服务器的操作日志binary?log,该binary?log记录了MySQL数据库主服务器的所有操作命令,进一步对binary?log进行解析,得到多种操作类型的命令数据,然后将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。由于本申请仅需要从主服务器中获取操作日志,因此不会影响主服务器的性能。
Description
技术领域
本申请涉及数据处理技术领域,更具体地说,涉及一种数据处理方法、装置及系统。
背景技术
在数据库领域,随着数据量的增长,数据的迁移、同步等问题也随之而来。
现有的数据库数据同步方法主要是基于mysqltrigger机制的方式触发增量变更,也即预先在mysql数据库中编写脚本,在监控到有数据变更时通过trigger机制触发数据的增加、删除或修改。这种方式存在以下缺点:trigger触发的数据增减等操作需要由mysql数据库执行,占用了mysql数据库的CPU空间,因此降低了mysql数据库的性能。
发明内容
有鉴于此,本申请提供了一种数据处理方法、装置及系统,用于解决现有数据库的trigger触发机制降低了数据库性能的问题。
为了实现上述目的,现提出的方案如下:
一种数据处理方法,应用于从属服务器,该方法包括:
获取MySQL数据库主服务器的操作日志binarylog,所述binarylog记录了MySQL数据库主服务器的所有操作命令;
对所述binarylog进行解析,得到多种操作类型的命令数据;
将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。
优选地,所述获取MySQL数据库主服务器的操作日志binarylog,包括:
按照预定周期向MySQL数据库主服务器发送dump请求,以触发MySQL数据库主服务器反馈操作日志binarylog。
优选地,所述获取MySQL数据库主服务器的操作日志binarylog,包括:
对所述MySQL数据库主服务器进行监听,在监听到MySQL数据库主服务器的操作日志binarylog发生变化时,获取变化后的操作日志binarylog。
优选地,所述对所述binarylog进行解析,得到多种操作类型的命令数据,包括:
对所述binarylog进行解析,得到插入类型的命令数据、更新类型的命令数据、删除类型的命令数据和查询类型的命令数据。
一种数据处理方法,应用于客户端,该方法包括:
接收终端发送的数据请求,所述数据请求携带有目标数据的操作类型;
查询本地消息队列,调取与所述操作类型对应的命令数据,所述本地消息队列中存储有从属服务器发送的多种操作类型的命令数据;
将调取的命令数据发送至所述终端,以供终端利用所述命令数据完成相应的数据操作,所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。
一种数据处理装置,应用于从属服务器,该装置包括:
日志获取单元,用于获取MySQL数据库主服务器的操作日志binarylog,所述binarylog记录了MySQL数据库主服务器的所有操作命令;
日志解析单元,用于对所述binarylog进行解析,得到多种操作类型的命令数据;
数据存储单元,用于将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。
优选地,所述日志获取单元包括:
第一日志获取子单元,用于按照预定周期向MySQL数据库主服务器发送dump请求,以触发MySQL数据库主服务器反馈操作日志binarylog。
优选地,所述日志获取单元包括:
第二日志获取子单元,用于对所述MySQL数据库主服务器进行监听,在监听到MySQL数据库主服务器的操作日志binarylog发生变化时,获取变化后的操作日志binarylog。
一种数据处理装置,应用于客户端,该装置包括:
请求接收单元,用于接收终端发送的数据请求,所述数据请求携带有目标数据的操作类型;
数据查询单元,用于查询本地消息队列,调取与所述操作类型对应的命令数据,所述本地消息队列中存储有从属服务器发送的多种操作类型的命令数据;
数据发送单元,用于将调取的命令数据发送至所述终端,以供终端利用所述命令数据完成相应的数据操作,所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。
一种数据处理系统,包括:MySQL数据库主服务器、从属服务器和客户端,其中,
所述从属服务器用于,获取MySQL数据库主服务器的操作日志binarylog,所述binarylog记录了MySQL数据库主服务器的所有操作命令;对所述binarylog进行解析,得到多种操作类型的命令数据;将得到的多种操作类型的命令数据存储到客户端本地的消息队列中;
所述客户端用于,接收终端发送的数据请求,所述数据请求携带有目标数据的操作类型;查询本地消息队列,调取与所述操作类型对应的命令数据;将调取的命令数据发送至所述终端,以供终端利用所述命令数据完成相应的数据操作,所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。
从上述的技术方案可以看出,本申请实施例提供应用于从属服务器的数据处理方法,获取MySQL数据库主服务器的操作日志binarylog,该binarylog记录了MySQL数据库主服务器的所有操作命令,进一步对binarylog进行解析,得到多种操作类型的命令数据,然后将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。由于本申请仅需要从主服务器中获取操作日志,因此不会影响主服务器的性能。
进一步,本申请使用客户端保存多种操作类型的命令数据,可以供终端进行多元化的数据消费,例如终端获取某种操作类型的命令数据以实现数据同步、备份等各种业务。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种数据处理系统结构示意图;
图2为本申请实施例在从属服务器一侧公开的一种数据处理方法流程图;
图3为本申请实施例在从属服务器一侧公开的另一种数据处理方法流程图;
图4为本申请实施例在从属服务器一侧公开的又一种数据处理方法流程图;
图5为本申请实施例在客户端侧公开的一种数据处理方法流程图;
图6为本申请实施例在从属服务器侧公开的一种数据处理装置结构示意图;
图7为本申请实施例公开的一种日志获取单元结构示意图;
图8为本申请实施例公开的另一种日志获取单元结构示意图;
图9为本申请实施例在客户端侧公开的一种数据处理装置结构示意图。
具体实施方式
在介绍本申请方案之前,首先对本申请中将会使用到的名词进行解释。
MySQL:是一个关系型数据库管理系统。在WEB应用方面MySQL是最好的关系数据库管理系统应用软件之一。MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。
binarylog:binarylog是Mysql的操作日志,Mysql的操作命令都会记录进去,包括update/delete等。起作用是恢复数据库,因为binary日志包含了数据库的操作命令,如果之前有备份数据库,再查看binary日志,即可知道是哪条命令导致数据库的数据损失,从而得以恢复。
dump请求:dump请求是mysql中一个数据库操作命令,通过命令发送dump请求可以获取数据库的操作日志。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供了一种数据处理系统,参见图1,图1为本申请实施例公开的一种数据处理系统结构示意图。
如图1所示,该系统包括:
MySQL数据库主服务器11、从属服务器12和客户端13,其中,
所述从属服务器12用于,获取MySQL数据库主服务器11的操作日志binarylog,所述binarylog记录了MySQL数据库主服务器的所有操作命令;对所述binarylog进行解析,得到多种操作类型的命令数据;将得到的多种操作类型的命令数据存储到客户端本地的消息队列中;
所述客户端13用于,接收终端发送的数据请求,所述数据请求携带有目标数据的操作类型;查询本地消息队列,调取与所述操作类型对应的命令数据;将调取的命令数据发送至所述终端,以供终端利用所述命令数据完成相应的数据操作,所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。
本实施例中,MySQL数据库主服务器中数据产生变化后,其操作日志也随之发生变化,操作日志中记录了主服务器的所有操作命令,例如数据增加、删除、修改等。从属服务器获取主服务器的操作日志后对其进行解析,将操作日志按照操作类型划分为多种类型的命令数据,保存在客户端本地的消息队列中。后续终端通过访问客户端可以获取指定操作类型的命令数据,利用命令数据实现多元化的业务操作,如数据同步备份等。
接下来,本申请在从属服务器和客户端的角度对本申请方案进行详细介绍。
首先,参见图2,图2为本申请实施例在从属服务器一侧公开的一种数据处理方法流程图。
如图2所示,该方法包括:
步骤S200、获取MySQL数据库主服务器的操作日志binarylog;
具体地,操作日志binarylog记录了MySQL数据库主服务器的所有操作命令,例如数据更新、删除、增加等等。
步骤S210、对所述binarylog进行解析,得到多种操作类型的命令数据;
操作日志binarylog中记录的数据的格式属于文本格式,其不符合从属服务器的格式要求,因此通过对操作日志进行解析,将其格式解析为从属服务器可以识别的格式。同时,由于操作日志中记录了主服务器的各种操作类型的命令数据,解析的过程按照操作类型将命令数据进行了划分,解析后得到多种操作类型的命令数据。
步骤S220、将得到的多种操作类型的命令数据存储到客户端中。
从属服务器将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。
本申请实施例提供应用于从属服务器的数据处理方法,获取MySQL数据库主服务器的操作日志binarylog,该binarylog记录了MySQL数据库主服务器的所有操作命令,进一步对binarylog进行解析,得到多种操作类型的命令数据,然后将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。由于本申请仅需要从主服务器中获取操作日志,因此不会影响主服务器的性能。
进一步,本申请使用客户端保存多种操作类型的命令数据,可以供终端进行多元化的数据消费,例如终端获取某种操作类型的命令数据以实现数据同步、备份等各种业务。
可选的,上述对操作日志binarylog进行解析时,可以得到多种操作类型的命令数据,例如插入类型的命令数据、更新类型的命令数据、删除类型的命令数据和查询类型的命令数据等。
上述不同操作类型的命令数据可以供不同的业务使用,例如,终端可以获取插入类型的命令数据、更新类型的命令数据和删除类型的命令数据,利用这些类型的命令数据实现数据挖掘、重建索引、同步备份等数据处理业务。终端还可以获取包括插入类型的命令数据、更新类型的命令数据、删除类型的命令数据和查询类型的命令数据的全类型的命令数据,以实现对这些命令数据的审计操作。
进一步,参见图3,图3为本申请实施例在从属服务器一侧公开的另一种数据处理方法流程图。
如图3所示,该方法包括:
步骤S300、按照预定周期向MySQL数据库主服务器发送dump请求,以触发MySQL数据库主服务器反馈操作日志binarylog;
具体地,从属服务器按照预定周期定时向主服务器发送dump请求。主服务器收到dump请求时会将操作日志反馈给从属服务器。
可以理解的是,从属服务器发送dump请求的方式并不限定为定期发送,其还可以是实时发送,或者在收到用户指令时才发送,等等多种策略。
操作日志binarylog记录了MySQL数据库主服务器的所有操作命令,例如数据更新、删除、增加等等。
步骤S310、对所述binarylog进行解析,得到多种操作类型的命令数据;
操作日志binarylog中记录的数据的格式属于文本格式,其不符合从属服务器的格式要求,因此通过对操作日志进行解析,将其格式解析为从属服务器可以识别的格式。同时,由于操作日志中记录了主服务器的各种操作类型的命令数据,解析的过程按照操作类型将命令数据进行了划分,解析后得到多种操作类型的命令数据。
步骤S320、将得到的多种操作类型的命令数据存储到客户端中。
从属服务器将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。
相比于上一实施例,本实施例中提供了一种从属服务器定期向主服务器发送dump请求,以获取主服务器操作日志的可选方式。
进一步,参见图4,图4为本申请实施例在从属服务器一侧公开的又一种数据处理方法流程图。
如图4所示,该方法包括:
步骤S400、对所述MySQL数据库主服务器进行监听,在监听到MySQL数据库主服务器的操作日志binarylog发生变化时,获取变化后的操作日志binarylog;
具体地,从属服务器可以在主服务器中设置监听线程,用于监听主服务器操作日志。在监听到主服务器的操作日志发生变化时,自动获取变化后的操作日志。
操作日志binarylog记录了MySQL数据库主服务器的所有操作命令,例如数据更新、删除、增加等等。
步骤S410、对所述binarylog进行解析,得到多种操作类型的命令数据;
操作日志binarylog中记录的数据的格式属于文本格式,其不符合从属服务器的格式要求,因此通过对操作日志进行解析,将其格式解析为从属服务器可以识别的格式。同时,由于操作日志中记录了主服务器的各种操作类型的命令数据,解析的过程按照操作类型将命令数据进行了划分,解析后得到多种操作类型的命令数据。
步骤S420、将得到的多种操作类型的命令数据存储到客户端中。
从属服务器将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。
本实施例中介绍了另外一种获取主服务器操作日志的可选方式,即通过监听主服务器的操作日志,在确定操作日志发生变化时自动获取变化后的操作日志。
在本申请的又一个实施例中,在客户端侧公开了上述数据处理过程。参见图5,图5为本申请实施例在客户端侧公开的一种数据处理方法流程图。
如图5所示,该方法包括:
步骤S500、接收终端发送的数据请求,所述数据请求携带有目标数据的操作类型;
具体地,这里的终端可以是一台或者多台,终端可以是主服务器的备份服务器等,其在对本地数据进行某些操作,如同步更新等需要用到客户端中存储的对主服务器操作日志解析后的多种操作类型的命令数据。此时,终端可以向客户端发送数据请求,并在数据请求中指明所要目标数据的操作类型,例如插入类型、更新类型等。
步骤S510、查询本地消息队列,调取与所述操作类型对应的命令数据;
具体地,客户端本地消息队列中存储有从属服务器发送的多种操作类型的命令数据。客户端在收到终端发送的数据请求时,查询本地消息队列,从中调取与终端请求的操作类型对应的命令数据。
步骤S520、将调取的命令数据发送至所述终端。
通过将命令数据发送给终端,以供终端利用所述命令数据完成相应的数据操作,所述数据操作可以包括数据的同步备份、数据的索引重建和/或数据的审计等。
本申请实施例提供应用于客户端的数据处理方法,客户端在收到终端发送的数据请求时,在本地消息队列中查询请求的操作类型的命令数据,并将查询到的命令数据发送给终端,以使终端完成相应的数据操作。本申请客户端本地消息队列中存储有,从属服务器对获取的主服务器操作日志进行解析后得到的多种操作类型的命令数据,因此终端在请求某种操作类型的命令数据时可以直接从客户端中获取,无需向主服务器发起请求,更不会占用主服务器的处理空间,因此不会影响主服务器的性能。
进一步,本申请使用客户端保存多种操作类型的命令数据,可以供终端进行多元化的数据消费,例如终端获取某种操作类型的命令数据以实现数据同步、备份等各种业务。
下面对本申请实施例提供的数据处理装置进行描述,下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照。
参见图6,图6为本申请实施例在从属服务器侧公开的一种数据处理装置结构示意图。
如图6所示,该装置包括:
日志获取单元61,用于获取MySQL数据库主服务器的操作日志binarylog,所述binarylog记录了MySQL数据库主服务器的所有操作命令;
日志解析单元62,用于对所述binarylog进行解析,得到多种操作类型的命令数据;
数据存储单元63,用于将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。
本申请实施例提供应用于从属服务器的数据处理装置,获取MySQL数据库主服务器的操作日志binarylog,该binarylog记录了MySQL数据库主服务器的所有操作命令,进一步对binarylog进行解析,得到多种操作类型的命令数据,然后将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。由于本申请仅需要从主服务器中获取操作日志,因此不会影响主服务器的性能。
进一步,本申请使用客户端保存多种操作类型的命令数据,可以供终端进行多元化的数据消费,例如终端获取某种操作类型的命令数据以实现数据同步、备份等各种业务。
可选的,图7示例了上述日志获取单元的一种可选结构,如图7所示,日志获取单元61可以包括:
第一日志获取子单元611,用于按照预定周期向MySQL数据库主服务器发送dump请求,以触发MySQL数据库主服务器反馈操作日志binarylog。
可选的,图8示例了上述日志获取单元的另一种可选结构,如图8所示,日志获取单元61可以包括:
第二日志获取子单元612,用于对所述MySQL数据库主服务器进行监听,在监听到MySQL数据库主服务器的操作日志binarylog发生变化时,获取变化后的操作日志binarylog。
参见图9,图9为本申请实施例在客户端侧公开的一种数据处理装置结构示意图。
如图9所示,该装置包括:
请求接收单元91,用于接收终端发送的数据请求,所述数据请求携带有目标数据的操作类型;
数据查询单元92,用于查询本地消息队列,调取与所述操作类型对应的命令数据,所述本地消息队列中存储有从属服务器发送的多种操作类型的命令数据;
数据发送单元93,用于将调取的命令数据发送至所述终端,以供终端利用所述命令数据完成相应的数据操作,所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。
本申请实施例提供应用于客户端的数据处理装置,在收到终端发送的数据请求时,在本地消息队列中查询请求的操作类型的命令数据,并将查询到的命令数据发送给终端,以使终端完成相应的数据操作。本申请装置在本地消息队列中存储有,从属服务器对获取的主服务器操作日志进行解析后得到的多种操作类型的命令数据,因此终端在请求某种操作类型的命令数据时可以直接从客户端中获取,无需向主服务器发起请求,更不会占用主服务器的处理空间,因此不会影响主服务器的性能。
进一步,本申请装置保存有多种操作类型的命令数据,可以供终端进行多元化的数据消费,例如终端获取某种操作类型的命令数据以实现数据同步、备份等各种业务。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据处理方法,其特征在于,应用于从属服务器,该方法包括:
获取MySQL数据库主服务器的操作日志binarylog,所述binarylog记录了MySQL数据库主服务器的所有操作命令;
对所述binarylog进行解析,得到多种操作类型的命令数据;
将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。
2.根据权利要求1所述的方法,其特征在于,所述获取MySQL数据库主服务器的操作日志binarylog,包括:
按照预定周期向MySQL数据库主服务器发送dump请求,以触发MySQL数据库主服务器反馈操作日志binarylog。
3.根据权利要求1所述的方法,其特征在于,所述获取MySQL数据库主服务器的操作日志binarylog,包括:
对所述MySQL数据库主服务器进行监听,在监听到MySQL数据库主服务器的操作日志binarylog发生变化时,获取变化后的操作日志binarylog。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述对所述binarylog进行解析,得到多种操作类型的命令数据,包括:
对所述binarylog进行解析,得到插入类型的命令数据、更新类型的命令数据、删除类型的命令数据和查询类型的命令数据。
5.一种数据处理方法,其特征在于,应用于客户端,该方法包括:
接收终端发送的数据请求,所述数据请求携带有目标数据的操作类型;
查询本地消息队列,调取与所述操作类型对应的命令数据,所述本地消息队列中存储有从属服务器发送的多种操作类型的命令数据;
将调取的命令数据发送至所述终端,以供终端利用所述命令数据完成相应的数据操作,所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。
6.一种数据处理装置,其特征在于,应用于从属服务器,该装置包括:
日志获取单元,用于获取MySQL数据库主服务器的操作日志binarylog,所述binarylog记录了MySQL数据库主服务器的所有操作命令;
日志解析单元,用于对所述binarylog进行解析,得到多种操作类型的命令数据;
数据存储单元,用于将得到的多种操作类型的命令数据存储到客户端中,以供客户端在收到终端发送的数据请求时,将所请求的操作类型的命令数据发送给终端,以使终端完成相应的数据操作。
7.根据权利要求6所述的装置,其特征在于,所述日志获取单元包括:
第一日志获取子单元,用于按照预定周期向MySQL数据库主服务器发送dump请求,以触发MySQL数据库主服务器反馈操作日志binarylog。
8.根据权利要求6所述的装置,其特征在于,所述日志获取单元包括:
第二日志获取子单元,用于对所述MySQL数据库主服务器进行监听,在监听到MySQL数据库主服务器的操作日志binarylog发生变化时,获取变化后的操作日志binarylog。
9.一种数据处理装置,其特征在于,应用于客户端,该装置包括:
请求接收单元,用于接收终端发送的数据请求,所述数据请求携带有目标数据的操作类型;
数据查询单元,用于查询本地消息队列,调取与所述操作类型对应的命令数据,所述本地消息队列中存储有从属服务器发送的多种操作类型的命令数据;
数据发送单元,用于将调取的命令数据发送至所述终端,以供终端利用所述命令数据完成相应的数据操作,所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。
10.一种数据处理系统,其特征在于,包括:MySQL数据库主服务器、从属服务器和客户端,其中,
所述从属服务器用于,获取MySQL数据库主服务器的操作日志binarylog,所述binarylog记录了MySQL数据库主服务器的所有操作命令;对所述binarylog进行解析,得到多种操作类型的命令数据;将得到的多种操作类型的命令数据存储到客户端本地的消息队列中;
所述客户端用于,接收终端发送的数据请求,所述数据请求携带有目标数据的操作类型;查询本地消息队列,调取与所述操作类型对应的命令数据;将调取的命令数据发送至所述终端,以供终端利用所述命令数据完成相应的数据操作,所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510820832.2A CN105260486A (zh) | 2015-11-23 | 2015-11-23 | 一种数据处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510820832.2A CN105260486A (zh) | 2015-11-23 | 2015-11-23 | 一种数据处理方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105260486A true CN105260486A (zh) | 2016-01-20 |
Family
ID=55100176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510820832.2A Pending CN105260486A (zh) | 2015-11-23 | 2015-11-23 | 一种数据处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105260486A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106960007A (zh) * | 2017-02-28 | 2017-07-18 | 北京京东尚科信息技术有限公司 | 一种数据更新方法、装置及电子设备 |
CN107153620A (zh) * | 2016-03-03 | 2017-09-12 | 青岛海信电器股份有限公司 | 一种数据处理方法及装置 |
CN107465694A (zh) * | 2017-09-19 | 2017-12-12 | 北京哈工大计算机网络与信息安全技术研究中心 | 基于消息队列的openstack租户操作行为审计方法及系统 |
CN109145060A (zh) * | 2018-07-20 | 2019-01-04 | 腾讯科技(深圳)有限公司 | 数据处理方法及装置 |
CN115378557A (zh) * | 2022-10-25 | 2022-11-22 | 成都星联芯通科技有限公司 | 热备实现方法、装置、系统、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101681383A (zh) * | 2007-05-21 | 2010-03-24 | Nhn株式会社 | 用于数据库管理系统的数据复制方法及系统 |
CN102081611A (zh) * | 2009-11-26 | 2011-06-01 | 中兴通讯股份有限公司 | 一种主、备网管系统数据库同步的实现方法及装置 |
CN103761318A (zh) * | 2014-01-27 | 2014-04-30 | 中国工商银行股份有限公司 | 一种关系型异构数据库数据同步的方法及系统 |
CN103793514A (zh) * | 2014-02-11 | 2014-05-14 | 华为技术有限公司 | 数据库同步方法及数据库 |
CN104021200A (zh) * | 2014-06-16 | 2014-09-03 | 北京京东尚科信息技术有限公司 | 一种数据库的数据同步方法和装置 |
CN104270424A (zh) * | 2014-09-17 | 2015-01-07 | 深圳创维数字技术有限公司 | 一种数据库同步方法、服务器及系统 |
CN104331435A (zh) * | 2014-10-22 | 2015-02-04 | 国家电网公司 | 一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法 |
CN104679841A (zh) * | 2015-02-11 | 2015-06-03 | 北京京东尚科信息技术有限公司 | 一种消费端数据流复制方法及系统 |
-
2015
- 2015-11-23 CN CN201510820832.2A patent/CN105260486A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101681383A (zh) * | 2007-05-21 | 2010-03-24 | Nhn株式会社 | 用于数据库管理系统的数据复制方法及系统 |
CN102081611A (zh) * | 2009-11-26 | 2011-06-01 | 中兴通讯股份有限公司 | 一种主、备网管系统数据库同步的实现方法及装置 |
CN103761318A (zh) * | 2014-01-27 | 2014-04-30 | 中国工商银行股份有限公司 | 一种关系型异构数据库数据同步的方法及系统 |
CN103793514A (zh) * | 2014-02-11 | 2014-05-14 | 华为技术有限公司 | 数据库同步方法及数据库 |
CN104021200A (zh) * | 2014-06-16 | 2014-09-03 | 北京京东尚科信息技术有限公司 | 一种数据库的数据同步方法和装置 |
CN104270424A (zh) * | 2014-09-17 | 2015-01-07 | 深圳创维数字技术有限公司 | 一种数据库同步方法、服务器及系统 |
CN104331435A (zh) * | 2014-10-22 | 2015-02-04 | 国家电网公司 | 一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法 |
CN104679841A (zh) * | 2015-02-11 | 2015-06-03 | 北京京东尚科信息技术有限公司 | 一种消费端数据流复制方法及系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107153620A (zh) * | 2016-03-03 | 2017-09-12 | 青岛海信电器股份有限公司 | 一种数据处理方法及装置 |
CN107153620B (zh) * | 2016-03-03 | 2021-02-02 | 海信视像科技股份有限公司 | 一种数据处理方法及装置 |
CN106960007A (zh) * | 2017-02-28 | 2017-07-18 | 北京京东尚科信息技术有限公司 | 一种数据更新方法、装置及电子设备 |
CN107465694A (zh) * | 2017-09-19 | 2017-12-12 | 北京哈工大计算机网络与信息安全技术研究中心 | 基于消息队列的openstack租户操作行为审计方法及系统 |
CN109145060A (zh) * | 2018-07-20 | 2019-01-04 | 腾讯科技(深圳)有限公司 | 数据处理方法及装置 |
CN109145060B (zh) * | 2018-07-20 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 数据处理方法及装置 |
CN115378557A (zh) * | 2022-10-25 | 2022-11-22 | 成都星联芯通科技有限公司 | 热备实现方法、装置、系统、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105260486A (zh) | 一种数据处理方法、装置及系统 | |
EP2062125B1 (en) | System and method for providing high availability data | |
CN108259562B (zh) | 一种基于多端点的数据同步方法及装置 | |
CN102291416A (zh) | 一种客户端与服务器端双向同步的方法及系统 | |
CN105243067A (zh) | 一种实现实时增量同步数据的方法及装置 | |
CN105468720A (zh) | 集成分布式数据处理系统的方法、相应系统及其数据处理方法 | |
CN104657430A (zh) | 一种数据采集的方法和系统 | |
US11074224B2 (en) | Partitioned data replication | |
CA2521552A1 (en) | Flashback database | |
CN105956123A (zh) | 基于局部更新软件的数据处理方法及装置 | |
CN105100050A (zh) | 用户权限管理方法及系统 | |
CN108205560B (zh) | 一种数据同步方法以及装置 | |
CN106528871A (zh) | 一种在线更新工业控制系统工程数据点信息的方法 | |
US11176111B2 (en) | Distributed database management system with dynamically split B-tree indexes | |
CN100378731C (zh) | 自动数据合并 | |
CN102779160B (zh) | 海量数据信息索引系统和索引构建方法 | |
CN105335186B (zh) | 数据下载管理方法及系统 | |
CN112286941A (zh) | 一种基于Binlog+HBase+Hive的大数据同步方法和装置 | |
CN109348499B (zh) | 压力测试系统及方法 | |
CN111767297B (zh) | 大数据处理方法、装置、设备及介质 | |
CN107491463B (zh) | 数据查询的优化方法和系统 | |
CN110740155B (zh) | 分布式系统中的请求处理方法及装置 | |
CN104092726A (zh) | 同名文件的自动替换方法及其装置 | |
KR101424568B1 (ko) | 트랜잭션 재시작 가능한 클라이언트 장치와 데이터베이스 서버 및 방법 | |
WO2007089264A3 (en) | Distributed database systems and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160120 |