CN112000737A - 基于多云管理的数据同步方法、系统、终端及存储介质 - Google Patents

基于多云管理的数据同步方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN112000737A
CN112000737A CN202010821223.XA CN202010821223A CN112000737A CN 112000737 A CN112000737 A CN 112000737A CN 202010821223 A CN202010821223 A CN 202010821223A CN 112000737 A CN112000737 A CN 112000737A
Authority
CN
China
Prior art keywords
log
cloud platform
incremental
incremental log
target cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010821223.XA
Other languages
English (en)
Other versions
CN112000737B (zh
Inventor
桑圣远
闫冬冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010821223.XA priority Critical patent/CN112000737B/zh
Publication of CN112000737A publication Critical patent/CN112000737A/zh
Application granted granted Critical
Publication of CN112000737B publication Critical patent/CN112000737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于多云管理的数据同步方法、系统、终端及存储介质，包括：利用数据库增量日志监控工具采集目标云平台的增量日志；利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。本发明避免了不断查询对端平台数据库时对数据库造成的负载过高的缺陷，提高了数据信息更新的实时性。

Description

基于多云管理的数据同步方法、系统、终端及存储介质
技术领域
本发明涉及多云管理技术领域，具体涉及一种基于大数据的发型推荐方法、系统、终端及存储介质。
背景技术
企业IT架构日益复杂化，多云战略已经是当下大多数上云企业的选择。2020年Flexera的云状态报告显示，93％的企业在IT架构上选择多云战略。这一多元的环境，使得对接多个云环境，为企业提供查询、迁移和管理的功能也就势在必行。为了方便客户，构建差异化竞争力，浪潮云计算基础平台(简称ICS)开发了多云管理的功能，在平台上可以加入多个云计算基础平台的站点。客户只需要选择云计算产品名称、输入管理地址、端口、版本、用户名、密码即可完成多云站点的加入，从而实现同时管理多个云平台。这里的管理模式是通过接口实现的单向管理，所以会存在以下痛点：对端平台升级后，版本信息无法自动更新；需要频繁加载对端平台主机、虚拟机等数据信息，无形中增加了对端平台的服务器及数据库的负载。
目前业内为了减少查询频率，会引入数据缓存机制，通常更新缓存数据依赖设定的定时任务，通过定时任务不断查询更新缓存数据，但这种方式如果查询频率过高，又会触发对端平台负载问题，如果查询频率过低，又可能会因为读取更新数据不及时而导致缓存中数据的准确性下降。
发明内容
针对现有技术的上述不足，本发明提供一种基于多云管理的数据同步方法、系统、终端及存储介质，以解决上述技术问题。
第一方面，本发明提供一种基于多云管理的数据同步方法，包括：
利用数据库增量日志监控工具采集目标云平台的增量日志；
利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；
创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。
进一步的，所述利用数据库增量日志监控工具采集目标云平台的增量日志，包括：
在目标云平台开启增量日志监控功能，若所述增量日志监控工具监控到目标云平台的数据库发生数据增加操作、数据删除操作、数据修改操作或数据查询操作，则采集目标云平台生成的与操作对应的增量日志。
进一步的，所述利用日志解析服务对所述增量日志进行解析并将解析后的增量日志发送至中间消息队列，包括：
在本地云平台部署日志解析服务的服务端和客户端；
所述服务端模拟目标云平台数据库的主从交互协议向目标云平台发送日志采集请求；
所述服务端将目标云平台推送的增量日志解析为可读消息体；
所述客户端从所述服务端获取所述可读消息体，并将所述可读消息体转换为对象简谱格式的增量日志；
所述客户端将所述对象简谱格式的增量日志发送至中间消息队列。
进一步的，所述若监控线程监控到消息队列存在更新的增量日志则将所述增量日志的更新内容同步至本地云平台缓存库，包括：
预先创建所述目标云平台的数据库表与本地云平台的缓存库表的映射关系；
将所述增量日志的更新内容同步至与所述增量日志所属表具有映射关系的缓存库表中。
第二方面，本发明提供一种基于多云管理的数据同步系统，包括：
日志采集单元，配置用于利用数据库增量日志监控工具采集目标云平台的增量日志；
日志解析单元，配置用于利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；
同步缓存单元，配置用于创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。
进一步的，所述日志采集单元包括：
日志采集模块，配置用于在目标云平台开启增量日志监控功能，若所述增量日志监控工具监控到目标云平台的数据库发生数据增加操作、数据删除操作、数据修改操作或数据查询操作，则采集目标云平台生成的与操作对应的增量日志。
进一步的，所述日志解析单元包括：
服务部署模块，配置用于在本地云平台部署日志解析服务的服务端和客户端；
日志采集模块，配置用于所述服务端模拟目标云平台数据库的主从交互协议向目标云平台发送日志采集请求；
日志解析模块，配置用于所述服务端将目标云平台推送的增量日志解析为可读消息体；
格式转换模块，配置用于所述客户端从所述服务端获取所述可读消息体，并将所述可读消息体转换为对象简谱格式的增量日志；
日志发送模块，配置用于所述客户端将所述对象简谱格式的增量日志发送至中间消息队列。
进一步的，所述同步缓存单元包括：
映射创建模块，配置用于预先创建所述目标云平台的数据库表与本地云平台的缓存库表的映射关系；
内容同步模块，配置用于将所述增量日志的更新内容同步至与所述增量日志所属表具有映射关系的缓存库表中。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明的有益效果在于，
本发明提供的基于多云管理的数据同步方法、系统、终端及存储介质，通过利用数据库增量日志监控工具准确的捕捉对端平台的数据变化，并及时的将最新数据同步到本地云平台平台中，避免了不断查询对端平台数据库时对数据库造成的负载过高的缺陷，提高了数据信息更新的实时性。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的系统的示意性框图。
图3为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种基于多云管理的数据同步系统。
如图1所示，该方法100包括：
步骤110，利用数据库增量日志监控工具采集目标云平台的增量日志；
步骤120，利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；
步骤130，创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。
为了便于对本发明的理解，下面以本发明基于多云管理的数据同步方法的原理，结合实施例中对数据进行同步缓存的过程，对本发明提供的基于多云管理的数据同步方法做进一步的描述。
具体的，所述基于多云管理的数据同步方法包括：
S1、在本地云平台部署日志解析服务的服务端(canal-server)和日志解析服务的客户端(canal-client)，并配置RabbitMQ消息队列(实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件))。具体配置方法如下：
在云计算基础平台上添加目标云平台的需要监控的数据库表，选择云计算产品名称、输入管理地址、端口、版本、用户名、密码完成多云站点的加入。
配置环境信息、规则，并启动服务：
在canal-server配置文件中配置mysql连接ip、端口、用户名、密码、需要同步的库名、过滤表名规则。此处过滤了版本表、主机信息表、虚拟机信息相关表，表示监听这几个数据库表变化。启动canal-server服务作为数据生产者角色。
在canal-client配置文件中配置canal-server服务端的IP及端口，配置rabbitmq作为队列传输，并配置rabbitmq的基本配置，信息包括ip、端口、用户名、密码。启动canal-client服务作为数据消费者角色。
Rabbitmq(中间消息队列)作为缓冲站，给每个canal-client提供独立的队列，增加容错度和动态扩展性。
设置目标云平台的数据库表与本地云平台的缓存库表的映射关系，如数据库表1对应缓存库表1，当数据库表1有更新时，在缓存库表1同步更新内容。
S2、利用数据库增量日志监控工具采集目标云平台的增量日志。
mysql开启binlog(增量日志监控功能)，binlog是Mysql sever层维护的一种二进制日志，与innodb引擎中的redo/undo log是完全不同的日志；其主要是用来记录对mysql数据更新或潜在发生更新的SQL语句，并以"事务"的形式保存在磁盘中。binlog_format配置为ROW模式，在mysql数据库发生增删改查时，binlog记录触发事件。
S3、利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列。
canal-server模拟mysql slave的交互协议(数据库主从交互协议)，伪装自己为mysql slave，向mysql master发送dump协议，mysql master收到dump请求，开始推送binlog给canal-server，canal-server解析byte流为可读的消息体。
canal-client将从canal-server获取的可读binlog数据消息体转换为json格式发送到RabbitMQ队列。其中描述的json格式结构体包括
eventType：操作类型(UPDATE/INSERT/DELETE)
db：涉及库
table:涉及表
before:变更前数据
after:变更后数据
time:操作时间
json样例：{"binlog":"ics-bin.000001","db":"ics","table":"t_sys_version","event Type":"UPDATE","before":{"id":"1","version":"V5R07A105-b1"},"after":{"id":"1","version":"V5R08A108-b1"},"time":"2020-07-14 12:12:30"}
S4、创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。
启动多个监控线程消费rabbitmq队列中消息，消息体为json格式的增量日志。当监控线程发现rabbitmq队列有新消息体时，源平台数据库的表名、字段名与本平台做映射解析，根据该消息体所属的源数据库表查找与该源数据库表具有映射关系的缓存库表，将消息体的更新内容同步更新至查找到的缓存库表。
如图2所示，该系统200包括：
日志采集单元210，配置用于利用数据库增量日志监控工具采集目标云平台的增量日志；
日志解析单元220，配置用于利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；
同步缓存单元230，配置用于创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。
可选地，作为本发明一个实施例，所述日志采集单元包括：
日志采集模块，配置用于在目标云平台开启增量日志监控功能，若所述增量日志监控工具监控到目标云平台的数据库发生数据增加操作、数据删除操作、数据修改操作或数据查询操作，则采集目标云平台生成的与操作对应的增量日志。
可选地，作为本发明一个实施例，所述日志解析单元包括：
服务部署模块，配置用于在本地云平台部署日志解析服务的服务端和客户端；
日志采集模块，配置用于所述服务端模拟目标云平台数据库的主从交互协议向目标云平台发送日志采集请求；
日志解析模块，配置用于所述服务端将目标云平台推送的增量日志解析为可读消息体；
格式转换模块，配置用于所述客户端从所述服务端获取所述可读消息体，并将所述可读消息体转换为对象简谱格式的增量日志；
日志发送模块，配置用于所述客户端将所述对象简谱格式的增量日志发送至中间消息队列。
可选地，作为本发明一个实施例，所述同步缓存单元包括：
映射创建模块，配置用于预先创建所述目标云平台的数据库表与本地云平台的缓存库表的映射关系；
内容同步模块，配置用于将所述增量日志的更新内容同步至与所述增量日志所属表具有映射关系的缓存库表中。
图3为本发明实施例提供的一种终端300的结构示意图，该终端300可以用于执行本发明实施例提供的基于多云管理的数据同步方法。
其中，该终端300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。
处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
因此，本发明通过利用数据库增量日志监控工具准确的捕捉对端平台的数据变化，并及时的将最新数据同步到本地云平台平台中，避免了不断查询对端平台数据库时对数据库造成的负载过高的缺陷，提高了数据信息更新的实时性，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于多云管理的数据同步方法，其特征在于，包括：
利用数据库增量日志监控工具采集目标云平台的增量日志；
利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；
创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。
2.根据权利要求1所述的方法，其特征在于，所述利用数据库增量日志监控工具采集目标云平台的增量日志，包括：
在目标云平台开启增量日志监控功能，若所述增量日志监控工具监控到目标云平台的数据库发生数据增加操作、数据删除操作、数据修改操作或数据查询操作，则采集目标云平台生成的与操作对应的增量日志。
3.根据权利要求1所述的方法，其特征在于，所述利用日志解析服务对所述增量日志进行解析并将解析后的增量日志发送至中间消息队列，包括：
在本地云平台部署日志解析服务的服务端和客户端；
所述服务端模拟目标云平台数据库的主从交互协议向目标云平台发送日志采集请求；
所述服务端将目标云平台推送的增量日志解析为可读消息体；
所述客户端从所述服务端获取所述可读消息体，并将所述可读消息体转换为对象简谱格式的增量日志；
所述客户端将所述对象简谱格式的增量日志发送至中间消息队列。
4.根据权利要求1所述的方法，其特征在于，所述若监控线程监控到消息队列存在更新的增量日志则将所述增量日志的更新内容同步至本地云平台缓存库，包括：
预先创建所述目标云平台的数据库表与本地云平台的缓存库表的映射关系；
将所述增量日志的更新内容同步至与所述增量日志所属表具有映射关系的缓存库表中。
5.一种基于多云管理的数据同步系统，其特征在于，包括：
日志采集单元，配置用于利用数据库增量日志监控工具采集目标云平台的增量日志；
日志解析单元，配置用于利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；
同步缓存单元，配置用于创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。
6.根据权利要求5所述的系统，其特征在于，所述日志采集单元包括：
日志采集模块，配置用于在目标云平台开启增量日志监控功能，若所述增量日志监控工具监控到目标云平台的数据库发生数据增加操作、数据删除操作、数据修改操作或数据查询操作，则采集目标云平台生成的与操作对应的增量日志。
7.根据权利要求5所述的系统，其特征在于，所述日志解析单元包括：
服务部署模块，配置用于在本地云平台部署日志解析服务的服务端和客户端；
日志采集模块，配置用于所述服务端模拟目标云平台数据库的主从交互协议向目标云平台发送日志采集请求；
日志解析模块，配置用于所述服务端将目标云平台推送的增量日志解析为可读消息体；
格式转换模块，配置用于所述客户端从所述服务端获取所述可读消息体，并将所述可读消息体转换为对象简谱格式的增量日志；
日志发送模块，配置用于所述客户端将所述对象简谱格式的增量日志发送至中间消息队列。
8.根据权利要求1所述的方法，其特征在于，所述同步缓存单元包括：
映射创建模块，配置用于预先创建所述目标云平台的数据库表与本地云平台的缓存库表的映射关系；
内容同步模块，配置用于将所述增量日志的更新内容同步至与所述增量日志所属表具有映射关系的缓存库表中。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN202010821223.XA 2020-08-14 2020-08-14 基于多云管理的数据同步方法、系统、终端及存储介质 Active CN112000737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010821223.XA CN112000737B (zh) 2020-08-14 2020-08-14 基于多云管理的数据同步方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010821223.XA CN112000737B (zh) 2020-08-14 2020-08-14 基于多云管理的数据同步方法、系统、终端及存储介质

Publications (2)

Publication Number Publication Date
CN112000737A true CN112000737A (zh) 2020-11-27
CN112000737B CN112000737B (zh) 2022-05-31

Family

ID=73473514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010821223.XA Active CN112000737B (zh) 2020-08-14 2020-08-14 基于多云管理的数据同步方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112000737B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256461A (zh) * 2020-12-08 2021-01-22 万邑通商(北京)信息科技有限公司 一种基于多云环境的分布式消息系统及管理方法
CN112507027A (zh) * 2020-12-16 2021-03-16 平安科技（深圳）有限公司 基于Kafka的增量数据同步方法、装置、设备及介质
CN112527903A (zh) * 2020-12-11 2021-03-19 北京首汽智行科技有限公司 一种基于canal平台的数据同步方法
CN112597151A (zh) * 2020-12-03 2021-04-02 长沙市到家悠享家政服务有限公司 数据处理方法、装置、设备和存储介质
CN112685431A (zh) * 2020-12-29 2021-04-20 京东数字科技控股股份有限公司 异步缓存方法、装置、系统、电子设备和存储介质
CN112783906A (zh) * 2020-12-30 2021-05-11 常州微亿智造科技有限公司 工业互联网的日志数据管理方法和系统
CN112783848A (zh) * 2021-01-20 2021-05-11 杭州数梦工场科技有限公司 一种数据同步方法、装置及电子设备
CN112905618A (zh) * 2021-04-06 2021-06-04 浙江网商银行股份有限公司 数据处理方法以及装置
CN112948378A (zh) * 2021-02-04 2021-06-11 上海中通吉网络技术有限公司 基于HBase的数据处理方法、装置和设备
CN113177093A (zh) * 2021-05-24 2021-07-27 商汤国际私人有限公司 数据同步方法及装置、电子设备和存储介质
CN113282598A (zh) * 2021-04-28 2021-08-20 青岛海尔科技有限公司 数据分析方法及装置、存储介质及电子装置
CN113434367A (zh) * 2021-06-30 2021-09-24 青岛海尔科技有限公司 数据监控方法及装置、存储介质、电子装置
CN113505175A (zh) * 2021-07-08 2021-10-15 浪潮云信息技术股份公司 一种基于消息队列实现MySQL增量数据同步的方法
CN113722401A (zh) * 2021-11-04 2021-11-30 树根互联股份有限公司 数据缓存方法、装置、计算机设备及可读存储介质
CN113760925A (zh) * 2020-11-30 2021-12-07 北京沃东天骏信息技术有限公司 一种数据处理方法和装置
CN113934744A (zh) * 2021-12-17 2022-01-14 南京云联数科科技有限公司 一种数据共享的方法及设备
CN114254016A (zh) * 2021-12-17 2022-03-29 北京金堤科技有限公司 基于弹性搜索的数据同步方法、装置、设备及存储介质
CN114328750A (zh) * 2021-12-31 2022-04-12 北京发现角科技有限公司 一种将业务数据同步ods层的方法及装置
CN114547199A (zh) * 2022-02-23 2022-05-27 阿维塔科技(重庆)有限公司 数据库增量同步响应方法、装置及计算机可读存储介质
CN115269531A (zh) * 2022-09-29 2022-11-01 杭州玳数科技有限公司 一种基于akka框架的云原生日志收集方法和系统
CN115392802A (zh) * 2022-10-28 2022-11-25 江苏智云天工科技有限公司 工业产品的缺陷检测方法、系统、介质及设备
CN117082117A (zh) * 2023-10-16 2023-11-17 企查查科技股份有限公司 用户会话服务系统、用户会话的分布式管理方法及装置
CN117909410A (zh) * 2023-12-29 2024-04-19 江苏大塔科技有限公司 一种基于快照的无锁全增量一体化数据同步方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120221715A1 (en) * 2011-02-28 2012-08-30 Yuuta Hamada Apparatus, system, and method of processing log data, and recording medium storing log data processing program
CN102937931A (zh) * 2012-09-25 2013-02-20 北京奇虎科技有限公司 一种日志数据传输的方法和系统
CN104699592A (zh) * 2012-09-25 2015-06-10 北京奇虎科技有限公司 一种日志数据传输的方法和系统
CN109753531A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种大数据统计方法、系统、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120221715A1 (en) * 2011-02-28 2012-08-30 Yuuta Hamada Apparatus, system, and method of processing log data, and recording medium storing log data processing program
CN102937931A (zh) * 2012-09-25 2013-02-20 北京奇虎科技有限公司 一种日志数据传输的方法和系统
CN104699592A (zh) * 2012-09-25 2015-06-10 北京奇虎科技有限公司 一种日志数据传输的方法和系统
CN109753531A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种大数据统计方法、系统、计算机设备及存储介质

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760925A (zh) * 2020-11-30 2021-12-07 北京沃东天骏信息技术有限公司 一种数据处理方法和装置
CN112597151A (zh) * 2020-12-03 2021-04-02 长沙市到家悠享家政服务有限公司 数据处理方法、装置、设备和存储介质
CN112256461A (zh) * 2020-12-08 2021-01-22 万邑通商(北京)信息科技有限公司 一种基于多云环境的分布式消息系统及管理方法
CN112527903A (zh) * 2020-12-11 2021-03-19 北京首汽智行科技有限公司 一种基于canal平台的数据同步方法
CN112507027A (zh) * 2020-12-16 2021-03-16 平安科技（深圳）有限公司 基于Kafka的增量数据同步方法、装置、设备及介质
WO2022126974A1 (zh) * 2020-12-16 2022-06-23 平安科技（深圳）有限公司 基于Kafka的增量数据同步方法、装置、设备及介质
CN112507027B (zh) * 2020-12-16 2024-04-16 平安科技（深圳）有限公司 基于Kafka的增量数据同步方法、装置、设备及介质
CN112685431B (zh) * 2020-12-29 2024-05-17 京东科技控股股份有限公司 异步缓存方法、装置、系统、电子设备和存储介质
CN112685431A (zh) * 2020-12-29 2021-04-20 京东数字科技控股股份有限公司 异步缓存方法、装置、系统、电子设备和存储介质
CN112783906A (zh) * 2020-12-30 2021-05-11 常州微亿智造科技有限公司 工业互联网的日志数据管理方法和系统
CN112783848A (zh) * 2021-01-20 2021-05-11 杭州数梦工场科技有限公司 一种数据同步方法、装置及电子设备
CN112783848B (zh) * 2021-01-20 2023-12-26 杭州数梦工场科技有限公司 一种数据同步方法、装置及电子设备
CN112948378A (zh) * 2021-02-04 2021-06-11 上海中通吉网络技术有限公司 基于HBase的数据处理方法、装置和设备
CN112905618A (zh) * 2021-04-06 2021-06-04 浙江网商银行股份有限公司 数据处理方法以及装置
CN113282598A (zh) * 2021-04-28 2021-08-20 青岛海尔科技有限公司 数据分析方法及装置、存储介质及电子装置
CN113177093B (zh) * 2021-05-24 2024-09-20 商汤国际私人有限公司 数据同步方法及装置、电子设备和存储介质
CN113177093A (zh) * 2021-05-24 2021-07-27 商汤国际私人有限公司 数据同步方法及装置、电子设备和存储介质
CN113434367A (zh) * 2021-06-30 2021-09-24 青岛海尔科技有限公司 数据监控方法及装置、存储介质、电子装置
CN113505175A (zh) * 2021-07-08 2021-10-15 浪潮云信息技术股份公司 一种基于消息队列实现MySQL增量数据同步的方法
CN113722401A (zh) * 2021-11-04 2021-11-30 树根互联股份有限公司 数据缓存方法、装置、计算机设备及可读存储介质
CN113934744A (zh) * 2021-12-17 2022-01-14 南京云联数科科技有限公司 一种数据共享的方法及设备
CN114254016A (zh) * 2021-12-17 2022-03-29 北京金堤科技有限公司 基于弹性搜索的数据同步方法、装置、设备及存储介质
CN114328750A (zh) * 2021-12-31 2022-04-12 北京发现角科技有限公司 一种将业务数据同步ods层的方法及装置
CN114547199A (zh) * 2022-02-23 2022-05-27 阿维塔科技(重庆)有限公司 数据库增量同步响应方法、装置及计算机可读存储介质
CN115269531A (zh) * 2022-09-29 2022-11-01 杭州玳数科技有限公司 一种基于akka框架的云原生日志收集方法和系统
CN115392802A (zh) * 2022-10-28 2022-11-25 江苏智云天工科技有限公司 工业产品的缺陷检测方法、系统、介质及设备
CN117082117A (zh) * 2023-10-16 2023-11-17 企查查科技股份有限公司 用户会话服务系统、用户会话的分布式管理方法及装置
CN117082117B (zh) * 2023-10-16 2024-01-26 企查查科技股份有限公司 用户会话服务系统、用户会话的分布式管理方法及装置
CN117909410A (zh) * 2023-12-29 2024-04-19 江苏大塔科技有限公司 一种基于快照的无锁全增量一体化数据同步方法

Also Published As

Publication number Publication date
CN112000737B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN112000737B (zh) 基于多云管理的数据同步方法、系统、终端及存储介质
CN108121782B (zh) 查询请求的分配方法、数据库中间件系统以及电子设备
CN107038162B (zh) 基于数据库日志的实时数据查询方法和系统
CN109800207B (zh) 日志解析方法、装置、设备及计算机可读存储介质
CN107391634B (zh) 数据迁移方法及装置
CN110895488B (zh) 任务调度方法及装置
CN111008244A (zh) 一种用于数据库的同步和分析方法及系统
CN111338893A (zh) 进程日志处理方法、装置、计算机设备以及存储介质
CN112559525B (zh) 数据检查系统、方法、装置和服务器
CN113886485A (zh) 数据处理方法、装置、电子设备、系统和存储介质
CN114443294B (zh) 大数据服务组件部署方法、系统、终端及存储介质
CN113946559A (zh) 数据处理方法、目标数据库系统及数据处理系统
CN112187509A (zh) 多架构云平台执行日志管理方法、系统、终端及存储介质
CN111159142B (zh) 一种数据处理方法及装置
CN114661823A (zh) 数据同步的方法、装置、电子设备及可读存储介质
CN111078418B (zh) 操作同步方法、装置、电子设备及计算机可读存储介质
CN110309206B (zh) 订单信息采集方法及系统
CN114996033A (zh) 工程数据管理方法、系统、终端及存储介质
CN114448972A (zh) 分布式存储日志压缩下载方法、系统、终端及存储介质
CN115878721A (zh) 一种数据同步方法、装置、终端和计算机可读存储介质
CN114490865A (zh) 数据库同步方法、装置、设备及计算机存储介质
CN113407629A (zh) 数据同步的方法、装置、电子设备及存储介质
CN114780432B (zh) 接口测试方法、装置、设备及存储介质
CN111209350A (zh) 系统开发方法、装置、终端设备及存储介质
CN109684158A (zh) 分布式协调系统的状态监控方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant