CN108256002A - 跨机房数据同步方法、装置、系统以及服务器 - Google Patents

跨机房数据同步方法、装置、系统以及服务器 Download PDF

Info

Publication number
CN108256002A
CN108256002A CN201711496252.8A CN201711496252A CN108256002A CN 108256002 A CN108256002 A CN 108256002A CN 201711496252 A CN201711496252 A CN 201711496252A CN 108256002 A CN108256002 A CN 108256002A
Authority
CN
China
Prior art keywords
data
message queue
synchronized
queue device
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711496252.8A
Other languages
English (en)
Other versions
CN108256002B (zh
Inventor
刘玉锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711496252.8A priority Critical patent/CN108256002B/zh
Publication of CN108256002A publication Critical patent/CN108256002A/zh
Application granted granted Critical
Publication of CN108256002B publication Critical patent/CN108256002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Hardware Redundancy (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种跨机房数据同步方法、装置、系统以及服务器。所述方法包括：所述数据迁移设备检测源端是否存储有待同步数据；当检测到所述源端中存储有待同步数据时，获取所述待同步数据；将所述待同步数据写入到目的端的消息队列装置，以便目的端的业务服务器从目的端的消息队列装置读取所述待同步数据。本方法使得在数据同步过程中，数据迁移设备不需要直接将获取的待同步数据传输给目的端中的业务服务器，而是先写入到消息队列装置中，而业务服务器再自己从消息队列装置中读取待同步数据，进而使得业务服务器与跨机房数据迁移设备之间相互解耦，使得其相互之间互不影响，从而提升了整个系统的可靠性。

Description

跨机房数据同步方法、装置、系统以及服务器
技术领域
本申请涉及数据同步领域，更具体地，涉及一种跨机房数据同步方法、装置、系统以及服务器。
背景技术
出于数据安全备份或提高各地用户的访问速度等目的，一些互联网站会在不同地点部署多个站点。其中，每个站点为一台服务器或者由多台服务器所组成的集群。这些站点之间会保持数据同步，以使得其中所存储的部分数据内容或者全部数据内容一致。但是，在该数据同步中，数据同步的可靠性还有待提升。
发明内容
鉴于上述问题，本申请提出了一种跨机房数据同步方法、装置、系统以及服务器，以提升数据同步过程中的可靠性。
第一方面，本申请提供了一种跨机房数据同步方法，应用于跨机房数据同步系统，所述跨机房数据同步系统包括均设置于目的端的数据迁移设备、消息队列装置以及业务服务器；所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述方法包括：所述数据迁移设备检测所述源端是否存储有待同步数据；当检测到所述源端有待同步数据时，获取所述待同步数据；将所述待同步数据写入到所述消息队列装置，以便所述业务服务器从所述消息队列装置读取所述待同步数据。
第二方面，本申请提供了一种跨机房数据同步方法，应用于跨机房数据同步系统，所述跨机房数据同步系统包括均设置于目的端的数据迁移设备、消息队列装置以及业务服务器；所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述方法包括：所述数据迁移设备检测所述源端是否存储有待同步数据；当检测到所述源端中存储有待同步数据时，获取所述待同步数据；将所述待同步数据写入到所述消息队列装置；所述业务服务器从所述消息队列装置读取所述待同步数据。
第三方面，本申请提供了一种跨机房数据同步装置，运行于跨机房数据同步系统中的数据迁移设备，所述跨机房数据同步系统还包括消息队列装置以及业务服务器；所述消息队列装置、数据迁移设备以及所述业务服务器均设置于目的端，所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述装置包括：数据检测单元，用于检测所述源端是否存储有待同步数据；数据获取单元，用于当检测到所述源端中存储有待同步数据时，获取所述待同步数据；数据写入单元，用于将所述待同步数据写入到所述消息队列装置，以便所述业务服务器从所述消息队列装置读取所述待同步数据。
第四方面，本申请提供了一种跨机房数据同步系统，包括数据迁移设备、消息队列装置以及业务服务器；所述消息队列装置、数据迁移设备以及所述业务服务器均设置于目的端，所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述数据迁移设备，用于检测所述源端是否存储有待同步数据；当检测到所述源端中存储有待同步数据时，获取所述待同步数据；将所述待同步数据写入到所述消息队列装置；所述业务服务器，用于从所述消息队列装置读取所述待同步数据。
第五方面，本申请提供了一种服务器，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
第六方面，本申请提供了一种具有处理器可执行的程序代码的计算机可读存储介质，所述程序代码使所述处理器执行上述的方法。
本申请提供的一种跨机房数据同步方法、装置、系统以及服务器，在跨机房数据迁移设备检测到所述源端中存储有待同步数据时，获取所述待同步数据。将所述待同步数据写入到所述消息队列装置，以便所述业务服务器从所述消息队列装置读取所述待同步数据。使得在数据同步过程中，数据迁移设备不需要直接将获取的待同步数据传输给业务服务器，而是先写入到消息队列装置中，而业务服务器再自己从消息队列装置中读取待同步数据，进而使得业务服务器与跨机房数据迁移设备之间相互解耦，使得其相互之间互不影响，从而提升了整个系统的可靠性。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请提出的一种跨机房数据同步系统的环境示意图；
图2示出了本申请提出的一种跨机房数据同步系统的结构框图；
图3示出了本申请提出的一种跨机房数据同步方法的流程图；
图4示出了本申请提出的另一种跨机房数据同步方法的流程图；
图5示出了本申请提出的再一种跨机房数据同步方法的时序图；
图6示出了本申请提出的一种跨机房数据同步装置的结构框图；
图7示出了本申请提出的另一种跨机房数据同步装置的结构框图；
图8示出了本申请提出的一种服务器的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
通常互联网公司会部署多个分布在不同区域站点，有时为了保证所部署的不同站点之间的数据相同或者站点中的部分数据相同，会在不同的站点之间进行数据同步。例如，为了便于用户在接入到每个站点时都能进行用户登录，不同的站点之间会同步所有用户的用户名和密码等登录信息。
通常一个站点是建设在一个机房之中的，所以当在不同的站点之间进行数据同步时，也可以看作是在不同的机房之间进行数据同步。发明人发现，在数据同步中过程中，还无法实现对数据同步效率进行控制，进而造成系统在运行中存在潜在的风险。
因此，发明人提出了本申请中的改善无法实现对数据同步效率进行控制，进而造成系统在运行中存在潜在的风险的问题的跨机房数据同步方法、装置以及服务器。
下面先对本申请提供的跨机房数据同步方法、装置所运行于的一种跨机房数据同步系统的环境进行介绍。
如图1所示，图1所示的跨机房数据同步系统100中包括第一机房110以及第二机房120。第一机房110与第二机房120通过网络130进行数据交互。在第一机房110中部署有服务器111以及第一机房110中的消息队列装置112。在第二机房120中部署有数据迁移设备121、消息队列装置122以及服务器123。其中，需要说明的是，如图2所示，消息队列装置112以及消息队列装置122在数据同步过程中均可以包括多个消息队列。
其中，消息队列是一种应用程序对应用程序间传输消息的通道。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信，而无需专用连接来链接它们。常见消息队列有rabbitmq，rocketmq，kafka等。
请再结合图2所示，在第一机房110中，服务器111中运行有SDK(SoftwareDevelopment Kit)组件，该SDK组件可以订阅数据生产方所产生的业务数据，将该业务数据写入到第一机房110中的消息队列装置112。在第二机房120中，数据迁移设备121可以将第一机房110中的消息队列装置112的数据迁移到消息队列装置122，而服务器123可以从消息队列装置122中读取数据进行处理。其中，作为一种方式，在服务器123中运行有一个管理节点以及多个处理节点，例如，图2中的mater node为管理节点，receive node为处理节点。而ETCD负责选举管理节点作为处理节点以及协调多个处理节点处理消息队列中的数据。
下面再以从第一机房110同步数据到第二机房120为例说明下同步过程中的数据传输流程。在这种情况下，第一机房110则为业务数据发送方的源端，第二机房120则为业务数据接收方的目的端。第一机房110中服务器111运行的SDK组件，将接收到的同步数据以异步线程的方式写入到消息队列装置112中的消息队列中。而目的端的数据迁移设备121预先订阅有消息队列装置112中的数据，当数据迁移设备121检测到消息队列装置112中的消息队列有同步数据写入时，则将该消息队列中的数据迁移到第二机房120的消息队列装置122中的消息队列中。则第二机房120的服务器123再从消息队列装置122中的消息队列中读取待处理的同步数据进行处理，以实现写入到本地，从而完成数据从第一机房110到第二机房120的同步。
作为本申请中的一种实施方式，在第一机房110向第二机房120发送同步数据的这种情况中，第二机房120中的服务器123即为业务接收方的业务服务器。在这种情况下，所述数据迁移设备121，用于检测作为源端的第一机房110是否存储有待同步数据。当检测到所述源端中存储有待同步数据时，获取所述待同步数据，将所述待同步数据写入到所述消息队列装置122。所述业务服务器，用于从所述消息队列装置122读取所述待同步数据。
需要说明的是，消息队列装置112可以由一台物理设备，例如一台服务器来承载，也可以有多台物理设备来承载，例如，多台服务器来承载。对于消息队列装置122也是如此。再者，当数据迁移设备121由一台服务器来实现时，且消息队列装置122也由一个物理设备来承载时，可以将消息队列装置122部署在数据迁移设备121中，即由一台服务器来实现数据迁移设备121和消息队列装置122的功能。
下面将结合附图具体描述本申请的各实施例。
请参阅图3，本申请提供的一种跨机房数据同步方法，应用于跨机房数据同步系统，所述跨机房数据同步系统包括数据迁移设备、消息队列装置以及业务服务器；所述消息队列装置以及所述业务服务器用于设置于目的端，所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述方法包括：
步骤S110：所述数据迁移设备检测所述源端是否存储有待同步数据。
步骤S120：当检测到所述源端中存储有待同步数据时，获取所述待同步数据。
步骤S130：将所述待同步数据写入到所述消息队列装置，以便所述业务服务器从所述消息队列装置读取所述待同步数据。
本申请提供的一种跨机房数据同步方法，使得在数据同步过程中，数据迁移设备不需要直接将获取的待同步数据传输给业务服务器，而是先写入到消息队列装置中，而业务服务器再自己从消息队列装置中读取待同步数据，进而使得业务服务器与跨机房数据迁移设备之间相互解耦，使得其相互之间互不影响，从而提升了整个系统的可靠性。
请参阅图4，本申请提供的一种跨机房数据同步方法，应用于跨机房数据同步系统，所述跨机房数据同步系统包括数据迁移设备、消息队列装置以及业务服务器；所述消息队列装置以及所述业务服务器用于设置于目的端，所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述方法包括：
步骤S210：所述数据迁移设备检测是否有数据同步任务。
作为一种方式，数据迁移设备在启动后，可以先检测数据迁移设备是否被分配有数据同步任务。其中，数据迁移设备可以通过查询本地是否存储有数据同步指令的方式，来检测数据迁移设备是否被分配有数据同步任务。其中，本地存储的数据同步指令可以由外部设备检测到某种状态后发送，例如，检测到业务发送方开始生产业务数据之后，也可以由外部设备接收到管理人员触发的同步指令后发送。此外，也可以由数据迁移设备自身检测到某种状态后，触发检测是否有数据同步任务。例如，当数据迁移设备检测到与某个机房之间的网络接通后，或者与某个机房之间的网络状态达到预期效果时，开始检测是否有数据同步任务。其中，网络状态可以通过网络延时以及网络丢包率来表征。再者，数据迁移设备还可以在启动以后直接向外部设备发送查询请求，查询是否有数据同步任务。
步骤S220：当所述数据迁移设备检测到有所述数据同步任务时，检测所述源端是否存储有待同步数据。
通常在源端中包括有服务器以及消息队列装置。例如，当图1所示的第一机房110作为源端时，第一机房110的服务器111中运行的SDK组件在接收到业务方生产的数据后，会将接收到的数据作为待同步数据写入到消息队列装置112中。则数据迁移设备在检测到与源端相关的数据同步任务后，可以先对消息队列装置进行初始化操作，然后向源端中的消息队列装置订阅待同步数据，以便消息队列装置中被写入待同步数据后，数据迁移设备可以检测到。
作为一种方式，当数据迁移设备检测到有所述数据同步任务时，可以在所述消息队列装置中配置与所述数据同步任务的任务需求相匹配的消息队列，以便跨机房数据同步系统可以的数据传输性能可以匹配任务需求。需要说明的是，当数据迁移设备检测到消息队列装置中已经有消息队列时，则将已经有的消息队列重新配置为与所述数据同步任务的任务需求相匹配的消息队列。而当检测到消息队列装置还未创建队列时，则创建与所述数据同步任务的任务需求相匹配的消息队列。
其中，任务需求包括传输效率以及预估传输数据总量等。例如，当检测到数据同步任务所需的数据传输效率为每秒传输A个数据时，则数据迁移设备可以在源端的消息队列装置以及目的端的消息队列装置中配置与每秒传输A个数据相适应的消息队列数量。再例如，当数据迁移设备检测到有待数据同步任务，且该数据同步任务的任务需求为传输数据总量为B的数据时，则数据迁移设备可以基于数据总量B，来配置源端或者目的端中消息队列装置中的消息队列的数量，以便能够在一个限定的时间内将数据总量为B数据传输完成。
步骤S230：当检测到所述源端中存储有待同步数据时，获取所述待同步数据。
当数据迁移设备检测到消息队列装置中有待同步数据被写入后，会将检测到的待同步数据迁移到数据迁移设备中。其中，需要说明的是，消息队列装置中包括多个进行数据传输的消息队列，数据迁移设备在检测到消息队列装置中的某个消息队列中有待同步数据写入后，则从有待同步数据写入的消息队列获取数据。
步骤S240：将所述待同步数据写入到所述消息队列装置，以便所述业务服务器从所述消息队列装置读取所述待同步数据。
作为一种方式，数据迁移设备将获取到的待处理同步数据后，以透传的方式直接传输到目的端的消息队列装置中。
需要说明的是，待同步数据被传输并写入到目的端的消息队列装置后，数据迁移设备则不再对写入到目的端的消息队列装置中的待同步数据进行处理，而后续对消息队列装置中的待同步数据的处理是由目的端的业务服务器来执行，从而使得消息队列装置可以将数据迁移设备和目的端的业务服务器进行隔离，进而使数据迁移设备向消息队列装置中写入待同步数据的流程和业务服务器从消息队列装置中读取待同步数据的流程之间互不影响，使得即使在业务服务器从消息队列装置中读取数据进行处理出现异常时，数据迁移设备依然可以正常的向消息队列装置中写入待同步数据。
作为一种方式，所述数据迁移设备检测到所述消息队列装置的数据传输效率与预期数据传输效率不匹配时，可以调控所述消息队列装置中的消息队列的数量，以使所述消息队列装置的数据传输效率与所述预期数据传输效率匹配。
作为一种方式，数据迁移设备在向目的端的消息队列装置写入数据之前，可以在消息队列装置中预先先例异常数据容器。例如，可以单独建立一个消息队列存储后续业务服务器处理时出现异常的数据，以便即使后续业务服务器从消息队列装置获取数据进行处理出现异常时，可以将该处理出现异常的数据迁移到单独建立的消息队列中，进一步的避免影响数据迁移设备向消息队列装置中写入新的待同步数据，从而进一步提升数据同步过程中的数据传输效率。
本申请提供的一种跨机房数据同步方法，在跨机房数据迁移设备检测到所述源端中存储有待同步数据时，获取所述待同步数据。将所述待同步数据写入到所述消息队列装置，以便所述业务服务器从所述消息队列装置读取所述待同步数据。使得在数据同步过程中，数据迁移设备不需要直接将源端中的待同步数据传输给目的端中的业务服务器，而是先写入到消息队列装置中，而业务服务器再自己从消息队列装置中读取待同步数据，进而使得业务服务器与跨机房数据迁移设备之间相互解耦，使得其相互之间互不影响，从而提升了整个系统的可靠性。
请参阅图5，本申请提供的一种跨机房数据同步方法，应用于跨机房数据同步系统，所述跨机房数据同步系统包括数据迁移设备、消息队列装置以及业务服务器；所述消息队列装置、数据迁移设备以及所述业务服务器用于设置于目的端，所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述方法包括：
步骤S310：所述数据迁移设备检测所述源端是否存储有待同步数据；
步骤S320：当检测到所述源端中存储有待同步数据时，获取所述待同步数据；
步骤S330：将所述待同步数据写入到所述消息队列装置。
步骤S340：所述业务服务器从所述消息队列装置读取所述待同步数据。
请参阅图6，本申请提供的一种跨机房数据同步装置400，运行于跨机房数据同步系统中的数据迁移设备，所述跨机房数据同步系统还包括消息队列装置以及业务服务器；所述消息队列装置以及所述业务服务器用于设置于目的端，所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述装置400包括：数据检测单元410、数据获取单元420以及数据写入单元430。
其中，数据检测单元410，用于检测所述源端是否存储有待同步数据。
数据获取单元420，用于当检测到所述源端中存储有待同步数据时，获取所述待同步数据。
数据写入单元430，用于将所述待同步数据写入到所述消息队列装置，以便所述业务服务器从所述消息队列装置读取所述待同步数据。
请参阅图7，本申请提供的一种跨机房数据同步装置500，运行于跨机房数据同步系统中的数据迁移设备，所述跨机房数据同步系统还包括消息队列装置以及业务服务器；所述消息队列装置以及所述业务服务器用于设置于目的端，所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述装置500包括：数据检测单元510、数据获取单元520以及数据写入单元530。
其中，数据检测单元510，用于检测所述源端是否存储有待同步数据。
作为一种方式，所述数据检测单元510，包括：任务检测子单元511，用于检测是否有数据同步任务；数据检测子单元512，用于当所述任务检测子单元检测到有所述数据同步任务时，向所述源端订阅待同步数据，并检测所述源端是否存储有所述待同步数据。作为一种方式，当任务检测子单元511检测到有所述数据同步任务时，数据检测子单元512可以在所述消息队列装置中配置与所述数据同步任务的任务需求相匹配的消息队列，以便跨机房数据同步系统可以的数据传输性能可以匹配任务需求。其中，任务需求包括传输效率以及预估传输数据总量等。例如，当数据检测子单元512检测到数据同步任务所需的数据传输效率为每秒传输A个数据时，则数据检测子单元512可以在源端的消息队列装置以及目的端的消息队列装置中配置与每秒传输A个数据相适应的消息队列数量。再例如，当数据检测子单元512检测到有待数据同步任务，且该数据同步任务的任务需求为传输数据总量为B的数据时，则数据检测子单元512可以基于数据总量B，来配置源端或者目的端中消息队列装置中的消息队列的数量。
数据获取单元520，用于当检测到所述源端中存储有待同步数据时，获取所述待同步数据。
数据写入单元530，用于将所述待同步数据写入到所述消息队列装置，以便所述业务服务器从所述消息队列装置读取所述待同步数据。
作为一种方式，装置500还包括传输速率调控单元540，用于检测到所述消息队列装置的数据传输效率与预期数据传输效率不匹配时，可以调控所述消息队列装置中的消息队列的数量，以使所述消息队列装置的数据传输效率与所述预期数据传输效率匹配。
请参阅图8，基于上述的数据同步控制方法、装置，本申请还提供一种服务器140，该服务器140可以作为图1中所示的系统的服务器111或者服务器123，也可以为承载消息队列装置122或者消息队列装置112的物理设备，还以用来作为本申请中的数据迁移设备。
需要说明的是，当消息队列装置112或者消息队列装置122均设立在一个设备上时，消息队列装置112运行在一个服务器140中，消息队列装置122也是运行在一个服务器140中。而当消息队列装置112或者消息队列装置122是分布在多个物理设备时，则消息队列装置112是分布在多个服务器140中，消息队列装置122也是分布在多个服务器140中。
该服务器140包括一个或多个(图中仅示出一个)处理器222、存储器224、网络模块228以及外设接口230。
本领域普通技术人员可以理解，相对于所述处理器222来说，所有其他的组件均属于外设，所述处理器222与这些外设之间通过多个外设接口230相耦合。所述外设接口230可基于以下标准实现：通用异步接收/发送装置(Universal Asynchronous Receiver/Transmitter，UART)、通用输入/输出(General Purpose Input Output，GPIO)、串行外设接口(Serial Peripheral Interface，SPI)、内部集成电路(Inter-Integrated Circuit，I2C)，但不并限于上述标准。在一些实例中，所述外设接口230可仅包括总线。此外，这些控制器还可以从所述外设接口230中脱离出来，而集成于所述处理器222内或者相应的外设内。
所述存储器224可用于存储软件程序以及模块，所述处理器222通过运行存储在所述存储器224内的软件程序以及模块，从而执行各种功能应用以及数据处理。所述存储器224可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，所述存储器224可进一步包括相对于所述处理器222远程设置的存储器。此外，存储器224还可以存储一些待处理的数据。例如，当消息队列装置112或者消息队列装置122是由服务器140来承载时，存储器224可以存储消息队列中的数据。
所述网络模块228用于接收以及发送网络数据，以实现和其他设备之间通过网络进行数据交互。
外设接口230用于服务器140与外部设备通过有线的方式进行通信。该外设接口可以是USB接口或者RS232接口等。
上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(服务器)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。例如，该程序在执行时，执行的内容为前述内容中步骤S110到步骤S130的内容。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种跨机房数据同步方法，其特征在于，应用于跨机房数据同步系统，所述跨机房数据同步系统包括均设置于目的端的数据迁移设备、消息队列装置以及业务服务器；所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述方法包括：
所述数据迁移设备检测所述源端是否存储有待同步数据；
当检测到所述源端有待同步数据时，获取所述待同步数据；
将所述待同步数据写入到所述消息队列装置，以便所述业务服务器从所述消息队列装置读取所述待同步数据。
2.根据权利要求1所述的方法，其特征在于，所述数据迁移设备检测所述源端是否存储有待同步数据的步骤包括：
所述数据迁移设备检测是否有数据同步任务；
当检测到有所述数据同步任务时，向所述源端订阅待同步数据，并检测所述源端是否存储有所述待同步数据。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当检测到有所述数据同步任务时，在所述消息队列装置中配置与所述数据同步任务的任务需求相匹配的消息队列。
4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：
所述数据迁移设备检测到所述消息队列装置的数据传输效率与预期数据传输效率不匹配时；
调控所述消息队列装置中的消息队列的数量，以使所述消息队列装置的数据传输效率与所述预期数据传输效率匹配。
5.一种跨机房数据同步方法，其特征在于，应用于跨机房数据同步系统，所述跨机房数据同步系统包括均设置于目的端的数据迁移设备、消息队列装置以及业务服务器；所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述方法包括：
所述数据迁移设备检测所述源端是否存储有待同步数据；
当检测到所述源端中存储有待同步数据时，获取所述待同步数据；
将所述待同步数据写入到所述消息队列装置；
所述业务服务器从所述消息队列装置读取所述待同步数据。
6.一种跨机房数据同步装置，其特征在于，运行于跨机房数据同步系统中的数据迁移设备，所述跨机房数据同步系统还包括消息队列装置以及业务服务器；所述消息队列装置、数据迁移设备以及所述业务服务器均设置于目的端，所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；所述装置包括：
数据检测单元，用于检测所述源端是否存储有待同步数据；
数据获取单元，用于当检测到所述源端中存储有待同步数据时，获取所述待同步数据；
数据写入单元，用于将所述待同步数据写入到所述消息队列装置，以便所述业务服务器从所述消息队列装置读取所述待同步数据。
7.根据权利要求6所述的装置，其特征在于，所述数据检测单元，包括：
任务检测子单元，用于检测是否有数据同步任务；
数据检测子单元，用于当所述任务检测子单元检测到有所述数据同步任务时，向所述源端订阅待同步数据，并检测所述源端是否存储有所述待同步数据。
8.一种跨机房数据同步系统，其特征在于，包括数据迁移设备、消息队列装置以及业务服务器；所述消息队列装置、数据迁移设备以及所述业务服务器均设置于目的端，所述数据迁移设备用于将源端存储的待同步数据迁移到所述消息队列装置，所述业务服务器用于从所述消息队列装置读取数据进行处理；
所述数据迁移设备，用于检测所述源端是否存储有待同步数据；当检测到所述源端中存储有待同步数据时，获取所述待同步数据；将所述待同步数据写入到所述消息队列装置；
所述业务服务器，用于从所述消息队列装置读取所述待同步数据。
9.一种服务器，其特征在于，包括一个或多个处理器以及存储器；
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-4任一所述的方法。
10.一种具有处理器可执行的程序代码的计算机可读存储介质，其特征在于，所述程序代码使所述处理器执行权利要求1-4任一所述的方法。
CN201711496252.8A 2017-12-31 2017-12-31 跨机房数据同步方法、装置、系统以及服务器 Active CN108256002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711496252.8A CN108256002B (zh) 2017-12-31 2017-12-31 跨机房数据同步方法、装置、系统以及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711496252.8A CN108256002B (zh) 2017-12-31 2017-12-31 跨机房数据同步方法、装置、系统以及服务器

Publications (2)

Publication Number Publication Date
CN108256002A true CN108256002A (zh) 2018-07-06
CN108256002B CN108256002B (zh) 2021-05-11

Family

ID=62724730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711496252.8A Active CN108256002B (zh) 2017-12-31 2017-12-31 跨机房数据同步方法、装置、系统以及服务器

Country Status (1)

Country Link
CN (1) CN108256002B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710688A (zh) * 2018-11-26 2019-05-03 福建天泉教育科技有限公司 一种数据实时比对校验方法及消息中间件
CN109726046A (zh) * 2018-11-23 2019-05-07 网联清算有限公司 机房切换方法及切换装置
CN109905457A (zh) * 2019-01-09 2019-06-18 广州视源电子科技股份有限公司 主从服务器数据同步方法、装置、计算机设备和存储介质
CN110149382A (zh) * 2019-05-08 2019-08-20 拉扎斯网络科技（上海）有限公司 数据同步的方法、系统、主服务器、同步客户端及介质
CN110209526A (zh) * 2018-08-14 2019-09-06 腾讯科技（深圳）有限公司 一种存储层同步系统、及存储介质
CN110765206A (zh) * 2019-10-21 2020-02-07 广东小天才科技有限公司 一种数据同步系统、方法、装置、设备及存储介质
CN110795503A (zh) * 2019-10-18 2020-02-14 北京达佳互联信息技术有限公司 分布式存储系统的多集群数据同步方法及相关装置
CN110807018A (zh) * 2019-10-17 2020-02-18 上海易点时空网络有限公司 用于业务数据的主从架构迁移至集群架构的方法以及装置、设备、存储介质
CN110933150A (zh) * 2019-11-18 2020-03-27 拉扎斯网络科技（上海）有限公司 数据同步方法、系统、装置、电子设备及计算机存储介质
CN110989933A (zh) * 2019-12-05 2020-04-10 北京首汽智行科技有限公司 一种消息队列RocketMq平滑迁移方法
CN111381977A (zh) * 2018-12-29 2020-07-07 北大方正集团有限公司 消息处理方法及设备
CN111586117A (zh) * 2020-04-26 2020-08-25 特瓦特能源科技有限公司 一种设备通信方法及装置
CN111581244A (zh) * 2020-05-14 2020-08-25 厦门中控智慧信息技术有限公司 一种异构系统业务交易数据有序同步方法、系统及设备
CN111813868A (zh) * 2020-08-13 2020-10-23 中国工商银行股份有限公司 数据同步方法及装置
CN112052104A (zh) * 2020-09-01 2020-12-08 掌阅科技股份有限公司 基于多机房实现的消息队列的管理方法及电子设备
CN112068972A (zh) * 2020-09-01 2020-12-11 掌阅科技股份有限公司 基于多机房实现的消息队列的消费方法及电子设备
CN112187916A (zh) * 2020-09-27 2021-01-05 中国银联股份有限公司 一种跨系统的数据同步方法与装置
CN112182095A (zh) * 2020-08-31 2021-01-05 福州智象信息技术有限公司 多机房之间进行业务数据同步的方法及装置、设备和介质
CN112187889A (zh) * 2020-09-15 2021-01-05 中信银行股份有限公司 一种数据同步方法、装置及存储介质
CN112632032A (zh) * 2020-12-18 2021-04-09 华人运通(上海)云计算科技有限公司 一种数据迁移方法、装置、存储介质及终端设备
CN112817988A (zh) * 2021-01-06 2021-05-18 贵阳迅游网络科技有限公司 一种企业业务的同步加速方法
CN113407629A (zh) * 2021-06-18 2021-09-17 湖南快乐阳光互动娱乐传媒有限公司 数据同步的方法、装置、电子设备及存储介质
WO2021223109A1 (zh) * 2020-05-06 2021-11-11 深圳市欢太科技有限公司 数据同步方法、装置、系统、电子设备及存储介质
CN117370310A (zh) * 2023-10-19 2024-01-09 中电云计算技术有限公司 一种分布式文件系统跨集群数据增量迁移的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120323850A1 (en) * 2011-06-17 2012-12-20 International Business Machines Corporation Continuous and asynchronous replication of a consistent dataset
CN105162879A (zh) * 2015-09-24 2015-12-16 北京奇虎科技有限公司 实现多机房数据一致性的方法、装置及系统
CN105989123A (zh) * 2015-02-13 2016-10-05 阿里巴巴集团控股有限公司 一种数据同步方法、装置和系统
CN106657314A (zh) * 2016-12-14 2017-05-10 北京奇艺世纪科技有限公司 跨数据中心数据同步系统及方法
CN106713487A (zh) * 2017-01-16 2017-05-24 腾讯科技（深圳）有限公司 数据的同步方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120323850A1 (en) * 2011-06-17 2012-12-20 International Business Machines Corporation Continuous and asynchronous replication of a consistent dataset
CN105989123A (zh) * 2015-02-13 2016-10-05 阿里巴巴集团控股有限公司 一种数据同步方法、装置和系统
CN105162879A (zh) * 2015-09-24 2015-12-16 北京奇虎科技有限公司 实现多机房数据一致性的方法、装置及系统
CN106657314A (zh) * 2016-12-14 2017-05-10 北京奇艺世纪科技有限公司 跨数据中心数据同步系统及方法
CN106713487A (zh) * 2017-01-16 2017-05-24 腾讯科技（深圳）有限公司 数据的同步方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲍春健: "支持动态负载平衡的分层消息队列模型", 《计算机工程与应用》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209526A (zh) * 2018-08-14 2019-09-06 腾讯科技（深圳）有限公司 一种存储层同步系统、及存储介质
CN109726046A (zh) * 2018-11-23 2019-05-07 网联清算有限公司 机房切换方法及切换装置
CN109710688A (zh) * 2018-11-26 2019-05-03 福建天泉教育科技有限公司 一种数据实时比对校验方法及消息中间件
CN111381977A (zh) * 2018-12-29 2020-07-07 北大方正集团有限公司 消息处理方法及设备
CN109905457A (zh) * 2019-01-09 2019-06-18 广州视源电子科技股份有限公司 主从服务器数据同步方法、装置、计算机设备和存储介质
CN110149382A (zh) * 2019-05-08 2019-08-20 拉扎斯网络科技（上海）有限公司 数据同步的方法、系统、主服务器、同步客户端及介质
CN110807018A (zh) * 2019-10-17 2020-02-18 上海易点时空网络有限公司 用于业务数据的主从架构迁移至集群架构的方法以及装置、设备、存储介质
CN110795503A (zh) * 2019-10-18 2020-02-14 北京达佳互联信息技术有限公司 分布式存储系统的多集群数据同步方法及相关装置
CN110765206A (zh) * 2019-10-21 2020-02-07 广东小天才科技有限公司 一种数据同步系统、方法、装置、设备及存储介质
CN110933150A (zh) * 2019-11-18 2020-03-27 拉扎斯网络科技（上海）有限公司 数据同步方法、系统、装置、电子设备及计算机存储介质
CN110989933A (zh) * 2019-12-05 2020-04-10 北京首汽智行科技有限公司 一种消息队列RocketMq平滑迁移方法
CN111586117A (zh) * 2020-04-26 2020-08-25 特瓦特能源科技有限公司 一种设备通信方法及装置
WO2021223109A1 (zh) * 2020-05-06 2021-11-11 深圳市欢太科技有限公司 数据同步方法、装置、系统、电子设备及存储介质
CN115023929A (zh) * 2020-05-06 2022-09-06 深圳市欢太科技有限公司 数据同步方法、装置、系统、电子设备及存储介质
CN111581244A (zh) * 2020-05-14 2020-08-25 厦门中控智慧信息技术有限公司 一种异构系统业务交易数据有序同步方法、系统及设备
CN111581244B (zh) * 2020-05-14 2023-04-25 厦门熵基科技有限公司 一种异构系统业务交易数据有序同步方法、系统及设备
CN111813868A (zh) * 2020-08-13 2020-10-23 中国工商银行股份有限公司 数据同步方法及装置
CN111813868B (zh) * 2020-08-13 2023-11-10 中国工商银行股份有限公司 数据同步方法及装置
CN112182095A (zh) * 2020-08-31 2021-01-05 福州智象信息技术有限公司 多机房之间进行业务数据同步的方法及装置、设备和介质
CN112052104A (zh) * 2020-09-01 2020-12-08 掌阅科技股份有限公司 基于多机房实现的消息队列的管理方法及电子设备
CN112068972A (zh) * 2020-09-01 2020-12-11 掌阅科技股份有限公司 基于多机房实现的消息队列的消费方法及电子设备
CN112187889A (zh) * 2020-09-15 2021-01-05 中信银行股份有限公司 一种数据同步方法、装置及存储介质
CN112187916A (zh) * 2020-09-27 2021-01-05 中国银联股份有限公司 一种跨系统的数据同步方法与装置
CN112187916B (zh) * 2020-09-27 2023-12-05 中国银联股份有限公司 一种跨系统的数据同步方法与装置
CN112632032A (zh) * 2020-12-18 2021-04-09 华人运通(上海)云计算科技有限公司 一种数据迁移方法、装置、存储介质及终端设备
CN112632032B (zh) * 2020-12-18 2022-12-27 华人运通(上海)云计算科技有限公司 一种数据迁移方法、装置、存储介质及终端设备
CN112817988A (zh) * 2021-01-06 2021-05-18 贵阳迅游网络科技有限公司 一种企业业务的同步加速方法
CN112817988B (zh) * 2021-01-06 2022-11-15 贵阳迅游网络科技有限公司 一种企业业务的同步加速方法
CN113407629A (zh) * 2021-06-18 2021-09-17 湖南快乐阳光互动娱乐传媒有限公司 数据同步的方法、装置、电子设备及存储介质
CN117370310A (zh) * 2023-10-19 2024-01-09 中电云计算技术有限公司 一种分布式文件系统跨集群数据增量迁移的方法
CN117370310B (zh) * 2023-10-19 2024-05-28 中电云计算技术有限公司 一种分布式文件系统跨集群数据增量迁移的方法

Also Published As

Publication number Publication date
CN108256002B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN108256002A (zh) 跨机房数据同步方法、装置、系统以及服务器
CN106331098B (zh) 一种服务器集群系统
CN108347477A (zh) 数据发送方法、装置以及服务器
CN108347476A (zh) 跨机房数据同步方法、装置以及服务器
US10320605B2 (en) Rapid gateway swap
CN102571452A (zh) 多节点管理的方法和系统
CN102622196B (zh) 基于网络传输的多屏幕显示系统画面同步技术
CN102171973A (zh) 用于检测和管理以太网光纤通道(fcoe)交换机故障的冗余中间交换机解决方案
EP3240241B1 (en) Service providing device, alternative service providing device, relaying device, service providing system, and service providing method
CN110320829B (zh) 安全控制系统以及安全控制单元
CN104808606A (zh) 在工业自动化系统之内提供功能的方法和工业自动化系统
CN111708659B (zh) 一种基于kubernetes构建云原生容灾架构的方法
CN103731328A (zh) 基于Linux共享内存实现家庭网关数据通信的系统及方法
CN104361098A (zh) 一种云海系统中拓扑图节点自定义的方法
CN102843432B (zh) 适用于多客户端数据共享和同步更新的网络通信系统
JP6508711B2 (ja) ネットワークシステム及びネットワーク設定方法
CN107920136B (zh) 数据同步控制方法、装置以及服务器
CN108093077B (zh) 异常处理方法、装置以及服务器
CN108600294A (zh) 一种云终端屏幕共享系统及方法
US11368356B2 (en) Computer having an embedded switch
US20180077008A1 (en) Using an out-of-band network to reconfigure a bus interface port
EP2447824A1 (en) Data remote synchronization system
CN105591902A (zh) 一种主备切换方法及装置
CN106330492A (zh) 一种配置用户设备转发表的方法、装置及系统
JP2011182115A (ja) 通信方法、通信システム及びサーバ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant