CN107920136A - 数据同步控制方法、装置以及服务器 - Google Patents
数据同步控制方法、装置以及服务器 Download PDFInfo
- Publication number
- CN107920136A CN107920136A CN201711478406.0A CN201711478406A CN107920136A CN 107920136 A CN107920136 A CN 107920136A CN 201711478406 A CN201711478406 A CN 201711478406A CN 107920136 A CN107920136 A CN 107920136A
- Authority
- CN
- China
- Prior art keywords
- data
- message queue
- efficiency
- transmission
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请实施例公开了一种数据同步控制方法、装置以及服务器。所述方法包括:所述数据迁移设备获取所述消息队列装置的数据传输效率;将所述数据传输效率与预期数据传输效率进行匹配;若不匹配,调控所述消息队列装置中用于数据传输的消息队列的数量,以使所述消息队列装置的数据传输效率与所述预期数据传输效率匹配。本方法在获取所述消息队列装置的数据传输效率与预期数据传输效率匹配不匹配时,动态调控消息队列装置中消息队列的数量,以使消息队列装置传输数据的效率与预期传输效率相匹配,进而实现了对数据同步效率的动态调控,改善了还无法实现对数据同步效率进行控制,进而造成系统在运行中存在潜在的风险的问题。
Description
技术领域
本申请涉及数据同步领域,更具体地,涉及一种数据同步控制方法、装置以及服务器。
背景技术
出于数据安全备份或提高各地用户的访问速度等目的,一些互联网站会在不同地点部署多个站点。其中每个站点为一台服务器或者由多台服务器所组成的集群。这些站点之间会保持数据同步,以使得其中所存储的部分数据内容或者全部数据内容一致。
但是,在数据同步中过程中,还无法实现对数据同步效率进行控制,进而造成系统在运行中存在潜在的风险。
发明内容
鉴于上述问题,本申请提出了一种数据同步控制方法、装置以及服务器,以改善还无法实现对数据同步效率进行控制,进而造成系统在运行中存在潜在的风险的问题。
第一方面,本申请提供的一种数据同步控制方法,应用于跨机房数据同步系统,所述跨机房数据同步系统包括消息队列装置以及数据迁移设备;所述数据迁移设备用于对所述消息队列装置中的数据进行迁移,并控制所述消息队列装置中的数据传输效率。所述方法包括:所述数据迁移设备获取所述消息队列装置的数据传输效率;将所述数据传输效率与预期数据传输效率进行匹配;若不匹配,调控所述消息队列装置中用于数据传输的消息队列的数量,以使所述消息队列装置的数据传输效率与所述预期数据传输效率匹配。
第二方面,本申请提供的一种数据同步控制装置,运行于跨机房数据同步系统中的数据迁移设备,所述跨机房数据同步系统还包括消息队列装置;所述数据迁移设备用于对所述消息队列装置中的数据进行迁移,并控制所述消息队列装置中的数据传输效率。所述装置包括:传输效率获取单元,用于获取所述消息队列装置的数据传输效率;传输效率检测单元,用于将所述数据传输效率与预期数据传输效率进行匹配;传输效率调控单元,用于若不匹配,调控所述消息队列装置中用于数据传输的消息队列的数量,以使所述消息队列装置的数据传输效率与所述预期数据传输效率匹配。
第三方面,本申请提供了一种服务器,包括一个或多个处理器以及存储器;一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述的方法。
第四方面,本申请提供了一种具有处理器可执行的程序代码的计算机可读存储介质,所述程序代码使所述处理器执行上述的方法。
本申请提供的一种数据同步控制方法、装置以及服务器,在获取所述消息队列装置的数据传输效率与预期数据传输效率匹配不匹配时,调控所述消息队列装置中用于数据传输的消息队列的数量,从而实现动态调控消息队列装置中消息队列的数量,以使消息队列装置传输数据的效率与预期传输效率相匹配,进而实现了对数据同步效率的动态调控,改善了还无法实现对数据同步效率进行控制,进而造成系统在运行中存在潜在的风险的问题。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请提出的一种跨机房数据同步系统的环境示意图;
图2示出了本申请提出的一种跨机房数据同步系统的结构框图;
图3示出了本申请提出的一种数据同步控制方法流程图;
图4示出了本申请提出的另一种数据同步控制方法流程图;
图5示出了本申请提出的一种数据同步控制装置的结构框图;
图6示出了本申请提出的另一种数据同步控制装置的结构框图;
图7示出了本申请的提供的一种服务器的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
通常互联网公司会部署多个分布在不同区域站点,有时为了保证所部署的不同站点之间的数据相同或者站点中的部分数据相同,会在不同的站点之间进行数据同步。例如,为了便于用户在接入到每个站点时都能进行用户登录,不同的站点之间会同步所有用户的用户名和密码等登录信息。
通常一个站点是建设在一个机房之中的,所以当在不同的站点之间进行数据同步时,也可以看作是在不同的机房之间进行数据同步。发明人发现,在数据同步中过程中,还无法实现对数据同步效率进行控制,进而造成系统在运行中存在潜在的风险。
因此,发明人提出了本申请中的改善无法实现对数据同步效率进行控制,进而造成系统在运行中存在潜在的风险的问题的数据同步控制方法、装置以及服务器。
下面先对本申请提供的数据同步控制方法、装置所运行于的一种跨机房数据同步系统的环境进行介绍。
如图1所示,图1所示的跨机房数据同步系统100中包括第一机房110以及第二机房120。第一机房110与第二机房120通过网络130进行数据交互。在第一机房110中部署有服务器111以及第一机房110中的消息队列装置112。在第二机房120中部署有数据迁移设备121、消息队列装置122以及服务器123。其中,需要说明的是,如图2所示,消息队列装置112以及消息队列装置122在数据同步过程中均可以包括多个消息队列。
其中,消息队列是一种应用程序对应用程序间传输消息的通道。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信,而无需专用连接来链接它们。常见消息队列有rabbitmq,rocketmq,kafka等。
请再结合图2所示,在第一机房110中,服务器111中运行有SDK(SoftwareDevelopment Kit)组件,该SDK组件可以订阅数据生产方所产生的业务数据,将该业务数据写入到第一机房110中的消息队列装置112。在第二机房120中,数据迁移设备121可以将第一机房110中的消息队列装置112的数据迁移到消息队列装置122,而服务器123可以从消息队列装置122中读取数据进行处理。其中,作为一种方式,在服务器123中运行有一个管理节点以及多个处理节点,例如,图2中的mater node为管理节点,receive node为处理节点。而ETCD负责选举管理节点作为处理节点以及协调多个处理节点处理消息队列中的数据。
下面再以从第一机房110同步数据到第二机房120为例说明下同步过程中的数据传输流程。在这种情况下,第一机房110则为业务数据发送方的源机房,第二机房120则为业务数据接收方的目标机房。
第一机房110中服务器111运行的SDK组件,将接收到的业务数据封装为数据包,并以异步线程的方式将数据包写入到消息队列装置112中的消息队列中。而目标机房的数据迁移设备121预先订阅有消息队列装置112中的数据,当数据迁移设备121检测到消息队列装置112中的消息队列有数据包写入时,则将该消息队列中的数据包迁移到第二机房120的消息队列装置122中的消息队列中。则第二机房120的服务器123再从消息队列装置122中的消息队列中读取待处理的目标数据包进行处理,从而完成数据从第一机房110到第二机房120的同步。其中,对数据包进行处理包括对数据包的合法性进行校验以及将数据包所携带的信息内容写入到服务器123本地。
需要说明的是,消息队列装置112可以由一台物理设备,例如一台服务器来承载,也可以有多台物理设备来承载,例如,多台服务器来承载。对于消息队列装置122也是如此。再者,当数据迁移设备121由一台服务器来实现时,且消息队列装置122也由一个物理设备来承载时,可以将消息队列装置122部署在数据迁移设备121中,即由一台服务器来实现数据迁移设备121和消息队列装置122的功能。
下面将结合附图具体描述本申请的各实施例。
请参阅图3,本申请提供的数据同步控制方法,应用于跨机房数据同步系统,所述跨机房数据同步系统包括消息队列装置以及数据迁移设备;所述数据迁移设备用于对所述消息队列装置中的数据进行迁移,并控制所述消息队列装置中的数据传输效率;所述方法包括:
步骤S110:所述数据迁移设备获取所述消息队列装置的数据传输效率。
步骤S120:将所述数据传输效率与预期数据传输效率进行匹配。
步骤S130:若不匹配,调控所述消息队列装置中用于数据传输的消息队列的数量,以使所述消息队列装置的数据传输效率与所述预期数据传输效率匹配。
本申请提供的一种数据同步控制方法,在获取所述消息队列装置的数据传输效率与预期数据传输效率匹配不匹配时,调控所述消息队列装置中用于数据传输的消息队列的数量,从而实现动态调控消息队列装置中消息队列的数量,以使消息队列装置传输数据的效率与预期传输效率相匹配,进而实现了对数据同步效率的动态调控,改善了还无法实现对数据同步效率进行控制,进而造成系统在运行中存在潜在的风险的问题。
请参阅图4,本申请提供的数据同步控制方法,应用于跨机房数据同步系统,所述跨机房数据同步系统包括消息队列装置以及数据迁移设备;所述数据迁移设备用于对所述消息队列装置中的数据进行迁移,并控制所述消息队列装置中的数据传输效率;所述方法包括:
步骤S210:所述数据迁移设备获取所述消息队列装置的数据传输效率。
作为一种方式,数据迁移设备通过计算消息队列装置每秒所传输数据的数量来获取到消息队列装置的数据传输效率。例如,当数据迁移设备计算消息队列装置每秒传输数据的数量为a时,则所获取到的数据传输效率为每秒传输a个数据。此外,除了通过每秒所传输数据的数量来表征数据传输效率外,还可以通过每秒传输的数据流量大小来计算数据传输效率。
需要说明的是,具体用何种计量方式表征数据传输效率在本申请中不做具体的限定,只要该计量方式可以表征一段时间内数据的传输数量或者传输流量的大小即可。
步骤S220:将所述数据传输效率与预期数据传输效率进行匹配。
当数据迁移设备在将所获取的数据传输效率与预期数据传输效率进行匹配之前,可以先获取预期数据传输效率用于标识数据传输效率的计量方式。然后,基于预期数据传输效率包括的用于标识数据传输效率的计量方式,来获取消息集群队列的数据传输效率,以便进行计量方式对等的匹配。
例如,当获取到预期数据传输效率包括的用于标识数据传输效率的计量方式为每秒传输数据的数量时,则数据迁移设备在获取数据传输效率时,则计算消息队列装置每秒传输数据的数量。当获取到预期数据传输效率用于标识数据传输效率的计量方式为每秒传输数据的数据流量大小时,则数据迁移设备在获取数据传输效率时,则计算消息队列装置每秒传输数据的数据流量大小。
步骤S230:若所述数据传输效率小于所述预期数据传输效率时,增加所述消息队列装置中所述消息队列的数量。
当所述数据传输效率小于所述预期数据传输效率时,表征消息队列装置的数据传输效率还没有达到预期的数据传输效率,则数据迁移设备动态增加消息队列装置中用于传输数据的消息队列数量,以提升消息队列装置的数据传输效率。
需要说明的是,为了提升消息队列传输数据的效率,每个消息队列由单独的一个线程进行处理。则当增加了消息队列装置中的消息队列数量后,对于新增加的消息队列,则会分配新的线程来处理新增加消息队列的数据传输。
步骤S240:若所述数据传输效率大于所述预期数据传输效率时,减少所述消息队列装置中所述消息队列的数量。
当所述数据传输效率大于所述预期数据传输效率时,表征消息队列装置的数据传输效率已经超过预期的数据传输效率,则数据迁移设备动态减小消息队列装置中用于传输数据的消息队列数量,以减小消息队列装置的数据传输效率。
需要说明的是,预期数据传输效率可以为数据同步开始之前根据跨机房数据同步系统的数据传输性能设置。例如,可以根据承载消息队列装置的物理设备以及数据迁移设备的处理器每秒所能处理的数据数量,以及承载消息队列装置的物理设备以及数据迁移设备的内存大小类设置,从而使数据同步过程能够更好的适应系统的数据处理性能,减小系统崩溃的概率。
此外,也可以在数据同步过程中,根据当前的网络状况,例如,网络的拥塞状态以及网络带宽进行调整。例如,若当前网络的网络延时超过预设值时,则调低当前的预期数据传输效率。
作为一种方式,数据迁移设备检测到所述消息队列装置中任一消息队列瞬时传输数据的数量大于所述任一消息队列对应的预设瞬时数量时,调控所述任一消息队列瞬时传输数据的数量不大于所述任一消息队列对应的预设瞬时数量,以实现对任一消息队列的瞬时传输数据的数量进行调控。
此外,除了实现对单一的消息队列瞬时传输数据的数量进行调控外,还可以实现对消息队列装置整体瞬时传输数据的数量进行调控。本申请提供的数据同步控制方法还包括:检测到所述消息队列装置瞬时传输数据的数量大于预设瞬时数量时,调控所述消息队列装置传瞬时传输数据的数量不大于所述预设瞬时数量。
作为一种方式,当检测到所述消息队列装置在预设的时间窗口内传输的数据的数据数量大于所述时间窗口对应的传输阈值时,控制所述消息队列装置在所述时间窗口内停止传输数据;当检测到下一个时间窗口开始时,控制所述消息队列装置开始传输数据。
例如,时间窗口被设置为10s,且在这个10秒的时间窗口内允许传输的数据流量为100MB。当从时间窗口开始时开始计时,在该时间窗口开始的2秒内已经传输的数据流量为100MB,虽然该时间窗口还未结束,但依然控制消息队列装置停止传输数据。当检测到该时间窗口结束后,且下一个时间窗口开始时,即同步数据已经进行了11秒时,重新控制消息队列装置开始传输数据。
需要说明的是,前述时间窗口的长度以及时间窗口内允许传输的数据流量只是示例性的,不做具体限定。具体的时间窗口长度可以根据实际的网络质量或者根据承载消息队列装置的物理设备的性能设定。
作为一种方式,上述涉及的消息队列装置可以包括第一消息队列装置以及第二消息队列装置。其中所述第一消息队列装置用于设置于源机房,以接收数据发送方所写入的数据,所述第二消息队列装置用于设置于目标机房。例如,第一消息队列装置可以为图1中所示的消息队列装置112,第二消息队列装置可以为图1中所示的消息队列装置122。在这种情况下,数据迁移设备则用于将第一消息队列装置中写入的数据迁移到第二消息队列装置中。
可以理解的是,数据迁移设备可以基于预期数据传输效率,分别调控第一消息队列装置以及第二消息队列装置的数据传输效率。还可以调控第一消息队列装置瞬时传输数据的数量以及窗口时间内的所传输数据的数据量进行调控。再者,也可以调控第二消息队列装置瞬时传输数据的数量以及窗口时间内的所传输数据的数据量进行调控。其中,对第一消息队列装置和第二消息队列装置进行调控的具体方式可以参照前述的内容,此处不再赘述。
作为一种方式,在数据迁移设备调控增加第一消息队列装置中的消息队列的数量后,在数据迁移设备检查到第一消息队列装置与数据迁移设备之间网络的网络质量没有达到预设标准时,表征数据迁移设备将第一消息队列装置中的数据迁移到数据迁移设备之间的效率还未达到预设标准,则即时提升了第一消息队列装置的数据传输效率,也不会增加目标机房的数据传输压力,则数据迁移设备依然保持第二消息队列装置中消息队列数量不变,以便节约资源。
在数据迁移设备调控增加第一消息队列装置中的消息队列的数量后,在数据迁移设备检查到第一消息队列装置与数据迁移设备之间网络的网络质量达到预设标准时,则也对应增加第二消息队列装置中消息队列数量。
需要说明的是,对于如何判断网络质量可以参照前述的基于网络延时进行判断。此外,还可以通过其他指标进行判断,例如,网络丢包率等。
本申请提供的一种数据同步控制方法,在获取所述消息队列装置的数据传输效率与预期数据传输效率匹配不匹配时,调控所述消息队列装置中用于数据传输的消息队列的数量,从而实现动态调控消息队列装置中消息队列的数量,以使消息队列装置传输数据的效率与预期传输效率相匹配,进而实现了对数据同步效率的动态调控,并且还对消息队列装置的瞬时传输数量以及窗口时间内的传输数据的数据量进行调控,改善了还无法实现对数据同步效率进行控制,进而造成系统在运行中存在潜在的风险的问题。
请参阅图5,本申请提供的一种数据同步控制装置300,运行于跨机房数据同步系统中的数据迁移设备,所述跨机房数据同步系统还包括消息队列装置;所述数据迁移设备用于对所述消息队列装置中的数据进行迁移,并控制所述消息队列装置中的数据传输效率;所述装置300包括:传输效率获取单元310、传输效率检测单元320以及传输效率调控单元330。
其中,传输效率获取单元310,用于获取所述消息队列装置的数据传输效率;
传输效率检测单元320,用于将所述数据传输效率与预期数据传输效率进行匹配;
传输效率调控单元330,用于若不匹配时,调控所述消息队列装置中用于数据传输的消息队列的数量,以使所述消息队列装置的数据传输效率与所述预期数据传输效率匹配。
请参阅图6,本申请提供的一种数据同步控制装置400,运行于跨机房数据同步系统中的数据迁移设备,所述跨机房数据同步系统还包括消息队列装置;所述数据迁移设备用于对所述消息队列装置中的数据进行迁移,并控制所述消息队列装置中的数据传输效率。所述装置400包括:传输效率获取单元410、传输效率检测单元420、传输效率调控单元430、瞬时流量调控单元440以及窗口流量调控单元450。
其中,传输效率获取单元410,用于获取所述消息队列装置的数据传输效率;
传输效率检测单元420,用于将所述数据传输效率与预期数据传输效率进行匹配;
传输效率调控单元430,用于若所述数据传输效率小于所述预期数据传输效率时,增加所述消息队列装置中所述消息队列的数量;若所述数据传输效率大于所述预期数据传输效率时,减少所述消息队列装置中所述消息队列的数量。
作为一种方式,装置400还包括:瞬时流量调控单元440,用于检测到所述消息队列装置中任一消息队列瞬时传输数据的数量大于所述任一消息队列对应的预设瞬时数量时,调控所述任一消息队列瞬时传输数据的数量不大于所述任一消息队列对应的预设瞬时数量。
瞬时流量调控单元440,还用于检测所述消息队列装置瞬时传输数据的数量大于预设瞬时数量时,调控所述消息队列装置传瞬时传输数据的数量不大于所述预设瞬时数量。
作为一种方式,装置400还包括:窗口流量调控单元450,用于当检测到所述消息队列装置在预设的时间窗口内传输的数据的数据数量大于所述时间窗口对应的传输阈值时,控制所述消息队列装置在所述时间窗口内停止传输数据;当检测到下一个时间窗口开始时,控制所述消息队列装置开始传输数据。
综上所述,本申请提供的一种数据同步控制方法、装置以及服务器,在获取所述消息队列装置的数据传输效率与预期数据传输效率匹配不匹配时,调控所述消息队列装置中用于数据传输的消息队列的数量,从而实现动态调控消息队列装置中消息队列的数量,以使消息队列装置传输数据的效率与预期传输效率相匹配,进而实现了对数据同步效率的动态调控,改善了还无法实现对数据同步效率进行控制,进而造成系统在运行中存在潜在的风险的问题。
请参阅图7,基于上述的数据同步控制方法、装置,本申请还提供一种服务器140,该服务器140可以作为图1中所示的系统的服务器111或者服务器123,也可以为承载消息队列装置122或者消息队列装置112的物理设备,还可以作为图1中的数据迁移设备121。
需要说明的是,当消息队列装置112或者消息队列装置122均设立在一个设备上时,消息队列装置112运行在一个服务器140中,消息队列装置122也是运行在一个服务器140中。而当消息队列装置112或者消息队列装置122是分布在多个物理设备时,则消息队列装置112是分布在多个服务器140中,消息队列装置122也是分布在多个服务器140中。
该服务器140包括一个或多个(图中仅示出一个)处理器222、存储器224、网络模块228以及外设接口230。
本领域普通技术人员可以理解,相对于所述处理器222来说,所有其他的组件均属于外设,所述处理器222与这些外设之间通过多个外设接口230相耦合。所述外设接口230可基于以下标准实现:通用异步接收/发送装置(Universal Asynchronous Receiver/Transmitter,UART)、通用输入/输出(General Purpose Input Output,GPIO)、串行外设接口(Serial Peripheral Interface,SPI)、内部集成电路(Inter-Integrated Circuit,I2C),但不并限于上述标准。在一些实例中,所述外设接口230可仅包括总线。此外,这些控制器还可以从所述外设接口230中脱离出来,而集成于所述处理器222内或者相应的外设内。
所述存储器224可用于存储软件程序以及模块,所述处理器222通过运行存储在所述存储器224内的软件程序以及模块,从而执行各种功能应用以及数据处理。所述存储器224可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,所述存储器224可进一步包括相对于所述处理器222远程设置的存储器。此外,存储器224还可以存储一些待处理的数据。例如,当消息队列装置112或者消息队列装置122是由服务器140来承载时,存储器224可以存储消息队列中的数据。
所述网络模块228用于接收以及发送网络数据,以实现和其他设备之间通过网络进行数据交互。
外设接口230用于服务器140与外部设备通过有线的方式进行通信。该外设接口可以是USB接口或者RS232接口等。
上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(服务器),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。例如,该程序在执行时,执行的内容为前述内容中步骤S110到步骤S130的内容。此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种数据同步控制方法,其特征在于,应用于跨机房数据同步系统,所述跨机房数据同步系统包括消息队列装置以及数据迁移设备;所述数据迁移设备用于对所述消息队列装置中的数据进行迁移,并控制所述消息队列装置中的数据传输效率;所述方法包括:
所述数据迁移设备获取所述消息队列装置的数据传输效率;
将所述数据传输效率与预期数据传输效率进行匹配;
若不匹配,调控所述消息队列装置中用于数据传输的消息队列的数量,以使所述消息队列装置的数据传输效率与所述预期数据传输效率匹配。
2.根据权利要求1所述的方法,其特征在于,所述若不匹配,调控所述消息队列装置中的消息队列的数量步骤包括:
若所述数据传输效率小于所述预期数据传输效率时,增加所述消息队列装置中所述消息队列的数量;
若所述数据传输效率大于所述预期数据传输效率时,减少所述消息队列装置中所述消息队列的数量。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述消息队列装置瞬时传输数据的数量大于预设瞬时数量时,调控所述消息队列装置传瞬时传输数据的数量不大于所述预设瞬时数量。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述消息队列装置中任一消息队列瞬时传输数据的数量大于所述任一消息队列对应的预设瞬时数量时,调控所述任一消息队列瞬时传输数据的数量不大于所述任一消息队列对应的预设瞬时数量。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当检测到所述消息队列装置在预设的时间窗口内传输的数据的数据数量大于所述时间窗口对应的传输阈值时,控制所述消息队列装置在所述时间窗口内停止传输数据;
当检测到下一个时间窗口开始时,控制所述消息队列装置开始传输数据。
6.一种数据同步控制装置,其特征在于,运行于跨机房数据同步系统中的数据迁移设备,所述跨机房数据同步系统还包括消息队列装置;所述数据迁移设备用于对所述消息队列装置中的数据进行迁移,并控制所述消息队列装置中的数据传输效率;所述装置包括:
传输效率获取单元,用于获取所述消息队列装置的数据传输效率;
传输效率检测单元,用于将所述数据传输效率是否与预期数据传输效率进行匹配;
传输效率调控单元,用于若不匹配,调控所述消息队列装置中用于数据传输的消息队列的数量,以使所述消息队列装置的数据传输效率与所述预期数据传输效率匹配。
7.根据权利要求6所述的装置,其特征在于,所述传输效率调控单元,具体用于若所述数据传输效率小于所述预期数据传输效率时,增加所述消息队列装置中所述消息队列的数量;
若所述数据传输效率大于所述预期数据传输效率时,减少所述消息队列装置中所述消息队列的数量。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
窗口流量调控单元,用于当检测到所述消息队列装置在预设的时间窗口内传输的数据的数据数量大于所述时间窗口对应的传输阈值时,控制所述消息队列装置在所述时间窗口内停止传输数据;当检测到下一个时间窗口开始时,控制所述消息队列装置开始传输数据。
9.一种服务器,其特征在于,包括一个或多个处理器以及存储器;
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行权利要求1-5任一所述的方法。
10.一种具有处理器可执行的程序代码的计算机可读存储介质,其特征在于,所述程序代码使所述处理器执行权利要求1-5任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711478406.0A CN107920136B (zh) | 2017-12-29 | 2017-12-29 | 数据同步控制方法、装置以及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711478406.0A CN107920136B (zh) | 2017-12-29 | 2017-12-29 | 数据同步控制方法、装置以及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107920136A true CN107920136A (zh) | 2018-04-17 |
CN107920136B CN107920136B (zh) | 2019-09-17 |
Family
ID=61894543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711478406.0A Active CN107920136B (zh) | 2017-12-29 | 2017-12-29 | 数据同步控制方法、装置以及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107920136B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109474612A (zh) * | 2018-12-11 | 2019-03-15 | 江苏电力信息技术有限公司 | 一种高安全高性能的移动app通讯方法 |
CN110489225A (zh) * | 2018-05-15 | 2019-11-22 | 中国移动通信集团浙江有限公司 | 一种基于消息队列的服务扩容方法、装置及设备 |
CN112764947A (zh) * | 2021-01-15 | 2021-05-07 | 百果园技术(新加坡)有限公司 | 消息数据拉取方法、装置、设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360310A (zh) * | 2011-09-28 | 2012-02-22 | 中国电子科技集团公司第二十八研究所 | 一种分布式系统环境下的多任务进程监视方法和监视系统 |
CN103049317A (zh) * | 2013-01-10 | 2013-04-17 | 中国南方电网有限责任公司超高压输电公司 | 云环境下基于队列的高并发数据快速写入系统及方法 |
CN105095364A (zh) * | 2015-06-26 | 2015-11-25 | 车智互联(北京)科技有限公司 | 一种数据同步系统和方法 |
CN106385382A (zh) * | 2016-09-05 | 2017-02-08 | 努比亚技术有限公司 | 一种数据同步方法、装置和系统 |
CN106657314A (zh) * | 2016-12-14 | 2017-05-10 | 北京奇艺世纪科技有限公司 | 跨数据中心数据同步系统及方法 |
CN106713487A (zh) * | 2017-01-16 | 2017-05-24 | 腾讯科技(深圳)有限公司 | 数据的同步方法和装置 |
CN106909595A (zh) * | 2016-06-20 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据迁移方法及装置 |
US20170293717A1 (en) * | 2016-04-08 | 2017-10-12 | Bingsheng Technology (Wuhan) Co., Ltd. | System and method for remote pathology consultation data transfer and storage |
-
2017
- 2017-12-29 CN CN201711478406.0A patent/CN107920136B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360310A (zh) * | 2011-09-28 | 2012-02-22 | 中国电子科技集团公司第二十八研究所 | 一种分布式系统环境下的多任务进程监视方法和监视系统 |
CN103049317A (zh) * | 2013-01-10 | 2013-04-17 | 中国南方电网有限责任公司超高压输电公司 | 云环境下基于队列的高并发数据快速写入系统及方法 |
CN105095364A (zh) * | 2015-06-26 | 2015-11-25 | 车智互联(北京)科技有限公司 | 一种数据同步系统和方法 |
US20170293717A1 (en) * | 2016-04-08 | 2017-10-12 | Bingsheng Technology (Wuhan) Co., Ltd. | System and method for remote pathology consultation data transfer and storage |
CN106909595A (zh) * | 2016-06-20 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据迁移方法及装置 |
CN106385382A (zh) * | 2016-09-05 | 2017-02-08 | 努比亚技术有限公司 | 一种数据同步方法、装置和系统 |
CN106657314A (zh) * | 2016-12-14 | 2017-05-10 | 北京奇艺世纪科技有限公司 | 跨数据中心数据同步系统及方法 |
CN106713487A (zh) * | 2017-01-16 | 2017-05-24 | 腾讯科技(深圳)有限公司 | 数据的同步方法和装置 |
Non-Patent Citations (1)
Title |
---|
鲍春健等: "支持动态负载平衡的分层消息队列模型", 《计算机工程与应用》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110489225A (zh) * | 2018-05-15 | 2019-11-22 | 中国移动通信集团浙江有限公司 | 一种基于消息队列的服务扩容方法、装置及设备 |
CN109474612A (zh) * | 2018-12-11 | 2019-03-15 | 江苏电力信息技术有限公司 | 一种高安全高性能的移动app通讯方法 |
CN112764947A (zh) * | 2021-01-15 | 2021-05-07 | 百果园技术(新加坡)有限公司 | 消息数据拉取方法、装置、设备和存储介质 |
CN112764947B (zh) * | 2021-01-15 | 2023-12-26 | 百果园技术(新加坡)有限公司 | 消息数据拉取方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107920136B (zh) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108256002B (zh) | 跨机房数据同步方法、装置、系统以及服务器 | |
US10003540B2 (en) | Flow forwarding method, device, and system | |
US10042583B2 (en) | Device management method, device, and device management controller | |
US8407308B2 (en) | Adaptive and configurable application sharing system using manual and automatic techniques | |
US9621465B2 (en) | Wired data-connection aggregation | |
US20130080560A1 (en) | System and Method for Sharing Digital Data on a Presenter Device to a Plurality of Participant Devices | |
CN107920136A (zh) | 数据同步控制方法、装置以及服务器 | |
CN108347476A (zh) | 跨机房数据同步方法、装置以及服务器 | |
CN108683618B (zh) | 通信设备和智能终端 | |
CN111586714B (zh) | 网络端口分配方法、装置、电子设备和计算机可用介质 | |
CN109828843A (zh) | 一种计算节点间数据传输的方法、系统及电子设备 | |
CN108093077B (zh) | 异常处理方法、装置以及服务器 | |
CN102137091B (zh) | 一种过负荷控制方法、装置、系统及客户端 | |
CN108170545A (zh) | 一种基于消息中间件的消息传输方法和装置 | |
CN110213155B (zh) | 通信处理方法、装置及相关设备、存储介质 | |
CN116886576A (zh) | 一种多控存储集群通信超时控制方法、装置、设备及介质 | |
US20120066305A1 (en) | Transmitting system and method thereof | |
CN104270255A (zh) | 一种基于linx进程的节点间通信模块及方法 | |
CN105519055A (zh) | 一种I/O通道QoS动态均衡方法及装置 | |
CN103838586A (zh) | 文件开启的系统及方法 | |
CN106961475A (zh) | 一种基于nbd的远程磁盘共享方法和共享系统 | |
US9270530B1 (en) | Managing imaging of multiple computing devices | |
CN110928693A (zh) | 一种计算设备及资源分配方法 | |
CN113923206A (zh) | 数据传输方法、装置及系统 | |
EP3188531B1 (en) | Cluster system self-organizing method, device, and cluster system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: OPPO Guangdong Mobile Communications Co., Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: Guangdong OPPO Mobile Communications Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |