CN106888238B - 一种数据同步方法及装置 - Google Patents

一种数据同步方法及装置 Download PDF

Info

Publication number
CN106888238B
CN106888238B CN201510939394.1A CN201510939394A CN106888238B CN 106888238 B CN106888238 B CN 106888238B CN 201510939394 A CN201510939394 A CN 201510939394A CN 106888238 B CN106888238 B CN 106888238B
Authority
CN
China
Prior art keywords
service request
data
service
remote server
processing result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510939394.1A
Other languages
English (en)
Other versions
CN106888238A (zh
Inventor
窦方钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Tmall Technology Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510939394.1A priority Critical patent/CN106888238B/zh
Publication of CN106888238A publication Critical patent/CN106888238A/zh
Application granted granted Critical
Publication of CN106888238B publication Critical patent/CN106888238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请公开了一种数据同步方法,用以解决在进行跨地区数据同步时,采用现有技术会造成不必要的流量浪费的问题。方法包括:本地服务器接收业务请求;判断所述业务请求包含的原始业务数据的数据量是否小于所述业务请求对应的处理结果数据的数据量;若是,对所述业务请求进行复制,将复制的业务请求发送给远端服务器,以使得所述远端服务器通过处理所述复制的业务请求得到处理结果数据并保存;否则,处理所述业务请求,获得所述业务请求对应的处理结果数据,并发送给所述远端服务器保存。本申请还公开了一种数据同步装置。

Description

一种数据同步方法及装置
技术领域
本申请涉及互联网技术领域,尤其涉及一种数据同步方法及装置。
背景技术
随着互联网技术的不断发展,服务器需要处理的数据量也越来越大,为了避免服务器过载的问题,越来越多的互联网公司会在不同地区(如不同的行政区域)分别设置服务器以及数据库。
基于在不同地区设置的服务器以及数据库,可以基于负载均衡的原则,将不同的业务请求分配到不同的服务器上进行处理。比如,将包含的用户标识的尾号是0~4的业务请求,分配给设置在A地的服务器1进行处理并得到处理后的业务数据;将包含的用户标识的尾号是5~9的业务请求,分配给设置在B地的服务器2进行处理并得到处理后的业务数据;等等。服务器得到的处理后的业务数据,会保存到本地数据库中。
目前,服务器在对一些业务请求进行处理时,可能会存在跨地区数据同步的需求。
例如,以用户浏览图书网站并对浏览的图书进行收藏为例,假设根据用户访问新闻网站使用的互联网协议地址(Internet Protocol Address,IP地址),将该用户的图书收藏请求分配至被北京服务器进行处理,并得到服务器处理后的收藏数据。后续,当该用户出差到了上海时,因为IP地址的变化,该用户再次访问该图书网站时,用户的业务请求将被分配到上海的服务器进行处理,此时用户可能期望对之前在北京的收藏的图书进行查询。在这样的场景下,就需要北京的服务器将该用户的收藏数据同步到上海的服务器,从而使得用户可以通过上海的服务器查询到北京服务器上收藏数据。
现有技术中采用的跨地区数据同步的方案,一般是基于数据库层的数据同步。即,对设置在各地区的数据库中存储的处理后的业务数据分别进行复制进而实现同步。
基于数据库层的数据同步方案,缺陷在于可能会带来非常大的流量浪费。比如业务请求中的原始业务数据只有1k大小(原始业务数据可能只包含用户操作环境的信息,如用户账号等),而经过服务器处理之后,存储到数据库的处理后的业务数据的大小可能会扩大到5k(例如处理后的业务数据还包含业务请求中的源IP地址对于服务器的访问次数、用户的访问记录等各种信息)。那么,当原本只需要复制大小为1k的原始业务数据即可完成跨地区数据同步需求,按照现有技术需要复制5k的处理后的业务数据。
发明内容
本申请实施例提供一种数据同步方法,用以解决在进行跨地区数据同步时,采用现有技术会造成不必要的流量浪费的问题。
本申请实施例还提供一种数据同步装置,用以解决在进行跨地区数据同步时,采用现有技术会造成不必要的流量浪费的问题。
本申请实施例采用下述技术方案:
一种数据同步方法,包括:
本地服务器接收业务请求;判断所述业务请求包含的原始业务数据的数据量是否小于所述业务请求对应的处理结果数据的数据量;若是,对所述业务请求进行复制,将复制的业务请求发送给远端服务器,以使得所述远端服务器通过处理所述复制的业务请求得到处理结果数据并保存;否则,处理所述业务请求,获得所述业务请求对应的处理结果数据,并发送给所述远端服务器保存。
一种数据同步装置,包括:
业务请求接收单元,用于接收业务请求;数据量大小判断单元,用于判断所述业务请求包含的原始业务数据的数据量是否小于所述业务请求对应的处理结果数据的数据量;业务请求发送单元,用于当数据量大小判断单元的判断结果为是时,对所述业务请求进行复制,将复制的业务请求发送给远端服务器,以使得所述远端服务器通过处理所述复制的业务请求得到处理结果数据并保存;业务数据发送单元,用于当数据量大小判断单元的判断结果为否时,处理所述业务请求,获得所述业务请求对应的处理结果数据,并发送给所述远端服务器保存。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
采用本申请实施例提供的方法,在进行数据同步时,可以确定业务请求对应的原始业务数据的第一数据量和所述业务请求对应的处理后的业务数据的第二数据量的比较结果,并根据确定的比较结果,对所述业务请求对应的数据量较小的业务数据进行同步,因而可以减少在进行跨地区数据同步时所耗费的处理资源。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种数据同步方法的具体实现流程示意图;
图2为本申请实施例提供的一种数据同步装置的具体结构示意图;
图3为本申请实施例提供的一种数据同步系统在进行数据同步时的具体流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
实施例1
本申请实施例提供一种数据同步方法,用以解决在进行跨地区数据同步时,采用现有技术会造成不必要的流量浪费的问题。
本申请实施例提供的数据同步方法的执行主体可以是服务器,例如,购物网站的服务器、微博网站的服务器、视频网站的服务器,等等。所述的执行主体并不构成对本申请的限定,为了便于描述,本申请实施例均以执行主体是购物网站的服务器为例进行说明。
该方法的具体实现流程示意图如图1所示,主要包括下述步骤:
步骤11,本地服务器接收业务请求;
需要说明的是,一般地,在业务请求中,往往包含有表示业务类型的业务类型标识,则服务器在接收到业务请求后,可以根据所述业务类型标识,确定业务请求对应的业务类型。
例如,以购物网站的服务器为例,当用户通过手机上安装的购物APP,访问该网站并购买A商品时,该APP会向购物网站服务器发送包含“购买A商品”标识的业务请求,则服务器在接收到该请求后,可以根据“购买A商品”标识,确定该业务请求的业务类型为“购买业务”;当用户通过该购物APP,访问该网站并收藏A商品时,该APP户会向购物网站服务器发送包含“收藏A商品”标识的业务请求,则服务器在接收到该请求后,可以根据“收藏A商品”标识,确定该业务请求的业务类型为“收藏业务”。
步骤12,购物网站的服务器判断所述业务请求包含的原始业务数据的数据量(后称第一数据量)是否小于所述业务请求对应的处理结果数据的数据量(后称第二数据量);若是,执行步骤13;否则,执行步骤14;
其中,业务请求包含的原始业务数据,即业务请求中包含的所有业务数据,或者也可以就是业务请求本身;业务请求对应的处理结果数据,即业务处理系统对业务请求进行处理后得到的业务数据。该购物网站的服务器上安装有该业务处理系统,后文所说的其他服务器上,也安装有该业务处理系统。
业务请求包含的原始业务数据,一般是指业务请求中包含的所有数据。比如,可以包括所述业务请求中包含的、该业务请求发送方的相关数据,如业务请求发送方的互联网协议(Internet Protocol,IP)地址、所述业务请求发送方的设备编号以及所述业务请求发送方的MAC地址,等。此外,所述原始业务数据,还可以包括业务请求中包含的、与业务相关的数据。比如,当所述业务请求为与购买业务相关的“购买请求”时,业务请求中包含的、与业务相关的数据,比如可以是:购买物品的名称、购买数量以及支付方式等。
在一种情况下,业务处理系统在对业务请求进行处理后,得到的处理结果数据的数据量,可能大于所述业务请求包含的原始业务数据的数据量。例如,所述处理后的业务数据中,除了可以包含所述业务请求发送方的相关数据外,还可以包含所述业务请求发送方的访问情况数据。
其中,所述业务请求发送方的访问情况数据,比如可以是指,所述业务请求发送方通过原始业务数据中的IP地址访问服务器的次数,所述业务请求发送方通过原始业务数据中的设备编号访问服务器的次数,所述业务请求发送方通过原始业务数据中的MAC地址访问服务器的次数,等等。
在另一种情况下,业务处理系统在对业务请求进行处理后,得到的处理结果数据的数据量可能小于所述业务请求对应的原始业务数据的数据量。
针对上述两种情况,经发明人研究发现,相同业务类型的不同业务请求的第一数据量和第二数据量的大小关系往往是相同的。所说的业务请求的第一数据量,即业务请求对应的原始业务数据的数据量;而业务请求的第二数据量,即业务请求对应的处理后的业务数据的数据量。
比如,假设业务类型A的业务请求1的第一数据量小于第二数据量,则该业务类型A的业务请求2的第一数据量往往也小于第二数据量;又比如,假设业务类型B的业务请求a的第一数据量大于第二数据量,该业务类型B的业务请求b的第一数据量往往也大于第二数据量。
综上可见,业务请求对应的业务类型,可以表征业务请求的第一数据量和第二数据量的大小关系。
基于上述结论,本申请实施例中,确定业务请求的第一数据量和第二数据量的比较结果的一种具体实施方式,可以包括:判断所述业务请求对应的业务类型是否包含在预设的指定类型集中;若是,则判定所述业务请求包含的原始业务数据的数据量小于所述业务请求对应的处理结果数据的数据量;否则,判定所述业务请求包含的原始业务数据的数据量不小于所述业务请求对应的处理结果数据的数据量。
其中,所述预设指定类型集,是由符合条件的不同业务类型构成的,在一种具体实施方式中,本申请实施例设置指令类型集,可以包括:针对任一待测业务类型,接收该待测业务类型对应的指定数量的业务请求,作为测试请求;确定将各测试请求中的一部分发送给远端服务器所消耗的第一流量;将各测试请求中的剩余部分进行处理得到相应的各测试结果数据,确定将各测试结果数据发送给所述远端服务器所消耗的第二流量;若所述第一流量小于所述第二流量,则将该待测业务类型设置为包含在指定类型集中;若所述第一流量不小于所述第二流量,则将该待测业务类型设置为不包含在指定类型集中。
以下,以所述待测业务类型为业务类型A为例,说明如何确定该待测业务类型是否包含在预设的指定类型集中:
假设,购物网站服务器接收到1000条业务类型A的业务请求,该购物网站的服务器对其中500条业务请求中包含的原始业务数据进行复制,并将复制得到的原始业务数据同步至远端服务器,并对同步这些数据耗费的流量进行记录(记录的流量称第一流量);该购物网站的服务器对另外500条业务请求进行处理得到相应的各测试结果数据,复制所述各测试结果数据,并将得到的各测试结果数据同步至远端服务器,并对同步该些数据耗费的流量进行记录(记录的流量称第二流量)。
比较第一流量和第二流量;若前者大于后者,则为该业务类型设置出口数据复制策略;若前者小于后者,则为该待测业务类型包含在预设的指定类型集中;若前者大于后者,则该待测业务类型不包含在预设的指定类型集中。
在一种实施方式中,本申请实施例可以根据针对不同业务类型,在所述购物网站的服务器中设置相应的数据复制策略。数据复制策略,可以包括入口数据复制策略以及出口数据复制策略。其中,入口数据复制策略,是指对业务请求包含的原始业务数据进行复制并发送;出口数据复制策略,是指对业务请求对应的处理结果数据进行复制并发送。
在一种实施方式中,设置在所述服务器中的数据复制策略,可以是人为确定并设置的;也可以是所述服务器对采用不同同步方式所耗费的流量进行监控,并根据监控结果设置的。一般地,当某业务类型的业务请求的第一数据量小于第二数据量时,可以为该业务类型设置入口数据复制策略;反之,当某业务类型的业务请求的第一数据量大于第二数据量时,可以为该业务类型设置出口数据复制策略。
由于数据复制策略,也可以表征业务请求包含的原始业务数据的数据量与业务请求对应的处理结果数据的数据量的大小关系,因此本申请实施例中,还可以通过确定不同业务类型对应的数据复制策略,来判断所述业务请求包含的原始业务数据的数据量是否小于所述业务请求对应的处理结果数据的数据量。
步骤13,购物网站的服务器对所述业务请求进行复制,将复制的业务请求发送给远端服务器,以使得所述远端服务器通过处理所述复制的业务请求得到处理结果数据并保存;
其中,远端服务器与本地服务器上均设置有相同的业务处理系统,且远端服务器与所述的购物网站的服务器均对应有不同的数据库。远端服务器在对业务请求进行处理后,可以将得到的处理后的业务数据保存在远端服务器对应的数据库中。
一般地,远端服务器在对所述复制的业务请求进行处理后,仅需要将处理得到的处理结果数据保存至对应的数据库中,而不需要将所述业务请求的处理结果数据反馈至业务请求发送方。
为了避免将所述业务请求的处理结果数据反馈至业务请求发送方,在一种实施方式中,在购物网站的服务器将复制的业务请求发送给远端服务器之后,所述方法还包括:向所述远端服务器发送指令,所述指令用于指示所述远端服务器不返回处理所述复制的业务请求后得到的处理结果数据。
在另一种实施方式中,购物网站的服务器将复制的业务请求发送给远端服务器时,可以将预设的标识信息添加在所述复制的业务请求中,并发送给远端服务器,使所述远端服务器在确定所述复制的业务请求中携带有所述标识信息时,不返回处理所述复制的业务请求后得到的处理结果数据。其中,所述预设的标识,比如可以是所述的购物网站的服务器设置的默认标识,也可以是所述的购物网站的服务器的IP地址或MAC地址等。
还需要说明的是,本地购物网站服务器可以对接收到的业务请求进行处理,并将处理得到的处理结果反馈至业务请求发送方。
步骤14,处理所述业务请求,获得所述业务请求对应的处理结果数据,并发送给所述远端服务器保存。
在一种实施方式中,所述的购物网站的服务器可以直接对所述业务请求进行处理,得到业务请求的处理结果,复制所述处理结果,并将复制得到的所述处理结果发送给远端服务器,以使得远端服务器可以将接收到所述处理后的业务数据直接保存到数据库中。
同时,该购物网站服务器可以将处理得到的处理结果反馈至业务请求发送方。
需要说明的是,实施例1所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤11和步骤12的执行主体可以为设备1,步骤13的执行主体可以为设备2;又比如,步骤11的执行主体可以为设备1,步骤12和步骤13的执行主体可以为设备2;等等。
采用本申请实施例1提供的方法,在进行数据同步时,可以确定业务请求对应的原始业务数据的第一数据量和所述业务请求对应的处理后的业务数据的第二数据量的比较结果,并根据确定的比较结果,对所述业务请求对应的数据量较小的业务数据进行同步,因而可以减少在进行跨地区数据同步时所耗费的处理资源。
实施例2
本申请实施例提供一种数据同步装置,用以解决在进行跨地区数据同步时,采用现有技术会造成不必要的流量浪费的问题。该装置的具体结构示意图如图2所示,包括:业务请求接收单元21、数据量大小判断单元22、业务请求发送单元23以及业务数据发送单元24。
其中,业务请求接收单元21,用于接收业务请求;
数据量大小判断单元22,用于判断所述业务请求包含的原始业务数据的数据量是否小于所述业务请求对应的处理结果数据的数据量;
业务请求发送单元23,用于当数据量大小判断单元22的判断结果为是时,对所述业务请求进行复制,将复制的业务请求发送给远端服务器,以使得所述远端服务器通过处理所述复制的业务请求得到处理结果数据并保存;
业务数据发送单元24,用于当数据量大小判断单元22的判断结果为否时,处理所述业务请求,获得所述业务请求对应的处理结果数据,并发送给所述远端服务器保存。
在一种实施方式中,数据量大小判断单元22,用于:判断所述业务请求对应的业务类型是否包含在预设的指定类型集中;若是,则判定所述业务请求包含的原始业务数据的数据量小于所述业务请求对应的处理结果数据的数据量;否则,判定所述业务请求包含的原始业务数据的数据量不小于所述业务请求对应的处理结果数据的数据量。
在一种实施方式中,指定类型集预设单元,用于:针对任一待测业务类型,接收该待测业务类型对应的指定数量的业务请求,作为测试请求;确定将各测试请求中的一部分发送给远端服务器所消耗的第一流量;将各测试请求中的剩余部分进行处理得到相应的各测试结果数据,确定将各测试结果数据发送给所述远端服务器所消耗的第二流量;若所述第一流量小于所述第二流量,则将该待测业务类型设置为包含在指定类型集中;若所述第一流量不小于所述第二流量,则将该待测业务类型设置为不包含在指定类型集中。
在一种实施方式中,业务请求发送单元23,用于:向所述远端服务器发送指令,所述指令用于指示所述远端服务器不返回处理所述复制的业务请求后得到的处理结果数据。
在一种实施方式中,业务请求发送单元23,用于:将预设的标识信息添加在所述复制的业务请求中,并发送给远端服务器,使所述远端服务器在确定所述复制的业务请求中携带有所述标识信息时,不返回处理所述复制的业务请求后得到的处理结果数据。
采用本申请实施例2提供的方法,在进行数据同步时,可以确定业务请求对应的原始业务数据的第一数据量和所述业务请求对应的处理后的业务数据的第二数据量的比较结果,并根据确定的比较结果,对所述业务请求对应的数据量较小的业务数据进行同步,因而可以减少在进行跨地区数据同步时所耗费的处理资源。
实施例3
本申请实施例提供一种数据同步系统,用以解决在进行跨地区数据同步时,采用现有技术会造成不必要的流量浪费的问题。通过该系统主要包括下述模块:数据复制策略配置模块、入口数据复制模块、出口数据复制模块以及数据复制监控模块。该系统,可以设置在服务器中。
其中,数据复制策略配置模块,用于根据预先设置为业务类型与数据复制策略的对应关系,为不同业务类型的业务请求配置数据复制策略。需要说明的是,可配置的数据复制策略包括:出口数据复制策略、入口数据复制策略以及自动选择数据复制策略。其中,所述的自动选择复制策略,是指根据数据复制监控模块对某业务类型的业务请求的监控结果,自动选择出口数据复制策略或入口数据复制策略,作为该业务类型的业务请求的数据复制策略。还需要说明的是,如何设置业务类型对应的数据复制策略,参见实施例1的相关描述,此处不再赘述。
当服务器接收到业务请求,且数据复制策略配置模块为该业务请求配置的数据复制策略为入口数据复制策略时,入口数据复制模块,可以复制该业务请求中包含的原始业务数据,并将复制的原始业务数据发送给远端服务器。
当服务器接收到业务请求,且数据复制策略配置模块为该业务请求配置的数据复制策略为出口数据复制策略时,出口数据复制模块,可以复制服务器对该业务请求进行处理后得到的相应的处理后的业务数据,并将复制的处理后的业务数据同步给远端数据库。
当数据复制策略配置模块为某业务类型的业务请求配置的数据复制策略为自动选择复制策略时,数据复制监控模块,可以对该业务类型的业务请求在采用不同数据复制策略进行数据同步时所耗费的流量分别进行监控。
在一种实施方式中,通过该数据同步系统进行数据同步的具体流程示意图如图3所示。
首先对图3的基本架构进行简单介绍:如图3所示,用户标识(userID)的尾号是0~4的业务请求,被分配至设置在北京服务器进行处理并得到处理后的业务数据,并将处理后的业务数据保存到北京数据库中;userID的尾号是5~9的业务请求,被分配至设置在上海服务器进行处理并得到处理后的业务数据,并将处理后的业务数据保存到上海数据库中。
假设,以上海服务器为本地服务器,向作为远端服务器的北京服务器进行数据同步为例,以下对采用不同数据复制策略进行数据同步的过程进行详细介绍。
假设数据复制策略配置模块为业务类型A配置的数据复制策略为入口数据复制策略,则在上海服务器接收到的业务类型A的业务请求后,通过入口数据复制模块,可以对所述业务类型A的业务请求中包含的原始业务数据进行复制。并通过入口数据复制模块,将复制得到的所述原始业务数据发送至的北京的服务器,以使得北京服务器通过处理所述业务请求得到处理后的业务数据并保存在北京数据库中。
假设数据复制策略配置模块为业务类型B配置的数据复制策略为出口数据复制策略,则在上海服务器接收到的业务类型B的业务请求后,通过出口数据复制模块,可以对所述业务类型B的业务请求对应的处理后的业务数据进行复制。并通过出口数据复制模块,将复制得到的所述处理后的业务数据发送至的北京的服务器,以使得北京服务器将所述处理后的业务数据保存在北京数据库中。
数据复制策略配置模块为业务类型C配置的数据复制策略为自动选择复制策略,则在上海服务器接收到的业务类型C的业务请求后,通过数据复制监控模块,监控在采用出口数据复制策略或入口数据复制策略对业务类型C的不同业务请求对应的业务数据进行同步所分别耗费的流量,根据所述分别耗费的流量,自动选择出口数据复制策略或入口数据复制策略,作为业务类型C对应的数据复制策略。假设,自动选择入口数据复制策略作为业务类型C对应的数据复制策略,进而,后续当服务器接收到业务类型C的业务请求时,通过入口数据复制模块,对所述业务请求进行数据同步。
采用本申请实施例3提供的方法,在进行数据同步时,可以确定业务请求对应的原始业务数据的第一数据量和所述业务请求对应的处理后的业务数据的第二数据量的比较结果,并根据确定的比较结果,对所述业务请求对应的数据量较小的业务数据进行同步,因而可以减少在进行跨地区数据同步时所耗费的处理资源。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个…...”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据同步方法,其特征在于,包括:
本地服务器接收业务请求;
判断所述业务请求包含的原始业务数据的数据量是否小于所述业务请求对应的处理结果数据的数据量;
若是,对所述业务请求进行复制,将复制的业务请求发送给远端服务器,以使得所述远端服务器通过处理所述复制的业务请求得到处理结果数据并保存;
否则,处理所述业务请求,获得所述业务请求对应的处理结果数据,并发送给所述远端服务器保存。
2.如权利要求1所述的方法,其特征在于,判断所述业务请求包含的原始业务数据的数据量是否小于所述业务请求对应的处理结果数据的数据量,包括:
判断所述业务请求对应的业务类型是否包含在预设的指定类型集中;
若是,则判定所述业务请求包含的原始业务数据的数据量小于所述业务请求对应的处理结果数据的数据量;
否则,判定所述业务请求包含的原始业务数据的数据量不小于所述业务请求对应的处理结果数据的数据量。
3.如权利要求2所述的方法,其特征在于,预设指定类型集,具体包括:
针对任一待测业务类型,接收该待测业务类型对应的指定数量的业务请求,作为测试请求;
确定将各测试请求中的一部分发送给远端服务器所消耗的第一流量;
将各测试请求中的剩余部分进行处理得到相应的各测试结果数据,确定将各测试结果数据发送给所述远端服务器所消耗的第二流量;
若所述第一流量小于所述第二流量,则将该待测业务类型设置为包含在指定类型集中;
若所述第一流量不小于所述第二流量,则将该待测业务类型设置为不包含在指定类型集中。
4.如权利要求1所述的方法,其特征在于,将复制的业务请求发送给远端服务器之后,所述方法还包括:
向所述远端服务器发送指令,所述指令用于指示所述远端服务器不返回处理所述复制的业务请求后得到的处理结果数据。
5.如权利要求1所述的方法,其特征在于,将复制的业务请求发送给远端服务器,具体包括:
将预设的标识信息添加在所述复制的业务请求中,并发送给远端服务器,使所述远端服务器在确定所述复制的业务请求中携带有所述标识信息时,不返回处理所述复制的业务请求后得到的处理结果数据。
6.一种数据同步装置,其特征在于,包括:
业务请求接收单元,用于接收业务请求;
数据量大小判断单元,用于判断所述业务请求包含的原始业务数据的数据量是否小于所述业务请求对应的处理结果数据的数据量;
业务请求发送单元,用于当数据量大小判断单元的判断结果为是时,对所述业务请求进行复制,将复制的业务请求发送给远端服务器,以使得所述远端服务器通过处理所述复制的业务请求得到处理结果数据并保存;
业务数据发送单元,用于当数据量大小判断单元的判断结果为否时,处理所述业务请求,获得所述业务请求对应的处理结果数据,并发送给所述远端服务器保存。
7.如权利要求6所述的装置,其特征在于,数据量大小判断单元,用于:
判断所述业务请求对应的业务类型是否包含在预设的指定类型集中;
若是,则判定所述业务请求包含的原始业务数据的数据量小于所述业务请求对应的处理结果数据的数据量;
否则,判定所述业务请求包含的原始业务数据的数据量不小于所述业务请求对应的处理结果数据的数据量。
8.如权利要求7所述的装置,其特征在于,还包括指定类型集预设单元,用于:
针对任一待测业务类型,接收该待测业务类型对应的指定数量的业务请求,作为测试请求;
确定将各测试请求中的一部分发送给远端服务器所消耗的第一流量;
将各测试请求中的剩余部分进行处理得到相应的各测试结果数据,确定将各测试结果数据发送给所述远端服务器所消耗的第二流量;
若所述第一流量小于所述第二流量,则将该待测业务类型设置为包含在指定类型集中;
若所述第一流量不小于所述第二流量,则将该待测业务类型设置为不包含在指定类型集中。
9.如权利要求6所述的装置,其特征在于,业务请求发送单元,用于:
向所述远端服务器发送指令,所述指令用于指示所述远端服务器不返回处理所述复制的业务请求后得到的处理结果数据。
10.如权利要求6所述的装置,其特征在于,业务请求发送单元,用于:
将预设的标识信息添加在所述复制的业务请求中,并发送给远端服务器,使所述远端服务器在确定所述复制的业务请求中携带有所述标识信息时,不返回处理所述复制的业务请求后得到的处理结果数据。
CN201510939394.1A 2015-12-15 2015-12-15 一种数据同步方法及装置 Active CN106888238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510939394.1A CN106888238B (zh) 2015-12-15 2015-12-15 一种数据同步方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510939394.1A CN106888238B (zh) 2015-12-15 2015-12-15 一种数据同步方法及装置

Publications (2)

Publication Number Publication Date
CN106888238A CN106888238A (zh) 2017-06-23
CN106888238B true CN106888238B (zh) 2020-05-05

Family

ID=59173923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510939394.1A Active CN106888238B (zh) 2015-12-15 2015-12-15 一种数据同步方法及装置

Country Status (1)

Country Link
CN (1) CN106888238B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651522B (zh) * 2020-05-27 2023-05-19 泰康保险集团股份有限公司 一种数据同步方法及装置
CN112311883B (zh) * 2020-10-30 2023-04-07 杭州安恒信息安全技术有限公司 一种数据同步方法及系统
CN112433886B (zh) * 2020-11-24 2024-08-23 厦门美图之家科技有限公司 数据处理方法和装置、服务器及存储介质
CN112817988B (zh) * 2021-01-06 2022-11-15 贵阳迅游网络科技有限公司 一种企业业务的同步加速方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268583A (zh) * 2013-06-14 2013-08-28 山东地纬计算机软件有限公司 一种跨区域的电子病历快速定位及共享的系统与方法
CN104052815A (zh) * 2014-06-24 2014-09-17 滕俊平 一种节省流量的同步k线的方法和系统
CN104407922A (zh) * 2014-10-29 2015-03-11 中国建设银行股份有限公司 一种异步批处理调度方法及系统
CN104519103A (zh) * 2013-09-30 2015-04-15 腾讯科技(北京)有限公司 网络数据的同步处理方法、服务器及相关系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8635373B1 (en) * 2012-09-22 2014-01-21 Nest Labs, Inc. Subscription-Notification mechanisms for synchronization of distributed states

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268583A (zh) * 2013-06-14 2013-08-28 山东地纬计算机软件有限公司 一种跨区域的电子病历快速定位及共享的系统与方法
CN104519103A (zh) * 2013-09-30 2015-04-15 腾讯科技(北京)有限公司 网络数据的同步处理方法、服务器及相关系统
CN104052815A (zh) * 2014-06-24 2014-09-17 滕俊平 一种节省流量的同步k线的方法和系统
CN104407922A (zh) * 2014-10-29 2015-03-11 中国建设银行股份有限公司 一种异步批处理调度方法及系统

Also Published As

Publication number Publication date
CN106888238A (zh) 2017-06-23

Similar Documents

Publication Publication Date Title
US11734125B2 (en) Tiered cloud storage for different availability and performance requirements
US10275232B1 (en) Architecture for incremental deployment
KR102297850B1 (ko) 클라우드 서비스 브로커리지에 기반한 클라우드 서비스 제공 방법 및 장치 및 그 방법
CN106888238B (zh) 一种数据同步方法及装置
CN104615606B (zh) 一种Hadoop分布式文件系统及其管理方法
CN107004030A (zh) 一种策略感知统一文件系统
CN111475483B (zh) 数据库迁移方法、装置及计算设备
KR102263366B1 (ko) 다중 클라우드 기반의 클라우드 브로커리지를 이용한 클라우드 서비스 제공 장치 및 그 방법
US20120185431A1 (en) Methods, Systems, and Products for Data Backup
CN106933548B (zh) 全局信息获取、处理及更新、方法、装置和系统
CN107291744A (zh) 确定及运用应用程序之间的关系关联的方法及装置
US20160364792A1 (en) Cloud service brokerage method and apparatus using service image store
CN110362384A (zh) 一种资源分配方法、装置、电子设备及存储介质
US20090234902A1 (en) System, method and apparatus for making content available over multiple devices
CN106713396A (zh) 服务器调度方法和系统
CN115114359A (zh) 用户数据处理方法及装置
CN113821307A (zh) 一种虚拟机镜像的快速导入方法、装置及设备
US8966196B2 (en) Cloud management of device memory based on geographical location
CN108023920B (zh) 一种数据包传输方法、设备及应用接口
US10108500B2 (en) Replicating a group of data objects within a storage network
CN111857548B (zh) 数据读取方法、装置及系统
CN105763508B (zh) 一种数据访问方法和应用服务器
CN113515425A (zh) 数据动态上报的方法和装置
WO2019179050A1 (zh) 录音记录管控方法、系统、计算机设备和存储介质
US9727655B2 (en) Searching system, method and P2P device for P2P device community

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211103

Address after: Room 507, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: ZHEJIANG TMALL TECHNOLOGY Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: ALIBABA GROUP HOLDING Ltd.

TR01 Transfer of patent right