CN106294440B - 数据实时迁移的方法和装置 - Google Patents

数据实时迁移的方法和装置 Download PDF

Info

Publication number
CN106294440B
CN106294440B CN201510278987.8A CN201510278987A CN106294440B CN 106294440 B CN106294440 B CN 106294440B CN 201510278987 A CN201510278987 A CN 201510278987A CN 106294440 B CN106294440 B CN 106294440B
Authority
CN
China
Prior art keywords
data
hot spot
database
request
spot data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510278987.8A
Other languages
English (en)
Other versions
CN106294440A (zh
Inventor
于君泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510278987.8A priority Critical patent/CN106294440B/zh
Priority to TW104142099A priority patent/TWI688869B/zh
Priority to US15/166,067 priority patent/US20160350292A1/en
Priority to PCT/US2016/034452 priority patent/WO2016191610A1/en
Publication of CN106294440A publication Critical patent/CN106294440A/zh
Application granted granted Critical
Publication of CN106294440B publication Critical patent/CN106294440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support

Abstract

本发明公开了一种数据实时迁移的方法,包括:监测数据请求量;根据监测到的数据请求量确定出第一热点数据;在迁移列表中添加所述第一热点数据的数据标识,并启动将所述第一热点数据迁移至第一数据库的过程。达到释放服务器的工作线程资源,缓解服务器压力,维持数据处理的正常运行的效果。

Description

数据实时迁移的方法和装置
技术领域
本发明属于互联网技术领域,具体地说,涉及一种数据实时迁移的方法和装置。
背景技术
随着互联网的发展,上网用户不断增加,使网站的访问量也随之大幅增加,对此,各厂商采用服务器镜像技术,在用户相对集中的地方放上缓存设备,作为对原始服务器的镜像服务器,用户访问原来的服务器时,被网络重定向到离用户最近的镜像服务器,从而提高了网络用户的访问质量和访问速度。
但近年来随着电子商务以及社交平台等互联网应用的持续火爆,出现了网络热点集中而且切换频率加快的现象。经常出现网站数据库中某些数据的瞬间并发度极高,对该数据进行写操作的请求急剧增加,这时会使大量请求在数据库等待对该数据进行行锁,同时占用着数据库的工作线程资源,而数据库的工作线程资源是有限的。例如,数据库的系统吞吐量为7000tps,当前在该数据库中存在10个热点数据,每个热点数据的并发数达到了1000tps,则10个热点数据的并发数达到10000tps,已超过系统吞吐量,导致数据库的工作线程得不到释放而变得不可用,使其他非热点数据的处理也会受到影响。
发明内容
有鉴于此,本申请提供了一种数据实时迁移的方法和装置,解决了由于瞬时出现热点数据而导致数据库不可用的技术问题。
为了解决上述技术问题,本申请公开了一种数据实时迁移的方法,包括:
监测数据请求量;根据监测到的数据请求量确定出第一热点数据;在迁移列表中添加所述第一热点数据的数据标识,并启动将所述第一热点数据迁移至第一数据库的过程。
所述方法还包括:判断所述将所述第一热点数据迁移至第一数据库的过程是否完成,当所述将所述第一热点数据迁移至第一数据库的过程已完成时,在所述迁移列表中删除所述第一热点数据的数据标识,并在预设的第一热点数据列表中添加所述第一热点数据的数据标识。
所述方法还包括:当所述将所述第一热点数据迁移至第一数据库的过程未完成时,判断接收到的对所述第一热点数据的请求是否为写入请求;当接收到的对所述第一热点数据的请求是写入请求时,返回写入失败的信息;当接收到的对所述第一热点数据的请求是读取请求时,允许对所述第一热点数据的读取操作。
所述方法还包括:获取所述第一数据库的负载信息;根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据。
所述根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据,包括:获取所述负载信息中的数据锁定队列;根据所述数据锁定队列确定每条第一热点数据所对应的执行中的会话数量;将所述执行中的会话数量超过预设阈值的第一热点数据确定为需要从所述第一数据库迁移至第二数据库的第二热点数据。
所述在预设的第一热点数据列表中添加所述第一热点数据的数据标识之后,所述方法还包括:判断是否接收到对所述第一热点数据的请求;当接收到对所述第一热点数据的请求时,将对所述第一热点数据的请求路由至所述第一数据库。
所述方法还包括:判断接收到的请求是否是对预设的第一热点数据列表中的第一热点数据的请求;当接收到的请求是对所述预设的第一热点数据列表中的第一热点数据的请求时,将所述请求路由至所述第一数据库。
为了解决上述技术问题,本申请还公开了一种数据实时迁移的装置,包括:监测模块,用于监测数据请求量;第一确定模块,用于根据检测到的数据请求量确定出第一热点数据;第一处理模块,在迁移列表中添加所述第一热点数据的数据标识,并启动将所述第一热点数据迁移至第一数据库的过程。
所述装置还包括:第一判断模块,用于判断所述将所述第一热点数据迁移至第一数据库的过程是否完成,第二处理模块,用于当所述将所述第一热点数据迁移至第一数据库的过程已完成时,在所述迁移列表中删除所述第一热点数据的数据标识,并在预设的第一热点数据列表中添加所述第一热点数据的数据标识。
所述装置还包括:第二判断模块,用于当所述将所述第一热点数据迁移至第一数据库的过程未完成时,判断接收到的对所述第一热点数据的请求是否为写入请求;第三处理模块,用于当接收到的对所述第一热点数据的请求是写入请求时,返回写入失败的信息;第四处理模块,用于当接收到的对所述第一热点数据的请求是读取请求时,允许对所述第一热点数据的读取操作。
所述装置还包括:获取模块,用于获取所述第一数据库的负载信息;第二确定模块,用于根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据。
所述第二确定模块包括:获取子模块,用于获取所述负载信息中的数据锁定队列;第一确定子模块,用于根据所述数据锁定队列确定每条第一热点数据所对应的执行中的会话数量;第二确定子模块,用于将所述执行中的会话数量超过预设阈值的第一热点数据确定为需要从所述第一数据库迁移到第二数据库的第二热点数据。
所述装置还包括:第三判断模块,用于判断是否接收到对所述第一热点数据的请求;第一路由模块,用于当接收到对所述第一热点数据的请求时,将对所述第一热点数据的请求路由至所述第一数据库。
所述装置还包括:第四判断模块,用于判断接收到的请求是否是对预设的第一热点数据列表中的第一热点数据的请求;第二路由模块,用于当接收到的请求是对所述预设的第一热点数据列表中的第一热点数据的请求时,将所述请求路由至所述第一数据库。
与现有技术相比,本申请可以获得包括以下技术效果:监测到数据请求量较大的第一热点数据时,启动将该第一热点数据向第一数据库迁移的过程,释放服务器的工作线程资源,缓解服务器压力,维持数据处理的正常运行。
当然,实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例提供的一种数据实时迁移的方法流程示意图;
图2是本申请实施例提供的将第一热点数据再次进行迁移的方法流程示意图;
图3是本申请实施例提供的一种数据实时迁移的方法流程示意图;
图4是本申请实施例提供的一种数据实时迁移的装置的结构示意图。
具体实施方式
以下将配合附图及实施例来详细说明本发明的实施方式,藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
图1是本申请实施例提供的一种数据实时迁移的方法,适用于服务器设备,该方法包括以下步骤。
在步骤S10中,监测数据请求量。
服务器设备监测本地接收到的数据请求量,包括对本地数据的读取请求和写入请求。
在步骤S11中,根据监测到的数据请求量确定出第一热点数据。
对于服务器设备来说,如果接收到数据请求是写入请求,需要对该数据加入行锁,防止其他写入请求同时对该数据进行写入操作;而对于数据的读取请求由于其并不修改数据的值,则可以允许多个请求同时读取该数据。因此,如果同时对某一条数据的写入请求过多,会出现大量写入请求处于等待状态,从而占用服务器线程资源。为了防止这种情况出现,根据检测到的数据请求量确定出第一热点数据,该第一热点数据是指接收到的写入请求频率过高的数据。服务器可以对每条数据在单位时间内接收到的写入请求数量(即写入请求的频率)进行监测,将超过阈值的数据确定为第一热点数据。
在步骤S12中,在迁移列表中添加第一热点数据的数据标识,并启动将第一热点数据迁移至第一数据库的过程。
当某条数据成为第一热点数据时,说明该第一热点数据已占用过多的服务器线程资源,会对服务器的处理能力带来影响,此时需要将该第一热点数据迁移至第一数据库。该第一数据库用于处理针对第一热点数据的数据请求,其本身的数据处理能力也强于该服务器。当某条数据被确定为第一热点数据而需要迁移时,服务器添加该第一热点数据的数据标识到迁移列表中,并同时启动将该第一热点数据迁移到第一数据库的过程。该迁移列表用于记录处于数据迁移状态中的第一热点数据的数据标识,该迁移列表中的第一热点数据是已经开始向第一数据库迁移但迁移过程还没有完成的第一热点数据。
将成为第一热点数据的数据从服务器迁移出去,能够释放该第一热点数据占用的工作线程资源,有效缓解服务器的压力,维持服务器其他数据处理的正常运行。
服务器启动将已成为第一热点数据的数据迁移至第一数据库的过程后,判断该迁移过程是否完成。当该迁移过程未完成时,服务器判断接收到的对该第一热点数据的请求是否为写入请求;如果是写入请求,则直接返回写入失败的信息;如果是读取请求,则允许对该第一热点数据的读取操作。由于该第一热点数据处于向第一数据库的迁移过程中,而写入请求会涉及修改该第一热点数据,因此对所有针对该第一热点数据的写入请求均返回写入失败的信息。由于读取请求不会涉及对该第一热点数据的修改,因此仍然允许对该第一热点数据的读取操作。服务器中的数据采用单条记录的形式,每次数据迁移的过程最多能够迁移的数据量为10条,因此该第一热点数据处于数据迁移状态的持续时间很短,数据迁移的过程会很快,出现返回写入失败的信息的时间属于毫秒级别,受到该数据迁移过程影响的用户会非常少。
当服务器判断出该迁移过程已经完成时,在迁移列表中删除该第一热点数据的数据标识,而将该第一热点数据的数据标识添加到预设的第一热点数据列表中。该预设的第一热点数据列表用于记录在第一数据库中保存的第一热点数据的数据标识。上述处理代表着该第一热点数据向第一数据库的迁移过程已经完成。
在该第一热点数据向第一数据库迁移的过程完成后,服务器判断是否接收到对该第一热点数据的请求。当接收到对该第一热点数据的请求时,将对该第一热点数据的请求路由至第一数据库。由于该第一热点数据已迁移至第一数据库,服务器接收到对该第一热点数据的请求时,通过预设的路由表将对该第一热点数据的请求路由至第一数据库,由该第一数据库响应对该第一热点数据的请求,从而降低服务器的负载,维持服务器的有效运行。
在一个实施例中,可以预先判断服务器中哪些数据极有可能成为第一热点数据,例如,根据预期判断出对该数据的请求将会非常多,对这些极有可能成为第一热点数据的数据,把它们的数据标识预先添加到该预设的第一热点数据列表,同时把这些数据初始化到第一数据库中,防止其以后出现过高的数据请求而对服务器的数据处理造成影响。。服务器接收到对该预设的第一热点数据列表中的数据的请求时,根据预设的路由表直接将该请求路由至第一数据库,由第一数据库来响应针对该预设的第一热点数据列表中的数据的请求。
在一个实施例中,当第一数据库中的第一热点数据越来越多或者请求量持续升高,使第一数据库的处理能力也受到影响时,则需要将第一数据库中请求量较高的第一热点数据再次进行迁移,该迁移方法如图2所示,包括以下步骤。
在步骤S20中,获取第一数据库的负载信息。
该负载信息包括第一数据库的线程占用率、数据锁定队列等信息。可通过监控和告警软件获取第一数据库的负载信息。
在步骤S21中,根据负载信息确定需要从第一数据库迁移至第二数据库的第二热点数据。
该第二热点数据是第一数据库中请求量较高或者持续升高的第一热点数据,当第一数据库的负载较高并且自身处理能力受到影响时,需要将该第二热点数据迁移至第二数据库,由第二数据库处理对该第二热点数据的请求,以降低第一数据库的负载。确定需要迁移至第二数据库的第二热点数据方法包括以下步骤:
在步骤S210中,获取负载信息中的数据锁定队列。
该数据锁定是一种保护共享资源的锁定机制,该锁定机制保护共享资源,如数据库中的数据,以避免两个用户在同一时间更新同一数据,该数据锁定包括一个先进先出的队列机制,即先请求的先对数据进行锁定并执行写入操作。
在步骤S211中,根据数据锁定队列确定每条第一热点数据所对应的执行中的会话数量。
该第一数据库的每一个数据锁定队列都对应着其保存的一条第一热点数据。通过该数据锁定队列即可确定该第一数据库接收到了针对哪些第一热点数据的数据请求,再进一步根据数据锁定队列中的会话数量即可确定每条第一热点数据对应的执行中的会话数量。
在步骤S212中,将执行中的会话数量超过预设阈值的第一热点数据确定为需要从第一数据库迁移至第二数据库的第二热点数据。
将第二热点数据迁移至第二数据库的过程与前面所述将第一热点数据迁移至第一数据库的过程相同,在此不进行重复说明。通过上述流程可以在第一数据库出现负载压力过大的情况下,将数据请求量较高的第一热点数据再次迁移,以缓解第一数据库的数据处理压力。
下面通过一个应用场景对本申请实施例提供的数据实时迁移的方法做进一步说明。在线商品销售系统中,商家会针对一些在线商品推出促销活动,用户则会在很短的时间内集中浏览促销商品信息并下单订购。其中,浏览商品促销信息属于对在线销售服务器中的商品数据的读取操作,而下单订购需要在线销售服务器执行库存数量的扣减,属于对商品数据的写入操作。而在促销期间,会出现极多的用户同时下单订购促销商品的情况,这时会使在线销售服务器的负载过大,数据处理缓慢,而且其他正常销售的商品数据的处理也会受到影响。采用本申请实施例提供的数据实时迁移的方法,能够缓解在线商品服务器的压力,如图3所示,实施过程包括以下步骤。
在步骤S300中,在服务器的第一热点数据列表中预先添加极可能成为热点商品的商品数据标识。
根据商家的促销策略,预判哪些商品极可能成为热点商品,将这类商品在服务器数据中的数据标识预先添加到第一热点数据列表中,并且将这类商品的数据初始化到第一数据库中。
在步骤S301中,判断接收到的数据请求是否是对第一热点数据列表中的数据的请求。当是对第一热点数据列表中的数据的请求时,执行步骤S302;当不是对第一热点数据列表中的数据的请求时,执行步骤S303。
在步骤S302中,将该数据请求路由至第一数据库。
在步骤S303中,将该数据请求在本地处理。
同时,在步骤S304中,服务器监测本地数据请求量。
对于没有被预判为热点商品的商品数据,服务器实时监测这些商品的数据请求量。
在步骤S305中,根据监测到的数据请求量确定出第一热点数据。
某些商品会随着数据请求量的瞬间增多而成为热点商品,服务器将这些商品的数据确定为第一热点数据。
在步骤S306中,在迁移列表中添加第一热点数据的数据标识,并启动将第一热点数据迁移至第一数据库的过程。
服务器将成为热点商品的商品数据的数据标识添加到迁移列表中,并启动将成为热点商品的商品数据向第一数据库进行迁移的过程。
在步骤S307中,判断将第一热点数据迁移至第一数据库的过程是否完成。当将第一热点数据迁移至第一数据库的过程未完成时,执行步骤S308;当将第一热点数据迁移至第一数据库的过程已完成时,执行步骤S311。
在步骤S308中,判断接收到的对第一热点数据的请求是否为写入请求,当接收到的对第一热点数据的请求是写入请求时,执行步骤S309;当接收到的对第一热点数据的请求是读取请求时,执行步骤S310。
成为热点商品的商品数据向第一数据库的迁移还没有完成时,判断是否有用户对该商品下单订购以及浏览该商品的信息。
在步骤S309中,返回写入失败的信息。
在步骤S310中,允许对第一热点数据的读取操作。
如果有用户浏览该商品的信息,属于对该商品数据的读取请求,则允许浏览,而用户对该商品下单订购属于对该商品数据的写入请求,则直接返回失败信息,该商品当前还不能下单。
在步骤S311中,在迁移列表中删除第一热点数据的数据标识,并在预设的第一热点数据列表中添加第一热点数据的数据标识。
成为热点商品的商品数据向第一数据库的迁移完成后,在迁移列表中删除该商品数据的数据标识,并将该商品数据的数据标识添加到预设的第一热点数据列表中。
在步骤S312中,判断接收到的数据请求是否是对该第一热点数据的请求。当接收到的数据请求是对第一热点数据的请求时,执行步骤S302;当接收到的数据请求不是对第一热点数据的请求时,执行步骤S303。
服务器再接收到对已成为热点商品的商品数据的数据请求后,将该数据请求路由至第一数据库。
同时,在步骤S313中,获取第一数据库的负载信息。
服务器获取第一数据库的负载信息,以防止该第一数据库由于热点商品的商品数据请求量持续增多而导致处理能力下降。
在步骤S314中,获取负载信息中的数据锁定队列;
在步骤S315中,根据数据锁定队列确定每条第一热点数据所对应的执行中的会话数量。
在步骤S316中,将执行中的会话数量超过预设阈值的第一热点数据确定为需要从第一数据库迁移至第二数据库的第二热点数据。
确定出第一数据库中哪些商品数据的请求量过高,需要再次进行迁移,以缓解第一数据库的压力。
图4是本申请实施例提供的一种数据实时迁移的装置,包括:
监测模块40,用于监测数据请求量;
第一确定模块41,用于根据检测到的数据请求量确定出第一热点数据;
第一处理模块42,在迁移列表中添加第一热点数据的数据标识,并启动将第一热点数据迁移至第一数据库的过程。
在一个实施例中,该装置还包括:
第一判断模块,用于判断将第一热点数据迁移至第一数据库的过程是否完成,
第二处理模块,用于当将第一热点数据迁移至第一数据库的过程已完成时,在迁移列表中删除第一热点数据的数据标识,并在预设的第一热点数据列表中添加第一热点数据的数据标识。
在一个实施例中,该装置还包括:
第二判断模块,用于当将第一热点数据迁移至第一数据库的过程未完成时,判断接收到的对第一热点数据的请求是否为写入请求;
第三处理模块,用于当接收到的对第一热点数据的请求是写入请求时,返回写入失败的信息;
第四处理模块,用于当接收到的对第一热点数据的请求是读取请求时,允许对第一热点数据的读取操作。
在一个实施例中,该装置还包括:
获取模块,用于获取第一数据库的负载信息;
第二确定模块,用于根据负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据。
该第二确定模块包括:
获取子模块,用于获取负载信息中的数据锁定队列;
第一确定子模块,用于根据数据锁定队列确定每条第一热点数据所对应的执行中的会话数量;
第二确定子模块,用于将执行中的会话数量超过预设阈值的第一热点数据确定为需要从第一数据库迁移到第二数据库的第二热点数据。
在一个实施例中,该装置还包括:
第三判断模块,用于判断是否接收到对所述第一热点数据的请求;
第一路由模块,用于当接收到对第一热点数据的请求时,将对第一热点数据的请求路由至第一数据库。
在一个实施例中,该装置还包括:
第四判断模块,用于判断接收到的请求是否是对预设的第一热点数据列表中的第一热点数据的请求;
第二路由模块,用于当接收到的请求是对预设的第一热点数据列表中的第一热点数据的请求时,将请求路由至第一数据库。
上述装置中的各个功能模块可实现上述数据实时迁移的方法的各个步骤,具体实现过程请参见上述数据实时迁移的方法的各个实施例。
在一个典型的配置中,上述各功能模块也可以由计算设备来实现,该计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解,硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语,故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内,本领域技术人员能够在一定误差范围内解决所述技术问题,基本达到所述技术效果。此外,“耦接”一词在此包含任何直接及间接的电性耦接手段。因此,若文中描述一第一装置耦接于一第二装置,则代表所述第一装置可直接电性耦接于所述第二装置,或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明本发明的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
上述说明示出并描述了本发明的若干优选实施例,但如前所述,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (14)

1.一种数据实时迁移的方法,其特征在于,包括:
监测数据请求量;
根据监测到的数据请求量确定出第一热点数据;
在迁移列表中添加所述第一热点数据的数据标识,并启动将所述第一热点数据迁移至第一数据库的过程;
确定需要从所述第一数据库迁移至第二数据库的第二热点数据。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
判断所述将所述第一热点数据迁移至第一数据库的过程是否完成,
当所述将所述第一热点数据迁移至第一数据库的过程已完成时,在所述迁移列表中删除所述第一热点数据的数据标识,并在预设的第一热点数据列表中添加所述第一热点数据的数据标识。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
当所述将所述第一热点数据迁移至第一数据库的过程未完成时,判断接收到的对所述第一热点数据的请求是否为写入请求;
当接收到的对所述第一热点数据的请求是写入请求时,返回写入失败的信息;
当接收到的对所述第一热点数据的请求是读取请求时,允许对所述第一热点数据的读取操作。
4.如权利要求2所述的方法,其特征在于,所述确定需要从所述第一数据库迁移至第二数据库的第二热点数据,包括:
获取所述第一数据库的负载信息;
根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据。
5.如权利要求4所述的方法,其特征在于,所述根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据,包括:
获取所述负载信息中的数据锁定队列;
根据所述数据锁定队列确定每条第一热点数据所对应的执行中的会话数量;
将所述执行中的会话数量超过预设阈值的第一热点数据确定为需要从所述第一数据库迁移至第二数据库的第二热点数据。
6.如权利要求2所述的方法,其特征在于,所述在预设的第一热点数据列表中添加所述第一热点数据的数据标识之后,所述方法还包括:
判断是否接收到对所述第一热点数据的请求;
当接收到对所述第一热点数据的请求时,将对所述第一热点数据的请求路由至所述第一数据库。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
判断接收到的请求是否是对预设的第一热点数据列表中的第一热点数据的请求;
当接收到的请求是对所述预设的第一热点数据列表中的第一热点数据的请求时,将所述请求路由至所述第一数据库。
8.一种数据实时迁移的装置,其特征在于,包括:
监测模块,用于监测数据请求量;
第一确定模块,用于根据检测到的数据请求量确定出第一热点数据;
第一处理模块,在迁移列表中添加所述第一热点数据的数据标识,并启动将所述第一热点数据迁移至第一数据库的过程;
第二确定模块,用于确定需要从所述第一数据库迁移至第二数据库的第二热点数据。
9.如权利要求8所述的装置,其特征在于,所述装置还包括:
第一判断模块,用于判断所述将所述第一热点数据迁移至第一数据库的过程是否完成,
第二处理模块,用于当所述将所述第一热点数据迁移至第一数据库的过程已完成时,在所述迁移列表中删除所述第一热点数据的数据标识,并在预设的第一热点数据列表中添加所述第一热点数据的数据标识。
10.如权利要求9所述的装置,其特征在于,所述装置还包括:
第二判断模块,用于当所述将所述第一热点数据迁移至第一数据库的过程未完成时,判断接收到的对所述第一热点数据的请求是否为写入请求;
第三处理模块,用于当接收到的对所述第一热点数据的请求是写入请求时,返回写入失败的信息;
第四处理模块,用于当接收到的对所述第一热点数据的请求是读取请求时,允许对所述第一热点数据的读取操作。
11.如权利要求9所述的装置,其特征在于,所述装置还包括:
获取模块,用于获取所述第一数据库的负载信息;
对应的,所述第二确定模块,具体用于根据所述负载信息确定需要从所述第一数据库迁移至第二数据库的第二热点数据。
12.如权利要求11所述的装置,其特征在于,所述第二确定模块包括:
获取子模块,用于获取所述负载信息中的数据锁定队列;
第一确定子模块,用于根据所述数据锁定队列确定每条第一热点数据所对应的执行中的会话数量;
第二确定子模块,用于将所述执行中的会话数量超过预设阈值的第一热点数据确定为需要从所述第一数据库迁移到第二数据库的第二热点数据。
13.如权利要求9所述的装置,其特征在于,所述装置还包括:
第三判断模块,用于判断是否接收到对所述第一热点数据的请求;
第一路由模块,用于当接收到对所述第一热点数据的请求时,将对所述第一热点数据的请求路由至所述第一数据库。
14.如权利要求8所述的装置,其特征在于,所述装置还包括:
第四判断模块,用于判断接收到的请求是否是对预设的第一热点数据列表中的第一热点数据的请求;
第二路由模块,用于当接收到的请求是对所述预设的第一热点数据列表中的第一热点数据的请求时,将所述请求路由至所述第一数据库。
CN201510278987.8A 2015-05-27 2015-05-27 数据实时迁移的方法和装置 Active CN106294440B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510278987.8A CN106294440B (zh) 2015-05-27 2015-05-27 数据实时迁移的方法和装置
TW104142099A TWI688869B (zh) 2015-05-27 2015-12-15 資料即時傳輸的方法和裝置
US15/166,067 US20160350292A1 (en) 2015-05-27 2016-05-26 Method and apparatus for real-time data migration
PCT/US2016/034452 WO2016191610A1 (en) 2015-05-27 2016-05-26 Method and apparatus for real-time data migration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510278987.8A CN106294440B (zh) 2015-05-27 2015-05-27 数据实时迁移的方法和装置

Publications (2)

Publication Number Publication Date
CN106294440A CN106294440A (zh) 2017-01-04
CN106294440B true CN106294440B (zh) 2019-06-07

Family

ID=57394259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510278987.8A Active CN106294440B (zh) 2015-05-27 2015-05-27 数据实时迁移的方法和装置

Country Status (4)

Country Link
US (1) US20160350292A1 (zh)
CN (1) CN106294440B (zh)
TW (1) TWI688869B (zh)
WO (1) WO2016191610A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658753B (zh) * 2016-09-14 2020-01-17 Oppo广东移动通信有限公司 一种数据迁移方法及终端设备
CN108156193B (zh) * 2016-12-02 2022-08-19 阿里巴巴集团控股有限公司 一种热点确定方法及系统
CN107391755A (zh) * 2017-08-21 2017-11-24 中国银联股份有限公司 一种数据分布调节、查询的方法和装置
CN107704633A (zh) * 2017-11-01 2018-02-16 郑州云海信息技术有限公司 一种文件迁移的方法和系统
CN108280148A (zh) * 2018-01-02 2018-07-13 中国民生银行股份有限公司 一种数据迁移方法和数据迁移服务器
CN108834087B (zh) * 2018-07-03 2021-08-24 平安科技(深圳)有限公司 短信发送方法、装置、计算机设备和存储介质
CN109120439B (zh) * 2018-08-03 2021-06-29 郑州云海信息技术有限公司 分布式集群告警输出方法、装置、设备及可读存储介质
CN109544072A (zh) * 2018-11-21 2019-03-29 北京京东尚科信息技术有限公司 热点库存本地化扣减方法、系统、设备以及介质
CN109634635B (zh) * 2018-12-13 2023-02-21 中国银行股份有限公司 一种数据迁移方法及装置
CN112783856A (zh) * 2019-11-07 2021-05-11 北京沃东天骏信息技术有限公司 数据迁移方法和装置
CN112988892B (zh) * 2021-03-12 2022-04-29 北京航空航天大学 一种分布式系统热点数据的管理方法
US11816110B2 (en) * 2021-06-22 2023-11-14 International Business Machines Corporation Processing large query results in a database accelerator environment
CN114936003B (zh) * 2022-05-06 2023-03-21 北京新科安云信息技术有限公司 资源池的数据分层迁移方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1480850A (zh) * 2002-12-04 2004-03-10 联想(北京)有限公司 动态迁移数据的方法及其存储系统
CN101697526A (zh) * 2009-10-10 2010-04-21 中国科学技术大学 分布式文件系统中元数据管理的负载均衡方法及其系统
CN102122303A (zh) * 2011-03-15 2011-07-13 浪潮(北京)电子信息产业有限公司 一种进行数据迁移的方法及服务系统及服务器设备
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN104598459A (zh) * 2013-10-30 2015-05-06 阿里巴巴集团控股有限公司 数据库处理、数据访问方法及系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680640A (en) * 1995-09-01 1997-10-21 Emc Corporation System for migrating data by selecting a first or second transfer means based on the status of a data element map initialized to a predetermined state
US6052694A (en) * 1998-03-18 2000-04-18 Electronic Data Systems Corporation Method and apparatus for logging database performance characteristics
US6029174A (en) * 1998-10-31 2000-02-22 M/A/R/C Inc. Apparatus and system for an adaptive data management architecture
US7386610B1 (en) * 2000-09-18 2008-06-10 Hewlett-Packard Development Company, L.P. Internet protocol data mirroring
US8499086B2 (en) * 2003-01-21 2013-07-30 Dell Products L.P. Client load distribution
US7289992B2 (en) * 2003-05-01 2007-10-30 International Business Machines Corporation Method, system, and program for lock and transaction management
US8825591B1 (en) * 2003-12-31 2014-09-02 Symantec Operating Corporation Dynamic storage mechanism
US8566446B2 (en) * 2004-01-28 2013-10-22 Hewlett-Packard Development Company, L.P. Write operation control in storage networks
JP4341072B2 (ja) * 2004-12-16 2009-10-07 日本電気株式会社 データ配置管理方法及びシステムと装置およびプログラム
US8230059B1 (en) * 2005-11-08 2012-07-24 Hewlett-Packard Development Company, L.P. Method of monitoring resource usage in computing environment
US8006061B1 (en) * 2007-04-13 2011-08-23 American Megatrends, Inc. Data migration between multiple tiers in a storage system using pivot tables
KR20090005921A (ko) * 2007-07-10 2009-01-14 삼성전자주식회사 대칭적 다중 프로세서 시스템에서의 로드 밸런싱 방법 및장치
TWI476610B (zh) * 2008-04-29 2015-03-11 Maxiscale Inc 同級間冗餘檔案伺服器系統及方法
US8892720B2 (en) * 2009-02-12 2014-11-18 Arcsoft, Inc. System and method for network optimization through predictive downloading
JP2010257094A (ja) * 2009-04-23 2010-11-11 Hitachi Ltd 階層ストレージ管理システムにおける移動候補ファイルの抽出方法
US20110113259A1 (en) * 2009-11-10 2011-05-12 Brocade Communication Systems, Inc. Re-keying during on-line data migration
US8407516B2 (en) * 2009-12-23 2013-03-26 Intel Corporation Controlling memory redundancy in a system
US8578107B2 (en) * 2010-02-16 2013-11-05 International Business Machines Corporation Extent migration scheduling for multi-tier storage architectures
US8271559B2 (en) * 2010-07-23 2012-09-18 Hitachi, Ltd. Storage system and method of controlling same
US8965855B1 (en) * 2010-08-16 2015-02-24 Symantec Corporation Systems and methods for hotspot mitigation in object-based file systems
US10019503B2 (en) * 2010-12-22 2018-07-10 Microsoft Technology Licensing, Llc Database transfers using constraint free data
US8762323B2 (en) * 2011-02-10 2014-06-24 Nec Laboratories America, Inc. Replica based load balancing in multitenant databases
CN102495857B (zh) * 2011-11-21 2013-08-21 北京新媒传信科技有限公司 一种分布式数据库的负载均衡方法
US9680716B2 (en) * 2011-12-12 2017-06-13 Avocent Huntsville, Llc System and method for monitoring and managing data center resources in real time incorporating manageability subsystem
CN103186554B (zh) * 2011-12-28 2016-11-23 阿里巴巴集团控股有限公司 分布式数据镜像方法及存储数据节点
US8972983B2 (en) * 2012-04-26 2015-03-03 International Business Machines Corporation Efficient execution of jobs in a shared pool of resources
WO2014076731A1 (en) * 2012-11-13 2014-05-22 Hitachi, Ltd. Storage system, storage system control method, and storage control device
US9171019B1 (en) * 2013-02-19 2015-10-27 Amazon Technologies, Inc. Distributed lock service with external lock information database
US9329789B1 (en) * 2013-10-14 2016-05-03 Marvell International Ltd. Methods and apparatus for efficiently operating on a storage device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1480850A (zh) * 2002-12-04 2004-03-10 联想(北京)有限公司 动态迁移数据的方法及其存储系统
CN101697526A (zh) * 2009-10-10 2010-04-21 中国科学技术大学 分布式文件系统中元数据管理的负载均衡方法及其系统
CN102122303A (zh) * 2011-03-15 2011-07-13 浪潮(北京)电子信息产业有限公司 一种进行数据迁移的方法及服务系统及服务器设备
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN104598459A (zh) * 2013-10-30 2015-05-06 阿里巴巴集团控股有限公司 数据库处理、数据访问方法及系统

Also Published As

Publication number Publication date
WO2016191610A1 (en) 2016-12-01
TW201702953A (zh) 2017-01-16
CN106294440A (zh) 2017-01-04
US20160350292A1 (en) 2016-12-01
TWI688869B (zh) 2020-03-21

Similar Documents

Publication Publication Date Title
CN106294440B (zh) 数据实时迁移的方法和装置
CN104598459B (zh) 数据库处理、数据访问方法及系统
US8359596B2 (en) Determining capability of an information processing unit to execute the job request based on satisfying an index value and a content of processing of the job
EP3353672B1 (en) Method and apparatus for transferring data between databases
US20150310209A1 (en) Executing third-party application
CN107688443A (zh) 一种数据存储的方法、系统及相关装置
CN107463593A (zh) 库存扣减方法及其设备
US20220092625A1 (en) Electronic apparatus and operation method thereof
CN104657435A (zh) 一种应用数据的存储管理方法和网络管理系统
WO2016144432A1 (en) Computing method and apparatus associated with context-aware management of a file cache
US10712943B2 (en) Database memory monitoring and defragmentation of database indexes
CN107391535A (zh) 在文档应用中搜索文档的方法及装置
CN109981569A (zh) 网络系统访问方法、装置、计算机设备及可读存储介质
CN110858242B (zh) 页面跳转方法及装置
CN104281587B (zh) 一种建立连接的方法及装置
CN109948056B (zh) 一种推荐系统的评估方法及装置
CN112596669A (zh) 一种基于分布式存储的数据处理方法及装置
CN110020074A (zh) 确定网页流失率的方法及装置
CN112597151A (zh) 数据处理方法、装置、设备和存储介质
CN107844592A (zh) 一种查询元数据的方法和装置
CN108021464B (zh) 一种应用程序响应数据的兜底处理的方法以及装置
CN109981732A (zh) 海量文件传输控制方法及装置
US11528236B2 (en) User-based data tiering
CN109214884B (zh) 需求撮合方法及装置、电子设备
TWI757741B (zh) 安全任務處理方法和電子設備

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200921

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200921

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.