CN102331993A - 分布式数据库的数据迁移方法和分布式数据库迁移系统 - Google Patents
分布式数据库的数据迁移方法和分布式数据库迁移系统 Download PDFInfo
- Publication number
- CN102331993A CN102331993A CN201110171546A CN201110171546A CN102331993A CN 102331993 A CN102331993 A CN 102331993A CN 201110171546 A CN201110171546 A CN 201110171546A CN 201110171546 A CN201110171546 A CN 201110171546A CN 102331993 A CN102331993 A CN 102331993A
- Authority
- CN
- China
- Prior art keywords
- data
- designated user
- word bank
- user
- positional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式数据库的数据迁移方法和一种分布式数据库迁移系统。所述方法包括:根据指定用户的用户标识查询检索库,获得该指定用户数据的位置信息,并将对应的锁标志设置为有效;根据所获取的位置信息,获取指定用户的数据,并写入目标子库中;如果写入成功,则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息,修改为所写入的目标子库中的位置信息,并将该指定用户的用户标识所对应的锁标志设置为无效;如果写入失败,则将该指定用户的用户标识所对应的锁标志设置为无效,并删除已写入目标子库中的该指定用户的数据。本发明的技术方案能够保证用户数据迁移过程中的可用性和一致性,并且不中断用户的业务。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种分布式数据库的数据迁移方法和一种分布式数据库迁移系统。
背景技术
在一些数据量大的应用系统中,需要将海量的数据按照一定的算法分布在多个子数据库中。
随着时间的推移和数据的增多,可以数据的分布不再均衡,导致有些子数据库的压力过大,而有些子数据库的压力又偏小。此时需要将数据从压力大的子数据库迁移到压力小的子数据库中,或者,增加新的子数据库,将数据迁移到新增的子数据库中。
现有的数据迁移方案主要有以下两种:
方案一:数据库自身提供数据的导入和导出功能,如Oracle、Sql Server、MySql数据库都提供数据的导入导出功能。
但方案一不能解决异构数据库之间的数据迁移,比如不能将Oracle数据库中的数据迁移到MySql中;在数据迁移过程中,不能保证数据的可用性。
方案二:采用程序方式实现,从原数据库中读取数据,然后写入目标数据库,需要中断用户的业务。
方案二能够解决数据库异构问题,但是在迁移过程中,仍不能保证数据的一致性。
发明内容
本发明提供了一种分布式数据库的数据迁移方法,该方法能在数据迁移的过程中保证数据的一致性和可用性,并且不中断用户的业务。
本发明还提供了一种分布式数据库迁移系统,该分布式数据库能在数据迁移的过程中保证数据的一致性和可用性,并且不中断用户的业务。
为达到上述目的,本发明的技术方案是这样实现的:
本发明公开了一种分布式数据库的数据迁移方法,所述分布式数据库由一个检索库和多个子库组成,子库存储用户数据,检索库存储用户标识和用户数据在子库中的位置信息之间的对应关系,其特征在于,检索库中还存储与用户标识对应的锁标志,则将指定用户的数据从原子库迁移到目标子库的方法包括:
根据所述指定用户的用户标识查询检索库,获得该指定用户数据在原子库中的位置信息,并将与该指定用户的用户标识所对应的锁标志设置为有效;
根据所获取的指定用户数据在原子库中的位置信息,获取指定用户的数据,并将所获取的数据写入目标子库中;
如果写入成功,则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息,修改为所写入的目标子库中的位置信息,并将该指定用户的用户标识所对应的锁标志设置为无效;
如果写入失败,则将该指定用户的用户标识所对应的锁标志设置为无效,并删除已写入目标子库中的该指定用户的数据。
本发明还提供了一种分布式数据库迁移系统,其特征在于,该分布式数据库迁移系统包括:一个检索库、多个子库和一个数据迁移模块,其中:
子库存,用于储用户数据;
检索库,用于存储用户标识、用户数据在子库中的位置信息之间的对应关系以及锁标志之间的对应关系;
数据迁移模块,用于根据指定用户的用户标识查询检索库,获得该指定用户数据在原子库中的位置信息,并将与该指定用户的用户标识所对应的锁标志设置为有效;根据所获取的指定用户数据在原子库中的位置信息,获取指定用户的数据,并将所获取的数据写入目标子库中;如果写入成功,则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息,修改为所写入的目标子库中的位置信息,并将该指定用户的用户标识所对应的锁标志设置为无效;如果写入失败,则将该指定用户的用户标识所对应的锁标志设置为无效,并删除已写入目标子库中的该指定用户的数据。
由上述可见,根据所述指定用户的用户标识查询检索库,获得该指定用户数据在原子库中的位置信息,并将与该指定用户的用户标识所对应的锁标志设置为有效;根据所获取的指定用户数据在原子库中的位置信息,获取指定用户的数据,并将所获取的数据写入目标子库中;如果写入成功,则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息,修改为所写入的目标子库中的位置信息,并将该指定用户的用户标识所对应的锁标志设置为无效;如果写入失败,则将该指定用户的用户标识所对应的锁标志设置为无效,并删除已写入目标子库中的该指定用户的数据的技术方案,由于在数据迁移的过程中对用户数据在子库中的位置信息的修改机制,以及锁标志的设定机制,使得能够保证用户数据的可用性和一致性,并且不中断用户的业务,使得用户无感知,提高了用户体验。
附图说明
图1是本发明实施例中的分布式数据库的示意图;
图2是本发明实施例中的用户数据从DB_A1和DB_B1迁移到DB_A2和DB_B2的流程图;
图3是本发明中的用户数据从DB_A1和DB_B1迁移到DB_A2和DB_B2的一个较佳实施例的流程图;
图4是本发明实施例中的一种分布式数据库迁移系统的组成结构示意图。
具体实施方式
本发明的方案主要解决了分布式数据库中的数据迁移问题,并能保证在数据迁移过程中不影响应用系统的使用,保证了数据的可用性。具体思路为:根据需求将特定用户数据从分布的一个子库迁移到另一个子库,在迁移过程中将此用户数据锁定,保证了用户数据的一致性。在迁移过程中,此用户的数据仍然指向原始数据库,迁移成功后指向目标数据库;如果迁移失败,用户的原始数据不会发生改变,删除目标数据库的数据,保证了数据的可用性以及不会产生垃圾数据。
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
图1是本发明实施例中的分布式数据库的示意图。如图1所示,分布式数据库由一个检索库和多个分布式的子库组成,其中:
分布式的子库是同质同构的一组数据库,按照水平分片的方式存储用户数据;例如,DB_A1和DB_B1是一组子数据库、DB_A2和DB_B2是一组子数据库,以此类推。
检索库存储用户标识和用户数据在子库中的位置信息之间的对应关系,以及与用户标识对应的锁标志。这里根据一定的算法将用户数据分布在不同的字库中,例如,根据对用户标识进行取模的算法,或根据对用户标识进行哈希取模的算法,建立用户标识与用户数据在子库中的位置信息之间的对应关系。在本实施例中,User001的数据存储在DB_A1和DB_B1中,User002的数据存储在DB_A2和DB_B2中,以此类推,则在本实施例中,检索库中存储的初始内容如下:
User001 Index=1 Lock=false:
User002 Index=2 Lock=false;
User003 Index=3 Lock=false;
User004 Index=4 Lock=false;
其中,Index表示用户数据在字库中的位置信息,1表示数据库DB_A1和DB_B1,以此类推。“false”表示锁标志无效,“Ture”表示有效。
下面以用户User001的数据从DB_A1和DB_B1迁移到DB_A2和DB_B2为例,对本发明中的数据迁移的流程进行说明。
图2是本发明实施例中的用户数据从DB_A1和DB_B1迁移到DB_A2和DB_B2的流程图。如图2所示,该流程包括:
步骤1.根据用户User001的用户标识查询检索库,获得该用户数据在原子库(DB_A1和DB_B1)中的位置信息,并将与该用户的用户标识所对应的锁标志设置为有效。
这里将对应的锁标志设置为有效,即设置对应的Lock=True;这样,在数据迁移过程中所有更新此用户的数据的操作都不被允许。在迁移过程中系统获取该用户数据仍然指向原数据库,不影响该用户数据的读取。
步骤2.根据所获取的该用户数据在原子库中的位置信息,从原字库中读取用户数据,并将所获取的用户数据写入目标子库(DB_A2和DB_B2)中。
步骤3.如果写入成功,则更新用户数据的位置信息并解除锁定,即将检索库中的与该用户的标识对应的用户数据在子库中的位置信息,修改为所写入的目标子库中的位置信息,并将该指定用户的用户标识所对应的锁标志设置为无效;删除原子库中的该用户的数据。
此时,系统获取该用户数据,则已经指向目标数据库,可以进行读取和修改操作。
步骤4.如果写入失败,则将该指定用户的用户标识所对应的锁标志设置为无效,并删除已写入目标子库中的该用户的数据。
本步骤,保证了不会产生垃圾数据,用户数据的位置信息仍指向原数据库,保证了数据的可用性。
到此完成了数据的迁移过程。
由上述过程可以看出,在本发明的方案中,访问分布式数据库时会受到检索库中的锁标志的限制,具体为:当需要访问指定用户的数据时,根据所述指定用户的用户标识查询检索库,获得该指定用户数据在子库中的位置信息,并判断与该指定用户的用户标识所对应的锁标志是否为有效;如果为有效,则根据该指定用户数据在子库中的位置信息,只对该指定用户的数据进行读访问操作,而不能对该指定用户的数据进行更新操作;如果为无效,则可以进行读取或修改等任何操作。
此外,还有一种情况是:有些应用根据指定用户的用户标识查询检索库,获得该指定用户数据在子库中的位置信息后,缓存该位置信息,之后会根据所缓存的位置信息访问所述指定用户的数据,而不再查询检索库。此时如果指定用户的数据发生了迁移,则该应用的访问将会出错。针对这种情况,在本发明中对图2所示意的方法进行了进一步的完善,具体如图3所示。
图3是本发明中的用户数据从DB_A1和DB_B1迁移到DB_A2和DB_B2的一个较佳实施例的流程图。如图3所示,其中的“其它应用”为用户(User001)数据在从原子库(DB_A1和DB_B1)迁移到目标子库(DB_A2和DB_B2)之前,就访问原子库(DB_A1和DB_B1)的应用,由于这些应用在本地缓存的了用户数据在原子库(DB_A1和DB_B1)中的位置信息,并根据所缓存的位置信息访问该用户数据,因此本流程相对与图2所示的流程还增加了如下过程:
a、在步骤2中根据所获取的该用户(User001)数据在原子库(DB_A1和DB_B1)中的位置信息,获取用户的数据之前,向已在该原子库访问该用户的数据的其它应用发送该用户的数据将要迁移的第一通知消息;所述其它应用接收到第一通知消息后,只对该用户的数据进行读访问操作,而不对该指定用户的数据进行更新操作;
b、步骤3中,如果写入成功,则还向所述其它应用发送该用户的数据已迁移成功的第二通知消息,该第二通知消息中包含该用户的数据在目标库(DB_A2和DB_B2)中的位置信息;所述其它应用接收到第二通知消息后,用第二通知消息中的位置信息更新所缓存的位置信息,并根据更新后的位置信息访问所述指定用户的数据;
c、步骤4中,如果写入失败,则还向所述其它应用发送指定用户的数据迁移失败的第三通知消息;所述其它应用接收到第三通知消息后,仍根据所之前缓存的位置信息访问所述指定用户的数据。
经过上述方案可以解决有些应用根据本地缓存的位置信息去访问数据库中的用户数据,导致不能感知用户数据迁移的问题。
基于上述实施例给出本发明中的一种分布式数据库的组成结构。
图4是本发明实施例中的一种分布式数据库迁移系统的组成结构示意图。如图4所示,该分布式数据库迁移系统包括:一个检索库401、多个子库402和一个数据迁移模块403,其中:
子库存402,用于储用户数据;在图4中示意性地画出了三个子库。
检索库401,用于存储用户标识、用户数据在子库中的位置信息之间的对应关系以及锁标志之间的对应关系;
数据迁移模块403,用于根据指定用户的用户标识查询检索库401,获得该指定用户数据在原子库中的位置信息,并将与该指定用户的用户标识所对应的锁标志设置为有效;根据所获取的指定用户数据在原子库中的位置信息,获取指定用户的数据,并将所获取的数据写入目标子库中;如果写入成功,则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息,修改为所写入的目标子库中的位置信息,并将该指定用户的用户标识所对应的锁标志设置为无效;如果写入失败,则将该指定用户的用户标识所对应的锁标志设置为无效,并删除已写入目标子库中的该指定用户的数据。
在图4中,所述数据迁移模块403,在将所获取的数据成功写入目标子库时,进一步用于删除原子库中的该指定用户的数据。
图4所示的分布式数据库迁移系统还包括:数据访问模块404;
所述数据访问模块404,用于根据指定用户的用户标识查询检索库,获得该指定用户数据在子库中的位置信息,并判断与该指定用户的用户标识所对应的锁标志是否为有效;如果为有效,则根据该指定用户数据在子库中的位置信息,只对该指定用户的数据进行读访问操作,而不能对该指定用户的数据进行更新操作。
在本发明的一个实施例中,当数据访问模块根据指定用户的用户标识查询检索库401,获得该指定用户数据在子库中的位置信息后,缓存该位置信息,并根据所缓存的位置信息访问所述指定用户的数据时:
所述数据迁移模块403,进一步用于在根据所获取的指定用户数据在原子库中的位置信息,获取指定用户的数据之前,向数据访问模块404发送指定用户的数据将要迁移的第一通知消息;如果写入成功,则向数据访问模块404发送指定用户的数据已迁移成功的第二通知消息,该第二通知消息中包含所述指定用户的数据在目标库中的位置信息;如果写入失败,则向数据访问模块404发送指定用户的数据迁移失败的第三通知消息;
数据访问模块404,用于在接收到第一通知消息后,只对该指定用户的数据进行读访问操作,而不对该指定用户的数据进行更新操作;在接收到第二通知消息后,用第二通知消息中的位置信息更新所缓存的位置信息,并根据更新后的位置信息访问所述指定用户的数据;在接收到第三通知消息后,仍根据所缓存的位置信息访问所述指定用户的数据。
在图4所示的分布式数据库迁移系统的所述检索库401中,根据对用户标识进行取模的算法,或根据对用户标识进行哈希取模的算法,建立了用户标识与用户数据在子库中的位置信息之间的对应关系。
由上述可见,根据所述指定用户的用户标识查询检索库,获得该指定用户数据在原子库中的位置信息,并将与该指定用户的用户标识所对应的锁标志设置为有效;根据所获取的指定用户数据在原子库中的位置信息,获取指定用户的数据,并将所获取的数据写入目标子库中;如果写入成功,则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息,修改为所写入的目标子库中的位置信息,并将该指定用户的用户标识所对应的锁标志设置为无效;如果写入失败,则将该指定用户的用户标识所对应的锁标志设置为无效,并删除已写入目标子库中的该指定用户的数据的技术方案,由于在数据迁移的过程中对用户数据在子库中的位置信息的修改机制,以及锁标志的设定机制,使得能够保证用户数据的可用性和一致性,并且不中断用户的业务,使得用户无感知,提高了用户体验。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (10)
1.一种分布式数据库的数据迁移方法,所述分布式数据库由一个检索库和多个子库组成,子库存储用户数据,检索库存储用户标识和用户数据在子库中的位置信息之间的对应关系,其特征在于,检索库中还存储与用户标识对应的锁标志,则将指定用户的数据从原子库迁移到目标子库的方法包括:
根据所述指定用户的用户标识查询检索库,获得该指定用户数据在原子库中的位置信息,并将与该指定用户的用户标识所对应的锁标志设置为有效;
根据所获取的指定用户数据在原子库中的位置信息,获取指定用户的数据,并将所获取的数据写入目标子库中;
如果写入成功,则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息,修改为所写入的目标子库中的位置信息,并将该指定用户的用户标识所对应的锁标志设置为无效;
如果写入失败,则将该指定用户的用户标识所对应的锁标志设置为无效,并删除已写入目标子库中的该指定用户的数据。
2.根据权利要求1所述的方法,其特征在于,如果写入成功,该方法进一步包括:删除原子库中的该指定用户的数据。
3.根据权利要求1或2所述的方法,其特征在于,该方法进一步包括:
当有应用需要访问指定用户的数据时,根据所述指定用户的用户标识查询检索库,获得该指定用户数据在子库中的位置信息,并判断与该指定用户的用户标识所对应的锁标志是否为有效;如果为有效,则根据该指定用户数据在子库中的位置信息,只对该指定用户的数据进行读访问操作,而不能对该指定用户的数据进行更新操作。
4.根据权利要求1或2所述的方法,其特征在于,当应用根据所述指定用户的用户标识查询检索库,获得该指定用户数据在子库中的位置信息后,缓存该位置信息,并根据所缓存的位置信息访问所述指定用户的数据的情况下,该方法进一步包括:
在根据所获取的指定用户数据在原子库中的位置信息,获取指定用户的数据之前,向已在原子库访问所述指定用户的数据的应用发送指定用户的数据将要迁移的第一通知消息;所述应用接收到第一通知消息后,只对该指定用户的数据进行读访问操作,而不对该指定用户的数据进行更新操作;
如果写入成功,则向所述应用发送指定用户的数据已迁移成功的第二通知消息,该第二通知消息中包含所述指定用户的数据在目标库中的位置信息;所述应用接收到第二通知消息后,用第二通知消息中的位置信息更新所缓存的位置信息,并根据更新后的位置信息访问所述指定用户的数据;
如果写入失败,则向所述应用发送指定用户的数据迁移失败的第三通知消息;所述应用接收到第三通知消息后,仍根据所缓存的位置信息访问所述指定用户的数据。
5.根据权利要求1所述的方法,其特征在于,在所述检索库中,根据对用户标识进行取模的算法,或根据对用户标识进行哈希取模的算法,建立用户标识与用户数据在子库中的位置信息之间的对应关系。
6.一种分布式数据库迁移系统,其特征在于,该分布式数据库迁移系统包括:一个检索库、多个子库和一个数据迁移模块,其中:
子库存,用于储用户数据;
检索库,用于存储用户标识、用户数据在子库中的位置信息之间的对应关系以及锁标志之间的对应关系;
数据迁移模块,用于根据指定用户的用户标识查询检索库,获得该指定用户数据在原子库中的位置信息,并将与该指定用户的用户标识所对应的锁标志设置为有效;根据所获取的指定用户数据在原子库中的位置信息,获取指定用户的数据,并将所获取的数据写入目标子库中;如果写入成功,则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息,修改为所写入的目标子库中的位置信息,并将该指定用户的用户标识所对应的锁标志设置为无效;如果写入失败,则将该指定用户的用户标识所对应的锁标志设置为无效,并删除已写入目标子库中的该指定用户的数据。
7.根据权利要求6所述的分布式数据库迁移系统,其特征在于,
所述数据迁移模块,在将所获取的数据成功写入目标子库时,进一步用于删除原子库中的该指定用户的数据。
8.根据权利要求6或7所述的分布式数据库迁移系统,其特征在于,该分布式数据库进一步包括:数据访问模块;
所述数据访问模块,用于根据指定用户的用户标识查询检索库,获得该指定用户数据在子库中的位置信息,并判断与该指定用户的用户标识所对应的锁标志是否为有效;如果为有效,则根据该指定用户数据在子库中的位置信息,只对该指定用户的数据进行读访问操作,而不能对该指定用户的数据进行更新操作。
9.根据权利要求6或7所述的分布式数据库迁移系统,其特征在于,该分布式数据库进一步包括:数据访问模块;
所述数据访问模块,用于根据指定用户的用户标识查询检索库,获得该指定用户数据在子库中的位置信息后,缓存该位置信息,并根据所缓存的位置信息访问所述指定用户的数据;
所述数据迁移模块,进一步用于在根据所获取的指定用户数据在原子库中的位置信息,获取指定用户的数据之前,向数据访问模块发送指定用户的数据将要迁移的第一通知消息;如果写入成功,则向数据访问模块发送指定用户的数据已迁移成功的第二通知消息,该第二通知消息中包含所述指定用户的数据在目标库中的位置信息;如果写入失败,则向数据访问模块发送指定用户的数据迁移失败的第三通知消息;
数据访问模块,用于在接收到第一通知消息后,只对该指定用户的数据进行读访问操作,而不对该指定用户的数据进行更新操作;在接收到第二通知消息后,用第二通知消息中的位置信息更新所缓存的位置信息,并根据更新后的位置信息访问所述指定用户的数据;在接收到第三通知消息后,仍根据所缓存的位置信息访问所述指定用户的数据。
10.根据权利要求6所述的分布式数据库迁移系统,其特征在于,
在所述检索库中,根据对用户标识进行取模的算法,或根据对用户标识进行哈希取模的算法,建立了用户标识与用户数据在子库中的位置信息之间的对应关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110171546.XA CN102331993B (zh) | 2011-06-23 | 2011-06-23 | 分布式数据库的数据迁移方法和分布式数据库迁移系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110171546.XA CN102331993B (zh) | 2011-06-23 | 2011-06-23 | 分布式数据库的数据迁移方法和分布式数据库迁移系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102331993A true CN102331993A (zh) | 2012-01-25 |
CN102331993B CN102331993B (zh) | 2014-08-06 |
Family
ID=45483771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110171546.XA Active CN102331993B (zh) | 2011-06-23 | 2011-06-23 | 分布式数据库的数据迁移方法和分布式数据库迁移系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102331993B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678242A (zh) * | 2013-12-09 | 2014-03-26 | 腾讯科技(深圳)有限公司 | 用户资料发送方法及装置 |
CN103838770A (zh) * | 2012-11-26 | 2014-06-04 | 中国移动通信集团北京有限公司 | 一种数据逻辑分区的方法和系统 |
CN104077401A (zh) * | 2014-07-04 | 2014-10-01 | 用友软件股份有限公司 | 用于数据库的数据迁移装置和数据迁移方法 |
CN104572917A (zh) * | 2014-12-29 | 2015-04-29 | 成都致云科技有限公司 | 数据锁定方法、装置及分布式存储系统 |
CN104794249A (zh) * | 2015-05-15 | 2015-07-22 | 乐得科技有限公司 | 一种数据库的实现方法和设备 |
CN106294387A (zh) * | 2015-05-19 | 2017-01-04 | 深圳市腾讯计算机系统有限公司 | 数据迁移方法和装置 |
CN106855871A (zh) * | 2015-12-09 | 2017-06-16 | 阿里巴巴集团控股有限公司 | 一种数据迁移的方法和装置 |
CN107239568A (zh) * | 2017-06-27 | 2017-10-10 | 石化盈科信息技术有限责任公司 | 分布式索引实现方法及装置 |
CN107330002A (zh) * | 2017-06-09 | 2017-11-07 | 石化盈科信息技术有限责任公司 | 分布式数据库实现方法及装置 |
CN107391755A (zh) * | 2017-08-21 | 2017-11-24 | 中国银联股份有限公司 | 一种数据分布调节、查询的方法和装置 |
CN108021585A (zh) * | 2016-10-28 | 2018-05-11 | 腾讯科技(深圳)有限公司 | 分布式数据存储方法和装置 |
CN109309734A (zh) * | 2018-11-27 | 2019-02-05 | 北京百度网讯科技有限公司 | 用于传输数据的方法及装置 |
CN109388627A (zh) * | 2017-08-08 | 2019-02-26 | 阿里巴巴集团控股有限公司 | 一种数据库访问的控制方法、装置及电子设备 |
CN111078906A (zh) * | 2018-10-18 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 图像查询、信息同步方法及装置 |
CN113297182A (zh) * | 2021-06-16 | 2021-08-24 | 中国农业银行股份有限公司 | 数据迁移方法、设备、存储介质及程序产品 |
CN116049320A (zh) * | 2023-03-09 | 2023-05-02 | 龙存科技(北京)股份有限公司 | 一种基于本地化访问的分布式数据库设计方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1568025A (zh) * | 2003-06-19 | 2005-01-19 | 中兴通讯股份有限公司 | 移动通信系统中拜访用户数据的分布式处理方法 |
US6950848B1 (en) * | 2000-05-05 | 2005-09-27 | Yousefi Zadeh Homayoun | Database load balancing for multi-tier computer systems |
CN101071434A (zh) * | 2007-05-14 | 2007-11-14 | 腾讯科技(深圳)有限公司 | 一种分布式数据库系统中用户分布的方法、装置及系统 |
-
2011
- 2011-06-23 CN CN201110171546.XA patent/CN102331993B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6950848B1 (en) * | 2000-05-05 | 2005-09-27 | Yousefi Zadeh Homayoun | Database load balancing for multi-tier computer systems |
CN1568025A (zh) * | 2003-06-19 | 2005-01-19 | 中兴通讯股份有限公司 | 移动通信系统中拜访用户数据的分布式处理方法 |
CN101071434A (zh) * | 2007-05-14 | 2007-11-14 | 腾讯科技(深圳)有限公司 | 一种分布式数据库系统中用户分布的方法、装置及系统 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103838770A (zh) * | 2012-11-26 | 2014-06-04 | 中国移动通信集团北京有限公司 | 一种数据逻辑分区的方法和系统 |
CN103678242A (zh) * | 2013-12-09 | 2014-03-26 | 腾讯科技(深圳)有限公司 | 用户资料发送方法及装置 |
CN104077401B (zh) * | 2014-07-04 | 2017-11-24 | 用友网络科技股份有限公司 | 用于数据库的数据迁移装置和数据迁移方法 |
CN104077401A (zh) * | 2014-07-04 | 2014-10-01 | 用友软件股份有限公司 | 用于数据库的数据迁移装置和数据迁移方法 |
CN104572917A (zh) * | 2014-12-29 | 2015-04-29 | 成都致云科技有限公司 | 数据锁定方法、装置及分布式存储系统 |
CN104794249A (zh) * | 2015-05-15 | 2015-07-22 | 乐得科技有限公司 | 一种数据库的实现方法和设备 |
CN104794249B (zh) * | 2015-05-15 | 2018-08-28 | 网易乐得科技有限公司 | 一种数据库的实现方法和设备 |
CN106294387B (zh) * | 2015-05-19 | 2020-06-02 | 深圳市腾讯计算机系统有限公司 | 数据迁移方法和装置 |
CN106294387A (zh) * | 2015-05-19 | 2017-01-04 | 深圳市腾讯计算机系统有限公司 | 数据迁移方法和装置 |
CN106855871A (zh) * | 2015-12-09 | 2017-06-16 | 阿里巴巴集团控股有限公司 | 一种数据迁移的方法和装置 |
CN106855871B (zh) * | 2015-12-09 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 一种数据迁移的方法和装置 |
CN108021585B (zh) * | 2016-10-28 | 2022-01-18 | 腾讯科技(深圳)有限公司 | 分布式数据存储方法和装置 |
CN108021585A (zh) * | 2016-10-28 | 2018-05-11 | 腾讯科技(深圳)有限公司 | 分布式数据存储方法和装置 |
CN107330002A (zh) * | 2017-06-09 | 2017-11-07 | 石化盈科信息技术有限责任公司 | 分布式数据库实现方法及装置 |
CN107239568A (zh) * | 2017-06-27 | 2017-10-10 | 石化盈科信息技术有限责任公司 | 分布式索引实现方法及装置 |
CN109388627A (zh) * | 2017-08-08 | 2019-02-26 | 阿里巴巴集团控股有限公司 | 一种数据库访问的控制方法、装置及电子设备 |
CN107391755A (zh) * | 2017-08-21 | 2017-11-24 | 中国银联股份有限公司 | 一种数据分布调节、查询的方法和装置 |
CN111078906A (zh) * | 2018-10-18 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 图像查询、信息同步方法及装置 |
CN111078906B (zh) * | 2018-10-18 | 2023-05-19 | 杭州海康威视数字技术股份有限公司 | 图像查询、信息同步方法及装置 |
CN109309734B (zh) * | 2018-11-27 | 2020-05-22 | 北京百度网讯科技有限公司 | 用于传输数据的方法及装置 |
CN109309734A (zh) * | 2018-11-27 | 2019-02-05 | 北京百度网讯科技有限公司 | 用于传输数据的方法及装置 |
CN113297182A (zh) * | 2021-06-16 | 2021-08-24 | 中国农业银行股份有限公司 | 数据迁移方法、设备、存储介质及程序产品 |
CN113297182B (zh) * | 2021-06-16 | 2024-01-30 | 中国农业银行股份有限公司 | 数据迁移方法、设备、存储介质及程序产品 |
CN116049320A (zh) * | 2023-03-09 | 2023-05-02 | 龙存科技(北京)股份有限公司 | 一种基于本地化访问的分布式数据库设计方法及系统 |
CN116049320B (zh) * | 2023-03-09 | 2023-08-08 | 龙存科技(北京)股份有限公司 | 一种基于本地化访问的分布式数据库设计方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102331993B (zh) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102331993B (zh) | 分布式数据库的数据迁移方法和分布式数据库迁移系统 | |
US8799601B1 (en) | Techniques for managing deduplication based on recently written extents | |
US8909887B1 (en) | Selective defragmentation based on IO hot spots | |
US9921955B1 (en) | Flash write amplification reduction | |
CN107391758B (zh) | 数据库切换方法、装置及设备 | |
CN102667772B (zh) | 文件级分级存储管理系统、方法和设备 | |
US9672274B1 (en) | Scalable message aggregation | |
CN104395904A (zh) | 高效的数据对象存储和检索 | |
CN100585595C (zh) | 使用数据库管理系统管理文件系统的数据的方法 | |
CN103761141A (zh) | 一种实现消息队列的方法及装置 | |
CN102349062A (zh) | 用于跨设备和web服务使浏览器缓存同步的编程模型 | |
CN102299904A (zh) | 一种实现业务数据备份的系统及方法 | |
CN104765661B (zh) | 一种云存储服务中元数据服务节点的多节点热备方法 | |
CN102843403A (zh) | 基于分布式文件系统的文件处理方法、系统及客户端 | |
CN103544045A (zh) | 一种基于hdfs的虚拟机镜像存储系统及其构建方法 | |
CN103037004A (zh) | 云存储系统操作的实现方法和装置 | |
CN103106286A (zh) | 元数据的管理方法和装置 | |
CN106326229A (zh) | 一种嵌入式系统的文件存储方法和装置 | |
CN103049224A (zh) | 将数据导入物理磁带的方法、装置和系统 | |
CN103501319A (zh) | 一种低延迟的面向小文件的分布式存储系统 | |
CN106682139A (zh) | 一种基于Solr实现HBase多条件查询的方法及系统 | |
CN104461932B (zh) | 一种面向大数据应用的目录缓存管理方法 | |
CN106104515A (zh) | 利用非易失性存储器的文件系统设计和故障恢复方法 | |
CN102760131A (zh) | 一种网络相册的展示方法及系统 | |
CN106155580B (zh) | 一种基于嵌入式多媒体卡eMMC的存储方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: Room 810, 8 / F, 34 Haidian Street, Haidian District, Beijing 100080 Patentee after: BEIJING D-MEDIA COMMUNICATION TECHNOLOGY Co.,Ltd. Address before: 100089 Beijing city Haidian District wanquanzhuang Road No. 28 Wanliu new building A block 5 layer Patentee before: BEIJING D-MEDIA COMMUNICATION TECHNOLOGY Co.,Ltd. |