CN103514274A - 非关系型数据库HBase的数据迁移方法 - Google Patents
非关系型数据库HBase的数据迁移方法 Download PDFInfo
- Publication number
- CN103514274A CN103514274A CN201310421176.XA CN201310421176A CN103514274A CN 103514274 A CN103514274 A CN 103514274A CN 201310421176 A CN201310421176 A CN 201310421176A CN 103514274 A CN103514274 A CN 103514274A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- hbase
- group
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Abstract
本发明公开了一种非关系型数据库HBase的数据迁移方法。本发明通过读取用户的配置文件信息,将用户指定时间段内的数据从旧的HBase集群中迁移到新的HBase集群中,使用该方法具有以下优点:第一、通过设计RowKey,将数据的组别信息、时间信息体现在RowKey上,数据迁移时扫描RowKey,可直接辨别出该RowKey对应的数据是否在用户指定的迁移时间范围内;第二、以组别作为数据迁移单位,每个组别作为一个检查点,当发生异常情况时,可以将新旧集群之间不同步的数据的范围严格控制在一个组别内,减少恢复数据同步所需的时间;第三、在数据迁移过程中记录日志信息,用于处理数据迁移过程中的异常情况,确保新旧集群之间数据的同步,能够准确、高效的完成HBase集群间的数据迁移。
Description
技术领域
本发明涉及非关系型数据库的数据迁移技术,尤其涉及一种非关系型数据库HBase的数据迁移方法。
背景技术
数据库技术是计算机科学技术中发展最快的领域之一,也是应用最广的技术之一,近些年来,随着互联网的发展,特别是互联网Web2.0的兴起,传统的关系型数据库在应对超大规模和高并发的SNS类型的网站时已经显得力不从心,而非关系型数据库则由于其自身的特点在应对大规模数据和高并发的访问时具有很好的表现,所以得到了非常迅速的发展。
HBase就是一种分布式的、面向列的非关系型数据库,适用于需要实时随机读写超大规模数据的应用。但是随着时间的推移,需要存储的数据量越来越大,虽然HBase可以通过增加集群中的机器来扩展存储能力,但这将影响到对HBase中数据进行读写的速度。另一方面,很早之前存储的数据对于当前应用来说可能不再使用或者很少再进行读写操作,只在进行数据统计和分析时才会被访问到,所以可以将这一部分很少被访问的历史数据迁移到另一个新的集群中,以提高当前集群的存储能力和读写数据的速度。
目前,关系型数据库都提供了一些数据迁移的方案和工具,但对于非关系型数据库来说,由于其存储的数据量很大,且大多数非关系型数据库都没有针对多行记录的事务特性,所以使得数据迁移的难度增大,鲜有数据迁移的完整方案。由于HBase是一个在分布式文件系统HDFS上开发的分布式数据库,现有的针对HBase的数据迁移方案大多是基于HDFS的数据块,将存储有HBase数据的HDFS数据块复制转移到新的集群上,因为HDFS的数据块转移必须是将整块都转移,并不能拆分开来进行转移,所以这样的转移方式显得不够灵活,无法由用户自定义需要转移的数据,且数据迁移只能由具有专业知识的数据库管理员来操作,增大了用户的负担。
发明内容
本发明所要解决的技术问题是:提供一种非关系型数据库HBase的数据迁移方法,采用这种迁移方法数据迁移较灵活,而且能由用户自定义需要转移的数据,并且不需要专门的数据库管理员来操作。
本发明所采用的技术方案是:一种非关系型数据库HBase的数据迁移方法,它包括以下步骤:
1)为非关系型数据库HBase中保存的数据设计合理的RowKey,该RowKey体现出数据的组别信息和时间信息;
2)创建一个日志文件,该日志文件包含组别信息、插入信息和删除信息;
3)关闭HBase集群的预写日志WAL并使用压缩技术对需要迁移的数据进行压缩;
4)读取用户配置文件信息,根据用户设定的数据迁移时间,和步骤2)中的日志文件信息,以组别为单位从旧的HBase集群中读取需要迁移的数据;
5)将读取的数据迁移到新的HBase集群上,并修改步骤2)中日志文件的插入信息,并将该信息强制刷新到磁盘上;
6)将已经迁移到新的HBase集群上的数据从旧的HBase集群上删除,并修改步骤2)中日志文件的删除信息,并将该信息强制刷新到磁盘上;
7)继续跳转到步骤4)执行,迁移其他组别的数据,直到所有组别的数据全部迁移到新的HBase集群中。
所述步骤3)中的压缩技术为SNAPPY压缩技术。
所述步骤5)的具体步骤如下:
a)从日志文件中读取正在迁移的数据的组别信息,判断该组别的数据是否已经成功的插入新的HBase集群中;
b)若已经成功插入,则什么也不做;若没有成功插入,则将读取到的数据全部插入到新的HBase集群中,并将日志文件中该组别的插入标识置为成功,然后将此插入信息强制刷新到磁盘。
所述步骤6)的具体步骤如下:
a)从日志文件中读取正在迁移的数据的组别信息,判断该组别的数据是否已经成功的从旧的HBase集群中删除;
b)若已经成功删除,则什么也不做;若没有成功删除,则将对应组别的数据从旧的HBase集群中删除,并将日志文件中该组别的删除标识置为成功,将此删除信息强制刷新到磁盘。
采用以上结构与现有技术相比,本发明具有以下优点:第一、为HBase中保存的数据设计合理的RowKey,该RowKey体现出数据的组别信息和时间信息,数据迁移时扫描RowKey,可辨别出该RowKey对应数据的时间和组别,不需要解析数据的时间戳等信息,加快了数据迁移的速度;第二、为保证数据迁移过程中发生了异常情况后可保证数据的一致性,创建了一个日志文件,该日志文件用于保存迁移过程中的组别信息、插入信息和删除信息,在数据迁移过程中发生异常情况后,可以通过日志文件中的信息恢复数据的一致性并继续进行未完成的数据迁移,确保新旧集群之间数据的同步,能够准确、高效的完成HBase集群间的数据迁移;第三、建立了日志文件保证数据迁移过程中的数据一致性,所以可以暂时关闭新集群的预写日志WAL来加快数据插入新集群的速度,并且由于迁移数据量比较大,使用了SNAPPY对数据进行压缩,提高数据迁移的速度;第四、通过读取用户配置文件信息,用户可以自定义迁移数据的时间段来实现指定数据的迁移,并且迁移以组别为单位进行,每个组别作为一个检查点,如果在数据迁移过程中发生异常情况,可以将新旧集群之间不同步的数据的范围严格控制在一个组别内,当重启数据迁移后,只需恢复少量数据的一致性,提高了迁移的效率和准确性,减少恢复数据同步所需的时间。
附图说明
图1为本发明非关系型数据库HBase的数据迁移方法的实施流程图。
图2为本发明非关系型数据库HBase的数据迁移方法的日志文件表示图。
图3为本发明非关系型数据库HBase的数据迁移方法的用户配置文件表示图。
具体实施方式
以下结合附图与具体实施方式对本发明做进一步描述,但是本发明不仅限于以下具体实施方式。
图1给出了总体实施流程图,展示了该发明的主要步骤。现结合某市自来水公司历史数据迁移过程,对本发明的方案作进一步说明,具体的实施步骤如下:
1、为非关系型数据库HBase中保存的数据设计合理的RowKey(即行键),该RowKey体现出数据的组别信息和时间信息,具体操作如下:
根据数据迁移的需要,将RowKey的结构设计为:组别—年—月—日—用户自定义信息。其中RowKey的前四个字段(组别—年—月—日)称为RowKey前缀,该RowKey前缀主要用于做数据迁移,是必备字段,而用户自定义信息则可由用户个性化定义。以某市自来水公司历史数据迁移为例,将该市的用户按小区划分,每个小区拥有一个唯一的组别号,这个唯一的组别号作为RowKey的一部分,体现出数据的组别信息;另外,每个用户一天将在HBase集群中存放一条水量数据,该条数据代表哪天的数据将作为时间信息体现在RowKey上;除此之外,用户还在RowKey上自定义了用户号作为区分每一个用户的重要标识。例如,1200号小区88号用户2013年1月1日的用水量数据对应的RowKey为1200-2013-01-01-88。其中第一个字段(1200)体现了组别信息,紧接着的三个字段(2013-01-01)体现了时间信息,最后一个字段(88)体现了用户信息。
2、创建日志文件,该日志文件有多种存储方式,可以存储为关系型数据库中的表结构、日志信息、或其他系统中的文件,用于保存数据迁移过程中的组别信息、插入信息和删除信息,当迁移发生异常时可通过日志文件信息恢复数据的一致性,具体操作如下:
以某市自来水公司历史数据迁移为例,该市共有1500个小区,编号为1~1500,每个小区拥有一个唯一编号,现需要迁移这1500个小区的所有用户用水量信息,则组别信息文件中存放了需要转移的所有组别信息,其结构如图2所示,其中图2将日志文件存储成了关系数据库中的表结构,该表的第一个属性表示的是组别信息,包含了1~1500个需要转移的组别号,一行记录包含一个组别号。
插入信息主要用于记录某个组别的数据是否完全插入到新的集群中,其结构如图2所示,图2中的第二个属性表示的是插入信息,其中包含了1~1500个组别的插入信息,一行记录包含一个组别的插入信息,其中标识为“NO”表示该组别的数据没有完全插入新的HBase集群,“YES”表示该组别的数据已经完全插入新的HBase集群。数据迁移初始化时,所有组别的插入信息标识都为“NO”。与此类似,删除信息文件主要用于记录某个组别的数据是否完全从旧的集群中删除,其结构如图2所示,图2中的第三个属性表示的是删除信息,其中包含了1~1500个组别的删除信息,一行记录包含一个组别,其中标识为“NO”表示该组别的数据没有完全从旧的HBase集群中删除,“YES”表示该组别的数据已经完全从旧的HBase集群中删除。数据迁移初始化时,所有组别的删除信息标识都为“NO”。
3、关闭HBase集群的预写日志WAL并使用压缩技术,使得数据迁移过程速度加快,具体操作如下:
HBase利用Put操作来向HBase中插入数据,在向新的HBase集群中插入数据时,调用false函数,放弃写WAL日志,以便提高数据写入新的Hbase集群的速度,并使用SNAPPY对数据进行压缩,减小插入过程中的传输量。
4、读取用户配置文件信息,根据用户设定的数据迁移时间,和步骤2中的日志文件信息,以组别为单位从旧的HBase集群中读取需要迁移的数据,具体操作如下:
图3显示了用户配置文件的格式,读取该配置文件可知用户需要转移2011年1月1日至2012年12月31日的数据,再从组别信息中读出一个组别号,假设为1,则根据以上信息可知在该小区该时间段内,起始的RowKey为:0001-2011-01-01-0,终止的RowKey为:0001-2012-12-31-(设定的最大值),利用HBase中的scan函数scan(startRowKey,endRowKey)就可以得到该小区该时间段内的数据。
5、将读取的数据迁移到新的HBase集群上,并修改步骤2中日志文件的信息,并将该信息强制刷新到磁盘上,具体操作如下:
将步骤4中得到的1号小区2011年1月1日至2012年12月31日的迁移数据写入到新的HBase集群中,如果数据全部写入成功,则将日志文件中,1号小区对应的插入信息标识改为“YES”,表明1号小区的数据已经完全成功的写入到新的HBase集群中。
6、将已经迁移到新的HBase集群上的数据从旧集群上删除,并修改步骤2中日志文件的信息,并将该信息强制刷新到磁盘上,具体操作如下:
从旧的HBase集群中删除1号小区2011年1月1日至2012年12月31日的数据,如果这些数据完全从旧的HBase中删除,则将日志文件中,1号小区对应的删除信息标识改为“YES”,表明1号小区的数据已经完全成功的从旧的HBase集群中删除。至此,1号小区2011年1月1日至2012年12月31日的数据已经完全迁移成功,没有遇到异常,不需要再次执行迁移任务。
7、继续转到步骤4执行,迁移其他组别的数据,直到所有组别的数据全部迁移到新的HBase集群中,具体操作如下:
继续从日志文件中读取下一个组别号,如读出的组别号为2,说明要开始迁移2号小区2011年1月1日至2012年12月31日的数据,并按照上面的步骤4~步骤6完成下一个小区的迁移任务,循环往复,直到日志文件中所有的插入信息与删除信息都为“YES”,说明此次迁移任务所涉及的所有组别都已经完成迁移,数据迁移完成。
8、在数据迁移过程中,若发生异常,则根据发生异常的位置进行不同的处理,具体方案如下:
异常一:若异常发生在插入新HBase集群之前,由于此时并未涉及到数据的插入和删除,所以在排除异常后重启系统就可继续进行数据迁移。
异常二:若异常发生在插入新的HBase集群中,则按照如下步骤处理:
排除异常。
读取发生异常时正在迁移的组别号,并读取该组别号对应的插入信息标识,若为“NO”,说明迁移数据并未完全迁移到新HBase集群中。重新从旧HBase中读取该组别对应的数据,并将数据直接插入到新的HBase集群中。在新的插入过程中,没有必要将上次异常插入的数据删除,因为HBase会默认覆盖掉相同RowKey的旧数据。
按后续正常流程继续处理。
异常三:若异常发生在删除旧HBase集群中,则按照如下步骤处理:
排除异常。
读取发生异常时正在迁移的组别号,并读取该组别号对应的插入信息标识,若为“YES”,说明迁移数据已经迁移到新HBase集群中。
读取该组别号对应的删除信息标识,若为“NO”,说明数据还未完全从旧的HBase集群中删除。
从旧HBase集群中删除该组别的信息,并将该组别对应的删除信息标识置为“YES”,说明数据从旧HBase集群中删除成功。
该组别数据迁移成功,将该组别号对应的记录从日志文件中删除。
Claims (4)
1.一种非关系型数据库HBase的数据迁移方法,其特征在于:它包括以下步骤:
1)为非关系型数据库HBase中保存的数据设计合理的RowKey,该RowKey体现出数据的组别信息和时间信息;
2)创建一个日志文件,该日志文件包含组别信息、插入信息和删除信息;
3)关闭HBase集群的预写日志WAL并使用压缩技术对需要迁移的数据进行压缩;
4)读取用户配置文件信息,根据用户设定的数据迁移时间和步骤2)中的日志文件信息,以组别为单位从旧的HBase集群中读取需要迁移的数据;
5)将读取的数据迁移到新的HBase集群上,并修改步骤2)中日志文件的插入信息,并将该信息强制刷新到磁盘上;
6)将已经迁移到新的HBase集群上的数据从旧的HBase集群上删除,并修改步骤2)中日志文件的删除信息,并将该信息强制刷新到磁盘上;
7)继续跳转到步骤4)执行,迁移其他组别的数据,直到所有组别的数据全部迁移到新的HBase集群中。
2.根据权利要求1所述的非关系型数据库HBase的数据迁移方法,其特征在于:所述步骤3)中的压缩技术为SNAPPY压缩技术。
3.根据权利要求1所述的非关系型数据库HBase的数据迁移方法,其特征在于:所述步骤5)的具体步骤如下:
a)从日志文件中读取正在迁移的数据的组别信息,判断该组别的数据是否已经成功的插入新的HBase集群中;
b)若已经成功插入,则什么也不做;若没有成功插入,则将读取到的数据全部插入到新的HBase集群中,并将日志文件中该组别的插入标识置为成功,然后将此插入信息强制刷新到磁盘。
4.根据权利要求1所述的非关系型数据库HBase的数据迁移方法,其特征在于:所述步骤6)的具体步骤如下:
a)从日志文件中读取正在迁移的数据的组别信息,判断该组别的数据是否已经成功的从旧的HBase集群中删除;
b)若已经成功删除,则什么也不做;若没有成功删除,则将对应组别的数据从旧的HBase集群中删除,并将日志文件中该组别的删除标识置为成功,将此删除信息强制刷新到磁盘。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310421176.XA CN103514274A (zh) | 2013-09-17 | 2013-09-17 | 非关系型数据库HBase的数据迁移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310421176.XA CN103514274A (zh) | 2013-09-17 | 2013-09-17 | 非关系型数据库HBase的数据迁移方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103514274A true CN103514274A (zh) | 2014-01-15 |
Family
ID=49896998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310421176.XA Pending CN103514274A (zh) | 2013-09-17 | 2013-09-17 | 非关系型数据库HBase的数据迁移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103514274A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870570A (zh) * | 2014-03-14 | 2014-06-18 | 广州携智信息科技有限公司 | 一种基于远程日志备份的HBase数据可用性及持久性的方法 |
CN104077401A (zh) * | 2014-07-04 | 2014-10-01 | 用友软件股份有限公司 | 用于数据库的数据迁移装置和数据迁移方法 |
CN105205154A (zh) * | 2015-09-24 | 2015-12-30 | 浙江宇视科技有限公司 | 数据迁移方法以及装置 |
CN106021574A (zh) * | 2016-05-27 | 2016-10-12 | 安徽四创电子股份有限公司 | 一种数据存储复制方法及其存储复制系统 |
CN106339209A (zh) * | 2015-07-17 | 2017-01-18 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和设备 |
CN106933859A (zh) * | 2015-12-30 | 2017-07-07 | 中国移动通信集团公司 | 一种医疗数据的迁移方法和装置 |
CN107169098A (zh) * | 2017-05-15 | 2017-09-15 | 北京京东尚科信息技术有限公司 | 数据搬运方法、数据搬运装置及电子设备 |
CN107547607A (zh) * | 2016-06-24 | 2018-01-05 | 杭州海康威视数字技术股份有限公司 | 一种集群迁移方法及装置 |
CN107577433A (zh) * | 2017-09-13 | 2018-01-12 | 郑州云海信息技术有限公司 | 一种存储介质和文件数据的迁移方法、装置及设备 |
CN107643880A (zh) * | 2017-09-27 | 2018-01-30 | 郑州云海信息技术有限公司 | 基于分布式文件系统的文件数据迁移的方法及装置 |
CN109074362A (zh) * | 2016-05-02 | 2018-12-21 | 谷歌有限责任公司 | 分布式系统中的拆分和移动范围 |
CN110807013A (zh) * | 2018-08-03 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 用于分布式数据存储集群的数据迁移方法和装置 |
CN111046036A (zh) * | 2019-11-05 | 2020-04-21 | 深信服科技股份有限公司 | 数据同步方法、装置、系统及存储介质 |
CN112487075A (zh) * | 2020-12-29 | 2021-03-12 | 中科院计算技术研究所大数据研究院 | 一种集成关系型和非关系型数据库数据转换的算子 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102308297A (zh) * | 2011-07-13 | 2012-01-04 | 华为技术有限公司 | 一种数据迁移方法、数据迁移装置及数据迁移系统 |
-
2013
- 2013-09-17 CN CN201310421176.XA patent/CN103514274A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102308297A (zh) * | 2011-07-13 | 2012-01-04 | 华为技术有限公司 | 一种数据迁移方法、数据迁移装置及数据迁移系统 |
Non-Patent Citations (4)
Title |
---|
CHONGXIN LI: "Transforming Relation Database into HBase:A Case Study", 《SOFTWARE ENGINEERING AND SERVICE SCIENCES,2010 IEEE》 * |
吕明育: "Hadoop架构下数据挖掘与数据迁移系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
李圣陶: "基于Oracle的数据迁移优化方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
杨寒冰等: "HBase数据库迁移工具的设计与实现", 《计算机科学与探索》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870570A (zh) * | 2014-03-14 | 2014-06-18 | 广州携智信息科技有限公司 | 一种基于远程日志备份的HBase数据可用性及持久性的方法 |
CN104077401A (zh) * | 2014-07-04 | 2014-10-01 | 用友软件股份有限公司 | 用于数据库的数据迁移装置和数据迁移方法 |
CN104077401B (zh) * | 2014-07-04 | 2017-11-24 | 用友网络科技股份有限公司 | 用于数据库的数据迁移装置和数据迁移方法 |
CN106339209A (zh) * | 2015-07-17 | 2017-01-18 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和设备 |
CN105205154A (zh) * | 2015-09-24 | 2015-12-30 | 浙江宇视科技有限公司 | 数据迁移方法以及装置 |
CN105205154B (zh) * | 2015-09-24 | 2021-06-22 | 浙江宇视科技有限公司 | 数据迁移方法以及装置 |
CN106933859B (zh) * | 2015-12-30 | 2020-10-20 | 中国移动通信集团公司 | 一种医疗数据的迁移方法和装置 |
CN106933859A (zh) * | 2015-12-30 | 2017-07-07 | 中国移动通信集团公司 | 一种医疗数据的迁移方法和装置 |
CN109074362B (zh) * | 2016-05-02 | 2020-06-05 | 谷歌有限责任公司 | 分布式系统中的拆分和移动范围 |
CN109074362A (zh) * | 2016-05-02 | 2018-12-21 | 谷歌有限责任公司 | 分布式系统中的拆分和移动范围 |
CN106021574A (zh) * | 2016-05-27 | 2016-10-12 | 安徽四创电子股份有限公司 | 一种数据存储复制方法及其存储复制系统 |
CN107547607B (zh) * | 2016-06-24 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种集群迁移方法及装置 |
CN107547607A (zh) * | 2016-06-24 | 2018-01-05 | 杭州海康威视数字技术股份有限公司 | 一种集群迁移方法及装置 |
CN107169098B (zh) * | 2017-05-15 | 2020-06-30 | 北京京东尚科信息技术有限公司 | 数据搬运方法、数据搬运装置及电子设备 |
CN107169098A (zh) * | 2017-05-15 | 2017-09-15 | 北京京东尚科信息技术有限公司 | 数据搬运方法、数据搬运装置及电子设备 |
CN107577433B (zh) * | 2017-09-13 | 2020-09-22 | 苏州浪潮智能科技有限公司 | 一种存储介质和文件数据的迁移方法、装置及设备 |
CN107577433A (zh) * | 2017-09-13 | 2018-01-12 | 郑州云海信息技术有限公司 | 一种存储介质和文件数据的迁移方法、装置及设备 |
CN107643880A (zh) * | 2017-09-27 | 2018-01-30 | 郑州云海信息技术有限公司 | 基于分布式文件系统的文件数据迁移的方法及装置 |
CN107643880B (zh) * | 2017-09-27 | 2021-06-29 | 郑州云海信息技术有限公司 | 基于分布式文件系统的文件数据迁移的方法及装置 |
CN110807013A (zh) * | 2018-08-03 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 用于分布式数据存储集群的数据迁移方法和装置 |
CN111046036A (zh) * | 2019-11-05 | 2020-04-21 | 深信服科技股份有限公司 | 数据同步方法、装置、系统及存储介质 |
CN112487075A (zh) * | 2020-12-29 | 2021-03-12 | 中科院计算技术研究所大数据研究院 | 一种集成关系型和非关系型数据库数据转换的算子 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103514274A (zh) | 非关系型数据库HBase的数据迁移方法 | |
US10262002B2 (en) | Consistent execution of partial queries in hybrid DBMS | |
CN105138635B (zh) | 一种利用哈希值比对进行数据增量复制的方法 | |
CN102402596B (zh) | 一种主从分离数据库的读写方法和系统 | |
CN105868343B (zh) | 数据库迁移方法及系统 | |
WO2018113580A1 (zh) | 一种数据管理方法及服务器 | |
CN103617176A (zh) | 一种实现多源异构数据资源自动同步的方法 | |
CN102346775A (zh) | 一种基于日志的异构多源数据库同步方法 | |
US10002142B2 (en) | Method and apparatus for generating schema of non-relational database | |
CN105095247B (zh) | 符号数据分析方法和系统 | |
CN109189852A (zh) | 一种数据同步的方法及用于数据同步的装置 | |
US10552460B2 (en) | Sensor data management apparatus, sensor data management method, and computer program product | |
US20190034453A1 (en) | Flexible synchronous file system replication | |
CN111651519B (zh) | 数据同步方法、数据同步装置、电子设备及存储介质 | |
CN110505495A (zh) | 多媒体资源抽帧方法、装置、服务器及存储介质 | |
CN104281717B (zh) | 一种建立海量id映射关系的方法 | |
CN105373541A (zh) | 数据库的数据操作请求的处理方法和系统 | |
CN111291023A (zh) | 一种数据迁移的方法、系统、设备以及介质 | |
CN105808653A (zh) | 一种基于用户标签系统的数据处理方法及装置 | |
CN104317957A (zh) | 一种报表处理的开放平台、系统及报表处理方法 | |
CN105447168A (zh) | Mp4格式的碎片文件恢复与重组的方法 | |
CN108153804A (zh) | 一种对称分布式文件系统的元数据日志更新方法 | |
CN110489092A (zh) | 一种数据库读写分离架构下读取数据延迟问题的解决方法 | |
CN114925073A (zh) | 支持灵活动态分片的分布式数据库架构及其实现方法 | |
CN109947730A (zh) | 元数据恢复方法、装置、分布式文件系统及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140115 |