CN105472045A - 数据库迁移的方法和装置 - Google Patents

数据库迁移的方法和装置 Download PDF

Info

Publication number
CN105472045A
CN105472045A CN201610052263.6A CN201610052263A CN105472045A CN 105472045 A CN105472045 A CN 105472045A CN 201610052263 A CN201610052263 A CN 201610052263A CN 105472045 A CN105472045 A CN 105472045A
Authority
CN
China
Prior art keywords
data
database
migrated
migration
providing end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610052263.6A
Other languages
English (en)
Inventor
王云龙
王宗瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201610052263.6A priority Critical patent/CN105472045A/zh
Publication of CN105472045A publication Critical patent/CN105472045A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/17Interaction among intermediate nodes, e.g. hop by hop

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据库迁移的方法和装置。所述方法的一具体实施方式包括:通过连接地址连接数据提供端的数据平台,获取所述数据平台中的数据库信息,以供所述数据提供端根据所述数据库信息确定待迁移数据库;响应于所述数据提供端的数据迁移请求,确定数据迁移的时间分割点,所述数据迁移请求包括所述待迁移数据库的信息;接收所述待迁移数据库中的全量数据,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据;按照时间顺序依次读取所述待迁移数据库中的增量数据,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据;根据所述全量数据和所述增量数据生成迁移数据库。该实施方式可以提高数据库迁移的有效性。

Description

数据库迁移的方法和装置
技术领域
本申请涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及数据库迁移的方法和装置。
背景技术
数据库(Database)通常按照数据结构来组织,用于存储和管理数据,如关系型数据库管理系统MySQL、支持对XML(标准通用标记语言下的一个应用)格式文档进行存储和查询等操作的XML数据库等等。随着互联网技术的发展,数据库往往会需要从一台电子设备迁移到另一台电子设备。对于一些数据实时变化的数据库,如可以对外提供业务的数据库,其迁移过程较为复杂。例如,随着云计算的快速发展,越来越多的用户开始通过云端存储数据或提供业务,用户在使用云端存储数据或提供业务之前,往往已经在自己的数据平台的数据库里存储了大量数据,这些数据通常需要迁移至云端,并实现云端数据库代替用户自己的数据平台的数据库对外提供业务。现有的数据库迁移方法中,往往通过离线方式上传数据,这就需要暂停业务或者用户参与数据导入的过程。因此,这种数据库迁移方法执行的过程中,数据库暂时不能正常提供业务,或者人工参与操作繁琐,从而导致数据库迁移的有效性较低。
发明内容
本申请的目的在于提出一种改进的数据库迁移的方法和装置,来解决以上背景技术部分提到的技术问题。
一方面,本申请提供了一种数据库迁移的方法,所述方法包括:通过连接地址连接数据提供端的数据平台,获取所述数据平台中的数据库信息,以供所述数据提供端根据所述数据库信息确定待迁移数据库;响应于所述数据提供端的数据迁移请求,确定数据迁移的时间分割点,其中,所述数据迁移请求包括所述待迁移数据库的信息;接收所述待迁移数据库中的全量数据,其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据;按照时间顺序依次读取所述待迁移数据库中的增量数据,其中,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据;根据所述全量数据和所述增量数据生成迁移数据库。
在一些实施例中,所述方法还包括:响应于所述待迁移数据库所服务的客户端的业务请求,为所述客户端分配业务量;将所分配的业务量信息记录在所述迁移数据库中。
在一些实施例中,所述通过所述连接地址从所述数据平台获取所述数据提供端的数据库信息包括:向所述数据提供端发送访问权限信息,以供所述数据提供端将所述访问权限信息与预设的访问权限信息进行匹配;响应于所述访问权限信息与预设的访问权限信息相匹配,从所述连接地址所连接到的数据平台获取所述数据提供端的数据库信息。
在一些实施例中,所述响应于所述数据提供端的数据迁移请求,确定数据迁移的时间分割点包括:响应于所述数据提供端的数据迁移请求,对所述数据提供端进行迁移环境检查;响应于迁移环境检查通过,确定数据迁移的时间分割点。
在一些实施例中,所述迁移环境包括以下至少一项:所述数据提供端的网速;所述待迁移数据库的容量;所述待迁移数据库的版本;所述待迁移数据库中的表是否可读;所述待迁移数据库的连通性;所述待迁移数据库的字符集;所述待迁移数据库的权限。
在一些实施例中,所述连接地址包括以下任意一项:域名、IP地址、IP地址+端口号。
在一些实施例中,所述时间分割点为所述数据迁移请求发送的当前时间点。
第二方面,本申请提供了一种数据库迁移的方法,所述方法包括:根据数据接收端提供的数据库信息确定待迁移数据库,其中,所述数据库信息由所述数据提供端通过连接地址连接到数据平台并从所述数据平台中获取;根据所述待迁移数据库向所述数据接收端发送数据迁移请求,其中,所述数据迁移请求包括所述待迁移数据库的信息;响应于所述数据接收端接收所述数据迁移请求,根据所述数据接收端确定的数据迁移的时间分割点,将所述待迁移数据库中的全量数据发送至所述数据接收端,以及按照时间顺序依次向所述数据接收端发送所述待迁移数据库中的增量数据,以供所述数据接收端根据所述全量数据和所述增量数据生成迁移数据库,其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据。
在一些实施例中,所述方法还包括:当所述数据接收端接收到的数据与所述待迁移数据库的全部本地数据完全一致时,向所述待迁移数据库所服务的客户端发送数据库连接地址更新信息,以供所述客户端将请求业务量的数据库地址更新为所述迁移数据库的连接地址,并根据所述数据接收端的数据库连接地址生成业务请求。
在一些实施例中,所述方法还包括:接收所述数据接收端发送的访问权限信息;将所述数据接收端发送的访问权限信息与预设的访问权限信息进行匹配,如果相匹配,允许所述数据提供端获取所述数据平台的数据库信息。
第三方面,本申请提供了一种数据库迁移的装置,所述装置包括:获取模块,配置用于通过连接地址连接数据提供端的数据平台,获取所述数据平台中的数据库信息,以供所述提供端根据所述数据库信息确定待迁移数据库;确定模块,配置用于响应于所述数据提供端的数据迁移请求,确定数据迁移的时间分割点,其中,所述数据迁移请求包括所述待迁移数据库的信息;接收模块,配置用于接收所述待迁移数据库中的全量数据,其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据;读取模块,配置用于按照时间顺序依次读取所述待迁移数据库中的增量数据,其中,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据;生成模块,配置用于根据所述全量数据和所述增量数据生成迁移数据库。
在一些实施例中,所述装置还包括:分配模块,配置用于响应于所述待迁移数据库所服务的客户端的业务请求,为所述客户端分配业务量;记录模块,配置用于将所分配的业务量信息记录在所述迁移数据库中。
在一些实施例中,所述获取模块包括:发送单元,配置用于向所述数据提供端发送访问权限信息,以供所述数据提供端将所述访问权限信息与预设的访问权限信息进行匹配;获取单元,配置用于响应于所述访问权限信息与预设的访问权限信息相匹配,从所述连接地址所连接到的数据平台获取所述数据提供端的数据库信息。
在一些实施例中,所述确定模块包括:检查单元,配置用于响应于所述数据提供端的数据迁移请求,对所述数据提供端进行迁移环境检查;确定单元,配置用于响应于迁移环境检查通过,确定数据迁移的时间分割点。
在一些实施例中,所述迁移环境包括以下至少一项:所述数据提供端的网速;所述待迁移数据库的容量;所述待迁移数据库的版本;所述待迁移数据库中的表是否可读;所述待迁移数据库的连通性;所述待迁移数据库的字符集;所述待迁移数据库的权限。
在一些实施例中,所述链接地址包括以下任意一项:域名、IP地址、IP地址+端口号。
第四方面,本申请提供了一种数据库迁移的装置,所述装置包括:待迁移数据库确定模块,配置用于根据数据接收端提供的数据库信息确定待迁移数据库,其中,所述数据库信息由所述数据提供端通过连接地址连接到数据平台并从所述数据平台中获取;请求发送模块,配置用于根据所述迁移数据库向所述数据接收端发送数据迁移请求,其中,所述数据迁移请求包括所述待迁移数据库的信息;数据发送模块,配置用于响应于所述数据接收端接收所述数据迁移请求,根据所述数据接收端确定的数据迁移的时间分割点,将所述待迁移数据库中的全量数据发送至所述数据接收端,以及按照时间顺序依次向所述数据接收端发送所述待迁移数据库中的增量数据,以供所述数据接收端根据所述全量数据和所述增量数据生成迁移数据库,其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据。
在一些实施例中,所述装置还包括:地址更新信息发送模块,配置用于当所述数据接收端接收到的数据与所述待迁移数据库的全部本地数据完全一致时,向所述待迁移数据库所服务的客户端发送数据库连接地址更新信息,以供所述客户端将请求业务量的数据库地址更新为所述迁移数据库的连接地址,并根据所述数据接收端的数据库连接地址生成业务请求。
在一些实施例中,所述装置还包括:接收模块,配置用于接收所述数据接收端发送的访问权限信息;匹配模块,配置用于将所述数据接收端发送的访问权限信息与预设的访问权限信息进行匹配,如果相匹配,允许所述数据提供端获取所述数据平台的数据库信息列表。
第五方面,本申请还提供了一种数据库迁移系统,包括数据提供端和数据接收端,其中,所述数据提供端包括第四方面中任一所述的数据库迁移装置,所述数据接收端包括第三方面中任一所述的数据库迁移装置。
本申请提供的数据库迁移的方法和装置,由数据接收端通过连接地址连接数据提供端的数据平台,获取数据平台中的数据库信息列表,接着,由数据提供端从数据库信息列表中确定待迁移数据库,并向数据接收端发送数据迁移请求,数据接收端根据数据迁移请求确定数据迁移的时间分割点,并接收数据提供端发送的全量数据、按照时间顺序依次读取所述待迁移数据库中的增量数据,生成迁移数据库。这种数据库迁移的方法,通过数据提供端与数据接收端的连接自动在线执行数据库的迁移过程,无需人工参与,提高了数据库迁移的有效性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出了可以应用本申请实施例的示例性系统架构;
图2是根据本申请的数据库迁移的方法的一个实施例的流程图;
图3是根据本申请的数据库迁移的方法的另一个实施例的流程图;
图4示出了使用图2给出的实施例的方法的后台服务器和使用图3给出的实施例的方法的云存储服务器的交互流程示意图;
图5是根据本申请的数据库迁移的装置的一个实施例的结构示意图;
图6是根据本申请的数据库迁移的装置的另一个实施例的结构示意图;
图7示出了适于用来实现本申请实施例的各装置的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、网络103、服务器104和服务器105。网络103用以在终端设备101、102、服务器104和服务器105之间提供通信链路的介质。网络103可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、服务器104、服务器105相互之间可以通过网络103交互,以接收或发送消息等。终端设备101、102上可以安装有各种通讯客户端应用,例如浏览器应用、杀毒类应用、搜索类应用、社交平台应用、邮箱客户端、即时通信工具等。
终端设备101、102可以是支持浏览器应用、杀毒类应用、搜索类应用等各类应用等安装于其上的各种电子设备,包括但不限于智能手机、智能手表、平板电脑、个人数字助理、电子书阅读器、MP3播放器(MovingPictureExpertsGroupAudioLayerIII,动态影像专家压缩标准音频层面3)、MP4(MovingPictureExpertsGroupAudioLayerIV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器104、服务器105可以是提供各种服务的服务器。例如对终端设备101、102的浏览器应用、杀毒类应用、搜索类应用等各类应用等提供支持的后台服务器、云服务器等。服务器可以对接收到的数据进行存储、生成等处理,并将处理结果反馈给终端设备。
需要说明的是,本申请实施例所提供的数据库迁移的方法一般由服务器104或服务器105执行,服务器104和服务器105可以分别作为数据提供端和数据接收端。本申请实施例所提供的数据库迁移的装置可以设置在服务器104或服务器105。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
请参考图2,其示出了数据迁移的方法的一个实施例的流程200。该流程200可用于具有一定存储和计算能力的电子设备中。为了便于理解,本实施例中,结合该数据库迁移的方法具体应用于具有为数据库迁移过程中的数据接收端(例如图1所示的服务器104)中。该流程200包括以下步骤:
步骤201,通过连接地址连接数据提供端的数据平台,获取数据平台中的数据库信息列表。
在本实施例中,数据接收端可以通过预先获取的连接地址连接数据提供端(例如图1所示的服务器105)的数据平台,获取数据平台中的数据库信息,以供所述提供端从所述数据库信息中确定待迁移数据库。
这里,数据平台可以是一个应用程序,也可以是一个网站,甚至还可以是一个文件等等,其可以用于进行数据的输入、输出、处理、存储、查询、检索、分析等中的一项或多项操作。例如,网络数据平台“万方数据知识服务平台”,“专利信息服务平台”,“××公司内部数据管理平台”等等。一个数据平台可以包括一个数据库,也可以包括多个数据库。当数据平台是一个文件时,其可以存储于一台电子设备或多台电子设备形成的电子设备集群中,当数据平台是应用程序或网站时,其可以具有为其提供支持的后台服务器。数据平台可以通过其所在的电子设备中的访问路径进行访问,也可以通过其他电子设备远程访问,此时,其他电子设备可以通过有线连接方式或者无线连接方式从上述后台服务器或数据平台所在的电子设备访问数据平台。上述无线连接方式包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。上述后台服务器或数据平台所在的电子设备可以作为本实施例的数据提供端。
当远程访问数据平台时,数据接收端可以通过一个连接地址连接到上述数据提供端。该连接地址可以包括数据平台的访问路径。该连接地址例如可以是域名(如http://www.wanfangdata.com.cn/)、上述数据提供端接入网络的IP(InternetProtocol,网络之间互连的协议)地址,当上述数据提供端拥有一个IP地址且同时可以提供多项服务时,每项服务可以通过端口号进行区分,则上述连接地址还可以是IP地址+端口号,此处的端口号为数据提供端中数据平台所提供的服务对应的端口号。
数据接收端可以预先从数据提供端获取其数据平台的连接地址,也可以接收用户输入的连接地址,并向网关发出包含该连接地址的连接请求,通过网关对该连接请求的解析连接到数据提供端的数据平台。
数据接收端与数据提供端的数据平台建立连接后,可以从该数据平台获取数据平台中的数据库信息,例如读取数据平台中的数据库信息列表,或者根据数据库的预定字段检测数据平台中的数据库信息。
在本实施例的一些可选实现方式中,数据平台可以设置不同的访问权限,以对用户的访问权限进行限定,例如,限定一部分用户仅能访问A数据库,一部分用户仅能访问B数据库,一部分用户可以访问A数据库、B数据库以及用于对A、B数据库进行管理的C数据库等等。访问权限可以通过电子设备访问数据平台时携带的访问权限信息(例如账号、密码等)来确定。此时,数据接收端可以首先向数据提供端发送访问权限信息,以供数据提供端将访问权限信息与预设的访问权限信息进行匹配。数据提供端确定访问权限信息与预设的访问权限信息相匹配后,可以为数据接收端提供相应的访问接口,例如读取数据库信息的接口等等。数据接收端接着可以根据数据提供端提供的访问接口从数据平台中获取数据提供端的数据库信息。数据接收端可以将获取的数据库信息以诸如列表之类的形式呈现给数据提供端,以供数据提供端根据数据接收端所获取的数据库信息对数据库进行选择,以确定待迁移数据库。其中,待迁移数据库可以是一个,也可以是多个,本申请对此不做限定。
步骤202,响应于数据提供端的数据迁移请求,确定数据迁移的时间分割点。
在本实施例中,数据提供端确定待迁移数据库后,可以向数据接收端发送对待迁移数据库进行迁移的数据迁移请求,数据接收端可以在接收到数据提供端的数据迁移请求时,确定数据迁移的时间分割点。其中,数据迁移请求包括各个待迁移数据库的信息。
在实践中,数据库数据的迁移可以是某个时间点(例如当前时间)之前的全部数据的迁移,也可以是某个时间点之前的全部数据、该时间点之后及迁移过程中新增加的数据的迁移。前述的某个时间点,即为数据迁移的时间分割点。
其中,待迁移数据库的迁移属于上述的哪种迁移这样的信息可以记录在数据提供端发送的数据迁移请求中,而数据迁移的时间分割点之类的信息可以记录在数据提供端发送的数据迁移请求中,也可以由数据接收端根据数据迁移请求进行确定,例如,数据接收端可以确定数据迁移请求发送的当前时间点作为数据迁移的时间分割点,也可以判断数据库中数据量的大小,如果数据量大于预设的数据量阈值(如1TB,其中TB是Terabyte的缩写,代表百万兆字节),则将使数据量大于预设的数据量阈值之前的一条数据产生的时间作为数据迁移的时间分割点,等等。
在本实施例的一些可选实现方式中,数据接收端在接收到数据提供端的数据迁移请求时,还可以对数据库迁移的迁移环境进行检查,如果迁移环境检查通过,确定数据迁移的时间分割点,执行数据库迁移,否则,不执行数据库迁移。这里的迁移环境既可以是数据接收端的迁移环境,也可以是数据提供端的迁移环境,还可以是数据接收端和数据提供端针对待迁移数据库相互配合的迁移环境。在一些实现中,上述迁移环境可以包括但不限于以下至少一项:数据提供端的网速、待迁移数据库的容量、待迁移数据库的版本、待迁移数据库中的表是否可读、待迁移数据库的连通性、待迁移数据库的字符集、待迁移数据库的权限等等。其中,数据提供端的网速可以表示数据提供端单位时间内从网络上传和下载数据量,数据接收端可以根据待迁移数据库的当前数据量和数据提供端的网速估算迁移当前数据量所需的时间,当该时间大于预设时间阈值(如24小时)时,可能导致数据传输失败,则数据接收端可以判断迁移环境检查不通过;待迁移数据库的容量可以是待迁移数据库可容纳的数据量或者欲迁移的当前数据量,数据接收端可以比较待迁移数据库的容量是否大于数据接收端分配于容纳待迁移数据库的空间大小,如果大于,则可以判断迁移环境检查不通过;数据接收端可以比较待迁移数据库的版本与本地提供的数据库服务是否相匹配(例如本地提供的关系型数据库服务RDS与MySQL数据库5.1以上版本相匹配),如果相匹配,则可以判断迁移环境检查通过,否则,判断迁移环境检查不通过;待迁移数据库中的表可读,才能顺利完成数据库迁移,据此,数据接收端可以获取待迁移数据库中表的属性,以判断表的可读性,如果待迁移数据库的表都可读,则可以判断迁移环境检查通过,否则,判断迁移环境检查不通过;数据接收端可以对待迁移数据库的字符集中的字符编码形式(例如万国码UTF-8、汉字内码扩展规范GBK、单字节编码Latin1等等)进行检查,以确定待迁移数据库中包含的字符是否符合数据接收端支持的字符编码形式,如果符合,则可以判断迁移环境检查通过,否则,判断迁移环境检查不通过;待迁移数据库的权限可以用于表示数据接收端与数据提供端的数据平台相连接后可以对待迁移数据库执行的操作项目或范围,例如查询权限select,以及包括但不限于以下至少一项的权限:配置加载权限reload、超级权限super、复制客户端权限repicationclient、备份权限replicationclient、数据库中数据表的锁权限locktables等等,数据接收端可以通过比较判断数据平台提供给数据接收端的权限是否满足数据库迁移所需的权限,如果满足则可以判断迁移环境检查通过,否则,判断迁移环境检查不通过。可选地,数据平台可以通过数据接收端发送的访问权限信息提供给数据接收端相应的权限。
步骤203,接收待迁移数据库中的全量数据。
在本实施例中,数据接收端可以首先接收数据提供端的数据平台发送的待迁移数据库中的全量数据。这里,全量数据可以包括待迁移数据库在所确定的时间分割点之前产生的数据。由于全量数据具有确定的数据内容,其可以按照预定的传输协议(例如超文本传输协议HTTP,HyperTextTransferProtocol)以现有的或未来开发的各种数据传输方式在数据提供端和数据接收端之间传输,也可以通过现有的或未来开发的各种数据处理方式对全量数据进行预处理(例如封装、压缩等)之后再进行传输,在此不再赘述。数据接收端还可以读取所确定的时间分割点之前数据平台中的数据日志,并对数据日志进行解析,从中筛选出待迁移数据库中的数据,并按照时间顺序进行排列,完成对全量数据的迁移。
步骤204,按照时间顺序依次读取待迁移数据库中的增量数据。
在本实施例中,数据接收端可以接着按照时间顺序依次读取待迁移数据库中的增量数据。这里,增量数据可以包括待迁移数据库在上述时间分割点之后产生的数据。数据接收端可以按照时间顺序逐条读取待迁移数据库中的数据,例如通过查询权限select读取迁移数据库中的数据,也可以获取数据平台中的数据日志,并对数据日志进行解析,从中逐条筛选出待迁移数据库中的数据,并按照时间顺序进行排列,完成对增量数据的迁移。
步骤205,根据上述全量数据和上述增量数据生成迁移数据库。
在本实施例中,数据接收端根据上述全量数据和上述增量数据生成与待迁移数据库一致的迁移数据库。本领域技术人员可以理解,上述全量数据和上述增量数据可以包括待迁移数据库中各种数据的组织形式,数据接收端可以按照该组织形式对上述全量数据和增量数据进行组织,生成新的数据库即迁移数据库。至此,数据提供端的待迁移数据库的所有当前数据完成向数据提供端的迁移。实践中,由于待迁移数据库可能一直产生新的数据,迁移数据库可以与待迁移数据库保持数据同步,当待迁移数据库有新的数据产生时,迁移数据库读取该新的数据并随之更新。
在本实施例的一些可选实现方式中,待迁移数据库可以是为客户端提供支持的后台数据库,则数据库迁移可以是仅将待迁移数据库中的数据迁移至数据接收端,还可以是将待迁移数据库中的数据以及待迁移数据库为客户端提供的业务支持服务迁移至数据接收端,即,由数据接收端生成的迁移服务器代替相应的待迁移数据库为待迁移数据库所服务的客户端提供支持。此时,数据库迁移的方法还可以包括以下步骤:
步骤206,响应于待迁移数据库所服务的终端的业务请求,为终端分配业务量。
在这里,数据接收端可以响应于待迁移数据库所服务的终端发送的业务请求,通过迁移数据库为终端分配业务量。
实践中,待迁移数据库所支持的客户端可以通过一个连接地址(该连接地址类似于数据接收端连接数据提供端的数据平台的连接地址,在此不再赘述)与待迁移数据库所在的数据平台相连接,以使客户端请求待迁移数据库所支持的业务内容时根据该连接地址生成业务请求,从而连接到待迁移数据库以从待迁移数据库获得业务支持。因此,当迁移数据库与待迁移数据库的数据完全一致时,待迁移数据库可以向其所支持的客户端发送数据库连接地址更新信息,使客户端请求相应业务的连接地址变更为数据接收端的迁移数据库的连接地址。则当客户端再次请求相应业务时,根据迁移数据库的连接地址生成业务请求,连接到数据接收端,以供迁移数据库为客户端提供业务支持,比如分配业务量。
步骤207,将所分配的业务量信息记录在迁移数据库中。
在这里,数据接收端可以将其向客户提供业务支持时所分配业务量的信息记录在迁移数据库中,形成新的数据。
结合图2描述的实施例,数据接收端通过连接地址连接数据提供端的数据平台,获取数据平台中的数据库信息,以供数据提供端根据数据库信息确定待迁移数据库,接着响应于数据提供端根据待迁移数据库生成的数据迁移请求,确定数据迁移的时间分割点,然后获取待迁移数据库中的全量数据和按照时间顺序依次读取待迁移数据库中的增量数据,根据全量数据和增量数据生成迁移数据库,实现了数据库的在线迁移,提高了数据库迁移的有效性。
在一些实现中,还可以通过增加的步骤206、步骤207实现对客户端提供业务支持的待迁移数据库的在线平滑迁移,而不影响对客户端提供业务支持,扩展了数据库在线迁移的应用。
接下来请参考图3,其示出了数据库迁移的方法的另一个实施例的流程300。为了便于理解,本实施例中,结合该数据库迁移的方法应用于数据提供端(例如图1所示的服务器105)中来说明。该流程300包括以下步骤:
步骤301,根据数据接收端提供的数据库信息确定待迁移数据库。
在本实施例中,数据提供端可以接收数据接收端提供的数据库信息,并根据该数据库信息确定待迁移数据库。
其中,数据接收端可以预先从数据提供端获取其数据平台的连接地址,也可以接收用户输入的连接地址,并向网关发出包含该连接地址的连接请求,通过网关对该连接请求的解析连接到数据提供端的数据平台。数据接收端与数据提供端的数据平台建立连接后,可以从该数据平台获取数据平台中的数据库信息,例如读取数据平台中的数据库信息列表,或者根据数据库的预定字段检测数据平台中的数据库信息。数据接收端接着可以将所获取的数据库信息以诸如列表形式、集合形式等形式发送给数据提供端,由数据提供端根据这些数据库信息进行选择确定待迁移数据库。
步骤302,根据待迁移数据库向数据接收端发送数据迁移请求。
在本实施例中,数据提供端可以根据待迁移数据库的数据库信息等信息向数据接收端发送数据迁移请求。数据迁移请求还可以包括但不限于以下至少一项:数据迁移时间点、待迁移的数据量、数据库版本、允许数据接收端进行的操作权限、数据库的表锁权限、待迁移数据库的字符集等等。其中,数据迁移请求可以是现有的任意格式的网络数据请求形式,如HTTP(HyperTextTransferProtocol,超文本传输协议)请求等,在此不再赘述。
步骤303,响应于数据接收端接收上述数据迁移请求,根据数据接收端确定的数据迁移的时间分割点,将待迁移数据库中的全量数据发送至数据接收端,以及按照时间顺序依次向数据接收端发送待迁移数据库中的增量数据。
在本实施例中,数据提供端可以响应于数据接收端接收上述数据迁移请求后确定的数据迁移的时间分割点,将待迁移数据库中的全量数据发送至数据接收端,之后按照时间顺序依次向数据接收端发送待迁移数据库中的增量数据。数据接收端可以在获取上述全量数据和增量数据后,根据所获取的全量数据和增量数据生成迁移数据库。其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据。这里,数据迁移的时间分割点之类的信息可以记录在数据提供端发送的数据迁移请求中,也可以由数据接收端根据数据迁移请求进行确定,例如,数据接收端可以确定数据迁移请求发送的当前时间点作为数据迁移的时间分割点,也可以判断数据库中数据量的大小,如果数据量大于预设的数据量阈值,则将使数据量大于预设的数据量阈值之前的一条数据产生的时间作为数据迁移的时间分割点,等等。
在本实施例的一些可选实现方式中,数据提供端的数据平台可以设置有不同的访问权限,以对用户的访问权限进行限定。此时,数据提供端可以首先接收数据接收端发送的访问权限信息(例如账号、密码等),接着将访问权限信息与预设的访问权限信息进行匹配,如果匹配到相应权限的预设的访问权限信息,则可以根据匹配到的预设的访问权限信息允许数据提供端调用相应的访问接口,例如读取数据库信息的接口,以供数据提供端获取数据平台的数据库信息。
在本实施例的一些可选实现方式中,待迁移数据库可以是为客户端提供支持的后台数据库,则数据库迁移可以是仅将待迁移数据库中的数据迁移至数据接收端,还可以是将待迁移数据库中的数据以及待迁移数据库为客户端提供的业务支持服务迁移至数据接收端,即,由数据接收端生成的迁移服务器代替相应的待迁移数据库为待迁移数据库所服务的客户端提供支持。此时,数据库迁移的方法还可以包括以下步骤:
步骤304,当数据接收端接收到的数据与待迁移数据库的全部本地数据完全一致时,向待迁移数据库所服务的客户端发送数据库连接地址更新信息,以供客户端将请求业务量的数据库地址更新为迁移数据库的连接地址,并根据数据接收端的数据库连接地址生成业务请求。
作为一个应用场景的示例,图4示出了使用图2给出的实施例的方法的后台服务器401和使用图3给出的实施例的方法的云存储服务器402的交互流程400。该流程400具体应用于后台服务器4002中为运行于终端设备4001上的客户端应用A提供支持的数据库向云存储服务器4003迁移的过程。如图4所示,在步骤401、步骤402中,数据库迁移前,终端设备4001上运行的客户端应用A向后台服务器4002发送业务请求信息,由后台服务器4002向终端设备4001上运行的客户端应用A分配业务信息并进行记录。在步骤403-步骤407中,按照如下流程进行数据库迁移:首先,如步骤403所示,云存储服务器4003通过一个连接地址连接到后台服务器4002的数据平台,并获取数据平台中的数据库信息;接着,在步骤404中,后台服务器4002根据数据库信息确定待迁移数据库并向云存储服务器4003发送数据库迁移请求,这里,待迁移数据库包括为运行于终端设备4001上的客户端应用A提供支持的数据库;然后,在步骤405中,云存储服务器4003根据后台服务器4002发送的数据库迁移请求确定数据库迁移的时间分割点;接着,在步骤406中,后台服务器4002根据数据迁移的时间分割点,分别向数据接收端发送待迁移数据库中上述时间分割点之前的全量数据和上述时间分割点之后增量数据,云存储服务器4003接收上述全量数据和增量数据;然后,在步骤407中,云存储服务器4003根据接收到的全量数据和增量数据生成迁移数据库,实践中,后台服务器4002中的待迁移数据库如果仍有新数据产生,则云存储服务器4003继续获取该新数据,使云存储服务器4003中的迁移数据库数据与后台服务器4002中的待迁移数据库保持同步,当两者完全同步时,可以由后台服务器4002确定数据库迁移完成。后台服务器4002确定数据库迁移完成时,可以同时向终端设备401发送数据库地址更新信息。之后,如步骤408所示,终端设备401上运行的客户端应用A再次发送业务请求信息时,会根据更新的连接地址发送给云存储服务器的迁移数据库;接着,如步骤409所示,由云存储服务器4003中的迁移数据库数据为终端设备401上运行的客户端应用A提供业务支持,如分配业务量等,并记录相关信息,从而实现数据库的在线平滑迁移,而对终端设备401上运行的客户端应用A不产生负面影响(如业务暂停等),提高了数据库迁移的有效性。
请进一步参考图5,其示出了根据本申请的一个实施例的数据库迁移的装置500。如图5所示,数据库迁移的装置500包括:获取模块501、确定模块502、接收模块503、读取模块504和生成模块505。其中,获取模块501可以配置用于通过连接地址连接数据提供端的数据平台,获取数据平台中的数据库信息,以供提供端根据数据库信息确定待迁移数据库;确定模块502可以配置用于响应于数据提供端的数据迁移请求,确定数据迁移的时间分割点,其中,数据迁移请求包括待迁移数据库的信息;接收模块503可以配置用于接收待迁移数据库中的全量数据,其中,全量数据可以包括待迁移数据库在时间分割点之前产生的数据;读取模块504可以配置用于按照时间顺序依次读取待迁移数据库中的增量数据,其中,增量数据可以包括待迁移数据库在时间分割点之后产生的数据;生成模块505可以配置用于根据上述全量数据和增量数据生成迁移数据库。
数据库迁移的装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文结合图2所描述的针对数据库迁移的方法描述的操作和特征同样适用于数据库迁移的装置500及其中包含的单元,在此不再赘述。
请进一步参考图6,其示出了根据本申请的另一个实施例的数据库迁移的装置600。如图6所示,数据库迁移的装置600包括:待迁移数据库确定模块601、请求发送模块602和数据发送模块603。其中,待迁移数据库确定模块601可以配置用于根据数据接收端提供的数据库信息确定待迁移数据库,其中,数据库信息可以由数据提供端通过连接地址连接到数据平台并从数据平台中获取;请求发送模块602可以配置用于根据迁移数据库向数据接收端发送数据迁移请求,其中,数据迁移请求包括所述待迁移数据库的信息;数据发送模块603可以配置用于响应于数据接收端接收数据迁移请求,根据数据接收端确定的数据迁移的时间分割点,将待迁移数据库中的全量数据发送至数据接收端,以及按照时间顺序依次向数据接收端发送待迁移数据库中的增量数据,以供数据接收端根据上述全量数据和所述增量数据生成迁移数据库,其中,全量数据可以包括待迁移数据库在时间分割点之前产生的数据,增量数据可以包括待迁移数据库在时间分割点之后产生的数据。
数据库迁移的装置600中记载的诸单元与参考图3描述的方法中的各个步骤相对应。由此,上文结合图3所描述的针对数据库迁移的方法描述的操作和特征同样适用于数据库迁移的装置600及其中包含的单元,在此不再赘述。
本领域技术人员可以理解,上述数据库迁移的装置500和数据库迁移的装置600还包括一些其他公知结构,例如处理器、存储器等,为了不必要地模糊本公开的实施例,这些公知的结构在图5、图6中未示出。
另外,本申请还提供了一种数据库迁移系统,可以包括数据提供端和数据接收端。其中,数据提供端可以包括图6示出的数据库迁移的装置600,数据接收端可以包括图5示出的数据库迁移的装置500。该系统的架构形式可参考图1示出的示例型架构100。其中,在本申请的数据库迁移系统的实施例中,数据库迁移的装置500和数据库迁移的装置600分别可以适用于架构100中的服务器104和服务器105,在此不再赘述。
下面参考图7,其示出了适于用来实现本申请实施例的各装置的计算机系统700的结构示意图。
如图7所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中,还存储有系统700操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线804彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。
本申请实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括获取模块、确定模块、接收模块、读取模块和生成模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,获取模块还可以被描述为“配置用于通过连接地址连接数据提供端的数据平台,获取数据平台中的数据库信息的模块”。
作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端或服务器中的非易失性计算机存储介质。
上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:通过连接地址连接数据提供端的数据平台,获取所述数据平台中的数据库信息,以供所述数据提供端根据所述数据库信息确定待迁移数据库;响应于所述数据提供端的数据迁移请求,确定数据迁移的时间分割点,其中,所述数据迁移请求包括所述待迁移数据库的信息;接收所述待迁移数据库中的全量数据,其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据;按照时间顺序依次读取所述待迁移数据库中的增量数据,其中,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据;根据所述全量数据和所述增量数据生成迁移数据库。。
或者,上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:根据数据接收端提供的数据库信息确定待迁移数据库,其中,所述数据库信息由所述数据提供端通过连接地址连接到数据平台并从所述数据平台中获取;根据所述待迁移数据库向所述数据接收端发送数据迁移请求,其中,所述数据迁移请求包括所述待迁移数据库的信息;响应于所述数据接收端接收所述数据迁移请求,根据所述数据接收端确定的数据迁移的时间分割点,将所述待迁移数据库中的全量数据发送至所述数据接收端,以及按照时间顺序依次向所述数据接收端发送所述待迁移数据库中的增量数据,以供所述数据接收端根据所述全量数据和所述增量数据生成迁移数据库,其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (20)

1.一种数据库迁移的方法,其特征在于,所述方法包括:
通过连接地址连接数据提供端的数据平台,获取所述数据平台中的数据库信息,以供所述数据提供端根据所述数据库信息确定待迁移数据库;
响应于所述数据提供端的数据迁移请求,确定数据迁移的时间分割点,其中,所述数据迁移请求包括所述待迁移数据库的信息;
接收所述待迁移数据库中的全量数据,其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据;
按照时间顺序依次读取所述待迁移数据库中的增量数据,其中,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据;
根据所述全量数据和所述增量数据生成迁移数据库。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于所述待迁移数据库所服务的客户端的业务请求,为所述客户端分配业务量;
将所分配的业务量信息记录在所述迁移数据库中。
3.根据权利要求1所述的方法,其特征在于,所述通过所述连接地址从所述数据平台获取所述数据提供端的数据库信息包括:
向所述数据提供端发送访问权限信息,以供所述数据提供端将所述访问权限信息与预设的访问权限信息进行匹配;
响应于所述访问权限信息与预设的访问权限信息相匹配,从所述连接地址所连接到的数据平台获取所述数据提供端的数据库信息。
4.根据权利要求1所述的方法,其特征在于,所述响应于所述数据提供端的数据迁移请求,确定数据迁移的时间分割点包括:
响应于所述数据提供端的数据迁移请求,对所述数据提供端进行迁移环境检查;
响应于迁移环境检查通过,确定数据迁移的时间分割点。
5.根据权利要求4所述的方法,其特征在于,所述迁移环境包括以下至少一项:
所述数据提供端的网速;
所述待迁移数据库的容量;
所述待迁移数据库的版本;
所述待迁移数据库中的表是否可读;
所述待迁移数据库的连通性;
所述待迁移数据库的字符集;
所述待迁移数据库的权限。
6.根据权利要求1-5中任一所述的方法,其特征在于,所述连接地址包括以下任意一项:域名、IP地址、IP地址+端口号。
7.根据权利要求1-5中任一所述的方法,其特征在于,所述时间分割点为所述数据迁移请求发送的当前时间点。
8.一种数据库迁移的方法,其特征在于,所述方法包括:
根据数据接收端提供的数据库信息确定待迁移数据库,其中,所述数据库信息由所述数据提供端通过连接地址连接到数据平台并从所述数据平台中获取;
根据所述待迁移数据库向所述数据接收端发送数据迁移请求,其中,所述数据迁移请求包括所述待迁移数据库的信息;
响应于所述数据接收端接收所述数据迁移请求,根据所述数据接收端确定的数据迁移的时间分割点,将所述待迁移数据库中的全量数据发送至所述数据接收端,以及按照时间顺序依次向所述数据接收端发送所述待迁移数据库中的增量数据,以供所述数据接收端根据所述全量数据和所述增量数据生成迁移数据库,其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
当所述数据接收端接收到的数据与所述待迁移数据库的全部本地数据完全一致时,向所述待迁移数据库所服务的客户端发送数据库连接地址更新信息,以供所述客户端将请求业务量的数据库地址更新为所述迁移数据库的连接地址,并根据所述数据接收端的数据库连接地址生成业务请求。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
接收所述数据接收端发送的访问权限信息;
将所述数据接收端发送的访问权限信息与预设的访问权限信息进行匹配,如果相匹配,允许所述数据提供端获取所述数据平台的数据库信息。
11.一种数据库迁移的装置,其特征在于,所述装置包括:
获取模块,配置用于通过连接地址连接数据提供端的数据平台,获取所述数据平台中的数据库信息,以供所述提供端根据所述数据库信息确定待迁移数据库;
确定模块,配置用于响应于所述数据提供端的数据迁移请求,确定数据迁移的时间分割点,其中,所述数据迁移请求包括所述待迁移数据库的信息;
接收模块,配置用于接收所述待迁移数据库中的全量数据,其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据;
读取模块,配置用于按照时间顺序依次读取所述待迁移数据库中的增量数据,其中,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据;
生成模块,配置用于根据所述全量数据和所述增量数据生成迁移数据库。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
分配模块,配置用于响应于所述待迁移数据库所服务的客户端的业务请求,为所述客户端分配业务量;
记录模块,配置用于将所分配的业务量信息记录在所述迁移数据库中。
13.根据权利要求11所述的装置,其特征在于,所述获取模块包括:
发送单元,配置用于向所述数据提供端发送访问权限信息,以供所述数据提供端将所述访问权限信息与预设的访问权限信息进行匹配;
获取单元,配置用于响应于所述访问权限信息与预设的访问权限信息相匹配,从所述连接地址所连接到的数据平台获取所述数据提供端的数据库信息。
14.根据权利要求11所述的装置,其特征在于,所述确定模块包括:
检查单元,配置用于响应于所述数据提供端的数据迁移请求,对所述数据提供端进行迁移环境检查;
确定单元,配置用于响应于迁移环境检查通过,确定数据迁移的时间分割点。
15.根据权利要求14所述的装置,其特征在于,所述迁移环境包括以下至少一项:
所述数据提供端的网速;
所述待迁移数据库的容量;
所述待迁移数据库的版本;
所述待迁移数据库中的表是否可读;
所述待迁移数据库的连通性;
所述待迁移数据库的字符集;
所述待迁移数据库的权限。
16.根据权利要求11-15中任一所述的装置,其特征在于,所述链接地址包括以下任意一项:域名、IP地址、IP地址+端口号。
17.一种数据库迁移的装置,其特征在于,所述装置包括:
待迁移数据库确定模块,配置用于根据数据接收端提供的数据库信息确定待迁移数据库,其中,所述数据库信息由所述数据提供端通过连接地址连接到数据平台并从所述数据平台中获取;
请求发送模块,配置用于根据所述迁移数据库向所述数据接收端发送数据迁移请求,其中,所述数据迁移请求包括所述待迁移数据库的信息;
数据发送模块,配置用于响应于所述数据接收端接收所述数据迁移请求,根据所述数据接收端确定的数据迁移的时间分割点,将所述待迁移数据库中的全量数据发送至所述数据接收端,以及按照时间顺序依次向所述数据接收端发送所述待迁移数据库中的增量数据,以供所述数据接收端根据所述全量数据和所述增量数据生成迁移数据库,其中,所述全量数据包括所述待迁移数据库在所述时间分割点之前产生的数据,所述增量数据包括所述待迁移数据库在所述时间分割点之后产生的数据。
18.根据权利要求17所述的装置,其特征在于,所述装置还包括:
地址更新信息发送模块,配置用于当所述数据接收端接收到的数据与所述待迁移数据库的全部本地数据完全一致时,向所述待迁移数据库所服务的客户端发送数据库连接地址更新信息,以供所述客户端将请求业务量的数据库地址更新为所述迁移数据库的连接地址,并根据所述数据接收端的数据库连接地址生成业务请求。
19.根据权利要求17所述的装置,其特征在于,所述装置还包括:
接收模块,配置用于接收所述数据接收端发送的访问权限信息;
匹配模块,配置用于将所述数据接收端发送的访问权限信息与预设的访问权限信息进行匹配,如果相匹配,允许所述数据提供端获取所述数据平台的数据库信息列表。
20.一种数据库迁移系统,包括数据提供端和数据接收端,其特征在于,所述数据提供端包括权利要求17-19中任一所述的数据库迁移装置,所述数据接收端包括权利要求11-16中任一所述的数据库迁移装置。
CN201610052263.6A 2016-01-26 2016-01-26 数据库迁移的方法和装置 Pending CN105472045A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610052263.6A CN105472045A (zh) 2016-01-26 2016-01-26 数据库迁移的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610052263.6A CN105472045A (zh) 2016-01-26 2016-01-26 数据库迁移的方法和装置

Publications (1)

Publication Number Publication Date
CN105472045A true CN105472045A (zh) 2016-04-06

Family

ID=55609306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610052263.6A Pending CN105472045A (zh) 2016-01-26 2016-01-26 数据库迁移的方法和装置

Country Status (1)

Country Link
CN (1) CN105472045A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446151A (zh) * 2016-09-22 2017-02-22 山东浪潮云服务信息科技有限公司 一种基于国产cpu和数据库的数据迁移及增量更新方法
CN106874389A (zh) * 2017-01-11 2017-06-20 腾讯科技(深圳)有限公司 数据的迁移方法和装置
CN106934048A (zh) * 2017-03-16 2017-07-07 北京搜狐新媒体信息技术有限公司 数据在线迁移方法、代理节点
CN107343049A (zh) * 2017-07-06 2017-11-10 上海观谷科技有限公司 数据同步方法及装置
CN108132949A (zh) * 2016-12-01 2018-06-08 腾讯科技(深圳)有限公司 数据库集群中数据迁移的方法及装置
CN108205559A (zh) * 2016-12-19 2018-06-26 腾讯科技(深圳)有限公司 一种数据管理方法及其设备
CN108268211A (zh) * 2017-01-03 2018-07-10 中国移动通信有限公司研究院 一种数据处理方法及装置
CN108270719A (zh) * 2016-12-30 2018-07-10 广东精点数据科技股份有限公司 一种基于数字签名的数据安全传输方法及装置
CN110046982A (zh) * 2018-11-28 2019-07-23 阿里巴巴集团控股有限公司 一种计息数据处理方法及装置
CN110309126A (zh) * 2019-07-02 2019-10-08 拓尔思信息技术股份有限公司 关系数据库增量迁移处理方法、关系数据库中数据保存方法
CN110334082A (zh) * 2019-07-11 2019-10-15 珠海格力电器股份有限公司 一种数据库的无损迁移方法及装置
CN110716984A (zh) * 2019-10-10 2020-01-21 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN112256674A (zh) * 2020-10-30 2021-01-22 中国建设银行股份有限公司 一种数据迁移方法、装置、电子设备和存储介质
CN113010496A (zh) * 2021-03-19 2021-06-22 腾讯科技(深圳)有限公司 一种数据迁移方法、装置、设备和存储介质
US11500832B2 (en) * 2016-12-19 2022-11-15 Tencent Technology (Shenzhen) Company Limited Data management method and server
CN115698974A (zh) * 2020-06-10 2023-02-03 万迪斯科股份有限公司 用于迁移活动文件系统的方法、设备和系统
CN116450577A (zh) * 2023-06-14 2023-07-18 苏州浪潮智能科技有限公司 一种分布式文件系统缩容方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040148361A1 (en) * 2003-01-27 2004-07-29 Ridgley Jay W. System and method for migrating directories over a wide-area network
CN102917025A (zh) * 2012-09-21 2013-02-06 江苏乐买到网络科技有限公司 一种云计算平台的业务迁移方法
CN102982085A (zh) * 2012-10-31 2013-03-20 北京奇虎科技有限公司 数据迁移系统和方法
CN103109271A (zh) * 2012-08-30 2013-05-15 华为技术有限公司 一种平台间迁移应用的实现方法及系统
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN104881494A (zh) * 2015-06-12 2015-09-02 北京奇虎科技有限公司 与Redis服务器进行数据同步的方法、装置和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040148361A1 (en) * 2003-01-27 2004-07-29 Ridgley Jay W. System and method for migrating directories over a wide-area network
CN103109271A (zh) * 2012-08-30 2013-05-15 华为技术有限公司 一种平台间迁移应用的实现方法及系统
CN102917025A (zh) * 2012-09-21 2013-02-06 江苏乐买到网络科技有限公司 一种云计算平台的业务迁移方法
CN102982085A (zh) * 2012-10-31 2013-03-20 北京奇虎科技有限公司 数据迁移系统和方法
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN104881494A (zh) * 2015-06-12 2015-09-02 北京奇虎科技有限公司 与Redis服务器进行数据同步的方法、装置和系统

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446151A (zh) * 2016-09-22 2017-02-22 山东浪潮云服务信息科技有限公司 一种基于国产cpu和数据库的数据迁移及增量更新方法
US11243922B2 (en) 2016-12-01 2022-02-08 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and storage medium for migrating data node in database cluster
CN108132949A (zh) * 2016-12-01 2018-06-08 腾讯科技(深圳)有限公司 数据库集群中数据迁移的方法及装置
CN108132949B (zh) * 2016-12-01 2021-02-12 腾讯科技(深圳)有限公司 数据库集群中数据迁移的方法及装置
US11500832B2 (en) * 2016-12-19 2022-11-15 Tencent Technology (Shenzhen) Company Limited Data management method and server
CN108205559B (zh) * 2016-12-19 2022-01-07 腾讯科技(深圳)有限公司 一种数据管理方法及其设备
CN108205559A (zh) * 2016-12-19 2018-06-26 腾讯科技(深圳)有限公司 一种数据管理方法及其设备
CN108270719A (zh) * 2016-12-30 2018-07-10 广东精点数据科技股份有限公司 一种基于数字签名的数据安全传输方法及装置
CN108268211A (zh) * 2017-01-03 2018-07-10 中国移动通信有限公司研究院 一种数据处理方法及装置
CN108268211B (zh) * 2017-01-03 2021-09-14 中国移动通信有限公司研究院 一种数据处理方法及装置
CN106874389A (zh) * 2017-01-11 2017-06-20 腾讯科技(深圳)有限公司 数据的迁移方法和装置
US11068449B2 (en) * 2017-01-11 2021-07-20 Tencent Technology (Shenzhen) Company Limited Data migration method, apparatus, and storage medium
WO2018130066A1 (zh) * 2017-01-11 2018-07-19 腾讯科技(深圳)有限公司 数据的迁移方法、计算机设备和存储介质
CN106934048A (zh) * 2017-03-16 2017-07-07 北京搜狐新媒体信息技术有限公司 数据在线迁移方法、代理节点
CN107343049B (zh) * 2017-07-06 2020-03-24 上海观谷科技有限公司 数据同步方法及装置
CN107343049A (zh) * 2017-07-06 2017-11-10 上海观谷科技有限公司 数据同步方法及装置
CN110046982B (zh) * 2018-11-28 2023-11-07 创新先进技术有限公司 一种计息数据处理方法及装置
CN110046982A (zh) * 2018-11-28 2019-07-23 阿里巴巴集团控股有限公司 一种计息数据处理方法及装置
CN110309126A (zh) * 2019-07-02 2019-10-08 拓尔思信息技术股份有限公司 关系数据库增量迁移处理方法、关系数据库中数据保存方法
CN110334082A (zh) * 2019-07-11 2019-10-15 珠海格力电器股份有限公司 一种数据库的无损迁移方法及装置
CN110716984A (zh) * 2019-10-10 2020-01-21 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN115698974A (zh) * 2020-06-10 2023-02-03 万迪斯科股份有限公司 用于迁移活动文件系统的方法、设备和系统
CN115698974B (zh) * 2020-06-10 2023-12-15 西拉塔股份有限公司 用于迁移活动文件系统的方法、设备和系统
CN112256674A (zh) * 2020-10-30 2021-01-22 中国建设银行股份有限公司 一种数据迁移方法、装置、电子设备和存储介质
CN113010496A (zh) * 2021-03-19 2021-06-22 腾讯科技(深圳)有限公司 一种数据迁移方法、装置、设备和存储介质
CN113010496B (zh) * 2021-03-19 2024-03-08 腾讯云计算(北京)有限责任公司 一种数据迁移方法、装置、设备和存储介质
CN116450577A (zh) * 2023-06-14 2023-07-18 苏州浪潮智能科技有限公司 一种分布式文件系统缩容方法、系统、设备及存储介质
CN116450577B (zh) * 2023-06-14 2024-01-23 苏州浪潮智能科技有限公司 一种分布式文件系统缩容方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN105472045A (zh) 数据库迁移的方法和装置
US9628560B2 (en) Sharing a content item
US9235636B2 (en) Presenting data in response to an incomplete query
KR20190039230A (ko) 프레젠테이션을 위한 네이티브 콘텐츠의 서버측 렌더링 방법 및 시스템
TW201340011A (zh) 資訊推薦方法及資訊推薦裝置
CN107918617B (zh) 数据查询方法和装置
US20150365497A1 (en) Providing access to information across multiple computing devices
CN110866040B (zh) 用户画像生成方法、装置和系统
US20190251096A1 (en) Synchronization of offline instances
CN107844488B (zh) 数据查询方法和装置
US8352442B2 (en) Determination of an updated data source from disparate data sources
US8843587B2 (en) Retrieving availability information from published calendars
US20140325016A1 (en) Automatic account selection
CN113190517B (zh) 数据集成方法、装置、电子设备和计算机可读介质
CN110889000B (zh) 用于输出信息的方法和装置
US10601749B1 (en) Trends in a messaging platform
CN112783914B (zh) 优化语句的方法和装置
CN104156358B (zh) 一种用于数据库的表的批量读取方法、装置和系统
CN113760928A (zh) 一种缓存数据更新系统和方法
CN112507676A (zh) 能源报表生成方法、装置、电子设备和计算机可读介质
US10452683B2 (en) Selectively synchronizing data on computing devices based on selective sync templates
CN114285743B (zh) 更新配置信息的方法、装置、电子设备及存储介质
KR101250213B1 (ko) 콘텐츠 신청 서비스를 제공하는 방법 및 콘텐츠 서비스 서버
CN112783904B (zh) 一种更新索引数据的方法和装置
CN116192874A (zh) 数据同步的方法、系统和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160406

RJ01 Rejection of invention patent application after publication