CN106874389A - 数据的迁移方法和装置 - Google Patents

数据的迁移方法和装置 Download PDF

Info

Publication number
CN106874389A
CN106874389A CN201710021450.2A CN201710021450A CN106874389A CN 106874389 A CN106874389 A CN 106874389A CN 201710021450 A CN201710021450 A CN 201710021450A CN 106874389 A CN106874389 A CN 106874389A
Authority
CN
China
Prior art keywords
source database
data
database
source
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710021450.2A
Other languages
English (en)
Other versions
CN106874389B (zh
Inventor
周瑾
叶习利
胡彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710021450.2A priority Critical patent/CN106874389B/zh
Publication of CN106874389A publication Critical patent/CN106874389A/zh
Priority to PCT/CN2017/118398 priority patent/WO2018130066A1/zh
Priority to US16/412,584 priority patent/US11068449B2/en
Application granted granted Critical
Publication of CN106874389B publication Critical patent/CN106874389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种数据的迁移方法和装置，该方法包括：获取配置信息，配置信息包括源数据库地址和目标数据库地址；根据源数据库地址连接到源数据库，并根据目标数据库地址连接到目标数据库以建立与配置信息对应的迁移通道；通过迁移通道向所源数据库发送数据迁移请求；通过迁移通道获取源数据库响应数据迁移请求发送的全量数据，并将全量数据通过迁移通道发送至对应的目标数据库；通过迁移通道抽取源数据库的增量数据，并将增量数据通过迁移通道按照数据产生的时间顺序导入对应的目标数据库。该方法能够提高数据的迁移操作的便利性。

Description

数据的迁移方法和装置
技术领域
本发明涉及互联网技术领域，特别是涉及一种数据的迁移方法和装置。
背景技术
数据库是按照数据结构来组织、存储和管理数据的仓库。随着互联网技术的发展，在对数据库服务器硬件升级等场景中，数据库的数据往往需要由一个电子设备迁移到另一个电子设备。
数据库的数据在迁移过程中，需要将原数据库停止业务更新，将数据库的数据复制到新的环境后再启动服务。由于这种方式需要中断原数据库服务，对数据库业务造成一定影响，操作便利性低。
发明内容
基于此，有必要提供操作便利性高的数据的迁移方法和装置。
为达到上述目的，本发明实施例采用以下技术方案：
一种数据的迁移方法，包括：
获取配置信息，所述配置信息包括源数据库地址和目标数据库地址；
根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道；
通过所述迁移通道向所源数据库发送数据迁移请求，所述数据迁移请求携带有待迁移的数据表的信息；
通过所述迁移通道获取所述源数据库响应所述数据迁移请求发送的所述数据表的全量数据，并将所述全量数据通过所述迁移通道发送至对应的目标数据库；
通过所述迁移通道抽取所述源数据库的增量数据，并将所述增量数据通过所述迁移通道按照数据产生的时间顺序导入对应的所述目标数据库。
一种数据的迁移装置，包括：配置信息获取模块、迁移通道建立模块、发送模块、中转模块、抽取模块和导入模块；
所述配置信息获取模块，用于获取配置信息，所述配置信息包括源数据库地址和目标数据库地址；
所述迁移通道建立模块，用于根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道；
所述发送模块，用于通过所述迁移通道向所源数据库发送数据迁移请求，所述数据迁移请求携带有待迁移的数据表的信息；
所述中转模块，用于通过所述迁移通道获取所述源数据库响应所述数据迁移请求发送的所述数据表的全量数据，并将所述全量数据通过所述迁移通道发送至对应的目标数据库；
所述抽取模块，用于通过所述迁移通道抽取所述源数据库的增量数据；
所述导入模块，用于将所述增量数据通过所述迁移通道按照数据产生的时间顺序导入对应的所述目标数据库。
上述的数据的迁移方法，根据源数据地址和目标数据地址分别连接到源数据库和目标数据库并建立源数据库和目标数据库的迁移通道，通过迁移通道向源数据库发送携带待迁移的数据表的信息，获取源数据库通过迁移通道发送全量数据并发送至对应的目标数据库，抽取源数据库在全量数据迁移过程中产生的增量数据并发送至对应的目标数据库。通过根据迁移请求，先对源数据库中的全量数据进行迁移，再对增量数据按时间顺序进行抽取。即使在全量数据迁移过程产生了的新的数据，也可以通过增量数据抽取的方式进行迁移，从而保持源数据库与目标数据库的数据一致性。并且，由于能够对增量数据进行抽取，从而无需中断源数据库的业务，实现数据的在线迁移。同时，迁移通道根据配置信息的源数据库地址和目标数据库地址对应生成，可同时根据不同的配置信息生成多个对应的迁移通道，并发处理多个数据库的数据迁移，操作便利性高。
附图说明
图1为本发明一个实施例方案的应用环境示意图；
图2为一个实施例的服务器的内部结构示意图；
图3为一个实施例的数据的迁移方法的流程图；
图4为一个实施例的数据的迁移方法的数据流向示意图；
图5为又一个实施例的数据的迁移方法的时序说明图；
图6为一个实施例的数据的迁移装置的结构示意图；
图7为又一个实施例的数据的迁移装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1为一个实施例提供的数据迁移方法的应用环境示意图。如图1所示，该应用环境包括源数据库101、中转服务器102、目标数据库103和应用终端104，应用终端上执行有为中转服务器102输入配置信息的客户端，应用终端104与中转服务器102通信连接，用户在应用终端上操作，对数据迁移进行配置。配置信息通过网络发送至中转服务器102，配置信息包括源数据库地址和目标数据库地址。中转服务器102根据配置信息连接到源数据库101和目标数据库103，建立源数据库101和目标数据库103的数据迁移通道。其中源数据库101可以为应用程序100提供支持的数据库，通过应用程序100写入的数据都存储在源数据库101中。源数据库101中的数据通过数据迁移通道迁移至对应的目标数据库103中。在其它的实施方式中，目标数据库103可以为网络云服务器集群13中的一台服务器，客户端为网络云服务器的操作平台，用户通过登录网络云服务器的操作平台配置信息，通过中转服务器102将源数据库101中的数据迁移至网络云服务器103。在完成迁移后，应用程序100的业务数据存储在网络云服务器103。
图2为一个实施例中的中转服务器的内部结构示意图。如图2所示，中转服务器包括通过系统总线连接的处理器、存储介质、内存和网络接口。其中，中转服务器的存储介质存储有操作系统以及一种数据的迁移装置，该数据的迁移装置用于实现一种数据的迁移方法。该处理器用于提供计算和控制能力，支撑整个中转服务器的运行。中转服务器中的内存为存储介质中的数据的迁移装置运行提供环境，网络接口用于与应用终端、源数据库和目标数据库进行网络通信，接收应用终端上的客户端对数据迁移的配置信息，根据配置信息连接到源数据库和目标数据库。
本领域技术人员可以理解，图2中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
请参照图3，在一个实施例中，提供一种数据的迁移方法，该方法运行在如图1所示的中转服务器102中，包括以下步骤：
S302：获取配置信息，配置信息包括源数据库地址和目标数据库地址。
配置信息是指用户通过客户端输入的对数据迁移的配置指令，包括源数据库地址和目标数据库地址。源数据库地址即需要进行迁移的数据的存放地址。源数据库地址可以为域名，也可以为数据库的IP(Internet Protocol，互联网协议)地址，还可以为数据库的IP地址+端口号。
目标数据库地址是指需要迁移的数据的目标存放地址，目标数据库地址可以为域名，也可以为数据库的IP地址，还可以为数据库的IP地址+端口号。在配置信息中，可为此次数据迁移配置多个目标数据库地址，即可以将源数据库的数据同时迁移至多个目标数据库。
用户在应用终端的客户端输入配置信息，应用终端将配置信息发送至中转服务器。本实施例中的客户端为数据迁移平台的客户端，客户端可以为平台的网页客户端，也可以为平台的应用程序终端。客户端可以接收用户输入的源数据库地址和目标数据库地址，也可以根据用户在平台的用户名查找与其关联的源数据库地址和目标数据库地址，分别将查找到的源数据库地址和目标数据库地址展示在客户端，供用户选择。
S304：根据源数据库地址连接到源数据库，并根据目标数据库地址连接到目标数据库以建立与配置信息对应的迁移通道。
中转服务器在获取到配置信息后，根据配置信息中的源数据库地址和目标数据库地址分别连接到源数据库和目标数据库，建立与配置信息对应的迁移通道。应当可以理解的是，中转服务器根据每一个配置信息中的源数据库地址和目标数据库地址建立源数据库和目标数据库的迁移通道。本实施例中的配置信息可以为多个，中转服务器能够并发同时对多个数据迁移通道进行处理。中转服务器根据迁移通道的源数据库的数据传输到对应的目标数据库。
具体的，配置信息还包括源数据库用户名和密码、目标数据库用户名和密码。步骤S304具体包括以下步骤1至步骤2：
步骤1：向源数据库发送连接请求，连接请求包括源数据库地址、源数据库用户名和密码，由源数据库验证通过后连接到源数据库。
本实施例中，客户端提供源数据库用户名和密码的输入界面。当中转服务器获取到源数据库地址、源数据库用户名和密码后，向源数据库发送连接请求。源数据库根据源数据库地址、源数据库用户名和密码验证用户是否具有读写源数据库的权限，若验证通过，则与中转服务器连接。本实施例中的源数据库用户名和密码、目标数据库用户名和密码用于验证用户是否具有对对应数据库的读写权限。
步骤2：向目标数据库发送连接请求，连接请求包括目标数据库地址、目标数据库用户名和密码，由目标数据库验证通过后，连接到目标数据库以建立与配置信息对应的迁移通道。
本实施例中，客户端还提供目标数据库用户名和密码的输入界面。当中转服务器获取到目标数据库地址、目标数据库用户名和密码后，向目标数据库发送连接请求。目标数据库根据目标数据库地址、目标数据库用户名和密码验证用户是否具有访问目标数据库的权限，若验证通过，则与中转服务器连接。
中转服务器通过与源数据库和目标数据库连接后，建立了源数据库与目标数据库的迁移通道。
S306：通过迁移通道向所源数据库发送数据迁移请求，数据迁移请求中携带待迁移的数据表的信息。
中转服务器在与源数据库连接后，在客户端的配置页面显示源数据库的表信息，包括各数据表的名称。用户可根据需要选择全部的数据表，以对全部的数据表进行迁移。用户还可根据需要选择特定的数据表以进行迁移。本实施例中，数据迁移以数据表为单位。数据表是对所有的数据软件抽象出来的数据结构，包括字段、索引和键等信息。
中转服务器向源数据库发送数据迁移请求，数据迁移请求包括用户通过客户端的配置页面选择的需要迁移的数据表名称。源数据库根据数据表将在当前时间点之前的全量数据进行迁移数据迁移请求通过迁移通道发送至对应的源数据库。应当可以理解的是，目标数据库中应当设置有与源数据库中待迁移的数据表相同的表结构。
S308：通过迁移通道获取源数据库响应数据迁移请求发送的全量数据，并将数据表的全量数据通过迁移通道发送至对应的目标数据库。
源数据库接收到数据迁移请求后，响应数据迁移请求，向中转服务器发送对应数据表的全量数据。源数据库中的全量数据可采用现有的传输协议向中转服务器发送，例如超文本协议、文件传输协议等等。
中转服务器接收到源数据库发送的全量数据后，通过迁移通道发送至对应的目标数据库。
S310：通过迁移通道抽取源数据库的增量数据，并将增量数据通过迁移通道按照数据产生的时间顺序导入目标数据库。
增量数据是指在全量数据的迁移过程中产生的新的数据，即指数据变更，包括新增、修改和删除。中转服务器通过数据迁移通道按时间顺序从源数据库中抽取增量数据，并将增量数据放入队列，再从队列中取出增量数据导入到对应的目标数据库，根据全量数据和增量数据完成数据的迁移。
本实施例中，根据迁移请求，先对源数据库中的全量数据进行迁移，再对增量数据按时间顺序进行抽取。即使在全量数据迁移过程中产生了新的数据，也可以通过增量数据抽取的方式进行迁移，从而保持源数据库与目标数据库的数据一致性。并且，由于能够对增量数据进行抽取，从而无需中断源数据库的业务，实现数据的在线迁移。同时，迁移通道根据配置信息的源数据库地址和目标数据库地址对应生成，可同时根据不同的配置信息生成多个对应的迁移通道，并发处理多个数据库的数据迁移，操作便利性高。
在另一个实施例中，通过迁移通道抽取源数据库的增量数据的步骤包括以下步骤1和步骤2：
步骤1：为源数据库配置代理进程，通过代理进程读取并解析源数据库的数据日志，得到源数据库的增量信息。
步骤2：通过迁移通道从源数据库中根据数据产生的时间顺序抽取与增量信息对应的增量数据。
本实施例中，通过在源数据库配置代理进程，通过代理进程读取数据日志，解析数据日志的变化获取数据库的增量信息。本实施例中的代理进程为对数据库的数据日志进行读取、解析到增量信息的处理函数，通过代理进程获取到增量信息后，抽取与增量信息对应的增量数据，由中转服务器配置到需要迁移的源数据库中。代理进程对源数据库中的增量数据根据数据产生的时间顺序进行抽取，并存放在队列中。中转服务器依次从队列中将抽取的增量数据传输至对应的目标数据库。
如图4所示，本实施例中提供两种增量数据抽取的方式。具体的客户端还提供配置页面供用户选择增量数据的抽取方式，当用户选择通过数据日志分析的方式抽取时，配置页面还提示用户需要输入源数据库所在服务器的登录名和密码，以获取对数据库的处理权限。本实施例中的配置信息还包括源数据库所在服务器的登陆名和密码。根据源数据库所在服务器的登录名和密码向源数据库发送权限验证请求，并在源数据库验证通过后，为源数据库配置代理进程。
在获取到对源数据库的数据日志的处理权限后，向源数据库配置代理进程，通过代理进程读取、解析数据日志得到增量信息，并根据增量信息从数据表中抽取增量数据。
应当理解的是，在客户端的配置页面还可以提供其它增量的获取方式供用户选择，例如本实施例中还可以提供通过在源数据库创建触发器的方式从源数据库中提供增量数据。具体的，根据源数据地址连接到源数据库的步骤包括：根据源数据库地址连接到源数据库，并向源数据库发送触发器生成指令，由源数据库根据触发器生成指令生成触发器。
此时，通过迁移通道抽取源数据库的增量数据的步骤包括：扫描触发器的增量表，并从增量表中抽取增量数据。
触发器可以记录对数据表的添加、修改、删除操作。通过触发器，记录一段时间内的数据表的变动记录，并将记录变动记录写入增量表中。在一种实施方式中，触发器将变化的数据写入增量表中，从增量表中抽取增量数据。在一种实施方式中，增量表中存储了更新的源表名称、更新的关键字值和更新操作的类型，根据增量表中的信息，从对应的源表中查找到增量数据进行抽取。扫描的频率由系统进行设定，例如，每3秒扫描一次触发器的增量表，获取这段时间内增量信息。
应当理解的是，在客户端的配置页面还提供其它的增量数据的抽取方式供用户选择，例如基于时间戳方式，通过在源表上增加一个时间戳字段，系统更新修改表格数据时，同时修改时间戳的值，当进行数据抽取时，通过比较上次抽取时间与时间戳字段的值判断增量数据。又例如全表对比方式，对于数据库需要迁移的表格建立一个结构类似的临时表，该临时表记录源表主键以及根据所有字段的数据计算出来，当到达扫描时间，将当前时刻的源表与上一扫描时间的临时表进行比对找到增量数据。
在另一个实施例中，在步骤S304之后，还包括以下步骤1至步骤2：
步骤1：通过迁移通道向源数据库发送表结构同步指令。
步骤2：通过迁移通道接收源数据库响应表结构同步指令发送的数据表结构，并将数据库表结构同步到目标数据库中。
目标数据库中可能没有建立与源数据库对应的数据表，用户可在目标数据库中预先建立与源数据库对应的数据表，用户也可以在配置页面选择表结构同步的选项。中转服务器通过迁移通道向源数据库发送表结构同步指令，接收源数据库响应表结构同步指令发送的数据表结构，并同步到目标数据库中，从而无需用户手动地在目标数据库中预先建立数据表。
上述的数据的迁移方法，可应用在两个或多个数据库之间，将源数据库的数据迁移至一个或多个目标数据库。用户可对源数据库和目标数据库进行比对，确认数据迁移完成后，切换应用程序。对于全量数据迁移过程中产生的增量数据通过定时扫描抽取，不影响应用程序的数据写入，无需中断源数据库的业务，实现数据的在线迁移。并且，该数据的迁移方法，以数据表为迁移单位，通过配置代理进程对源数据库的数据日志进行分析或在源数据库建立触发器，获取增量数据，从而可扩展支持多种异构数据存储系统(包括关系型数据库、文件系统、分布式文件系统、消息队列等等)之间的数据在线迁移。
作为一个应用场景的示例，将上述的数据迁移方法应用在将源数据库的数据迁移至网络云服务器。如图5所示，包括以下步骤：
S501：用户通过客户端输入配置信息，配置信息包括源数据库地址、源数据库用户名和密码、目标数据库地址、目标数据库用户名和密码。配置信息还包括用户所选择的增量数据获取方式。若用户选择通过数据日志获取，配置信息还包括数据库登陆名和密码。
本实施例中的客户端为网络云平台的客户端，中转服务器为网络云平台的一部分，为数据的迁移提供支持。
S502：中转服务器获取配置信息，并分别向源数据库和目标数据库发送连接请求。
S503：源数据库根据源数据库用户名和密码验证通过后，与中转服务器进行连接。
中转服务器分别与源数据库和中转服务器连接后，建立与配置信息对应的迁移通道。通过迁移通道从源数据库获取数据，并将获取的数据迁移至与源数据库对应的目标数据库。
S504：目标数据库根据目标数据库用户名和密码验证通过后，与中转服务器连接。
S505：中转服务器向源数据库发送表结构同步指令。
S506：接收源数据库响应表结构同步指令发送的数据表结构，并同步到目标数据库中。
应当理解的是，在源数据库与中转服务器进行连接后，根据用户所选择的增量数据获取方式，中转服务器向源数据库配置代理进程，或中转服务器向源数据库发送触发器生成指令。本实施例以方式为触发器为例进行说明。
S507：中转服务器向源数据库发送触发器生成指令。
S508：源数据库响应触发器生成指令，建立增量表。
增量表用于记录在全量数据迁移过程中产生的增量数据。
S509：中转服务器向源数据库发送数据迁移请求，数据迁移请求包括待迁移的数据表信息。
中转服务器在连接到源数据库后，客户端显示源数据库的数据表供用户选择，用户根据需要选择待迁移的数据表信息并向源数据库发送数据迁移请求。迁移请求还包括待迁移的数据表的信息。
S510：源数据库根据数据迁移请求将全量数据传输至中转服务器。
S511：中转服务器将全量数据传输至对应的目标服务器。
S512：中转服务器定时扫描增量表，从增量表中获取增量数据，并将增量数据保存在队列中，
S513：中转服务器从队列中抽取增量数据传输至目标数据库。
通过全量数据和增量数据完成数据的迁移。
在一个实施例中，提供一种数据的迁移装置，如图6所示，包括：配置信息获取模块601、迁移通道建立模块602、发送模块603、中转模块604、抽取模块605和导入模块606。
其中，配置信息获取模块601，用于获取配置信息，配置信息包括源数据库地址和目标数据库地址。迁移通道建立模块602，用于根据源数据库地址连接到源数据库，并根据目标数据库地址连接到目标数据库以建立与配置信息对应的迁移通道。发送模块603，用于通过迁移通道向所源数据库发送数据迁移请求，数据迁移请求携带有待迁移的数据表的信息。中转模块604，用于通过迁移通道获取源数据库响应数据迁移请求发送的数据表的全量数据，并将全量数据通过迁移通道发送至对应的目标数据库。抽取模块605，用于通过迁移通道抽取源数据库的增量数据。导入模块606，用于将增量数据通过迁移通道按照数据产生的时间顺序导入对应的目标数据库。
上述的数据的迁移装置，根据迁移请求，先对源数据库中的全量数据进行迁移，再对增量数据按时间顺序进行抽取。即使在全量数据迁移过程中产生了新的数据，也可以通过增量数据抽取的方式进行迁移，从而保持源数据库与目标数据库的数据一致性。并且，由于能够对增量数据进行抽取，从而无需中断源数据库的业务，实现数据的在线迁移。同时，迁移通道根据配置信息的源数据库地址和目标数据库地址对应生成，可同时根据不同的配置信息生成多个对应的迁移通道，并发处理多个数据库的数据迁移，操作便利性高。
在另一个实施例中，如图7所示，抽取模块605包括：代理配置模块6051和增量抽取模块6052。代理配置模块6051，用于为源数据库配置代理进程，通过代理进程读取并解析源数据库的数据日志，得到源数据库的增量信息。增量抽取模块6052，用于通过迁移通道从源数据库中根据数据产生的时间顺序抽取与增量信息对应的增量数据。
在又一个实施例中，发送模块603，还用于连接到源数据库后，向源数据库发送触发器生成指令，由源数据库根据触发器生成指令生成触发器。抽取模块605，用于扫描触发器的增量表，并从增量表中抽取增量数据。
在再一个实施例中，配置信息包括源数据库用户名和密码、目标数据库用户名和密码。迁移通道建立模块602，用于向源数据库发送连接请求，连接请求包括源数据库地址、源数据库用户名和密码，由源数据库验证通过后连接到源数据库，还用于向目标数据库发送连接请求，连接请求包括目标数据库地址、目标数据库用户名和密码，由目标数据库验证通过后，连接到目标数据库以建立与配置信息对应的迁移通道。
在另一个实施例中，配置信息还包括源数据库所在服务器的登录名和密码。发送模块603，还用于根据源数据库所在服务器的登录名和密码向源数据库发送权限验证请求。代理配置模块6051，用于在源数据库验证通过后，为源数据库配置代理进程。
在又一个实施例中，发送模块603，还用于通过迁移通道向源数据库发送表结构同步指令。中转模块604，还用于通过迁移通道接收源数据库响应表结构同步指令发送的数据表结构，并将数据库表结构同步到目标数据库中。
上述的数据的迁移装置，可应用在两个或多个数据库之间，将源数据库的数据迁移至一个或多个目标数据库。用户可对源数据库和目标数据库进行比对，确认数据迁移完成后，切换应用程序。对于全量数据迁移过程中产生的增量数据通过定时扫描抽取，不影响应用程序的数据写入，无需中断源数据库的业务，实现数据的在线迁移。并且，该数据的迁移装置，以数据表为迁移单位，通过配置代理进程对源数据库的数据日志进行分析或在源数据库建立触发器，获取增量数据，从而可扩展支持多种异构数据存储系统(包括关系型数据库、文件系统、分布式文件系统、消息队列等等)之间的数据在线迁移。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种数据的迁移方法，其特征在于，包括：
获取配置信息，所述配置信息包括源数据库地址和目标数据库地址；
根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道；
通过所述迁移通道向所源数据库发送数据迁移请求，所述数据迁移请求携带有待迁移的数据表的信息；
通过所述迁移通道获取所述源数据库响应所述数据迁移请求发送的所述数据表的全量数据，并将所述全量数据通过所述迁移通道发送至对应的目标数据库；
通过所述迁移通道抽取所述源数据库的增量数据，并将所述增量数据通过所述迁移通道按照数据产生的时间顺序导入对应的所述目标数据库。
2.根据权利要求1所述的方法，其特征在于，所述通过所述迁移通道抽取所述源数据库的增量数据的步骤包括：
为所述源数据库配置代理进程，通过所述代理进程读取并解析所述源数据库的数据日志，得到所述源数据库的增量信息；
通过所述迁移通道从所述源数据库中根据数据产生的时间顺序抽取与所述增量信息对应的增量数据。
3.根据权利要求1所述的方法，其特征在于：
所述根据所述源数据库地址连接到源数据库的步骤包括：根据所述源数据库地址连接到源数据库，并向所述源数据库发送触发器生成指令，由所述源数据库根据所述触发器生成指令生成触发器；
所述通过所述迁移通道抽取所述源数据库的增量数据的步骤包括：扫描所述触发器的增量表，并从所述增量表中抽取增量数据。
4.根据权利要求1所述的方法，其特征在于，所述配置信息包括源数据库用户名和密码、目标数据库用户名和密码；
所述根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道的步骤包括：
向所述源数据库发送连接请求，所述连接请求包括源数据库地址、源数据库用户名和密码，由所述源数据库验证通过后连接到源数据库；
向所述目标数据库发送连接请求，所述连接请求包括目标数据库地址、目标数据库用户名和密码，由所述目标数据库验证通过后，连接到目标数据库以建立与所述配置信息对应的迁移通道。
5.根据权利要求2所述的方法，其特征在于：
所述配置信息还包括所述源数据库所在服务器的登录名和密码；
所述方法还包括：根据所述源数据库所在服务器的登录名和密码向所述源数据库发送权限验证请求，并在所述源数据库验证通过后，为所述源数据库配置代理进程。
6.根据权利要求1所述的方法，其特征在于，在所述根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道的步骤之后，还包括：
通过所述迁移通道向源数据库发送表结构同步指令；
通过迁移通道接收所述源数据库响应所述表结构同步指令发送的数据表结构，并将所述数据库表结构同步到目标数据库中。
7.一种数据的迁移装置，其特征在于，包括：配置信息获取模块、迁移通道建立模块、发送模块、中转模块、抽取模块和导入模块；
所述配置信息获取模块，用于获取配置信息，所述配置信息包括源数据库地址和目标数据库地址；
所述迁移通道建立模块，用于根据所述源数据库地址连接到源数据库，并根据所述目标数据库地址连接到目标数据库以建立与所述配置信息对应的迁移通道；
所述发送模块，用于通过所述迁移通道向所源数据库发送数据迁移请求，所述数据迁移请求携带有待迁移的数据表的信息；
所述中转模块，用于通过所述迁移通道获取所述源数据库响应所述数据迁移请求发送的所述数据表的全量数据，并将所述全量数据通过所述迁移通道发送至对应的目标数据库；
所述抽取模块，用于通过所述迁移通道抽取所述源数据库的增量数据；
所述导入模块，用于将所述增量数据通过所述迁移通道按照数据产生的时间顺序导入对应的所述目标数据库。
8.根据权利要求7所述的装置，其特征在于，所述抽取模块包括：代理配置模块和增量抽取模块；
所述代理配置模块，用于为所述源数据库配置代理进程，通过所述代理进程读取并解析所述源数据库的数据日志，得到所述源数据库的增量信息；
所述增量抽取模块，用于通过所述迁移通道从所述源数据库中根据数据产生的时间顺序抽取与所述增量信息对应的增量数据。
9.根据权利要求7所述的装置，其特征在于：
所述发送模块，还用于连接到源数据库后，向所述源数据库发送触发器生成指令，由所述源数据库根据所述触发器生成指令生成触发器；
所述抽取模块，用于扫描所述触发器的增量表，并从所述增量表中抽取增量数据。
10.根据权利要求7所述的装置，其特征在于，所述配置信息包括源数据库用户名和密码、目标数据库用户名和密码；
所述迁移通道建立模块，用于向所述源数据库发送连接请求，所述连接请求包括源数据库地址、源数据库用户名和密码，由所述源数据库验证通过后连接到源数据库，还用于向所述目标数据库发送连接请求，所述连接请求包括目标数据库地址、目标数据库用户名和密码，由所述目标数据库验证通过后，连接到目标数据库以建立与所述配置信息对应的迁移通道。
11.根据权利要求8所述的装置，其特征在于：所述配置信息还包括所述源数据库所在服务器的登录名和密码；所述发送模块，还用于根据所述源数据库所在服务器的登录名和密码向所述源数据库发送权限验证请求；所述代理配置模块，用于在所述源数据库验证通过后，为所述源数据库配置代理进程。
12.根据权利要求7所述的装置，其特征在于，所述发送模块，还用于通过所述迁移通道向源数据库发送表结构同步指令；
所述中转模块，还用于通过迁移通道接收所述源数据库响应所述表结构同步指令发送的数据表结构，并将所述数据库表结构同步到目标数据库中。
CN201710021450.2A 2017-01-11 2017-01-11 数据的迁移方法和装置 Active CN106874389B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710021450.2A CN106874389B (zh) 2017-01-11 2017-01-11 数据的迁移方法和装置
PCT/CN2017/118398 WO2018130066A1 (zh) 2017-01-11 2017-12-25 数据的迁移方法、计算机设备和存储介质
US16/412,584 US11068449B2 (en) 2017-01-11 2019-05-15 Data migration method, apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710021450.2A CN106874389B (zh) 2017-01-11 2017-01-11 数据的迁移方法和装置

Publications (2)

Publication Number Publication Date
CN106874389A true CN106874389A (zh) 2017-06-20
CN106874389B CN106874389B (zh) 2023-04-07

Family

ID=59158225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710021450.2A Active CN106874389B (zh) 2017-01-11 2017-01-11 数据的迁移方法和装置

Country Status (3)

Country Link
US (1) US11068449B2 (zh)
CN (1) CN106874389B (zh)
WO (1) WO2018130066A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343049A (zh) * 2017-07-06 2017-11-10 上海观谷科技有限公司 数据同步方法及装置
CN107678856A (zh) * 2017-09-20 2018-02-09 苏宁云商集团股份有限公司 一种处理业务实体中增量信息的方法及装置
CN107992559A (zh) * 2017-11-28 2018-05-04 江苏中威科技软件系统有限公司 多数据源的数据迁移方法
WO2018130066A1 (zh) * 2017-01-11 2018-07-19 腾讯科技（深圳）有限公司 数据的迁移方法、计算机设备和存储介质
CN108388599A (zh) * 2018-02-01 2018-08-10 平安科技（深圳）有限公司 电子装置、数据迁移及调用方法及存储介质
CN108920344A (zh) * 2018-05-11 2018-11-30 南京南瑞继保电气有限公司 一种存储方法及设备、计算机可读存储介质
CN109100951A (zh) * 2018-11-01 2018-12-28 广东粤迪厚创科技发展有限公司 一种基于大数据的智能家居系统
CN109299177A (zh) * 2018-09-30 2019-02-01 江苏满运软件科技有限公司 数据抽取方法、装置、存储介质及电子设备
CN109726264A (zh) * 2019-01-16 2019-05-07 北京百度网讯科技有限公司 用于索引信息更新的方法、装置、设备和介质
CN109977102A (zh) * 2019-03-27 2019-07-05 网易（杭州）网络有限公司 数据处理方法、装置、介质及电子设备
CN110175211A (zh) * 2019-05-05 2019-08-27 中国银行股份有限公司 一种数据同步方法及装置
CN110297813A (zh) * 2019-05-22 2019-10-01 平安银行股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN110309218A (zh) * 2018-02-09 2019-10-08 杭州数梦工场科技有限公司 一种数据交换系统和数据写入方法
CN110413595A (zh) * 2019-06-28 2019-11-05 万翼科技有限公司 一种应用于分布式数据库的数据迁移方法和相关装置
CN110659259A (zh) * 2019-09-03 2020-01-07 平安科技（深圳）有限公司 数据库迁移方法、服务器以及计算机存储介质
CN110659255A (zh) * 2018-06-28 2020-01-07 武汉斗鱼网络科技有限公司 一种数据迁移方法、装置、系统以及存储介质
CN110795496A (zh) * 2018-08-02 2020-02-14 阿里巴巴集团控股有限公司 数据同步方法、装置及系统
CN110888924A (zh) * 2018-09-10 2020-03-17 深圳市从晶科技有限公司 一种数据采集系统
CN110909270A (zh) * 2019-10-12 2020-03-24 平安普惠企业管理有限公司 文章迁移方法、装置、计算机可读存储介质及终端设备
CN110909071A (zh) * 2018-09-17 2020-03-24 北京国双科技有限公司 数据同步方法、装置以及系统
CN111367987A (zh) * 2020-03-31 2020-07-03 西安震有信通科技有限公司 适应多种数据库类型的数据导入方法、系统及装置
CN111402022A (zh) * 2020-03-10 2020-07-10 北京意锐新创科技有限公司 一种商户对账方法和装置
CN111400276A (zh) * 2020-03-03 2020-07-10 杭州天谷信息科技有限公司 实时同步数据库迁移装置及方法
CN111831755A (zh) * 2020-07-23 2020-10-27 北京思特奇信息技术股份有限公司 一种跨数据库数据同步方法、系统、介质及设备
CN111949680A (zh) * 2019-05-17 2020-11-17 杭州海康威视数字技术股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN112559444A (zh) * 2019-09-25 2021-03-26 北京国双科技有限公司 Sql文件迁移方法、装置、存储介质及设备
CN112860666A (zh) * 2021-02-08 2021-05-28 土巴兔集团股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN113051247A (zh) * 2021-03-18 2021-06-29 福建星瑞格软件有限公司 一种基于日志同步的数据库迁移方法及系统
CN113282571A (zh) * 2021-05-26 2021-08-20 北京金山云网络技术有限公司 数据转移方法、装置、电子设备和存储介质
CN113849476A (zh) * 2020-06-28 2021-12-28 中兴通讯股份有限公司 数据迁移方法、装置、网络设备和存储介质
CN115037729A (zh) * 2022-04-21 2022-09-09 中国建设银行股份有限公司 数据汇聚方法、装置、电子设备及计算机可读介质
CN117407362A (zh) * 2023-12-15 2024-01-16 中电云计算技术有限公司 一种异构文件系统间文件迁移的方法与装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307037B (zh) * 2019-07-26 2023-09-22 北京京东振世信息技术有限公司 一种数据同步方法和装置
CN111125063B (zh) * 2019-12-20 2023-09-26 无线生活（杭州）信息科技有限公司 一种快速校验集群间的数据迁移的方法及装置
CN111339186B (zh) * 2020-02-19 2022-09-30 平安科技（深圳）有限公司 工作流引擎数据同步方法、装置、介质及电子设备
CN113672596A (zh) * 2021-08-30 2021-11-19 中国平安人寿保险股份有限公司 项目配置表处理方法、装置、设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030200480A1 (en) * 2002-04-19 2003-10-23 Computer Associates Think, Inc. Method and system for disaster recovery
US20080140693A1 (en) * 2006-12-06 2008-06-12 Verizon Data Services Inc. Apparatus, Method, And Computer Program Product For Synchronizing Data Sources
CN101944114A (zh) * 2010-09-16 2011-01-12 深圳天源迪科信息技术股份有限公司 内存数据库和物理数据库间的数据同步方法
CN102202073A (zh) * 2010-03-24 2011-09-28 杭州华三通信技术有限公司 一种分布式系统及其数据同步方法
CN102521225A (zh) * 2011-09-29 2012-06-27 用友软件股份有限公司 增量数据抽取装置和增量数据抽取方法
CN102915336A (zh) * 2012-09-18 2013-02-06 北京金和软件股份有限公司 一种基于时间戳和日志的增量数据捕获和抽取方法
CN102999537A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 一种数据迁移系统和方法
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
CN104809201A (zh) * 2015-04-24 2015-07-29 联动优势科技有限公司 一种数据库同步的方法和装置
CN104809202A (zh) * 2015-04-24 2015-07-29 联动优势科技有限公司 一种数据库同步的方法和装置
CN104899295A (zh) * 2015-06-09 2015-09-09 苏州国云数据科技有限公司 一种异构数据源数据关联分析方法
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置
CN105359146A (zh) * 2013-07-09 2016-02-24 甲骨文国际公司 自动数据库迁移架构
CN105472045A (zh) * 2016-01-26 2016-04-06 北京百度网讯科技有限公司 数据库迁移的方法和装置
US20160099998A1 (en) * 2014-10-01 2016-04-07 SkyKick, Inc. Optimizing data migration processes
CN105847378A (zh) * 2016-04-13 2016-08-10 北京思特奇信息技术股份有限公司 一种实现大数据同步的方法和系统
CN105868343A (zh) * 2016-03-28 2016-08-17 上海携程商务有限公司 数据库迁移方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021123B (zh) * 2013-02-28 2017-10-31 国际商业机器公司 用于数据迁移的方法和系统
CN104731888B (zh) * 2015-03-12 2018-09-04 北京奇虎科技有限公司 一种数据迁移的方法、装置和系统
CN105718570B (zh) * 2016-01-20 2019-12-31 北京京东尚科信息技术有限公司 用于数据库的数据迁移方法和装置
CN106874389B (zh) * 2017-01-11 2023-04-07 腾讯科技（深圳）有限公司 数据的迁移方法和装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030200480A1 (en) * 2002-04-19 2003-10-23 Computer Associates Think, Inc. Method and system for disaster recovery
US20080140693A1 (en) * 2006-12-06 2008-06-12 Verizon Data Services Inc. Apparatus, Method, And Computer Program Product For Synchronizing Data Sources
CN102202073A (zh) * 2010-03-24 2011-09-28 杭州华三通信技术有限公司 一种分布式系统及其数据同步方法
CN101944114A (zh) * 2010-09-16 2011-01-12 深圳天源迪科信息技术股份有限公司 内存数据库和物理数据库间的数据同步方法
CN102999537A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 一种数据迁移系统和方法
CN102521225A (zh) * 2011-09-29 2012-06-27 用友软件股份有限公司 增量数据抽取装置和增量数据抽取方法
CN102915336A (zh) * 2012-09-18 2013-02-06 北京金和软件股份有限公司 一种基于时间戳和日志的增量数据捕获和抽取方法
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
CN105359146A (zh) * 2013-07-09 2016-02-24 甲骨文国际公司 自动数据库迁移架构
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置
US20160099998A1 (en) * 2014-10-01 2016-04-07 SkyKick, Inc. Optimizing data migration processes
CN104809202A (zh) * 2015-04-24 2015-07-29 联动优势科技有限公司 一种数据库同步的方法和装置
CN104809201A (zh) * 2015-04-24 2015-07-29 联动优势科技有限公司 一种数据库同步的方法和装置
CN104899295A (zh) * 2015-06-09 2015-09-09 苏州国云数据科技有限公司 一种异构数据源数据关联分析方法
CN105472045A (zh) * 2016-01-26 2016-04-06 北京百度网讯科技有限公司 数据库迁移的方法和装置
CN105868343A (zh) * 2016-03-28 2016-08-17 上海携程商务有限公司 数据库迁移方法及系统
CN105847378A (zh) * 2016-04-13 2016-08-10 北京思特奇信息技术股份有限公司 一种实现大数据同步的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴浩 等: "ETL中的数据增量抽取机制研究", vol. 30, no. 23, pages 5552 - 5555 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018130066A1 (zh) * 2017-01-11 2018-07-19 腾讯科技（深圳）有限公司 数据的迁移方法、计算机设备和存储介质
US11068449B2 (en) 2017-01-11 2021-07-20 Tencent Technology (Shenzhen) Company Limited Data migration method, apparatus, and storage medium
CN107343049A (zh) * 2017-07-06 2017-11-10 上海观谷科技有限公司 数据同步方法及装置
CN107343049B (zh) * 2017-07-06 2020-03-24 上海观谷科技有限公司 数据同步方法及装置
CN107678856A (zh) * 2017-09-20 2018-02-09 苏宁云商集团股份有限公司 一种处理业务实体中增量信息的方法及装置
CN107992559A (zh) * 2017-11-28 2018-05-04 江苏中威科技软件系统有限公司 多数据源的数据迁移方法
CN108388599A (zh) * 2018-02-01 2018-08-10 平安科技（深圳）有限公司 电子装置、数据迁移及调用方法及存储介质
CN108388599B (zh) * 2018-02-01 2022-08-02 平安科技（深圳）有限公司 电子装置、数据迁移及调用方法及存储介质
CN110309218A (zh) * 2018-02-09 2019-10-08 杭州数梦工场科技有限公司 一种数据交换系统和数据写入方法
CN108920344A (zh) * 2018-05-11 2018-11-30 南京南瑞继保电气有限公司 一种存储方法及设备、计算机可读存储介质
CN108920344B (zh) * 2018-05-11 2021-11-12 南京南瑞继保电气有限公司 一种存储方法及设备、计算机可读存储介质
CN110659255A (zh) * 2018-06-28 2020-01-07 武汉斗鱼网络科技有限公司 一种数据迁移方法、装置、系统以及存储介质
CN110795496B (zh) * 2018-08-02 2023-05-30 阿里巴巴集团控股有限公司 数据同步方法、装置及系统
CN110795496A (zh) * 2018-08-02 2020-02-14 阿里巴巴集团控股有限公司 数据同步方法、装置及系统
CN110888924A (zh) * 2018-09-10 2020-03-17 深圳市从晶科技有限公司 一种数据采集系统
CN110909071A (zh) * 2018-09-17 2020-03-24 北京国双科技有限公司 数据同步方法、装置以及系统
CN109299177A (zh) * 2018-09-30 2019-02-01 江苏满运软件科技有限公司 数据抽取方法、装置、存储介质及电子设备
CN109100951A (zh) * 2018-11-01 2018-12-28 广东粤迪厚创科技发展有限公司 一种基于大数据的智能家居系统
CN109726264A (zh) * 2019-01-16 2019-05-07 北京百度网讯科技有限公司 用于索引信息更新的方法、装置、设备和介质
CN109726264B (zh) * 2019-01-16 2022-02-25 北京百度网讯科技有限公司 用于索引信息更新的方法、装置、设备和介质
CN109977102A (zh) * 2019-03-27 2019-07-05 网易（杭州）网络有限公司 数据处理方法、装置、介质及电子设备
CN110175211A (zh) * 2019-05-05 2019-08-27 中国银行股份有限公司 一种数据同步方法及装置
CN110175211B (zh) * 2019-05-05 2021-10-19 中国银行股份有限公司 一种数据同步方法及装置
CN111949680A (zh) * 2019-05-17 2020-11-17 杭州海康威视数字技术股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN110297813A (zh) * 2019-05-22 2019-10-01 平安银行股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN110413595A (zh) * 2019-06-28 2019-11-05 万翼科技有限公司 一种应用于分布式数据库的数据迁移方法和相关装置
CN110659259A (zh) * 2019-09-03 2020-01-07 平安科技（深圳）有限公司 数据库迁移方法、服务器以及计算机存储介质
CN112559444A (zh) * 2019-09-25 2021-03-26 北京国双科技有限公司 Sql文件迁移方法、装置、存储介质及设备
CN110909270A (zh) * 2019-10-12 2020-03-24 平安普惠企业管理有限公司 文章迁移方法、装置、计算机可读存储介质及终端设备
CN111400276A (zh) * 2020-03-03 2020-07-10 杭州天谷信息科技有限公司 实时同步数据库迁移装置及方法
CN111402022A (zh) * 2020-03-10 2020-07-10 北京意锐新创科技有限公司 一种商户对账方法和装置
CN111367987A (zh) * 2020-03-31 2020-07-03 西安震有信通科技有限公司 适应多种数据库类型的数据导入方法、系统及装置
CN113849476A (zh) * 2020-06-28 2021-12-28 中兴通讯股份有限公司 数据迁移方法、装置、网络设备和存储介质
CN111831755A (zh) * 2020-07-23 2020-10-27 北京思特奇信息技术股份有限公司 一种跨数据库数据同步方法、系统、介质及设备
CN111831755B (zh) * 2020-07-23 2024-01-16 北京思特奇信息技术股份有限公司 一种跨数据库数据同步方法、系统、介质及设备
CN112860666A (zh) * 2021-02-08 2021-05-28 土巴兔集团股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN113051247A (zh) * 2021-03-18 2021-06-29 福建星瑞格软件有限公司 一种基于日志同步的数据库迁移方法及系统
CN113282571A (zh) * 2021-05-26 2021-08-20 北京金山云网络技术有限公司 数据转移方法、装置、电子设备和存储介质
CN115037729A (zh) * 2022-04-21 2022-09-09 中国建设银行股份有限公司 数据汇聚方法、装置、电子设备及计算机可读介质
CN117407362A (zh) * 2023-12-15 2024-01-16 中电云计算技术有限公司 一种异构文件系统间文件迁移的方法与装置
CN117407362B (zh) * 2023-12-15 2024-04-16 中电云计算技术有限公司 一种异构文件系统间文件迁移的方法与装置

Also Published As

Publication number Publication date
US20190266134A1 (en) 2019-08-29
CN106874389B (zh) 2023-04-07
US11068449B2 (en) 2021-07-20
WO2018130066A1 (zh) 2018-07-19

Similar Documents

Publication Publication Date Title
CN106874389A (zh) 数据的迁移方法和装置
US20030182408A1 (en) Load test system for a server and method of use
CN107391758A (zh) 数据库切换方法、装置及设备
CN107665233A (zh) 数据库数据处理方法、装置、计算机设备和存储介质
CN108469972B (zh) 支持web页面中显示多窗口的方法和装置
EP4105848A1 (en) Method and apparatus for evaluating joint training model
CN106506715A (zh) 域名解析方法及装置
CN108280237B (zh) 一种灰度发布方法及装置、系统、计算机存储介质
CN102790772B (zh) Cookie数据的处理方法、服务器和客户端
CN106874471A (zh) 信息推送方法和装置
CN110008019B (zh) 共享服务器资源的方法及装置、系统
CN108228444A (zh) 一种测试方法和装置
CN107168765A (zh) 一种远程编译软件的方法及系统
CN107800781A (zh) 一种配置数据处理方法和装置
CN110413595A (zh) 一种应用于分布式数据库的数据迁移方法和相关装置
CN106060092A (zh) 面向企业对象的教育系统信息交互方法、装置和系统
CN107770151A (zh) 一种企业集成办公管理系统及其方法
CN111651418B (zh) 一种文档内容下载方法、装置、计算机设备和存储介质
CN104484482A (zh) 网络平台的网页信息更新方法及系统
CN104333563B (zh) 一种信息处理的方法及电子设备
CN111191200A (zh) 一种页面展示方法、装置和电子设备
CN108363749B (zh) 用于信息处理的方法和装置
CN109213955B (zh) 数据处理方法及相关设备
CN117235400A (zh) 一种基于Kafka技术统一多平台门户系统
CN107426595A (zh) 界面导航数据处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230913

Address after: 100089 Beijing Haidian District Zhichun Road 49 No. 3 West 309

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right