CN110209652A - 数据表迁移方法、装置、计算机设备和存储介质 - Google Patents

数据表迁移方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110209652A
CN110209652A CN201910419503.5A CN201910419503A CN110209652A CN 110209652 A CN110209652 A CN 110209652A CN 201910419503 A CN201910419503 A CN 201910419503A CN 110209652 A CN110209652 A CN 110209652A
Authority
CN
China
Prior art keywords
data
tables
migration
database
script
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910419503.5A
Other languages
English (en)
Other versions
CN110209652B (zh
Inventor
刘志涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910419503.5A priority Critical patent/CN110209652B/zh
Priority to PCT/CN2019/103170 priority patent/WO2020232884A1/zh
Publication of CN110209652A publication Critical patent/CN110209652A/zh
Application granted granted Critical
Publication of CN110209652B publication Critical patent/CN110209652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种数据表迁移方法、装置、计算机设备和存储介质。所述方法包括:获取迁移模板配置请求;确定所述迁移模板配置请求中迁移任务类型对应的预设脚本模板;将所述迁移模板配置请求中的配置参数添加到所述预设脚本模板,生成数据迁移脚本;执行所述数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址;根据所述表筛选条件从所述迁出数据库地址对应的数据库中筛选数据表;将筛选到的数据表导入所述迁入数据库地址对应的数据库。采用本方法无需重新编写用于迁移数据表的数据迁移脚本,只需要根据迁移模板配置请求中的配置参数对预设脚本模板进行配置,从而提高了数据表迁移的效率。

Description

数据表迁移方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据处理技术领域,特别是涉及一种数据表迁移方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术和互联网技术的发展,出现了大数据技术,大数据技术包括数据存储、数据分析和数据挖掘等多种技术,这些技术的基础都需要通过将数据进行汇集。
然而,在汇集数据时,需要对数据库中的数据进行批量数据的迁移处理,在传统的数据迁移过程中,需要技术人员编辑用于数据迁移的代码脚本,根据代码脚本从数据库进行数据迁移,以对数据汇集形成大数据库,从而对大数据库中的数据进行处理。传统的数据迁移过程编辑相应的代码脚本比较耗费时间,导致数据库中数据迁移的过程迁移效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高数据迁移效率的数据表迁移方法、装置、计算机设备和存储介质。
一种数据表迁移方法,所述方法包括:
获取迁移模板配置请求;
确定所述迁移模板配置请求中迁移任务类型对应的预设脚本模板;
将所述迁移模板配置请求中的配置参数添加到所述预设脚本模板,生成数据迁移脚本;
执行所述数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址;
根据所述表筛选条件从所述迁出数据库地址对应的数据库中筛选数据表;
将筛选到的数据表导入所述迁入数据库地址对应的数据库。
一种数据表迁移装置,所述装置包括:
请求获取模块,用于获取迁移模板配置请求;
模板确定模块,用于确定所述迁移模板配置请求中迁移任务类型对应的预设脚本模板;
脚本生成模块,用于将所述迁移模板配置请求中的配置参数添加到所述预设脚本模板,生成数据迁移脚本;
脚本执行模块,用于执行所述数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址;
数据表筛选模块,用于根据所述表筛选条件从所述迁出数据库地址对应的数据库中筛选数据表;
数据表迁入模块,用于将筛选到的数据表导入所述迁入数据库地址对应的数据库。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取迁移模板配置请求;
确定所述迁移模板配置请求中迁移任务类型对应的预设脚本模板;
将所述迁移模板配置请求中的配置参数添加到所述预设脚本模板,生成数据迁移脚本;
执行所述数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址;
根据所述表筛选条件从所述迁出数据库地址对应的数据库中筛选数据表;
将筛选到的数据表导入所述迁入数据库地址对应的数据库。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取迁移模板配置请求;
确定所述迁移模板配置请求中迁移任务类型对应的预设脚本模板;
将所述迁移模板配置请求中的配置参数添加到所述预设脚本模板,生成数据迁移脚本;
执行所述数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址;
根据所述表筛选条件从所述迁出数据库地址对应的数据库中筛选数据表;
将筛选到的数据表导入所述迁入数据库地址对应的数据库。
上述数据表迁移方法、装置、计算机设备和存储介质,在进行数据表迁移的过程中,无需重新编写用于迁移数据表的数据迁移脚本,只需要根据迁移模板配置请求中的配置参数对预设脚本模板进行配置,生成数据迁移脚本,提高了数据迁移脚本的生成效率。直接根据生成的数据迁移脚本中表筛选条件、迁出数据库地址和迁入数据库地址进行数据表迁移,从而提高了数据表迁移的效率。
附图说明
图1为一个实施例中数据表迁移方法的应用场景图;
图2为一个实施例中数据表迁移方法的流程示意图;
图3为一个实施例中配置预设脚本模块的步骤的流程示意图;
图4为一个实施例中构建外部访问数据表的步骤的流程示意图;
图5为一个实施例中导入数据表的步骤的流程示意图;
图6为一个实施例中转换数据表格式的步骤的流程示意图;
图7为一个实施例中配置访问权限的步骤的流程示意图;
图8为一个实施例中数据表迁移装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据表迁移方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104通过网络进行通信。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据表迁移方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
S202,获取迁移模板配置请求。
具体地,终端中展示表迁移页面,表迁移页面中设置有表迁移按钮和配置参数输入框,在检测到表迁移页面中的表迁移按钮的点击操作时,获取配置参数输入框中输入的配置参数,根据获取到的配置参数生成迁移模板配置请求,将迁移模板配置请求发送至服务器。服务器接收终端发送的迁移模板配置请求。迁移模板配置请求为用于对预设脚本模板进行配置的请求。
S204,确定迁移模板配置请求中迁移任务类型对应的预设脚本模板。
具体地,服务器对接收到的迁移模板配置请求进行解析,通过解析提取迁移模板配置请求中的迁移任务类型,在脚本模板库中查询与迁移任务类型对应的预设脚本模板。预设脚本模板为用于对数据表进行迁移的待配置参数的脚本模板。脚本模板库中包括多个预设脚本模板,各预设脚本模板分别对应不同的迁移任务类型。
S206,将迁移模板配置请求中的配置参数添加到预设脚本模板,生成数据迁移脚本。
具体地,服务器在查询到预设脚本模板后,获取迁移模板配置请求中的配置参数,确定配置参数在预设脚本模板中的待添加位置,将配置参数添加到预设脚本模板,生成数据迁移脚本。
S208,执行数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址。
具体地,服务器生成数据迁移脚本后,执行数据迁移脚本生成数据迁移指令,根据数据迁移指令运行数据迁移脚本,在运行数据迁移脚本时,执行数据迁移脚本中的脚本语句,通过执行脚本语句读取到数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址。表筛选条件为需要进行数据表迁移的数据表所需满足的条件。迁出数据库地址数据表迁出的数据库的地址,迁入数据库地址数据表迁入的数据库的地址。
S210,根据表筛选条件从迁出数据库地址对应的数据库中筛选数据表。
具体地,服务器对迁出数据库地址对应的数据库中的数据表进行访问,检测访问的数据表是否满足表筛选条件,从数据库中筛选出满足表筛选条件的数据表,得到筛选到的数据表。
S212,将筛选到的数据表导入迁入数据库地址对应的数据库。
具体地,服务器对迁入数据库地址对应的数据库进行访问,获取数据库中剩余容量,判断存储筛选到的数据表的容量是否小于等于数据库中的剩余容量,当存储筛选到的数据表的容量小于等于数据库中的剩余容量时,将筛选到的数据表导入迁入数据库地址对应的数据库,以将筛选到的数据表存储至迁入数据库地址对应的数据库。
在一个实施例中,服务器根据筛选到的数据表创建迁移任务队列,从迁移任务队列中读取迁移任务,根据迁移任务获取相应的数据表,将获取到的数据表导入迁入数据库地址对应的数据库。
在一个实施例中,服务器根据筛选到的数据表创建各数据表对应的迁移任务,根据迁移任务构建预设数量的迁移任务队列。服务器接收终端发送迁移任务读取请求,根据迁移任务读取请求从迁移任务队列中读取迁移任务,将读取到的迁移任务返回至终端。
本实施例中,在进行数据表迁移的过程中,无需重新编写用于迁移数据表的数据迁移脚本,只需要根据迁移模板配置请求中的配置参数对预设脚本模板进行配置,生成数据迁移脚本,提高了数据迁移脚本的效率。直接根据生成的数据迁移脚本中表筛选条件、迁出数据库地址和迁入数据库地址进行数据表迁移,从而提高了数据表迁移的效率。
如图3所示,在一个实施例中,S206具体包括配置预设脚本模块的步骤,该步骤具体包括以下内容:
S302,获取迁移模板配置请求中的配置参数。
具体地,服务器通过对迁移模板配置请求进行解析,得到数据迁移配置数据,识别数据迁移配置数据中的配置参数,从数据迁移配置数据中提取识别到的配置参数。配置参数具体可以包括迁移任务创建数量、任务队列数量、表筛选条件、迁出数据库地址和迁入数据库地址。
S304,确定配置参数对应的参数标识。
具体地,配置参数存在对应参数标识。参数标识为用于标识配置参数的类型或者名称的标识。服务器在预设脚本模板中确定与识别到的配置参数对应的参数标识。
S306,在预设脚本模板中确定参数标识对应的参数配置位置。
具体地,参数配置位置为预设脚本模板中配置参数添加的位置。服务器在预设脚本模板中查询参数标识,确定查询到的参数标识在预设脚本中的位置,记录确定的位置作为参数配置位置。
S308,按照参数配置位置将获取到的配置参数添加到预设脚本模块中。
具体地,服务器确定参数配置位置对应的配置参数,将配置参数添加到预设脚本模块中相应的参数配置位置,以便根据添加了配置参数的预设脚本模块生成数据迁移脚本。
本实施例中,确定获取到配置参数对应的参数标识,在预设脚本模板中参数标识对应的参数配置位置,按照参数配置位置在预设脚本模板中添加配置参数,保证了对预设脚本模板进行配置的配置准确率。
如图4所示,在一个实施例中,S210之后具体还包括构建外部访问数据表的步骤,该步骤具体包括以下内容:
S402,根据筛选到的数据表构建外部访问数据表。
具体地,服务器在筛选到数据表之后,对筛选到的数据表进行复制,得到数据复制表,以数据复制表作为与筛选到的数据表对应的外部访问数据表。外部访问数据表为满足外部发送的对筛选到的数据表进行正常访问所创建的数据表。
S404,当监听到对筛选到的数据表对应的访问请求时,将访问请求中的数据访问地址指向外部访问数据表。
具体地,服务器对迁出数据库地址对应的数据库的访问请求进行监听,从监听到访问请求中提取数据访问地址,确定数据访问地址中对应的为筛选到的数据表时,获取筛选到数据表所对应的外部访问数据表的外部数据表地址,将访问请求中的数据访问地址修改为获取的外部数据表地址,以将访问请求中的数据访问地址指向外部访问数据表。
S406,当监听到筛选到的数据表迁移完毕时,删除外部访问数据表。
具体地,服务器对将筛选到的数据表的迁移过程进行监听,当监听到筛选到的数据表迁移完毕时,确定与筛选到的数据表对应的外部访问数据表,删除确定的外部访问数据表。
本实施例中,在数据表迁移过程中,创建与筛选到的数据表对应的外部访问数据表,当监听到对筛选到的数据表对应的访问请求时,将访问请求中的数据访问地址指向外部访问数据表,从而保证数据迁移过程中对筛选到的数据表的正常访问。
如图5所示,在一个实施例中,S212具体包括导入数据表的步骤,该步骤具体包括以下内容:
S502,确定筛选到的数据表之间的表依赖关系。
具体地,服务器提取筛选到的数据表对应的数据表标识,从迁出数据库地址对应的数据库中存储的表依赖关系中查询与数据表标识对应的表依赖关系,提取查询到的表依赖关系。
S504,根据表依赖关系确定数据表迁移顺序。
举例说明,数据表1、数据表2和数据表3之间的表依赖关系为数据表3依赖于数据表2,数据表2依赖于数据表1,根据表依赖关系确定数据迁移顺序为数据表1→数据表2→数据表3。
S506,按照数据表迁移顺序将筛选到的数据表导入迁入数据库地址对应的数据库。
举例说明,当数据迁移顺序为数据表1→数据表2→数据表3时,则先将数据表1从迁出数据库地址对应的数据库中导入迁移数据库地址对应的数据库中,再将数据表2从迁出数据库地址对应的数据库中导入迁移数据库地址对应的数据库中,最后再将数据表3从迁出数据库地址对应的数据库中导入迁移数据库地址对应的数据库中,从而完成数据表1、数据表2和数据表3的数据表迁移。
本实施例中,确定筛选到的数据表之间的表依赖关系,根据表依赖关系确定数据表迁移顺序,按照数据表迁移顺序将筛选到的数据表导入迁入数据库地址对应的数据库,保证数据表迁移完成后,迁移的数据表可以基于表依赖关系被正常访问,从而提高数据表迁移的准确性。
如图6所示,在一个实施例中,S212具体包括转换数据表格式的步骤,该步骤具体包括以下内容:
S602,确定迁入数据库地址对应的数据库中的数据格式。
具体地,服务器根据迁入数据库地址生成数据格式检测信息,将数据格式检测信息发送至迁入数据库地址对应的数据库,确定数据库中的数据格式。数据格式为存储在数据库中数据表的格式。
S604,按照确定的数据格式对筛选到的数据表进行格式转换,得到转换格式的数据表。
具体地,服务器获取筛选到的数据表的数据格式,将筛选到的数据表的数据格式与迁入数据库地址对应的数据库中的数据格式进行比较,若数据格式不一致,则对筛选到的数据表的数据格式进行转换,将筛选到的数据表转换为迁入数据库地址对应的数据库中的数据格式,得到转换格式的数据表。
S606,将转换格式的数据表存储至迁入数据库地址对应的数据库。
具体地,服务器与迁入数据库地址对应的数据库建立通信通道,通过通信通道将转换格式的数据表,发送至迁入数据库地址对应的数据库进行存储。
在一个实施例中,服务器在根据表依赖关系确定数据表迁移顺序后,确定迁入数据库地址对应的数据库中的数据格式,按照确定的数据格式对筛选到的数据表进行格式转换,得到转换格式的数据表,按照数据表迁移顺序,将转换格式的数据表存储至所述迁入数据库地址对应的数据库。
本实施例中,在数据表迁移过程中,将筛选到的数据表的数据格式进行转换,转换为与迁入数据库地址对应的数据库中数据格式,进一步保证了数据库对迁入数据表的兼容,可以对迁入的数据表进行正常处理和访问。
如图7所示,在一个实施例中,S212之后还包括配置访问权限的步骤,该步骤具体包括以下内容:
S702,从迁出数据库地址对应的数据库中,获取筛选到的数据表对应的访问权限信息。
具体地,服务器静生成数据表地址对应的访问权限获取请求,将访问权限获取请求发送至迁出数据库地址对应的数据库,获取数据库根据访问权限获取请求查询到的与筛选到的数据表对应访问权限信息。
S704,按照获取到的访问权限信息,对迁入数据库地址对应的数据库中的数据配置访问权限信息。
具体地,服务器在将筛选到的数据表导入迁入数据库地址对应的数据库后,获取与筛选到的数据表对应的导入的数据表对应的迁入数据表地址,将筛选到的数据表的迁出数据表地址与迁入数据表地址对应存储。服务器根据筛选到的数据表的迁出数据表地址对应的迁入数据表地址,将获取到的访问权限信息中与筛选到的数据表对应的访问权限信息,为迁入数据表地址配置访问权限信息。
本实施例中,在将筛选到的数据表导入至迁入数据表地址对应的数据库中之后,按照筛选到的数据表的访问权限信息,对迁入数据地址对应的数据库中所迁入的数据表配置访问权限信息,从而保证对迁入的数据表进行访问控制,保证迁入的数据表的安全性。
应该理解的是,虽然图1-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种数据表迁移装置800,包括:请求获取模块802、模板确定模块804、脚本生成模块806、脚本执行模块808、数据表筛选模块810和数据表迁入模块812,其中:
请求获取模块802,用于获取迁移模板配置请求。
模板确定模块804,用于确定迁移模板配置请求中迁移任务类型对应的预设脚本模板。
脚本生成模块806,用于将迁移模板配置请求中的配置参数添加到预设脚本模板,生成数据迁移脚本。
脚本执行模块808,用于执行数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址。
数据表筛选模块810,用于根据表筛选条件从迁出数据库地址对应的数据库中筛选数据表。
数据表迁入模块812,用于将筛选到的数据表导入迁入数据库地址对应的数据库。
在一个实施例中,脚本生成模块806还用于获取迁移模板配置请求中的配置参数;确定配置参数对应的参数标识;在预设脚本模板中确定参数标识对应的参数配置位置;按照参数配置位置将获取到的配置参数添加到预设脚本模块中。
在一个实施例中,数据表迁移装置800还包括数据表监听模块。
数据表监听模块,用于根据筛选到的数据表构建外部访问数据表;当监听到对筛选到的数据表对应的访问请求时,将访问请求中的数据访问地址指向外部访问数据表;当监听到筛选到的数据表迁移完毕时,删除外部访问数据表。
在一个实施例中,数据表迁入模块812还用于确定筛选到的数据表之间的表依赖关系;根据表依赖关系确定数据表迁移顺序;按照数据表迁移顺序将筛选到的数据表导入迁入数据库地址对应的数据库。
在一个实施例中,数据表迁入模块812还用于确定迁入数据库地址对应的数据库中的数据格式;按照确定的数据格式对筛选到的数据表进行格式转换,得到转换格式的数据表;将转换格式的数据表存储至迁入数据库地址对应的数据库。
在一个实施例中,数据表迁移装置800还包括权限配置模块。
权限配置模块,用于从迁出数据库地址对应的数据库中,获取筛选到的数据表对应的访问权限信息;按照获取到的访问权限信息,对迁入数据库地址对应的数据库中的数据配置访问权限信息。
本实施例中,在进行数据表迁移的过程中,无需重新编写用于迁移数据表的数据迁移脚本,只需要根据迁移模板配置请求中的配置参数对预设脚本模板进行配置,生成数据迁移脚本,提高了数据迁移脚本的效率。直接根据生成的数据迁移脚本中表筛选条件、迁出数据库地址和迁入数据库地址进行数据表迁移,从而提高了数据表迁移的效率。
关于数据表迁移装置的具体限定可以参见上文中对于数据表迁移方法的限定,在此不再赘述。上述数据表迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据表。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据表迁移方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取迁移模板配置请求;确定迁移模板配置请求中迁移任务类型对应的预设脚本模板;将迁移模板配置请求中的配置参数添加到预设脚本模板,生成数据迁移脚本;执行数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址;根据表筛选条件从迁出数据库地址对应的数据库中筛选数据表;将筛选到的数据表导入迁入数据库地址对应的数据库。
在一个实施例中,将迁移模板配置请求中的配置参数添加到预设脚本模板,生成数据迁移脚本包括:获取迁移模板配置请求中的配置参数;确定配置参数对应的参数标识;在预设脚本模板中确定参数标识对应的参数配置位置;按照参数配置位置将获取到的配置参数添加到预设脚本模块中。
在一个实施例中,根据表筛选条件从迁出数据库地址对应的数据库中筛选数据表之后,处理器执行计算机程序时还实现以下步骤:根据筛选到的数据表构建外部访问数据表;当监听到对筛选到的数据表对应的访问请求时,将访问请求中的数据访问地址指向外部访问数据表;当监听到筛选到的数据表迁移完毕时,删除外部访问数据表。
在一个实施例中,将筛选到的数据表导入迁入数据库地址对应的数据库包括:确定筛选到的数据表之间的表依赖关系;根据表依赖关系确定数据表迁移顺序;按照数据表迁移顺序将筛选到的数据表导入迁入数据库地址对应的数据库。
在一个实施例中,将筛选到的数据表导入迁入数据库地址对应的数据库包括:确定迁入数据库地址对应的数据库中的数据格式;按照确定的数据格式对筛选到的数据表进行格式转换,得到转换格式的数据表;将转换格式的数据表存储至迁入数据库地址对应的数据库。
在一个实施例中,将筛选到的数据表导入迁入数据库地址对应的数据库之后,处理器执行计算机程序时还实现以下步骤:从迁出数据库地址对应的数据库中,获取筛选到的数据表对应的访问权限信息;按照获取到的访问权限信息,对迁入数据库地址对应的数据库中的数据配置访问权限信息。
本实施例中,在进行数据表迁移的过程中,无需重新编写用于迁移数据表的数据迁移脚本,只需要根据迁移模板配置请求中的配置参数对预设脚本模板进行配置,生成数据迁移脚本,提高了数据迁移脚本的效率。直接根据生成的数据迁移脚本中表筛选条件、迁出数据库地址和迁入数据库地址进行数据表迁移,从而提高了数据表迁移的效率。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取迁移模板配置请求;确定迁移模板配置请求中迁移任务类型对应的预设脚本模板;将迁移模板配置请求中的配置参数添加到预设脚本模板,生成数据迁移脚本;执行数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址;根据表筛选条件从迁出数据库地址对应的数据库中筛选数据表;将筛选到的数据表导入迁入数据库地址对应的数据库。
在一个实施例中,将迁移模板配置请求中的配置参数添加到预设脚本模板,生成数据迁移脚本包括:获取迁移模板配置请求中的配置参数;确定配置参数对应的参数标识;在预设脚本模板中确定参数标识对应的参数配置位置;按照参数配置位置将获取到的配置参数添加到预设脚本模块中。
在一个实施例中,根据表筛选条件从迁出数据库地址对应的数据库中筛选数据表之后,计算机程序被处理器执行时还实现以下步骤:根据筛选到的数据表构建外部访问数据表;当监听到对筛选到的数据表对应的访问请求时,将访问请求中的数据访问地址指向外部访问数据表;当监听到筛选到的数据表迁移完毕时,删除外部访问数据表。
在一个实施例中,将筛选到的数据表导入迁入数据库地址对应的数据库包括:确定筛选到的数据表之间的表依赖关系;根据表依赖关系确定数据表迁移顺序;按照数据表迁移顺序将筛选到的数据表导入迁入数据库地址对应的数据库。
在一个实施例中,将筛选到的数据表导入迁入数据库地址对应的数据库包括:确定迁入数据库地址对应的数据库中的数据格式;按照确定的数据格式对筛选到的数据表进行格式转换,得到转换格式的数据表;将转换格式的数据表存储至迁入数据库地址对应的数据库。
在一个实施例中,将筛选到的数据表导入迁入数据库地址对应的数据库之后,计算机程序被处理器执行时还实现以下步骤:从迁出数据库地址对应的数据库中,获取筛选到的数据表对应的访问权限信息;按照获取到的访问权限信息,对迁入数据库地址对应的数据库中的数据配置访问权限信息。
本实施例中,在进行数据表迁移的过程中,无需重新编写用于迁移数据表的数据迁移脚本,只需要根据迁移模板配置请求中的配置参数对预设脚本模板进行配置,生成数据迁移脚本,提高了数据迁移脚本的效率。直接根据生成的数据迁移脚本中表筛选条件、迁出数据库地址和迁入数据库地址进行数据表迁移,从而提高了数据表迁移的效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据表迁移方法,所述方法包括:
获取迁移模板配置请求;
确定所述迁移模板配置请求中迁移任务类型对应的预设脚本模板;
将所述迁移模板配置请求中的配置参数添加到所述预设脚本模板,生成数据迁移脚本;
执行所述数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址;
根据所述表筛选条件从所述迁出数据库地址对应的数据库中筛选数据表;
将筛选到的数据表导入所述迁入数据库地址对应的数据库。
2.根据权利要求1所述的方法,其特征在于,所述将所述迁移模板配置请求中的配置参数添加到所述预设脚本模板,生成数据迁移脚本包括:
获取所述迁移模板配置请求中的配置参数;
确定所述配置参数对应的参数标识;
在所述预设脚本模板中确定所述参数标识对应的参数配置位置;
按照所述参数配置位置将获取到的配置参数添加到所述预设脚本模块中。
3.根据权利要求1所述的方法,其特征在于,所述根据所述表筛选条件从所述迁出数据库地址对应的数据库中筛选数据表之后,还包括:
根据筛选到的数据表构建外部访问数据表;
当监听到对所述筛选到的数据表对应的访问请求时,将所述访问请求中的数据访问地址指向所述外部访问数据表;
当监听到所述筛选到的数据表迁移完毕时,删除所述外部访问数据表。
4.根据权利要求1所述的方法,其特征在于,所述将筛选到的数据表导入所述迁入数据库地址对应的数据库包括:
确定筛选到的数据表之间的表依赖关系;
根据所述表依赖关系确定数据表迁移顺序;
按照数据表迁移顺序将所述筛选到的数据表导入所述迁入数据库地址对应的数据库。
5.根据权利要求1所述的方法,其特征在于,所述将筛选到的数据表导入所述迁入数据库地址对应的数据库包括:
确定所述迁入数据库地址对应的数据库中的数据格式;
按照确定的数据格式对筛选到的数据表进行格式转换,得到转换格式的数据表;
将转换格式的数据表存储至所述迁入数据库地址对应的数据库。
6.根据权利要求1-5中任意一项所述的方法,其特征在于,所述将筛选到的数据表导入所述迁入数据库地址对应的数据库之后,还包括:
从所述迁出数据库地址对应的数据库中,获取所述筛选到的数据表对应的访问权限信息;
按照获取到的访问权限信息,对所述迁入数据库地址对应的数据库中的数据配置访问权限信息。
7.一种数据表迁移装置,其特征在于,所述装置包括:
请求获取模块,用于获取迁移模板配置请求;
模板确定模块,用于确定所述迁移模板配置请求中迁移任务类型对应的预设脚本模板;
脚本生成模块,用于将所述迁移模板配置请求中的配置参数添加到所述预设脚本模板,生成数据迁移脚本;
脚本执行模块,用于执行所述数据迁移脚本,读取所述数据迁移脚本中的表筛选条件、迁出数据库地址和迁入数据库地址;
数据表筛选模块,用于根据所述表筛选条件从所述迁出数据库地址对应的数据库中筛选数据表;
数据表迁入模块,用于将筛选到的数据表导入所述迁入数据库地址对应的数据库。
8.根据权利要求7所述的装置,其特征在于,所述脚本生成模块还用于获取所述迁移模板配置请求中的配置参数;确定所述配置参数对应的参数标识;在所述预设脚本模板中确定所述参数标识对应的参数配置位置;按照所述参数配置位置将获取到的配置参数添加到所述预设脚本模块中。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201910419503.5A 2019-05-20 2019-05-20 数据表迁移方法、装置、计算机设备和存储介质 Active CN110209652B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910419503.5A CN110209652B (zh) 2019-05-20 2019-05-20 数据表迁移方法、装置、计算机设备和存储介质
PCT/CN2019/103170 WO2020232884A1 (zh) 2019-05-20 2019-08-29 数据表迁移方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910419503.5A CN110209652B (zh) 2019-05-20 2019-05-20 数据表迁移方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110209652A true CN110209652A (zh) 2019-09-06
CN110209652B CN110209652B (zh) 2024-02-02

Family

ID=67787861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910419503.5A Active CN110209652B (zh) 2019-05-20 2019-05-20 数据表迁移方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN110209652B (zh)
WO (1) WO2020232884A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928860A (zh) * 2019-11-27 2020-03-27 中国银行股份有限公司 数据迁移方法和装置
CN111125213A (zh) * 2019-11-29 2020-05-08 北京数起科技有限公司 数据采集的方法、装置及其系统
CN111177113A (zh) * 2019-12-06 2020-05-19 中国平安财产保险股份有限公司 数据迁移方法、装置、计算机设备和存储介质
CN111367890A (zh) * 2020-03-13 2020-07-03 深圳壹账通智能科技有限公司 一种数据迁移的方法、装置、计算机设备及可读存储介质
CN111694812A (zh) * 2020-05-06 2020-09-22 五八有限公司 一种数据迁移方法以及数据迁移装置
CN112883073A (zh) * 2021-03-22 2021-06-01 北京同邦卓益科技有限公司 数据筛选方法、装置、设备、可读存储介质以及产品
CN112988860A (zh) * 2019-12-18 2021-06-18 菜鸟智能物流控股有限公司 数据加速处理方法、装置及电子设备
CN113268480A (zh) * 2020-02-17 2021-08-17 腾讯科技(深圳)有限公司 数据转移方法、装置、计算机可读存储介质和计算机设备
CN113312336A (zh) * 2021-06-22 2021-08-27 中国农业银行股份有限公司 数据处理方法、装置、电子设备、存储介质及程序产品
CN113761043A (zh) * 2021-08-17 2021-12-07 紫金诚征信有限公司 数据提取方法、装置、计算机设备和存储介质
WO2022142015A1 (zh) * 2020-12-30 2022-07-07 平安科技(深圳)有限公司 流程迁移方法、装置、设备及介质
CN114756556A (zh) * 2022-06-15 2022-07-15 建信金融科技有限责任公司 处理账户数据的方法、装置、电子设备和计算机可读介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434013A (zh) * 2020-11-30 2021-03-02 中国建设银行股份有限公司 数据表迁移方法、装置、电子设备及存储介质
CN113672596A (zh) * 2021-08-30 2021-11-19 中国平安人寿保险股份有限公司 项目配置表处理方法、装置、设备及存储介质
CN114443740A (zh) * 2022-01-25 2022-05-06 阿里云计算有限公司 数据处理方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151608A (en) * 1998-04-07 2000-11-21 Crystallize, Inc. Method and system for migrating data
US20060235899A1 (en) * 2005-03-25 2006-10-19 Frontline Systems, Inc. Method of migrating legacy database systems
CN101499063A (zh) * 2008-01-31 2009-08-05 国际商业机器公司 基于跟踪的数据库模式演进方法及系统
CN105956191A (zh) * 2016-06-13 2016-09-21 浪潮(北京)电子信息产业有限公司 一种数据迁移的方法及系统
CN106708548A (zh) * 2015-11-13 2017-05-24 阿里巴巴集团控股有限公司 程序升级方法和终端设备
CN107357896A (zh) * 2017-07-13 2017-11-17 北京小度信息科技有限公司 数据库集群的扩容方法、装置、系统和数据库集群系统
CN107704597A (zh) * 2017-10-13 2018-02-16 携程旅游网络技术(上海)有限公司 关系型数据库至Hive的ETL脚本创建方法
CN107766132A (zh) * 2017-06-25 2018-03-06 平安科技(深圳)有限公司 多任务调度方法、应用服务器及计算机可读存储介质
CN107992512A (zh) * 2017-10-20 2018-05-04 中国建设银行股份有限公司上海市分行 一种数据迁移的方法、系统及计算机可读存储介质
US20180137114A1 (en) * 2016-11-14 2018-05-17 International Business Machines Corporation Data migration in a networked computer environment
CN109313786A (zh) * 2016-06-06 2019-02-05 株式会社日立系统 数据迁移系统和数据迁移方法
CN109684298A (zh) * 2018-09-07 2019-04-26 平安科技(深圳)有限公司 数据库迁移方法、装置、设备及存储介质
CN109766122A (zh) * 2018-12-20 2019-05-17 平安信托有限责任公司 数据传输文件生成方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507837B2 (en) * 2012-10-01 2016-11-29 Oracle International Corporation Reference data segmentation from single to multiple tables
CN103257878A (zh) * 2013-05-16 2013-08-21 浪潮通信信息系统有限公司 一种基于云计算的应用程序的跨平台平滑迁移方法
US9805070B2 (en) * 2013-07-09 2017-10-31 Oracle International Corporation Dynamic migration script management
CN108595644A (zh) * 2018-04-26 2018-09-28 宁波银行股份有限公司 一种大数据平台运维管理系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151608A (en) * 1998-04-07 2000-11-21 Crystallize, Inc. Method and system for migrating data
US20060235899A1 (en) * 2005-03-25 2006-10-19 Frontline Systems, Inc. Method of migrating legacy database systems
CN101499063A (zh) * 2008-01-31 2009-08-05 国际商业机器公司 基于跟踪的数据库模式演进方法及系统
CN106708548A (zh) * 2015-11-13 2017-05-24 阿里巴巴集团控股有限公司 程序升级方法和终端设备
CN109313786A (zh) * 2016-06-06 2019-02-05 株式会社日立系统 数据迁移系统和数据迁移方法
CN105956191A (zh) * 2016-06-13 2016-09-21 浪潮(北京)电子信息产业有限公司 一种数据迁移的方法及系统
US20180137114A1 (en) * 2016-11-14 2018-05-17 International Business Machines Corporation Data migration in a networked computer environment
CN107766132A (zh) * 2017-06-25 2018-03-06 平安科技(深圳)有限公司 多任务调度方法、应用服务器及计算机可读存储介质
CN107357896A (zh) * 2017-07-13 2017-11-17 北京小度信息科技有限公司 数据库集群的扩容方法、装置、系统和数据库集群系统
CN107704597A (zh) * 2017-10-13 2018-02-16 携程旅游网络技术(上海)有限公司 关系型数据库至Hive的ETL脚本创建方法
CN107992512A (zh) * 2017-10-20 2018-05-04 中国建设银行股份有限公司上海市分行 一种数据迁移的方法、系统及计算机可读存储介质
CN109684298A (zh) * 2018-09-07 2019-04-26 平安科技(深圳)有限公司 数据库迁移方法、装置、设备及存储介质
CN109766122A (zh) * 2018-12-20 2019-05-17 平安信托有限责任公司 数据传输文件生成方法、装置、计算机设备和存储介质

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928860B (zh) * 2019-11-27 2023-06-20 中国银行股份有限公司 数据迁移方法和装置
CN110928860A (zh) * 2019-11-27 2020-03-27 中国银行股份有限公司 数据迁移方法和装置
CN111125213A (zh) * 2019-11-29 2020-05-08 北京数起科技有限公司 数据采集的方法、装置及其系统
CN111177113A (zh) * 2019-12-06 2020-05-19 中国平安财产保险股份有限公司 数据迁移方法、装置、计算机设备和存储介质
CN111177113B (zh) * 2019-12-06 2023-07-25 中国平安财产保险股份有限公司 数据迁移方法、装置、计算机设备和存储介质
CN112988860B (zh) * 2019-12-18 2023-09-26 菜鸟智能物流控股有限公司 数据加速处理方法、装置及电子设备
CN112988860A (zh) * 2019-12-18 2021-06-18 菜鸟智能物流控股有限公司 数据加速处理方法、装置及电子设备
CN113268480A (zh) * 2020-02-17 2021-08-17 腾讯科技(深圳)有限公司 数据转移方法、装置、计算机可读存储介质和计算机设备
CN111367890A (zh) * 2020-03-13 2020-07-03 深圳壹账通智能科技有限公司 一种数据迁移的方法、装置、计算机设备及可读存储介质
CN111694812A (zh) * 2020-05-06 2020-09-22 五八有限公司 一种数据迁移方法以及数据迁移装置
WO2022142015A1 (zh) * 2020-12-30 2022-07-07 平安科技(深圳)有限公司 流程迁移方法、装置、设备及介质
CN112883073A (zh) * 2021-03-22 2021-06-01 北京同邦卓益科技有限公司 数据筛选方法、装置、设备、可读存储介质以及产品
CN112883073B (zh) * 2021-03-22 2024-04-05 北京同邦卓益科技有限公司 数据筛选方法、装置、设备、可读存储介质以及产品
CN113312336A (zh) * 2021-06-22 2021-08-27 中国农业银行股份有限公司 数据处理方法、装置、电子设备、存储介质及程序产品
CN113761043A (zh) * 2021-08-17 2021-12-07 紫金诚征信有限公司 数据提取方法、装置、计算机设备和存储介质
CN113761043B (zh) * 2021-08-17 2024-08-16 紫金诚征信有限公司 数据提取方法、装置、计算机设备和存储介质
CN114756556A (zh) * 2022-06-15 2022-07-15 建信金融科技有限责任公司 处理账户数据的方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
WO2020232884A1 (zh) 2020-11-26
CN110209652B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN110209652A (zh) 数据表迁移方法、装置、计算机设备和存储介质
CN110399293B (zh) 系统测试方法、装置、计算机设备和存储介质
CN109446068B (zh) 接口测试方法、装置、计算机设备和存储介质
CN109474578B (zh) 报文消息校验方法、装置、计算机设备和存储介质
CN110941546A (zh) Web页面用例的自动化测试方法、装置、设备及存储介质
CN110290212B (zh) 服务调用记录方法、装置、计算机设备和存储介质
CN108446116A (zh) 应用程序页面的生成方法、装置、计算机设备和存储介质
CN109800335A (zh) 企业图谱的生成方法、装置、计算机设备和存储介质
CN108268375A (zh) 应用程序测试方法、装置、计算机设备和存储介质
CN109977389A (zh) 表单录入方法、装置、计算机设备和存储介质
CN107609004B (zh) 应用程序埋点方法和装置、计算机设备和存储介质
CN108629567A (zh) 报批信息处理方法、装置、计算机设备和存储介质
CN111552633A (zh) 接口的异常调用测试方法、装置、计算机设备及存储介质
CN109361628B (zh) 报文组装方法、装置、计算机设备和存储介质
CN110069297A (zh) 基于Spring MVC的异常处理方法、装置、计算机设备和存储介质
CN110109897A (zh) 数据库脚本生成方法、装置、计算机设备和存储介质
CN109726134B (zh) 接口测试方法和系统
CN108965383B (zh) 文件同步方法、装置、计算机设备和存储介质
CN110109712A (zh) 业务组件加载方法、装置、计算机设备和存储介质
WO2020232883A1 (zh) 脚本缺陷扫描方法、装置、计算机设备和存储介质
CN108446175A (zh) 任务处理方法、装置、计算机设备和存储介质
CN109766121A (zh) 环境配置文件生成方法、装置、计算机设备和存储介质
CN109816563A (zh) 电子合同模板流转方法、装置、计算机设备和存储介质
CN110245125A (zh) 数据迁移方法、装置、计算机设备和存储介质
CN110471838A (zh) 测试用例的校验方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant