CN112860666A - 数据迁移方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开一种数据迁移方法、装置、计算机设备及存储介质。该方法包括：获取基于迁移对象形成的增量数据迁移请求；基于增量数据迁移请求，在客户端显示与迁移对象对应的数据配置界面，数据配置界面包括数据配置选项；基于数据配置选项，获取与迁移对象对应的迁移参数；基于迁移参数，获取迁移配置表，将迁移配置表发送到目标同步组件；基于迁移配置表，采用目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将目标迁移数据表发送给目标数据库。本发明提供的数据迁移方法用于实现在客户端显示有数据配置界面，以便将源数据库的数据简单便捷地迁移到目标数据库中，实现直观且有针对性迁移数据，保证数据迁移效率、降低数据迁移难度。

Description

数据迁移方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据迁移方法、装置、计算机设备及存储介质。

背景技术

自随着大数据技术的发展及业务的深入，业务对数据产出的时效性要求也越来越高，往往需要分钟/秒级别的数据同步，如实时热点新闻，活动开展期间的商品的实时销量等，原有的数据处理方式是以批处理为主，这种数据处理方法同步速度慢，已经不能支撑同步时效性高的场景，各公司都在探索实时性更高的同步方案。而且，现有技术中，数据迁移运维操作复杂，往往只能专业能力较强的开发人员进行数据迁移处理的。

发明内容

本发明实施例提供一种数据迁移方法、装置、计算机设备及存储介质，以解决数据处理方法同步速度慢和数据迁移运维操作复杂的问题。

一种数据迁移方法，包括：

获取基于迁移对象形成的增量数据迁移请求；

基于所述增量数据迁移请求，在客户端显示与所述迁移对象对应的数据配置界面，所述数据配置界面包括数据配置选项；

基于所述数据配置选项，获取与所述迁移对象对应的迁移参数；

基于所述迁移参数，获取迁移配置表，将所述迁移配置表发送到目标同步组件；

基于所述迁移配置表，采用所述目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将所述目标迁移数据表发送给目标数据库。

一种数据迁移装置，包括：

数据迁移请求获取模块，用于获取基于迁移对象形成的增量数据迁移请求；

数据配置界面显示模块，用于基于所述增量数据迁移请求，在客户端显示与所述迁移对象对应的数据配置界面，所述数据配置界面包括数据配置选项；

迁移参数获取模块，用于基于所述数据配置选项，获取与所述迁移对象对应的迁移参数；

迁移配置表获取单元，用于基于所述迁移参数，获取迁移配置表，将所述迁移配置表发送到目标同步组件；

目标迁移数据表获取单元，用于基于所述迁移配置表，采用所述目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将所述目标迁移数据表发送给目标数据库。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据迁移方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据迁移方法的步骤。

上述数据迁移方法、装置、计算机设备及存储介质，基于所述增量数据迁移请求，在客户端显示与所述迁移对象对应的数据配置界面，所述数据配置界面包括数据配置选项，用户可以在数据配置界面对数据配置选项进行配置，得到迁移参数，降低迁移难度，减低开发人员的专业要求。基于所述数据配置选项，获取与所述迁移对象对应的迁移参数，得到迁移参数，操作简单，可以有效地减低迁移难度，迁移效率有效提高。基于所述迁移参数，获取迁移配置表，将所述迁移配置表发送到目标同步组件，以利用目标同步组件进行同步处理。基于所述迁移配置表，采用所述目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将所述目标迁移数据表发送给目标数据库，实现目标数据库和源数据库的数据同步，以便目标数据库对同步数据进行分析。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中数据迁移方法的一应用环境示意图；

图2是本发明一实施例中数据迁移方法的一流程图；

图3是本发明一实施例中数据迁移方法的另一流程图；

图4是本发明一实施例中数据迁移方法的另一流程图；

图5是本发明一实施例中数据迁移方法的另一流程图；

图6是本发明一实施例中数据迁移方法的另一流程图；

图7是本发明一实施例中数据迁移装置的一示意图；

图8是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的数据迁移方法，该数据迁移方法可应用如图1所示的应用环境中。具体地，该数据迁移方法应用在数据平台，该数据平台包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于实现在客户端显示有数据配置界面，以便将源数据库的数据简单便捷地迁移到目标数据库中，实现直观且有针对性迁移数据，保证数据迁移效率、降低数据迁移难度。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种数据迁移方法，以该方法应用在图1中的数据平台为例进行说明，该数据平台包括客户端、安装有源数据库和目标数据库的服务器，源数据库和目标数据库与客户端通过网络进行通信。该数据迁移方法包括如下步骤：

S201：获取基于迁移对象形成的增量数据迁移请求，增量数据迁移请求包括迁移对象；

其中，迁移对象是指需要进行迁移的对象。例如，若源数据库存储的是订单列表，则迁移对象为订单列表；或者源数据库存储的是热点事件列表，则迁移对象为热点事件列表等，在此不做限定。其中，源数据库是用于存储数据的库，该源数据库是进行数据迁出的库，例如，对于用户为公司开发人员时，该源数据库是用于存储该公司的所有客户的信息的库，当该公司的产品包括A产品、B产品和C产品时，将购买A产品的用户的相关信息存储在A产品对应的订单列表中，即将A产品和A产品对应的订单列表关联存储在源数据库中，以便后续对迁移对象相关的数据进行迁移。本实施例中，源数据库是指关系型数据库，源数据库是mysql数据库。

增量数据迁移请求是用于对源数据库中的迁移对象对应的增量数据进行迁移的请求。具体地，该增量数据迁移请求是当用户了解到源数据库中出现增量数据时，通过点击客户端上的迁移按钮，以使客户端进入数据配置界面，在该数据配置界面中进行数据配置，以便用户选择需要进行迁移的增量数据。由于新增的数据中存在需要进行迁移的增量数据，也存在不需要进行迁移的非必要数据，本实施例中，通过设置数据配置界面，以便对需要进行迁移的增量数据进行配置，而将非必要数据筛除，即将用户需要的数据进行迁移，将用户不需要的数据筛除，保证迁移的数据具有针对性，以提高迁移效率。其中，增量数据是指在源数据中新增且需要进行迁移的数据。众所周知，目标数据库的增量数据同步要求迁移速度快，目前数据迁移，通常是对所有新增的数据进行迁移，由于对所有新增的数据进行迁移，导致迁移的数据数量较大、迁移速度较慢，难以保证目标数据库可以快速得到增量数据。本实施例中，当用户了解到源数据库中出现新增的数据时，则根据实际需要选择迁移对象形成增量数据迁移请求发送给服务器，以便服务器使客户端显示数据配置界面，确保用户可以基于客户端对增量数据进行选择，将需要迁移的数据发送给目标数据库，保证数据迁移针对性较强，以便目标数据库可以快速得到迁移对象对应的增量数据，保证了数据迁移的实时性。

S202：基于增量数据迁移请求，在客户端显示与迁移对象对应的数据配置界面，数据配置界面包括数据配置选项。

其中，数据配置选项是指用户进行参数配置的选项，以便基于该数据配置选项得到迁移参数，进行数据迁移。迁移参数是用于指示需要迁移的数据的信息的参数，例如，该迁移参数可以是需要迁移的增量数据所在列表、IP地址、所在源数据库和数据状态等。其中，数据状态包括运行状态和修改状态。

数据配置界面是与迁移对象相关的，用于配置迁移参数的界面，该数据配置界面是为如业务人员等用户配置的界面，数据配置界面是只显示迁移对象相关的信息的界面，可以保证用户操作的准确性，避免出现错误，降低操作难度，适用用户范围较广。目前，数据迁移时，常常需要用户编译代码，迁移难度较高。本实施例中，根据增量数据迁移请求，以在客户端显示与迁移对象对应的数据配置界面，用户可以在数据配置界面对数据配置选项进行配置，得到迁移参数，降低迁移难度，减低开发人员的专业要求。

S203：基于数据配置选项，获取与迁移对象对应的迁移参数。

具体地，数据配置选项对应有多个原始参数，用户根据实际需要通过点击数据配置选项，该原始参数以多种形式显示给用户查看，例如，该原始参数以下拉方式显示或者以列表形式显示，用户可以从多个原始参数中选择所需的迁移参数，为后续的数据迁移提供技术支持，便于用户进行数据迁移。其中，原始参数是与迁移对象相关的参数。例如，当数据配置选项为数据源选项时，该原始参数可以是IP1、IP2和IP3等。用户可以根据实际情况对从原始参数中选择所需的迁移参数，以便后续进行迁移。

本实施例中，通过数据配置界面设置的数据配置选项，得到迁移参数，操作简单，可以有效地减低迁移难度，即本实施例中的数据迁移过程不需要记性编码，业务人员在数据配置界面上进行操作，即可实现数据迁移，解决现有技术的数据迁移需要能力较强的开发人员才能才能进行数据迁移的问题。

S204：基于迁移参数，获取迁移配置表，将迁移配置表发送到目标同步组件。

其中，迁移配置表是包含有需要进行迁移的增量数据的位置的表，便于目标同步组件对需要迁移的数据进行抽取并迁移。本实施例中，该迁移配置表中具体配置有需要迁移的增量数据的位置、状态和操作键。其中，操作键是可修改的操作键，即用户点击该操作键，即可对迁移配置表进行修改，以灵活修改迁移配置表。目标同步组件是根据迁移配置表，抽取增量数据，并将增量数据发送给目标数据库的的组件，以实现源数据库和目标数据库数据同步，便于用户处理。

本实施例中，根据数据配置选项和迁移参数形成迁移配置表，并将迁移配置表发送给目标同步组件，以利用目标同步组件进行同步处理。

S205：基于迁移配置表，采用目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将目标迁移数据表发送给目标数据库。

目标迁移数据表是指从源数据表中得到需要迁移的数据的表，以便将目标数据库与源数据库同步。目标数据库是需要同步的数据库，即增量数据迁入的数据库，例如，目标数据库可以是HIVE数据库。

本实施例中，利用目标同步组件基于迁移配置表进行同步处理，即目标同步组件根据迁移配置表从源数据库中获取需要进行迁移的数据，形成目标迁移数据表，以将目标迁移数据表发送给目标数据库，实现目标数据库和源数据库的数据同步，以便目标数据库对同步数据进行分析。

本实施例所提供的数据迁移方法，基于增量数据迁移请求，在客户端显示与迁移对象对应的数据配置界面，数据配置界面包括数据配置选项，用户可以在数据配置界面对数据配置选项进行配置，得到迁移参数，降低迁移难度，减低开发人员的专业要求。基于数据配置选项，获取与迁移对象对应的迁移参数，得到迁移参数，操作简单，可以有效地减低迁移难度，迁移效率有效提高。基于迁移参数，获取迁移配置表，将迁移配置表发送到目标同步组件，以利用目标同步组件进行同步处理。基于迁移配置表，采用目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将目标迁移数据表发送给目标数据库，实现目标数据库和源数据库的数据同步，以便目标数据库对同步数据进行分析。

在一实施例中，在步骤S201之前，即在获取基于迁移对象形成的增量数据迁移请求之前，方法还包括：实时监控源数据库，若源数据库获取到增量数据，则基于增量数据生成新增提醒信息，将新增提醒信息发送给客户端。

其中，新增提醒信息是用于提醒用户有增量数据的信息，以便用户快速配置增量数据，为后续的实时迁移提供技术支持。本实施例中，通过对源数据库进行监控，以在增量数据发生变更时，提醒用户，以便用户根据实际将增量数据迁移到目标数据库中，提高数据更新速度。

在一实施例中，数据配置选项包括数据源选项、待迁移信息选项和修改选项；如图3所示，步骤S203，即基于数据配置选项，获取与迁移对象对应的迁移参数，包括：

S301：基于数据源选项显示至少一个原始数据库，基于至少一个原始数据库，确定源数据库和源数据库中迁移对象的存储地址。

其中，数据源选项是用于指示所有存储有数据的数据库的选项。原始数据库是所有用于存储数据的库，例如，原始数据库为mysql数据库。

具体地，用户通过点击数据源选项，以在数据配置界面上显示原始数据库，用户可以直观地查看可供选择的原始数据库，以便用户从原始数据库中选择源数据库，实现便捷地配置迁移参数。

S302：基于待迁移信息选项对应的至少一个原始字段和存储地址，从源数据库中获取迁移字段。

其中，原始字段是指源数据库中存储的所有字段，例如，该原始字段可以是用户姓名、下单商品和浏览商品等。

迁移字段是指是需要进行迁移的字段，具体地，该迁移字段是由用户选择的进行迁移的字段，具有较高的自主选择性，且可以后续数据迁移的数量，加快迁移字段的迁移速度，实现快速及时地进行迁移用户需要迁移的数据，筛除不需要迁移的数据。

本实施例中，通过点击待迁移信息选项进入字段显示界面，该字段显示界面中显示有原始字段，用户在该字段显示界面中从原始字段中选择需要进行迁移的字段作为迁移字段，实现有选择性地进行迁移。

S303：将源数据库、存储地址和迁移字段确定为迁移参数。

本实施例中，将源数据库、存储地址和迁移字段确定为迁移参数，以便后续进行目标同步组件根据迁移参数进行数据迁移。

本实施例所提供的数据迁移方法，基于数据源选项显示至少一个原始数据库，获取客户端从至少一个原始数据库确定源数据库和源数据库中迁移对象的存储地址，实现便捷地配置迁移参数。基于待迁移信息选项对应的至少一个原始字段和存储地址，从源数据库中获取迁移字段，用户在该字段显示界面中从原始字段中选择需要进行迁移的字段作为迁移字段，实现有选择性地进行迁移。将源数据库、存储地址和迁移字段确定为迁移参数，以便后续进行数据迁移。

在一实施例中，如图4所示，步骤S303，即基于迁移参数，获取迁移配置表，包括：

S401：确定迁移字段对应的字段属性。

其中，字段属性是指迁移字段的属性，该字段属性包括敏感字段和非敏感字段。本实施例中，通过确定迁移字段对应的字段属性，以根据字段属性进行相应处理，保证字段安全，即保证客户的信息安全。

作为一示例，预先设置需要进行加密的加密字段，当获取到迁移字段，则采用匹配算法对迁移字段与加密字段进行匹配，获取匹配结果，当匹配结果为匹配成功，则说明迁移字段与加密字段是相同的，需要进行加密，以有效保护用户的数据安全。可以理解地，当匹配结果为匹配失败，则说明迁移字段与加密字段是不相同的，不需要进行加密。其中，加密字段是指预先设置的，需要进行加密的字段，该加密字段可以理解为需要进行加密的字段模板。敏感字段是指需要进行加密的迁移字段。

S402：若迁移字段对应的字段属性为敏感字段，则采用加密算法对迁移字段进行加密，获取迁移密文，基于源数据库、存储地址和迁移密文获取迁移配置表。

敏感字段是指具有敏感信息的字段。加密算法是指用于对原来为明文的迁移字段按某种算法进行处理，使其成为不可读的一段密文的算法，该密文只能在输入相应的密钥之后才能显示出本来内容，通过加密算法来达到保护敏感字段不被非法人窃取、阅读的目的。该加密算法包括但不限于对称加密算法和非对称加密算法。

S403：若迁移字段对应的字段属性不为敏感字段，则基于源数据库、存储地址和迁移字段获取迁移配置表。

本实施例中，当迁移字段对应的字段属性不为敏感字段，则不需要对迁移字段进行加密，因此，基于源数据库、存储地址和迁移字段获取迁移配置表，为后续的数据迁移提供技术协助。

本实施例所提供的数据迁移方法，确定迁移字段对应的字段属性，以根据字段属性进行相应处理，保证字段安全，即保证客户的信息安全。当迁移字段对应的字段属性为敏感字段，则采用加密算法对迁移字段进行加密，获取迁移密文，基于源数据库、存储地址和迁移密文获取迁移配置表，通过加密算法来达到保护敏感字段不被非法人窃取、阅读的目的，以保护敏感字段。迁移字段对应的字段属性不为敏感字段，则基于源数据库、存储地址和迁移字段获取迁移配置表，为后续的数据迁移提供技术协助。

在一实施例中，即目标同步组件包括canal组件和kudu组件；如图5所示，步骤S303，用目标同步组件对迁移配置表进行同步处理，获取目标迁移数据，包括：

S501：将迁移配置表发送到canal组件。

S502：采用canal组件实时解析迁移配置表对应的增量日志，获取增量数据，将增量数据发送给kudu组件。

其中，canal组件是用于对增量日志进行解析的组件，以得到增量数据。增量日志是指源数据库中的数据发生变更后的产生的日志，例如，该增量日志为binlog日志。

本实施例中，将迁移配置表发送到canal组件，以便canal组件根据迁移配置表查找源数据库，得到源数据库的增量日志，从而对增量日志进行解析，得到增量数据，通过canal-kudu适配器将增量数据从canal组件发送给kudu组件，快速便捷地将增量数据发送给kudu组件。

S503：在kudu组件上，对增量数据进行处理，获取目标迁移数据。

其中，kudu组件用于对增量数据进行处理，以得到目标迁移数据，并将目标迁移数据发送给目标数据库，以保证目标数据库可以及时地得到目标迁移数据，为后续的数据迁移提供技术支持。

具体地，kudu组件先采用动态分区算法对增量数据进行分区处理，即确定增量数据的容量大小，然后根据容量大小确定相应的分区区域，即将容量大的增量数据分配大容量的分区区域，以便在容量对应的分区区域上进行进行计算分析，将计算分析后的结果作为目标迁移数据，为后续的目标数据库的数据分析提供便利，可以减小目标数据库的分析压力。作为一示例，当本实施例应用于分布式数据平台时，该分区区域可以是计算机等具有计算能力的设备。其中，动态分区算法是用于动态分配增量数据算法，实现合理分配增量数据，以便快速对增量数据进行处理。

进一步地，kudu组件还可以对增量数据中的元数据进行实时监控，以获取元数据的监控结果，同时保留有元数据的备份位点；对增量数据进行分析校验，当元数据发送错误时，则根据备份位点查找到出现错误的错误位点，通过canal-kudu适配器将错误位点发送给canal组件，以使canal组件重新拉取元数据对应的增量数据，以保证kudu组件可以回滚到增量数据出现错误的错误位点，重新执行，保证迁移过程中，增量数据的准确性。

本实施例所提供的数据迁移方法，采用canal组件实时解析迁移配置表对应的增量日志，获取增量数据，通过canal-kudu适配器将增量数据从canal组件发送给kudu组件，快速便捷地将增量数据发送给kudu组件。在kudu组件上，对增量数据进行处理，获取目标迁移数据，以便在容量对应的分区区域上进行进行计算分析，将计算分析后的结果作为目标迁移数据，为后续的目标数据库的数据分析提供便利。

在一实施例中，如图6所示，在步骤S201之前，即在获取基于迁移对象形成的增量数据迁移请求之前，方法还包括：

S601：获取基于迁移对象形成的全量迁移请求。

其中，全量迁移请求是指对源数据库中迁移对象对应的数据全部迁移至目标数据库的请求。可以理解地，所有的数据都存储在源数据库中，为了便于后续目标数据库分析数据，则需要件所有的数据都发送给目标数据库，因此，在进行增量迁移之前，需要将迁移对象对应的所有的所有所有数据发送给目标数据库，保证源数据库和目标数据库中迁移对象的数据具有一致性，保证目标数据库对迁移对象进行全面分析。

S602：基于全量迁移请求，从源数据库中获取迁移对象对应的全量数据。

其中，全量数据是指源数据库中存储的迁移对象对象的数据。

S603：采用初始化工具对全量数据进行初始化处理，获取全量迁移数据表，将全量迁移数据表发送给目标数据库。

其中，初始化工具是指用于从源数据库中将全量数据导入到目标数据库的工具，以实现对大量的全量数据进行迁移，迁移过程较为便捷。例如，本实施例中，初始化工具可以是Sqoop工具。

本实施例所提供的数据迁移方法，基于全量迁移请求，从源数据库中获取迁移对象对应的全量数据，保证源数据库和目标数据库中迁移对象的数据具有一致性，保证目标数据库对迁移对象进行全面分析。采用初始化工具对全量数据进行初始化处理，获取全量迁移数据表，将全量迁移数据表发送给目标数据库，以实现对大量的全量数据进行迁移，迁移过程较为便捷。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种数据迁移装置，该数据迁移装置与上述实施例中数据迁移方法一一对应。如图7所示，该数据迁移装置包括数据迁移请求获取模块701、数据配置界面显示模块702、迁移参数获取模块703、迁移配置表获取模块704和目标迁移数据表获取模块705。各功能模块详细说明如下：

数据迁移请求获取模块701，用于获取基于迁移对象形成的增量数据迁移请求。

数据配置界面显示模块702，用于基于增量数据迁移请求，在客户端显示与迁移对象对应的数据配置界面，数据配置界面包括数据配置选项。

迁移参数获取模块703，用于基于数据配置选项，获取与迁移对象对应的迁移参数。

迁移配置表获取模块704，用于基于迁移参数，获取迁移配置表，将迁移配置表发送到目标同步组件。

目标迁移数据表获取模块705，用于基于迁移配置表，采用目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将目标迁移数据表发送给目标数据库。

优选地，在数据迁移请求获取模块701之前，装置还包括：实时监控模块706。

实时监控模块706，用于实时监控源数据库，若源数据库获取到增量数据，则基于增量数据生成新增提醒信息，将新增提醒信息发送给客户端。

优选地，数据配置选项包括数据源选项和待迁移信息选项。迁移参数获取模块703，包括：源数据库确定单元、迁移字段获取单元和迁移参数获取单元。

源数据库确定单元，用于基于数据源选项显示至少一个原始数据库，基于至少一个原始数据库，确定源数据库和源数据库中迁移对象的存储地址。

迁移字段获取单元，用于基于待迁移信息选项对应的至少一个原始字段和存储地址，从源数据库中获取迁移字段。

迁移参数获取单元，用于将源数据库、存储地址和迁移字段确定为迁移参数。

优选地，迁移配置表获取模块704，包括：字段属性确定单元、加密处理单元和非加密处理单元。

字段属性确定单元，用于确定迁移字段对应的字段属性。

加密处理单元，用于若迁移字段对应的字段属性为敏感字段，则采用加密算法对迁移字段进行加密，获取迁移密文，基于源数据库、存储地址和迁移密文获取迁移配置表。

非加密处理单元，若迁移字段对应的字段属性不为敏感字段，则基于源数据库、存储地址和迁移字段获取迁移配置表。

优选地，目标同步组件包括canal组件和kudu组件。目标迁移数据表获取模块705，包括：发送单元、解析单元和目标迁移数据获取单元。

发送单元，用于将迁移配置表发送到canal组件。

解析单元，用于采用canal组件实时解析迁移配置表对应的增量日志，获取增量数据，将增量数据发送给kudu组件。

目标迁移数据获取单元，用于在kudu组件上，对增量数据进行处理，获取目标迁移数据。

优选地，在数据迁移请求获取模块701之前，装置还包括：全量迁移请求获取模块、全量数据获取模块和初始化处理模块。

全量迁移请求获取模块，用于获取基于迁移对象形成的全量迁移请求。

全量数据获取模块，用于基于全量迁移请求，从源数据库中获取迁移对象对应的全量数据。

初始化处理模块，用于采用初始化工具对全量数据进行初始化处理，获取全量迁移数据表，将全量迁移数据表发送给目标数据库。

关于数据迁移装置的具体限定可以参见上文中对于数据迁移方法的限定，在此不再赘述。上述数据迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储增量数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据迁移方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中数据迁移方法的步骤，例如图2所示的步骤S201-S205，或者图3至图6中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现数据迁移装置这一实施例中的各模块/单元的功能，例如图7所示的数据迁移请求获取模块701、数据配置界面显示模块702、迁移参数获取模块703、迁移配置表获取模块704和目标迁移数据表获取模块705的功能，为避免重复，这里不再赘述。

在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中数据迁移方法的步骤，例如图2所示的步骤S201-S205，或者图3至图7中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现数据迁移装置这一实施例中的各模块/单元的功能，例如图7所示的数据迁移请求获取模块701、数据配置界面显示模块702、迁移参数获取模块703、迁移配置表获取模块704和目标迁移数据表获取模块705的功能，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据迁移方法，其特征在于，包括数据平台执行的如下步骤：

获取基于迁移对象形成的增量数据迁移请求；

基于所述增量数据迁移请求，在客户端显示与所述迁移对象对应的数据配置界面，所述数据配置界面包括数据配置选项；

基于所述数据配置选项，获取与所述迁移对象对应的迁移参数；

基于所述迁移参数，获取迁移配置表，将所述迁移配置表发送到目标同步组件；

基于所述迁移配置表，采用所述目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将所述目标迁移数据表发送给目标数据库。

2.如权利要求1所述的数据迁移方法，其特征在于，在所述获取基于迁移对象形成的增量数据迁移请求之前，所述方法还包括：

实时监控源数据库，若源数据库获取到增量数据，则基于所述增量数据生成新增提醒信息，将所述新增提醒信息发送给客户端。

3.如权利要求1所述的数据迁移方法，其特征在于，所述数据配置选项包括数据源选项和待迁移信息选项；

所述基于所述数据配置选项，获取与所述迁移对象对应的迁移参数，包括：

基于所述数据源选项显示至少一个原始数据库，基于至少一个所述原始数据库，确定源数据库和源数据库中迁移对象的存储地址；

基于所述待迁移信息选项对应的至少一个原始字段和存储地址，从所述源数据库中获取迁移字段；

将所述源数据库、存储地址和迁移字段确定为迁移参数。

4.如权利要求3所述的数据迁移方法，其特征在于，所述基于所述迁移参数，获取迁移配置表，包括：

确定所述迁移字段对应的字段属性；

若所述迁移字段对应的字段属性为敏感字段，则采用加密算法对所述迁移字段进行加密，获取迁移密文，基于所述源数据库、存储地址和迁移密文获取迁移配置表；

若所述迁移字段对应的字段属性不为敏感字段，则基于所述源数据库、存储地址和迁移字段获取迁移配置表。

5.如权利要求1所述的数据迁移方法，其特征在于，所述目标同步组件包括canal组件和kudu组件；

所述用所述目标同步组件对所述迁移配置表进行同步处理，获取目标迁移数据，包括：

将所述迁移配置表发送到canal组件；

采用canal组件实时解析所述迁移配置表对应的增量日志，获取增量数据，将所述增量数据发送给kudu组件；

在所述kudu组件上，对所述增量数据进行处理，获取目标迁移数据。

6.如权利要求1所述的数据迁移方法，其特征在于，在所述获取基于迁移对象形成的增量数据迁移请求之前，所述方法还包括：

获取基于所述迁移对象形成的全量迁移请求；

基于所述全量迁移请求，从源数据库中获取所述迁移对象对应的全量数据；

采用初始化工具对所述全量数据进行初始化处理，获取所述全量迁移数据表，将全量迁移数据表发送给所述目标数据库。

7.一种数据迁移装置，其特征在于，包括：

数据迁移请求获取模块，用于获取基于迁移对象形成的增量数据迁移请求；

数据配置界面显示模块，用于基于所述增量数据迁移请求，在客户端显示与所述迁移对象对应的数据配置界面，所述数据配置界面包括数据配置选项；

迁移参数获取模块，用于基于所述数据配置选项，获取与所述迁移对象对应的迁移参数；

迁移配置表获取单元，用于基于所述迁移参数，获取迁移配置表，将所述迁移配置表发送到目标同步组件；

目标迁移数据表获取单元，用于基于所述迁移配置表，采用所述目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将所述目标迁移数据表发送给目标数据库。

8.如权利要求7所述的数据迁移装置，其特征在于，在所述数据迁移请求获取模块之前，所述装置还包括：实时监控模块，用于实时监控源数据库，若源数据库获取到增量数据，则基于所述增量数据生成新增提醒信息，将所述新增提醒信息发送给客户端。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述数据迁移方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据迁移方法的步骤。

Images