CN115098574A - 多数据源的数据转存方法、系统、终端设备及存储介质 - Google Patents

Abstract

本发明公开了一种多数据源的数据转存方法、系统、终端设备及存储介质，属于数据存储技术领域。多数据源的数据转存方法包括：从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。本发明通过客户端发送数据转存配置信息到服务器，服务器执行数据转存任务，实现对不同类型的数据库的数据提供多种方式的转存，降低了转存操作的门槛，提高了复杂转存的执行效率和可靠性，为项目的实践者和管理者提供了高效、可靠、方便的数据转存整体解决方案。

Description

多数据源的数据转存方法、系统、终端设备及存储介质

技术领域

本发明涉及数据存储技术领域，尤其涉及多数据源的数据转存方法、系统、终端设备及存储介质。

背景技术

随着互联网的发展，软件系统的规模愈加庞大，系统之间的交互，软硬件之间的数据对接变得愈发频繁。微服务化是解决系统规模庞大的主要方法之一，在这个过程中各服务间会存在大量的数据转存。

现有的做法之一是通过数据库管理工具提供数据导入导出功能，方便将不同数据库的数据以各种形式进行转存拷贝，此种办法仅能解决较为简单的转存场景问题，但需要数据开发人员手动操作，导致了时间长、易出错、效率低、缺少容错机制的问题。为解决人工转存的问题，提出另一种做法，通过自主开发转存服务进行转存，克服了人工转存的困难并解决现有不同类型数据库中的数据迁移频发、数据规格变更频繁、转存过程冗长的问题，但是需要一定的开发成本和资源成本。

因此，如何将不同类型数据库的数据，高效、可靠、方便地转存也成为了软件项目开发过程中亟待解决的一个问题。

发明内容

本申请的主要目的在于提供一种多数据源的数据转存方法、系统、终端设备及存储介质，旨在解决将不同类型数据库，高效、可靠、方便的转存的问题。

本申请实施例一种多数据源的数据转存方法，所述多数据源的数据转存方法包括：

从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；

根据所述数据转存配置信息，生成数据转存任务；

根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。

可选的，所述根据所述数据转存配置信息，生成数据转存任务的步骤包括：

通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据；

通过任务生成器建立任务资源池；

通过任务生成器将所述任务元数据添加到所述任务资源池；

通过任务生成器向任务执行器下发数据转存任务；

通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务。

可选的，所述根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库的步骤包括：

根据所述数据转存任务，从所述任务元数据获取预先设定的数据配置详情；

根据所述数据配置详情，通过拆解拷贝、合并拷贝、直接拷贝中一种或多种方式从所述源数据库中获取源数据；

若所述目标数据库与源数据库类型不同，将获取的源数据处理为符合转存目标数据库类型的目标数据；

将所述目标数据存储到预先设定的目标数据库中。

可选的，所述通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务之后的步骤包括：

监控所述数据转存任务的执行状态；

若执行状态为异常，则保存告警日志，输出告警信息给相关人员；

若执行状态为结束，则删除所述数据转存任务，保存执行日志和执行结果，并将所述执行结果发送给相关人员。

可选的，所述通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据之前的步骤包括：

判断所述数据转存配置信息中源数据库和目标数据库的相关信息是否具备有效性；

若所述源数据库和目标数据库相关信息不具备有效性，则执行结束，发送所述数据转存配置信息的有效性验证信息给相关人员。

本申请还提供一种多数据源的数据转存方法，所述方法应用于客户端，所述多数据源的数据转存方法包括：

接收用户的数据转存信息的配置指令；

根据所述配置指令，发送数据转存配置信息到服务器，以供所述数据服务器根据所述转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。

可选的，所述根据所述配置指令，发送数据转存配置信息到服务器之后的步骤还包括：

接收服务器发送的所述数据转存配置信息的有效性验证信息、所述数据转存任务的生成结果及执行结果。

本申请实施例一种多数据源的数据转存系统，所述多数据源的数据转存系统包括客户端和服务器：

所述客户端，用于接收用户配置指令，发送数据转存配置信息到服务器；接收用户历史转存信息查阅指令并发送指令到服务器；

所述服务器包括：调度器模块，用于从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；接收客户端发送的用户历史转存信息查阅指令并执行；

任务生成器模块，用于判断所述数据转存配置信息包括源数据库和目标数据库相关信息的有效性；根据所述数据转存配置信息，配置数据转存任务，获取任务元数据；建立转存任务配置资源池，添加任务元数据；下发数据转存任务到任务执行器模块；监控所述数据转存任务执行情况，并更新任务状态，通知用户；

任务执行器模块，用于根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库；所述数据转存任务执行结束后,发送执行结果到任务生成器模块。

本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多数据源的数据转存程序，所述多数据源的数据转存程序被所述处理器执行时实现多数据源的数据转存方法的步骤。

本申请实施例还提出一种存储介质，所述存储介质上存储有多数据源的数据转存程序，所述多数据源的数据转存被处理器执行时实现所述的多数据源的数据转存方法的步骤。

本申请实施例提出的一种多数据源的数据转存方法、系统、终端设备以及存储介质，通过从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。基于本申请方案，通过在客户端填写转存需求的配置信息，并根据所述配置信息，对不同类型的数据库的数据提供多种方式的转存，解决现有不同类型数据库中的数据迁移频发、数据规格变更频繁、转存过程冗长的问题，并且极大地降低了转存操作的门槛，提高了复杂转存的执行效率和可靠性，为项目的实践者和管理者提供了高效、可靠、方便的数据转存整体解决方案。

附图说明

图1为本申请多数据源的数据转存方法所属终端设备的功能模块示意图；

图2为本申请多数据源的数据转存方法第一示例性实施例的流程示意图；

图3为本申请多数据源的数据转存方法第二示例性实施例的流程示意图；

图4为本申请多数据源的数据转存方法第三示例性实施例的流程示意图；

图5为本申请多数据源的数据转存方法第四示例性实施例的流程示意图；

图6为本申请多数据源的数据转存方法第五示例性实施例的流程示意图；

图7为本申请多数据源的数据转存方法第六示例性实施例的流程示意图；

图8为本申请多数据源的数据转存方法第七示例性实施例的流程示意图；

图9为本申请多数据源的数据转存方法第八示例性实施例的流程示意图；

图10为本申请多数据源的数据转存系统整体架构图；

图11为本申请多数据源的数据转存系统的服务器模块图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

具体地，参照图1，图1为本申请多数据源的数据转存装置所属终端设备的功能模块示意图。该申请多数据源的数据转存装置可以为独立于终端设备的、能够进行多数据源的数据高效、可靠、方便转存的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。

在本实施例中，该多数据源的数据转存装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。

存储器130中存储有操作系统以及多数据源的数据转存程序，多数据源的数据转存装置可以从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到目标数据库；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。

其中，存储器130中的多数据源的数据转存程序被处理器执行时实现以下步骤：

从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；

根据所述数据转存配置信息，生成数据转存任务；

根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。

进一步地，存储器130中的多数据源的数据转存程序被处理器执行时还实现以下步骤：

通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据；

通过任务生成器建立任务资源池；

通过任务生成器将所述任务元数据添加到所述任务资源池；

通过任务生成器向任务执行器下发数据转存任务；

通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务。

进一步地，存储器130中的多数据源的数据转存程序被处理器执行时还实现以下步骤：

根据所述数据转存任务，从所述任务元数据获取预先设定的数据配置详情；

根据所述数据配置详情，通过拆解拷贝、合并拷贝、直接拷贝中一种或多种方式从所述源数据库中获取源数据；

若所述目标数据库与源数据库类型不同，将获取的源数据处理为符合转存目标数据库类型的目标数据；

将所述目标数据存储到预先设定的目标数据库的表中。

进一步地，存储器130中的多数据源的数据转存程序被处理器执行时还实现以下步骤：

监控所述数据转存任务的执行状态；

若执行状态为异常，则保存告警日志，输出告警信息给相关人员；

若执行状态为结束，则删除所述数据转存任务，保存执行日志和执行结果，并将所述执行结果发送给相关人员。

进一步地，存储器130中的多数据源的数据转存程序被处理器执行时还实现以下步骤：

判断所述数据转存配置信息中源数据库和目标数据库的相关信息是否具备有效性；

若所述源数据库和目标数据库相关信息不具备有效性，则执行结束，发送所述数据转存配置信息的有效性验证信息给相关人员。

进一步地，存储器130中的多数据源的数据转存程序被处理器执行时还实现以下步骤：

接收用户的数据转存信息的配置指令；

根据所述配置指令，发送数据转存配置信息到服务器，以供所述数据服务器根据所述转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。

进一步地，存储器130中的多数据源的数据转存程序被处理器执行时还实现以下步骤：

接收从客户端发送的用户历史转存数据的统计指令；

根据所述统计指令，从事先存储的所述数据转存任务的执行结果中统计用户转存相关信息；

发送统计的所述用户转存相关信息给相关人员。

其中，存储器130中的多数据源的数据转存程序，其特征在于，所述程序应用于客户端，所述多数据源的数据转存程序被处理器执行时实现以下步骤：

接收用户的数据转存信息的配置指令；

根据所述配置指令，发送数据转存配置信息到服务器，以供所述数据服务器根据所述转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。

进一步地，存储器130中的多数据源的数据转存程序被处理器执行时还实现以下步骤：

接收服务器发送的所述数据转存配置信息的有效性验证信息、所述数据转存任务的生成结果及执行结果。

本实施例通过上述方案，具体通过从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。通过在客户端填写转存需求的配置信息，并根据所述配置信息，对不同类型的数据库的数据提供多种方式的转存，解决了不同类型的数据库中的数据迁移频发、数据规格变更频繁、转存过程冗长的问题，并且极大地降低了转存操作的门槛，提高了复杂转存的执行效率和可靠性，为项目的实践者和管理者提供了高效、可靠、方便的数据转存整体解决方案。

基于上述终端设备架构但不限于上述架构，提出本申请方法实施例。

参照图2，图2为本申请多数据源的数据转存方法第一示例性实施例的流程示意图。所述多数据源的数据转存方法包括：

步骤S110，从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；

具体地，所述数据转存配置信息包括源数据库和目标数据库的链接及登录所需的用户名和密码；限定转存频次是单次转存还是定时转存，转存数据是全量转存还是增量转存，是部分转存还是完全转存；设定源数据库和目标数据库中的数据表名、字段名、索引和数据类型等多种信息的映射关系，源数据库和目标数据库可以是多对一配置映射关系，也可一对多配置映射关系，即支持多数据结构合并转存数据和单数据结构拆解转存数据；客户端接收用户配置指令，将所述数据转存配置信息发送至服务器。

步骤S130，根据所述数据转存配置信息，生成数据转存任务；

具体地，服务器获取到所述数据转存配置信息后，根据所述数据转存配置信息，配置数据转存任务，得到任务元数据；再通过任务生成器建立任务资源池，并将获得的任务元数据，添加到任务资源池中。所述任务生成器根据转存频次的不同，下发数据转存任务到任务执行器，任务执行器获取所述任务资源池中的任务元数据，生成数据转存任务，实现了对转存任务的定时、定量的设定、统一管理和生成的目的。

步骤S150，根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到目标数据库；

具体地，所述转存操作是指定时或单次、全量或增量、部分或全部中一种或多种转存操作的组合。首先，根据所述数据转存任务，从所述数据转存配置信息获取预先设定的源数据配置详情；所述源数据配置详情为源数据库和目标数据库中的数据表名、字段名、索引和数据类型等多种信息的映射关系；映射关系可以是所述源数据库中多个表或表中的字段映射组合成所述目标数据库中的表，或所述源数据库中单个表映射拆分成所述目标数据库中多个表或表中字段，或直接将源数据库中的数据直接拷贝到目标数据库中。若所述目标数据库与源数据库类型不同，将获取的源数据处理为符合所述目标数据库类型的目标数据；所述数据库类型属于主流结构数据库类型或主流非结构数据库类型一种或多种；将所述目标数据存储到预先设定的目标数据库中。

本实施例通过上述方案，具体通过从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。通过在客户端填写转存需求的配置信息，并根据所述配置信息，对不同类型的数据库的数据提供多种方式的转存，解决了不同类型的数据库中的数据迁移频发、数据规格变更频繁、转存过程冗长的问题，并且极大地降低了转存操作的门槛，提高了复杂转存的执行效率和可靠性，为项目的实践者和管理者提供了高效、可靠、方便的数据转存整体解决方案。

进一步地，参照图3，图3为本申请多数据源的数据转存方法第二示例性实施例的流程示意图，在上述步骤S130，所述根据所述数据转存配置信息，生成数据转存任务的步骤包括：

步骤S1301,通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据；

具体地，服务器获取到所述数据转存配置信息后，通过所述数据库相关信息验证源数据库与目标数据库的连接性，再将任务设定为单次转存或定时转存，全量转存或增量转存，完全转存或部分转存，配置数据转存任务，得到任务元数据，所述任务元数据包括数据配置详情等信息。

步骤S1302，通过任务生成器建立任务资源池；

步骤S1303，通过任务生成器将所述任务元数据添加到所述任务资源池；

具体地，为了对任务统一管理，需要将所述任务元数据添加到所述任务资源池中。

步骤S1304，通过任务生成器向任务执行器下发数据转存任务；具体地，若创建任务是单次执行任务，则任务生成器根据设备资源下发单次数据转存任务；若创建任务是定时任务，通过轮询的方式，任务生成器下发定时任务给任务执行器，任务执行器从任务资源池中获取任务元数据。

步骤S1305，通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务。

具体地，在创建任务时，判断所述数据转存配置信息中的源数据库表中的数据字段是否存在，并判断转存类型的合理性，若转存类型不合理或所述数据字段不存在，根据情况，终止执行或发送告警信息给相关人员，并保存告警信息。若所述数据字段存在并且转存数据类型合理，则生成所述数据转存任务。

本实施例通过上述方案，具体通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据；通过任务生成器建立任务资源池；通过任务生成器将所述任务元数据添加到所述任务资源池；通过任务生成器向任务执行器下发数据转存任务；通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务。本方案主要通过建立配置数据转存任务的资源池，将所述数据转存任务进行统一管理和分配，并根据定时任务或者单次任务对资源池中的任务元数据进行分配处理，生成所述数据转存任务，使任务的管理和生成更加方便、高效。

进一步地，参照图4，图4为本申请多数据源的数据转存方法第三示例性实施例的流程示意图，上述步骤S150，所述根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到目标数据库的步骤包括：

步骤S1501，根据所述数据转存任务，从所述数据转存配置信息获取预先设定的转存配置详情；

步骤S1502，根据所述所述数据转存配置信息中预先设定的源数据配置详情，通过拆解拷贝、合并拷贝、直接拷贝中一种或多种方式从源数据库表中获取源数据；

具体地，所述配置源数据库和目标数据库通过链接和用户名、密码登录并访问数据库，所述数据配置详情包括源数据库表、字段和目标表、字段的映射关系，对所述数据转存配置信息中预先设定的源数据配置详情，进行相应的数据类型处理、多表合并转存或单表拆解转存或直接拷贝，得到源数据。

步骤S1503，若所述目标数据库与源数据库类型不同，将获取的源数据处理为符合转存目标数据库类型的目标数据；

具体地，源数据库和目标数据库可以是结构类型数据库或非结构类型数据库中的一种或多种，若上述步骤得到的源数据不符合预先设定的目标数据库中的数据结构，需要根据所述目标数据库与源数据库的任务配置详情将所述源数据转成符合所述目标数据库中的目标数据。

步骤S1504，将所述目标数据存储到预先设定的目标数据库的表中。

具体地，上述步骤S1503，获取到的目标数据，按照预先设定的源数据库和目标数据库的映射关系存储到目标数据库的表中。存储时若无相对应的表和/或字段，所述目标数据库的表添加新表和/或字段。

本实施例通过上述方案，具体通过获取所述数据转存任务；根据所述所述数据转存配置信息中预先设定的源数据配置详情，通过拆解拷贝、合并拷贝、直接拷贝中一种或多种方式从源数据库表中获取已处理的源数据；若所述目标数据库与源数据库类型不同，将所述源数据处理为符合转存目标数据库类型的目标数据；将所述目标数据存储到预先设定的目标数据库的表中。本方案主要通过获取所述数据转存任务配置中的源数据库相关表、字段数据并根据预先设定的与目标数据库的映射关系，对数据格式转换和转存，实现了支持多种主流数据库的转存，包括ORACLE、MYSQL、ES等的转存，通过用户的配置文件生成数据转存任务，进而达到数据转存的目的，使得不同类型数据库的数据转存操作更加的方便、高效。

进一步地，参照图5，图5为本申请多数据源的数据转存方法第四示例性实施例的流程示意图，上述步骤S1305，所述通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务之后的步骤包括：

步骤S1306，监控所述数据转存任务的执行状态；

具体地，所述数据转存任务的执行状态是在任务生成时，产生的任务的状态属性，此属性会在转存任务删除之前，一直存在，通过获取所述任务状态属性，实现对当前转存任务的监控。

步骤S1307，若执行状态为异常，则保存告警日志，输出告警信息给相关人员；

具体地，当在所述数据转存任务执行时，出现异常状态，则根据不同的异常情况，终止执行或继续执行，并保存告警日志，通过发送告警信息到客户端、邮件、短信等不同方式，告知相关人员。

步骤S1308，若执行状态为结束，则删除所述数据转存任务，保存执行日志和执行结果，并将所述执行结果发送给相关人员。

具体地，当所述数据转存任务执行完成，则删除生成任务时产生的相关信息，若属于单次执行，则删除资源池中的数据转存任务的任务元数据，并保存相关结果及日志，发送任务执行结果相关信息到客户端、邮件、短信等不同方式，告知相关人员。

本实施例通过上述方案，具体通过监控所述数据转存任务的状态；若执行状态为异常，保存告警日志，发送告警信息；若执行状态为结束，则删除所述数据转存任务，保存执行日志和结果并发送给相关人员。本方案主要通过监控当前任务的执行状态，使得任务执行时产生的告警问题能及时的通知到相关人员并保存告警日志，便于相关人员快速定位问题处理问题，或执行完成时及时告知相关人员执行结果。

进一步地，参照图6，图6为本申请多数据源的数据转存方法第五示例性实施例的流程示意图，上述步骤S1301，所述通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据之前的步骤包括：

步骤S1290，判断所述数据转存配置信息中源数据库和目标数据库的相关信息是否具备有效性；

具体地，作为一种方式，从所述数据转存配置信息中获取源数据库和目标数据库的链接、用户名、密码。验证链接是否能访问，能否正常登录数据库，若不能正常访问或登录，则不具备有效性；

作为另一种方式，从所述数据转存配置信息中获取源数据库的表，判断是否存在，若不存在，则不具备有效性。

步骤S1291,若所述源数据库和目标数据库相关信息不具备有效性，则执行结束，发送所述数据转存配置信息的有效性验证信息给相关人员。

具体地，若上述步骤S1290任一验证不具备有效性，则执行结束，并发送验证失败信息告知相关人员，以便于相关人员对于问题的确认。

本实施例通过上述方案，具体通过判断所述数据转存配置信息包括源数据库和目标数据库相关信息的有效性；若不具备有效性，则执行结束，发送所述数据转存配置信息的有效性验证信息给相关人员，具体可通过邮件、客户端提醒等方式。本方案主要在获取到从客户端发送的配置后，进行链接和配置信息的有效性验证，提前发现并告知相关人员问题，使得问题提早被发现，被解决，避免了不必要的失败执行而导致的资源浪费。

进一步地，参照图7，图7为本申请多数据源的数据转存方法第六示例性实施例的流程示意图，所述多数据源的数据转存方法还包括：

步骤S101，接收从客户端发送的用户历史转存数据的统计指令；

具体地，用户在执行多次数据转存任务后，想要统计一下某段时间内的数据转存任务执行的相关信息，可以通过客户端发送统计指令到服务器。

步骤S102，根据所述统计指令，从事先存储的所述数据转存任务的执行结果中统计用户转存相关信息；

具体地，从所述保存执行日志和结果中获取到所述数据转存的次数，具体数据内容及数据量、结果等信息。提升用户使用体验感。

步骤S103，发送统计的所述用户转存相关信息给相关人员。

具体地，将统计完成后的结果以图表等形式发送至客户端，或通过邮件等沟通形式发送给客户和相关人员，使得相关人员获取到了数据转存任务全面清晰的统计数据。

本实施例通过上述方案，具体通过接收用户历史转存数据的统计指令；从事先存储的所述数据转存任务的日志中统计用户转存相关信息；发送统计结果。本方案主要通过统计用户执行的数据转存任务相关信息，使得相关人员获取到了数据转存任务全面清晰的统计数据，提升用户使用体验感。

进一步地，参照图8，图8为本申请多数据源的数据转存方法第七示例性实施例的流程示意图，所述方法应用于客户端，所述多数据源的数据转存方法的步骤包括：

步骤S160，接收用户的数据转存信息的配置指令；

具体地，所述用户首次使用，注册账号后登录校验，校验成功后，用户通过操作客户端的新建按钮，控制客户端弹出数据转存配置表单，若非首次使用，登录后会请求服务器获取登录用户的历史配置列表，用户可基于历史配置进行修改，使得用户配置任务的操作可视化，极大的降低了操作门槛，方便了用户使用。

步骤S170，根据所述配置指令，发送数据转存配置信息到服务器，以供所述数据服务器根据所述转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。

具体地，所述数据转存配置信息包括源数据库和目标数据库的链接及登录所需的用户名和密码；限定转存频次和转存数据的量；源数据库和目标数据库中的数据表名、字段名、索引和数据的多种映射关系，源数据库和目标数据库可以多对一配置映射关系，也可一对多配置映射关系，即支持多数据结构合并转存和单数据结构拆解转存，用户通过客户端填写配置信息后，发送所述数据转存配置信息到服务器，服务器先对所述数据转存配置信息验证有效性，接着服务器建立任务资源池，将配置信息添加到任务资源池中，对任务统一管理分配设备资源，从而生成数据转存任务；数据转存任务根据任务配置详情执行转存，将所述源数据库中的数据转存到所述目标数据库。

本实施例通过上述方案，接收用户的数据转存信息的配置指令；发送所述数据转存配置信息到服务器，所述数据转存配置信息包括源数据库和目标数据库相关信息。本方案主要搭建通用化数据转存客户端，不要求使用人员具备数据开发背景，用户只需输入所述数据转存配置信息，无需具备数据开发背景即可完成数据转存，提供给数据转存配置人员可视化界面窗口，使得用户配置文件可视化，极大的降低了操作配置的门槛，方便了用户使用，提高了复杂转存的执行效率和可靠性，为项目的实践者和管理者提供了高效、可靠、方便的数据转存整体解决方案。

进一步地，参照图9，图9为本申请多数据源的数据转存方法第八示例性实施例的流程示意图，所述上述步骤S170，所述根据所述配置指令，发送数据转存配置信息到服务器，以供所述数据服务器根据所述转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库之后的步骤包括：

步骤S180，接收服务器发送的所述数据转存配置信息的有效性验证信息、所述数据转存任务的生成结果及执行结果。

具体地，所述有效性验证信息包括验证要点和结果，不具备有效性的原因等，能帮助用户定位问题等信息。

本实施例通过上述方案，接收服务器发送的所述数据转存配置信息的有效性验证信息、所述数据转存任务的生成结果及执行结果，以供用户确认问题，明确执行进度和结果。本方案主要通过服务器给客户端发送相关信息，包括有效性验证信息，数据转存任务的生成结果和执行结果相关信息，方便用户知道任务执行状态，并针对反馈的信息进一步操作，提高了可靠性和用户的使用体验。

进一步地，参考图10，图11，图10为本申请多数据源的数据转存方法涉及的系统整体架构图，图11为系统的服务器模块图。

本申请实施例还提出一种多数据源的数据转存系统，所述多数据源的数据转存系统包括客户端和服务器，其中：

所述客户端，用于接收用户配置指令，发送数据转存配置信息到服务器；接收用户历史转存信息查阅指令并发送指令到服务器；

所述服务器包括：

调度器模块，用于从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；接收客户端发送的用户历史转存信息查阅指令并执行；

任务生成器模块，用于判断所述数据转存配置信息包括源数据库和目标数据库相关信息的有效性；根据所述数据转存配置信息，配置数据转存任务，获取任务元数据；建立转存任务配置资源池，添加任务元数据；下发数据转存任务到任务执行器模块；监控所述数据转存任务执行情况，并更新任务状态，通知用户；

任务执行器模块，用于根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库；所述数据转存任务执行结束后,发送执行结果到任务生成器模块。

参考图10，所述多数据源的数据转存系统的整体流程包括：

客户端接收用户的注册账号指令，并将注册信息发送至服务器。

服务器中包括有调度器，任务生成器，任务执行器三个模块，其中：

调度器模块用于从客户端获取数据转存配置信息，对用户生成唯一用户账号；注册成功后，客户端接收用户登录指令，并发送登录信息到所述调度器模块，匹配现有的用户，返回登录成功的认证；客户端接收用户配置指令，并发送配置信息到所述调度器模块；调度器模块接收到配置信息后，发送配置信息中数据库链接信息给任务生成器模块，完成所述数据转存配置信息中源数据库及目标数据库的链接、表的有效性验证。

在验证成功后，将验证结果发给调度器模块。

调度器模块获取到验证通过的结果，将验证结果发送客户端或发送邮件等方式，通知用户。

然后，调度器模块将数据配置详情发送给任务执行器模块，任务生成器模块则根据所述数据转存配置信息去配置数据转存任务，得到任务元数据，并添加到建立的任务资源池中。

任务资源池中的转存任务会进行统一的管理和分配，根据所述数据转存配置信息中预先设定的单次转存或定时转存，下发任务给任务执行器模块，生成数据转存任务，并将结果返回给调度器模块，由调度器模块通知用户生成结果。

执行数据转存任务时，可以根据预先设定的数据配置详情，从源数据库中获取数据，所述源数据库即为图10中的资源数据库，将单数据结构进行拆解，或将多数据结构中的字段组合成新数据，再根据数据库类型的不同，进行数据结构的转换，将处理后的源数据转存到目标数据库中。

执行数据转存任务后，任务执行器模块返回执行结果到任务生成器模块，任务生成器模块删除执行完成的任务后，发送执行结果到调度器模块，最终由调度器模块保存所述数据转存任务结果并通过发送邮件或发送客户端等多种方式告知相关人员。当客户端接收到用户发送的用户数据转存统计指令时，发送指令给调度器模块，调度器模块根据预先存储的执行结果相关信息，统计出用户历史转存信息，发送统计图表到客户端或相关人员的邮箱等形式告知统计结果。

本实施例通过从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。客户端接收查看相关结果的指令，查看验证结果、任务生成结果和执行结果。基于本申请方案，通过在客户端填写转存需求的配置信息，并根据所述配置信息，对不同类型的数据库的数据提供多种方式的数据转存，解决现有不同类型数据库中的数据迁移频发、数据规格变更频繁、转存过程冗长的问题，并且极大地降低了转存操作的门槛，提高了复杂转存的执行效率和可靠性，为项目的实践者和管理者提供了高效、可靠、方便的数据转存整体解决方案。

本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多数据源的数据转存程序，所述多数据源的数据转存程序被所述处理器执行时实现如上所述的多数据源的数据转存方法的步骤。

由于本多数据源的数据转存程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

本申请实施例还提出一种存储介质，所述存储介质上存储有多数据源的数据转存程序，所述多数据源的数据转存程序被处理器执行时实现所述的多数据源的数据转存方法的步骤。

由于本多数据源的数据转存程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种多数据源的数据转存方法，其特征在于，所述多数据源的数据转存方法包括以下步骤：

从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；

根据所述数据转存配置信息，生成数据转存任务；

根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。

2.如权利要求1所述多数据源的数据转存方法，其特征在于，所述根据所述数据转存配置信息，生成数据转存任务的步骤包括：

通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据；

通过任务生成器建立任务资源池；

通过任务生成器将所述任务元数据添加到所述任务资源池；

通过任务生成器向任务执行器下发数据转存任务；

通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务。

3.如权利要求1所述多数据源的数据转存方法，其特征在于，所述根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到目标数据库的步骤包括：

根据所述数据转存任务，从所述任务元数据获取预先设定的数据配置详情；

根据所述数据配置详情，通过拆解拷贝、合并拷贝、直接拷贝中一种或多种方式从所述源数据库中获取源数据；

若所述目标数据库与源数据库类型不同，将获取的源数据处理为符合转存目标数据库类型的目标数据；

将所述目标数据存储到预先设定的目标数据库中。

4.如权利要求2所述多数据源的数据转存方法，其特征在于，所述通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务之后的步骤包括：

监控所述数据转存任务的执行状态；

若执行状态为异常，则保存告警日志，输出告警信息给相关人员；

若执行状态为结束，则删除所述数据转存任务，保存执行日志和执行结果，并将所述执行结果发送给相关人员。

5.如权利要求2所述多数据源的数据转存方法，其特征在于，所述通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据之前的步骤包括：

判断所述数据转存配置信息中源数据库和目标数据库的相关信息是否具备有效性；

若所述源数据库和目标数据库相关信息不具备有效性，则执行结束，发送所述数据转存配置信息的有效性验证信息给相关人员。

6.一种多数据源的数据转存方法，其特征在于，所述方法应用于客户端，所述多数据源的数据转存方法的步骤包括：

接收用户的数据转存信息的配置指令；

根据所述配置指令，发送数据转存配置信息到服务器，以供所述数据服务器根据所述转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。

7.如权利要求6所述多数据源的数据转存方法，其特征在于，所述根据所述配置指令，发送数据转存配置信息到服务器之后的步骤还包括：

接收服务器发送的所述数据转存配置信息的有效性验证信息、所述数据转存任务的生成结果及执行结果。

8.一种多数据源的数据转存系统，所述多数据源的数据转存系统包括客户端和服务器：

所述客户端，用于接收用户配置指令，发送数据转存配置信息到服务器；接收用户历史转存信息查阅指令并发送指令到服务器；

所述服务器包括：调度器模块，用于从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；接收客户端发送的用户历史转存信息查阅指令并执行；

任务生成器模块，用于判断所述数据转存配置信息包括源数据库和目标数据库相关信息的有效性；根据所述数据转存配置信息，配置数据转存任务，获取任务元数据；建立转存任务配置资源池，添加任务元数据；下发数据转存任务到任务执行器模块；监控所述数据转存任务执行情况，并更新任务状态，通知用户；

任务执行器模块，用于根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库；所述数据转存任务执行结束后,发送执行结果到任务生成器模块。

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多数据源的数据转存程序，所述多数据源的数据转存程序被所述处理器执行时实现如权利要求1-5中任一项所述的多数据源的数据转存方法的步骤或实现如权利要求6-7中任一项所述的多数据源的数据转存方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有多数据源的数据转存程序，所述多数据源的数据转存程序被所述处理器执行时实现如权利要求1-5中任一项所述的多数据源的数据转存方法的步骤或实现如权利要求6-7中任一项所述的多数据源的数据转存方法的步骤。

Images