CN105824849A - 一种数据导入方法及适配器 - Google Patents

Abstract

本发明涉及数据处理领域，特别涉及一种数据导入方法及适配器，用以解决现有技术中存在的数据导入通用性较差的问题。本发明实施例通过设置源数据与目标数据之间的对照关系，然后根据源数据与目标数据的对照关系对源数据进行处理，生成对应的目标数据，在完成处理后对所述目标数据进行持久化处理，从而完成数据的导入。对于各个外部系统的不同导入需求，设置相应的对照关系即可满足各类系统的导入需求，提高了数据导入的通用性。

Description

一种数据导入方法及适配器

技术领域

本发明涉及数据处理领域，特别涉及一种数据导入方法及适配器。

背景技术

随着企业中应用系统数量的逐步增加，承载各种应用的服务系统也越来越多，企业内部数据库与外部信息系统交互也越来越多，基于这种应用需求，涉及导入导出数据处理场景越来越频繁。

目前存在的解决方案主要是根据各个系统的个性化需求设置对应的导入功能或者是采用第三方的导入产品，仅能满足对应系统的个性化需求，通用性较差，不能形成统一管控接口，数据准确性、数据格式统一性都得不到有效保证。

发明内容

本发明实施例提供了一种数据导入方法及适配器，用以解决现有技术中存在的数据导入通用性较差的问题。

本发明实施例提供的一种数据导入方法，包括以下步骤：

设置源数据与目标数据之间的对照关系；

根据所述源数据与目标数据的对照关系对源数据进行处理，生成对应的目标数据；

对所述目标数据进行持久化处理。

较佳地，在根据所述源数据与目标数据的对照关系对源数据进行处理之前，还包括：

确认源数据的类型，若所述源数据为文件源，则配置该文件源的文件路径信息；若所述源数据为数据源，则配置该数据源的登录信息；若所述源数据为WebService源，则将所述WebService源的数据加入中间表。

较佳地，在根据所述源数据与目标数据的对照关系对源数据进行处理之前，还包括：

若所述源数据为文件源，则根据所述文件源的文件路径信息获取所述文件源的数据作为源数据；

若所述源数据为数据源，则根据所述数据源的登录信息获取所述数据源的数据作为源数据；

若所述源数据为WebService源，则由中间表获取所述WebService源的数据作为源数据。

较佳地，在根据所述源数据与目标数据的对照关系对源数据进行处理之前，还包括：

根据预设的导入条件，对源数据进行过滤。

较佳地，所述设置源数据与目标数据之间的对照关系，具体包括：

设置源数据中任一字段的数据与所述目标数据中对应字段的数据之间的对照关系。

本发明实施例还提供了一种数据导入适配器，包括：

对照设置模块，用于确定数据来源中每个字段与目标数据库的对应字段之间的对照关系，并根据所述对照关系将数据来源中所有字段内的数据缓存至目标数据库的对应字段内，作为第一数据；

数据处理模块，根据预设的转换规则对所述第一数据进行转换，生成第二数据；

持久化模块，用于对所述第二数据进行持久化处理，完成数据导入。

较佳地，所述对照设置模块，还用于：

确认数据来源的类型，若所述数据来源为文件源，则配置该文件源的文件路径信息，并根据所述文件源的文件路径信息获取所述文件源的数据作为数据来源；

若所述数据来源为数据源，则配置该数据源的登录信息，并根据所述数据源的登录信息获取所述数据源的数据作为数据来源；

若所述数据来源为WebService源，则将所述WebService源的数据加入目标数据库的中间表，并由中间表获取所述WebService源的数据作为数据来源。

较佳地，所述数据处理模块，还用于：

根据预设的导入条件，对所述数据来源中的数据进行过滤。

较佳地，所述数据处理模块，还用于：

对所述第一数据的存储格式进行转换，生成第二数据；或

对所述第一数据进行公式运算，生成第二数据；或

将所述第一数据设置为默认值，作为第二数据。

较佳地，所述数据处理模块，还用于：对所述文件源进行备份。

本发明实施例通过设置源数据与目标数据之间的对照关系，然后根据源数据与目标数据的对照关系对源数据进行处理，生成对应的目标数据，在完成处理后对所述目标数据进行持久化处理，从而完成数据的导入。对于各个外部系统的不同导入需求，设置相应的对照关系即可满足各类系统的导入需求，提高了数据导入的通用性。

附图说明

图1为本发明实施例提供的一种数据导入方法的流程图；

图2为采用本发明实施例的方法进行数据导入的处理流程图；

图3为本发明实施例提供的一种数据导入适配器的结构示意图。

具体实施方式

本发明实施例在确定数据来源中每个字段与目标数据库的对应字段之间的对照关系之后，根据该对照关系将数据来源中的数据缓存至目标数据库的对应字段内作为第一数据，然后根据目标数据库对于数据形式的要求，采用预设的转换规则对缓存的第一数据进行转换生成第二数据，对于不同数据来源的导入需求，仅需要设置相应的对照关系以及转换规则，即可将数据来源中的数据转换为符合目标数据库要求的第二数据，然后通过持久化处理，存第二数据即可完成数据的导入，因此数据导入的通用性得到了提高。

下面结合说明书附图对本发明实施例作进一步详细描述。

如图1所示，本发明实施例提供的一种数据导入方法，包括以下步骤：

步骤101，确定数据来源中每个字段与目标数据库的对应字段之间的对照关系，并根据对照关系将数据来源中所有字段内的数据缓存至目标数据库的对应字段内，作为第一数据；

本实施例中的数据来源是指需要汇总数据的外部系统，而目标数据库是指内部系统的数据库，用于保存由外部系统导入的数据。针对目前外部系统的现状，本发明实施例可以对以下几种类型的数据来源进行快速导入，分别为文件源、数据源以及WebService(基于web的服务)源。针对上述几种数据来源，分别采用不同的工作模式，分别如下：

一、文件源模式

文件源模式支持一些用于保存数据的标准文件格式，例如CSV(Comma-SeparatedValues，逗号分隔值)格式，Excel软件生成的文件格式等。

在确定数据来源中所有字段与目标数据库的对应字段之间的对照关系之前，对数据来源的类型进行确认，确认数据来源的类型，若数据来源为文件源，则配置该文件源的文件路径信息。由此，能够根据文件源的文件路径信息获取文件源的数据，并以此作为数据来源进行后续的数据导入处理。

由于外部系统中的文件源均为标准格式文件，根据文件内数据保存的标准形式，可以确定数据来源中所有字段与目标数据库的对应字段之间的对照关系。

以Excel文件为例，在Excel文件中每个数据表内的每个字段的数据一般采用列的形式保存。常用的处理方式为：将Excel文件内数据表的第一行作为每个字段的表头标识，第二行起的其它数据作为每个字段的业务数据，表头标识和业务数据之间的存在对应关系，其中表头标识用于标记该字段在Excel文件数据表的位置，业务数据则用于记录该字段的实际数据内容。通过映射可以获得Excel文件内数据表的表头标识与目标数据库字段之间的对应关系，而通过表头标识和业务数据之间的对应关系可以获取到对应字段的实际数据内容，由此可以确定数据来源中所有字段与目标数据库的对应字段之间的对照关系。

二、数据源模式

数据源模式支持一些常用的数据库程序，例如Oracle、SqlServer、DB2，MySql数据库系统等。

在设置数据来源与目标数据之间的对照关系之前，对数据来源的类型进行确认，若数据来源为数据源，则配置该数据源的登录信息，该登录信息可以包括用户名、密码、主机IP(InternetProtocol，网间互联协议)地址等。通过该登录信息，能够登录到数据库系统获取相关的数据，来作为数据来源。

三、WebService源模式

WebService源的数据是指通过在内部系统统一配置WebService服务，由外部系统统一调用该服务，进而传送进内部系统的数据。外部系统作为本实施例中的数据来源，其数据通过统一配置的WebService服务进行传送，因此可以调用统一的数据接口，将数据直接传送至内部系统的目标数据库的中间表中。因此在数据导入时，可以调用中间表中的数据作为数据来源。

作为一种优选的实施方式，在根据对照关系将数据来源中所有字段内的数据缓存至目标数据库的对应字段内之前，还可以根据预设的导入条件，对数据来源的数据进行过滤。具体的导入条件可以为可以根据实际导入需求设置，例如设置数据的值域条件以排除不在该值域范围内的数据，或者设置数据的关键字信息以排除包含该关键字的数据等等。

步骤102，根据预设的转换规则对第一数据进行转换，生成第二数据。

由于步骤101是根据数据来源与目标数据库之间字段的对照关系将数据导入至相应的字段内，第一数据的格式或者数值可能不符合内部数据库的要求。因此需要根据预设的转换规则对第一数据进行转换。

本发明实施例中设置的转换规则主要包括存储格式对照转换、公式运算以及设置默认值等几个方式。

以存储格式对照转换为例，能够使得第一数据在向第二数据转换过程中，对其值域范围进行控制。例如币种字段数据的导入过程中，外部系统以RMB表示人民币，但是内部数据库需要的数据为CNY，在内部系统中CNY的实际存储格式为“0000000001”。若在导入过程中直接将缓存的第一数据“RMB”进行持久化处理，会使得存储格式错误，导致数据导入失败，因此在进行持久化处理之间需要将其转换为第二数据“0000000001”。

如果需要在目标数据库的某一字段中生成默认值，例如外部系统中某一字段在导入内部系统的目标数据库中时，需要默认保存为当前时间、单据号等，在进行转换时，通过设置默认值，直接将第一数据转换为设置的默认值，作为第二数据，即可实现，以满足一些个性化的需求以及实际的业务场景。

此外，对于需要在转换过程中进行数值计算的需求，可以通过公式计算来实现。例如，目标数据库中的某一字段需要根据数据来源中的几个字段求和或者求差时，那么在对第一数据进行转换时可以调用公式计算的转换规则，对相关的字段进行处理，以使数据来源中对应字段的值在根据对照关系处理后能够生产对应字段的数据。

步骤103，对第二数据进行持久化处理，完成数据导入。

对于文件源类型的数据来源，在对第二数据进行持久化处理之后，还可以对文件源进行备份。

在实际应用中，本发明实施例提供的方法尤其适用于基于J2EE(Java2PlatformEnterpriseEdition，Java2平台企业版)构架的系统。图2给出了采用上述方法进行数据导入的一种处理流程，包括以下步骤：

步骤201，获取外部系统的数据作为数据来源。

步骤202，判断对照关系设置是否通过校验，该步骤中，通过校验的方式对照关系中的相关配置信息进行确认，若对照关系与数据来源的类型以及字段内容匹配，则通过校验，执行步骤203；若不匹配，则需要根据该数据来源设置新的对照关系，然后重新进行校验。

步骤203，通过校验后，对根据数据来源的类型选择不同的处理方式，若数据来源为文件源，则执行步骤204；若为数据源，则执行204；若为WebService源，则直接将WebService源的数据加入中间表。

步骤204，读取文件源的数据，并保存在内部系统的缓存中。当数据来源为文件源时，则在由外部系统获取该文件源时，会配置该文件源的文件路径信息，并以此确定文件源的位置，读取其数据。

步骤205，读取数据源的数据，并保存在内部系统的缓存中。当数据来源为数据源时，则在由外部系统获取该数据源时，会配置该数据源的用户名、密码、主机IP地址等登录信息，以此来读取其数据。

步骤206，确定数据来源中每个字段与目标数据库的对应字段之间的对照关系。对于常用的数据来源，可以预设对照关系，只要在步骤202中能够顺利通过校验，则可以在本步骤中直接调用至缓存即可直接使用，例如对于已经进行过导入操作的数据来源，可以直接调用前一次的对照关系。

步骤207，缓存数据来源的数据，根据对照关系将数据来源中的数据缓存至目标数据库的对应字段内。

步骤208，对缓存内的数据进行转换处理，转换规则主要方式包括存储格式对照转换、公式运算以及设置默认值等几种，具体的处理过程如图2中虚线部分所示。在进行处理时，对各个字段的数据分别根据各自的转换规则进行处理，将处理成功的数据写入暂时保留在缓存内。对于存储格式对照转换的转换处理，若处理失败，则缓存失败的数据，重新进行存储格式对照转换，直至处理成功。

步骤209，若根据转换规则进行的转换处理没有异常，则调用统一数据存储接口对缓存数据进行持久化处理，构造保存于内部系统目标数据库中的业务数据。

步骤210，存储业务数据。

通过上述步骤完成了外部系统的数据导入，对于同一部外系统，由于其数据来源相对固定，在实际使用时无需多次更新对照关系以及转换规则，数据导入效率高。而对于不同的外部系统，仅需要设置相应的对照关系以及转换规则，即可满足各类系统的导入需求，无需针对导入程序的代码进行二次开发或者扩展，通用性较强，能够快速应用于新的外部系统中。

基于同一发明构思，本发明实施例中还提供了数据导入适配器，由于该适配器解决问题的原理与本发明实施例中方法的实现相似，因此该适配器的实施可以参见方法的实施，重复之处不再赘述

如图3所示，本发明实施例提供的一种数据导入适配器，包括：

对照设置模块310，用于确定数据来源中每个字段与目标数据库的对应字段之间的对照关系，并根据所述对照关系将数据来源中所有字段内的数据缓存至目标数据库的对应字段内，作为第一数据；

数据处理模块320，根据预设的转换规则对所述第一数据进行转换，生成第二数据；

持久化模块330，用于对所述第二数据进行持久化处理，完成数据导入。

较佳地，对照设置模块310，还用于：

确认数据来源的类型，若所述数据来源为文件源，则配置该文件源的文件路径信息，并根据所述文件源的文件路径信息获取所述文件源的数据作为数据来源；

若所述数据来源为数据源，则配置该数据源的登录信息，并根据所述数据源的登录信息获取所述数据源的数据作为数据来源；

若所述数据来源为WebService源，则将所述WebService源的数据加入目标数据库的中间表，并由中间表获取所述WebService源的数据作为数据来源。

较佳地，数据处理模块320，还用于：

根据预设的导入条件，对所述数据来源中的数据进行过滤。

较佳地，数据处理模块320，还用于：

对所述第一数据的存储格式进行转换，生成第二数据；或

对所述第一数据进行公式运算，生成第二数据；或

将所述第一数据设置为默认值，作为第二数据。

较佳地，数据处理模块320，还用于：对所述文件源进行备份。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据导入方法，其特征在于，包括以下步骤：

确定数据来源中每个字段与目标数据库的对应字段之间的对照关系，并根据所述对照关系将数据来源中所有字段内的数据缓存至目标数据库的对应字段内，作为第一数据；

根据预设的转换规则对所述第一数据进行转换，生成第二数据；

对所述第二数据进行持久化处理，完成数据导入。

2.根据权利要求1所述的方法，其特征在于，在确定数据来源中中每个字段与目标数据库的对应字段之间的对照关系之前，还包括：

确认数据来源的类型，若所述数据来源为文件源，则配置该文件源的文件路径信息，并根据所述文件源的文件路径信息获取所述文件源的数据作为数据来源；

若所述数据来源为数据源，则配置该数据源的登录信息，并根据所述数据源的登录信息获取所述数据源的数据作为数据来源；

若所述数据来源为WebService源，则将所述WebService源的数据加入目标数据库的中间表，并由中间表获取所述WebService源的数据作为数据来源。

3.根据权利要求1所述的方法，其特征在于，在根据所述对照关系将数据来源中所有字段内的数据缓存至目标数据库的对应字段内之前，还包括：

根据预设的导入条件，对所述数据来源中的数据进行过滤。

4.根据权利要求1-3中任一所述的方法，其特征在于，所述根据预设的转换规则对所述第一数据进行转换，生成第二数据，具体包括：

对所述第一数据的存储格式进行转换，生成第二数据；或

对所述第一数据进行公式运算，生成第二数据；或

将所述第一数据设置为默认值，作为第二数据。

5.根据权利要求1所述的方法，其特征在于，若所述数据来源为文件源，则在对所述第二数据进行持久化处理之后，还包括：

对所述文件源进行备份。

6.一种数据导入适配器，其特征在于，包括：

对照设置模块，用于确定数据来源中每个字段与目标数据库的对应字段之间的对照关系，并根据所述对照关系将数据来源中所有字段内的数据缓存至目标数据库的对应字段内，作为第一数据；

数据处理模块，根据预设的转换规则对所述第一数据进行转换，生成第二数据；

持久化模块，用于对所述第二数据进行持久化处理，完成数据导入。

7.根据权利要求6所述的适配器，其特征在于，所述对照设置模块，还用于：

确认数据来源的类型，若所述数据来源为文件源，则配置该文件源的文件路径信息，并根据所述文件源的文件路径信息获取所述文件源的数据作为数据来源；

若所述数据来源为数据源，则配置该数据源的登录信息，并根据所述数据源的登录信息获取所述数据源的数据作为数据来源；

若所述数据来源为WebService源，则将所述WebService源的数据加入目标数据库的中间表，并由中间表获取所述WebService源的数据作为数据来源。

8.根据权利要求7所述的适配器，其特征在于，所述数据处理模块，还用于：

根据预设的导入条件，对所述数据来源中的数据进行过滤。

9.根据权利要求6至8任一项所述的适配器，其特征在于，所述数据处理模块，还用于：

对所述第一数据的存储格式进行转换，生成第二数据；或

对所述第一数据进行公式运算，生成第二数据；或

将所述第一数据设置为默认值，作为第二数据。

10.根据权利要求9所述的适配器，其特征在于，所述数据处理模块，还用于：

对所述文件源进行备份。