CN117112660A - 一种Excel数据导入导入方法及工具 - Google Patents

Abstract

本发明一种Excel文件数据导入方法，包括以下步骤：加载Excel文件，并对Excel文件进行展示；确定数据区，确定需要导入的Sheet页，要导入的目标数据库、对应的数据库表；按照对应的字段匹配以及相关的存储过程，进行Excel文件配置；对配置后的Excel文件数据进行转换，转换为符合目标数据库表需要的数据集；将转换后数据集通过相应的存储过程导入数据库。本申请主要通过配置进行数据导入，这些配置是可以保存的；通过工具支持了完整的导入过程，用户无需在各种工具中切换，从而提高了效率。

Description

一种Excel数据导入导入方法及工具

技术领域

本发明属于全自动化产品领域，涉及一种Excel数据导入导入方法及工具。

背景技术

Excel文件中的数据导入到关系型数据库在企业应用开发中是一个常见的需要解决的问题，根据应用场景的不同，可以采用定制编程实现，借助第三方导入工具或者借助数据库辅助工具这几种方式解决：

1、定制编程这种方式是根据业务需求进行定制编程，分为以下几个步骤：

a、选取一个能读取Excel数据第三方库，比如，POI等。

b、使用编程语言，如Java，C#，Python等，对Excel文件数据进行读取，进行预处理。

c、对原数据字段和目标数据库表字段进行映射，通过编程实现必要的数据转换，把数据导入到目标数据库。

2、第三方导入工具这种方式是选择一款第三方工具，例如微软的PowerAutomate，Navicat,SQLizer，DropBase等进行Excel数据导入工作；不同的导入工具往往使用的场景不同，有的需要把数据导入到云端数据库，比如DropBase。

3、数据库辅助工具这种方式往往只能适用于特定数据库，并不支持导入到多种数据库中，像微软SQLServer等数据库可以把Excel数据导入到SQL Server数据库。

以上的技术方案，各有特点，也各有缺陷，例如，数据库辅助工具往往只能处理比较简单的应用场景，导入逻辑稍微复杂些，便很难用或者不能用；第三方导入工具有的需要导入到云端，有的导入步骤繁琐，有的只支持某个特定数据库，不能支持交复杂的数据转换逻辑，而定制编程实现，后期维护又很困难，缺乏通用性和灵活性，IT维护成本高。总之，有这样一些突出问题：

1、数据转换的局限往往只能支持简单数据字段映射，不能支持源数据到目标数据库表的较复杂的转换逻辑

2、缺少对要导入的Excel数据进行可视化的管理和配置在多数的应用场景中，各个企业的Excel数据字段格式和数据内容千差万别，而且数据导入不是指简单的将Excel表格数据无脑的导入数据库，一般来说，在数据源端，需要支持对Excel数据的筛选，可以指定导入的数据区域，设置导入规则；而在目标端，可以指定导入的数据库类型以及数据库表。

在这种情况下，需要一种有效的工具来流畅的进行数据指定和配置，完成Excel数据的导入和维护工作，这种工具需要很容易被企业IT人员和最终用户方便使用和维护，具有灵活性和通用性。

发明内容

为了解决上述问题，本发明采用的技术方案是：一种Excel文件数据导入方法，包括以下步骤：

加载Excel文件，并对Excel文件进行展示；

确定数据区，确定需要导入的Sheet页，要导入的目标数据库、对应的数据库表；按照对应的字段匹配以及相关的存储过程，进行Excel文件配置；

对配置后的Excel文件数据进行转换，转换为符合目标数据库表需要的数据集；

将转换后数据集通过相应的存储过程导入数据库。

进一步地：所述Excel文件配置通过Excel文件操作Id为主键进行标识。

进一步地：所述Excel文件配置包括表格化配置、数据库配置和数据适配器配置。

进一步地：所述表格化配置包括以下步骤：

通过Excel的表操作来确定需要被操作的数据区，确定数据区的左上角和右下角区域；

然后需要确定数据区应用的Sheet页，假定本次导入操作对不同Sheet页具有同样的待处理数据区；当确实需要对该数据文件进行多次导入操作，则需要定义另一次数据导入操作配置，完成了数据区域指定和Sheet页的配置后，即进行标记表的程序自动化操作。

进一步地：所述数据库配置通过确定目标数据库名称和目标表名称，通过数据区的单元表格与数据库表字段的映射实现。

进一步地：所述对配置后的Excel文件数据进行转换采用插件技术。

进一步地：所述插件技术通过定义插件的接口规范进行。

一种Excel文件数据导入工具ExcelHub，包括：

Excel文件加载及编辑模块：用于加载Excel文件，并对Excel文件进行展示；

Excel文件导入及配置模块：用于确定数据区，确定需要导入的Sheet页，要导入的目标数据库、对应的数据库表；对应的字段匹配以及相关的存储过程，进行Excel文件配置；

Excel文件数据转换模块：用于对配置后的Excel文件数据进行转换，将Excel数据转换为符合数据库表需要的数据集，以便导入数据库；

目标数据库管理模块：用于将转换后数据导入数据库。

本发明提供的一种Excel数据导入方法及导入工具，具有以下优点：本发明在实现过程中的关键点一是支持了插件和实时编译功能，从而解决了不同企业数据的差异性造成的复杂性问题，同时，对于维护层面，也易于IT部门对系统进行维护，二是开发了类似Excel的工具(ExcelHub)，支持微软Excel的加载和管理；三是配置性，主要通过配置进行数据导入，这些配置是可以保存的；四是通过工具支持了完整的导入过程，用户无需在各种工具中切换，从而提高了效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是整体技术方案图；

图2是表格化配置界面；

图3是数据库配置界面；

图4是插件源码编辑器；

图5是数据导入预览界面；

图6是Excel文件打开和编辑界面；

图7是Excel数据管理界面；

图8是Excel导入配置界面；

图9是数据转换源码编辑器界面；

图10是Excel数据导入预览图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合，下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制：方位词“内、外”是指相对于各部件本身的轮廓的内外。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其位器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。

图1是本发明技术方案的主流程图。如图1所示，

一种Excel文件数据导入方法，包括以下步骤：

S1:加载Excel文件，并对Excel文件进行展示；

S2:确定需要导入的Sheet页，要导入的目标数据库、对应的数据库表；按照对应的字段匹配以及相关的存储过程，进行Excel文件配置；

S3:配置后的Excel文件数据进行转换，变为数据库表需要的数据集；

S4:将转换后数据导入数据库。

所述S1/S2/S3/S4顺序执行；

本发明技术方案对Excel文件数据导入处理的环节包括：Excel加载管理，导入配置，数据转换，入库处理，是一个完整的数据导入过程，而不是只关注某个环节，整个流程在本工具内完成。假定从在工具里打开Excel文件到把里面需要导入的数据导入到数据库，这一过程叫做一次数据导入操作，导入配置也是针对一次数据导入操作进行，一个Excel文件可以包括一个或多个Sheet页，如果每个Sheet页的导入数据区域一致，多个Sheet页的数据可以一次数据导入操作中完成。

Excel文件数据加载通过开发好的类似Excel的工具(工具名称：ExcelHub)，一种Excel文件数据导入工具ExcelHub，包括：Excel文件加载及编辑模块：用于加载Excel文件，并对Excel文件进行展示；Excel文件导入及配置模块：用于确定数据区，确定需要导入的Sheet页，要导入的目标数据库、对应的数据库表；对应的字段匹配以及相关的存储过程，进行Excel文件配置；Excel文件数据转换模块：用于对配置后的Excel文件数据进行转换，将Excel数据转换为符合数据库表需要的数据集，以便导入数据库；目标数据库管理模块：用于将转换后数据导入数据库。

加载Excel文件，并在工具里进行展示，该工具开发了大多数的Excel功能，可以利用这些功能对数据进行编辑，同时，也支持从数据库中加载Excel文件。ExcelHub是发明人为方便快捷的完成从打开Excel文件到Excel文件数据导入数据库全过程而开发的工具软件，它包括了Excel文件加载以及编辑模块，数据导入配置模块，数据适配器和插件管理模块以及目标数据库管理模块。ExcelHub打开Excel文件跟微软Excel打开Excel文件是一样的，不同的是，ExcelHub还可以打开存储在数据库里的Ecxel文件数据，可以把ExcelHub理解为微软Excel的简化版本，加上具有导入数据库功能的工具软件。ExcelHub字面的意思是Excel数据管道，通过管道可以进入关系型数据库，如Oracle，SQL Server等数据库，以便企业在关系型数据库上进行数据分析。

导入配置Excel数据包含了各种数据，不一定需要对整个数据进行导入，所以需要需要指定导入的数据区域，一般使用区域的左上角和右下角的单元区域来表示，例如A5:AJ35就表示了一个数据区域。导入配置包括确定数据区，确定需要导入的Sheet页，要导入的目标数据库、对应的数据库表，对应的字段匹配以及相关的存储过程等。配置是通过文件操作id为主键进行标识。操作Id用来唯一标记一次导入的配置，配置包括数据区定义，目标数据库以及表等信息。对于每一次导入的所有配置数据，将通过Excel文件操作Id为主键进行标识，这些配置保存在数据库中，可以被查询以便重复使用，例如，对于每天都会产生的Excel产品数据，只要导入规则一样，只需要配置一次，以后每天的数据都可以按照这个配置进行数据转换和导入，无需重复配置。

所述Excel文件配置主要分为三方面的配置：表格化配置、数据库配置和数据适配器配置，这三方面的配置在一个界面里完成，参见图2和图3，，在执行数据转化为数据库需要的数据集的任务中，程序会自动调用这些配置。

(2.1)表格化配置，通过Excel的表(Table)操作来确定需要被操作的数据区，需要确定数据区的左上角(单元格名称)和右下角(单元格名称)区域。然后需要确定数据区应用的Sheet页，需要假定本次导入操作对不同Sheet页具有同样的待处理数据区。如果确实需要对该数据文件进行多次导入操作，则需要定义另一次数据导入操作配置。完成了数据区域指定和Sheet页的配置后，即可以进行标记表的程序自动化操作。配置界面如图2所示；

(2.2)数据库配置导入数据库时，需要确定导入的目标数据库及目标表，以及数据区的单元表格与数据库表字段的映射。这也可以通过配置界面完成，数据库配置界面如图3所示；

由于实际情况千差万别，为了适应这种情况，往往不是简单的字段映射这么简单，这也是为什么很多数据导入工具不适用的原因。本工具采用插件(PlugIn)技术，可挂接不同的数据转换适配器源码(使用哪个数据适配器是根据具体完成那个功能而定的)，通过支持实时编译的方式解决业务逻辑的灵活性问题，这也是本工具一个优点或特色。外挂的源代码可以在本工具里进行编写，并编译运行。可以通过配置将决定本次数据导入使用的数据转换插件。

插件的本质是在不修改程序主体的情况下对软件功能进行加强。本发明定义了插件的接口规范，按照规范可以开发符合企业自己业务需求的各种插件，比如，产品数据转换插件，耗电数据转换插件，每个插件可以命名为一个数据适配器。根据业务需求，配置的时候不同业务功能的数据转换适配器。这里的插件支持实时编译的方式；不同的数据转换适配器应该理解为实现不同业务规则的数据转换适配器，是根据实际业务规则来定。

插件代码可以通过文件打开按钮打开，可以保持到工具里也可以选择保存到数据库中，示例界面图4所示；

在进行上面两个配置步骤后，就可以对数据进行导入数据库的操作了，具体操作如下图所示，点击主界面上的数据预览按钮，会弹出数据预览窗口，该窗体上面会有两个TAB页面，一个是原始数据，一个是处理后数据，此时点击数据整理按钮，会对原始数据进行转换，并显示处理后数据，处理后的数据是点击数据整理按钮生成的结果，处理后的数据若没有问题，直接点击导入数据库按钮，程序会调用本次导入配置中的存储过程进行处理，就完成了数据导入工作。

图5是数据导入预览界面；

图6是Excel文件打开和编辑界面；

图7是Excel数据管理界面；

图8是Excel导入配置界面；

图9是数据转换源码编辑器界面；

图10是Excel数据导入预览图。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种Excel文件数据导入方法，其特征在于：包括以下步骤：

加载Excel文件，并对Excel文件进行展示；

确定数据区，确定需要导入的Sheet页，要导入的目标数据库、对应的数据库表；按照对应的字段匹配以及相关的存储过程，进行Excel文件配置；

对配置后的Excel文件数据进行转换，转换为符合目标数据库表需要的数据集；

将转换后数据集通过相应的存储过程导入数据库。

2.根据权利要求1所述的一种Excel文件数据导入方法，其特征在于：所述Excel文件配置通过Excel文件操作Id为主键进行标识。

3.根据权利要求1所述的一种Excel文件数据导入方法，其特征在于：所述Excel文件配置包括表格化配置、数据库配置和数据适配器配置。

4.根据权利要求3所述的一种Excel文件数据导入方法，其特征在于：所述表格化配置包括以下步骤：

通过Excel的表操作来确定需要被操作的数据区，确定数据区的左上角和右下角区域；

然后需要确定数据区应用的Sheet页，假定本次导入操作对不同Sheet页具有同样的待处理数据区；当确实需要对该数据文件进行多次导入操作，则需要定义另一次数据导入操作配置，完成了数据区域指定和Sheet页的配置后，即进行标记表的程序自动化操作。

5.根据权利要求3所述的一种Excel文件数据导入方法，其特征在于：所述数据库配置通过确定目标数据库名称和目标表名称，通过数据区的单元表格与数据库表字段的映射实现。

6.根据权利要求1所述的一种Excel文件数据导入方法，其特征在于：所述对配置后的Excel文件数据进行转换采用插件技术。

7.根据权利要求1所述的一种Excel文件数据导入方法，其特征在于：所述插件技术通过定义插件的接口规范进行。

8.一种Excel文件数据导入工具ExcelHub，其特征在于：包括：

Excel文件加载及编辑模块：用于加载Excel文件，并对Excel文件进行展示；

Excel文件导入及配置模块：用于确定数据区，确定需要导入的Sheet页，要导入的目标数据库、对应的数据库表；对应的字段匹配以及相关的存储过程，进行Excel文件配置；

Excel文件数据转换模块：用于对配置后的Excel文件数据进行转换，将Excel数据转换为符合数据库表需要的数据集，以便导入数据库；

目标数据库管理模块：用于将转换后数据导入数据库。