CN111143450B - 导入数据的方法和装置 - Google Patents

Abstract

本说明书提供一种导入数据的方法和装置，用于将待导入数据表中的数据导入信息管理系统的业务表，方法包括：根据所述待导入数据表的校验标识，查找对应的注解表；根据所述注解表的字段信息确定所述待导入数据表中各个字段的字段名称；将待导入数据表中第一字段的数据存储在所述业务表的第二字段中；其中：所字段信息根据所述待导入数据表的格式配置，或者根据与所述待导入数据表格式相同的数据表的格式配置；所述第一字段的字段名称与所述第二字段的字段名称一一对应。前述方法的执行仅需要为各个待导入数据表建立对应的注解表，无需对信息管理系统的导入接口代码做更改。

Description

导入数据的方法和装置

技术领域

本发明涉及数据库技术领域，尤其涉及一种导入数据的方法和装置。

背景技术

为了提高基础数据和业务数据的录入效率，信息管理系统一般提供数据导入功能。但是，为了满足导入数据和数据库内部数据格式的一致性，目前的信息管理系统仅能提供特定格式的输入。为了满足不同客户原始表格数据导入需求，开发人员需要根据原始表格数据的格式调整调入接口的配置；信息管理系统使用过程中，用户如采用了不同类型的表格数据，也需要先手动切换为原始表格数据后，再实现数据的导入。

发明内容

本说明书提供一种导入数据的方法和装置，用于实现多种类型格式的数据文件兼容导入到信息管理系统中。

一方面，本说明书提供一种导入数据的方法，用于将待导入数据表中的数据导入信息管理系统的业务表，包括：

根据所述待导入数据表的校验标识，查找对应的注解表；

根据所述注解表的字段信息确定所述待导入数据表中各个字段的字段名称；

将待导入数据表中第一字段的数据存储在所述业务表的第二字段中；

其中：所字段信息根据所述待导入数据表的格式配置，或者根据与所述待导入数据表格式相同的数据表的格式配置；所述第一字段的字段名称与所述第二字段的字段名称一一对应。

可选的，所述方法还包括：

按照所述待导入数据表的格式，拷贝所述待导入数据表中的数据至中间数据表；

根据所述注解表的字段信息确定所述待导入数据表中各个字段的字段名称，具体为：根据所述字段信息，确定所述中间数据表中各个字段的字段名称；

将待导入数据表中第一字段的数据存储在所述业务表的第二字段中，具体为：

将所述中间数据表中第一字段的数据存储在所述业务表的第二字段中。

可选的，所述注解表包括所述待导入数据表的提取范围；

按照所述待导入数据表的格式，拷贝所述待导入数据表中的数据至中间数据表，包括：

根据所述提取范围和所述待导入数据表的格式，拷贝所述待导入数据表各个字段数据至中间数据表。

可选的，所述注解表的字段信息包括各个字段对应的预设数据类型；

将所述中间数据表中第一字段的数据存储在所述业务表的第二字段中，包括：

在所述第一字段的数据类型为对应的所述预设数据类型的情况下，将所述第一字段数据存储在所述第二字段中。

可选的，所述注解表包括各个字段对应的筛选条件；所述筛选条件包括各个字段下的行标识，和/或，各个字段下的筛选阈值；

将待导入数据表中的第一字段的数据存储在所述业务表的第二字段中，包括：将满足筛选条件的第一字段数据存储在所述业务表的第二字段中。

可选的，将待导入数据表中的第一字段数据存储在所述业务表的第二字段中，包括：

将第一字段数据中的数据由第一数据类型转换为第二数据类型；

将转换为第二数据类型的第一字段数据存储至所述第二字段中；

其中：所述第二数据类型为所述第二字段默认的数据类型。

另一方面，本说明书提供一种导入数据的装置，用于将待导入数据表中的数据导入信息管理系统的业务表，包括：

注解表获取模块，用于根据所述待导入数据表的校验标识，查找对应的注解表；

字段名称获取模块，用于根据所述注解表的字段信息确定所述待导入数据表中各个字段的字段名称；

存储模块，用于将待导入数据表中第一字段的数据存储在所述业务表的第二字段中；

其中：所述注解表根据所述待导入数据表的格式配置，或者根据与所述待导入数据表格式相同的数据表的格式配置；所述第一字段的字段名称与所述第二字段的字段名称一一对应。

可选的，所述装置还包括拷贝模块，用于按照所述待导入数据表的格式，拷贝所述待导入数据表中的数据至中间数据表；

所述字段名称获取模块具体用于根据所述注解表的字段信息确定所述中间数据表中各个字段的字段名称；

所述存储模块具体用于将所述中间数据表中第一字段的数据存储在所述业务表的第二字段中。

可选的，所述注解表的字段信息包括各个字段对应的预设数据类型；

所述存储模块在所述第一字段的数据类型为对应的所述预设数据类型的情况下，将所述第一字段数据存储在所述第二字段中。

可选的，所述注解表包括各个字段对应的筛选条件；所述筛选条件包括各个字段下的行标识，和/或，各个字段下的筛选阈值；

所述存储模块将满足筛选条件的第一字段数据存储在所述业务表的第二字段中。

本说明书提供的导入数据的方法和装置，通过注解表建立待导入数据表中的各种字段和业务表字段的对应关系，继而直接将待导入数据表中字段数据存储到业务表中对应的字段中。前述方法的执行仅需要为各个待导入数据表建立对应的注解表，无需对信息管理系统的导入接口代码做更改。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1是实施例一提供的导入数据的方法的流程图；。

图2是实施例二提供的导入数据的方法的流程图；

图3是实施例提供的导入数据的装置的结构示意图；

其中：11-注解表获取模块，12-字段名称获取模块，13-存储模块。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本说明书实施例提供一种导入数据的方法，应用在信息管理系统，用于在不改变信息管理系统的导入接口软件代码的前提下，将多种格式的数据表格通过导入接口导入到信息管理系统中。

实施例一

图1是实施例一提供的导入数据的方法的流程图。如图1所示，实施例一提供的方法包括步骤S101-S103。

S101：根据待导入数据表的校验标识，查找对应的注解表。

为了能够将各种格式的数据表导入到信息管理系统的业务表中；首先需要建立与各种类型的待导入数据表一一对应的注解表。

实际应用中，注解表的制作方法有以下两种：(1)在已经具有待导入数据表的情况下，注解表可以根据待导入数据表制作；(2)在没有待导入数据表的情况下，可以先建立一个字段已配置的数据表，并利用此数据表制作注解表；随后，可以在前述数据表中添加数据形成待导入数据表。

本实施例中，注解表中具有字段信息，字段信息根据前述的待导入数据表或者字段已配置数据表的格式配置。字段信息反应了待导入数据表的各个字段属性，前述属性至少包括字段名称和字段的字符属性等。例如，在一个数据表中，其各列的字段名称分别为流水号、客户名称、客户银行账户和客户联系方式；对应的，前述各个字段的字符属性分别为数字、文本、数字和文本。

为了能够查找到对应的注解表，每个待导入数据表均具有校验标识；实际应用中，校验标识可以是到导入数据表的文件名称、待导入数据表的表头信息等，本实施例并不做特别地限定。

还应注意的是，根据待导入数据表的校验标识查找对应的注解表的过程，可以是由硬件设备自动执行的过程，也可以是用户根据校验标识手动选定注解表的过程，本实施例也并不做特别地限定。

S102：根据注解表的字段信息确定待导入数据表中各个字段的字符名称。

步骤S102通过解析注解表中的字段信息，确定待调入数据表中各个字段的字段名称，也就是确定待导入数据表中的各个字段(各个列)存储了何种类型的数据。

S103：将待导入数据表中第一字段的数据存储在业务表的第二字段中。

前述的第一字段和第二字段中的“第一”和“第二”仅是用于区分不同字段，并不是用于标识两个字段的先后顺序。实际应用中，第一字段可能是待导入数据表中的多个字段，对应的，第二字段是业务表中的多个字段。

前述的第一字段的字段名称和第二字段的字段名称一一对应；在一种情况下，前述的一一对应为二者的名称相同，在另一种情况下，前述的一一对应为二者名称并不相同，但建立了映射关系。在第一字段的名称和第二字段的名称不相同的情况下，在注解表中应当存储第一字段的字符名称和第二字段的字符名称的映射关系。

通过前述分析可知，针对不同格式的待导入数据表，可以建立相应的注解表，并将注解表配置到信息管理系统中。

在需要将前述待导入数据表导入到信息管理系统的业务表时，通过注解表可以确定待导入数据表中的各种字段和业务表字段的对应关系，并直接将待导入数据表中字段数据存储到业务表中对应的字段中。前述方法的执行仅需要为各个待导入数据表建立对应的注解表即可，无需对信息管理系统的导入接口代码做更改。

实施例二

图2是实施例二提供的导入数据的方法的流程图。如图2所示，实施例二提供的方法包括步骤S201-S204。因为步骤S201-S204的执行逻辑大体与实施例一相同，因此下文主要对实施例二的执行步骤和实施例二与实施例一的不同之处做分析。

S201：按照待导入数据表的格式，拷贝待导入数据表中的数据至中间数据表。

实际应用中，待导入数据表一般存储在诸如硬盘等低速读取设备上；而在数据导入过程涉及各种字段数据的关联查找工作，需要频繁进行数据的读取和校验；为了提高处理速度，步骤S201首先将待导入数据表进行整体拷贝，使其存储在电子设备的内存或者高速缓存中。

应当注意，前述的整体拷贝是在数据表结构格式上的整体拷贝，实际应用中，拷贝可能已经改变了待导入数据表的存储格式。

S202：根据中间数据表或者待导入数据表的校验标识，查找对应的注解表。

步骤S202和实施例一中的步骤S101类似，均是通过校验标识查找对应的注解表的过程。应当注意，中间数据表的校验标识，也就是待导入数据表的标识，通过二者之一的校验标识均能查找对应的注解表。

此处请注意，如果步骤S202根据待导入数据表的校验标识，查找对应的注解表，则步骤S202可以不在步骤S201后执行，其可以和步骤S201并列执行，也可以在步骤S201之前执行。

S203:根据注解表中的字段信息确定待导入数据表中各个字段的字段名称。

步骤S203通过解析注解表中的字段信息，确定中间数据表中各个字段的字段名称，也就是确定中间数据表中的各个字段(各个列)存储了何种类型的数据。

S204：将中间数据表中第一字段的数据存储在业务表的第二字段中。

如实施例一中的步骤S103，步骤204中，中间数据表中的第一字段和业务表中的第二字段的名称一一对应。

如实施例一，实施例二提供的导入数据的方法，在需要将前述待导入数据表导入到信息管理系统的业务表时，通过注解表可以查询待导入数据表中的各种字段和业务表字段的对应关系，继而直接将待导入数据表中字段数据存储到业务表中对应的字段中。前述方法的执行仅需要为各个待导入数据表建立对应的注解表即可，无需对信息管理系统的导入接口代码做更改。

在实施例二的一个具体应用中，并不需要将待导入数据表中的所有数据均导入到信息管理系统的业务表中，而仅需要将部分字段或者部分记录的信息导入到业务表中。

为提高数据处理效率，减少存储资源的开销，可以在注解表中预置待导入数据表中的提取范围，在拷贝待导入数据表中的数据至中间数据表时，根据前述的提取范围和待导入数据表的格式，拷贝待导入数据表中的字段至中间数据表。

在根据具体业务情况制作数据表(也就是待导入数据表)时，用户可能更改了数据表中相应字段的数据类型，例如将文本数据更改为数字数据；由于相应字段的数据类型被更改，前述数据类型直接导入到信息管理系统的业务表可能产生存储数据错误等问题。

为避免前段提及的问题，在前述两个实施例中，注解表的字段信息中可以包括各个字段对应的预设数据类型；在将待导入数据表中的第一字段的数据存储至业务表的第二字段前，判断第一字段的数据类型是否为字段信息对应的预设数据类型。

如果第一字段的数据类型为字段信息对应的预设数据类型，则将第一字段数据存储在第二字段中；而如果第一字段的数据类型与预设数据类型不同，则停止数据的导入。在第一字段的数据类型和预设数据类型不同的情况下，还可以生成提示信息，提醒操作人员。

在一些具体应用中，注解表还可以包括各个字段对应的筛选条件，筛选条件用于实现对各个字段数据的筛选。例如，筛选条件可以时各个字段的行标识，或者各个字段下的筛选阈值。

在将待导入数据表中的第一字段的数据存储到业务表的字段前，根据筛选条件对第一字段的数据进行筛选，仅当第一字段中记录的数据满足筛选条件时才将对应的数据存储到业务表的第二字段中。

在一些具体应用中，虽然待导入数据表的第一字段数据和业务表中第二字段的字段名称相同，但是二者设置为不同的数据类型。

例如，待导入数据表中性别字段为文本类型，其字段数据为“男”或“女”，而业务表中的性别字段为数字，其字段数据为“0”和“1”。为保证数据类型的一致性，在将待导入数据表中的数据导入到业务表的过程中，还需要将第一字段中的数据类型由第一数据类型转换为第二数据类型，随后在将转换为第二数据类型的第一字段数据存储在第二字段中；相应的，注解表应当预存第一数据类型和第二数据类型的对应关系。

还应注意的是，在上文实施例中，将待导入数据表中的某条记录的所有第一字段数据均在导入到业务表后，对应的数据在业务表中仍应当为一条记录，以保证记录的完整性。

前文已经提及，注解表需要先配置到信息管理系统中，信息管理系统才能实现前述的方法。本实施例中，提供了一种形成注解表的方法，方法包括步骤S301-S302。

S301：根据待导入数据表标注导入注解文件。

本实施例中，导入注解文件采用Json格式进行编制。在一个应用中，导入包括整体注解、列式注解和单元格注解。其中整体注解为必要注解项，列式注解和单元格注解为可选注解项。

在一个具体应用中，整体注解为：{"overall":{"startCol":0,//开始列"endCol":15,//结束列"fetchStartRow":6,//导入开始行"sheetKey":"工程决算一览表",//模板校验关键字，fiterconditon:{fitertype:0,1按值，按行索引filterCol:”,--在某列值进行过滤取值filterRow:['建设场地划拨及清理费','建设项目管理费'],//导入某列值为这两个值的数据}}}。

列式注解为：{"col":{"idName":'jzgcgsjz',//列英文名"chName":'建筑工程概算价值',//中文名"dataType":'number'//类型}}

单元格注解为：{"cell":{"idName":'gcmc',"chName":'工程名称',"dataType":'string'}}。

在实际业务操作时，用户多采用诸如微软公司的Excel文件制作待导入数据表。为了便于实际用户理解如何填写数据表，可以专门制作一说明用的Excel文件，并在Excel文件对应的单元格中写入相应的注解信息。

在一个实际操作中，还可以将前文提及的导入注解写入到Excel文件的脚本中，以Excel文件传输导入注解。

S302：将导入注解文件上传至信息管理系统，使信息管理系统解析注解文件而形成注解表。

步骤S302中，注解文件上传至信息管理系统后，信息管理系统根据注解文件的格式，对注解文件中的各个注解信息进行解析，确定待导入数据表的格式、各个字段的信息，以及查询条件和筛选条件等，并形成格式化的注解表。

在一些应用中，在形成注解表的过程中，还可以根据注解表生成模板文件，模板文件为诸如前述的Excel文件，此Excel文件按照注解文件或者注解表的内容设置了各个字段的字段名称和字段属性信息。用户可以下载模板文件，在模板文件中填写数据而形成实际应用的待导入数据表。

除了提供前述的导入数据的方法外，本说明书实施例还提供一种导入数据的装置。导入数据的装置和前文书的方法采用相同的发明构思，能够解决相同的技术问题、达到相同的技术效果。为简化表述，下文仅对本说明书提供的导入数据的装置做介绍，相应的技术问题和技术效果表述可以参见前文方法对应部分。

图3是实施例提供的导入数据的装置的结构示意图。如图3所示，本实施例提供的装置包括注解表获取模块11、字段名称获取模块12和存储模块13。

注解表获取模块11用于根据待导入数据表的校验标识，查找对应的注解表；字段名称获取模块12用于根据注解表的字段信息确定待导入数据表中各个字段的字段名称；存储模块13用于将待导入数据表中第一字段的数据存储在业务表的第二字段中；其中：字段信息根据待导入数据表的格式配置，或者根据与待导入数据表格式相同的数据表的格式配置；第一字段的字段名称与第二字段的字段名称一一对应。

在一个应用中，装置还可以包括拷贝模块。拷贝模块用于按照导入数据表的格式，将待导入数据表中的数据拷贝至中间数据表。对应的，存储模块13将中间表中第一字段数据存储至业务表的第二字段中。

具体应用中，注解表中可以设置待导入数据表的提取范围。拷贝模块根据注解表中的提取范围，拷贝相应的数据至中间数据表。

在一个应用中，注解表中的字段信息还可以包括各个字段对应的预设数据类型；存储模块13在第一字段的数据类型为对应的预设数据类型时，将第一字段数据存储在第二字段中。

在一个应用中，注解表还包括各个字段对应的筛选条件。筛选条件可能为各个字段下的行标识，也可能是各个字段的筛选阈值。存储模块13在确定第一字段中的数据满足筛选条件时，才将其存储值业务表的第二字段中。

在一个应用中，还可以包括转换模块，转换模块用于根据注解表中的转换关系，将第一字段的数据由第一字段类型转换为第二字段类型；存储模块13将第二字段类型的数据存储在业务表的第二字段中。

本说明书还提供一种存储介质，存储介质存储有程序代码；程序代码被加载执行后，可以执行前述导入数据的方法。

此外，本说明书实施例还提供一种电子设备；电子设备包括处理器和存储器，存储器存储软件代码；处理器在加载存储于存储器的软件代码后，可以执行前述的导入数据方法；当然，电子设备还应当包括输入设备和输出设备，输入设备用于输入各种表单数据，输出设备用于输出关联后的结果，或者将银行表单放置在对应的财务凭证文件夹中。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种导入数据的方法，用于将待导入数据表中的数据导入信息管理系统的业务表，其特征在于，包括：

按照所述待导入数据表的格式，拷贝所述待导入数据表中的数据至中间数据表；

根据所述待导入数据表的校验标识，查找对应的注解表；

根据所述注解表的字段信息确定所述待导入数据表中各个字段的字段名称，具体为：根据所述字段信息，确定所述中间数据表中各个字段的字段名称；

将待导入数据表中第一字段的数据存储在所述业务表的第二字段中，具体为：将所述中间数据表中第一字段的数据存储在所述业务表的第二字段中；

其中：所述字段信息根据所述待导入数据表的格式配置，或者根据与所述待导入数据表格式相同的数据表的格式配置；所述第一字段的字段名称与所述第二字段的字段名称一一对应。

2.根据权利要求1所述的方法，其特征在于，

所述注解表包括所述待导入数据表的提取范围；

按照所述待导入数据表的格式，拷贝所述待导入数据表中的数据至中间数据表，包括：

根据所述提取范围和所述待导入数据表的格式，拷贝所述待导入数据表各个字段数据至中间数据表。

3.根据权利要求1或2所述的方法，其特征在于，

所述注解表的字段信息包括各个字段对应的预设数据类型；

将所述中间数据表中第一字段的数据存储在所述业务表的第二字段中，包括：

在所述第一字段的数据类型为对应的所述预设数据类型的情况下，将所述第一字段数据存储在所述第二字段中。

4.根据权利要求1和2任一项所述的方法，其特征在于，

所述注解表包括各个字段对应的筛选条件；所述筛选条件包括各个字段下的行标识，和/或，各个字段下的筛选阈值；

将待导入数据表中的第一字段的数据存储在所述业务表的第二字段中，包括：

将满足筛选条件的第一字段数据存储在所述业务表的第二字段中。

5.根据权利要求1和2任一项所述的方法，其特征在于，

将待导入数据表中的第一字段数据存储在所述业务表的第二字段中，包括：

将第一字段数据中的数据由第一数据类型转换为第二数据类型；

将转换为第二数据类型的第一字段数据存储至所述第二字段中；

其中：所述第二数据类型为所述第二字段默认的数据类型。

6.一种导入数据的装置，用于将待导入数据表中的数据导入信息管理系统的业务表，其特征在于，包括：

拷贝模块，用于按照所述待导入数据表的格式，拷贝所述待导入数据表中的数据至中间数据表；

注解表获取模块，用于根据所述待导入数据表的校验标识，查找对应的注解表；

字段名称获取模块，用于根据所述注解表的字段信息确定所述待导入数据表中各个字段的字段名称，具体为：根据所述字段信息，确定所述中间数据表中各个字段的字段名称；

存储模块，用于将待导入数据表中第一字段的数据存储在所述业务表的第二字段中，具体为：将所述中间数据表中第一字段的数据存储在所述业务表的第二字段中；

其中：所述注解表根据所述待导入数据表的格式配置，或者根据与所述待导入数据表格式相同的数据表的格式配置；所述第一字段的字段名称与所述第二字段的字段名称一一对应。

7.根据权利要求6所述的装置，其特征在于，

所述注解表的字段信息包括各个字段对应的预设数据类型；

所述存储模块在所述第一字段的数据类型为对应的所述预设数据类型的情况下，将所述第一字段数据存储在所述第二字段中。

8.根据权利要求6所述的装置，其特征在于，

所述注解表包括各个字段对应的筛选条件；所述筛选条件包括各个字段下的行标识，和/或，各个字段下的筛选阈值；

所述存储模块将满足筛选条件的第一字段数据存储在所述业务表的第二字段中。

Images