CN109558440B - 数据批量处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据批量处理方法、装置、计算机设备及存储介质，该方法包括：获取待导入表格，待导入表格包括表头字段和基础数据；解析待导入表格，读取待导入表格的表头字段；获取数据池的录入字段，建立表头字段与录入字段的映射关系，并将表头字段、录入字段和映射关系存储至映射关系表；基于映射关系，将表头字段对应的基础数据录入至数据池中相应的录入字段中，得到录入数据。通过建立待导入表格中表头字段与数据池中录入字段的映射关系，将表头字段的基础数据录入至数据池中相应的录入字段中，使得待导入表格录入数据库时可以动态自适应，更灵活便捷，使得待导入表格与导入数据库之间自适应关联，从而提高了数据批量处理的效率。

Description

数据批量处理方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据批量处理方法、装置、计算机设备及存储介质。

背景技术

一般信息系统在将Excel数据导入数据库系统时，对Excel文档格式有比较严格的要求，如要求待导入的Excel文档格式必须要与数据库表字段顺序一致、名称一致、类型一致等。然而，人们也经常会遇到Excel文档格式与数据库表之间存在不一致的情况，这就需要针对每一Excel文档做导入适应工作。且Excel文档表头都是固定的，以固定模板进行数据导入时，系统只允许符合固定模板的表头数据导入，若表头字段发生变更，则需要重新增加导入适应工作，数据处理的效率低下，且并不能适应于不同的数据类型，使得数据批量处理效率不高。

发明内容

本发明实施例提供一种数据批量处理方法、装置、计算机设备及存储介质，使得待导入表格与导入数据库之间自适应关联，以提高数据批量处理的效率。

一种数据批量处理方法，包括：

获取待导入表格，所述待导入表格包括表头字段和基础数据,所述基础数据基于表头字段存储，每一所述表头字段对应存储一列所述基础数据；

解析所述待导入表格，读取所述待导入表格的所述表头字段；

获取数据池的录入字段，建立所述表头字段与所述录入字段的映射关系，并将所述表头字段、所述录入字段和所述映射关系存储至映射关系表；

基于所述映射关系，将所述表头字段对应的所述基础数据录入至所述数据池中相应的录入字段中，得到录入数据。

一种数据批量处理装置，包括：

表格获取模块，用于获取待导入表格，所述待导入表格包括表头字段和基础数据,所述基础数据基于所述表头字段存储，每一所述表头字段对应存储一列所述基础数据；

表格解析模块，用于解析所述待导入表格，读取所述待导入表格的所述表头字段；

映射关系建立模块，用于获取数据池的录入字段，建立所述表头字段与所述录入字段的映射关系，并将所述表头字段、所述录入字段和所述映射关系存储至映射关系表；

数据录入模块，用于基于所述映射关系，将所述表头字段对应的所述基础数据录入至所述数据池中相应的录入字段中，得到录入数据。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据批量处理方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据批量处理方法的步骤。

上述数据批量处理方法、装置、计算机设备及存储介质，通过对待导入表格进行解析，以读取待导入表格的每一列基础数据的表头字段；通过将待导入表格的表头字段一一与数据池的录入字段进行关联，建立表头字段与录入字段的映射关系，以使得各种不同表头的待导入表格都能与数据池的录入字段建立映射关系，从而使得不同表头的待导入表格都能与数据池直接关联；将表头字段、录入字段和映射关系存储至映射关系表，便于查询表头字段与录入字段的映射关系；根据表头字段与录入字段的映射关系，将待导入表格的基础数据录入至数据池中相应的录入字段录入中，使得待导入表格录入至数据库更方便快捷。本发明所述数据批量处理方法，使得待导入表格录入数据库时可以动态自适应，更灵活便捷，待导入表格与导入数据库之间自适应关联，从而提高了数据批量处理的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中数据批量处理方法的一应用环境示意图；

图2是本发明一实施例中提供的数据批量处理方法的一实现流程图；

图3是本发明实施例中提供的数据批量处理方法的另一实现流程图；

图4是本发明实施例中提供的数据批量处理方法的另一实现流程图；

图5是本发明实施例中提供的数据批量处理方法的另一实现流程图；

图6是本发明实施例中提供的数据批量处理方法的另一实现流程图；

图7是本发明实施例中提供的数据批量处理方法的另一实现流程图；

图8是本发明一实施例中数据批量处理装置的一示意图；

图9是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的数据批量处理方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信，服务端从客户端获取待导入表格，以进行数据批量处理。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

图2示出本实施例中数据批量处理方法的流程图。该数据批量处理方法应用在服务端中，用于将待导入表格录入至数据库，通过建立待导入表格与导入数据库之间自适应关联，以提高数据批量处理的效率。如图2所示，该数据批量处理方法包括如下步骤：

S10：获取待导入表格，待导入表格包括表头字段和基础数据,基础数据基于表头字段存储，每一表头字段对应存储一列基础数据。

其中，待导入表格是指准备要将其数据录入至数据库中存储的表格。表头字段是指待导入表格中用以标识每一列数据类型的字段，即列名。基础数据是指待导入表格中要录入至数据库中的数据。

具体地，服务端获取待导入表格，可以是获取客户端上传的待导入表格，也可以是服务端根据预先设定的频率，以预设频率进行查询，定时获取待导入表格。例如，设定服务端每隔15分钟对客户端查询一次以获取待导入表格，默认查询频率为每0.25h/次，可以实现自动获取待导入表格。待导入表格可以是Excel表格的xls和xlsx格式文件，也可以是xml、et或csv等电子数据表格式文件。待导入表格中包含表头字段以及表头字段的列中对应存储的基础数据，每一表头字段的列名下均对应存储一列基础数据。

S20：解析待导入表格，读取待导入表格的表头字段。

具体地，服务端获取的待导入表格种类繁多，不同种类的待导入表格的表头字段会存在差异，可以通过数据读取算法解析待导入表格，例如采用POI算法或JExcelAPI等开源工具对待导入表格进行解析，逐列读取待导入表格的表头字段，便于对每一待导入表格进行后续基础数据的录入。

S30：获取数据池的录入字段，建立表头字段与录入字段的映射关系，并将表头字段、录入字段和映射关系存储至映射关系表。

其中，数据池是指用于存储待导入表格的基础数据的数据库，本实施例中可以采用REDIS数据库存储录入的基础数据。录入字段是指数据池中用于存储录入的基础数据的字段，基础数据录入至数据池时，录入字段与表头字段相对应，录入字段存储对应的表头字段的列数据。映射关系表是指用于存储表头字段、录入字段以及记录表头字段与录入字段之间的映射关系的表格。

具体地，获取数据池中的录入字段，为待导入表格的每一表头字段分配一录入字段，将表头字段与录入字段一一建立映射关系，使得待导入表格与数据池之间进行关联。例如，待导入表格的表头字段包括“保单号”、“手机号”和“涉及金额”等，获取到数据池中录入字段为“A1”、“B1”和“C1”等，将表头字段“保单号”分配一录入字段“A1”，将表头字段“手机号”分配一录入字段“B1”，将表头字段“涉及金额”分配一录入字段“C1”，直至所有表头字段均与一录入字段对应，分别建立“保单号”与“A1”，“手机号”与“B1”，“涉及金额”与“C1”之间的映射关系，直至所有表头字段均与一录入字段对应建立映射关系。

进一步地，将表头字段、录入字段以及表头字段与录入字段的映射关系存储至映射关系表，可以根据映射关系表中录入字段与表头字段的映射关系查询待导入表格的表头字段在数据池中对应录入字段的位置。例如，查询映射关系表可知“保单号”与“A1”存在映射关系，则可知待导入表格中表头字段“保单号”与数据池的录入字段“A1”相对应。

S40：基于映射关系，将表头字段对应的基础数据录入至数据池中相应的录入字段中，得到录入数据。

其中，录入数据是指待导入表格中存储至数据池中的数据，即待导入表格中的基础数据基于表头字段与录入字段的映射关系存储至数据池中即为录入数据。可以理解地，录入数据是基于录入字段进行存储的。

具体地，将表头字段对应列的基础数据，基于表头字段与录入字段的映射关系，录入至数据池中与该表头字段相映射的录入字段中，得到存储于数据池中的录入数据。例如，基于待导入表格中表头字段“保单号”与数据池中录入字段“A1”的映射关系，待导入表格中“保单号”这一列的基础数据录入至数据池中存储在录入字段“A1”这一列，得到数据池中“A1”列的录入数据。

本实施例中通过将表头字段与录入字段建立映射关系，再根据表头字段与录入字段的映射关系将待导入表格中的基础数据录入至数据池相应的录入字段中，使得数据与关系分离，同时根据表头字段对应列单独对待导入表格每一列数据进行维护，保证待导入表格每一列数据的独立性，使得待导入表格与数据库的适配更灵活，可以适应录入各种不同类型数据的待导入表格，提高了待导入表格的基础数据录入的效率，也便于对待导入表格表头字段进行增减更改等维护操作。

在一实施例中，如图3所示，在步骤S3之后，即在基于映射关系，将表头字段对应的基础数据录入至数据池中相应的录入字段中，得到录入数据的步骤之后，该数据批量处理方法还包括如下步骤：

S301：识别待导入表格的模型类型。

其中，待导入表格的模型类型是指待导入表格所对应的数据模型的类别。

具体地，服务端获取的待导入表格种类繁多，不同种类的待导入表格对应的是不同的数据模型。同一模型类型对应的待导入表格的表头字段相同。在一具体实施例中，模型类型可以是由待导入表格的表名来确定的，通过识别待导入表格表名的关键词，获取该待导入表格的模型类型。例如，广东省青少年投保风险信息表中，风险信息表是关键词，故该待导入表格的模型类型属于风险模型。其中，相同的模型类型表示该待导入表格所包含的业务类型、表头字段和数据类型都一致。

S302：获取模型类型对应的模型标识。

其中，模型标识是用于区分不同模型类型的标识，不同的模型类型对应其唯一的模型标识，模型标识可以是预先设置的编号识别码等标识。例如，风险模型对应的模型标识为“FX01”。在一具体实施方式中，可以预先将模型类型与其对应的模型标识存储在模型标识表。在识别模型类型后，根据模型类型查找模型标识表，获取模型类型对应的模型标识。

S303：将模型标识存储至与待导入表格相对应的映射关系表中。

具体地，将待导入表格的模型标识存储至与待导入表格相对应的映射关系表中，用以在映射关系表中表明该待导入表格的模型类型，便于对待导入表格的基础数据进行分类整理以及汇总。

在本实施例中，通过识别待导入表格的模型类型，获取待导入表格模型类型对应的模型标识，将模型标识存储在映射关系表中，使得待导入表格在录入数据池后也可以查询其模型类型，以便于区分待导入表格的数据类型，可以根据模型类型对待导入表格进行整理，利于对待导入表格进行批量处理。

在一实施例中，如图4所示，步骤S2中，即解析待导入表格，读取待导入表格的表头字段，具体包括如下步骤：

S21：采用数据读取算法，遍历待导入表格，获取表头字段的字段标识。

其中，数据读取算法是指用于读取文档中指定数据的算法，例如可以是POI算法或JExcelAPI等开源工具。在本实施例中采用POI算法对待导入表格进行解析，逐列读取待导入表格的表头字段。进一步地，POI算法是JAVA中一种解析文档的工具，POI很好的提供了解析多种类型文档的技术，以Excel为例，POI算法可以解析到Excel里的每一单元格的数据。

具体地，调用POI算法，根据待导入表格的文档类型采用POI算法的方法函数，遍历待导入表格。例如，若待导入表格是Excel文档，则调用POI算法的HSSF方法函数，利用HSSF方法函数，遍历待导入表格文档的字段。其中，HSSF方法函数提供读写MicrosoftExcel Xls格式文档的功能。

S22：基于字段标识，读取待导入表格的表头字段。

其中，字段标识是指待导入表格中需要被读取的字段的标识。

具体地，待导入表格中字段标识对应其表头字段，字段标识可以是待导入表格中预定的固定行的标识，例如，待导入表格中以表格第一行为表头字段，则第一行字段的ID即为字段标识。基于字段标识，读取待导入表格中字段标识对应的表头字段。

在本实施例中，通过POI算法遍历待导入表格，能够精确地获取待导入表格中字段标识对应的表头字段，便于自动化获取待导入表格的表头字段，提高了待导入表格的解析效率。

在一实施例中，如图5所示，步骤S3中，即获取数据池的录入字段，建立表头字段与录入字段的映射关系，并将表头字段、录入字段和映射关系存储至映射关系表，具体包括如下步骤：

S31：读取数据池的录入字段，为每一表头字段分配一录入字段。

其中，录入字段是指数据池中用于存储录入的基础数据的字段，基础数据录入至数据池时，录入字段与表头字段相对应，录入字段存储对应的表头字段的列数据，录入字段可以是数据池中固定的字段。具体地，服务端读取数据池的录入字段，为每一表头字段分配一录入字段，使得每一表头字段均分配有一录入字段与其对应。

S32：将表头字段作为值，对应地将其分配的录入字段作为键，将表头字段与录入字段组成键值对，建立表头字段与录入字段之间的映射关系。

其中，键值对是关系型数据库的一种组织形式，可以将数据库中两个对象相互映射建立关联。

具体地，将表头字段作为值(value)，对应的将每一表头字段分配的录入字段作为键(key)，待导入表格中的每一表头字段与数据池中的录入字段一一对应形成映射关系，使得表头字段与录入字段之间组成了一个键值对(key-value)。通过映射关系，将待导入表格与数据池进行关联。进一步地，映射关系中键(key)可以指向多个值(value)，值(value)对应唯一一个键(key)，数据池的录入字段可以对应多个表头字段。

S33：将表头字段、录入字段以及映射关系存储至映射关系表。

其中，映射关系表是指用于存储表头字段、录入字段以及记录表头字段与数据池的录入字段之间的映射关系的表格。

具体地，映射关系表存储表头字段、录入字段并记录表头字段与录入字段之间的映射关系，每一待导入表格的所有表头字段在映射关系表中分别与录入字段一一映射，建立为一组映射关系。

在本实施例中，通过读取数据池的录入字段，将录入字段与表头字段组成键值对，建立映射关系，使得待导入表格与数据池之间相互关联，便于不同类型的待导入表格都能与数据池动态适配，增加了数据批量处理的灵活性。

在一实施例中，如图6所示，在步骤S4之后，即在基于映射关系，将表头字段对应的基础数据录入至数据池中相应的录入字段中，得到录入数据的步骤之后，该数据批量处理方法还包括如下步骤：

S41：根据预设规则，为待导入表格的基础数据分配录入批次号。

其中，录入批次号是用于标明基础数据录入数据池的批次的标识，用于区分待导入表格录入至数据池时的次序。

具体地，在待导入表格的基础数据录入数据池时，服务端基于本次录入的基础数据自动分配给待导入表格一个录入批次号。录入批次号的预设规则可以是预先规定的按照待导入表格的类型和录入时间自动生成的流水号作为录入批次号，也可以是使用其他规则随机产生录入批次号。通过分配录入批次号，以便于能够区分待导入表格录入至数据池的时间和次序。

S42：在映射关系表中将同一录入批次号的表头字段和映射关系建立关系主目录。

其中，关系主目录是指映射关系表中，每一录入批次号的待导入表格所有表头字段的映射关系集合的目录，通过关系主目录可以便于了解映射关系表中，各表头字段所属的待导入表格。

具体地，基于录入批次号，在映射关系表中将同一录入批次号的表头字段以及其映射关系建立关系主目录。每一待导入表格对应一录入批次号，可以通过关系主目录非常方便的查找某一录入批次号下待导入表格的表头字段，即通过录入批次号可以准确的查询某一待导入表格及其基础数据。

S43：基于关系主目录，为数据池中对应的录入数据分配存储批次号。

其中，存储批次号是用于标明录入数据存储的批次的标识，用于区分待导入表格录入至数据池时录入数据的次序。

具体地，基础数据录入至数据池，基于录入字段存储得到录入字段，基于关系主目录，根据录入批次号为本次存储的录入数据自动分配存储批次号。存储批次号的分配规则可以是预先规定的按照录入数据的存储ID地址和存储时间自动生成的流水号作为存储批次号，也可以是使用其他规则随机产生存储批次号。通过分配存储批次号，以便于能够区分数据池中录入数据的存储时间和次序。每一待导入表格的基础数据录入至数据池中存储都对应一存储批次号，可以通过关系主目录查找录入批次号对应的存储批次号，通过存储批次号可以准确地查询存储在数据池中的录入数据。

进一步地，在进行数据校验时，可以提取录入批次号下待导入表格的基础数据，同时提取与录入批次号对应的存储批次号下数据池中存储的录入数据，通过比较基础数据与录入数据，可以校验数据池中录入数据的完整性，以提高数据录入的准确度。

在本发明实施例提供的数据批量处理方法中，为待导入表格的基础数据分配录入批次号，基于同一录入批次号的表头字段和映射关系建立关系主目录，便于双向查询待导入表格与其表头字段，根据录入批次号对应的为录入数据分配存储批次号，便于准确的查询存储在数据池中的录入字段，提高数据查询的准确度。

在一实施例中，如图7所示，步骤S43之后，即在基于关系主目录，为数据池中对应的录入数据分配存储批次号的步骤之后，该数据批量处理方法还包括如下步骤：

S431：获取查询请求，查询请求包括目标模型标识。

其中，查询请求是用户基于客户端发起数据查询的请求。目标模型标识是用于将要查询的模型类型对应的模型标识。

具体地，服务端获取客户端发起的查询请求，查询请求包括用户要查询的模型类型对应的目标模型标识。进一步地，查询请求可以由用户通过键盘文字输入要查询的目标模型标识，也可以通过鼠标选择客户端界面的模型类型选项选择输入目标模型标识，获取用户想要请求查询的模型类型的目标模型类型标识。查询请求中包括至少一个目标模型标识，可以对复数个目标模型标识进行逻辑组合，以进行精确查询或扩大查询范围。

S432：基于目标模型标识，查询映射关系表，获取与映射关系表中查询到的目标模型标识对应的录入字段和存储批次号。

具体地，基于目标模型标识，查询映射关系表，获取目标模型标识对应的所有关系主目录；根据表头字段与录入字段键值对(key-value)的映射关系，查找目标模型标识对应的所有关系主目录中的表头字段及其对应的录入字段，获取该模型类型在数据池中的录入字段，再根据模型类型获取对应录入数据的所有存储批次号。

S433：根据录入字段和存储批次号查询数据池，批量导出对应的录入数据。

具体地，基于存储批次号和数据池的录入字段，查询存储在数据池中的录入数据，获取存储批次号和录入字段对应的录入数据。通过录入字段，可以准确的获取到目标模型标识对应的录入数据；通过存储批次号，可以查询到系统中存储的所有存储批次的相关数据，实现录入数据批量导出。

进一步地，还可以按照时间阶段或者其他特定需求选择相应的存储批次号，筛选出符合条件的存储批次号，以导出特定批次的录入数据。

本实施例中，根据查询请求中的目标模型标识，可以准确的获取映射关系表中的录入字段和存储批次号，满足用户查询的要求，根据录入字段和存储批次号，便于批量导出录入数据，提高数据导出的效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种数据批量处理装置，该数据批量处理装置与上述实施例中数据批量处理方法一一对应。如图8所示，该数据批量处理装置包括表格获取模块10、表格解析模块20、映射关系建立模块30和数据录入模块40。各功能模块详细说明如下：

表格获取模块10，用于获取待导入表格，待导入表格包括表头字段和基础数据,基础数据基于表头字段存储，每一表头字段对应存储一列基础数据；

表格解析模块20，用于解析待导入表格，读取待导入表格的表头字段；

映射关系建立模块30，用于获取数据池的录入字段，建立表头字段与录入字段的映射关系，并将表头字段、录入字段和映射关系存储至映射关系表；

数据录入模块40，用于基于映射关系，将表头字段对应的基础数据录入至数据池中相应的录入字段中，得到录入数据。

优选地，该数据批量处理装置还包括：模型类型识别模块301、模型标识获取模块302和模型标识存储模块303。

模型类型识别模块301，用于识别待导入表格的模型类型；

模型标识获取模块302，用于获取模型类型对应的模型标识；

模型标识存储模块303，用于将模型标识存储至与待导入表格相对应的映射关系表中。

优选地，表格解析模块2包括：数据解析单元21和表头字段读取单元22。

数据解析单元21，用于采用数据读取算法，遍历待导入表格，获取表头字段的字段标识；

表头字段读取单元22，用于基于字段标识，读取待导入表格的表头字段。

优选地，映射关系建立模块3包括：录入字段读取单元31、映射关系建立单元32和映射关系存储单元33。

录入字段读取单元31，用于读取数据池的录入字段，为每一表头字段分配一录入字段；

映射关系建立单元32，用于将表头字段作为值，对应地将其分配的录入字段作为键，将表头字段与录入字段组成键值对，建立表头字段与录入字段之间的映射关系；

映射关系存储单元33，用于将表头字段、录入字段以及映射关系存储至映射关系表。

优选地，该数据批量处理装置还包括：录入批次号分配模块41、关系主目录建立模块42和存储批次号分配模块43。

录入批次号分配模块41，用于根据预设规则，为待导入表格的基础数据分配录入批次号；

关系主目录建立模块42，用于在映射关系表中将同一录入批次号的表头字段和映射关系建立关系主目录；

存储批次号分配模块43，用于基于关系主目录，为数据池中对应的录入数据分配存储批次号。

优选地，该数据批量处理装置还包括：查询请求获取模块431、查询模块432和数据导出模块433。

查询请求获取模块431，用于获取查询请求，查询请求包括目标模型标识；

查询模块432，用于基于目标模型标识，查询映射关系表，获取与映射关系表中查询到的目标模型标识对应的录入字段和存储批次号；

数据导出模块433，用于根据录入字段和存储批次号查询数据池，批量导出对应的录入数据。

关于数据批量处理装置的具体限定可以参见上文中对于数据批量处理方法的限定，在此不再赘述。上述数据批量处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据批量处理方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取待导入表格，待导入表格包括表头字段和基础数据,基础数据基于表头字段存储，每一表头字段对应存储一列基础数据；

解析待导入表格，读取待导入表格的表头字段；

获取数据池的录入字段，建立表头字段与录入字段的映射关系，并将表头字段、录入字段和映射关系存储至映射关系表；

基于映射关系，将表头字段对应的基础数据录入至数据池中相应的录入字段中，得到录入数据。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待导入表格，待导入表格包括表头字段和基础数据,基础数据基于表头字段存储，每一表头字段对应存储一列基础数据；

解析待导入表格，读取待导入表格的表头字段；

获取数据池的录入字段，建立表头字段与录入字段的映射关系，并将表头字段、录入字段和映射关系存储至映射关系表；

基于映射关系，将表头字段对应的基础数据录入至数据池中相应的录入字段中，得到录入数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

上述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种数据批量处理方法，其特征在于，包括：

获取待导入表格，所述待导入表格包括表头字段和基础数据,所述基础数据基于所述表头字段存储，每一所述表头字段对应存储一列所述基础数据；

解析所述待导入表格，读取所述待导入表格的所述表头字段；

获取数据池的录入字段，建立所述表头字段与所述录入字段的映射关系，并将所述表头字段、所述录入字段和所述映射关系存储至映射关系表；

基于所述映射关系，将所述表头字段对应的所述基础数据录入至所述数据池中相应的录入字段中，得到录入数据；

其中，在所述基于所述映射关系，将所述表头字段对应的所述基础数据录入至所述数据池中相应的录入字段中，得到录入数据的步骤之后，所述数据批量处理方法还包括：

识别所述待导入表格的模型类型；

获取所述模型类型对应的模型标识；

将所述模型标识存储至与所述待导入表格相对应的映射关系表中；

在所述基于所述映射关系，将所述表头字段对应的所述基础数据录入至所述数据池中相应的录入字段中，得到录入数据的步骤之后，所述数据批量处理方法还包括：

根据预设规则，为所述待导入表格的基础数据分配录入批次号；

在映射关系表中将同一录入批次号的所述表头字段和所述映射关系建立关系主目录；

基于所述关系主目录，为所述数据池中对应的录入数据分配存储批次号；

获取查询请求，所述查询请求包括目标模型标识；

基于所述目标模型标识，查询映射关系表，获取与所述映射关系表中查询到的所述目标模型标识对应的录入字段和存储批次号；

根据所述录入字段和所述存储批次号查询数据池，批量导出对应的录入数据。

2.如权利要求1所述的数据批量处理方法，其特征在于，所述解析所述待导入表格，读取所述待导入表格的所述表头字段，具体包括：

采用数据读取算法，遍历所述待导入表格，获取所述表头字段的字段标识；

基于字段标识，读取所述待导入表格的所述表头字段。

3.如权利要求1所述的数据批量处理方法，其特征在于，所述获取数据池的录入字段，建立所述表头字段与所述录入字段的映射关系，并将所述表头字段、所述录入字段和所述映射关系存储至映射关系表，具体包括以下步骤：

读取所述数据池的录入字段，为每一所述表头字段分配一录入字段；

将所述表头字段作为值，对应地将其分配的所述录入字段作为键，将所述表头字段与所述录入字段组成键值对，建立所述表头字段与所述录入字段之间的映射关系；

将所述表头字段、所述录入字段以及所述映射关系存储至所述映射关系表。

4.一种数据批量处理装置，其特征在于，包括：

表格获取模块，用于获取待导入表格，所述待导入表格包括表头字段和基础数据,所述基础数据基于所述表头字段存储，每一所述表头字段对应存储一列所述基础数据；

表格解析模块，用于解析所述待导入表格，读取所述待导入表格的所述表头字段；

映射关系建立模块，用于获取数据池的录入字段，建立所述表头字段与所述录入字段的映射关系，并将所述表头字段、所述录入字段和所述映射关系存储至映射关系表；

数据录入模块，用于基于所述映射关系，将所述表头字段对应的所述基础数据录入至所述数据池中相应的录入字段中，得到录入数据；

模型类型识别模块，用于识别所述待导入表格的模型类型；

模型标识获取模块，用于获取所述模型类型对应的模型标识；

模型标识存储模块，用于将所述模型标识存储至与所述待导入表格相对应的映射关系表中；

录入批次号分配模块，用于根据预设规则，为所述待导入表格的基础数据分配录入批次号；

关系主目录建立模块，用于在映射关系表中将同一录入批次号的所述表头字段和所述映射关系建立关系主目录；

存储批次号分配模块，用于基于所述关系主目录，为所述数据池中对应的录入数据分配存储批次号；

查询请求获取模块，用于获取查询请求，所述查询请求包括目标模型标识；

查询模块，用于基于所述目标模型标识，查询映射关系表，获取与所述映射关系表中查询到的所述目标模型标识对应的录入字段和存储批次号；

数据导出模块，用于根据所述录入字段和所述存储批次号查询数据池，批量导出对应的录入数据。

5.如权利要求4所述的数据批量处理装置，其特征在于，所述数据批量处理装置，还包括：

模型类型识别模块，用于识别所述待导入表格的模型类型；

模型标识获取模块，用于获取所述模型类型对应的模型标识；

模型标识存储模块，用于将所述模型标识存储至与所述待导入表格相对应的映射关系表中。

6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述数据批量处理方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述数据批量处理方法的步骤。