CN110019485A

CN110019485A - 一种产品数据入库方法、终端设备及存储介质

Info

Publication number: CN110019485A
Application number: CN201810121637.4A
Authority: CN
Inventors: 熊智
Original assignee: Ping An Life Insurance Company of China Ltd
Current assignee: Ping An Life Insurance Company of China Ltd
Priority date: 2018-02-07
Filing date: 2018-02-07
Publication date: 2019-07-16

Abstract

本发明公开了一种产品数据入库方法、终端设备及存储介质，其中，所述产品数据入库方法包括如下步骤：通过执行预先安装的jar包对接收到初始Excel表进行标准化整合，以生成标准Excel表，并根据标准Excel表生成脚本文件，然后再将生成的脚本文件插入所述初始Excel文件的配置文件对应的数据库中，以完成数据的入库。通过处理文件对初始表进行规则处理并自动转化为脚本文件，再执行脚本入库，这样提高了入库效率，且不易出错，安全可靠。

Description

一种产品数据入库方法、终端设备及存储介质

技术领域

本发明涉及计算机技术领域，具体涉及一种产品数据入库方法、终端设备及存储介质。

背景技术

目前，人寿保险产品的基础数据复杂并且数据量巨大，例如，某些单一基础数据可达50万条以上。当海量的数据导入系统时，需要根据基础数据的类别制作相对应的脚本，这样会导致脚本开发时间长、且易出错，而且通过执行脚本将数据入库持续时间长，效率低下。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种产品数据入库方法、终端设备及存储介质，解决了目前产品数据入库时间长，效率低下的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种产品数据入库方法，其包括如下步骤：

一种产品数据入库方法，包括如下步骤：

接收业务端发送的包含有产品数据的初始Excel表，其中，所述初始Excel表携带配置文件；

将所述初始Excel表进行标准化，以生成标准Excel表，并根据所述标准Excel表生成其对应的sql脚本；

读取所述配置文件中包含的数据库链接，并将所述sql脚本插入所述数据库链接对应的数据库，以完成产品数据的入库。

所述产品数据入库方法中，所述读取所述配置文件中包含的数据库链接，并将所述sql脚本插入所述数据库链接对应的数据库，以完成产品数据的入库之后还包括步骤：

根据所述sql脚本导出第一产品数据，并将所述第一产品数据与所述初始Excel表中的产品数据进行比对；

当所述第一产品数据与所述初始Excel表中的产品数据相同时，判定比对成功，并反馈入库成功的信息。

所述产品数据入库方法中，其还包括步骤：

当所述第一产品数据与所述初始Excel表中的数据不相同时，判定比对失败，并返回比对失败的信息，其中，所述信息携带不相同的数据。

所述产品数据入库方法中，所述将所述初始Excel表进行标准化，以生成标准Excel表，并根据所述标准Excel表生成其对应的sql脚本的步骤包括：

调用预设的标准Excel表模板与所述初始Excel表进行比对，以得到初始Excel表中的第一表头和标准Excel表模板中的第二表头，其中，所述第一表头与第二表头不同；

采用所述第二表头替换所述第一表头，并将所述第一表头对应的数据按照预设规则进行调整以生成标准Excel。

配置预设的sql模板，并根据所述sql模板和所述标准Excel表生成所述标准Excel表对应的sql脚本。

所述产品数据入库方法中，所述调用预设的标准Excel表模板与所述初始Excel表进行比对，以得到初始Excel表中的第一表头和标准Excel表模板中的第二表头，其中，所述第一表头与第二表头不同的步骤包括：

解析所述初始Excel表以得到其对应的第一表头集合，并将解析得到的第一表头集合与预设的标准Excel表模板对应的第二表头集合进行比对；

当所述第一表头集合与第二表头集合不相同时，分别获取第一表头集合中未比对成功的第一表头以及第二表头集合中未比对成功的第二表头。

所述产品数据入库方法中，所述配置预设的sql模板，并根据所述sql模板和所述标准Excel表生成所述标准Excel表对应的sql脚本的步骤包括：

配置预设的sql模板，并读取所述标准Excel表中的数据的条数；

根据读取到的条数对所述标准Excel表中的数据进行分区，并分别生成各分区对应的sql脚本。

所述产品数据入库方法中，所述根据所述条数对所述标准Excel表中的数据进行分区，并分别生成各分区对应的sql脚本的步骤包括：

将读取到的条数与预设阈值进行比较；

当所述条数小于等于预设阈值时，生成一个sql脚本；

当所述条数大于所述预设阈值时，生成[条数/预设阈值]+1个sql脚本。

所述产品数据入库方法中，所述将所述初始Excel表进行标准化，以生成标准Excel表，并根据所述标准Excel表生成其对应的sql脚本之后，还包括步骤：

获取所述标准Excel表对应的sql脚本中的数据条数，并将所述数据条数与所述标准Excel表中的数据条数进行比对；

当所述数据条数与所述标准Excel表中的数据条数相同时，判定所述sql脚本正确，并执行将所述sql脚本插入数据库的步骤；

当所述数据条数与所述标准Excel表中的数据条数不相同时，返回比对失败的信息。

一种终端设备，其包括处理器、存储器和通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中的产品数据入库程序，以实现如上所述的产品数据入库方法

一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的产品数据入库方法。

相较于现有技术，本发明提供的产品数据入库方法、终端设备及存储介质中，所述产品数据入库方法包括如下步骤：通过执行预先安装的jar包对接收到初始Excel表进行标准化整合，以生成标准Excel表，并根据标准Excel表生成脚本文件，然后再将生成的脚本文件插入所述初始Excel文件的配置文件对应的数据库中，以完成数据的入库。通过处理文件对初始表进行规则处理并自动转化为脚本文件，再执行脚本入库，这样提高了入库效率，且不易出错，安全可靠。

附图说明

图1为本发明提供的产品数据入库方法的流程图；

图2为本发明提供的产品数据入库方法中步骤S20的流程图；

图3为本发明提供的产品数据入库方法中步骤S21的流程图；

图4为本发明提供的产品数据入库方法中步骤S23的流程图；

图5为本发明提供的产品数据入库方法的另一个实施例的流程图；

图6为本发明产品数据入库程序的较佳实施例的运行环境示意图。

具体实施方式

鉴于现有技术中产品基础数据入库持续时间长，效率低下等缺点，本发明的目的在于提供一种产品数据入库方法、终端设备及存储介质，通过将业务端上传的初始Excel表整合成标准Excel表，并生成所述标准Excel表对应的sql脚本，通过在数据库中插入生成的sql脚本来实现产品数据的自动化入库。

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明提供的产品数据入库方法包括以下步骤：

S10、接收业务端发送的包含有产品数据的初始Excel表，其中，所述初始Excel表携带配置文件。

具体地，所述初始Excel表为业务端发送的包含有产品数据的表，例如，险种业务表。例如，所述初始Excel表对应的险种的编码，表名，表名对应的属主，对应的数据库链接等。所述配置文件中包含了所述初始Excel表的配置信息，每做一个新产品时，都会配置险种编码，该新产品的属性表中还可以配置表名对应属主，及对应的数据库链接。在实际应用中，在所述步骤S10之前，可以预先将jar包安装在终端设备中。所述jar包括多个处理文件例如，第一处理文件，第二处理文件等。所述多个处理文件为用户预先输入的DAT指令，通过分别执行jar包中包含的DAT指令，来自动实现对初始Excel表进行整合和处理。当接收到初始Excel表时，将所述初始Excel表保存至所述jar包指定的存储路径中，这样后续jar包中的的处理文件可以自动根据其指定的存储路径来快速定位其所要处理的Excel表。

S20、将所述初始Excel表进行标准化，以生成标准Excel表，并根据所述标准Excel表生成其对应的sql脚本。

具体地，所述标准Excel表指的是具有指定数据格式的数据表，其中，所述数据格式中仅包含普通数值格式的字符。例如，当Excel表中包含有“√”、“×”等格式的字符时，其不符合标准Excel表的格式规则，因此需要对这个Excel表进行标准化。通过将业务端上传的所有初始Excel表整合成标准Excel表来加快后续脚本的导入，并方便批量处理。由于业务端提供的初始Excel表可能包括多种类型，因此需要将首先将初始Excel表进行整合，然后再根据整合后的表格生成对应的脚本文件。请参阅图2，其为本发明提供的产品数据入库方法中步骤S20的流程图。

如图2所示，所述步骤S20包括：

S21、调用预设的标准Excel表模板与所述初始Excel表进行比对，以得到初始Excel表中的第一表头和标准Excel表模板中的第二表头，其中，所述第一表头与第二表头不同；

S22、采用所述第二表头替换所述第一表头，并将所述第一表头对应的数据按照预设规则进行调整以生成标准Excel；

S23、配置预设的sql模板，并根据所述sql模板和所述标准Excel表生成所述标准Excel表对应的sql脚本。

具体的来说，在所述步骤S21中，所述预设的标准Excel模板指的是预先设置的仅包含有指定数据格式的数据和表头的Excel表。所述第一表头指的是所述初始Excel表中，在标准Excel表模板未匹配到相同字段的表头，即标准Excel表中不存在所述第一表头。所述第二表头指的是所述标准Excel表模板中，在初始Excel表中未匹配到相同字段的表头，即初始Excel表中不存在所述第二表头。在本实施例中，由于采用与初始Excel表格式最相近的表格作为其对应的标准Excel表，因此二者的区别仅在于第一表头和第二表头不相同。请参阅图3，图3为本发明提供的产品数据入库方法中步骤S21的流程图。

如图3所示，所述步骤S21包括：

S211、解析所述初始Excel表以得到其对应的第一表头集合，并将解析得到的第一表头集合与预设的标准Excel表模板对应的第二表头集合进行比对；

S212、当所述第一表头集合与第二表头集合不相同时，分别获取第一表头集合中未比对成功的第一表头以及第二表头集合中未比对成功的第二表头。

具体的来说，在所述步骤S211中，所述第一表头集合指的是所述初始Excel表中包含的所有表头组成的集合。所述第二表头集合指的是所述标准Excel表模板中包含的所有表头组成的集合。由于在本实施例中，所述第一表头集合与第二表头集合中包含的元素相同，因此二者比对成功时，说明第一表头集合中的表头均能在第二表头集合中查找到相同的表头。当二者比对不成功时，那么第一表头集合中就存在未查找到相同表头的第一表头，第二表头集合中就存在未查找到相同表头的第二表头，因此，分别获取所述第一表头和第二表头，并继续执行步骤S22。

在所述步骤S22中，采用第二表头替换所述初始Excel表中的第一表头，并将所述第一表头下属对应的各数据按照预设规则进行调整和替换。其中，所述预设规则指的是按照预先设置的数据替换对应列表进行替换。例如，所述替换对应列表可以是，字符“√”对应字符“0”；字符“×”对应字符“1”，当然，所述替换对应列表可以根据具体的数据格式进行设置，在此不作限制。这样，即将所述初始Excel表中不符合格式要求的表头及其对应的数据替换成符合格式要求的格式，从而实现将所述初始Excel表进行标准化，并生成其对应的标准Excel表。在实际应用中，在实际应用中，可以通过执行.bat文件调用jar包中的处理文件（所述jar包中包含的用于对初始Excel表进行整合的处理程序，其为dat指令）方法依次对上传的标准excel进行数据标准化整合。所述预设字段为预先设置的字段，包含有所述字段的Excel表格记为标准Excel表格。例如业务端所提供的险种业务数据就是与具有指定字段的标准表不同，所以必须经过第一个处理文件对其进行数据标准化整合。

在本发明的另一实施例中，所述初始Excel表中可能不仅包含有所述第一表头，还包含有其他标准Excel模板中不存在的表头。因此，所述步骤S212中，当所述第一表头集合与第二表头集合不相同时，还可以首先获取第一表头集合中未比对成功的所有表头，并分别解析获取到的表头下对应的数据，判断各表头对应的数据是否包含有不符合格式规则的数据，当存在时，将存在不符合格式规则的数据的表头记为第一表头。然后将采用所述第二表头替换所述第一表头，并将其他未比对成功的表头添加至所述标准Excel表模板中，以更新所述标准Excel表模板。

在所述步骤S23中，所述预设的sql模板指的是预先配置的sql脚本的模板，通过读模板生成@insert语句。具体实施时，为了加快处理进程，在读取过程中是分块分区读取，且生成与分区对应的多个脚本。请参阅图4，图4为本发明提供的产品数据入库方法中步骤S23的流程图。

如图4所示，所述步骤S23包括：

S231、配置预设的sql模板，并读取所述标准Excel表中的数据的条数；

S232、根据读取到的条数对所述标准Excel表中的数据进行分区，并分别生成各分区对应的sql脚本。

具体地，通过执行jar包中包含的第二处理文件读取标准Excel表中包含的数据的条数，并将所述条数与预设阈值进行比较，其具体分区过程可以包括：

H1、将读取到的条数与预设阈值进行比较；

H2、当所述条数小于等于预设阈值时，生成一个sql脚本；

H3、当所述条数大于所述预设阈值时，生成[条数/预设阈值]+1个sql脚本。

在本实施例中，所述预设阈值为预先设定的值，其可以由系统默认设置，也可以根据实际情况自行设置。当预设阈值为10000时，如果数据小于或等于一万条则生成一个delete+insert的sql脚本，如果数据大于1万条则生成[N/10000]+1个脚本，其中包括1条delete的sql脚本和[N/10000]条insert的sql脚本。

在本发明的一个实施例中，在生成了标准Excel表对应的sql脚本之后可以对sql脚本进行一个初步的验证，其具体过程包括：获取所述标准Excel表对应的sql脚本中的数据条数，并将所述数据条数与所述标准Excel表中的数据条数进行比对；当二者相同时，判定所述sql脚本正确，并执行将所述sql脚本插入数据库的步骤；当二者不相同时，返回比对失败的信息。这样，用户可以根据所述比对失败的信息对sql脚本进行检查，并有针对性的进行修改，然后再重新执行生成sql脚本的步骤，并再次进行初步验证，直至验证成功。通过生成脚本时进行验证可以筛选出一部分错误的数据，从而直接对错误数据进行更改，而无需进行后续的步骤，这样有利于提高入库的效率，减少了后续的无效程序。

S30、读取所述配置文件，并将所述sql脚本插入所述配置文件对应的数据库，以完成产品数据的入库。

具体地，执行jar包中的第四处理文件来读取所述配置文件中包含的数据库的链接，通过所述链接将所述sql脚本插入至读取到的链接对应的数据库中，这样就实现了将初始Excel表对应的sql脚本保存至数据库的目的。

在本发明的另一个实施例中，由于将初始的Excel表经过了整合和转化从而生成sql脚本，因此在此过程中可能会存在数据不对应的情况，因此在sql脚本入库之后还需要对其进行正确性验证。请参阅图5，其为本发明另一个实施例的流程图，其在上述步骤S10-S30之后还包括：

S40、根据所述sql脚本导出第一产品数据，并将所述第一产品数据与所述初始Excel表中的产品数据进行比对；

S50、当所述第一产品数据与所述初始Excel表中的产品数据相同时，判定比对成功，并反馈入库成功的信息。

具体地，根据所述数据库链接对应的数据库中保存的sql脚本导出相应的第一产品数据，并将所述第一产品数据与所述初始Excel表中的产品数据进行比对；当所述第一产品数据与所述初始Excel表中的产品数据完全相同时，说明数据在转换过程中没有被修改，判定比对成功，并反馈入库成功的信息；当所述第一产品数据与所述初始Excel表中的产品数据不相同时，说明数据在转换过程中可能被意外修改了，判定比对失败，并返回比对失败的信息。其中，所述比对失败的信息携带不相同的数据，所述不相同的数据指的是导出的第一产品数据中与初始Excel表中包含的产品数据不相同的数据。这样后续用户可以根据这个提示对不相同的数据进行修改之后，再重新生成新的标准Excel表及其对应的sql脚本，并重新入库和验证，直至验证成功，从而保证了入库的脚本文件导出的数据均为正确的数据。

本发明通过把写好的处理文件打包成Java包，由程序对基础数据，即初始Excel表进行规则化整合，自动转化为相应的脚本文件，并通过可执行文件执行脚本入库，同时通过配置化文件可以指定入不同的库。这样实现了傻瓜式配置，导入基础数据，通过进行数据库配置后，执行对应.bat文件就可以完成脚本生成及入库操作，不易出错，安全可靠。

如图6所示，基于上述产品数据入库方法，本发明还相应提供了一种终端设备。所述终端设备具体需与用户的业务端直接进行交互，例如接收业务端发送的初始Excel表。

所述终端设备可以是台式计算机、笔记本、掌上电脑及服务器等计算设备。所述终端设备包括，但不仅限于，处理器10、存储器20、及显示器30。图6仅示出了终端设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器20在一些实施例中可以是所述终端设备的内部存储单元，例如该终端设备的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端设备的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端设备的应用软件及各类数据，例如所述安装终端设备的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有产品数据入库程序40，该产品数据入库程序40可被处理器10所执行，从而实现本申请各实施例的产品数据入库方法。

所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述权限认证方法等。

所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述终端设备中处理的信息以及用于显示可视化的用户界面，例如指派信息界面、认证报告界面等。所述终端设备的部件10-30通过系统总线相互通信。

在一实施例中，当处理器10执行所述存储器20中产品数据入库程序40时实现以下步骤：

进一步的，在所述终端设备中，所述将所述sql脚本插入所述配置文件对应的数据库，以完成产品数据的入库之后还包括步骤：

所述产品数据入库方法中，还包括步骤：

所述产品数据入库方法中，所述所述将所述初始Excel表进行标准化，以生成标准Excel表，并根据所述标准Excel表生成其对应的sql脚本的步骤包括：

将读取到的条数与预设阈值进行比较；

当所述条数小于等于预设阈值时，生成一个sql脚本；

所述产品数据入库方法中，所述采用所述jar包对所述初始Excel表进行标准化，以生成标准Excel表，并根据所述标准Excel表生成其对应的sql脚本之后，所述读取所述配置文件，并将所述sql脚本插入所述配置文件对应的数据库，以完成产品数据的入库之前还包括步骤：

综上所述，本发明提供的产品数据入库方法、终端设备及存储介质中，所述产品数据入库方法包括如下步骤：通过执行预先安装的jar包对接收到初始Excel表进行标准化整合，以生成标准Excel表，并根据标准Excel表生成脚本文件，然后再将生成的脚本文件插入所述初始Excel文件的配置文件对应的数据库中，以完成数据的入库。通过处理文件对初始表进行规则处理并自动转化为脚本文件，再执行脚本入库，这样提高了入库效率，且不易出错，安全可靠。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种产品数据入库方法，其特征在于，包括如下步骤：

2.根据权利要求1所述产品数据入库方法，其特征在于，所述读取所述配置文件中包含的数据库链接，并将所述sql脚本插入所述数据库链接对应的数据库，以完成产品数据的入库之后还包括步骤：

3.根据权利要求2所述产品数据入库方法，其特征在于，其还包括步骤：

4.根据权利要求1所述产品数据入库方法，其特征在于，所述将所述初始Excel表进行标准化，以生成标准Excel表，并根据所述标准Excel表生成其对应的sql脚本的步骤包括：

采用所述第二表头替换所述第一表头，并将所述第一表头对应的数据按照预设规则进行调整以生成标准Excel；

5.根据权利要求4所述产品数据入库方法，其特征在于，所述调用预设的标准Excel表模板与所述初始Excel表进行比对，以得到初始Excel表中的第一表头和标准Excel表模板中的第二表头，其中，所述第一表头与第二表头不同的步骤包括：

6.根据权利要求4所述产品数据入库方法，其特征在于，所述配置预设的sql模板，并根据所述sql模板和所述标准Excel表生成所述标准Excel表对应的sql脚本的步骤包括：

7.根据权利要求6所述产品数据入库方法，其特征在于，所述根据所述条数对所述标准Excel表中的数据进行分区，并分别生成各分区对应的sql脚本的步骤包括：

将读取到的条数与预设阈值进行比较；

当所述条数小于等于预设阈值时，生成一个sql脚本；

8.根据权利要求1所述产品数据入库方法，其特征在于，所述将所述初始Excel表进行标准化，以生成标准Excel表，并根据所述标准Excel表生成其对应的sql脚本之后，还包括步骤：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-8任意一项所述的产品数据入库方法。

10.一种终端设备，其特征在于，所述终端设备包括处理器、存储器和通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中的产品数据入库程序，以实现如权利要求1-8任意一项所述的产品数据入库方法。