CN112232033A - 一种通用数据转excel导入导出的方法 - Google Patents

一种通用数据转excel导入导出的方法 Download PDF

Info

Publication number
CN112232033A
CN112232033A CN202011083621.2A CN202011083621A CN112232033A CN 112232033 A CN112232033 A CN 112232033A CN 202011083621 A CN202011083621 A CN 202011083621A CN 112232033 A CN112232033 A CN 112232033A
Authority
CN
China
Prior art keywords
data
excel
temporary table
importing
exporting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011083621.2A
Other languages
English (en)
Inventor
汤利君
文新
林长芝
罗路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengyang Yunhui Technology Co ltd
Original Assignee
Hengyang Yunhui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengyang Yunhui Technology Co ltd filed Critical Hengyang Yunhui Technology Co ltd
Priority to CN202011083621.2A priority Critical patent/CN112232033A/zh
Publication of CN112232033A publication Critical patent/CN112232033A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据转换技术领域，且公开了一种通用数据转excel导入导出的方法，包括以下步骤：数据导出预处理：建立与数据库的连接，分析导出命令，确定需要导出的源数据，获取源数据的属性信息，继续执行数据的获取和封装。该通用数据转excel导入导出的方法，通过数据导出的预处理，对源数据进行初步整理，保证了数据导出的稳定性，然后通过数据的获取与封装，对不同种类的数据进行不同类型的封装，提高了数据封装过程中数据的安全性，减少了数据损坏、丢失或混乱的可能，保证了方法对不同种类数据的适配效果，另一方面通过数据导出整合对Excel文件的调整，为用户查看导出结果提供了便利，提高了方法的有效性。

Description

一种通用数据转excel导入导出的方法
技术领域
本发明涉及数据转换技术领域，具体为一种通用数据转excel导入导出的方法。
背景技术
随着日常办公所需，越来越多的浏览器和服务器应用系统都会涉及导入导出Excel功能，现有的Excel导入导出方式是将用户的源数据参和目标数据参数一一对应，且对应映射关系局限于参数名称，这种映射方式导致当用户要求的导入导出数据变更时，即源数据参数个数或数据类型变更时，开发人员需要修改实现功能的相应代码或配置文件维护映射关系才能满足用户需求，但随着不同业务逻辑复杂度的上升，用户需求的数据变更越来越频繁，造成开发人员修改代码或维护配置文件的耗时，占用大量人力物力，影响效率。
例如，中国专利公布号为CN111475561A中提供的一种Excel导入导出方法及装置，其基本描述为：接收客户端发送来的Excel导入导出请求，Excel导入导出请求中包括业务逻辑标识、需导入导出数据参数，判断需导入导出数据参数对应的数据类型，根据所判断数据类型将需导入导出数据参数与预存数据类型进行匹配，根据业务逻辑标识、所匹配结果对数据库相关数据进行导入导出处理，通过所匹配类型导入或导出相关数据，不再需要修改源数据参数的个数或参数名称，由现有一对一映射优化为多对一，提高匹配模型的匹配速度，且由匹配参数名称优化为匹配参数类型，提高匹配模型的扩展性，但该Excel导入导出方法及装置对Excel文件与数据匹配的结果的反馈与修改方面不太完善，在无法成功匹配的情况下，对Excel的修改难度较大，影响了该发明的实用性。
于是，发明人有鉴于此，秉持多年该相关行业丰富的设计开发及实际制作的经验，针对现有的结构及缺失予以研究改良，提供一种确保消息有效推送的方法。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种通用数据转excel导入导出的方法，解决了上述背景技术中提出的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种通用数据转excel导入导出的方法，包括以下步骤：
S1、数据导出预处理：建立与数据库的连接，分析导出命令，确定需要导出的源数据，获取源数据的属性信息，继续执行步骤S2。
S2、数据的获取和封装：获取需要导出的源数据，将源数据复制到操作数据，将操作数据的以行为单位封装到指定格式，继续执行S3。
S3、数据导出整合：创建Excel表头，转换表头与数据的格式，以用户指定的文件名导出Excel文件至用户指定位置，完成数据的导出。
S4、Excel格式处理：将Excel文件的版本转变为用户指定版本，对Excel文件内数据的格式与位置进行调整，调整完成后，继续执行步骤S5。
S5、数据导入；在数据库中建立临时表，将格式处理过的Excel文件中的数据导入至临时表，数据导入临时表完成后，继续执行步骤S6。
S6、数据查验：对临时表中的数据进行查验，将临时表中的数据与Excel文件中内容进行对比，查找临时表中的数据错误，如果发现临时表数据有错误时，将错误反馈给用户，如用户选择手动修改，将由用户对临时表中的数据进行修改，修改完成后返回执行S6，如果用户选择自动修改，则删除临时表，返回执行步骤S4，当未发现临时表中的存在数据错误时，将临时表另存为数据文件，删除临时表，完成数据的导入。
优选的，所述步骤S1包括建立与数据的连接，QueryRunner提供了对数据库SQL语句的操作API，在完成数据库连接后，进行数据库连接稳定性测试，若通过连接稳定性测试，则继续向下执行，如果未通过连接稳定性测试，将跟更换与数据口连接的接口，重新进行连接稳定性测试。
进一步的，所述步骤S2数据的获取中利用SQL语句对源数据进行数据的简单处理，步骤S2中数据的封装利用ResultSetHandler接口对数据的转换格式有对象数组、JavaBean和Map，根据源数据中不同的数据类型选择不同的封装方式。
更进一步的，所述步骤S3中利用Excelheader根据用户选择的版本，确定Excel文件的格式，确定数据插入位置，完成数据导入后与源数据进行内容对比，查验数据导出的完整性。
在前述方案的基础上，所述步骤S4中根据导入数据的要求，转换Excel文件版本后，将查验Excel文件的完整性，对Excel文件中单元格的数据格式进行调整，对Excel文件中数据的位置以整行或整列为单位进行调整。
更进一步的，所述步骤S5中将Excel文件的内容进行完整复制，复制完整后进行数据完整性校验，在临时表中定位插入点，将数据在插入点进行导入。
作为本发明在进一步的方案，所述步骤S6中将对临时表中数据的有效性进行校验，并对临时表中数据位置的合法性进行校验，校验完成后将查验结果反馈给用户。
附图说明
图1为本发明数据导出流程图；
图2为本发明数据导入流程图；
图3为本发明数据导出预处理流程图；
图4为本发明数据的获取和封装流程图；
图5为本发明数据导出整合流程图；
图6为本发明数据Excel格式处理流程图；
图7为本发明数据导入流程图；
图8为本发明数据查验流程图。
(三)有益效果
与现有技术相比，本发明提供了一种通用数据转excel导入导出的方法，具备以下有益效果：
1.该通用数据转excel导入导出的方法，通过数据导出的预处理，对源数据进行初步整理，保证了数据导出的稳定性，然后通过数据的获取与封装，对不同种类的数据进行不同类型的封装，提高了数据封装过程中数据的安全性，减少了数据损坏、丢失或混乱的可能，保证了方法对不同种类数据的适配效果，另一方面通过数据导出整合对Excel文件的调整，为用户查看导出结果提供了便利，提高了方法的有效性。
2.该通用数据转excel导入导出的方法，通过对Excel格式的处理，改善了Excel文件的适配性，减少Excel文件与数据文件的差异，提高了数据导入的稳定性，然后通过数据导入采用临时表对数据进行缓冲，提高了方法的稳定性与实用性，另一方面通过数据查验提高了数据导入的准确性，进而提高了方法的实用性。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-8，本发明提供一种技术方案：一种通用数据转excel导入导出的方法，包括以下步骤：
S1、数据导出预处理：建立与数据库的连接，分析导出命令，确定需要导出的源数据，获取源数据的属性信息，通过数据导出的预处理，对源数据进行初步整理，保证了数据导出的稳定性，继续执行步骤S2。
S2、数据的获取和封装：获取需要导出的源数据，将源数据复制到操作数据，将操作数据的以行为单位封装到指定格式，通过数据的获取与封装，对不同种类的数据进行不同类型的封装，提高了数据封装过程中数据的安全性，减少了数据损坏、丢失或混乱的可能，保证了方法对不同种类数据的适配效果，继续执行S3。
S3、数据导出整合：创建Excel表头，转换表头与数据的格式，以用户指定的文件名导出Excel文件至用户指定位置，通过数据导出整合对Excel文件的调整，为用户查看导出结果提供了便利，提高了方法的有效性，完成数据的导出。
S4、Excel格式处理：将Excel文件的版本转变为用户指定版本，对Excel文件内数据的格式与位置进行调整，调整完成后，通过对Excel格式的处理，改善了Excel文件的适配性，减少Excel文件与数据文件的差异，提高了数据导入的稳定性，继续执行步骤S5。
S5、数据导入；在数据库中建立临时表，将格式处理过的Excel文件中的数据导入至临时表，数据导入临时表完成后，通过数据导入采用临时表对数据进行缓冲，提高了方法的稳定性与实用性，继续执行步骤S6。
S6、数据查验：对临时表中的数据进行查验，通过数据查验提高了数据导入的准确性，进而提高了方法的实用性，将临时表中的数据与Excel文件中内容进行对比，查找临时表中的数据错误，如果发现临时表数据有错误时，将错误反馈给用户，如用户选择手动修改，将由用户对临时表中的数据进行修改，修改完成后返回执行S6，如果用户选择自动修改，则删除临时表，返回执行步骤S4，当未发现临时表中的存在数据错误时，将临时表另存为数据文件，删除临时表，完成数据的导入。
在本发明中，为了提高方法的稳定性，因此设置步骤S1包括建立与数据的连接，QueryRunner提供了对数据库SQL语句的操作API，在完成数据库连接后，进行数据库连接稳定性测试，若通过连接稳定性测试，则继续向下执行，如果未通过连接稳定性测试，将跟更换与数据口连接的接口，重新进行连接稳定性测试，通过连接稳定性测试，保证了方法运行的过程中连接的稳定性，减少了连接意外断开的可能，保证了方法的稳定性。
在本发明中，为了提高方法的实用性，因此设置步骤S2数据的获取中利用SQL语句对源数据进行数据的简单处理，步骤S2中数据的封装利用ResultSetHandler接口对数据的转换格式有对象数组、JavaBean和Map，根据源数据中不同的数据类型选择不同的封装方式，通过对不同类型数据采用不同的封装方式，提高了封装的稳定性，减少数据损坏的可能，提高了方法的实用性。
在本发明中，为了提高方法的实用性，因此设置步骤S3中利用Excelheader根据用户选择的版本，确定Excel文件的格式，确定数据插入位置，完成数据导入后与源数据进行内容对比，查验数据导出的完整性，提高了Excel文件与用户要求的吻合程度。
在本发明中，为了保证方法的稳定性，因此设置步骤S4中根据导入数据的要求，转换Excel文件版本后，将查验Excel文件的完整性，对Excel文件中单元格的数据格式进行调整，对Excel文件中数据的位置以整行或整列为单位进行调整，通过转换Excel文件的版本和对Excel文件内容的调整，提高了Excel文件与数据库的配合度，减少了因文件格式问题造成导入错误的可能，提高了方法的稳定性。
在本发明中，为了保证方法的实用性，因此设置步骤S5中将Excel文件的内容进行完整复制，复制完整后进行数据完整性校验，在临时表中定位插入点，将数据在插入点进行导入，对导入操作进行规划，减少导入过程中发生错误的可能，提高了方法的实用性。
在本发明中，为了保证方法的稳定性，因此设置步骤S6中将对临时表中数据的有效性进行校验，并对临时表中数据位置的合法性进行校验，校验完成后将查验结果反馈给用户，通过有效性和合法性的校验，减少了数据错误导入的可能，有效的提高了数据导入的准确性。
综上所述，该通用数据转excel导入导出的方法，通过数据导出的预处理，对源数据进行初步整理，保证了数据导出的稳定性，然后通过数据的获取与封装，对不同种类的数据进行不同类型的封装，提高了数据封装过程中数据的安全性，减少了数据损坏、丢失或混乱的可能，保证了方法对不同种类数据的适配效果，另一方面通过数据导出整合对Excel文件的调整，为用户查看导出结果提供了便利，提高了方法的有效性。
该通用数据转excel导入导出的方法，通过对Excel格式的处理，改善了Excel文件的适配性，减少Excel文件与数据文件的差异，提高了数据导入的稳定性，然后通过数据导入采用临时表对数据进行缓冲，提高了方法的稳定性与实用性，另一方面通过数据查验提高了数据导入的准确性，进而提高了方法的实用性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种通用数据转excel导入导出的方法，其特征在于，包括以下步骤：
S1、数据导出预处理：建立与数据库的连接，分析导出命令，确定需要导出的源数据，获取源数据的属性信息，继续执行步骤S2；
S2、数据的获取和封装：获取需要导出的源数据，将源数据复制到操作数据，将操作数据的以行为单位封装到指定格式，继续执行S3；
S3、数据导出整合：创建Excel表头，转换表头与数据的格式，以用户指定的文件名导出Excel文件至用户指定位置，完成数据的导出；
S4、Excel格式处理：将Excel文件的版本转变为用户指定版本，对Excel文件内数据的格式与位置进行调整，调整完成后，继续执行步骤S5；
S5、数据导入；在数据库中建立临时表，将格式处理过的Excel文件中的数据导入至临时表，数据导入临时表完成后，继续执行步骤S6；
S6、数据查验：对临时表中的数据进行查验，将临时表中的数据与Excel文件中内容进行对比，查找临时表中的数据错误，如果发现临时表数据有错误时，将错误反馈给用户，如用户选择手动修改，将由用户对临时表中的数据进行修改，修改完成后返回执行S6，如果用户选择自动修改，则删除临时表，返回执行步骤S4，当未发现临时表中的存在数据错误时，将临时表另存为数据文件，删除临时表，完成数据的导入。
2.根据权利要求1所述的一种通用数据转excel导入导出的方法，其特征在于，所述步骤S1包括建立与数据的连接，QueryRunner提供了对数据库SQL语句的操作API，在完成数据库连接后，进行数据库连接稳定性测试，若通过连接稳定性测试，则继续向下执行，如果未通过连接稳定性测试，将跟更换与数据口连接的接口，重新进行连接稳定性测试。
3.根据权利要求1所述的一种通用数据转excel导入导出的方法，其特征在于，所述步骤S2数据的获取中利用SQL语句对源数据进行数据的简单处理，步骤S2中数据的封装利用ResultSetHandler接口对数据的转换格式有对象数组、JavaBean和Map，根据源数据中不同的数据类型选择不同的封装方式。
4.根据权利要求1所述的一种通用数据转excel导入导出的方法，其特征在于，所述步骤S3中利用Excelheader根据用户选择的版本，确定Excel文件的格式，确定数据插入位置，完成数据导入后与源数据进行内容对比，查验数据导出的完整性。
5.根据权利要求1所述的一种通用数据转excel导入导出的方法，其特征在于，所述步骤S4中根据导入数据的要求，转换Excel文件版本后，将查验Excel文件的完整性，对Excel文件中单元格的数据格式进行调整，对Excel文件中数据的位置以整行或整列为单位进行调整。
6.根据权利要求1所述的一种通用数据转excel导入导出的方法，其特征在于，所述步骤S5中将Excel文件的内容进行完整复制，复制完整后进行数据完整性校验，在临时表中定位插入点，将数据在插入点进行导入。
7.根据权利要求1所述的一种通用数据转excel导入导出的方法，其特征在于，所述步骤S6中将对临时表中数据的有效性进行校验，并对临时表中数据位置的合法性进行校验，校验完成后将查验结果反馈给用户。
CN202011083621.2A 2020-10-12 2020-10-12 一种通用数据转excel导入导出的方法 Withdrawn CN112232033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011083621.2A CN112232033A (zh) 2020-10-12 2020-10-12 一种通用数据转excel导入导出的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011083621.2A CN112232033A (zh) 2020-10-12 2020-10-12 一种通用数据转excel导入导出的方法

Publications (1)

Publication Number Publication Date
CN112232033A true CN112232033A (zh) 2021-01-15

Family

ID=74112148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011083621.2A Withdrawn CN112232033A (zh) 2020-10-12 2020-10-12 一种通用数据转excel导入导出的方法

Country Status (1)

Country Link
CN (1) CN112232033A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116049294A (zh) * 2023-03-27 2023-05-02 北京大学深圳研究生院 一种Excel的操作方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116049294A (zh) * 2023-03-27 2023-05-02 北京大学深圳研究生院 一种Excel的操作方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106777101B (zh) 数据处理引擎
CN108628748B (zh) 自动化测试管理方法和自动化测试管理系统
CN108446223B (zh) 一种基于动态编译的业务场景自动化测试方法
CN111598535B (zh) 一种基础物料的导入方法、系统、计算机设备
CN113010413A (zh) 一种接口自动化测试方法和装置
CN112232033A (zh) 一种通用数据转excel导入导出的方法
CN112416907A (zh) 一种数据库表数据导入导出方法、终端设备及存储介质
CN105335482A (zh) 面向海量分布式数据库的批量插入方法
CN111191331A (zh) 一种基于cim及svg的变电站图模数据质量校验装置和方法
CN116881226A (zh) 一种多系统间数据迁移测试的数据校验方法
CN109522595A (zh) 一种基于核电厂验证平台的功能图导入自动诊断方法
CN114896161A (zh) 基于人工智能的文件构造方法、装置、计算机设备及介质
CN114840496A (zh) 一种风电场跨数据库的数据迁移方法及系统
CN108829968A (zh) 基于Python扩展函数的电路图审查方法
CN110781647B (zh) 一种基于Flink实现数据格式校验的方法
CN112714155A (zh) 基于端云协同服务的电力运行数据一致性校验方法及装置
CN112131131A (zh) 一种预构造域名及请求体的接口自动化测试框架系统
CN111813665A (zh) 一种基于python的大数据平台接口数据测试方法和系统
CN115373655B (zh) 一种基于标准化模板的信息协议代码自动生成方法
CN116450586B (zh) 火箭数据解析方法、系统、电子设备及计算机存储介质
CN112347095B (zh) 数据表的处理方法、装置和服务器
CN115827499B (zh) 一种ui自动化测试方法
CN109086202B (zh) 基于关联规则的fpga/ip核代码规则检查方法
CN110609984B (zh) 一种Windows系统中自动拆分谷歌key的方法及系统
CN115544575A (zh) 自动追加共享数据库的saas系统中租户id的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210115

WW01 Invention patent application withdrawn after publication