CN106919618A - excel数据导入方法及系统 - Google Patents

excel数据导入方法及系统 Download PDF

Info

Publication number
CN106919618A
CN106919618A CN201511000863.XA CN201511000863A CN106919618A CN 106919618 A CN106919618 A CN 106919618A CN 201511000863 A CN201511000863 A CN 201511000863A CN 106919618 A CN106919618 A CN 106919618A
Authority
CN
China
Prior art keywords
excel data
data files
submitted
excel
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511000863.XA
Other languages
English (en)
Inventor
武栋
贾希强
徐琳华
田德飞
连俊
崔真真
楼钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN201511000863.XA priority Critical patent/CN106919618A/zh
Publication of CN106919618A publication Critical patent/CN106919618A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理领域，公开了一种excel数据导入方法及系统。其中，该方法包括：接收用户提交的excel数据文件；基于所提交的excel数据文件配置excel数据模型映射文件；以及基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析，并将解析后的excel数据文件导入数据库中。通过使用本发明上述的方法和系统，当用户需求变化导致excel数据格式变化时，无需修改程序就可实现excel数据的导入。

Description

excel数据导入方法及系统
技术领域
本发明涉及数据处理领域，具体地，涉及一种excel数据导入方法及系统。
背景技术
在实际应用中，经常遇到将excel中的数据导入到数据库中的情况，关于excel数据的导入通常的做法是根据现有的excel数据开发一套读取数据的程序来完成。但是一般来说用户的需求是经常变化的，随着用户需求的变化，excel数据文件格式也是会时常修改，如果没有一套完善的处理业务变化的机制，每次格式的变化都会带来程序自下而上的修改，由此产生的工作量是巨大的。
发明内容
本发明的目的是提供一种excel数据导入方法及系统，以解决上述现有技术中的问题。
为了实现上述目的，本发明提供一种excel数据导入方法，其中，该方法包括：接收用户提交的excel数据文件；基于所提交的excel数据文件配置excel数据模型映射文件；以及基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析，并将解析后的excel数据文件导入数据库中。
本发明还提供了一种excel数据导入系统，其中该系统包括：接收单元，用于接收用户提交的excel数据文件；配置单元，用于基于所提交的excel数据文件配置excel数据模型映射文件；以及解析导入单元，用于基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析，并将解析后的excel数据文件导入数据库中。
通过上述技术方案，当用户想要将excel数据导入到数据库中时，可以基于用户提交的excel数据文件配置excel数据模型映射文件以形成excel数据与数据库模型的映射关系，然后可以基于该excel数据模型映射文件解析所提交的excel数据文件得到解析后的excel数据文件，该解析后的excel数据文件可以被导入到数据库中。由此，当用户需求变化导致excel数据格式变化时，只需修改调整配置文件(excel数据模型映射文件)而无需修改程序就可实现excel数据的灵活导入。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是根据本发明一种实施方式的excel数据导入方法的流程图；以及
图2是根据本发明一种实施方式的excel数据导入系统的方框图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
图1是根据本发明一种实施方式的excel数据导入方法的流程图。
如图1所示，本发明一种实施方式提供的excel数据导入方法包括：
S100，接收用户提交的excel数据文件；
S102，基于所提交的excel数据文件配置excel数据模型映射文件；以及
S104，基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析，并将解析后的excel数据文件导入数据库中。
当用户想要将excel数据导入到数据库中时，可以基于用户提交的excel数据文件配置excel数据模型映射文件以形成excel数据与数据库模型的映射关系，然后可以基于该excel数据模型映射文件(映射关系)解析所提交的excel数据文件得到解析后的excel数据文件，该解析后的excel数据文件可以被导入到数据库中。由此，当用户需求变化导致excel数据格式变化时，只需修改调整配置文件(excel数据模型映射文件)而无需修改程序就可实现excel数据的灵活导入。
其中，可以通过持久层将excel数据文件写入到数据库中来完成数据入库操作。
在本发明中，通过XML配置文件配合Java的反射机制实现了excel数据与程序字段的映射解析。
根据本发明一种实施方式，在步骤S104之前该方法还包括：
S106，基于预定规则判断所提交的excel数据文件的有效性；
S108，根据判断结果确定是否对所提交的excel数据文件进行解析。
由此，可以在执行数据解析步骤之前首先判断数据的有效性，进而再根据判断结果确定是否执行数据解析过程，从而可以确保数据解析过程的有效性。
其中，在判断excel数据文件的有效性的过程中使用的预定规则，可以为现有技术中已有的excel数据文件有效性判断规则，本发明不对此进行限定。
在该方法中，步骤S108包括：
S1080，在判断所提交的excel数据文件为有效的情况下，确定对所提交的excel数据文件进行解析；
S1082，在判断所提交的excel数据文件为无效的情况下，确定不对所提交的excel数据文件进行解析。
由此，仅在excel数据文件为有效的情况下对该excel数据文件进行解析，从而可以避免对无效数据的解析，提高了数据解析的效率以及确保了数据解析的有效性。
在该方法中，该方法还包括：
S110，在确定不对所提交的excel数据文件进行解析的情况下，输出并存储所提交的excel数据文件中错误数据的行号和列号以及错误原因。
其中，可以通过日志记录上述的错误数据的行号和列号以及错误原因，然后将该日志提供给用户，用户基于该日志可以对提交的excel数据文件进行修改，从而重新提交修改后的excel数据文件，继续执行数据导入操作。
图2是根据本发明一种实施方式的excel数据导入系统的方框图。
如图2所示，本发明一种实施方式提供的excel数据导入系统包括：接收单元20，用于接收用户提交的excel数据文件；配置单元22，用于基于所提交的excel数据文件配置excel数据模型映射文件；以及解析导入单元24，用于基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析，并将解析后的excel数据文件导入数据库中。
当用户想要将excel数据导入到数据库中时，可以基于用户提交的excel数据文件配置excel数据模型映射文件以形成excel数据与数据库模型的映射关系，然后可以基于该excel数据模型映射文件(映射关系)解析所提交的excel数据文件得到解析后的excel数据文件，该解析后的excel数据文件可以被导入到数据库中。由此，当用户需求变化导致excel数据格式变化时，只需修改调整配置文件(excel数据模型映射文件)而无需修改程序就可实现excel数据的灵活导入。
通过对Excel数据与后台模型建立映射关系，当系统解析到Excel数据时可以根据所建立的映射关系自动定位到配置好的相关列，实现数据入库操作。下面以针对汽车行业的数据配置的数据映射文件为例对本发明进行描述。
在上面的配置文件中：
<cocInfo>用于标示一个Excel数据文件。
<Entity>用于标示Excel数据文件中的某一列的数据。
code属性，映射为数据模型的属性；
columnId属性用于表示数据在Excel中所在的列数，程序根据columnId的值从Excel数据文件中找到相应的数据。
type属性用于表示Excel文件所在列的数据类型，主要分为String和Number用于后续处理。
description属性用于表示该列的文字描述，增加配置文件的可读性。
基于上述示例可知，当用户需求变更时，只需修改配置文件而无需修改代码。例如，当excel表头字段位置发生调整时，只需要修改配置文件中的位置标识即可。
本领域技术人员应当理解，上述示例仅仅是示例性的，并非用于限定本发明。
根据本发明一种实施方式，该系统还包括判断单元和控制单元，所述判断单元用于在基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析之前，基于预定规则判断所提交的excel数据文件的有效性；所述控制单元用于根据判断结果确定是否对所提交的excel数据文件进行解析。
由此，可以在执行数据解析步骤之前首先判断数据的有效性，进而再根据判断结果确定是否执行数据解析过程，从而可以确保数据解析过程的有效性。
其中，在判断excel数据文件的有效性的过程中使用的预定规则，可以为现有技术中已有的excel数据文件有效性判断规则，本发明不对此进行限定。
根据本发明一种实施方式，所述控制单元根据判断结果确定是否对所述excel数据文件进行解析包括：
在所述判断单元判断所提交的excel数据文件为有效的情况下，所述控制单元确定对所提交的excel数据文件进行解析；
在所述判断单元判断所提交的excel数据文件为无效的情况下，所述控制单元确定不对所提交的excel数据文件进行解析。
由此，仅在excel数据文件为有效的情况下对该excel数据文件进行解析，从而可以避免对无效数据的解析，提高了数据解析的效率以及确保了数据解析的有效性。
根据本发明一种实施方式，所述控制单元还用于在确定不对所提交的excel数据文件进行解析的情况下，输出并存储所提交的excel数据文件中错误数据的行号和列号以及错误原因。
其中，可以通过日志记录上述的错误数据的行号和列号以及错误原因，然后将该日志提供给用户，用户基于该日志可以对提交的excel数据文件进行修改，从而重新提交修改后的excel数据文件，继续执行数据导入操作。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (8)

1.一种excel数据导入方法，其中该方法包括：
接收用户提交的excel数据文件；
基于所提交的excel数据文件配置excel数据模型映射文件；以及
基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析，并将解析后的excel数据文件导入数据库中。
2.根据权利要求1所述的方法，其中，在基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析之前，该方法还包括：
基于预定规则判断所提交的excel数据文件的有效性；
根据判断结果确定是否对所提交的excel数据文件进行解析。
3.根据权利要求2所述的方法，其中，根据判断结果确定是否对所述excel数据文件进行解析包括：
在判断所提交的excel数据文件为有效的情况下，确定对所提交的excel数据文件进行解析；
在判断所提交的excel数据文件为无效的情况下，确定不对所提交的excel数据文件进行解析。
4.根据权利要求3所述的方法，其中，该方法还包括：
在确定不对所提交的excel数据文件进行解析的情况下，输出并存储所提交的excel数据文件中错误数据的行号和列号以及错误原因。
5.一种excel数据导入系统，其中该系统包括：
接收单元，用于接收用户提交的excel数据文件；
配置单元，用于基于所提交的excel数据文件配置excel数据模型映射文件；以及
解析导入单元，用于基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析，并将解析后的excel数据文件导入数据库中。
6.根据权利要求5所述的系统，其中，该系统还包括判断单元和控制单元，
所述判断单元用于在基于所配置的excel数据模型映射文件对所提交的excel数据文件进行解析之前，基于预定规则判断所提交的excel数据文件的有效性；
所述控制单元用于根据判断结果确定是否对所提交的excel数据文件进行解析。
7.根据权利要求6所述的系统，其中，所述控制单元根据判断结果确定是否对所述excel数据文件进行解析包括：
在所述判断单元判断所提交的excel数据文件为有效的情况下，所述控制单元确定对所提交的excel数据文件进行解析；
在所述判断单元判断所提交的excel数据文件为无效的情况下，所述控制单元确定不对所提交的excel数据文件进行解析。
8.根据权利要求7所述的系统，其中，所述控制单元还用于在确定不对所提交的excel数据文件进行解析的情况下，输出并存储所提交的excel数据文件中错误数据的行号和列号以及错误原因。
CN201511000863.XA 2015-12-28 2015-12-28 excel数据导入方法及系统 Pending CN106919618A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511000863.XA CN106919618A (zh) 2015-12-28 2015-12-28 excel数据导入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511000863.XA CN106919618A (zh) 2015-12-28 2015-12-28 excel数据导入方法及系统

Publications (1)

Publication Number Publication Date
CN106919618A true CN106919618A (zh) 2017-07-04

Family

ID=59456059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511000863.XA Pending CN106919618A (zh) 2015-12-28 2015-12-28 excel数据导入方法及系统

Country Status (1)

Country Link
CN (1) CN106919618A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121818A (zh) * 2017-12-29 2018-06-05 新开普电子股份有限公司 持卡人基本信息导入方法
CN108984177A (zh) * 2018-06-21 2018-12-11 中国铁塔股份有限公司 一种数据处理方法及系统
CN109558440A (zh) * 2018-10-18 2019-04-02 平安科技（深圳）有限公司 数据批量处理方法、装置、计算机设备及存储介质
CN109656985A (zh) * 2018-09-27 2019-04-19 深圳壹账通智能科技有限公司 数据导入方法、系统、终端及存储介质
WO2020052090A1 (zh) * 2018-09-10 2020-03-19 深圳市泰洲科技有限公司 数据自动导入方法、装置、计算机设备及存储介质
CN111898351A (zh) * 2020-08-03 2020-11-06 上海嗨酷强供应链信息技术有限公司 基于Aviator的Excel数据自动导入方法、装置、终端设备及存储介质
CN113051321A (zh) * 2019-12-26 2021-06-29 航天信息股份有限公司 一种数据导入方法、装置、设备及存储介质
CN113792017A (zh) * 2021-11-17 2021-12-14 中建电子商务有限责任公司 一种校验导入excel的模板内容的方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866364A (zh) * 2010-06-22 2010-10-20 用友软件股份有限公司 数据导入方法和装置
AU2011100882A4 (en) * 2011-07-15 2011-08-18 D Consulting Pty Ltd Data Transformation Spreadsheet
CN102750358A (zh) * 2012-06-12 2012-10-24 中国电力科学研究院 一种系统数据模型到cim模型的映射方法及系统
CN103020089A (zh) * 2011-09-27 2013-04-03 深圳市金蝶友商电子商务服务有限公司 一种将excel文件中的数据导入数据库的方法及装置
CN103150380A (zh) * 2013-03-13 2013-06-12 河海大学 一种可定制表格式的Excel表解析方法
CN103744982A (zh) * 2014-01-15 2014-04-23 北京神州普惠科技股份有限公司 一种将Excel数据导入数据库的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866364A (zh) * 2010-06-22 2010-10-20 用友软件股份有限公司 数据导入方法和装置
AU2011100882A4 (en) * 2011-07-15 2011-08-18 D Consulting Pty Ltd Data Transformation Spreadsheet
CN103020089A (zh) * 2011-09-27 2013-04-03 深圳市金蝶友商电子商务服务有限公司 一种将excel文件中的数据导入数据库的方法及装置
CN102750358A (zh) * 2012-06-12 2012-10-24 中国电力科学研究院 一种系统数据模型到cim模型的映射方法及系统
CN103150380A (zh) * 2013-03-13 2013-06-12 河海大学 一种可定制表格式的Excel表解析方法
CN103744982A (zh) * 2014-01-15 2014-04-23 北京神州普惠科技股份有限公司 一种将Excel数据导入数据库的方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121818A (zh) * 2017-12-29 2018-06-05 新开普电子股份有限公司 持卡人基本信息导入方法
CN108121818B (zh) * 2017-12-29 2022-01-28 新开普电子股份有限公司 持卡人基本信息导入方法
CN108984177A (zh) * 2018-06-21 2018-12-11 中国铁塔股份有限公司 一种数据处理方法及系统
WO2020052090A1 (zh) * 2018-09-10 2020-03-19 深圳市泰洲科技有限公司 数据自动导入方法、装置、计算机设备及存储介质
CN109656985A (zh) * 2018-09-27 2019-04-19 深圳壹账通智能科技有限公司 数据导入方法、系统、终端及存储介质
CN109558440A (zh) * 2018-10-18 2019-04-02 平安科技（深圳）有限公司 数据批量处理方法、装置、计算机设备及存储介质
CN109558440B (zh) * 2018-10-18 2023-12-15 平安科技（深圳）有限公司 数据批量处理方法、装置、计算机设备及存储介质
CN113051321A (zh) * 2019-12-26 2021-06-29 航天信息股份有限公司 一种数据导入方法、装置、设备及存储介质
CN113051321B (zh) * 2019-12-26 2024-05-28 航天信息股份有限公司 一种数据导入方法、装置、设备及存储介质
CN111898351A (zh) * 2020-08-03 2020-11-06 上海嗨酷强供应链信息技术有限公司 基于Aviator的Excel数据自动导入方法、装置、终端设备及存储介质
CN111898351B (zh) * 2020-08-03 2021-06-22 汇链通供应链科技(上海)有限公司 基于Aviator的Excel数据自动导入方法、装置、终端设备及存储介质
CN113792017A (zh) * 2021-11-17 2021-12-14 中建电子商务有限责任公司 一种校验导入excel的模板内容的方法和系统

Similar Documents

Publication Publication Date Title
CN106919618A (zh) excel数据导入方法及系统
Thiem et al. Qualitative comparative analysis with R: A user’s guide
KR101755365B1 (ko) 레코드 포맷 정보의 관리
US10769122B2 (en) Specifying and applying logical validation rules to data
RU2351007C2 (ru) Система и способ поддержки &#34;несобственного&#34; xml в &#34;собственном&#34; xml в документе текстового процессора
US20130191738A1 (en) Intelligent automatic expansion/contraction of abbreviations in text-based electronic communications
CN106933835A (zh) 一种兼容性解析Excel文件的数据导入方法及系统
US8601367B1 (en) Systems and methods for generating filing documents in a visual presentation context with XBRL barcode authentication
US9286526B1 (en) Cohort-based learning from user edits
CN108334609B (zh) Oracle中实现JSON格式数据存取的方法、装置、设备及存储介质
CN113505580A (zh) 表格文件的解析方法和装置
CN112463986B (zh) 信息存储的方法及装置
US11537448B1 (en) Adapting application programming interfaces with schema mappings
CN102270238B (zh) 构建语文知识点拓展的方法和装置
US9836450B2 (en) Methods and systems for providing universal portability in machine learning
CN105117499A (zh) 基于云盘的文件显示方法及装置
CN112162982B (zh) 数据查询方法、装置、设备及介质
CN109977430A (zh) 一种文本翻译方法、装置及设备
CN105574164A (zh) Excel文档的数据解析方法及装置
CN113672491B (zh) 检测sql语句合法性的方法、存储介质及终端设备
CN101727451A (zh) 信息提取方法和装置
US11170019B1 (en) Data field transaction repair interface
KR100825687B1 (ko) 워크벤치 기반의 생물학적 개체명 인식 방법 및 시스템
CN113032469A (zh) 文本结构化模型训练、医疗文本结构化方法及装置
CN114492413B (zh) 文本校对方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170704