CN111400411A - 一种Excel数据的处理方法、系统及设备 - Google Patents

一种Excel数据的处理方法、系统及设备 Download PDF

Info

Publication number
CN111400411A
CN111400411A CN202010144345.XA CN202010144345A CN111400411A CN 111400411 A CN111400411 A CN 111400411A CN 202010144345 A CN202010144345 A CN 202010144345A CN 111400411 A CN111400411 A CN 111400411A
Authority
CN
China
Prior art keywords
data
file
flow table
excel
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010144345.XA
Other languages
English (en)
Other versions
CN111400411B (zh
Inventor
王小玄
范浩哲
王小阳
雷俊鸽
林军军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Anranyun Network Technology Co ltd
Original Assignee
Henan Anranyun Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Anranyun Network Technology Co ltd filed Critical Henan Anranyun Network Technology Co ltd
Priority to CN202010144345.XA priority Critical patent/CN111400411B/zh
Publication of CN111400411A publication Critical patent/CN111400411A/zh
Application granted granted Critical
Publication of CN111400411B publication Critical patent/CN111400411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机信息技术领域，公开了一种Excel数据的处理方法，包括以下步骤：数据获取：选定待处理的文件，获取待处理数据的文件路径；创建数据流表：从选定的文件中获取文件表头和数据，并将其注册为数据流表；数据预处理：配置数据处理的动态SQL，对数据流表的表头及数据进行相应的预处理；数据导入：获取预处理后的数据流并将其导入关系型数据库中。本发明提供的数据处理方法，在用户需求发生改变时，只需要对应数据构成的数据流表采用动态sql进行处理，即可满足需求，大大降低了研发工作量，数据处理更加灵活。

Description

一种Excel数据的处理方法、系统及设备
技术领域
本发明涉及计算机信息技术领域，特别是指一种Excel数据的处理方法、系统及设备。
背景技术
随着数据的日益增多，Excel表格已不满足百万级别的数据查询处理，迫切需要把Excel中的数据加工处理后导入关系型数据库，通常的做法是根据用户需求定制研发一套Excel数据处理程序，但是用户需求千变万化，每次数据处理方式的改变都会引起程序的修改，牵一发而动全身，进行数据处理的工作量大，且数据处理不灵活。
发明内容
本发明提出一种Excel数据的处理方法、系统及设备，解决了现有技术中Excel数据处理工作量大且不灵活的技术问题。
本发明的技术方案是这样实现的：一种Excel数据的处理方法，包括以下步骤：
数据获取：选定待处理的文件，获取待处理数据的文件路径；
创建数据流表：从选定的文件中获取文件表头和数据，并将其注册为数据流表；
数据预处理：配置数据处理的动态SQL，对所述数据流表的表头及数据进行相应的预处理；
数据导入：获取预处理后的数据流并将其导入关系型数据库中。
作为优选的技术方案，所述文件表头和数据是采用Flink流计算从选定的文件中获取的。
作为优选的技术方案，还包括在获取待处理数据之前，导入提交文件的步骤。
一种Excel数据的处理系统，包括：
输入模块，用于导入选定的文件；
数据流表创建模块，用于从选定的文件中获取文件的表头和数据，并将其注册为数据流表；
动态SQL工具，用于对所述数据流表的表头和数据进行预处理；
数据导入模块，将经过预处理后的数据流导入关系型数据库；
关系型数据库，用于存储提交数据或数据流表中经过处理的数据。
一种数据处理设备，应用上述Excel数据的处理系统。
作为优选的技术方案，所述数据处理设备包括存储设备、移动设备、PC端。
本发明的有益效果在于：本发明提供的数据处理方法，在用户需求发生改变时，只需要对应数据构成的数据流表采用动态sql进行处理，即可满足需求，大大降低了研发工作量，数据处理更加灵活。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为工作流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明涉及的一种Excel数据的处理方法，包括以下步骤：
步骤1：文件导入开始，选定待处理的文件；
步骤2：获取文件路径，提交待处理的Excel数据文件；
步骤3：使用Flink流计算获取表头和数据；
步骤4：将步骤3中的表头和数据命名为新的表名并注册为数据流表；
步骤5：配置数据处理的动态SQL，对数据流表的表头及数据进行相应的预处理；
步骤6：获取处理后的数据流；
步骤7：将处理后的数据流导入关系型数据库；
其中，步骤5中，配置动态SQL具体通过以下步骤对数据流表进行预处理：
Ⅰ、输入Select
II、输入对表头处理的函数，如left、right、trim、sum、count等SQL语句；
III、输入From关键字；
IV、输入注册的数据流表名称；
V、输入需要的where条件。
一种Excel数据的处理系统，包括：
输入模块，用于导入选定的文件；
数据流表创建模块，用于从选定的文件中获取文件的表头和数据，并将其注册为数据流表；
动态SQL工具，用于对数据流表的表头和数据进行预处理；
数据导入模块，将经过预处理后的数据流导入关系型数据库；
关系型数据库，用于存储提交数据或数据流表中经过处理的数据。
本发明还涉及一种数据处理设备，应用上述Excel数据的处理系统。包括存储设备、移动设备、PC端等能够应用本发明所涉及的Excel数据的处理方法的电子设备。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种Excel数据的处理方法，其特征在于，包括以下步骤：
数据获取：选定待处理的文件，获取待处理数据的文件路径；
创建数据流表：从选定的文件中获取文件表头和数据，并将其注册为数据流表；
数据预处理：配置数据处理的动态SQL，对所述数据流表的表头及数据进行相应的预处理；
数据导入：获取预处理后的数据流并将其导入关系型数据库中。
2.如权利要求1所述的Excel数据的处理方法，其特征在于：所述文件表头和数据是采用Flink流计算从选定的文件中获取的。
3.如权利要求1所述的Excel数据的处理方法，其特征在于：还包括在获取待处理数据之前，导入提交文件的步骤。
4.一种应用如权利要求1至3任一项所述方法的Excel数据处理系统，其特征在于，包括：
输入模块，用于导入选定的文件；
数据流表创建模块，用于从选定的文件中获取文件的表头和数据，并将其注册为数据流表；
动态SQL工具，用于对所述数据流表的表头和数据进行预处理；
数据导入模块，将经过预处理后的数据流导入关系型数据库；
关系型数据库，用于存储提交数据或数据流表中经过处理的数据。
5.一种数据处理设备，其特征在于：应用如权利要求4所述的Excel数据处理系统。
6.如权利要求5所述的数据处理设备，其特征在于：所述数据处理设备包括存储设备、移动设备、PC端。
CN202010144345.XA 2020-03-04 2020-03-04 一种Excel数据的处理方法、系统及设备 Active CN111400411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010144345.XA CN111400411B (zh) 2020-03-04 2020-03-04 一种Excel数据的处理方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010144345.XA CN111400411B (zh) 2020-03-04 2020-03-04 一种Excel数据的处理方法、系统及设备

Publications (2)

Publication Number Publication Date
CN111400411A true CN111400411A (zh) 2020-07-10
CN111400411B CN111400411B (zh) 2024-04-19

Family

ID=71432190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010144345.XA Active CN111400411B (zh) 2020-03-04 2020-03-04 一种Excel数据的处理方法、系统及设备

Country Status (1)

Country Link
CN (1) CN111400411B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549949B1 (en) * 1999-08-31 2003-04-15 Accenture Llp Fixed format stream in a communication services patterns environment
US20140297589A1 (en) * 2013-03-28 2014-10-02 International Business Machines Corporation Dynamically synching elements in file
CN104268294A (zh) * 2014-10-24 2015-01-07 中国建设银行股份有限公司 将文件导入数据库的方法及装置
CN106022568A (zh) * 2016-05-09 2016-10-12 福建南威软件有限公司 一种工作流的处理方法和装置
CN106777372A (zh) * 2017-01-26 2017-05-31 语义（上海）信息科技有限公司 一种基于语义网本体的蜂流器数据导流和数据转化方法
CN107368517A (zh) * 2017-06-02 2017-11-21 上海恺英网络科技有限公司 一种大数据流查询的方法及设备
CN109033109A (zh) * 2017-06-09 2018-12-18 杭州海康威视数字技术股份有限公司 数据处理方法及系统
CN109101575A (zh) * 2018-07-18 2018-12-28 广东惠禾科技发展有限公司 计算方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549949B1 (en) * 1999-08-31 2003-04-15 Accenture Llp Fixed format stream in a communication services patterns environment
US20140297589A1 (en) * 2013-03-28 2014-10-02 International Business Machines Corporation Dynamically synching elements in file
CN104268294A (zh) * 2014-10-24 2015-01-07 中国建设银行股份有限公司 将文件导入数据库的方法及装置
CN106022568A (zh) * 2016-05-09 2016-10-12 福建南威软件有限公司 一种工作流的处理方法和装置
CN106777372A (zh) * 2017-01-26 2017-05-31 语义（上海）信息科技有限公司 一种基于语义网本体的蜂流器数据导流和数据转化方法
CN107368517A (zh) * 2017-06-02 2017-11-21 上海恺英网络科技有限公司 一种大数据流查询的方法及设备
CN109033109A (zh) * 2017-06-09 2018-12-18 杭州海康威视数字技术股份有限公司 数据处理方法及系统
CN109101575A (zh) * 2018-07-18 2018-12-28 广东惠禾科技发展有限公司 计算方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MING LUO: ""Innovation of Excel Integrated Server in Enterprise Information Management"", 《2009 INTERNATIONAL CONFERENCE ON NETWORKING AND DIGITAL SOCIETY》, 26 June 2009 (2009-06-26), pages 1 - 4 *
舒清录: ""基于.NET的异构数据源数据迁移技术"", 《计算机技术与发展》, 31 March 2010 (2010-03-31), pages 0 - 3 *
舒清录;: "基于.NET的异构数据源数据迁移技术", no. 03, pages 0 - 3 *
蒋建平: ""SQL / Excel 数据格式转换实现方法"", 《长沙民政职业技术学院学报》, 31 December 2010 (2010-12-31), pages 125 - 127 *

Also Published As

Publication number Publication date
CN111400411B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN109783479B (zh) 一种数据标准化处理方法、装置及存储介质
CN110659298A (zh) 财务数据处理方法、装置、计算机设备和存储介质
CN111445968A (zh) 电子病历查询方法、装置、计算机设备和存储介质
CN112650858B (zh) 应急协助信息的获取方法、装置、计算机设备及介质
CN110110006A (zh) 数据管理方法及相关产品
US20160196319A1 (en) Multi-dimensional data analysis
CN108038229A (zh) 政务信息检索方法、系统及终端设备
CN106066947A (zh) 一种中药处方管理系统及处方推送方法
CN110704526B (zh) 不良事件的信息的获取方法、装置、设备及存储介质
CN111552704A (zh) 一种数据报表生成方法、装置、计算机设备及存储介质
CN107153775A (zh) 一种智能分诊方法及装置
CN109284326A (zh) 一种数据库访问方法和装置
CN111639077B (zh) 数据治理方法、装置、电子设备、存储介质
CN112328805A (zh) 基于nlp的漏洞描述信息与数据库表的实体映射方法
CN111400411A (zh) 一种Excel数据的处理方法、系统及设备
CN114265835A (zh) 基于图挖掘的数据分析方法、装置及相关设备
CN107451301B (zh) 实时投递账单邮件的处理方法、装置、设备和存储介质
CN111523309A (zh) 药品信息归一化的方法、装置、存储介质及电子设备
CN107729579A (zh) 数据库分离设计方法及装置
CN107133320A (zh) 在Hive中连接运算的转化方法及装置
CN109918374A (zh) 海量数据存储的方法及终端设备
CN113032435A (zh) 用于风险评估的数据处理方法和装置
CN113806356B (zh) 数据识别方法、装置及计算设备
CN112559443B (zh) 层压数据的存储方法、电路板的层压方法及相关装置
CN113360515B (zh) 一种基于互联网的智慧社区信息服务平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant