CN106648763A - 一种批量数据导入组件及其导入方法 - Google Patents

一种批量数据导入组件及其导入方法 Download PDF

Info

Publication number
CN106648763A
CN106648763A CN201611107428.1A CN201611107428A CN106648763A CN 106648763 A CN106648763 A CN 106648763A CN 201611107428 A CN201611107428 A CN 201611107428A CN 106648763 A CN106648763 A CN 106648763A
Authority
CN
China
Prior art keywords
data
component
unit
configuration
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611107428.1A
Other languages
English (en)
Inventor
谭金祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MAINBO EDUCATION TECHNOLOGY Co Ltd
Original Assignee
MAINBO EDUCATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MAINBO EDUCATION TECHNOLOGY Co Ltd filed Critical MAINBO EDUCATION TECHNOLOGY Co Ltd
Priority to CN201611107428.1A priority Critical patent/CN106648763A/zh
Publication of CN106648763A publication Critical patent/CN106648763A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于数字化处理技术领域，具体涉及一种批量数据导入组件及其导入方法。组件包括配置单元，用于提供组件的使用配置；数据输入单元，用于从不同的数据源获取数据流；数据处理回调单元，用于为使用本组件的系统提供回调接口，实现对相应的数据业务处理；解析器单元，用于根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；中心处理单元，用于处理批量数据导入的流程调度。本发明所提供的组件可配置、灵活性高、且易扩展，可以让使用本组件的业务系统无需关注数据解析，只需将核心放在业务数据处理上。

Description

一种批量数据导入组件及其导入方法
技术领域
本发明属于数字化处理技术领域，具体涉及一种批量数据导入组件及其导入方法。
背景技术
伴随着计算机技术和网络时代的推进，批量导入技术已经得到了非常广泛的应用。特别在一些与传统行业结合的系统中，存在大量传统行业数据需要进行电子化存储，这时一般都会利用批量导入相关技术。
目前常用的方法，一般都是通过定制一个固定模板或使用已有数据文档为模板，针对该模板编写相关批量处理程序。这些方法的主要缺点如下：
一、复用性差，受限于文档存储格式及数据格式，一般一次编写的程序只能处理一种或有限的几种模板。
二、灵活性差，要求数据严格按模板要求填写，从而导致一些不符合模板要求的已有数据文档导入前需要相应的数据格式调整，增加了导入的工作量。
三、扩展性差，一般都没有提供相应扩展接口，使得系统升级工作量大，且操作复杂。
发明内容
本发明的目的在于针对现有技术存在的不足，提供一种可配置、灵活性高、易扩展的批量数据导入组件及其导入方法。
本发明的技术方案如下：一种批量数据导入组件，包括：
配置单元，用于提供组件的使用配置；
数据输入单元，用于从不同的数据源获取数据流；
数据处理回调单元，用于为使用本组件的系统提供回调接口，实现对相应的数据业务处理；
解析器单元，用于根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；
中心处理单元，用于处理批量数据导入的流程调度。
进一步，如上所述的批量数据导入组件，其中，所述的配置单元的配置信息包括配置标识、数据源格式、数据处理回调器标识、数据项标识及基本验证信息；所述的基本验证信息包括数据项最大长度、是否必填。
进一步，如上所述的批量数据导入组件，其中，所述的配置单元支持的配置源包括properties、xml及数据库。
进一步，如上所述的批量数据导入组件，其中，所述的数据输入单元提供包括web上传、云平台资源下载多种数据文档输入方式。
进一步，如上所述的批量数据导入组件，其中，所述的数据处理回调单元的回调接口能够返回具体实现标识，且该标识需配置在组件相应的配置中。
进一步，如上所述的批量数据导入组件，其中，所述解析器单元解析数据流的过程包括：
解析数据流中包含的数据项标识信息；
根据数据项标识信息在数据流解析包含的数据；
按照验证规则对数据进行验证；
根据配置的实现标识查找数据处理回调单元实现，并调用它来处理解析好的数据。
进一步，如上所述的批量数据导入组件，其中，所述的中心处理单元负责解析器选择、解析任务调度、解析生命周期管理、结果输出。
一种使用上述组件的批量数据导入方法，包括如下步骤：
(S1)在业务模块和批量数据导入组件之间实现数据处理接口，在组件中进行相应的配置；
(S2)将需要批量导入的数据按配置要求写入文档，或者将已有文档按配置要求调整格式；
(S3)在业务模块中嵌入导入接口，并附加上配置标识，业务用户使用嵌入的导入接口上传数据文档；
(S4)组件的中心处理单元接收到上传的数据文档及配置标识后，查找对应的配置信息，并调用相应的解析器解析上传的数据，解析完成后调用步骤(S1)实现的数据处理接口向业务模块传递解析后的数据；
(S5)回调接口处理完成后，返回处理结果信息到中心处理单元，中心处理单元整合各步骤的处理结果信息并返回给业务用户，包括系统验证信息及回调接口处理结果的信息。
进一步，如上所述的批量数据导入方法，步骤(S4)中所述的解析器分别解析出实际文档标识内容及其对应的数据内容，解析过程中调用配置的基本验证规则对数据进行验证。
本发明的有益效果如下：采用本发明所述的组件，业务系统只需关注相应的业务数据处理，实现数据处理回调单元及增加相应适当的配置，就可提供风格统一，适应性强的批量数据导入功能。因为组件配置是支持多例的，使得系统很容易支持多种不同数据或数据源导入，大大降低了系统的编码开发工作量，提高了系统的稳定性。
附图说明
图1为本发明所提供的批量数据导入组件的结构组成示意图；
图2为本发明的实施案例流程图。
具体实施方式
下面结合附图和实施例对本发明进行详细的介绍。
本发明提供了一种批量数据导入组件，旨在为需要使用批量导入数据的业务系统进行服务。本组件具有可配置、灵活性高，且易扩展的特点，该批量数据导入方案可以让使用本组件的业务系统无需关注数据解析，只需将核心放在业务数据处理上。
如图1所示，本组件包含以下几个基本单元：
(1)配置单元，用于提供组件使用配置；配置单元支持properties、xml及数据库等多种配置源。使用者需配置的信息包括配置标识、数据源格式、数据处理回调器标识、数据项标识及其相关基本验证信息；基本验证信息包含数据项最大长度、是否必填。
(2)数据输入单元，从不同数据源获取数据流；输入单元提供包括web上传，已有云平台资源下载等多种数据文档输入方式。
(3)数据处理回调单元，用户业务逻辑处理接口；使用本组件的业务系统通过本单元提供的回调接口来实现对相应的数据业务处理。数据处理回调单元的回调接口能够返回具体实现标识，且该标识需配置在组件相应的配置中。接口返回的标识作用是：中心处理单元处理时会读取前面配置的实现标识来定位具体的回调实现。
(4)解析器单元，根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；解析步骤包括：
解析数据流中包含的数据项标识信息，根据数据项标识信息在数据流解析包含的数据，按照验证规则对数据进行验证，根据配置的实现标识查找数据处理回调单元实现，并调用它来处理解析好的数据。
(5)中心处理单元，用于处理批量数据导入的流程调度；本单元为本组件的核心单元，其负责解析器选择、解析任务调度、解析生命周期管理、结果输出。
如图2所示，上述组件的批量数据导入方法，包括如下步骤：
(S1)在业务模块和批量数据导入组件之间实现数据处理接口，在组件中进行相应的配置；
(S2)将需要批量导入的数据按配置要求写入文档，或者将已有文档按配置要求调整格式；
(S3)在业务模块中嵌入导入接口，并附加上配置标识，业务用户使用嵌入的导入接口上传数据文档；
(S4)组件的中心处理单元接收到上传的数据文档及配置标识后，查找对应的配置信息，并调用相应的解析器解析上传的数据，解析完成后调用步骤(S1)实现的数据处理接口向业务模块传递解析后的数据；
(S5)回调接口处理完成后，返回处理结果信息到中心处理单元，中心处理单元整合各步骤的处理结果信息并返回给业务用户，包括系统验证信息及回调接口处理结果的信息。
本系统有足够的扩展性，用户可扩展实现各个核心单元，也可只实现业务数据处理接口即可。
实施例
下面以excel格式数据导入为例，对本发明的批量数据导入流程进行进一步说明。excel格式数据导入流程包括以下步骤：
第一步，在系统的业务模块和组件之间实现excel业务数据处理接口，并在组件中增加相应配置。配置信息包括配置标识、数据源格式、实现接口标识、导入数据标识内容及基本验证信息，数据输入方式。
本实施例中，数据源格式为excel文档，导入数据标识内容为excel各列标题信息，需要配置：头部所在行序号，头部各列内容及候选内容，及基本验证信息(如姓名列，可配置为姓名，真实姓名，验证为必填，长度不超过20字符)，并生成配置标识号。
第二步，将要导入的数据按配置要求写入文档，或将已有文档的格式按第一步配置要求调整格式。比如导入用户信息，既可以下载第一步上传的参考模块填充数据，也可使用任意excel文档，只要求标题所在行，及标题行有必填列，用户可以任意调整列顺序。
第三步，调用业务系统的导入接口上传文档。具体来说，在相应的业务模块中嵌入系统的导入接口，嵌入时要求附加上第一步中填写的配置标识。业务用户再使用嵌入的接口上传数据文档。本实施例中上传的文档为一个包含用户信息的Excel文档。
第四步，中心处理单元接收到文档及配置标识后，根据配置标识查找对应的配置信息。然后根据找到的配置信息调用所配置的相应解析器分别解析出实际文档标识内容及其对应的数据内容，解析过程会调用配置的基本验证规则进行验证，解析完成后将调用第一步业务实现的数据处理接口，并传递系统解析后的数据。本实施例中：业务处理接口将业务数据接口实现进行数据业务验证(如判重)并存储，相应的需反馈给用户的信息可以存储到系统提供的信息接收器中。
第五步，回调接口处理完成后，返回处理结果信息到中心处理单元，由中心处理单元整合各步骤的处理结果并返回给业务用户。
综上，本发明的主要特点体现在如下三点：第一点，使用本导入组件的业务系统需要实现自己的数据处理逻辑；第二点，组件是通过配置来选择解析器及数据处理器；第三点，组件分别解析数据标识及数据内容，大大增加了数据文档模板的灵活性。如上例中excel文档可以支持任意列顺序，结合配置表，标题列的内容也是可以有一定的兼容性。
其它类型的数据与上述实例的导入操作方式类似，此处就不再赘述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种批量数据导入组件，包括：
配置单元，用于提供组件的使用配置；
数据输入单元，用于从不同的数据源获取数据流；
数据处理回调单元，用于为使用本组件的系统提供回调接口，实现对相应的数据业务处理；
解析器单元，用于根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；
中心处理单元，用于处理批量数据导入的流程调度。
2.如权利要求1所述的批量数据导入组件，其特征在于：所述的配置单元的配置信息包括配置标识、数据源格式、数据处理回调器标识、数据项标识及基本验证信息。
3.如权利要求2所述的批量数据导入组件，其特征在于：所述的基本验证信息包括数据项最大长度、是否必填。
4.如权利要求1所述的批量数据导入组件，其特征在于：所述的配置单元支持的配置源包括properties、xml及数据库。
5.如权利要求1所述的批量数据导入组件，其特征在于：所述的数据输入单元提供包括web上传、云平台资源下载多种数据文档输入方式。
6.如权利要求1所述的批量数据导入组件，其特征在于：所述的数据处理回调单元的回调接口能够返回具体实现标识，且该标识需配置在组件相应的配置中。
7.如权利要求6所述的批量数据导入组件，其特征在于：所述解析器单元解析数据流的过程包括：
解析数据流中包含的数据项标识信息；
根据数据项标识信息在数据流解析包含的数据；
按照验证规则对数据进行验证；
根据配置的实现标识查找数据处理回调单元实现，并调用它来处理解析好的数据。
8.如权利要求1所述的批量数据导入组件，其特征在于：所述的中心处理单元负责解析器选择、解析任务调度、解析生命周期管理、结果输出。
9.一种使用权利要求1-8任意一项所述组件的批量数据导入方法，包括如下步骤：
(S1)在业务模块和批量数据导入组件之间实现数据处理接口，在组件中进行相应的配置；
(S2)将需要批量导入的数据按配置要求写入文档，或者将已有文档按配置要求调整格式；
(S3)在业务模块中嵌入导入接口，并附加上配置标识，业务用户使用嵌入的导入接口上传数据文档；
(S4)组件的中心处理单元接收到上传的数据文档及配置标识后，查找对应的配置信息，并调用相应的解析器解析上传的数据，解析完成后调用步骤(S1)实现的数据处理接口向业务模块传递解析后的数据；
(S5)回调接口处理完成后，返回处理结果信息到中心处理单元，中心处理单元整合各步骤的处理结果信息并返回给业务用户，包括系统验证信息及回调接口处理结果的信息。
10.如权利要求9所述的批量数据导入方法，其特征在于：步骤(S4)中所述的解析器分别解析出实际文档标识内容及其对应的数据内容，解析过程中调用配置的基本验证规则对数据进行验证。
CN201611107428.1A 2016-12-06 2016-12-06 一种批量数据导入组件及其导入方法 Pending CN106648763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611107428.1A CN106648763A (zh) 2016-12-06 2016-12-06 一种批量数据导入组件及其导入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611107428.1A CN106648763A (zh) 2016-12-06 2016-12-06 一种批量数据导入组件及其导入方法

Publications (1)

Publication Number Publication Date
CN106648763A true CN106648763A (zh) 2017-05-10

Family

ID=58819642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611107428.1A Pending CN106648763A (zh) 2016-12-06 2016-12-06 一种批量数据导入组件及其导入方法

Country Status (1)

Country Link
CN (1) CN106648763A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344164A (zh) * 2018-10-31 2019-02-15 迈普通信技术股份有限公司 数据存储方法及装置
CN110765741A (zh) * 2019-09-09 2020-02-07 重庆金融资产交易所有限责任公司 数据处理的方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221564A (zh) * 2007-08-03 2008-07-16 哈尔滨工程大学 一种通用的自主数据采集方法
CN102609483A (zh) * 2012-01-19 2012-07-25 北京神州数码思特奇信息技术股份有限公司 一种基于配置方式的Excel通用导入方法
CN102930021A (zh) * 2012-11-02 2013-02-13 曙光云计算技术有限公司 云计算系统的数据处理方法
CN103150380A (zh) * 2013-03-13 2013-06-12 河海大学 一种可定制表格式的Excel表解析方法
CN104077665A (zh) * 2014-07-10 2014-10-01 国家电网公司 电网工程造价分析数据收集系统及方法
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp系统中多源数据导入方法
US8972336B2 (en) * 2012-05-03 2015-03-03 Salesforce.Com, Inc. System and method for mapping source columns to target columns
CN104572730A (zh) * 2013-10-22 2015-04-29 北大方正集团有限公司 数字资源导入、导出方法及装置
CN105117431A (zh) * 2015-08-07 2015-12-02 北京思特奇信息技术股份有限公司 一种动态配置外部导入数据的方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221564A (zh) * 2007-08-03 2008-07-16 哈尔滨工程大学 一种通用的自主数据采集方法
CN102609483A (zh) * 2012-01-19 2012-07-25 北京神州数码思特奇信息技术股份有限公司 一种基于配置方式的Excel通用导入方法
US8972336B2 (en) * 2012-05-03 2015-03-03 Salesforce.Com, Inc. System and method for mapping source columns to target columns
CN102930021A (zh) * 2012-11-02 2013-02-13 曙光云计算技术有限公司 云计算系统的数据处理方法
CN103150380A (zh) * 2013-03-13 2013-06-12 河海大学 一种可定制表格式的Excel表解析方法
CN104572730A (zh) * 2013-10-22 2015-04-29 北大方正集团有限公司 数字资源导入、导出方法及装置
CN104077665A (zh) * 2014-07-10 2014-10-01 国家电网公司 电网工程造价分析数据收集系统及方法
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp系统中多源数据导入方法
CN105117431A (zh) * 2015-08-07 2015-12-02 北京思特奇信息技术股份有限公司 一种动态配置外部导入数据的方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
101.KEY: "java基于xml配置的通用excel单表数据导入组件(四、DAO主处理类)", 《HTTPS://WWW.CNBLOGS.COM/101KEY/P/3286512.HTML》 *
SILENT VOID: "共享组件(有码)：将文件中数据导入到DataTable", 《HTTPS://WWW.CNBLOGS.COM/HAPPYHIPPY/ARCHIVE/2008/10/29/1321758.HTML》 *
何林波等: "《面向对象程序设计 (Java)》", 30 August 2016, 西安电子科技大学出版社 *
王春刚: "基于配置文件的通用数据导入设计与实现", 《计算机与现代化》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344164A (zh) * 2018-10-31 2019-02-15 迈普通信技术股份有限公司 数据存储方法及装置
CN109344164B (zh) * 2018-10-31 2021-03-19 迈普通信技术股份有限公司 数据存储方法及装置
CN110765741A (zh) * 2019-09-09 2020-02-07 重庆金融资产交易所有限责任公司 数据处理的方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN107766132A (zh) 多任务调度方法、应用服务器及计算机可读存储介质
CN108153520A (zh) 软件开发方法及装置
CN111552838B (zh) 数据处理方法及装置、计算机设备、存储介质
CN109710677A (zh) 实验数据处理方法、装置、计算机设备和存储介质
CN104717179B (zh) 一种通信业务的处理方法及装置
CN107506185A (zh) 一种数据解析和数据展示方法及系统
CN110069297A (zh) 基于Spring MVC的异常处理方法、装置、计算机设备和存储介质
CN107689982A (zh) 多数据源数据同步方法、应用服务器及计算机可读存储介质
CN104463296B (zh) 一种二维码结构化信息的生成、获取及处理方法和系统
CN110275861A (zh) 数据存储方法及装置、存储介质、电子装置
CN111476015A (zh) 一种文档处理方法、装置、电子设备及存储介质
CN113626223A (zh) 一种接口调用方法和装置
US9084131B2 (en) Data cut-over method and apparatus
CN106648763A (zh) 一种批量数据导入组件及其导入方法
CN112131289A (zh) 数据处理方法、装置、电子设备及存储介质
CN105933396B (zh) 一种协同各渠道系统接口实现长流程的方法及系统
CN202143092U (zh) 报文处理系统
CN116339690A (zh) 业务流程的执行方法及其装置、电子设备及存储介质
CN112740230B (zh) 数据标注系统、方法和数据标注管理器
CN109344372B (zh) 基于大数据的单证生成方法及系统
CN114968917A (zh) 一种文件数据快速导入方法及装置
CN114896161A (zh) 基于人工智能的文件构造方法、装置、计算机设备及介质
WO2017084515A1 (zh) 数据码流发送方法及装置
CN110148019B (zh) 信息流运营模板创建方法和信息流运营模板创建系统
CN108228688B (zh) 一种基于xbrl的模板生成方法、系统及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication