CN110728121A - 基于现有接口实现零开发的数据导入系统及方法 - Google Patents

基于现有接口实现零开发的数据导入系统及方法 Download PDF

Info

Publication number
CN110728121A
CN110728121A CN201910875556.8A CN201910875556A CN110728121A CN 110728121 A CN110728121 A CN 110728121A CN 201910875556 A CN201910875556 A CN 201910875556A CN 110728121 A CN110728121 A CN 110728121A
Authority
CN
China
Prior art keywords
data
interface
dsl
existing
development based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910875556.8A
Other languages
English (en)
Other versions
CN110728121B (zh
Inventor
李东明
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN201910875556.8A priority Critical patent/CN110728121B/zh
Publication of CN110728121A publication Critical patent/CN110728121A/zh
Application granted granted Critical
Publication of CN110728121B publication Critical patent/CN110728121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供一种基于现有接口实现零开发的数据导入系统:包括Excel模板定制模块和DSL解析模块;Excel模板定制模块包括静态数据、动态数据和DSL语句;静态数据包括表单唯一标识、表单名称和表头名称;动态数据包括后台新增接口字段名称和表格属性;DSL语句包括请求接口、字段映射和映射条件。本发明还提供一种基于现有接口实现零开发的数据导入方法:本发明利用现有的新增和查询接口,避免了二次开发;而且由于是现有接口,稳定性和数据的安全性得到了保证,脏数据也得到了解决。利本发明用现有接口进行数据导入,利用DSL解决字段映射问题。本发明利用现有接口实现零开发导入数据,模板定制可视化,简化操作。

Description

基于现有接口实现零开发的数据导入系统及方法
技术领域
本发明涉及一种数据处理方法,具体涉及一种基于现有接口实现零开发的数据导入系统及方法。
背景技术
任何一个后台系统,都有导入大量数据的需求。Excel由于其强大的功能和良好的编辑能力,成为数据导入的首选格式。通常的开发步骤是先设计模板,针对该模板开发一套完整的流程,实现数据的导入。随着模块的增多,模块内容也有各类数据的导入,这种做法显然比较低效。所以,有必要设计一种全新的数据导入方案,既满足日益增多的导入需求,又无需进行额外开发。
在《一种excel数据快速导入的方法和系统(专利号:CN109783565A)》中,每个Excel模板的导入,都需要后台开发相应的导入接口,不适合快速开发和使用。
在《一种数据导入的方法和系统(专利号:CN201910266803)》中,数据的导入时直接保存到数据库,这种方法没法对数据进行校验,并且如果数据新增和外部模块有交互,显然该专利的方法是没办法做到的。
现有技术中,最常用的就是针对每一个Excel模板,都会在后台新增一个与之对应的导入方法,非常不利于快速开发,而且新接口还需要进一步测试才能发布。即便是一些通用的导入系统,也存在不合理的地方。对于导入的数据,未经任何处理直接保存到数据库中,既存在数据安全性问题,数据健壮性问题,而且还可能引起脏数据的问题。
因此,需要对现有技术进行改进。
发明内容
本发明要解决的技术问题是提供一种高效的基于现有接口实现零开发的数据导入系统及方法。
为解决上述技术问题,本发明提供一种基于现有接口实现零开发的数据导入系统:包括Excel模板定制模块和DSL解析模块;
Excel模板定制模块包括静态数据、动态数据和DSL语句;
静态数据包括表单唯一标识、表单名称和表头名称;
动态数据包括后台新增接口字段名称和表格属性;
DSL语句包括请求接口、字段映射和映射条件。
作为对本发明基于现有接口实现零开发的数据导入系统的改进:
Excel模板定制模块用于创建定制化模板;
DSL解析模块根据指定的接口和参数,调取响应的接口,拿到返回值后再映射成指定的字段。
作为对本发明基于现有接口实现零开发的数据导入系统的进一步改进:
DSL解析模块由用户输入的Excel数据,已经对原有的新增接口做了适配。
作为对本发明基于现有接口实现零开发的数据导入系统的进一步改进:
映射条件包括接口、传参和返回值。
本发明还提供一种基于现有接口实现零开发的数据导入方法:包括以下步骤:
S1、通过Excel模板定制模块得到定制化模板;
定制化模板上设置有请求接口和唯一标识;
S2、用户向请求接口输入数据,Excel模板定制模块向DSL解析模块发送数据和唯一标识;
S3、DSL解析模块根据唯一标识得到DSL,根据DSL解析数据得到返回值,将返回值赋值给请求接口。
本发明基于现有接口实现零开发的数据导入系统及方法的技术优势为:
本发明利用现有的新增和查询接口,避免了二次开发;而且由于是现有接口,稳定性和数据的安全性得到了保证,脏数据也得到了解决。利本发明用现有接口进行数据导入,利用DSL解决字段映射问题。本发明利用现有接口实现零开发导入数据,模板定制可视化,简化操作。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明基于现有接口实现零开发的数据导入方法的流程示意图;
图2为实施例1得到的学生成绩表格。
具体实施方式
下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此。
实施例1、基于现有接口实现零开发的数据导入系统,如图1-2所示,包括Excel模板定制模块和DSL解析模块。
Excel模板定制模块:主要是创建定制化模板。Excel模板定制模块包括静态数据、动态数据和DSL语句。
静态数据:包括表单唯一标识、表单名称和表头名称等;
动态数据(用户输入的数据):包括后台新增接口字段名称和表格属性;
DSL语句:包括请求接口、字段映射和映射条件。定义查询语句,解决字段映射问题。例如有一个区域属性,表格填写浙江省杭州市,但是后台接口接受的行政规划编码,330000(浙江省)-330100(杭州市),所以需要定义字段映射,并指明映射条件,如映射需要调用的接口、传参和返回值。
DSL解析模块:根据指定的接口和参数,调取响应的接口,拿到返回值后再映射成指定的字段。例如表格中有“省市区”,用户输入“浙江省-杭州市”,新增接口A接受参数paramX(省编码)、paramY(市编码),此时通过查询接口B将用户输入转为需要的paramX和paramY,符合了接口A的定义规范。
为了方便管理员操作,模板定制提供可视化操作,管理员可以通过后台界面,新建相应的Excel表格。具体的,管理员定制了如图2所示的表格:
其中,行1是表头,指明每列需要填充内容,红色表明为必填内容;行2是样例数据;行4是新增接口A对应的字段,其中接口A接收课程id:courseId,评级id:rateId,用户并不知道课程id和评级id,所以需要定制DSL-1和DSL-2,将用户输入数据转化为接口A所需数据格式,具体定义如下:
DSL-1:定义了需要查询的接口B(后台已存在),查询条件为课程名称courseName,返回值data.id赋值给课程ID:courseId。当用户导入数据时,课程名称courseName会去请求urlB?courseName=’线性代数’,返回值为{data:{id:23,name:xx},code:200}。通过解析,获取data对象的id属性,赋值给课程ID:courseId。至此,由用户输入的Excel数据,已经对原有的新增接口做了适配。
DSL-2:和DSL-1类似。
综上所述,本发明的模板定制系统,可按照用户设计的Excel文件来配置导入数据的格式,同时通过定制DSL语句,实现对现有新增接口的适配。配置好模板之后,前端只需要指定表单的唯一标识,即可实现数据的导入功能,无需额外开发。这种可视化的表格生成、合理利用现有接口的操作,极大的提高了开发效率,满足企业快速迭代的需求,并降低了系统维护成本。
具体包括以下步骤:
S1、通过Excel模板定制模块得到定制化模板;
定制化模板上设置有请求接口和唯一标识;
S2、用户向请求接口输入数据,Excel模板定制模块向DSL解析模块发送数据和唯一标识;
S3、DSL解析模块根据唯一标识得到DSL,根据DSL解析数据得到返回值,将返回值赋值给请求接口。
DSL:domain-specific language(领域特定语言),指的是专注于某个应用程序领域的计算机语言。
最后,还需要注意的是,以上列举的仅是本发明的若干个具体实施例。显然,本发明不限于以上实施例,还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形,均应认为是本发明的保护范围。

Claims (5)

1.基于现有接口实现零开发的数据导入系统,其特征在于:包括Excel模板定制模块和DSL解析模块;
Excel模板定制模块包括静态数据、动态数据和DSL语句;
静态数据包括表单唯一标识、表单名称和表头名称;
动态数据包括后台新增接口字段名称和表格属性;
DSL语句包括请求接口、字段映射和映射条件。
2.根据权利要求1所述的基于现有接口实现零开发的数据导入系统,其特征在于:
Excel模板定制模块用于创建定制化模板;
DSL解析模块根据指定的接口和参数,调取响应的接口,拿到返回值后再映射成指定的字段。
3.根据权利要求1所述的基于现有接口实现零开发的数据导入系统,其特征在于:
DSL解析模块由用户输入的Excel数据,已经对原有的新增接口做了适配。
4.根据权利要求3所述的基于现有接口实现零开发的数据导入系统,其特征在于:
映射条件包括接口、传参和返回值。
5.利用如权利要求4所述的基于现有接口实现零开发的数据导入系统的基于现有接口实现零开发的数据导入方法,其特征在于:包括以下步骤:
S1、通过Excel模板定制模块得到定制化模板;
定制化模板上设置有请求接口和唯一标识;
S2、用户向请求接口输入数据,Excel模板定制模块向DSL解析模块发送数据和唯一标识;
S3、DSL解析模块根据唯一标识得到DSL,根据DSL解析数据得到返回值,将返回值赋值给请求接口。
CN201910875556.8A 2019-09-17 2019-09-17 基于现有接口实现零开发的数据导入系统及方法 Active CN110728121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910875556.8A CN110728121B (zh) 2019-09-17 2019-09-17 基于现有接口实现零开发的数据导入系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910875556.8A CN110728121B (zh) 2019-09-17 2019-09-17 基于现有接口实现零开发的数据导入系统及方法

Publications (2)

Publication Number Publication Date
CN110728121A true CN110728121A (zh) 2020-01-24
CN110728121B CN110728121B (zh) 2023-08-01

Family

ID=69219062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910875556.8A Active CN110728121B (zh) 2019-09-17 2019-09-17 基于现有接口实现零开发的数据导入系统及方法

Country Status (1)

Country Link
CN (1) CN110728121B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507675A (zh) * 2020-11-05 2021-03-16 社宝信息科技(上海)有限公司 智能薪资计算及实时发薪的系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609483A (zh) * 2012-01-19 2012-07-25 北京神州数码思特奇信息技术股份有限公司 一种基于配置方式的Excel通用导入方法
CN103714480A (zh) * 2013-12-30 2014-04-09 山东中创软件工程股份有限公司 一种可自定义的财务报表生成系统
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp系统中多源数据导入方法
CN105335412A (zh) * 2014-07-31 2016-02-17 阿里巴巴集团控股有限公司 用于数据转换、数据迁移的方法和装置
CN105824849A (zh) * 2015-01-08 2016-08-03 中国移动通信集团河南有限公司 一种数据导入方法及适配器
US20170052970A1 (en) * 2015-08-20 2017-02-23 International Business Machines Corporation Transforming and loading data from a source data system to a target data system
CN107436917A (zh) * 2017-06-16 2017-12-05 浙江百世技术有限公司 一种导入模板配置方法、数据批量导入方法及系统
CN109739923A (zh) * 2019-04-03 2019-05-10 深圳市沃易科技有限公司 一种数据导入的方法和系统
CN109783565A (zh) * 2019-02-18 2019-05-21 广州恒峰智能信息科技有限公司 一种excel数据快速导入的方法和系统
CN109992585A (zh) * 2019-04-01 2019-07-09 北京金和网络股份有限公司 用于办公管理系统的数据导入方法
CN110046334A (zh) * 2019-03-21 2019-07-23 平安国际智慧城市科技股份有限公司 数据导入方法、装置、计算机设备以及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609483A (zh) * 2012-01-19 2012-07-25 北京神州数码思特奇信息技术股份有限公司 一种基于配置方式的Excel通用导入方法
CN103714480A (zh) * 2013-12-30 2014-04-09 山东中创软件工程股份有限公司 一种可自定义的财务报表生成系统
CN105335412A (zh) * 2014-07-31 2016-02-17 阿里巴巴集团控股有限公司 用于数据转换、数据迁移的方法和装置
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp系统中多源数据导入方法
CN105824849A (zh) * 2015-01-08 2016-08-03 中国移动通信集团河南有限公司 一种数据导入方法及适配器
US20170052970A1 (en) * 2015-08-20 2017-02-23 International Business Machines Corporation Transforming and loading data from a source data system to a target data system
CN107436917A (zh) * 2017-06-16 2017-12-05 浙江百世技术有限公司 一种导入模板配置方法、数据批量导入方法及系统
CN109783565A (zh) * 2019-02-18 2019-05-21 广州恒峰智能信息科技有限公司 一种excel数据快速导入的方法和系统
CN110046334A (zh) * 2019-03-21 2019-07-23 平安国际智慧城市科技股份有限公司 数据导入方法、装置、计算机设备以及存储介质
CN109992585A (zh) * 2019-04-01 2019-07-09 北京金和网络股份有限公司 用于办公管理系统的数据导入方法
CN109739923A (zh) * 2019-04-03 2019-05-10 深圳市沃易科技有限公司 一种数据导入的方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507675A (zh) * 2020-11-05 2021-03-16 社宝信息科技(上海)有限公司 智能薪资计算及实时发薪的系统及方法

Also Published As

Publication number Publication date
CN110728121B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN104133772B (zh) 一种自动生成测试数据的方法
CN111914135A (zh) 数据查询方法、装置、电子设备及存储介质
CN109871289A (zh) 一种远程过程调用rpc服务生成方法及装置
CN111198898B (zh) 大数据查询方法及大数据查询装置
CN113626223A (zh) 一种接口调用方法和装置
CN111562953A (zh) 接口调用方法、装置、计算机装置及可读存储介质
CN110728121A (zh) 基于现有接口实现零开发的数据导入系统及方法
CN114385721A (zh) 一种数据可视化查询方法、装置、电子设备及存储介质
CN110750553A (zh) 一种在业务管理系统中对数据进行自定义导出的方法
CN111401023B (zh) 一种报表生成方法、装置、服务器及存储介质
CN106649110A (zh) 软件测试方法及系统
CN105912723A (zh) 一种自定义字段的存储方法
CN103593182A (zh) 一种采用聚类方式进行软件重构的方法
CN103246605A (zh) 一种基于xml的遥控器键值配置方法和系统
CN103793519A (zh) 一种支持海量数据导出的自动化工具
CN108388809B (zh) 一种数据范围控制方法和系统
CN111008011A (zh) 一个面向电力平台应用开发的系统构建器
CN106570004B (zh) 一种数据管理方法及装置
CN109241158B (zh) 用于规则管理的数据源自定义方法以及装置
CN114036158A (zh) 一种Elasticsearch与MySQL的联合查询方法和装置
WO2012098370A1 (en) Timeslot interoperability between communicating platforms
CN112445811A (zh) 基于sql配置的数据服务方法、装置、存储介质及组件
CN116755684B (zh) OAS Schema的生成方法、装置、设备及介质
WO2018072250A1 (zh) 一种数据分拣系统及其实现方法
US20040046793A1 (en) Program generation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant