CN113971191A - 一种数据导入方法、装置和计算机可读存储介质 - Google Patents

一种数据导入方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN113971191A
CN113971191A CN202010715346.5A CN202010715346A CN113971191A CN 113971191 A CN113971191 A CN 113971191A CN 202010715346 A CN202010715346 A CN 202010715346A CN 113971191 A CN113971191 A CN 113971191A
Authority
CN
China
Prior art keywords
import
data
template
page
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010715346.5A
Other languages
English (en)
Inventor
文创业
黄东庆
杨志航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010715346.5A priority Critical patent/CN113971191A/zh
Publication of CN113971191A publication Critical patent/CN113971191A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种数据导入方法、装置和计算机可读存储介质;本发明实施例在显示模板管理页面后,响应于模板创建控件的触发操作,显示模板创建页面,该模板创建页面包括多个参数录入接口,然后,通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,根据数据导入表和导入策略创建导入页面,该导入页面包括数据导入表的下载控件和数据导入表的上传控件,响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表,响应于上传控件的触发操作,根据导入路径,导入目标数据表;该方案可以大大提升数据导入的效率。

Description

一种数据导入方法、装置和计算机可读存储介质
技术领域
本发明涉及通信技术领域,具体涉及一种数据导入方法、装置和计算机可读存储介质。
背景技术
近年来,随着互联网技术的飞速发展,为了开发和测试各类应用程序,需要导入大量的数据,尤其是一些个性化数据。现有的数据导入完全依赖应用程序的开发人员将数据转换为插入的结构化查询语言(Structured Query Language,SQL)语句或者通过针对每一类数据开发个性化的管理端进行导入。
在对现有技术的研究和实践过程中,本发明的发明人发现不管是将数据转换为SQL语句,还是单独开发管理端,导入数据所需的时间都比较长,因此,会大大影响数据导入的效率。
发明内容
本发明实施例提供一种数据导入方法、装置和计算机可读存储介质,可以大大提高数据导入的效率。
一种数据导入方法,包括:
显示模板管理页面,所述模板管理页面包括模板创建控件;
响应于所述模板创建控件的触发操作,显示模板创建页面,所述模板创建页面包括多个参数录入接口;
通过所述参数录入接口接收模板参数,并获取所述模板参数对应的数据导入表和导入策略,所述导入策略指示待导入数据的导入路径;
根据所述数据导入表和导入策略创建导入页面,所述导入页面包括所述数据导入表的下载控件和所述数据导入表的上传控件;
响应于所述下载控件的触发操作,显示所述数据导入表,并通过所述数据导入表接收输入的待导入数据,得到目标数据表;
响应于所述上传控件的触发操作,根据所述导入路径,导入所述目标数据表。
可选的,本发明实施例还可以提供另一种数据导入方法,包括:
接收导入任务请求,所述导入任务请求携带模板参数;
根据所述导入任务请求,创建所述模板参数对应的数据导入表和导入策略,所述导入策略指示待导入数据的导入路径;
将所述数据导入表和导入策略发送至终端;
接收目标数据表,以导入所述待导入数据,所述目标数据表包括所述待导入数据。
相应的,本发明实施例提供一种数据导入装置,包括:
模板管理单元,用于显示模板管理页面,所述模板管理页面包括模板创建控件;
模板创建单元,用于响应于所述模板创建控件的触发操作,显示模板创建页面,所述模板创建页面包括多个参数录入接口;
获取单元,用于通过所述参数录入接口接收模板参数,并获取所述模板参数对应的数据导入表和导入策略,所述导入策略指示待导入数据的导入路径;
第一创建单元,用于根据所述数据导入表和导入策略创建导入页面,所述导入页面包括所述数据导入表的下载控件和所述数据导入表的上传控件;
第一接收单元,用于响应于所述下载控件的触发操作,显示所述数据导入表,并通过所述数据导入表接收输入的待导入数据,得到目标数据表;
第一导入单元,用于响应于所述上传控件的触发操作,根据所述导入路径,导入所述目标数据表。
第二接收单元,用于接收导入任务请求,所述导入任务请求携带模板参数;
第二创建单元,用于根据所述导入任务请求,创建所述模板参数对应的数据导入表和导入策略,所述导入策略指示待导入数据的导入路径;
发送单元,用于将所述数据导入表和导入策略发送至终端;
第二导入单元,用于接收目标数据表,以导入所述待导入数据,所述目标数据表包括所述待导入数据。
可选的,在一些实施例中,所述获取单元,具体可以用于通过所述参数录入接口接收模板属性参数;响应于所述提交控件的触发操作,在所述模板管理页面显示候选模板编辑列表,所述候选模板编辑列表包括所述模板属性参数对应的待编辑模板和编辑控件;响应于所述编辑控件的触发操作,接收针对所述待编辑模板的编辑信息,得到模板参数。
可选的,在一些实施例中,所述获取单元,具体可以用于显示所述待编辑模板的表头编辑页面,所述表头编辑页面包括表头字段参数录入接口、表头规则参数录入接口和存储设置控件;通过所述表头字段参数录入接口接收表头字段参数,并通过所述表头规则参数录入接口接收表头规则参数;响应于所述存储设置控件的触发操作,获取所述待导入数据的存储参数,并将所述存储参数、表头字段参数、表头规则参数和模板属性信息作为模板参数。
可选的,在一些实施例中,所述获取单元,具体可以用于显示存储设置页面,所述存储设置页面包括存储参数录入接口;通过所述存储参数录入接口接收所述待导入数据的存储参数。
可选的,在一些实施例中,所述获取单元,具体可以用于响应于所述发布控件的触发操作,生成导入任务请求,所述导入任务请求携带所述模板参数;将所述导入任务请求发送至服务器,以便所述服务器根据所述导入任务请求创建所述模板参数对应的数据导入表和导入策略;接收所述服务器返回的所述数据导入表和导入策略。
可选的,在一些实施例中,所述模板管理单元,具体可以用于响应于所述规则配置控件的触发操作,显示规则配置页面;根据所述规则配置页面,获取所述字段规则参数;将所述字段规则参数发送至服务器,以验证所述待导入数据。
可选的,在一些实施例中,所述模板管理单元,具体可以用于响应于所述查询控件的触发操作时,在所述规则配置页面显示预设规则参数列表;响应于所述规则创建控件的触发操作,显示规则创建页面,所述规则创建页面包括字段规则参数录入接口;通过所述字段规则参数录入接口接收初始字段规则参数,并将所述初始规则参数与所述预设规则参数列表中的预设规则参数进行融合,得到字段规则参数。
可选的,在一些实施例中,所述第一导入单元,具体可以用于显示导入状态页面;获取所述服务器针对所述目标数据表的验证结果;根据所述验证结果,对所述目标数据表进行处理,并在所述导入状态页面显示处理结果。
可选的,在一些实施例中,所述第一导入单元,具体可以用于当所述验证结果为验证通过时,将所述目标数据表进行存储,并在所述导入状态页面显示所述验证结果;当所述验证结果为验证未通过时,将所述目标数据表删除,并在所述导入状态页面显示提示信息,以提示所述待导入数据导入失败。
可选的,在一些实施例中,所述第二创建单元,具体可以用于在所述模板参数中提取出存储参数、表头字段参数和模板属性信息;在预设数据导入表模板中筛选出所述模板属性信息对应的数据导入表模板;将所述表头字段参数添加至所述数据导入表模板,以创建所述数据导入表;根据所述存储信息,创建所述导入任务请求对应的导入策略。
可选的,在一些实施例中,所述第二导入单元,具体可以用于在所述目标数据表中识别出所述待导入数据;接收字段规则参数,并在所述模板参数中提取出表头规则参数;将所述表头规则参数与所述字段规则参数进行融合,得到融合后规则参数;根据所述融合后规则参数,对所述待导入数据进行验证,并将验证结果发送至所述终端。
此外,本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的数据导入方法。
此外,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种数据导入方法中的步骤。
本发明实施例在显示模板管理页面后,该模板管理页面包括模板创建控件,响应于所述模板创建控件的触发操作,显示模板创建页面,该模板创建页面包括多个参数录入接口,然后,通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,根据数据导入表和导入策略创建导入页面,该导入页面包括数据导入表的下载控件和数据导入表的上传控件,响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表,响应于上传控件的触发操作,根据导入路径,导入目标数据表;由于该方案可以根据不同业务的管理的数据,创建不同业务下的数据对应的数据模板,并获取数据模板对应的数据导入表,通过数据导入表批量导入待导入数据,可以大大提升数据导入的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据导入方法的场景示意图;
图2是本发明实施例提供的数据导入方法的流程示意图;
图3是本发明实施例提供的模板管理页面的示意图;
图4是本发明实施例提供的规则配置页面的示意图;
图5是本发明实施例提供的预设规则参数列表的示意图;
图6是本发明实施例提供的规则创建页面的示意图;
图7是本发明实施例提供的模板创建页面的示意图;
图8是本发明实施例提供的数据导入表的示意图;
图9是本发明实施例提供的候选模板编辑列表的示意图;
图10是本发明实施例提供的表头编辑页面的示意图;
图11是本发明实施例提供的存储设置页面的示意图;
图12是本发明实施例提供的导入页面的示意图;
图13是本发明实施例提供的上传页面的示意图;
图14是本发明实施例提供的导入状态页面的示意图;
图15是本发明实施例提供的数据导入的另一流程示意图;
图16是本发明实施例提供的创建数据导入表的流程示意图;
图17是本发明实施例提供的对待导入数据验证的流程示意图;
图18是本发明实施例提供的数据导入方法的第三种流程示意图;
图19是本发明实施例提供的第一数据导入装置的结构示意图;
图20是本发明实施例提供的第二数据导入装置的结构示意图;
图21是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种数据导入方法、装置和计算机可读存储介质。具体的,本发明实施例提供适用于第一电子设备的数据导入装置(为了区分可以称为第一数据导入装置)中,以及适用于第二电子设备的数据导入装置(为了区分可以称为第二数据导入装置)。其中,第一电子设备可以为终端等设备,终端可以为手机、平板电脑、笔记本电脑等设备。第二电子设备可以为服务器等网络侧设备。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
例如,本发明实施例将以第一电子设备为终端,第二电子设备为服务器为例,来介绍数据导入方法。
参见图1,本发明实施例提供了数据导入系统包括终端10和服务器20等,数据导入装置集成在终端中,比如,可以以客户端的形式集成在终端中。
其中,终端10,可以用于显示模板管理页面,该模板管理页面包括模板创建控件,响应于模板创建控件的触发操作,显示模板创建页面,该模板创建页面包括多个参数录入接口,然后,通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,根据数据导入表和导入策略创建导入页面,该导入页面包括数据导入表的下载控件和数据导入表的上传控件,响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表,响应于上传控件的触发操作,根据导入路径,导入目标数据表。
其中,终端10可以向服务器20发送导入任务请求;服务器20具体可以用于:
接收导入任务请求,该导入任务请求携带模板参数,根据导入任务请求,创建模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,将数据导入表和导入策略发送至终端,接收目标数据表,以导入待导入数据。
以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从第一数据导入装置的角度进行描述,该数据导入装置具体可以集成在电子设备中,该电子设备可以是终端等设备;其中,该终端可以包括平板电脑、笔记本电脑、以及个人计算机(PC,Personal Computer)、可穿戴设备、虚拟现实设备或其他可以导入数据的智能设备等设备。
一种数据导入方法,包括:
显示模板管理页面,该模板管理页面包括模板创建控件,响应于模板创建控件的触发操作,显示模板创建页面,该模板创建页面包括多个参数录入接口,然后,通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,根据数据导入表和导入策略创建导入页面,该导入页面包括数据导入表的下载控件和数据导入表的上传控件,响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表,响应于上传控件的触发操作,根据导入路径,导入目标数据表。
如图2所示,该数据导入可以由终端的处理器执行,该数据导入方法的具体流程如下:
101、显示模板管理页面。
其中,模板管理页面可以为用户提供数据模板管理的页面,用户可以在该模板管理页面查询现有的数据模板和创建个性化数据需要的新的数据模板,如图3所示,模板管理页面还可以包括模板创建控件,模板创建控件用于用户创建个性化数据对应的数据模板。
例如,用户可以对数据导入客户端的操作页面进行操作而触发显示模板管理页面,比如,用户可以通过对数据导入客户端的登录页面进行操作触发显示模板管理页面,譬如,具体可以在数据导入客户端的登录页面设置登录控件,这样用户就可以对登录控制进行操作触发显示模板管理页面。
其中,在本发明实施例中,控件的表现形式有多种,比如,输入框、图标、按钮等形式。
可选的,模板管理页面上还可以包括规则配置控件,规则配置控件用于设置对待导入数据的字段进行验证的字段规则参数,在显示模板管理页面之后还可以配置字段规则参数,因此,在显示模板管理页面之后,数据导入方法还可以包括:
响应于规则配置控件的触发操作,显示规则配置页面,根据规则配置页面,获取字段规则参数,将字段规则参数发送至服务器,以验证待导入数据。
例如,当用户触发规则配置控件时,响应于规则控件的触发操作,显示规则配置页面,如图4所示,该规则配置页面可以包括查询控件和规则创建控件。当用户触发查询控件时,在规则配置页面显示预设规则参数列表,如图5所示,预设规则参数列表包括多个已经配置的规则参数。当用户在预设规则参数列表中未发现用于验证待导入数据的规则参数时,就可以触发规则创建控件,此时,可以显示规则创建页面,如图6所示,规则创建页面可以包括字段规则参数录入接口,比如,可以包括规则名称、规则类型、具体的规则配置、数据类型和是否有效。可以通过这些字段规则参数录入接口可以接收用户输入或设置的初始字段规则参数,这些字段参数可以针对特定的个性化数据中的字段进行验证,验证字段的合法性。将用户此次输入或设置的初始字段规则参数与预设规则参数列表中的预设规则参数进行融合,得到字段规则参数。将字段规则参数发送至服务器,以验证待导入数据,比如,将字段规则参数发送至服务器,服务器就可以通过字段规则参数去验证待导入数据的字段。
其中,用户通过规则创建页面可以创建一个或者初始字段规则参数,根据需要导入的待导入数据的实际情况为准。
102、响应于模板创建控件的触发操作,显示模板创建页面。
其中,模板创建页面可以为导入个性化数据需要的数据模板,如图7所示,用于接收用户输入或设置的数据模板的模板属性参数,模板创建页面可以包括多个参数录入接口和提交控件,这些参数录入接口可以录入数据模板的模板属性参数,比如,可以为业务名称、表头、导入模式、模板管理员、周期类型、开发人员和是否有效,在参数录入接口区域还可以显示录入模板属性信息的规范性提示信息。
例如,用户可以在模板管理页面触发模板创建控件,响应于模板创建控件的触发操作,就可以显示模板创建页面,用户可以通过模板创建页面输入或设置待导入数据对应的数据模板的模板属性参数,接收到模板属性参数之后,进而就可以生成待编辑的数据模板。
103、通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略。
其中,数据导入表可以为HIVE(数据仓库工具)表,用于导入个性化数据,类型可以为Ecxel表,数据导入表中可以包括表头和数据输入区域,如图8所示。用户将待导入数据输入至数据导入表进行上传即可实现待导入数据的导入,因此,数据导入表可以理解为用于导入数据的存储工具。
其中,导入策略用于指示待导入数据的导入路径,这里的导入路径与待导入数据存储是不一样的,导入策略用于为数据导入表的下载控件和上传控件提供事件支撑,比如,具体的数据导入表的下载路径、待导入数据的上传信息等。
例如,通过参数录入接口接收模板属性参数,响应于提交控件的触发操作,在模板管理页面显示候选模板编辑列表,响应于编辑控件的触发操作,接收针对待编辑模板的编辑信息,得到模板参数,并获取模板对应的数据导入表和导入策略。具体可以如下:
S1、通过参数录入接口接收模板属性参数。
例如,用户在模板创建页面的参数录入接口输入每个参数录入接口对应的模板属性参数,比如,用户可以在业务名称录入接口中输入该数据模板对应的业务名称、在表头参数录入接口中输入数据导入表的各个表头的名称,中间可以通过逗号进行分,还可以选择导入模式为全量导入还是为增量导入,还可以在模板管理员录入接口中输入该数据模板的管理员的身份标识等模板属性参数。
S2、响应于提交控件的触发操作,在模板管理页面显示候选模板编辑列表。
其中,候选模板编辑列表包括模板属性参数对应的待编辑模板和编辑控件。待编辑模板就可以为根据模拟属性信息创建的数据模板。
例如,用户在模板创建页面通过参数录入接口输入完模板属性参数之后,就可以触发提交控件,响应于提交控件的触发操作,生成模板属性信息对应的待编辑模板,并将待编辑模板添加至候选模板编辑列表,在模板管理页面显示候选模板编辑列表,如图9所示。模板创建页面还可以包括返回控件,当用户在模板创建页面通过参数录入接口输入的模板属性参数存在问题,还可以触发返回控件返回至模板管理页面。
S3、响应于编辑控件的触发操作,接收针对待编辑模板的编辑信息,得到模板参数。
其中,编辑信息可以为用户对待编辑模板的字段类型、数据导入表的字段属性信息和存储信息进行编辑的信息。
例如,响应于编辑控件的触发操作,可以显示待编辑模板的表头编辑页面,如图10所示,该表头编辑页面包括表头字段参数录入接口、表头规则参数录入接口和存储设置控件。用户在表头编辑字段录入接口和表头规则参数录入接口可以录入表头的字段是否为必填、设置表头字段的自定义规则、表字段名称和备注信息等。其中表头字段名称可以为用户在模板创建页面输入的模板属性参数,但是在表头编辑页面可以对之前录入的模板属性参数进行修改和调整。表头编辑页面还可以包括新增字段控件,用户通过触发新增字段控件,在表头标记页面新增表头字段录入接口,接收用户录入的新增的表头字段的相关信息。当用户在表头字段录入完表头字段参数,在表头规则参数录入接口录入完表头规则参数之后,通过表头字段参数录入接口接收表头字段参数,并通过表头规则参数录入接口接收表头规则参数。用户可以继续触发表头编辑页面的存储设置控件,响应于存储设置控件的触发操作,获取待导入数据的存储参数。比如,响应于存储设置控件的触发操作,显示存储设置页面,如图11所示,存储设置页面包括存储参数录入接口,存储参数录入接口可以包括任务周期录入接口、表注释录入接口、无效数据录入接口、表模块名称录入接口、目标表名称录入接口、分区录入接口、时间范围录入接口、导入模式录入接口、应用组名称录入接口和数据库名称录入接口,用户可以通过这些存储参数录入接口录入数据导入任务的任务周期、对数据导入表的表注释、无效数据注释、数据导入表包含的表模块的名称、目标数据导入表的名称、待导入数据的导入模式(全量导入还是增量导入)、对待导入数据进行计算出来的应用组的名称和存储待导入数据的数据库名称等存储参数。通过存储参数录入接口接收待导入数据的存储参数。然后,将存储参数、表头字段参数、表头规则参数和模板属性信息作为模板参数
S4、获取模板参数对应的数据导入表和导入策略。
例如,用户在存储设置页面触发发布控件,响应于发布控件的触发操作,生成导入任务请求,该导入任务请求携带模板参数,比如,当用户在存储设置页面触发发布控件时,此时,可以生成导入任务请求,该导入任务请求用于服务器创建数据导入表和导入策略,将目标参数添加至导入任务请求。将导入任务请求发送至服务器,以便服务器根据导入任务请求创建模板参数对应的数据导入表和导入策略,然后,接收服务器返回的数据导入表和导入策略。
104、根据数据导入表和导入策略创建导入页面。
例如,根据数据导入表和导入策略创建数据导入任务,比如,在接收到数据导入表和导入策略之后,根据接收到的导入策略和数据导入表,创建用于导入待导入数据的数据导入任务。根据导入任务创建导入页面,比如,可以根据导入任务,生成导入任务信息,该导入任务信息中可以包括用户导入页面的必要信息,比如,可以为数据导入表的上传控件和下载控件对应的事件等信息,基于这些信息,生成导入页面,导入页面如图12所示,该导入页面上还可以包括数用于导入数据的数据模板的一些信息,比如,数据模板的名称、导入模式、任务导入时间、数据导入表的名称、导入任务的状态,还有模板参数对应的数据导入表的下载控件和数据导入表的上传控件。
105、响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表。
例如,当用户触发导入页面的数据导入表的下载控件,将数据导入表下载至终端,并在终端显示下载好的数据导入表,数据导入表可以为ecxel表,可以如图8所示,数据导入表的表头就会用户在参数录入接口录入的表头字段参数和模板属性参数对应的表头信息。用户在数据导入表中输入待导入数据,通过数据导入表接收输入的待导入数据,就可以得到目标数据表,目标数据表中包括了用户批量录入的待导入数据。
106、响应于上传控件的触发操作,根据导入路径,导入目标数据表。
例如,当用户触发导入页面的数据导入表的上传控件时,响应于上传控件的触发操作,显示上传页面,如图13所示,用户在上传页面的文件上传接口将目标数据表进行上传,接收到用户通过上传页面上传的目标数据表,根据导入策略中的导入数据,将目标数据表进行导入,可以导入至缓存,也可以直接导入至模板参数信息中的存储信息对应的数据库进行存储。
可选的,由于数据模板对应的数据导入表中包含了字段规则参数和表头规则参数,这些参数可以用来验证模板数据表中用户导入的待导入数据的合法性,因此,在导入目标数据表之后,还可以对目标数据表中的待导入数据进行验证,验证完成之后可以在终端进行显示,具体过程可以如下:
例如,可以显示导入状态页面,如图14所示,导入状态页面可以显示数据模板的名称、目标数据表的名称、导入状态、上传人员信息和上传时间等信息。将获取到的目标数据表发送至服务器,以便服务器根据字段规则参数和表头规则参数对目标数据表中的待导入数据的字段进行验证,然后,获取服务器针对目标数据表的验证结果,根据验证结果,对目标数据表进行处理,并在导入状态页面显示处理结果。比如,当验证结果为验证通过时,将目标数据表进行存储,并在导入状态页面显示验证结果,还可以在导入状态页面上显示通过服务器进行审核的审核信息,导入状态页面上可以包含查看控件,用户可以通过触发查看控件,在导入状态页面显示对待导入数据的验证结果,验证通过之后,还可以在导入状态页面显示完成时间,这个完成时间可以理解为将目标数据表进行存储完成的时间。又比如,当验证结果为验证未通过时,将目标数据表删除,并在导入状态页面显示提示信息,以提示待导入数据导入失败,譬如,当验证结果为未通过时,用户触发查看控件,在导入状态页面显示待导入数据导入失败的提示信息,该提示信息中还可以包括具体出现异常或非法数据的具体位置,以提示用户对待导入数据进行修正。
由以上可知,本发明实施例在显示模板管理页面后,该模板管理页面包括模板创建控件,响应于模板创建控件的触发操作,显示模板创建页面,该模板创建页面包括多个参数录入接口,然后,通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,根据数据导入表和导入策略创建导入页面,该导入页面包括数据导入表的下载控件和数据导入表的上传控件,响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表,响应于上传控件的触发操作,根据导入路径,导入目标数据表;由于该方案可以根据不同业务的管理的数据,创建不同业务下的数据对应的数据模板,并获取数据模板对应的数据导入表,通过数据导入表批量导入待导入数据,可以大大提升数据导入的效率。
本实施例将从第二数据导入装置的角度进行描述,该数据导入装置具体可以集成在电子设备中,该电子设备可以是服务器等设备。
一种数据导入方法,包括:
接收导入任务请求,导入任务请求携带模板参数,根据导入任务请求,创建模板参数对应的数据导入表和导入策略,导入策略指示待导入数据的导入路径,将数据导入表和导入策略发送至终端,接收目标数据表,以导入待导入数据,目标数据表包括待导入数据。
如图15所示,该数据导入可以由服务器的处理器执行,该数据导入方法的具体流程如下:
201、接收导入任务请求。
其中,导入任务请求携带模板参数。
例如,可以直接接收终端发送的导入任务请求,比如,终端获取到模板参数之后,触发生成导入任务请求,将模板参数添加至导入任务请求,然后,将添加了模板参数的导入任务请求直接发送至第二数据导入装置,第二数据导入装置就可以直接接收到导入任务请求。当模板参数存在多个或批量导致模板参数内存较大时,还可以间接获取到导入任务请求中的模板参数,比如,终端将模板参数存储在第三方数据库中,将存储地址添加至导入任务请求中,然后,将添加存储地址的导入任务请求发送至第二数据导入装置,第二数据导入装置接收到导入任务请求,在导入任务请求中提取出存储地址,根据存储地址,在对应的第三方数据库中获取模板参数,当获取到模板参数之后,还可以向终端发送提示信息。
202、根据导入任务请求,创建模板参数对应的数据导入表和导入策略。
其中,导入策略用于指示待导入数据的导入路径,这里的导入路径与待导入数据存储是不一样的,导入策略用于为数据导入表的下载控件和上传控件提供事件支撑,比如,具体的数据导入表的下载路径、待导入数据的上传信息等。
例如,可以在模板参数中提取出存储参数、表头字段参数和模板属性信息,在预设数据导入模板中筛选出模板属性信息对应的数据导入表模板,比如,根据模板属性信息,创建调用大数据平台建表接口的任务信息,根据任务信息调用大数据平台建表接口,当调用成功时,获取模板属性信息对应的数据导入表模板,然后,将表头字段参数添加至数据导入表模板,就可以生成数据导入表,如果调用失败,返回继续调用,直到调用成功为止,调用成功之后,就可以生成数据导入表,如图16所示。根据存储信息,创建导入任务请求对应的导入策略,比如,获取存储信息中的待导入数据存储的数据库信息和分区情况,在存储区域中选择与待导入数据存储的不同的存储区域进行缓存信息,然后,在确定目标数据表的下载信息,根据缓存信息和下载信息,创建导入策略,该导入策略可以为数据导入表的下载和上传路径。
203、将数据导入表和导入策略发送至终端。
例如,可以将数据导入表和导入策略发送至终端,比如,可以将数据导入表和导入策略直接发送给终端,还可以将数据导入表和导入策略进行融合,得到导入信息,直接将导入信息发送至终端。如果数据导入表和导入策略的数据内存较大时,还可以间接发送至终端,比如,可以将数据导入表和导入策略存储至第三方数据库,获取第三方数据库的存储地址,将存储地址发送至终端,以便终端根据存储地址,在第三方数据库中获取到数据导入表和导入策略。
204、接收目标数据表,以导入待导入数据。
其中,目标数据表包括待导入数据。
例如,接收终端根据导入路径导入的目标数据表,将目标数表根据存储信息存储至目标数据库,这样就完成了待导入数据的导入,比如,在存储信息中提取出目标数据库的标识和存储地址,根据数据库的标识和存储地址,将目标数据表存储至目标数据库,这样就完成了待导入数据的导入。
可选的,在接收到目标数据表之后,还可以对目标数据表中的待导入数据的字段进行验证,因此,步骤“接收目标数据表,以导入待导入数据”之后,数据导入方法,还可以包括:
在目标数据表中识别出待导入数据,接收字段规则参数,并在模板参数中提取出表头规则参数,将表头规则参数与字段规则参数进行融合,得到融合后规则参数,根据融合后规则参数,对待导入数据进行验证,并将验证结果发送至终端。
例如,可以查询导入任务,根据查询到的当前导入任务,获取当前导入任务中上传的目标数据表,对目标数据表进行解析,以在目标数据导入表中识别出待导入数据,接收终端发送的字段规则参数,并在模板参数中提取出表头规则参数,将字段规则参数和表头规则参数进行融合,得到用于验证待导入数据字段的融合后规则参数,根据融合后规则参数对待导入数据的字段进行验证,具体的验证方式主要是根据规则参数对待导入数据的字段进行规则验证,来判断字段是否合法。如果待导入数据中的字段全部合法,就可以确定待导入数据的验证结果为验证通过,如果待导入数据中的存在不合法的字段,就可以确定待导入数据的验证结果为验证未通过,此时,就可以向终端发送验证未通过的验证结果,而且还可以向终端发送告警信息或者提示信息,该信息中可以包括验证未通过的原因或非法字段的位置等,具体流程可以如图17所示。
由以上可知,本发明实施例在接收导入任务请求,该导入任务请求携带模板参数,根据导入任务请求,创建模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,将数据导入表和导入策略发送至终端,接收目标数据表,以导入待导入数据,该目标数据表包括待导入数据;由于该方案可以根据待导入数据对应的模板参数,创建数据导入表和导入策略,通过数据导入表批量导入待导入数据,可以大大提升数据导入的效率。
根据上面实施例所描述的方法,以下将举例作进一步详细说明。
在本实施例中,将以第一数据导入装置具体集成在终端、第二数据导入装置具体集成在服务器为例进行说明。
如图18所示,一种数据导入方法,具体流程如下:
301、终端显示模板管理页面。
例如,用户可以通过对数据导入客户端的登录页面进行操作触发在终端显示模板管理页面,比如,具体可以在数据导入客户端的登录页面设置登录控件,这样用户就可以对登录控制进行操作触发在终端显示模板管理页面。
其中,在本发明实施例中,控件的表现形式有多种,比如,输入框、图标、按钮等形式。
可选的,模板管理页面上还可以包括规则配置控件,规则配置控件用于设置对待导入数据的字段进行验证的字段规则参数,在显示模板管理页面之后还可以配置字段规则参数,因此,在显示模板管理页面之后,数据导入方法还可以包括:
响应于规则配置控件的触发操作,显示规则配置页面,根据规则配置页面,获取字段规则参数,将字段规则参数发送至服务器,以验证待导入数据。
例如,当用户触发规则配置控件时,终端响应于规则控件的触发操作,显示规则配置页面,该规则配置页面可以包括查询控件和规则创建控件。当用户触发查询控件时,在规则配置页面显示预设规则参数列表,预设规则参数列表包括多个已经配置的规则参数。当用户在预设规则参数列表中未发现用于验证待导入数据的规则参数时,就可以触发规则创建控件,此时,可以显示规则创建页面,规则创建页面可以包括字段规则参数录入接口,比如,可以包括规则名称、规则类型、具体的规则配置、数据类型和是否有效。可以通过这些字段规则参数录入接口可以接收用户输入或设置的初始字段规则参数,这些字段参数可以针对特定的个性化数据中的字段进行验证,验证字段的合法性。将用户此次输入或设置的初始字段规则参数与预设规则参数列表中的预设规则参数进行融合,得到字段规则参数。将字段规则参数发送至服务器,以验证待导入数据,比如,将字段规则参数发送至服务器,服务器就可以通过字段规则参数去验证待导入数据的字段。
302、终端响应于模板创建控件的触发操作,显示模板创建页面。
例如,用户可以在模板管理页面触发模板创建控件,终端响应于模板创建控件的触发操作,就可以显示模板创建页面,用户可以通过模板创建页面输入或设置待导入数据对应的数据模板的模板属性参数,接收到模板属性参数之后,进而就可以生成待编辑的数据模板。
303、终端通过参数录入接口接收模板属性参数。
例如,用户可以在业务名称录入接口中输入该数据模板对应的业务名称、在表头参数录入接口中输入数据导入表的各个表头的名称,中间可以通过逗号进行分,还可以选择导入模式为全量导入还是为增量导入,还可以在模板管理员录入接口中输入该数据模板的管理员的身份标识等模板属性参数,终端通过参数录入接口接收模板属性参数。
304、终端响应于提交控件的触发操作,在模板管理页面显示候选模板编辑列表。
例如,用户在模板创建页面通过参数录入接口输入完模板属性参数之后,就可以触发提交控件,终端响应于提交控件的触发操作,生成模板属性信息对应的待编辑模板,并将待编辑模板添加至候选模板编辑列表,在模板管理页面显示候选模板编辑列表。模板创建页面还可以包括返回控件,当用户在模板创建页面通过参数录入接口输入的模板属性参数存在问题,还可以触发返回控件返回至模板管理页面。
305、终端响应于编辑控件的触发操作,接收针对待编辑模板的编辑信息,得到模板参数。
例如,终端响应于编辑控件的触发操作,显示待编辑模板的表头编辑页面,该表头编辑页面包括表头字段参数录入接口、表头规则参数录入接口和存储设置控件。用户在表头编辑字段录入接口和表头规则参数录入接口可以录入表头的字段是否为必填、设置表头字段的自定义规则、表字段名称和备注信息等。其中表头字段名称可以为用户在模板创建页面输入的模板属性参数,但是在表头编辑页面可以对之前录入的模板属性参数进行修改和调整。表头编辑页面还可以包括新增字段控件,用户通过触发新增字段控件,在表头标记页面新增表头字段录入接口,接收用户录入的新增的表头字段的相关信息。当用户在表头字段录入完表头字段参数,在表头规则参数录入接口录入完表头规则参数之后,通过表头字段参数录入接口接收表头字段参数,并通过表头规则参数录入接口接收表头规则参数。用户可以继续触发表头编辑页面的存储设置控件,响应于存储设置控件的触发操作,获取待导入数据的存储参数。比如,响应于存储设置控件的触发操作,显示存储设置页面,存储设置页面包括存储参数录入接口,存储参数录入接口可以包括任务周期录入接口、表注释录入接口、无效数据录入接口、表模块名称录入接口、目标表名称录入接口、分区录入接口、时间范围录入接口、导入模式录入接口、应用组名称录入接口和数据库名称录入接口,用户可以通过这些存储参数录入接口录入数据导入任务的任务周期、对数据导入表的表注释、无效数据注释、数据导入表包含的表模块的名称、目标数据导入表的名称、待导入数据的导入模式(全量导入还是增量导入)、对待导入数据进行计算出来的应用组的名称和存储待导入数据的数据库名称等存储参数。通过存储参数录入接口接收待导入数据的存储参数。然后,将存储参数、表头字段参数、表头规则参数和模板属性信息作为模板参数。
306、终端向服务器发送导入任务请求。
例如,当用户在存储设置页面触发发布控件时,此时,可以生成导入任务请求,该导入任务请求用于服务器创建数据导入表和导入策略,将目标参数添加至导入任务请求,并将导入任务请求发送至服务器。
307、服务器接收导入任务请求。
例如,终端获取到模板参数之后,触发生成导入任务请求,将模板参数添加至导入任务请求,然后,将添加了模板参数的导入任务请求直接发送至服务器,服务器就可以直接接收到导入任务请求。当模板参数存在多个或批量导致模板参数内存较大时,还可以间接获取到导入任务请求中的模板参数,比如,终端将模板参数存储在第三方数据库中,将存储地址添加至导入任务请求中,然后,将添加存储地址的导入任务请求发送至服务器,服务器接收到导入任务请求,在导入任务请求中提取出存储地址,根据存储地址,在对应的第三方数据库中获取模板参数,当获取到模板参数之后,还可以向终端发送提示信息。
308、服务器根据导入任务请求,创建模板参数对应的数据导入表和导入策略。
例如,根据模板属性信息,服务器调用大数据平台建表接口,当调用成功时,获取模板属性信息对应的数据导入表模板,然后,将表头字段参数添加至数据导入表模板,就可以生成数据导入表,如果调用失败,返回继续调用,直到调用成功为止,调用成功之后,就可以生成数据导入表。根据存储信息,创建导入任务请求对应的导入策略,比如,获取存储信息中的待导入数据存储的数据库信息和分区情况,在存储区域中选择与待导入数据存储的不同的存储区域进行缓存信息,然后,在确定目标数据表的下载信息,根据缓存信息和下载信息,创建导入策略,该导入策略可以为数据导入表的下载和上传路径。
309、服务器将数据导入表和导入策略发送至终端。
例如,服务器可以将数据导入表和导入策略直接发送给终端,还可以将数据导入表和导入策略进行融合,得到导入信息,直接将导入信息发送至终端。如果数据导入表和导入策略的数据内存较大时,还可以间接发送至终端,比如,可以将数据导入表和导入策略存储至第三方数据库,获取第三方数据库的存储地址,将存储地址发送至终端,以便终端根据存储地址,在第三方数据库中获取到数据导入表和导入策略。
310、终端接收数据导入表和导入策略,并根据数据导入表和导入策略创建导入页面。
例如,终端获取到服务器发送的数据导入表和导入策略,在接收到数据导入表和导入策略之后,根据接收到的导入策略和数据导入表,创建用于导入待导入数据的数据导入任务。根据导入任务创建导入页面,比如,可以根据导入任务,生成导入任务信息,该导入任务信息中可以包括用户导入页面的必要信息,比如,可以为数据导入表的上传控件和下载控件对应的事件等信息,基于这些信息,生成导入页面,该导入页面上还可以包括数用于导入数据的数据模板的一些信息,比如,数据模板的名称、导入模式、任务导入时间、数据导入表的名称、导入任务的状态,还有模板参数对应的数据导入表的下载控件和数据导入表的上传控件。
311、终端响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表。
例如,当用户触发导入页面的数据导入表的下载控件,终端响应于下载控件的触发操作,将数据导入表下载至终端,并在终端显示下载好的数据导入表,数据导入表可以为Ecxel表,数据导入表的表头就会用户在参数录入接口录入的表头字段参数和模板属性参数对应的表头信息。用户在数据导入表中输入待导入数据,通过数据导入表接收输入的待导入数据,就可以得到目标数据表,目标数据表中包括了用户批量录入的待导入数据。
312、终端响应于上传控件的触发操作,根据导入路径,导入目标数据表。
例如,当用户触发导入页面的数据导入表的上传控件时,终端响应于上传控件的触发操作,显示上传页面,用户在上传页面的文件上传接口将目标数据表进行上传,接收到用户通过上传页面上传的目标数据表,根据导入策略中的导入数据,将目标数据表进行导入,可以导入至缓存,也可以直接导入至模板参数信息中的存储信息对应的数据库进行存储。
313、服务器接收目标数据表,以导入待导入数据。
例如,服务器接收终端根据导入路径导入的目标数据表,将目标数表根据存储信息存储至目标数据库,这样就完成了待导入数据的导入,比如,在存储信息中提取出目标数据库的标识和存储地址,根据数据库的标识和存储地址,将目标数据表存储至目标数据库,这样就完成了待导入数据的导入。
314、服务器对待导入数据进行验证,并将验证结果发送至终端。
例如,服务器对目标数据表进行解析,以在目标数据导入表中识别出待导入数据,接收终端发送的字段规则参数,并在模板参数中提取出表头规则参数,将字段规则参数和表头规则参数进行融合,得到用于验证待导入数据字段的融合后规则参数,根据融合后规则参数对待导入数据的字段进行验证,具体的验证方式主要是根据规则参数对待导入数据的字段进行规则验证,来判断字段是否合法。如果待导入数据中的字段全部合法,就可以确定待导入数据的验证结果为验证通过,如果待导入数据中的存在不合法的字段,就可以确定待导入数据的验证结果为验证未通过,此时,就可以向终端发送验证未通过的验证结果,而且还可以向终端发送告警信息或者提示信息,该信息中可以包括验证未通过的原因或非法字段的位置等。
315、终端显示验证结果,并根据验证结果对待导入数据进行处理。
例如,终端可以显示导入状态页面,导入状态页面可以显示数据模板的名称、目标数据表的名称、导入状态、上传人员信息和上传时间等信息。获取服务器针对目标数据表的验证结果,根据验证结果,对目标数据表进行处理,并在导入状态页面显示处理结果。比如,当验证结果为验证通过时,将目标数据表进行存储,并在导入状态页面显示验证结果,还可以在导入状态页面上显示通过服务器进行审核的审核信息,导入状态页面上可以包含查看控件,用户可以通过触发查看控件,在导入状态页面显示对待导入数据的验证结果,验证通过之后,还可以在导入状态页面显示完成时间,这个完成时间可以理解为将目标数据表进行存储完成的时间。又比如,当验证结果为验证未通过时,将目标数据表删除,并在导入状态页面显示提示信息,以提示待导入数据导入失败,譬如,当验证结果为未通过时,用户触发查看控件,在导入状态页面显示待导入数据导入失败的提示信息,该提示信息中还可以包括具体出现异常或非法数据的具体位置,以提示用户对待导入数据进行修正。
由以上可知,本实施例在终端显示模板管理页面后,响应于模板创建控件的触发操作,显示模板创建页面,通过参数录入接口接收模板属性参数,响应于提交控件的触发操作,在模板管理页面显示候选模板编辑列表,响应于编辑控件的触发操作,接收针对待编辑模板的编辑信息,得到模板参数,向服务器发送导入任务请求;服务器接收导入任务请求,根据导入任务请求,创建模板参数对应的数据导入表和导入策略,将数据导入表和导入策略发送至终端,终端接收数据导入表和导入策略,并根据数据导入表和导入策略创建导入页面,响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表,响应于上传控件的触发操作,根据导入路径,导入目标数据表,服务器接收目标数据表,以导入待导入数据,对待导入数据进行验证,并将验证结果发送至终端,终端显示验证结果,并根据验证结果对待导入数据进行处理;由于该方案可以根据不同业务的管理的数据,创建不同业务下的数据对应的数据模板,并获取数据模板对应的数据导入表,通过数据导入表批量导入待导入数据,可以大大提升数据导入的效率。
为了更好地实施以上方法,本发明实施例还提供一种第一数据导入装置,该第一数据导入装置可以集成在终端等设备中,该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
例如,如图19所示,该第一数据导入装置可以包括模板管理单元401、模板创建单元402、获取单元403、第一创建单元404、第一接收单元405和第一导入单元406,如下:
(1)模板管理单元401;
模板管理单元401,用于显示模板管理页面,该模板管理页面包括模板创建控件。
例如,模板管理单元401,具体可以用于当用户通过对数据导入客户端的登录页面进行操作触发显示模板管理页面,具体可以在数据导入客户端的登录页面设置登录控件,这样用户就可以对登录控制进行操作触发显示模板管理页面。
(2)模板创建单元402;
模板创建单元402,用于响应于模板创建控件的触发操作,显示模板创建页面,该模板创建页面包括多个参数录入接口。
例如,模板创建单元402,具体可以用于用户在模板管理页面触发模板创建控件,响应于模板创建控件的触发操作,就可以显示模板创建页面,用户可以通过模板创建页面输入或设置待导入数据对应的数据模板的模板属性参数。
(3)获取单元403;
获取单元403,用于通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径。
例如,获取单元403,具体可以用于通过参数录入接口接收模板属性参数,响应于提交控件的触发操作,在模板管理页面显示候选模板编辑列表,响应于编辑控件的触发操作,接收针对待编辑模板的编辑信息,得到模板参数,获取模板参数对应的数据导入表和导入策略。
(4)第一创建单元404;
第一创建单元404,用于根据数据导入表和导入策略创建导入页面,该导入页面包括数据导入表的下载控件和数据导入表的上传控件。
例如,第一创建单元,具体可以用于在接收到数据导入表和导入策略之后,根据接收到的导入策略和数据导入表,创建用于导入待导入数据的数据导入任务,根据导入任务创建导入页面。
(5)第一接收单元405;
第一接收单元405,用于响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表。
例如,第一接收单元405,具体可以用于当用户触发导入页面的数据导入表的下载控件,将数据导入表下载至终端,并在终端显示下载好的数据导入表,用户在数据导入表中输入待导入数据,通过数据导入表接收输入的待导入数据,就可以得到目标数据表。
(6)第一导入单元406;
第一导入单元406,用于响应于上传控件的触发操作,根据导入路径,导入目标数据表。
例如,第一导入单元406,具体可以用于当用户触发导入页面的数据导入表的上传控件时,响应于上传控件的触发操作,显示上传页面,用户在上传页面的文件上传接口将目标数据表进行上传,接收到用户通过上传页面上传的目标数据表,根据导入策略中的导入数据,将目标数据表进行导入。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由以上可知,本实施例在模板管理单元401显示模板管理页面后,该模板管理页面包括模板创建控件,模板创建单元402响应于模板创建控件的触发操作,显示模板创建页面,该模板创建页面包括多个参数录入接口,然后,获取单元403通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,第一创建单元404根据数据导入表和导入策略创建导入页面,该导入页面包括数据导入表的下载控件和数据导入表的上传控件,第一接收单元405响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表,第一导入单元406响应于上传控件的触发操作,根据导入路径,导入目标数据表;由于该方案可以根据不同业务的管理的数据,创建不同业务下的数据对应的数据模板,并获取数据模板对应的数据导入表,通过数据导入表批量导入待导入数据,可以大大提升数据导入的效率。
为了更好地实施以上方法,本发明实施例还提供一种第二数据导入装置,该第一数据导入装置可以集成在服务器等设备中。
例如,如图20所示,该第二数据导入装置可以第二接收单元501、第二创建单元502、发送单元503和第二导入单元504,如下:
(1)第二接收单元501;
第二接收单元501,用于接收导入任务请求,该导入任务请求携带模板参数。
例如,第二接收单元501,具体可以用于终端获取到模板参数之后,触发生成导入任务请求,将模板参数添加至导入任务请求,就可以直接接收到导入任务请求。
(2)第二创建单元502;
第二创建单元502,用于根据导入任务请求,创建模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径。
例如,第二创建单元502,具体可以用于在模板参数中提取出存储参数、表头字段参数和模板属性信息,在预设数据导入模板中筛选出模板属性信息对应的数据导入表模板,获取模板属性信息对应的数据导入表模板,然后,将表头字段参数添加至数据导入表模板,就可以生成数据导入表,根据存储信息,创建导入任务请求对应的导入策略。
(3)发送单元503;
发送单元503,用于将数据导入表和导入策略发送至终端。
例如,发送单元503,具体可以用于将数据导入表和导入策略直接发送给终端,还可以将数据导入表和导入策略进行融合,得到导入信息,直接将导入信息发送至终端。
(4)第二导入单元504;
第二导入单元504,用于接收目标数据表,以导入待导入数据,该目标数据表包括待导入数据。
例如,第二导入单元504,具体可以用于接收终端根据导入路径导入的目标数据表,将目标数表根据存储信息存储至目标数据库,这样就完成了待导入数据的导入。
本发明实施例还提供一种电子设备,如图21所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解,图21中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器601是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器601可包括一个或多个处理核心;优选的,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块,处理器601通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器601对存储器602的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源603可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元604,该输入单元604可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,如下:
显示模板管理页面,该模板管理页面包括模板创建控件,响应于模板创建控件的触发操作,显示模板创建页面,该模板创建页面包括多个参数录入接口,然后,通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,根据数据导入表和导入策略创建导入页面,该导入页面包括数据导入表的下载控件和数据导入表的上传控件,响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表,响应于上传控件的触发操作,根据导入路径,导入目标数据表。
或者
接收导入任务请求,导入任务请求携带模板参数,根据导入任务请求,创建模板参数对应的数据导入表和导入策略,导入策略指示待导入数据的导入路径,将数据导入表和导入策略发送至终端,接收目标数据表,以导入待导入数据,目标数据表包括待导入数据。
以上各个操作的具体实施可参见前面的实施例,在此不作赘述。
由以上可知,本发明实施例在显示模板管理页面后,该模板管理页面包括模板创建控件,响应于模板创建控件的触发操作,显示模板创建页面,该模板创建页面包括多个参数录入接口,然后,通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,根据数据导入表和导入策略创建导入页面,该导入页面包括数据导入表的下载控件和数据导入表的上传控件,响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表,响应于上传控件的触发操作,根据导入路径,导入目标数据表;由于该方案可以根据不同业务的管理的数据,创建不同业务下的数据对应的数据模板,并获取数据模板对应的数据导入表,通过数据导入表批量导入待导入数据,可以大大提升数据导入的效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种数据导入方法中的步骤。例如,该指令可以执行如下步骤:
显示模板管理页面,该模板管理页面包括模板创建控件,响应于模板创建控件的触发操作,显示模板创建页面,该模板创建页面包括多个参数录入接口,然后,通过参数录入接口接收模板参数,并获取模板参数对应的数据导入表和导入策略,该导入策略指示待导入数据的导入路径,根据数据导入表和导入策略创建导入页面,该导入页面包括数据导入表的下载控件和数据导入表的上传控件,响应于下载控件的触发操作,显示数据导入表,并通过数据导入表接收输入的待导入数据,得到目标数据表,响应于上传控件的触发操作,根据导入路径,导入目标数据表。
或者
接收导入任务请求,导入任务请求携带模板参数,根据导入任务请求,创建模板参数对应的数据导入表和导入策略,导入策略指示待导入数据的导入路径,将数据导入表和导入策略发送至终端,接收目标数据表,以导入待导入数据,目标数据表包括待导入数据。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的任一种数据导入方法中的步骤,因此,可以实现本发明实施例所提供的任一种数据导入方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述数据导入方面的各种可选实现方式中提供的方法
以上对本发明实施例所提供的一种数据导入方法、装置和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种数据导入方法,其特征在于,包括:
显示模板管理页面,所述模板管理页面包括模板创建控件;
响应于所述模板创建控件的触发操作,显示模板创建页面,所述模板创建页面包括多个参数录入接口;
通过所述参数录入接口接收模板参数,并获取所述模板参数对应的数据导入表和导入策略,所述导入策略指示待导入数据的导入路径;
根据所述数据导入表和导入策略创建导入页面,所述导入页面包括所述数据导入表的下载控件和所述数据导入表的上传控件;
响应于所述下载控件的触发操作,显示所述数据导入表,并通过所述数据导入表接收输入的待导入数据,得到目标数据表;
响应于所述上传控件的触发操作,根据所述导入路径,导入所述目标数据表。
2.根据权利要求1所述的数据导入方法,其特征在于,所述模板创建页面包括提交控件,所述通过所述参数录入接口接收模板参数,包括:
通过所述参数录入接口接收模板属性参数;
响应于所述提交控件的触发操作,在所述模板管理页面显示候选模板编辑列表,所述候选模板编辑列表包括所述模板属性参数对应的待编辑模板和编辑控件;
响应于所述编辑控件的触发操作,接收针对所述待编辑模板的编辑信息,得到模板参数。
3.根据权利要求2所述的数据导入方法,其特征在于,所述接收针对所述待编辑模板的编辑信息,得到模板参数,包括:
显示所述待编辑模板的表头编辑页面,所述表头编辑页面包括表头字段参数录入接口、表头规则参数录入接口和存储设置控件;
通过所述表头字段参数录入接口接收表头字段参数,并通过所述表头规则参数录入接口接收表头规则参数;
响应于所述存储设置控件的触发操作,获取所述待导入数据的存储参数,并将所述存储参数、表头字段参数、表头规则参数和模板属性信息作为模板参数。
4.根据权利要求3所述的数据导入方法,其特征在于,所述获取所述待导入数据的存储参数,包括:
显示存储设置页面,所述存储设置页面包括存储参数录入接口;
通过所述存储参数录入接口接收所述待导入数据的存储参数。
5.根据权利要求4所述的数据导入方法,其特征在于,所述存储设置页面包括发布控件,所述获取所述模板参数对应的数据导入表和导入策略,包括:
响应于所述发布控件的触发操作,生成导入任务请求,所述导入任务请求携带所述模板参数;
将所述导入任务请求发送至服务器,以便所述服务器根据所述导入任务请求创建所述模板参数对应的数据导入表和导入策略;
接收所述服务器返回的所述数据导入表和导入策略。
6.根据权利要求1所述的数据导入方法,其特征在于,所述模板管理页面还包括规则配置控件,所述显示模板管理页面之后,还包括:
响应于所述规则配置控件的触发操作,显示规则配置页面;
根据所述规则配置页面,获取所述字段规则参数;
将所述字段规则参数发送至服务器,以验证所述待导入数据。
7.根据权利要求6所述的数据导入方法,其特征在于,所述规则配置页面包括查询控件和规则创建控件,所述根据所述规则配置页面,获取所述字段规则参数,包括:
响应于所述查询控件的触发操作时,在所述规则配置页面显示预设规则参数列表;
响应于所述规则创建控件的触发操作,显示规则创建页面,所述规则创建页面包括字段规则参数录入接口;
通过所述字段规则参数录入接口接收初始字段规则参数,并将所述初始规则参数与所述预设规则参数列表中的预设规则参数进行融合,得到字段规则参数。
8.根据权利要求6所述的数据导入方法,其特征在于,所述根据所述导入路径,导入所述目标数据表之后,还包括:
显示导入状态页面;
获取所述服务器针对所述目标数据表的验证结果;
根据所述验证结果,对所述目标数据表进行处理,并在所述导入状态页面显示处理结果。
9.根据权利要求8所述的数据导入方法,其特征在于,所述根据所述验证结果,对所述目标数据表进行处理,并在所述导入状态页面显示处理结果,包括:
当所述验证结果为验证通过时,将所述目标数据表进行存储,并在所述导入状态页面显示所述验证结果;
当所述验证结果为验证未通过时,将所述目标数据表删除,并在所述导入状态页面显示提示信息,以提示所述待导入数据导入失败。
10.一种数据导入方法,其特征在于,包括:
接收导入任务请求,所述导入任务请求携带模板参数;
根据所述导入任务请求,创建所述模板参数对应的数据导入表和导入策略,所述导入策略指示待导入数据的导入路径;
将所述数据导入表和导入策略发送至终端;
接收目标数据表,以导入所述待导入数据,所述目标数据表包括所述待导入数据。
11.根据权利要求10所述的数据导入方法,其特征在于,所述根据所述导入任务请求,创建所述模板参数对应的数据导入表和导入策略,包括:
在所述模板参数中提取出存储参数、表头字段参数和模板属性信息;
在预设数据导入表模板中筛选出所述模板属性信息对应的数据导入表模板;
将所述表头字段参数添加至所述数据导入表模板,以创建所述数据导入表;
根据所述存储信息,创建所述导入任务请求对应的导入策略。
12.根据权利要求10所述的数据导入方法,其特征在于,所述接收目标数据表,以导入所述待导入数据之后,还包括:
在所述目标数据表中识别出所述待导入数据;
接收字段规则参数,并在所述模板参数中提取出表头规则参数;
将所述表头规则参数与所述字段规则参数进行融合,得到融合后规则参数;
根据所述融合后规则参数,对所述待导入数据进行验证,并将验证结果发送至所述终端。
13.一种数据导入装置,其特征在于,包括:
模板管理单元,用于显示模板管理页面,所述模板管理页面包括模板创建控件;
模板创建单元,用于响应于所述模板创建控件的触发操作,显示模板创建页面,所述模板创建页面包括多个参数录入接口;
获取单元,用于通过所述参数录入接口接收模板参数,并获取所述模板参数对应的数据导入表和导入策略,所述导入策略指示待导入数据的导入路径;
第一创建单元,用于根据所述数据导入表和导入策略创建导入页面,所述导入页面包括所述数据导入表的下载控件和所述数据导入表的上传控件;
第一接收单元,用于响应于所述下载控件的触发操作,显示所述数据导入表,并通过所述数据导入表接收输入的待导入数据,得到目标数据表;
第一导入单元,用于响应于所述上传控件的触发操作,根据所述导入路径,导入所述目标数据表。
14.一种数据导入装置,其特征在于,包括:
第二接收单元,用于接收导入任务请求,所述导入任务请求携带模板参数;
第二创建单元,用于根据所述导入任务请求,创建所述模板参数对应的数据导入表和导入策略,所述导入策略指示待导入数据的导入路径;
发送单元,用于将所述数据导入表和导入策略发送至终端;
第二导入单元,用于接收目标数据表,以导入所述待导入数据,所述目标数据表包括所述待导入数据。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至12任一项所述的数据导入方法中的步骤。
CN202010715346.5A 2020-07-23 2020-07-23 一种数据导入方法、装置和计算机可读存储介质 Pending CN113971191A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010715346.5A CN113971191A (zh) 2020-07-23 2020-07-23 一种数据导入方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010715346.5A CN113971191A (zh) 2020-07-23 2020-07-23 一种数据导入方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113971191A true CN113971191A (zh) 2022-01-25

Family

ID=79585213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010715346.5A Pending CN113971191A (zh) 2020-07-23 2020-07-23 一种数据导入方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113971191A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114691274A (zh) * 2022-03-31 2022-07-01 中国建设银行股份有限公司 数据处理方法、装置、设备、介质及产品
CN114707953A (zh) * 2022-03-28 2022-07-05 上海精鲲计算机科技有限公司 一种主数据全生命周期管理方法、系统、引擎及存储介质
WO2023207202A1 (zh) * 2022-04-28 2023-11-02 广东电网有限责任公司东莞供电局 创建网络配置模板及网络配置的方法、装置和设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246651A (zh) * 2012-02-02 2013-08-14 金蝶软件(中国)有限公司 一种数据导入方法及系统
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp系统中多源数据导入方法
CN108153550A (zh) * 2017-06-16 2018-06-12 广东网金数据服务有限公司 一种Excel数据导入方法、装置及用户终端
CN108345682A (zh) * 2018-03-02 2018-07-31 弘成科技发展有限公司 基于多租户可配置的导入导出平台及方法
CN108595597A (zh) * 2018-04-19 2018-09-28 平安科技(深圳)有限公司 数据导入方法、装置、计算机设备和存储介质
CN110321538A (zh) * 2019-06-20 2019-10-11 北京小笨鸟信息技术有限公司 一种智能离线数据填报系统
CN111143358A (zh) * 2019-12-13 2020-05-12 航天信息股份有限公司 报表配置方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246651A (zh) * 2012-02-02 2013-08-14 金蝶软件(中国)有限公司 一种数据导入方法及系统
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp系统中多源数据导入方法
CN108153550A (zh) * 2017-06-16 2018-06-12 广东网金数据服务有限公司 一种Excel数据导入方法、装置及用户终端
CN108345682A (zh) * 2018-03-02 2018-07-31 弘成科技发展有限公司 基于多租户可配置的导入导出平台及方法
CN108595597A (zh) * 2018-04-19 2018-09-28 平安科技(深圳)有限公司 数据导入方法、装置、计算机设备和存储介质
CN110321538A (zh) * 2019-06-20 2019-10-11 北京小笨鸟信息技术有限公司 一种智能离线数据填报系统
CN111143358A (zh) * 2019-12-13 2020-05-12 航天信息股份有限公司 报表配置方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢德湖: "财务软件应用技术", 30 September 2009, 东北财经大学出版社, pages: 129 - 131 *
董义革等: "ASP.NET网站建设项目实战", 30 April 2013, 北京邮电大学出版社, pages: 140 - 141 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707953A (zh) * 2022-03-28 2022-07-05 上海精鲲计算机科技有限公司 一种主数据全生命周期管理方法、系统、引擎及存储介质
CN114691274A (zh) * 2022-03-31 2022-07-01 中国建设银行股份有限公司 数据处理方法、装置、设备、介质及产品
WO2023207202A1 (zh) * 2022-04-28 2023-11-02 广东电网有限责任公司东莞供电局 创建网络配置模板及网络配置的方法、装置和设备

Similar Documents

Publication Publication Date Title
CN108153670B (zh) 一种接口测试方法、装置及电子设备
CN112486547B (zh) 多租户场景下的应用程序更新方法、装置及电子设备
CN113971191A (zh) 一种数据导入方法、装置和计算机可读存储介质
CN111177618A (zh) 网站搭建方法、装置、设备及计算机可读存储介质
US20160269446A1 (en) Template representation of security resources
CN111596932A (zh) 一种镜像文件生成方法、装置和计算机可读存储介质
CN114493185A (zh) 审批处理方法、装置、系统、电子设备、存储介质及产品
CN112799925A (zh) 数据采集方法、装置、电子设备和可读存储介质
CN113688173A (zh) 一种报表信息处理方法、装置、电子设备及存储介质
CN113535541A (zh) 一种测试方法、装置、存储介质和计算机设备
CN114741667A (zh) 一种文档展示方法、装置和计算机可读存储介质
CN112044061B (zh) 游戏画面处理方法、装置、电子设备以及存储介质
CN115811481A (zh) 一种交互服务测试方法、装置、计算机设备及存储介质
CN115712571A (zh) 一种交互服务测试、装置、计算机设备及存储介质
CN114327709A (zh) 一种控制页面生成方法、装置、智能设备及存储介质
CN112817782A (zh) 一种数据采集上报方法、装置、电子设备和存储介质
CN114675871A (zh) 资源更新方法、装置、电子设备、服务器及存储介质
CN113900959B (zh) 软件测试方法、装置、设备及存储介质
CN113626409B (zh) 一种测试资料处理方法、装置、设备及存储介质
CN115086321B (zh) 多集群流量转发方法及装置、电子设备
CN115129323B (zh) 数据资源包的处理方法、装置、设备和存储介质
CN112596812B (zh) 一种操作请求的响应方法、装置、设备及存储介质
CN108875070B (zh) 一种设置留言类网页的方法、设备和系统
CN116340899A (zh) 信息分享方法、装置、电子设备和计算机可读存储介质
CN116955765A (zh) 一种消息推送方法、装置、计算机设备、存储介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination