CN109726244A - 数据导入方法及装置 - Google Patents

数据导入方法及装置 Download PDF

Info

Publication number
CN109726244A
CN109726244A CN201910084887.XA CN201910084887A CN109726244A CN 109726244 A CN109726244 A CN 109726244A CN 201910084887 A CN201910084887 A CN 201910084887A CN 109726244 A CN109726244 A CN 109726244A
Authority
CN
China
Prior art keywords
data
file
tables
importing
imported
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910084887.XA
Other languages
English (en)
Inventor
刘洋
顾新桥
邓楚波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Beijing China Power Information Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Beijing China Power Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, Beijing China Power Information Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201910084887.XA priority Critical patent/CN109726244A/zh
Publication of CN109726244A publication Critical patent/CN109726244A/zh
Pending legal-status Critical Current

Links

Abstract

本申请中提供了数据导入方法及装置。在实现数据导入的系统中预先构建并存储了适合多种不同类型数据的数据表,因此,在需要导入某种类型的数据文件的情况下,用户只需要配置待导入的该数据文件的路径以及所需导入的数据文件对应的数据表名称,便可获得与该数据文件的数据类型对应的数据表的数据表结构,并按照获得的数据表结构将相应的数据文件导入需导入的数据表中。可见,在导入过程中,用户无需针对每个数据文件的类型配置不同的源表结构,减少了人工工作量,提高了数据导入效率。本申请实施例中的数据导入工具支持各种类型的数据导入,相比只支持与配置的源表结构对应的类型的数据导入的工具,具有更高的通用性。

Description

数据导入方法及装置
技术领域
本申请涉及数据处理技术领域,尤其涉及数据导入方法及装置。
背景技术
SAP(SystemApplications and Products,企业管理解决方案)系统是一种用于提供企业管理解决方案的系统,其中以数据表的形式存储物料主数据、科目主数据、科目余额、成本中心、利润中心等各种类型的数据。在SAP系统的实施过程中,往往会有大量数据需要导入SAP系统。
目前,数据导入SAP系统的方法主要是:由系统实施人员利用SAP系统提供的标准工具LSMW(Legacy System Migration Workbench,旧系统迁移工作台)进行导入。在利用LSMW执行导入时,需要按照待导入数据的类型配置源表结构,然后按照配置的源表结构导入待导入数据文件。
这种导入方法中,由于源表结构是基于数据的类型配置的,所以源表结构仅适用于导入该种类型的数据文件,不能适用于其他类型的数据文件的导入。因此,在需要导入多种类型的数据文件时,需要针对每种类型分别配置多种源表结构,导致人工工作量大,数据导入效率低。
发明内容
有鉴于此,本申请的目的在于提供一种数据导入方法及装置,以提高数据导入SAP系统的效率。
为实现上述目的,一方面,本申请提供了一种数据导入方法,包括:
获取用户配置的至少一条配置信息,每条所述配置信息至少包括待导入的数据文件的路径以及数据表名称;所述数据表名称指向所述数据文件所需导入到的数据表;
获取所述数据表名称指向的数据表的数据表结构;
依据所述路径,获取所述数据文件;
按照所述数据表结构将所述数据文件中的数据导入所述数据表名称指向的数据表。
优选地,所述数据文件按照如下步骤生成:
获取用户配置的所述数据表名称;
获取所述数据表名称指向的数据表的数据表结构;
创建工作簿文件,并按照所述数据表结构定义所述工作簿文件中的工作表的表结构,将所述工作簿文件作为文件模板;
按照所述文件模板组织待导入的数据,得到所述数据文件。
优选地,所述按照所述数据表结构将所述数据文件中的数据导入所述数据表名称指向的数据表,包括:
对所述数据文件中的每项数据进行校验;所述校验至少包括:按照所述数据表结构进行校验;
对于校验通过的每项数据,按照所述数据表结构将该项数据导入所述数据表名称指向的数据表。
优选地,所述配置信息还包括导入逻辑扩展函数名称;所述导入逻辑扩展函数中包括用户设定的检查逻辑;
所述校验还包括:
调用所述导入逻辑扩展函数名称指向的导入逻辑扩展函数,按照所述检查逻辑进行校验。
优选地,按照所述数据表结构将所述数据文件中的数据导入所述数据表名称指向的数据表之后,还包括:
依据按照所述数据表结构进行校验得到的第一校验结果和按照所述检查逻辑进行校验得到的第二校验结果,生成导入日志信息。
优选地,所述生成导入日志信息之后,还包括:
接收用于查询导入结果的导入查询请求;所述导入查询请求包括查询条件;
查找满足所述查询条件的导入日志信息。
又一方面,本申请还提供了一种数据导入装置,包括:
第一获取单元,用于获取用户配置的至少一条配置信息,每条所述配置信息至少包括待导入的数据文件的路径以及数据表名称;所述数据表名称指向所述数据文件所需导入到的数据表;
第二获取单元,用于获取所述第一获取单元获取的所述数据表名称指向的数据表的数据表结构;
第三获取单元,用于依据所述第一获取单元获取的所述路径,获取所述数据文件;
导入单元,用于按照所述第二获取单元获取的所述数据表结构将所述第三获取单元获取的数据文件中的数据导入所述数据表名称指向的数据表。
优选地,该装置还包括:数据文件生成单元;
所述数据文件生成单元包括:
第一获取子单元,用于获取用户配置的所述数据表名称;
第二获取子单元,用于获取所述第一获取子单元获取的所述数据表名称指向的数据表的数据表结构;
模板生成子单元,用于创建工作簿文件,并按照所述第二获取子单元获取的所述数据表结构定义所述工作簿文件中的工作表的表结构,将所述工作簿文件作为文件模板;
数据文件生成子单元,用于按照所述模板生成子单元获取的所述文件模板组织待导入的数据,得到所述数据文件。
优选地,所述导入单元包括:
校验子单元,用于对所述数据文件中的每项数据进行校验;所述校验至少包括:按照所述数据表结构进行校验;
导入子单元,用于对于校验通过的每项数据,按照所述数据表结构将该项数据导入所述数据表名称指向的数据表中。
优选地,所述配置信息还包括导入逻辑扩展函数名称;所述导入逻辑扩展函数中包括用户设定的检查逻辑;
所述校验还包括:调用所述导入逻辑扩展函数名称指向的导入逻辑扩展函数,按照所述检查逻辑进行校验。
由以上方案可知,本申请实施例中,在实现数据导入的系统中预先构建并存储了适合多种不同类型数据的数据表,因此,在需要导入某种类型的数据文件的情况下,用户只需要配置待导入的该数据文件的路径以及所需导入的数据文件对应的数据表名称,便可获得与该数据文件的数据类型对应的数据表的数据表结构,并按照获得的数据表结构将相应的数据文件导入需导入的数据表中。可见,在导入过程中,用户仅需执行数据文件的路径以及数据表名称的简单配置,无需针对每个数据文件的类型配置不同的源表结构,减少了人工工作量,提高了数据导入效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请实施例的数据导入方法的软件实施系统的一种架构示意图;
图2是本申请实施例的数据导入方法的一种流程示意图;
图3是本申请实施例的生成数据文件的一种流程示意图;
图4是本申请实施例的数据导入方法的又一种流程示意图;
图5是本申请实施例的批量导入功能界面示意图;
图6是本申请实施例的文件模板生成功能界面示意图;
图7是本申请实施例的导入结果查询界面示意图;
图8是本申请实施例的查询结果展示界面示意图;
图9是本申请实施例的数据导入装置的组成示意图。
具体实施方式
相关术语解释:
ABAP:SAP软件内置的开发语言,为第四代高级业务应用编程语言,基于SAP系统内的二次开发必须使用此语言。
内表:用于在程序运行期间储存多行结构相同的数据。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中的数据导入方法,在具体实施时,可以采用软件系统的形式进行实施,例如采用ABAP开发语言实现一具备本申请数据导入方法的处理逻辑的软件系统。该软件系统可以作为数据导入工具供用户使用。如,参见图1,其示出了该软件系统的一种架构示意图。该系统包括:配置信息维护功能、数据文件生成功能和批量导入功能。
其中,配置信息维护功能实现的是对配置信息的维护。如,接收并保存用户的配置信息。
数据文件生成功能实现的是生成待导入的数据文件。如,按照配置信息得到数据表结构,按照数据表结构生成文件模板,再按照文件模板生成数据文件。
批量导入功能实现的是数据文件的导入。如,读取数据文件、读取数据表结构、对数据文件中的数据进行校验、生成日志和导入结果查询。
下面结合流程图对本申请实施例中的数据导入方法进行介绍。如,参见图2,其示出了本申请实施例中数据导入方法的一种流程示意图,应用于数据导入工具,包括:
S201,获取用户配置的至少一条配置信息。
其中,每条配置信息至少包括待导入的数据文件的路径以及数据表名称,该数据表名称指向该数据文件需导入到的数据表。举例说明,一条配置信息可以包括:T2和C:\T2IMPORT.XLST,该条配置信息表示将数据文件T2IMPORT.XLST导入数据表T2中。
其中,用户可以一次配置至少一条配置信息。在进行数据导入的过程中,每次获取的配置信息可以是用户配置的所有配置信息;也可以是用户从已经配置的所有配置信息中选择出的至少一条配置信息。如,用户可以通过数据导入工具提供的如图5示出的批量导入功能界面进行配置信息的选择,数据导入工具可以根据用户的选择执行批量导入。
其中,数据文件是根据配置信息中数据表名称指向的数据表的数据表结构生成的工作簿文件,工作簿文件也称作excel文件。如,在上面配置信息的示例中,数据文件T2IMPORT.XLST为根据数据表T2的数据表结构生成的excel文件。在具体实现中,可以先根据数据表名称指向的数据表的数据表结构生成文件模板,然后按照文件模板组织待导入的数据,得到数据文件。其中,文件模板可以由用户手工编写,也可以自动生成。
其中,待导入数据文件需要导入到的数据表可以是,用户预先在用于实现数据导入的系统(如SPA系统)中建立的数据表。一个数据表可以用于存储某一种类型的类型。该数据表还可以是该用于实现数据导入的系统自带的数据表,例如SAP系统中用于存储客户主文件的一般数据的数据表KNA1、用于存储客户主记录公司代码数据的数据表KNB1等。
S202,获取数据表名称指向的数据表的数据表结构。
其中,数据表结构是在创建数据表时定义的,代表的是该数据表的框架,具体定义了该数据表包含的字段、各字段的字段名、字段类型及字段属性等。例如,SAP系统中数据表名称为AACP的数据表的部分数据表结构如下表所示:
表1
该数据表中包括两个字段,其中一个字段的字段名是:AbsEntry,字段长度是11,字段类型是整型,字段描述是内部编号,该字段的内容可为空,与其他字段无关联;另一个字段的字段名是:PeriodCat,字段长度是10,字段类型是字符型,字段描述是期间类别,该字段的内容可为空,与其他字段无关联。
对于SAP系统中的数据表,其数据表结构可以通过SAP系统提供的接口获取到。
S203,依据该数据文件的路径,获取数据文件。
其中,用户配置的路径可以是文件路径,也可以是目录路径。一个目录下可以包括多个数据文件,在用户配置了目录路径的情况下,依据路径,分别获取目录包括的多个数据文件,并将每个数据文件中的数据作为待导入到数据表中的数据。
S204,按照该数据表结构将该数据文件中的数据导入该数据表名称指向的数据表。
其中,获取到数据文件和数据表结构之后,可以按照该数据表结构将该数据文件导入至数据表中。如,在上面配置信息的示例中,根据T2的数据表结构将数据文件T2IMPORT.XLST导入T2中。具体实现可以是:针对数据文件中的每项数据;按照数据表结构,确定该项数据导入到数据表中的位置,将该项数据导入到数据表中确定出的位置。
由以上方案可知,本申请实施例中,在实现数据导入的系统中预先构建并存储了适合多种不同类型数据的数据表,因此,在需要导入某种类型的数据文件的情况下,用户只需要配置待导入的该数据文件的路径以及所需导入的数据文件对应的数据表名称,便可获得与该数据文件的数据类型对应的数据表的数据表结构,并按照获得的数据表结构将相应的数据文件导入需导入的数据表中。可见,在导入过程中,用户仅需执行数据文件的路径以及数据表名称的简单配置,无需针对每个数据文件的类型配置不同的源表结构,减少了人工工作量,提高了数据导入效率。
本申请实施例中,在实现数据导入的系统中预先构建并存储了适合多种不同类型数据的数据表,因此,本申请实施例中的数据导入工具能够支持多种类型的数据导入,相比只支持与配置的源表结构对应的类型的数据导入的LSMW工具,具有更高的通用性。
本申请实施例中的数据导入工具支持用户一次配置多个路径,还支持目录路径配置,以便一次将多个路径下的多个数据文件导入SAP系统。相比只支持用户一次配置一个数据文件的LSMW工具,减少了用户的工作量。
为了便于理解,下面对本申请实施例中配置信息进行具体介绍。
配置信息至少包括:路径和数据表名称。
其中,路径,用于指定待导入的数据文件,由用户手工输入。路径可以是文件路径,如,C:\T2IMPORT.XLST;还可以是目录路径,如,C:\T1IMPORT-1。
数据表名称,用于指定将待导入的数据文件需导入到的数据表,如SAP系统中的数据表,如,T1,由用户手工输入。
配置信息还可以包括:扩展逻辑函数名称。
其中,扩展逻辑函数名称,用于指定检查逻辑,如,FM_T1_CHECK。在用户有个性化的导入需求,如导入数据与其他表数据存在关联性需进行外键检查、如导入数据的不同列之间存在关联性需进行数据关联性检查、如导入数据的值范围特殊限制等情况时,可以配置扩展逻辑函数名称,以便动态调用扩展逻辑函数,利用逻辑扩展函数中用户设定的检查逻辑对导入数据进行检查。
配置信息还可以包括:序号以及数据表的描述。
其中,序号可以由数据导入工具自动生成,一条配置信息对应一个序号。
数据表的描述可以由数据导入工具在获取到用户配置的数据表名称之后自动从SAP系统中获取。
本申请实施例中的数据导入工具在接收到用户配置的配置信息之后,会在数据导入工具内部维护一张配置表。如,参见如下表,其示出了数据导入工具内部维护的配置表的示例:
表2
其中,本申请实施例中的数据导入工具在接收到用户配置信息之后,会对配置信息的有效性进行检查,包括:检查输入的数据表名称是否有效,表类型是否支持(透明表、簇表),检查输入的扩展逻辑函数名称指向的扩展逻辑函数是否存在,函数参数是否满足统一标准,检查输入的路径是否存在等。
本申请实施例中,用户在进行数据导入时,仅需执行简单配置,无需针对每个数据文件的类型配置不同的源表结构,减少了人工工作量,提高了数据导入效率。
可以理解的是,本申请的数据文件是预先生成的,生成该数据文件所依据的数据表结构与本申请中该数据文件待导入到的数据表对应的数据表结构相同。为了便于理解,下面对生成数据文件的一种方式进行介绍。如,参见图3,其示出了本申请实施例中生成数据文件的一种流程示意图。该方法包括:
S301,获取用户配置的数据表名称。
其中,数据表名称指向待导入的数据文件所需导入到的数据表。
其中,用户可以一次配置多个数据表名称,获取的用户配置的数据表名称可以是用户配置的所有数据表名称;也可以是用户从已经配置的所有数据表名称中选择出的至少一个数据表名称。在具体实现时,用户可以通过数据导入工具提供的如图6示出的文件模板生成界面进行选择数据表名称选择,以指示数据导入工具生成相应的文件模板。
S302,获取与该数据表名称指向的数据表的数据表结构。
S303,构建工作簿文件,并按照获得的数据表结构,定义该工作簿文件中的工作表的表结构,将该工作簿文件作为文件模板。
其中,文件模板为工作簿文件,工作簿文件也可以称为excel文件,该文件中只定义有工作表的表结构,未填写数据。
其中,在数据需导入的系统为SAP系统的情况下,由于SAP系统的数据表中每个字段都是有特定类型的,如字符型、日期型、数字型、货币型等,在生成文件模版时还可以对工作表的列格式进行设置,如,将工作表每个字段的列格式预设为SAP系统的数据表中每个字段的对应格式,以便控制可录入数据类型,避免导入环节在类型匹配上出现太多问题导致返工。
可以理解的是,基于一个数据表可以生成一个文件模板。
S304,按照该文件模板组织待导入的数据,得到数据文件。
其中,基于一个文件模板可以得到至少一个数据文件。
本申请实施例中,根据用户配置自动生成文件模板,减少了用户手工编写文件模板可能造成的错误。
本申请实施例中数据导入工具支持一次配置多个数据表名称,能够一次生成多个文件模板,提高了批量生成数据文件的效率。
上述实施例中,在将数据导入需导入到的数据表时,需要先对导入的数据进行校验,仅将校验通过的数据导入到需导入的数据表中。其中,对数据进行校验至少包括按照数据表结构进行校验,在用户设定了检查逻辑的情况下,还可以包括按照用户设定的检查逻辑进行校验。为了便于理解,下面对数据导入的具体过程进行介绍。
如参见图4,其示出了本申请实施例中数据导入方法的又一种流程示意图,该方法包括:
S401,获取用户配置的至少一条配置信息。
其中,每条配置信息至少包括待导入的数据文件的路径以及数据表名称,该数据表名称指向该数据文件所需导入到的数据表。
S402,获取数据表名称指向的数据表的数据表结构。
S403,依据该数据文件的路径,获取该数据文件。
其中,S401~S403可以参见上述实施例的介绍,此处不再赘述。
S404,对该数据文件中的每项数据进行校验。
其中,该校验至少包括:按照获得的数据表结构进行校验。按照获得的数据表结构进行校验指的是判断数据是否为符合数据表结构中对相应字段的限制,如数据类型是否与字段类型相匹配,数据长度是否符合字段长度的要求等等。如果待导入数据不符合数据表结构中对相应字段的限制时,可以给出提示。
其中,SAP系统中不允许直接对数据表进行操作,在校验时需要先按照数据表的数据表结构生成内表,基于生成的内表对数据进行校验,如校验导入数据的类型、长度、日期金额是否符合规定等。
在配置信息中包括导入逻辑扩展函数名称时,校验还包括:调用该导入逻辑扩展函数名称指向的导入逻辑扩展函数,按照导入逻辑扩展函数中包括的检查逻辑进行校验。
其中,导入逻辑扩展函数名称的配置主要是针对有些特殊的业务要求或数据与其它表存在关联逻辑的情况,加入用户设定的数据检查功能。逻辑扩展函数中包括按照用户设定的数据检查功能编写的检查逻辑,在进行数据导入的过程中调用该导入逻辑扩展函数,按照导入逻辑扩展函数中的检查逻辑对导入的数据进行校验,如果待导入的数据不符合检查逻辑,可以给出提示。
可以理解的是,在具体实现中,两类校验的执行时间不分先后,可以先执行按照获得的数据表结构进行校验,再执行按照导入逻辑扩展函数中包括的检查逻辑进行校验;也可以先执行按照导入逻辑扩展函数中包括的检查逻辑进行校验,再执行按照获得的数据表结构进行校验,还可以同时执行按照获得的数据表结构进行校验和按照导入逻辑扩展函数中包括的检查逻辑进行校验。
可以理解的是,在配置信息中不包括导入逻辑扩展函数名称的情况下,将不执行按照导入逻辑扩展函数中包括的检查逻辑进行的校验。
S405,对于校验通过的每项数据,按照数据表结构将该项数据导入该数据表中。
其中,按照数据表结构可以找到该项数据需导入到的数据表中的具体位置,在找到该具体位置后,将该项数据保存在该数据表中的该具体位置处。
可以理解的是,在执行了两类校验的情况下,通过校验指的是,既通过按照获取的数据表结构对该项数据进行的校验,也通过按照导入逻辑扩展函数中包括的检查逻辑对该项数据进行的校验。
可以理解的是,在完成数据导入之后,还可以按照校验结果生成导入日志信息。导入日志信息用于指示数据导入的情况,可以包括:错误信息、处理数据量、导入文件个数、最终导入结果等。
在执行了两类校验的情况下,可以将两类校验的结果合并,得出导入日志信息。如,具体实现可以是:依据按照数据表结构对该项数据进行校验得到的第一校验结果和按照检查逻辑对该项数据进行校验得到的第二校验结果,生成导入日志信息。
其中,本申请实施例的数据导入工具可以具有前台模式和后台模式两种导入模式,前台模式时,在导入的过程中会将导入日志信息显示在界面上。
可以理解的是,在生成导入日志信息之后,可以对导入结果进行查询。如,具体实现可以是:接收用于查询导入结果的导入查询请求;导入查询请求包括查询条件;查找满足该查询条件的导入日志信息。
其中,对导入结果进行查询的用户界面如图7所示。其中,查询条件可以有多种,如表名、文件名、导入日期等。
数据导入工具在查找到满足该查询条件的导入日志信息之后,可以将查询结果输出。输出的方式可以有多种形式,如,在一种可能的实现中,将查询结果以表格的形式展示在界面上,如图8所示;又如,在另一种可能的实现中,将查询结果以文件的形式输出。
对应于本申请实施例提供的数据导入方法,本申请还提供了数据导入装置。
如,参加图9,其示出了本申请实施例的一种数据导入装置的组成示意图,该装置包括:
第一获取单元901,用于获取用户配置的至少一条配置信息。
其中,每条配置信息至少包括待导入的数据文件的路径以及数据表名称;数据表名称指向该数据文件所需导入到的数据表;
第二获取单元902,用于获取第一获取单元901获取的数据表名称指向的数据表的数据表结构;
第三获取单元903,用于依据第一获取单元901获取的路径,获取数据文件;
导入单元904,用于按照第二获取单元902获取的数据表结构将第三获取单元903获取的数据文件中的数据导入第一获取单元901获取的数据表名称指向的数据表。
在另一种可能的实现中,该装置还包括:数据文件生成单元905;
数据文件生成单元905包括:
第一获取子单元,用于获取用户配置的数据表名称;
第二获取子单元,用于获取第一获取子单元获取的数据表名称指向的数据表的数据表结构;
模板生成子单元,用于创建工作簿文件,并按照第二获取子单元获取的数据表结构定义工作簿文件中的工作表的表结构,将该工作簿文件作为文件模板;
数据文件生成子单元,用于按照模板生成子单元获取的文件模板组织待导入的数据,得到数据文件。
在又一种可能的实现中,导入单元904包括:
校验子单元,用于对数据文件中的每项数据进行校验;校验至少包括:按照该数据表结构进行校验;
导入子单元,用于对于校验通过的每项数据,按照该数据表结构将该项数据导入该数据表名称指向的数据表中。
在又一种可能的实现中,配置信息还包括导入逻辑扩展函数名称;该导入逻辑扩展函数中包括用户设定的检查逻辑;
校验还包括:调用该导入逻辑扩展函数名称指向的导入逻辑扩展函数,按照其中包括的检查逻辑进行校验。
在又一种可能的实现中,该装置还包括日志生成单元;
日志生成单元,用于依据按照数据表结构进行校验得到的第一校验结果和按照导入逻辑扩展函数中包括的检查逻辑进行校验得到的第二校验结果,生成导入日志信息。
在又一种可能的实现中,该装置还包括导入结果查询单元;
导入结果查询单元,用于日志生成单元生成导入日志信息之后,接收用于查询导入结果的导入查询请求;该导入查询请求包括查询条件;查找满足该查询条件的导入日志信息。
对于本申请实施例的数据导入装置而言,由于其与上面实施例中的数据导入方法相对应,所以描述的比较简单,相关相似之处请参见上面实施例中部分的说明即可,此处不再详述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据导入方法,其特征在于,包括:
获取用户配置的至少一条配置信息,每条所述配置信息至少包括待导入的数据文件的路径以及数据表名称;所述数据表名称指向所述数据文件所需导入到的数据表;
获取所述数据表名称指向的数据表的数据表结构;
依据所述路径,获取所述数据文件;
按照所述数据表结构将所述数据文件中的数据导入所述数据表名称指向的数据表。
2.如权利要求1所述的方法,其特征在于,所述数据文件按照如下步骤生成:
获取用户配置的所述数据表名称;
获取所述数据表名称指向的数据表的数据表结构;
创建工作簿文件,并按照所述数据表结构定义所述工作簿文件中的工作表的表结构,将所述工作簿文件作为文件模板;
按照所述文件模板组织待导入的数据,得到所述数据文件。
3.如权利要求1所述的方法,其特征在于,所述按照所述数据表结构将所述数据文件中的数据导入所述数据表名称指向的数据表,包括:
对所述数据文件中的每项数据进行校验;所述校验至少包括:按照所述数据表结构进行校验;
对于校验通过的每项数据,按照所述数据表结构将该项数据导入所述数据表名称指向的数据表。
4.如权利要求3所述的方法,其特征在于,所述配置信息还包括导入逻辑扩展函数名称;所述导入逻辑扩展函数中包括用户设定的检查逻辑;
所述校验还包括:
调用所述导入逻辑扩展函数名称指向的导入逻辑扩展函数,按照所述检查逻辑进行校验。
5.如权利要求4所述的方法,其特征在于,按照所述数据表结构将所述数据文件中的数据导入所述数据表名称指向的数据表之后,还包括:
依据按照所述数据表结构进行校验得到的第一校验结果和按照所述检查逻辑进行校验得到的第二校验结果,生成导入日志信息。
6.如权利要求5所述的方法,其特征在于,所述生成导入日志信息之后,还包括:
接收用于查询导入结果的导入查询请求;所述导入查询请求包括查询条件;
查找满足所述查询条件的导入日志信息。
7.一种数据导入装置,其特征在于,包括:
第一获取单元,用于获取用户配置的至少一条配置信息,每条所述配置信息至少包括待导入的数据文件的路径以及数据表名称;所述数据表名称指向所述数据文件所需导入到的数据表;
第二获取单元,用于获取所述第一获取单元获取的所述数据表名称指向的数据表的数据表结构;
第三获取单元,用于依据所述第一获取单元获取的所述路径,获取所述数据文件;
导入单元,用于按照所述第二获取单元获取的所述数据表结构将所述第三获取单元获取的数据文件中的数据导入所述数据表名称指向的数据表。
8.如权利要求7所述的装置,其特征在于,还包括:数据文件生成单元;
所述数据文件生成单元包括:
第一获取子单元,用于获取用户配置的所述数据表名称;
第二获取子单元,用于获取所述第一获取子单元获取的所述数据表名称指向的数据表的数据表结构;
模板生成子单元,用于创建工作簿文件,并按照所述第二获取子单元获取的所述数据表结构定义所述工作簿文件中的工作表的表结构,将所述工作簿文件作为文件模板;
数据文件生成子单元,用于按照所述模板生成子单元获取的所述文件模板组织待导入的数据,得到所述数据文件。
9.如权利要求7所述的装置,其特征在于,所述导入单元包括:
校验子单元,用于对所述数据文件中的每项数据进行校验;所述校验至少包括:按照所述数据表结构进行校验;
导入子单元,用于对于校验通过的每项数据,按照所述数据表结构将该项数据导入所述数据表名称指向的数据表中。
10.如权利要求9所述的装置,其特征在于,所述配置信息还包括导入逻辑扩展函数名称;所述导入逻辑扩展函数中包括用户设定的检查逻辑;
所述校验还包括:调用所述导入逻辑扩展函数名称指向的导入逻辑扩展函数,按照所述检查逻辑进行校验。
CN201910084887.XA 2019-01-29 2019-01-29 数据导入方法及装置 Pending CN109726244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910084887.XA CN109726244A (zh) 2019-01-29 2019-01-29 数据导入方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910084887.XA CN109726244A (zh) 2019-01-29 2019-01-29 数据导入方法及装置

Publications (1)

Publication Number Publication Date
CN109726244A true CN109726244A (zh) 2019-05-07

Family

ID=66301108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910084887.XA Pending CN109726244A (zh) 2019-01-29 2019-01-29 数据导入方法及装置

Country Status (1)

Country Link
CN (1) CN109726244A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287219A (zh) * 2019-06-28 2019-09-27 北京九章云极科技有限公司 一种数据处理方法及系统
CN110347673A (zh) * 2019-05-30 2019-10-18 平安银行股份有限公司 数据文件加载方法、装置、计算机设备以及存储介质
CN110532434A (zh) * 2019-09-03 2019-12-03 上海新炬网络技术有限公司 一种xml文件批量自动统计数据的方法
CN110781248A (zh) * 2019-09-27 2020-02-11 浙江省北大信息技术高等研究院 一种多源异构数据采集方法及装置
CN111522817A (zh) * 2020-04-22 2020-08-11 支付宝(杭州)信息技术有限公司 表格内容映射系统、方法及非暂时性存储介质
CN111859481A (zh) * 2020-07-16 2020-10-30 宁波浙大联科科技有限公司 Pdm系统中对象链数据构建方法与系统
CN112214498A (zh) * 2020-11-03 2021-01-12 中国航空工业集团公司西安航空计算技术研究所 一种生成机载维护配置数据库的方法
CN113704269A (zh) * 2021-09-02 2021-11-26 京东城市(北京)数字科技有限公司 一种数据处理方法、系统、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595727A (zh) * 2013-11-22 2014-02-19 中国航天科工集团第二研究院七〇六所 基于交换标识的跨域增量数据交换模型及交换方法
CN103995908A (zh) * 2014-06-17 2014-08-20 山东中创软件工程股份有限公司 一种数据导入方法及装置
CN105808375A (zh) * 2014-12-31 2016-07-27 航天信息软件技术有限公司 导入数据的方法和装置
CN107203627A (zh) * 2017-05-27 2017-09-26 山东浪潮通软信息科技有限公司 一种结构化数据与Word文档之间互相转换的方法
CN108595597A (zh) * 2018-04-19 2018-09-28 平安科技(深圳)有限公司 数据导入方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595727A (zh) * 2013-11-22 2014-02-19 中国航天科工集团第二研究院七〇六所 基于交换标识的跨域增量数据交换模型及交换方法
CN103995908A (zh) * 2014-06-17 2014-08-20 山东中创软件工程股份有限公司 一种数据导入方法及装置
CN105808375A (zh) * 2014-12-31 2016-07-27 航天信息软件技术有限公司 导入数据的方法和装置
CN107203627A (zh) * 2017-05-27 2017-09-26 山东浪潮通软信息科技有限公司 一种结构化数据与Word文档之间互相转换的方法
CN108595597A (zh) * 2018-04-19 2018-09-28 平安科技(深圳)有限公司 数据导入方法、装置、计算机设备和存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347673A (zh) * 2019-05-30 2019-10-18 平安银行股份有限公司 数据文件加载方法、装置、计算机设备以及存储介质
CN110287219A (zh) * 2019-06-28 2019-09-27 北京九章云极科技有限公司 一种数据处理方法及系统
CN110532434A (zh) * 2019-09-03 2019-12-03 上海新炬网络技术有限公司 一种xml文件批量自动统计数据的方法
CN110781248A (zh) * 2019-09-27 2020-02-11 浙江省北大信息技术高等研究院 一种多源异构数据采集方法及装置
CN111522817A (zh) * 2020-04-22 2020-08-11 支付宝(杭州)信息技术有限公司 表格内容映射系统、方法及非暂时性存储介质
CN111522817B (zh) * 2020-04-22 2023-05-12 支付宝(杭州)信息技术有限公司 表格内容映射系统、方法及非暂时性存储介质
CN111859481A (zh) * 2020-07-16 2020-10-30 宁波浙大联科科技有限公司 Pdm系统中对象链数据构建方法与系统
CN111859481B (zh) * 2020-07-16 2024-03-08 宁波智讯联科科技有限公司 Pdm系统中对象链数据构建方法与系统
CN112214498A (zh) * 2020-11-03 2021-01-12 中国航空工业集团公司西安航空计算技术研究所 一种生成机载维护配置数据库的方法
CN113704269A (zh) * 2021-09-02 2021-11-26 京东城市(北京)数字科技有限公司 一种数据处理方法、系统、存储介质及电子设备
CN113704269B (zh) * 2021-09-02 2024-04-16 京东城市(北京)数字科技有限公司 一种数据处理方法、系统、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN109726244A (zh) 数据导入方法及装置
EP2565802B1 (en) Data masking setup
US7562093B2 (en) Method for creating a stored query
CN111767303A (zh) 一种数据查询方法、装置、服务器及可读存储介质
US6772137B1 (en) Centralized maintenance and management of objects in a reporting system
CN104424266B (zh) 网页发布方法及系统
CN104572122A (zh) 一种软件应用数据的生成装置及方法
CA2493269A1 (en) Method and system of unifying data
CN107679071B (zh) 一种面向关系数据库的通用数据服务定制化封装方法
CN109241384B (zh) 一种科研信息的可视化方法及装置
CN106886371B (zh) 缓存数据处理方法及装置
US20120158807A1 (en) Matching data based on numeric difference
CN102254029A (zh) 一种基于视图的数据访问系统及其方法
CN107798017B (zh) 分布式数据库中的执行计划信息生成方法和系统
CN110781183A (zh) Hive数据库中增量数据的处理方法、装置以及计算机设备
CN102760096A (zh) 测试用数据的生成方法、单元测试方法以及单元测试系统
CA2461871A1 (en) An efficient index structure to access hierarchical data in a relational database system
CN103678396B (zh) 一种基于数据模型的数据备份方法和装置
Ben-Gan T-Sql Fundamentals
CN106126224A (zh) 一种生成程序对象的工具、系统和方法
CN112579604A (zh) 测试系统的造数方法、装置、设备及存储介质
CN107193842B (zh) 一种平台化系统业务定位方法及装置
CN111639478B (zh) 一种基于excel文档的数据自动稽核方法及系统
CN114610803A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN114328577A (zh) 数据查询方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190507