CN108132936A - 数据导入方法及装置 - Google Patents

数据导入方法及装置 Download PDF

Info

Publication number
CN108132936A
CN108132936A CN201611080376.3A CN201611080376A CN108132936A CN 108132936 A CN108132936 A CN 108132936A CN 201611080376 A CN201611080376 A CN 201611080376A CN 108132936 A CN108132936 A CN 108132936A
Authority
CN
China
Prior art keywords
file
data
configuration
storage system
imported
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611080376.3A
Other languages
English (en)
Inventor
胡信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201611080376.3A priority Critical patent/CN108132936A/zh
Publication of CN108132936A publication Critical patent/CN108132936A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84Mapping; Conversion
    • G06F16/86Mapping to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Abstract

本发明公开了一种数据导入方法及装置,涉及互联网技术领域,用于解决现有将数据文件导入目标存储系统的方式费时费力,效率较低的问题。本发明的主要技术方案为:获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统,加载配置文件,根据配置文件获取待导入的数据文件,根据配置文件配置将数据文件导入目标存储系统所需的模板文件,通过模板文件将数据文件导入目标存储系统。本发明主要用于数据导入。

Description

数据导入方法及装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种数据导入方法及装置。
背景技术
在信息化时代,数据存储系统的种类越来越多,虽然每个系统都只负责处理自己的数据,但是在有些情况下这些存储系统不是相互独立的。在很多时候,工作人员根据业务的需求需要将从一个存储系统中查询得到的数据文件,导入到其他不同的存储系统中。根据业务需求将数据文件导入到不同的存储系统中,有利于对数据文件的归纳分类,更好的对数据文件进行存储。
目前的数据文件导入方式是:根据业务需求先进行数据文件的查询、目标存储系统的选择,然后建立数据文件和目标存储系统之间的映射关系,最后将数据文件通过编写的程序代码导入到目标存储系统中。当业务的需求不同时,将数据文件导入目标存储系统的程序代码也不同。例如,要将查询得到的a、b、c、d列及b、c、d、f列数据分别导入到数据库A中,就需要分别编写对应的程序代码;或者,要将查询得到的a、b、c、d列数据分别导入到数据库A和B中,需要的程序代码也会不同。可以看出,当业务量过多时,需要针对每一个业务需求进行分析、编写对应的程序代码,因此现有的将数据文件导入目标存储系统的方式费时费力,效率较低。
发明内容
鉴于上述问题,鉴于上述问题,本发明提供一种数据导入方法及装置,主要目的在于减少将数据文件导入目标存储系统所需要的时间,进而提高将数据文件导入目标存储系统的效率。
为达到上述目的,本发明主要提供如下技术方案:
一方面,本发明实施例提供了一种数据导入方法,该方法包括:
获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统;
加载配置文件,根据配置文件获取待导入的数据文件;
根据配置文件配置将数据文件导入目标存储系统所需的模板文件;
通过模板文件将数据文件导入目标存储系统。
优选的,在加载配置文件之前,该方法还包括:
设置配置文件,配置文件包括数据源配置信息和目标输出配置信息;数据源配置信息包括数据源名称、获取数据文件的数据库、数据源的IP地址、查询数据文件使用的结构化查询语言和端口号;目标输出配置信息包括连接目标存储系统的服务器的相关参数、数据输入输出类型、目标存储系统和模板文件。
优选的,加载配置文件,根据配置文件获取待导入的数据文件,包括:
定义一个数据源参数对象;
加载配置文件,根据业务需求将配置文件中的数据源配置信息的各个参数赋值给数据源参数对象;
通过数据源参数对象获取待导入的数据文件。
优选的,根据配置文件确定将数据文件导入目标存储系统所需的模板文件,包括:
定义一个目标输出参数对象;
根据业务需求将配置文件中的目标输出配置信息的各个参数赋值给目标输出参数对象;
通过目标输出参数对象识别得到数据输入输出类型,根据数据输入输出类型配置将数据文件导入目标存储系统所需的模板文件。
优选的,在根据配置文件配置将数据文件导入目标存储系统所需的模板文件之前,该方法还包括:
将模板文件存储到配置文件中,模板文件为根据数据文件和目标存储系统之间的映射关系创建的。
另一方面,本发明实施例还提供一种数据导入装置,该装置包括:
确定单元,用于获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统;
获取单元,用于加载配置文件,根据配置文件获取待导入的数据文件;
配置单元,用于根据配置文件配置将数据文件导入目标存储系统所需的模板文件;
导入单元,用于通过模板文件将数据文件导入目标存储系统。
优选的,该装置还包括:
设置单元,用于在加载配置文件之前,设置配置文件,配置文件包括数据源配置信息和目标输出配置信息;数据源配置信息包括数据源名称、获取数据文件的数据库、数据源的IP地址、查询数据文件使用的结构化查询语言和端口号;目标输出配置信息包括连接目标存储系统的服务器的相关参数、数据输入输出类型、目标存储系统和模板文件。
优选的,获取单元包括:
第一定义模块,用于定义一个数据源参数对象;
第一赋值模块,用于加载配置文件,根据业务需求将配置文件中的数据源配置信息的各个参数赋值给数据源参数对象;
获取模块,用于通过数据源参数对象获取待导入的数据文件。
优选的,配置单元包括:
第二定义模块,用于定义一个目标输出参数对象;
第二赋值模块,用于根据业务需求将配置文件中的目标输出配置信息的各个参数赋值给目标输出参数对象;
配置模块,用于通过目标输出参数对象识别得到数据输入输出类型,根据数据输入输出类型配置将数据文件导入目标存储系统所需的模板文件。
优选的,该装置还包括:
存储单元,用于在根据配置文件配置将数据文件导入目标存储系统所需的模板文件之前,将模板文件存储到配置文件中,模板文件为根据数据文件和目标存储系统之间的映射关系创建的。
借由上述技术方案,本发明实施例提供的技术方案至少具有下列优点:
本发明实施例提供的数据导入方法及装置,首先获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统,然后加载配置文件,根据配置文件获取待导入的数据文件,再根据配置文件配置将数据文件导入目标存储系统所需的模板文件,最后通过模板文件将数据文件导入目标存储系统。本发明实施例能够通过配置文件获取待导入的数据文件、配置将数据文件导入目标存储系统所需的模板文件,并将数据文件导入目标存储系统中,与现有技术相比,能够减少将数据文件导入目标存储系统所需要的时间,进而提高将数据文件导入目标存储系统的效率。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例提供的一种数据导入方法流程图;
图2为本发明实施例提供的另一种数据导入方法流程图;
图3为本发明实施例提供的一种数据导入装置的组成框图;
图4为本发明实施例提供的另一种数据导入装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为使本发明技术方案的优点更加清楚,下面结合附图和实施例对本发明作详细说明。
本发明实施例提供了一种数据导入方法,如图1所示,该方法应用于通过配置文件获取待导入的数据文件、配置将数据文件导入目标存储系统所需的模板文件,并将数据文件导入目标存储系统中,从而减少将数据文件导入目标存储系统所需要的时间,对此本发明实施例提供以下具体步骤:
101、获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统。
其中,待导入的数据文件为根据具体的业务需求确定的要导入存储系统的数据文件,目标存储系统为根据具体的业务需求确定的将待导入的数据文件导入的存储系统。
在本发明实施例中,获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统,首先获取业务需求,然后根据具体的业务需求确定待导入的数据文件和目标存储系统。
102、加载配置文件,根据配置文件获取待导入的数据文件。
在本发明实施例中,首先通过步骤101确定待导入的数据文件,然后加载配置文件,根据配置文件在存储待导入数据文件的数据库中,获取该待导入的数据文件。
103、根据配置文件配置将数据文件导入目标存储系统所需的模板文件。
其中,模板文件为将待导入的数据文件导入目标存储系统所需要的文件。
在本发明实施例中,由于根据业务需求的不同,需要将待导入的数据文件导入到不同的存储系统中,并且将待导入的数据文件导入到不同的存储系统中需要的模板文件也不同,因此为了将待导入的数据文件导入到目标存储系统中需要根据配置文件配置将待导入的数据文件导入目标存储系统所需的模板文件。
104、通过模板文件将数据文件导入目标存储系统。
在本发明实施例中,通过模板文件将数据文件导入目标存储系统,首先获取业务需求,根据具体的业务需求确定待导入的数据文件和目标存储系统,然后加载配置文件,根据配置文件在存储待导入数据文件的数据库中,获取该待导入的数据文件,再根据配置文件配置将待导入的数据文件导入目标存储系统所需的模板文件,最后通过模板文件将待导入的数据文件导入目标存储系统中。由于模板文件为根据具体的业务需求预先编写好的,不需要根据业务需求的不同再编写对应不同的将待导入的数据文件导入目标存储系统的模板文件,因此能够减少将数据文件导入目标存储系统所需要的时间,进而提高将数据文件导入目标存储系统的效率。
本发明实施例提供的一种数据导入方法,首先获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统,然后加载配置文件,根据配置文件获取待导入的数据文件,再根据配置文件配置将数据文件导入目标存储系统所需的模板文件,最后通过模板文件将数据文件导入目标存储系统。本发明实施例能够通过配置文件获取待导入的数据文件、配置将数据文件导入目标存储系统所需的模板文件,并将数据文件导入目标存储系统中,与现有技术相比,能够减少将数据文件导入目标存储系统所需要的时间,进而提高将数据文件导入目标存储系统的效率。
以下为了更加详细地说明,本发明实施例提供了另一种数据导入方法,特别是待导入的数据文件的获取方法以及配置模板文件的具体方法,具体如图2所示,该方法所包括的步骤为:
201、获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统。
其中,关于步骤201获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统的详细描述,可以参考图1对应部分的描述,本发明实施例此处将不再赘述。
202、设置配置文件。
其中,配置文件包括数据源配置信息和目标输出配置信息,数据源配置信息包括数据源名称、获取数据文件的数据库、数据源的IP地址、查询数据文件使用的结构化查询语言和端口号;目标输出配置信息包括连接目标存储系统的服务器的相关参数、数据输入输出类型、目标存储系统和模板文件。
在本发明实施例中,配置文件为XML(Extensible Markup Language,可扩展标记语言)文件或者JSON(JavaScript Object Notation,轻量级数据交换格式)文件等具有一定标记格式的文件。配置文件包括数据源配置信息和目标输出配置信息两部分,其中数据源配置信息包括数据源的名称、获取待导入数据文件的数据库、数据源的IP地址、查询该数据文件所使用的结构化查询语言和查询的数据库使用的端口号,目标输出配置信息包括连接目标存储系统的服务器的相关参数、定义的数据输入输出类型、将待导入的数据文件导入的目标存储系统和将待导入的数据文件导入目标存储系统所需的模板文件。
203、定义一个数据源参数对象。
在本发明实施例中,定义一个数据源参数对象,其中,数据源参数对象包括数据源的名称、获取待导入数据文件的数据库、数据源的IP地址、查询该数据文件所使用的结构化查询语言和查询的数据库使用的端口号。
204、加载配置文件,根据业务需求将配置文件中的数据源配置信息的各个参数赋值给数据源参数对象。
在本发明实施例中,加载配置文件,根据业务需求将配置文件中的数据源配置信息的各个参数赋值给数据源参数对象的具体过程为:首先加载配置文件,然后解析配置文件中数据源配置信息的各个参数,最后根据具体的业务需求通过配置文件配置数据源参数对象,将配置文件中的数据源配置信息的各个参数的具体参数值赋值给数据源参数对象。
例如,根据业务需求需要在数据库A中获取Table1中的a、b、c、d列数据,首先加载配置文件,其中设置的配置文件为XML文件,然后解析配置文件中数据源配置信息中各个参数,最后根据在数据库A中获取Table1中的a、b、c、d列数据这个需求,通过配置文件配置数据源参数对象,将数据源配置信息中的数据源的名称、获取Table1中的a、b、c、d列数据的数据库A、数据源的IP地址、在数据库A中查询Table1中的a、b、c、d列数据所使用的结构化查询语言和数据库A使用的端口号,这些参数的具体参数值赋值给数据源参数对象。
205、通过数据源参数对象获取待导入的数据文件。
在本发明实施例中,通过数据源参数对象获取待导入的数据文件,首先通过步骤203通过配置文件配置数据源参数对象,然后通过配置后的数据源参数对象中的具体参数值在获取待导入数据文件的数据库中获得待导入的数据文件。
206、将模板文件存储到配置文件中。
其中,模板文件为根据数据文件和目标存储系统之间的映射关系创建的。
在本发明实施例中,模板文件为根据待导入的数据文件和目标存储系统之间对应的映射关系编写获得的模板文件。由于模板文件为根据具体的业务需求预先编写好的,不需要根据业务需求的不同再编写对应不同的将数据文件导入目标存储系统的模板文件,因此通过模板文件将待导入的数据文件导入目标存储系统,能够减少将数据文件导入目标存储系统所需要的时间,进而提高将数据文件导入目标存储系统的效率。
207、定义一个目标输出参数对象。
在本发明实施例中,定义一个目标输出参数对象,其中,目标输出参数对象包括连接目标存储系统的服务器的相关参数、定义的数据输入输出类型、将待导入的数据文件导入的目标存储系统和将待导入的数据文件导入目标存储系统所需的模板文件。
208、根据业务需求将配置文件中的目标输出配置信息的各个参数赋值给目标输出参数对象。
在本发明实施例中,根据业务需求将配置文件中的目标输出配置信息的各个参数赋值给目标输出参数对象的具体过程为:首先解析配置文件中目标输出配置信息的各个参数,然后根据具体的业务需求通过配置文件配置目标输出参数对象,将配置文件中的目标输出配置信息的各个参数的具体参数值赋值给数据源参数对象。
209、通过目标输出参数对象识别得到数据输入输出类型,根据数据输入输出类型配置将数据文件导入目标存储系统所需的模板文件。
其中,数据输入输出类型为根据具体业务需求预先定义好的,每个数据输入输出类型对应一个将待导入的数据文件导入的目标存储系统、对应一个将待导入的数据文件导入目标存储系统所需的模板文件。
在本发明实施例中,通过目标输出参数对象识别得到数据输入输出类型,根据数据输入输出类型配置将数据文件导入目标存储系统所需的模板文件的具体过程为:首先通过步骤206根据具体的业务需求通过配置文件配置目标输出参数对象,然后通过配置后的目标输出参数对象识别得到具体的数据输入输出类型,最后根据识别得到的数据输入输出类型配置将待导入的数据文件导入目标存储系统所需的模板文件。
例如,根据业务需求需要在数据库A中获取Table1中的a、b、c、d列数据并且导入目标存储系统B中,预先定义将Table1中的a、b、c、d列数据导入目标存储系统B中对应的数据输入输出类型为X,将Table1中的a、b、c、d列数据导入目标存储系统B中所需的模板文件为Y。首先通过配置文件配置目标输出参数对象,然后通过配置后的目标输出参数对象识别得到数据输入输出类型X,最后根据识别得到的数据输入输出类型X配置将Table1中的a、b、c、d列数据导入目标存储系统B中所需的模板文件Y。
210、通过模板文件将数据文件导入目标存储系统。
其中,关于步骤210通过模板文件将数据文件导入目标存储系统的详细描述,可以参考图1对应部分的描述,本发明实施例此处将不再赘述。
本发明实施例提供的另一种数据导入方法,能够根据具体的业务需求通过配置文件配置得到预先编写好的模板文件,通过模板文件将待导入的数据文件导入目标存储系统,与现有技术相比,能够减少将数据文件导入目标存储系统所需要的时间,进而提高将数据文件导入目标存储系统的效率。
进一步地,作为对上述方法的实现,本发明实施例提供了一种数据导入装置,具体如图3所示,该装置包括:确定单元31、获取单元32、配置单元33、导入单元34。
确定单元31,用于获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统;
获取单元32,用于加载配置文件,根据配置文件获取待导入的数据文件;
配置单元33,用于根据配置文件配置将数据文件导入目标存储系统所需的模板文件;
导入单元34,用于通过模板文件将数据文件导入目标存储系统。
需要说明的是,本发明实施例提供的一种数据导入装置所涉及各功能单元的其他相应描述,可以参考图1所示方法的对应描述,在此不再赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供的一种数据导入装置,首先获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统,然后加载配置文件,根据配置文件获取待导入的数据文件,再根据配置文件配置将数据文件导入目标存储系统所需的模板文件,最后通过模板文件将数据文件导入目标存储系统。本发明实施例能够通过配置文件获取待导入的数据文件、配置将数据文件导入目标存储系统所需的模板文件,并将数据文件导入目标存储系统中,与现有技术相比,能够减少将数据文件导入目标存储系统所需要的时间,进而提高将数据文件导入目标存储系统的效率。
进一步地,作为对上述方法的实现,本发明实施例提供了另一种数据导入装置,具体如图4所示,该装置还包括:
设置单元35,用于在加载配置文件之前,设置配置文件,配置文件包括数据源配置信息和目标输出配置信息;数据源配置信息包括数据源名称、获取数据文件的数据库、数据源的IP地址、查询数据文件使用的结构化查询语言和端口号;目标输出配置信息包括连接目标存储系统的服务器的相关参数、数据输入输出类型、目标存储系统和模板文件。
进一步地,如图4所示,获取单元32包括:
第一定义模块321,用于定义一个数据源参数对象;
第一赋值模块322,用于加载配置文件,根据业务需求将配置文件中的数据源配置信息的各个参数赋值给数据源参数对象;
获取模块323,用于通过数据源参数对象获取待导入的数据文件。
进一步地,如图4所示,配置单元33包括:
第二定义模块331,用于定义一个目标输出参数对象;
第二赋值模块332,用于根据业务需求将配置文件中的目标输出配置信息的各个参数赋值给目标输出参数对象;
配置模块333,用于通过目标输出参数对象识别得到数据输入输出类型,根据数据输入输出类型配置将数据文件导入目标存储系统所需的模板文件。
进一步地,如图4所示,该装置还包括:
存储单元36,用于在根据配置文件配置将数据文件导入目标存储系统所需的模板文件之前,将模板文件存储到配置文件中,模板文件为根据数据文件和目标存储系统之间的映射关系创建的。
需要说明的是,本发明实施例提供的另一种数据导入装置所涉及各功能单元的其他相应描述,可以参考图2所示方法的对应描述,在此不再赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供的另一种数据导入装置,能够根据具体的业务需求通过配置文件配置得到预先编写好的模板文件,通过模板文件将待导入的数据文件导入目标存储系统,与现有技术相比,能够减少将数据文件导入目标存储系统所需要的时间,进而提高将数据文件导入目标存储系统的效率。
所述数据导入装置包括处理器和存储器,上述确定单元、获取单元、配置单元、导入单元、设置单元和存储单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来减少将数据文件导入目标存储系统所需要的时间,进而提高将数据文件导入目标存储系统的效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:获取业务需求,根据业务需求确定待导入的数据文件和目标存储系统;加载配置文件,根据配置文件获取待导入的数据文件;根据配置文件配置将数据文件导入目标存储系统所需的模板文件;通过模板文件将数据文件导入目标存储系统。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据导入方法,其特征在于,包括:
获取业务需求,根据所述业务需求确定待导入的数据文件和目标存储系统;
加载配置文件,根据所述配置文件获取所述待导入的数据文件;
根据所述配置文件配置将所述数据文件导入所述目标存储系统所需的模板文件;
通过所述模板文件将所述数据文件导入所述目标存储系统。
2.根据权利要求1所述的方法,其特征在于,在所述加载配置文件之前,所述方法还包括:
设置所述配置文件,所述配置文件包括数据源配置信息和目标输出配置信息;所述数据源配置信息包括数据源名称、获取所述数据文件的数据库、所述数据源的IP地址、查询所述数据文件使用的结构化查询语言和端口号;所述目标输出配置信息包括连接所述目标存储系统的服务器的相关参数、数据输入输出类型、所述目标存储系统和所述模板文件。
3.根据权利要求2所述的方法,其特征在于,所述加载配置文件,根据所述配置文件获取所述待导入的数据文件,包括:
定义一个数据源参数对象;
加载配置文件,根据所述业务需求将所述配置文件中的所述数据源配置信息的各个参数赋值给所述数据源参数对象;
通过所述数据源参数对象获取所述待导入的数据文件。
4.根据权利要求2所述的方法,其特征在于,所述根据所述配置文件确定将所述数据文件导入所述目标存储系统所需的模板文件,包括:
定义一个目标输出参数对象;
根据所述业务需求将所述配置文件中的所述目标输出配置信息的各个参数赋值给所述目标输出参数对象;
通过所述目标输出参数对象识别得到所述数据输入输出类型,根据所述数据输入输出类型配置将所述数据文件导入所述目标存储系统所需的所述模板文件。
5.根据权利要求2所述的方法,其特征在于,在所述根据所述配置文件配置将所述数据文件导入所述目标存储系统所需的模板文件之前,所述方法还包括:
将所述模板文件存储到所述配置文件中,所述模板文件为根据所述数据文件和所述目标存储系统之间的映射关系创建的。
6.一种数据导入装置,其特征在于,包括:
确定单元,用于获取业务需求,根据所述业务需求确定待导入的数据文件和目标存储系统;
获取单元,用于加载配置文件,根据所述配置文件获取所述待导入的数据文件;
配置单元,用于根据所述配置文件配置将所述数据文件导入所述目标存储系统所需的模板文件;
导入单元,用于通过所述模板文件将所述数据文件导入所述目标存储系统。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
设置单元,用于在所述加载配置文件之前,设置所述配置文件,所述配置文件包括数据源配置信息和目标输出配置信息;所述数据源配置信息包括数据源名称、获取所述数据文件的数据库、所述数据源的IP地址、查询所述数据文件使用的结构化查询语言和端口号;所述目标输出配置信息包括连接所述目标存储系统的服务器的相关参数、数据输入输出类型、所述目标存储系统和所述模板文件。
8.根据权利要求7所述的装置,其特征在于,所述获取单元包括:
第一定义模块,用于定义一个数据源参数对象;
第一赋值模块,用于加载配置文件,根据所述业务需求将所述配置文件中的所述数据源配置信息的各个参数赋值给所述数据源参数对象;
获取模块,用于通过所述数据源参数对象获取所述待导入的数据文件。
9.根据权利要求7所述的装置,其特征在于,所述配置单元包括:
第二定义模块,用于定义一个目标输出参数对象;
第二赋值模块,用于根据所述业务需求将所述配置文件中的所述目标输出配置信息的各个参数赋值给所述目标输出参数对象;
配置模块,用于通过所述目标输出参数对象识别得到所述数据输入输出类型,根据所述数据输入输出类型配置将所述数据文件导入所述目标存储系统所需的所述模板文件。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括:
存储单元,用于在所述根据所述配置文件配置将所述数据文件导入所述目标存储系统所需的模板文件之前,将所述模板文件存储到所述配置文件中,所述模板文件为根据所述数据文件和所述目标存储系统之间的映射关系创建的。
CN201611080376.3A 2016-11-30 2016-11-30 数据导入方法及装置 Pending CN108132936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611080376.3A CN108132936A (zh) 2016-11-30 2016-11-30 数据导入方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611080376.3A CN108132936A (zh) 2016-11-30 2016-11-30 数据导入方法及装置

Publications (1)

Publication Number Publication Date
CN108132936A true CN108132936A (zh) 2018-06-08

Family

ID=62387943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611080376.3A Pending CN108132936A (zh) 2016-11-30 2016-11-30 数据导入方法及装置

Country Status (1)

Country Link
CN (1) CN108132936A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674109A (zh) * 2019-09-06 2020-01-10 中国平安财产保险股份有限公司 数据导入方法、系统、计算机设备及计算机可读存储介质
CN111966636A (zh) * 2020-08-20 2020-11-20 中国农业银行股份有限公司 一种数据文件的融合方法及装置
CN112732641A (zh) * 2020-12-30 2021-04-30 山东浪潮通软信息科技有限公司 一种电子档案的归档方法及装置、介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957865A (zh) * 2010-10-27 2011-01-26 杭州新中大软件股份有限公司 一种异构系统间数据交换与共享技术
CN102081661A (zh) * 2011-01-19 2011-06-01 吉林大学 基于xml的异构关系型数据库的数据集成方法和系统
CN103699638A (zh) * 2013-12-23 2014-04-02 国云科技股份有限公司 一种基于配置参数实现跨数据库类型同步数据的方法
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp系统中多源数据导入方法
CN104536998A (zh) * 2014-12-15 2015-04-22 浪潮通用软件有限公司 一种数据导入方法及装置
CN104765736A (zh) * 2014-01-03 2015-07-08 北大方正集团有限公司 数据库的导库方法及装置
CN105426481A (zh) * 2015-11-19 2016-03-23 北京京东尚科信息技术有限公司 处理数据的方法及装置
CN105701251A (zh) * 2016-03-04 2016-06-22 浪潮通用软件有限公司 一种基于对象定义的数据导出导入方法
CN105760498A (zh) * 2016-02-22 2016-07-13 浪潮通用软件有限公司 一种xml数据与关系型数据库匹配的实现方法
CN105956287A (zh) * 2016-05-06 2016-09-21 上海交通大学 Cad系统环境下产品设计与环境影响评价集成系统与方法
CN105956103A (zh) * 2016-05-04 2016-09-21 北京思特奇信息技术股份有限公司 一种自动化计算金额的方法和系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957865A (zh) * 2010-10-27 2011-01-26 杭州新中大软件股份有限公司 一种异构系统间数据交换与共享技术
CN102081661A (zh) * 2011-01-19 2011-06-01 吉林大学 基于xml的异构关系型数据库的数据集成方法和系统
CN103699638A (zh) * 2013-12-23 2014-04-02 国云科技股份有限公司 一种基于配置参数实现跨数据库类型同步数据的方法
CN104765736A (zh) * 2014-01-03 2015-07-08 北大方正集团有限公司 数据库的导库方法及装置
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp系统中多源数据导入方法
CN104536998A (zh) * 2014-12-15 2015-04-22 浪潮通用软件有限公司 一种数据导入方法及装置
CN105426481A (zh) * 2015-11-19 2016-03-23 北京京东尚科信息技术有限公司 处理数据的方法及装置
CN105760498A (zh) * 2016-02-22 2016-07-13 浪潮通用软件有限公司 一种xml数据与关系型数据库匹配的实现方法
CN105701251A (zh) * 2016-03-04 2016-06-22 浪潮通用软件有限公司 一种基于对象定义的数据导出导入方法
CN105956103A (zh) * 2016-05-04 2016-09-21 北京思特奇信息技术股份有限公司 一种自动化计算金额的方法和系统
CN105956287A (zh) * 2016-05-06 2016-09-21 上海交通大学 Cad系统环境下产品设计与环境影响评价集成系统与方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674109A (zh) * 2019-09-06 2020-01-10 中国平安财产保险股份有限公司 数据导入方法、系统、计算机设备及计算机可读存储介质
CN110674109B (zh) * 2019-09-06 2024-02-06 中国平安财产保险股份有限公司 数据导入方法、系统、计算机设备及计算机可读存储介质
CN111966636A (zh) * 2020-08-20 2020-11-20 中国农业银行股份有限公司 一种数据文件的融合方法及装置
CN112732641A (zh) * 2020-12-30 2021-04-30 山东浪潮通软信息科技有限公司 一种电子档案的归档方法及装置、介质

Similar Documents

Publication Publication Date Title
US11631124B1 (en) System and method of mapping product attributes between different schemas
CN106528165B (zh) 代码生成方法及代码生成系统
US10061787B2 (en) Unified data model for integration between relational and non-relational databases
US11699025B2 (en) Rules/model-based data processing system for intelligent event prediction in an electronic data interchange system
US8661004B2 (en) Representing incomplete and uncertain information in graph data
US20140059517A1 (en) Method and system for facilitating rapid development of end-to-end software applications
Dhyani et al. Big data analytics using Hadoop
Priebe et al. Business information modeling: A methodology for data-intensive projects, data science and big data governance
CN108132936A (zh) 数据导入方法及装置
CN106445645B (zh) 用于执行分布式计算任务的方法和装置
CN108153776A (zh) 数据查询方法及装置
CN110019111A (zh) 数据处理方法、装置、存储介质以及处理器
CN108241670A (zh) 数据库语句生成方法及装置
JP2022082524A (ja) 機械学習を通じての学習モデルを使った情報提供方法および装置
CN107609011A (zh) 一种数据库记录的维护方法和装置
EP2343658A1 (en) Federation as a process
CN106802901A (zh) 数据库查询的方法及装置
Waibel et al. Analysis of business process batching using causal event models
CN107784091A (zh) 一种操作权限查询方法及终端设备
CN108241620A (zh) 查询脚本的生成方法及装置
Scherbaum et al. Spline: Spark lineage, not only for the banking industry
CN108121712A (zh) 一种关键词存储方法及装置
Wiens et al. GizMO--A Customizable Representation Model for Graph-Based Visualizations of Ontologies
Pajić Simović et al. Towards a domain-specific modeling language for extracting event logs from ERP systems
WO2016000563A1 (zh) 将来自多个信息源的信息及工具予以统一化的方法以及应用该方法的计算机程序产品与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing

Applicant before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180608