CN112612811A - 一种数据导入方法、装置、电子设备及存储介质 - Google Patents
一种数据导入方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112612811A CN112612811A CN202011547190.0A CN202011547190A CN112612811A CN 112612811 A CN112612811 A CN 112612811A CN 202011547190 A CN202011547190 A CN 202011547190A CN 112612811 A CN112612811 A CN 112612811A
- Authority
- CN
- China
- Prior art keywords
- data
- imported
- server
- database
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008676 import Effects 0.000 title claims abstract description 29
- 238000012546 transfer Methods 0.000 claims abstract description 39
- 230000004048 modification Effects 0.000 claims description 34
- 238000012986 modification Methods 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 239000010453 quartz Substances 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据导入方法、装置、电子设备及存储介质，所述方法包括：根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。本发明实施例中基于文件传输协议FTP的数据导入方法相较于现有的基于SQL命令行进行数据导入的方法，降低了在导入数据过程中占用的设备运行内存，设备运行速度快，即使在导入大量数据时，也能保证数据快速导入，解决了现有技术中数据导入效率较低的问题。
Description
技术领域
本发明涉及数据库技术领域，尤其涉及一种数据导入方法、装置、电子设备及存储介质。
背景技术
很多公司的服务器中每天会新增很多的数据，为了便于对数据进行管理，需要将服务器中的数据导入到数据库中，通过数据库管理系统实现对数据的管理，例如读取数据、分析数据等。
现有技术在将服务器中的数据导入到数据库中时，一般是基于SQL命令行进行数据导入的。基于命令生成器产生SQL命令集，然后将SQL命令集保存在一个脚本文件中，使用命令执行模块运行脚本文件，实现将数据导入到数据库中。现有技术基于SQL命令行进行数据导入的方案，在进行数据导入时占用设备的运行内存较大，设备运行速度慢，数据导入的效率较低。
发明内容
本发明实施例提供了一种数据导入方法、装置、电子设备及存储介质，用以解决现有的数据导入效率较低的问题。
本发明实施例提供了一种数据导入方法，所述方法包括：
根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；
根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；
根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。
进一步地，所述根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据包括：
根据所述待导入数据的修改时间信息，将所述待导入数据划分至预设数量的分组中，根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据。
进一步地，所述基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据包括：
根据预设的时间间隔，确定每个下载数据的时间点以及每个时间点与数据修改时间信息的对应关系；
当到达下载数据的时间点时，根据每个时间点与数据修改时间信息的对应关系确定该时间点对应的分组，基于文件传输协议FTP从所述服务器中下载与该时间点对应的分组内的待导入数据。
进一步地，所述根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库包括：
根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库。
进一步地，所述从所述服务器中下载所述待导入数据之后，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库之前，所述方法还包括：
判断下载的所述待导入数据的格式是否与所述CTL文件中配置的文件格式一致，如果是，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库，如果否，根据所述CTL文件中配置的文件格式对所述下载的待导入数据的格式进行转换，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制格式转换后的待导入数据导入至所述数据库。
另一方面，本发明实施例提供了一种数据导入装置，所述装置包括：
登录模块，用于根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；
下载模块，用于根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；
导入模块，用于根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。
进一步地，所述下载模块，具体用于根据所述待导入数据的修改时间信息，将所述待导入数据划分至预设数量的分组中，根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据。
进一步地，所述下载模块，具体用于根据预设的时间间隔，确定每个下载数据的时间点以及每个时间点与数据修改时间信息的对应关系；当到达下载数据的时间点时，根据每个时间点与数据修改时间信息的对应关系确定该时间点对应的分组，基于文件传输协议FTP从所述服务器中下载与该时间点对应的分组内的待导入数据。
进一步地，所述导入模块，具体用于根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库。
进一步地，所述装置还包括：
判断模块，用于判断下载的所述待导入数据的格式是否与所述CTL文件中配置的文件格式一致，如果是，触发所述导入模块，如果否，根据所述CTL文件中配置的文件格式对所述下载的待导入数据的格式进行转换，并触发所述导入模块。
另一方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种数据导入方法、装置、电子设备及存储介质，所述方法包括：根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。
上述的技术方案具有如下优点或有益效果：
本发明实施例中，根据服务器的登录地址信息、用户名和密码，登录服务器，然后基于文件传输协议FTP从服务器中下载待导入数据，再根据目标路径信息，将待导入数据导入至数据库中。本发明实施例中基于文件传输协议FTP的数据导入方法相较于现有的基于SQL命令行进行数据导入的方法，降低了在导入数据过程中占用的设备运行内存，设备运行速度快，即使在导入大量数据时，也能保证数据快速导入，解决了现有技术中数据导入效率较低的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的数据导入过程示意图；
图2为本发明实施例4提供的数据导入流程图；
图3为本发明实施例5提供的数据导入装置结构示意图；
图4为本发明实施例6提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的数据导入过程示意图，该过程包括以下步骤：
S101：根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器。
S102：根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据。
S103：根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。
本发明实施例提供的数据导入方法应用于电子设备，该电子设备可以是PC、平板电脑等设备。
用户预先获知服务器的登录地址信息、用户名和密码。用户在电子设备中输入服务器的登录地址信息，电子设备获取到服务器的登录地址信息之后，跳转到服务器的登录界面。用户在登录界面输入服务器的用户名和密码，电子设备获取到服务器的用户名和密码之后，成功登录服务器。
电子设备登录服务器之后，根据预先确定的待导入数据在服务器中的存储路径信息，基于文件传输协议FTP从服务器中的存储路径信息下载待导入数据。电子设备根据预先确定的待导入数据在数据库中的目标路径信息，将待导入数据导入至数据库。
本发明实施例中，根据服务器的登录地址信息、用户名和密码，登录服务器，然后基于文件传输协议FTP从服务器中下载待导入数据，再根据目标路径信息，将待导入数据导入至数据库中。本发明实施例中基于文件传输协议FTP的数据导入方法相较于现有的基于SQL命令行进行数据导入的方法，降低了在导入数据过程中占用的设备运行内存，设备运行速度快，即使在导入大量数据时，也能保证数据快速导入，解决了现有技术中数据导入效率较低的问题。
实施例2：
为了进一步提高数据导入的效率，在上述实施例的基础上，在本发明实施例中，所述根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据包括：
根据所述待导入数据的修改时间信息，将所述待导入数据划分至预设数量的分组中，根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据。
服务器中待导入数据都存在修改时间信息，本发明实施例根据待导入数据的修改时间信息，将所述待导入数据划分至预设数量的分组中。例如预设数量的分组为10个分组，待导入数据的修改时间信息包括10月1日至10月10日。此时可以将修改时间信息10月1日至10月10日中每天的数据作为一个分组，这样将修改时间信息10月1日至10月10日的待导入数据划分到10个分组。然后根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从服务器中依次下载每个分组内的待导入数据。例如按照时间由先到后的顺序依次下载每个分组内的待导入数据，或者按照时间由后到先的顺序依次下载每个分组内的待导入数据。
由于本发明实施例中，电子设备根据所述待导入数据的修改时间信息，将所述待导入数据划分至预设数量的分组中，根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据。这样每次下载和导入的数据量更少，电子设备的运行速度更快，数据导入的效率更高。
实施例3：
为了进一步提高数据导入的效率，在上述实施例的基础上，在本发明实施例中，所述基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据包括：
根据预设的时间间隔，确定每个下载数据的时间点以及每个时间点与数据修改时间信息的对应关系；
当到达下载数据的时间点时，根据每个时间点与数据修改时间信息的对应关系确定该时间点对应的分组，基于文件传输协议FTP从所述服务器中下载与该时间点对应的分组内的待导入数据。
本发明实施例中，电子设备可以按照预设的时间间隔进行数据导入，预设的时间间隔例如是6小时、12小时、1天等。电子设备根据预设的时间间隔和预设的下载数据的起始时间点，可以确定出每个下载数据的时间点。例如预设的时间间隔为1天，预设的下载数据的起始时间点为10月5日早8点，那么确定出的每个下载数据的时间点为自10月5日起每天的早8点。用户可以灵活设置每个时间点与数据修改时间信息的对应关系，例如10月5日早8点对应的数据修改时间信息为10月4日早8点至10月5日早8点，10月6日早8点对应的数据修改时间信息为10月5日早8点至10月6日早8点等等。
电子设备中可以安装计时器，确定出每个下载数据的时间点之后，配合计时器可以确定是否到达下载数据的时间点。当到达下载数据的时间点时，根据每个时间点与数据修改时间信息的对应关系确定该时间点对应的修改时间信息，修改时间信息与分组也是一一对应的，这样可以确定出该时间点对应的分组。然后基于文件传输协议FTP从所述服务器中下载与该时间点对应的分组内的待导入数据。
本发明实施例中，根据预设的时间间隔，确定每个下载数据的时间点以及每个时间点与数据修改时间信息的对应关系；当到达下载数据的时间点时，根据每个时间点与数据修改时间信息的对应关系确定该时间点对应的分组，基于文件传输协议FTP从所述服务器中下载与该时间点对应的分组内的待导入数据。即减轻了电子设备的数据处理压力，也保证了每次数据导入的效率。
实施例4：
为了保证将待导入数据导入至数据库，在上述各实施例的基础上，在本发明实施例中，所述根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库包括：
根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库。
本发明实施例中，电子设备预先保存有CTL文件，CTL文件中记录有待导入数据在数据库中的目标路径信息。为了保证将待导入数据导入至数据库，电子设备通过执行CTL文件控制所导入数据导入至数据库。
另外，CTL文件中还记录有配置的文件格式，例如配置的文件格式为TXT格式。为了进一步保证将待导入数据导入至数据库，在本发明实施例中，所述从所述服务器中下载所述待导入数据之后，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库之前，所述方法还包括：
判断下载的所述待导入数据的格式是否与所述CTL文件中配置的文件格式一致，如果是，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库，如果否，根据所述CTL文件中配置的文件格式对所述下载的待导入数据的格式进行转换，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制格式转换后的待导入数据导入至所述数据库。
电子设备从服务器中下载待导入数据之后，下载的待导入数据的格式有可能与CTL文件中配置的文件格式一致，也有可能不一致。如果一致，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件可以控制所述待导入数据导入至所述数据库。而如果不一致，通过执行CTL文件也无法将待导入数据导入至所述数据库。基于上述考虑，电子设备从服务器中下载待导入数据之后，首先判断下载的所述待导入数据的格式是否与所述CTL文件中配置的文件格式一致，如果是，则直接进行后续根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库的步骤，如果否，根据所述CTL文件中配置的文件格式对所述下载的待导入数据的格式进行转换，然后再根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制格式转换后的待导入数据导入至所述数据库。其中，数据格式转换的过程属于现有技术，在此不再对该过程进行赘述。
由于在本发明实施例中，下载的所述待导入数据的格式是否与所述CTL文件中配置的文件格式一致时，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库，不一致时，先根据所述CTL文件中配置的文件格式对所述下载的待导入数据的格式进行转换，然后再进行数据导入数据库的过程。从而进一步保证了将待导入数据导入至数据库。
本发明实施例依托FTP作为数据文件的临时存储介质，结合Quartz的作业调度框架，利用CTL文件，将文本数据导入到Oracle关系型数据库中。配置Quartz定时程序，根据一定的时间间隔去指定FTP服务器上下载整理数据文件。通过编写CTL文件可以控制数据导入进程及输出打印各种参数，使用CTL文件导入数据资源利用率高，系统开销小。本发明实施例提出了一个有效的文本数据文件存储的解决方案，基于FTP协议可利用文件流将文件在服务端与客户端进行传输；定时程序可按一定周期进行数据下载，保证了数据的实时性；Oracle的CTL文件可精准控制数据导入，为数据的完整存储提供了有力保障。
图2为本发明实施例提供的数据导入流程图，如图2所示，首先FTP服务器存储数据文件，Quartz定时抓取数据，FTP下载文件，CTL控制文件导入数据库。
实施例5：
图3为本发明实施例提供的数据导入装置结构示意图，该装置包括：
登录模块31，用于根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；
下载模块32，用于根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；
导入模块33，用于根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。
所述下载模块32，具体用于根据所述待导入数据的修改时间信息，将所述待导入数据划分至预设数量的分组中，根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据。
所述下载模块32，具体用于根据预设的时间间隔，确定每个下载数据的时间点以及每个时间点与数据修改时间信息的对应关系；当到达下载数据的时间点时，根据每个时间点与数据修改时间信息的对应关系确定该时间点对应的分组，基于文件传输协议FTP从所述服务器中下载与该时间点对应的分组内的待导入数据。
所述导入模块33，具体用于根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库。
所述装置还包括：
判断模块34，用于判断下载的所述待导入数据的格式是否与所述CTL文件中配置的文件格式一致，如果是，触发所述导入模块33，如果否，根据所述CTL文件中配置的文件格式对所述下载的待导入数据的格式进行转换，并触发所述导入模块33。
实施例6：
在上述各实施例的基础上，本发明实施例中还提供了一种电子设备，如图4所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行如下步骤：
根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；
根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；
根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。
基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与数据导入方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时，实现根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。本发明实施例中，根据服务器的登录地址信息、用户名和密码，登录服务器，然后基于文件传输协议FTP从服务器中下载待导入数据，再根据目标路径信息，将待导入数据导入至数据库中。本发明实施例中基于文件传输协议FTP的数据导入方法相较于现有的基于SQL命令行进行数据导入的方法，降低了在导入数据过程中占用的设备运行内存，设备运行速度快，即使在导入大量数据时，也能保证数据快速导入，解决了现有技术中数据导入效率较低的问题。
实施例7：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；
根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；
根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与数据导入方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序，计算机程序被处理器执行时实现根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。本发明实施例中，根据服务器的登录地址信息、用户名和密码，登录服务器，然后基于文件传输协议FTP从服务器中下载待导入数据，再根据目标路径信息，将待导入数据导入至数据库中。本发明实施例中基于文件传输协议FTP的数据导入方法相较于现有的基于SQL命令行进行数据导入的方法，降低了在导入数据过程中占用的设备运行内存，设备运行速度快，即使在导入大量数据时，也能保证数据快速导入，解决了现有技术中数据导入效率较低的问题。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种数据导入方法，其特征在于，所述方法包括：
根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；
根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；
根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。
2.如权利要求1所述的方法，其特征在于，所述根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据包括：
根据所述待导入数据的修改时间信息，将所述待导入数据划分至预设数量的分组中，根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据。
3.如权利要求2所述的方法，其特征在于，所述基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据包括：
根据预设的时间间隔，确定每个下载数据的时间点以及每个时间点与数据修改时间信息的对应关系；
当到达下载数据的时间点时，根据每个时间点与数据修改时间信息的对应关系确定该时间点对应的分组，基于文件传输协议FTP从所述服务器中下载与该时间点对应的分组内的待导入数据。
4.如权利要求1所述的方法，其特征在于，所述根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库包括：
根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库。
5.如权利要求4所述的方法，其特征在于，所述从所述服务器中下载所述待导入数据之后，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库之前，所述方法还包括：
判断下载的所述待导入数据的格式是否与所述CTL文件中配置的文件格式一致，如果是，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库，如果否，根据所述CTL文件中配置的文件格式对所述下载的待导入数据的格式进行转换，根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制格式转换后的待导入数据导入至所述数据库。
6.一种数据导入装置，其特征在于，所述装置包括：
登录模块，用于根据获取到的服务器的登录地址信息、用户名和密码，登录所述服务器；
下载模块，用于根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中下载所述待导入数据；
导入模块，用于根据待导入数据在数据库中的目标路径信息，将所述待导入数据导入至所述数据库。
7.如权利要求6所述的装置，其特征在于，所述下载模块，具体用于根据所述待导入数据的修改时间信息，将所述待导入数据划分至预设数量的分组中，根据待导入数据在所述服务器中的存储路径信息，基于文件传输协议FTP从所述服务器中依次下载每个分组内的待导入数据。
8.如权利要求7所述的装置，其特征在于，所述下载模块，具体用于根据预设的时间间隔，确定每个下载数据的时间点以及每个时间点与数据修改时间信息的对应关系；当到达下载数据的时间点时，根据每个时间点与数据修改时间信息的对应关系确定该时间点对应的分组，基于文件传输协议FTP从所述服务器中下载与该时间点对应的分组内的待导入数据。
9.如权利要求6所述的装置，其特征在于，所述导入模块，具体用于根据待导入数据在数据库中的目标路径信息，通过执行CTL文件控制所述待导入数据导入至所述数据库。
10.如权利要求9所述的装置，其特征在于，所述装置还包括：
判断模块，用于判断下载的所述待导入数据的格式是否与所述CTL文件中配置的文件格式一致，如果是，触发所述导入模块，如果否，根据所述CTL文件中配置的文件格式对所述下载的待导入数据的格式进行转换，并触发所述导入模块。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一项所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011547190.0A CN112612811A (zh) | 2020-12-24 | 2020-12-24 | 一种数据导入方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011547190.0A CN112612811A (zh) | 2020-12-24 | 2020-12-24 | 一种数据导入方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112612811A true CN112612811A (zh) | 2021-04-06 |
Family
ID=75245467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011547190.0A Pending CN112612811A (zh) | 2020-12-24 | 2020-12-24 | 一种数据导入方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112612811A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434606A (zh) * | 2021-06-30 | 2021-09-24 | 青岛海尔科技有限公司 | 一种数据导入方法、装置、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070043874A1 (en) * | 2005-08-17 | 2007-02-22 | Virendra Nath | File transfer method and system |
| US7587497B1 (en) * | 2000-06-20 | 2009-09-08 | Palmsource Inc. | Information exchange between a handheld device and another computer system using an exchange manager and uniform resource locator (URL) strings |
| US8744948B1 (en) * | 2012-01-11 | 2014-06-03 | Intuit Inc. | Mobile data import for a financial return |
| CN103997753A (zh) * | 2014-06-03 | 2014-08-20 | 杭州东信网络技术有限公司 | 间隔式追加采集移动通信无线网络性能数据的方法 |
| CN104461563A (zh) * | 2014-12-24 | 2015-03-25 | 浪潮电子信息产业股份有限公司 | 一种在linux下远程定时检测FTP服务器新增文件的方法 |
| CN106294852A (zh) * | 2016-08-22 | 2017-01-04 | 上海华力微电子有限公司 | 一种对存储数据的长期监控方法 |
| CN109033329A (zh) * | 2018-07-19 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种数据快速导入数据库的方法、装置、设备及存储介质 |
| US10169380B1 (en) * | 2015-10-06 | 2019-01-01 | Sprint Communications Company L.P. | Universal database import platform |
| CN110019558A (zh) * | 2017-12-27 | 2019-07-16 | 航天信息股份有限公司 | 基于Sqoop的数据传输方法、装置、计算机可读存储介质及设备 |
| CN111600957A (zh) * | 2020-05-20 | 2020-08-28 | 中国工商银行股份有限公司 | 文件传输方法、装置、系统和电子设备 |
-
2020
- 2020-12-24 CN CN202011547190.0A patent/CN112612811A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7587497B1 (en) * | 2000-06-20 | 2009-09-08 | Palmsource Inc. | Information exchange between a handheld device and another computer system using an exchange manager and uniform resource locator (URL) strings |
| US20070043874A1 (en) * | 2005-08-17 | 2007-02-22 | Virendra Nath | File transfer method and system |
| US8744948B1 (en) * | 2012-01-11 | 2014-06-03 | Intuit Inc. | Mobile data import for a financial return |
| CN103997753A (zh) * | 2014-06-03 | 2014-08-20 | 杭州东信网络技术有限公司 | 间隔式追加采集移动通信无线网络性能数据的方法 |
| CN104461563A (zh) * | 2014-12-24 | 2015-03-25 | 浪潮电子信息产业股份有限公司 | 一种在linux下远程定时检测FTP服务器新增文件的方法 |
| US10169380B1 (en) * | 2015-10-06 | 2019-01-01 | Sprint Communications Company L.P. | Universal database import platform |
| CN106294852A (zh) * | 2016-08-22 | 2017-01-04 | 上海华力微电子有限公司 | 一种对存储数据的长期监控方法 |
| CN110019558A (zh) * | 2017-12-27 | 2019-07-16 | 航天信息股份有限公司 | 基于Sqoop的数据传输方法、装置、计算机可读存储介质及设备 |
| CN109033329A (zh) * | 2018-07-19 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种数据快速导入数据库的方法、装置、设备及存储介质 |
| CN111600957A (zh) * | 2020-05-20 | 2020-08-28 | 中国工商银行股份有限公司 | 文件传输方法、装置、系统和电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434606A (zh) * | 2021-06-30 | 2021-09-24 | 青岛海尔科技有限公司 | 一种数据导入方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10462261B2 (en) | System and method for configuring a data access system | |
| WO2019201039A1 (zh) | 一种更新应用程序的方法、系统及应用服务器 | |
| CN103927338A (zh) | 日志信息入库处理方法和装置 | |
| AU2017404119A9 (en) | Random forest model training method, electronic apparatus and storage medium | |
| CN104346255A (zh) | 一种云计算中自动监测进程内存使用情况的方法 | |
| WO2021120975A1 (zh) | 一种监控方法及装置 | |
| US10506392B1 (en) | Stream-processing of telecommunication diameter event records | |
| EP3313041A1 (en) | Application download method and device | |
| WO2020258666A1 (zh) | 一种分布式系统及数据处理方法 | |
| CN110532294A (zh) | 话单合并方法、装置、设备及计算机可读存储介质 | |
| CN107566480B (zh) | 移动终端应用的用户活动信息采集方法及装置、存储介质 | |
| CN112612811A (zh) | 一种数据导入方法、装置、电子设备及存储介质 | |
| CN109614159B (zh) | 计划任务分发、导入方法及装置 | |
| CN109495556B (zh) | 一种文件处理方法及装置 | |
| CN113609101A (zh) | 实时数据任务的发布方法、装置、电子设备及存储介质 | |
| CN107908710B (zh) | 一种文件接收管理方法、装置、终端设备及存储介质 | |
| CN106940710B (zh) | 信息推送方法及装置 | |
| CN113688992B (zh) | 一种模型优化系统和方法 | |
| US11443191B2 (en) | Computing device and parameter synchronization method implemented by computing device | |
| CN115664992A (zh) | 网络运行数据的处理方法、装置、电子设备及介质 | |
| CN112448855B (zh) | 区块链系统参数更新方法和系统 | |
| CN111124890B (zh) | 一种分布式数据库性能测试方法、系统、终端及存储介质 | |
| CN115914219A (zh) | 任务请求处理方法、装置、系统、可读存储介质和电子设备 | |
| CN113779122A (zh) | 导出数据的方法和装置 | |
| KR102368826B1 (ko) | 클라우드 서버 및 클라우드 서버의 동작 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |