CN109033329A - 一种数据快速导入数据库的方法、装置、设备及存储介质 - Google Patents
一种数据快速导入数据库的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109033329A CN109033329A CN201810798375.5A CN201810798375A CN109033329A CN 109033329 A CN109033329 A CN 109033329A CN 201810798375 A CN201810798375 A CN 201810798375A CN 109033329 A CN109033329 A CN 109033329A
- Authority
- CN
- China
- Prior art keywords
- file
- storage
- telefile
- data base
- local data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据快速导入数据库的方法、装置、设备及存储介质，包括：设置并生成Sqlload配置文件；对待传输的远程文件进行文件名拼接，生成最终文件名称；设置本地数据库连接方式、数据库存放文件路径和密码作为本地数据库存储参数；设置传输参数并根据所述传输参数获取生成最终文件名称的远程文件；根据所述Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库。本发明通过规范远程文件的文件名，并利用Sqlload配置文件，实现了自动将远程文件导入本地数据库，节省了时间和人力资源。
Description
技术领域
本发明属于数据库迁移技术领域，具体涉及一种数据快速导入数据库的方法、装置、设备及存储介质。
背景技术
目前oracle提供了文件导入功能，该功能是基于windows下的文本导入功能，linux下的文本导入功能，常用的方法是impdp功能，但是该功能有起局限性，就是该导入功能只能导入expdp生成的dmp文件，对于文本文件的入库需要字段规整处理，导致数据导入较慢，浪费大量时间和人力。
发明内容
本发明的目的在于，针对上述现有技术存在的缺陷，提供设计一种数据快速导入数据库的方法、装置、设备及存储介质，以解决上述技术问题。
第一方面，本申请实施例提供一种数据快速导入数据库的方法，包括：
设置并生成Sqlload配置文件；
对待传输的远程文件进行文件名拼接，生成最终文件名称；
设置本地数据库连接方式、数据库存放文件路径和密码作为本地数据库存储参数；
设置传输参数并根据所述传输参数获取生成最终文件名称的远程文件；
根据所述Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库。
结合第一方面，在第一方面的第一种实施方式中，所述设置传输参数并根据所述传输参数获取生成最终文件名称的远程文件包括：
配置ftp的ip用户和密码；
利用ftp获取所述生成最终文件名称的远程文件；
根据获取的远程文件生成待入库文件目录；
删除生成的最后中间文件。
结合第一方面及第一方面的第一种实施方式，在第一方面的第二种实施方式中，所述根据Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库包括：
查询并获取所述待入库文件目录中的待入库文件；
将所述待入库文件重命名为临时文件名；
调用Sqlload配置文件，根据本地数据库存储参数执行待入库文件入库；
删除临时文件。
结合第一方面、第一方面的第一种实施方式及第一方面的第二种实施方式，在第一方面的第三种实施方式中，所述根据Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库还包括：
查询并判断所述待入库文件目录是否为空：
是，则显示完成待入库文件入库；
否，则获取所述待入库文件目录中的待入库文件，执行入库操作。
第二方面，本申请实施例提供一种数据快速导入数据库的装置，包括：
配置文件单元，配置用于设置并生成Sqlload配置文件；
名称拼接单元，配置用于对待传输的远程文件进行文件名拼接，生成最终文件名称；
本地设置单元，配置用于设置本地数据库连接方式、数据库存放文件路径和密码作为本地数据库存储参数；
文件获取单元，配置用于设置传输参数并根据所述传输参数获取生成最终文件名称的远程文件；
文件入库单元，配置用于根据所述Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库。
结合第二方面，在第二方面的第一种实施方式中，所述文件获取单元包括：
配置模块，配置用于配置ftp的ip用户和密码；
获取模块，配置用于利用ftp获取所述生成最终文件名称的远程文件；
目录模块，配置用于根据获取的远程文件生成待入库文件目录；
删除模块，配置用于删除生成的最后中间文件。
结合第二方面及第二方面的第一种实施方式，在第二方面的第二种实施方式中，所述文件入库单元包括：
查询模块，配置用于查询并获取所述待入库文件目录中的待入库文件；
更名模块，配置用于将所述待入库文件重命名为临时文件名；
入库模块，配置用于调用Sqlload配置文件，根据本地数据库存储参数执行待入库文件入库；
清理模块，配置用于删除临时文件。
结合第二方面、第二方面的第一种实施方式及第二方面的第二种实施方式，在第二方面的第三种实施方式中，所述文件入库单元还包括：
目录判断模块，配置用于查询并判断所述待入库文件目录是否为空；
完成判定模块，配置用于显示完成待入库文件入库；
循环执行模块，配置用于获取所述待入库文件目录中的待入库文件，执行入库操作。
第三方面，本申请实施例提供一种设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如第一方面及第一方面任一种实施方式所述的方法。
第四方面，本申请实施例提供一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如第一方面及第一方面任一种实施方式所述的方法。
本发明的有益效果在于，
本发明提供的数据快速导入数据库的方法，通过规范远程文件的文件名，并利用Sqlload配置文件，实现了自动将远程文件导入本地数据库，节省了时间和人力资源。
本发明提供的数据快速导入数据库的装置，通过规范远程文件的文件名，并利用Sqlload配置文件，实现了自动将远程文件导入本地数据库，节省了时间和人力资源。
本发明提供的设备，通过执行本发明提供的数据快速导入数据库的方法，通过规范远程文件的文件名，并利用Sqlload配置文件，实现了自动将远程文件导入本地数据库，节省了时间和人力资源。
本发明提供的存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现本发明提供的数据快速导入数据库的方法。通过规范远程文件的文件名，并利用Sqlload配置文件，实现了自动将远程文件导入本地数据库，节省了时间和人力资源。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的数据快速导入数据库的方法的示例性流程图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请实施例提供一种数据快速导入数据库的方法，包括：
设置并生成Sqlload配置文件；
对待传输的远程文件进行文件名拼接，生成最终文件名称；
设置本地数据库连接方式、数据库存放文件路径和密码作为本地数据库存储参数；
设置传输参数并根据所述传输参数获取生成最终文件名称的远程文件(具体包括：配置ftp的ip用户和密码；利用ftp获取所述生成最终文件名称的远程文件；根据获取的远程文件生成待入库文件目录；删除生成的最后中间文件。)；
根据所述Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库(具体包括：查询并获取所述待入库文件目录中的待入库文件；将所述待入库文件重命名为临时文件名；调用Sqlload配置文件，根据本地数据库存储参数执行待入库文件入库；删除临时文件。该步骤还包括：查询并判断所述待入库文件目录是否为空：是，则显示完成待入库文件入库；否，则获取所述待入库文件目录中的待入库文件，执行入库操作。)。
为了便于对本发明的理解，下面以本发明将数据导入数据库的原理，结合实施例中将数据导入数据库的过程，对本发明提供的数据快速导入数据库的方法做进一步的描述。
请参考图1，本实施例提供一种数据快速导入数据库的方法，具体步骤如下：
S1、设置并生成Sqlload配置文件，具体设置方法如下：
S2、对待传输的远程文件进行文件名拼接，生成最终文件名称。具体拼接方法如下：
S3、设置本地数据库连接方式、数据库存放文件路径和密码作为本地数据库存储参数，具体设置方法如下：
//本地数据库连接方式，用户名密码db连接串
user＝settle
password＝$user"sd_321"
sid＝settledb
//配置本地存放文件路径和密码
path＝$(cd"$(dirname"$0")"；pwd)
S4、设置传输参数并根据所述传输参数获取生成最终文件名称的远程文件。具体获取方法如下：
//ftp获取远程文件，配置ftp的ip用户和密码
fip＝137.0.25.2
fuser＝intfjyfx
fpasswd＝intfjyfx
//ftp获取远程文件
echo"ftp start"
ftp-in<<EOF
open$fip
user$fuser$fpasswd
prompt off
verbose off
bin
lcd$path/
cd/
mget$FILENAME*.dat
bye
EOF
echo"ftp end"
cd$path/
//删除历史中间表
rm DOSP_COMMI.001.dat
S5、根据所述Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库。具体导入方法如下：
//循环读取当前目录下的所有文件名
for i in$(ls*.dat)
do
echo$i
//将当前查询到的dat文件重命名为中间dat文件
mv$i"DOSP_COMMI.001.dat"
//调度sqlload配置文件，将dat文件写入数据库
sqlldr$user/$password@$sid control＝uload_msjl_zz.ctl
//移除本次生成的中间文件
rm DOSP_COMMI.001.dat
done
具体地，本发明提供的数据快速导入数据库的方法，是在linux系统下的数据文件快速入库方法，使用sqlload进行对应字段的配置，shell进行字符串规整即可做到远程文本文件提取，自动入库的操作。
本申请实施例提供一种数据快速导入数据库的装置，包括：
配置文件单元，配置用于设置并生成Sqlload配置文件；
名称拼接单元，配置用于对待传输的远程文件进行文件名拼接，生成最终文件名称；
本地设置单元，配置用于设置本地数据库连接方式、数据库存放文件路径和密码作为本地数据库存储参数；
文件获取单元，配置用于设置传输参数并根据所述传输参数获取生成最终文件名称的远程文件；
文件入库单元，配置用于根据所述Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库。
其中，所述文件获取单元包括：
配置模块，配置用于配置ftp的ip用户和密码；
获取模块，配置用于利用ftp获取所述生成最终文件名称的远程文件；
目录模块，配置用于根据获取的远程文件生成待入库文件目录；
删除模块，配置用于删除生成的最后中间文件。
所述文件入库单元包括：
查询模块，配置用于查询并获取所述待入库文件目录中的待入库文件；
更名模块，配置用于将所述待入库文件重命名为临时文件名；
入库模块，配置用于调用Sqlload配置文件，根据本地数据库存储参数执行待入库文件入库；
清理模块，配置用于删除临时文件。
所述文件入库单元还包括：
目录判断模块，配置用于查询并判断所述待入库文件目录是否为空；
完成判定模块，配置用于显示完成待入库文件入库；
循环执行模块，配置用于获取所述待入库文件目录中的待入库文件，执行入库操作。
本申请实施例提供一种设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行本申请实施例提供的方法。
本申请实施例提供一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现本申请实施例提供的方法。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。
Claims (10)
1.一种数据快速导入数据库的方法，其特征在于，所述方法包括：
设置并生成Sqlload配置文件；
对待传输的远程文件进行文件名拼接，生成最终文件名称；
设置本地数据库连接方式、数据库存放文件路径和密码作为本地数据库存储参数；
设置传输参数并根据所述传输参数获取生成最终文件名称的远程文件；
根据所述Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库。
2.根据权利要求1所述的方法，其特征在于，所述设置传输参数并根据所述传输参数获取生成最终文件名称的远程文件包括：
配置ftp的ip用户和密码；
利用ftp获取所述生成最终文件名称的远程文件；
根据获取的远程文件生成待入库文件目录；
删除生成的最后中间文件。
3.根据权利要求2所述的方法，其特征在于，所述根据Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库包括：
查询并获取所述待入库文件目录中的待入库文件；
将所述待入库文件重命名为临时文件名；
调用Sqlload配置文件，根据本地数据库存储参数执行待入库文件入库；
删除临时文件。
4.根据权利要求3所述的方法，其特征在于，所述根据Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库还包括：
查询并判断所述待入库文件目录是否为空：
是，则显示完成待入库文件入库；
否，则获取所述待入库文件目录中的待入库文件，执行入库操作。
5.一种数据快速导入数据库的装置，其特征在于，所述装置包括：
配置文件单元，配置用于设置并生成Sqlload配置文件；
名称拼接单元，配置用于对待传输的远程文件进行文件名拼接，生成最终文件名称；
本地设置单元，配置用于设置本地数据库连接方式、数据库存放文件路径和密码作为本地数据库存储参数；
文件获取单元，配置用于设置传输参数并根据所述传输参数获取生成最终文件名称的远程文件；
文件入库单元，配置用于根据所述Sqlload配置文件和本地数据库存储参数将获取的远程文件写入数据库。
6.根据权利要求5所述的装置，其特征在于，所述文件获取单元包括：
配置模块，配置用于配置ftp的ip用户和密码；
获取模块，配置用于利用ftp获取所述生成最终文件名称的远程文件；
目录模块，配置用于根据获取的远程文件生成待入库文件目录；
删除模块，配置用于删除生成的最后中间文件。
7.根据权利要求6所述的装置，其特征在于，所述文件入库单元包括：
查询模块，配置用于查询并获取所述待入库文件目录中的待入库文件；
更名模块，配置用于将所述待入库文件重命名为临时文件名；
入库模块，配置用于调用Sqlload配置文件，根据本地数据库存储参数执行待入库文件入库；
清理模块，配置用于删除临时文件。
8.根据权利要求7所述的装置，其特征在于，所述文件入库单元还包括：
目录判断模块，配置用于查询并判断所述待入库文件目录是否为空；
完成判定模块，配置用于显示完成待入库文件入库；
循环执行模块，配置用于获取所述待入库文件目录中的待入库文件，执行入库操作。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-4中任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810798375.5A CN109033329A (zh) | 2018-07-19 | 2018-07-19 | 一种数据快速导入数据库的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810798375.5A CN109033329A (zh) | 2018-07-19 | 2018-07-19 | 一种数据快速导入数据库的方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109033329A true CN109033329A (zh) | 2018-12-18 |
Family
ID=64644407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810798375.5A Pending CN109033329A (zh) | 2018-07-19 | 2018-07-19 | 一种数据快速导入数据库的方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109033329A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112035443A (zh) * | 2020-09-02 | 2020-12-04 | 携程计算机技术（上海）有限公司 | 基于Linux平台的大数据执行方法、系统、设备及存储介质 |
| CN112612811A (zh) * | 2020-12-24 | 2021-04-06 | 航天信息股份有限公司 | 一种数据导入方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102377580A (zh) * | 2010-08-06 | 2012-03-14 | 大唐移动通信设备有限公司 | 性能数据的上传方法和设备 |
| CN102752372A (zh) * | 2012-06-18 | 2012-10-24 | 天津神舟通用数据技术有限公司 | 一种基于文件的数据库同步方法 |
| CN103150340A (zh) * | 2013-02-05 | 2013-06-12 | 上海达梦数据库有限公司 | 多媒体数据的快速装载系统及方法 |
| US20150220594A1 (en) * | 2014-02-06 | 2015-08-06 | International Business Machines Corporation | Searching content managed by a search engine using relational database type queries |
| US20170206245A1 (en) * | 2016-01-20 | 2017-07-20 | Oracle International Corporation | System and method for dynamic conversion of database accessing scripts during runtime in a mainframe rehosting platform |
-
2018
- 2018-07-19 CN CN201810798375.5A patent/CN109033329A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102377580A (zh) * | 2010-08-06 | 2012-03-14 | 大唐移动通信设备有限公司 | 性能数据的上传方法和设备 |
| CN102752372A (zh) * | 2012-06-18 | 2012-10-24 | 天津神舟通用数据技术有限公司 | 一种基于文件的数据库同步方法 |
| CN103150340A (zh) * | 2013-02-05 | 2013-06-12 | 上海达梦数据库有限公司 | 多媒体数据的快速装载系统及方法 |
| US20150220594A1 (en) * | 2014-02-06 | 2015-08-06 | International Business Machines Corporation | Searching content managed by a search engine using relational database type queries |
| US20170206245A1 (en) * | 2016-01-20 | 2017-07-20 | Oracle International Corporation | System and method for dynamic conversion of database accessing scripts during runtime in a mainframe rehosting platform |
Non-Patent Citations (1)
| Title |
|---|
| 金刚: ""基于规则的用户全景视图的设计与实现"", 《万方学位论文检索平台》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112035443A (zh) * | 2020-09-02 | 2020-12-04 | 携程计算机技术（上海）有限公司 | 基于Linux平台的大数据执行方法、系统、设备及存储介质 |
| CN112035443B (zh) * | 2020-09-02 | 2023-07-07 | 携程计算机技术（上海）有限公司 | 基于Linux平台的大数据执行方法、系统、设备及存储介质 |
| CN112612811A (zh) * | 2020-12-24 | 2021-04-06 | 航天信息股份有限公司 | 一种数据导入方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020155778A1 (zh) | 接口自动化测试方法、测试装置、测试设备及存储介质 | |
| KR101183404B1 (ko) | 자동 검색 메뉴와의 사용자 인터페이스를 제공하는 시스템및 방법 | |
| CN104484459B (zh) | 一种对知识图谱中的实体进行合并的方法及装置 | |
| US8146054B2 (en) | Hybrid data object model | |
| US8001145B1 (en) | State management for user interfaces | |
| US9390124B2 (en) | Version control system using commit manifest database tables | |
| US20120079502A1 (en) | Dependency-ordered resource synchronization | |
| US8677376B2 (en) | Expressing equivalency relationships with identity graphs across multiple environments to create change list to be traversed to conform the environments | |
| WO2012107874A1 (en) | Capture, aggregate, and use search activities as a source of social data within an enterprise | |
| US20120110448A1 (en) | Seamlessly Share And Reuse Administration-Console User-Interaction Knowledge | |
| CN103136342A (zh) | 应用程序app的搜索方法、系统以及搜索服务器 | |
| Roy Chowdhury et al. | Baya: assisted mashup development as a service | |
| CN103685400B (zh) | 一种信息处理方法、服务器及电子设备 | |
| CN109033329A (zh) | 一种数据快速导入数据库的方法、装置、设备及存储介质 | |
| CN105512276B (zh) | 一种构建垃圾文件的方法、装置及电子设备 | |
| CN105447035B (zh) | 数据扫描方法及装置 | |
| CN116048987A (zh) | 流程业务的处理方法、装置、电子设备、系统和存储介质 | |
| CN115017182A (zh) | 一种可视化的数据分析方法及设备 | |
| US10169725B2 (en) | Change-request analysis | |
| Salehi | Mastering symfony | |
| Suh et al. | Cluster programming for reverse time migration | |
| CN108932121B (zh) | 一种面向多租户分布式服务组件研发的模块及方法 | |
| CN109032940A (zh) | 一种测试场景录入方法、装置、设备及存储介质 | |
| CN111026438B (zh) | 小程序包和页面关键信息的提取方法、装置、设备及介质 | |
| US8635439B2 (en) | Portable light weight LDAP directory server and database |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181218 |
|
| RJ01 | Rejection of invention patent application after publication |