CN104317836A - 批量生成数据文件的方法及装置 - Google Patents

批量生成数据文件的方法及装置 Download PDF

Info

Publication number
CN104317836A
CN104317836A CN201410531695.6A CN201410531695A CN104317836A CN 104317836 A CN104317836 A CN 104317836A CN 201410531695 A CN201410531695 A CN 201410531695A CN 104317836 A CN104317836 A CN 104317836A
Authority
CN
China
Prior art keywords
database table
name
data file
table name
described database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410531695.6A
Other languages
English (en)
Other versions
CN104317836B (zh
Inventor
景新海
刘民
张建宝
姜林青
张乐奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CVIC Software Engineering Co Ltd
Original Assignee
CVIC Software Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CVIC Software Engineering Co Ltd filed Critical CVIC Software Engineering Co Ltd
Priority to CN201410531695.6A priority Critical patent/CN104317836B/zh
Publication of CN104317836A publication Critical patent/CN104317836A/zh
Application granted granted Critical
Publication of CN104317836B publication Critical patent/CN104317836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种批量生成数据文件的方法及装置，涉及数据库技术领域，解决了现有技术中数据文件生成速度较低的问题。该方法包括：获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；根据所述数据库表名对应的字段名动态设置显示输出长度；根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。本发明的实施例主要用于将数据从数据库中批量导出。

Description

批量生成数据文件的方法及装置
技术领域
本发明涉及数据库技术领域，尤其涉及一种批量生成数据文件的方法及装置。
背景技术
随着信息时代的飞速发展，不同数据库之间的数据共享成为一个比较热门的话题。而要实现数据的共享需要不同数据库批量地生成数据文件并将生成的数据文件传送到数据整合平台，然后，数据整合平台将不同格式的数据进行整合分析以供其他数据库使用。可见，数据的传输效率对于实现数据的共享尤为重要，而生成数据文件的速度直接影响着数据传输效率。
现有技术中，将数据从数据库中批量导出的方法通常为：首先，获取待传输数据所在的数据库表名及对应的字段名，然后，根据数据库固定设置的显示输出长度以及获取的数据库表名和对应的字段名生成数据文件。
在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：
由于批量生成数据文件时，显示传输长度是固定设置的，技术人员通常会将显示输出长度设置得大些，免得数据被截断，导出的数据有些字段可能丢失。但是，显示输出长度设置的过大又会导致输出的数据文件出现太多的尾部空格，造成数据存储资源的浪费，同时也会降低生成数据文件的速度。
发明内容
本发明提供一种批量生成数据文件的方法及装置，其能够提高生成数据文件的速度，进而提高数据传输效率。
一方面，本发明提供一种批量生成数据文件的方法，包括：
获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
根据所述数据库表名对应的字段名动态设置显示输出长度；
根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
另一方面，本发明提供一种批量生成数据文件的装置，包括：
获取单元，用于获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
设置单元，用于根据所述数据库表名对应的字段名动态设置显示输出长度；
生成单元，用于根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
本发明提供的批量生成数据文件的方法及装置，与现有技术相比，其是根据数据库表名对应的字段名动态设置显示输出长度，并依据动态设置后的显示输出长度来生成数据文件，从而提高了生成数据文件的速度，同时也避免了现有技术中由于数据文件存在尾部空格而导致的数据存储资源浪费的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明批量生成数据文件的方法一实施例的流程示意图；
图2为本发明批量生成数据文件的方法另一实施例的流程示意图；
图3为本发明批量生成数据文件的装置一实施例的结构示意图；
图4为本发明批量生成数据文件的装置另一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种批量生成数据文件的方法，其包括：
S11、获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
S12、根据所述数据库表名对应的字段名动态设置显示输出长度；
S13、根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
本发明实施例提供的批量生成数据文件的方法，与现有技术相比，其是根据数据库表名对应的字段名动态设置显示输出长度，并依据动态设置后的显示输出长度来生成数据文件，从而提高了生成数据文件的速度，同时也避免了现有技术中由于数据文件存在尾部空格而导致的数据存储资源浪费的问题。
如图2所示，本发明实施例提供一种批量生成数据文件的方法，其可应用于数据库与数据整合平台之间的数据传输，具体应用步骤如下：
S21、获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
具体地，可以通过shell命令及oracle数据库系统命令动态生成数据库表长度对应的文件column.txt。
该文件中用到oracle的系统表：USER_TAB_COLUMNS，此表存放数据库用户中每张表对应的表字段长度。
S22、动态读取所述数据库表名对应的字段名的总长度；
S23、设置显示输出长度为所述数据库表名对应的字段名的总长度；
具体地，可以通过shell命令读取column.txt中的字段长度，并对其他文件中相关变量进行传值，配合使用oracle数据库命令的方式，对linesize的大小实现动态配置。其中，
cat column.txt|while read column//读取数据库表字段总长度
sqlplus/nologexport.sql $column//传入数据库表字段总长度
S24、根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名对数据进行输出；
S25、将输出的数据以文件流的形式生成数据文件；
S26、生成数据文件对应的控制文件；
S27、将生成的数据文件以及对应的控制文件上传至数据整合平台，以供其他数据库使用。
本发明实施例提供的批量生成数据文件的方法，与现有技术相比，其是根据数据库表名对应的字段名动态设置显示输出长度，并依据动态设置后的显示输出长度来生成数据文件，从而提高了生成数据文件的速度，进而提高了数据上传的传输效率，改善了数据共享的用户体验。
如图3所示，本发明实施例提供一种批量生成数据文件的装置，其包括：
获取单元11，用于获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
设置单元12，用于根据所述数据库表名对应的字段名动态设置显示输出长度；
生成单元13，用于根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
本发明实施例提供的批量生成数据文件的装置，与现有技术相比，其是根据数据库表名对应的字段名动态设置显示输出长度，并依据动态设置后的显示输出长度来生成数据文件，从而提高了生成数据文件的速度，同时也避免了现有技术中由于数据文件存在尾部空格而导致的数据存储资源浪费的问题。
如图4所示，本发明实施例提供一种批量生成数据文件的装置，该装置包括：
获取单元21，获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
设置单元22，用于根据所述数据库表名对应的字段名动态设置显示输出长度；
生成单元23，用于根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
其中，设置单元22包括读取模块31和设置模块32，
所述读取模块31，用于动态读取所述数据库表名对应的字段名的总长度；
所述设置模块32，用于设置显示输出长度为所述数据库表名对应的字段名的总长度。
本发明实施例批量生成数据文件的方法及装置，可以适用于将数据从数据库中批量导出，但不仅限于此。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种批量生成数据文件的方法，其特征在于，包括：
获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
根据所述数据库表名对应的字段名动态设置显示输出长度；
根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
2.根据权利要求1所述的批量生成数据文件的方法，其特征在于，所述根据所述数据库表名对应的字段名动态设置显示输出长度包括：
动态读取所述数据库表名对应的字段名的总长度；
设置显示输出长度为所述数据库表名对应的字段名的总长度。
3.一种批量生成数据文件的装置，其特征在于，包括：
获取单元，用于获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
设置单元，用于根据所述数据库表名对应的字段名动态设置显示输出长度；
生成单元，用于根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
4.根据权利要求3所述的批量生成数据文件的装置，其特征在于，所述设置单元包括：
读取模块，用于动态读取所述数据库表名对应的字段名的总长度；
设置模块，用于设置显示输出长度为所述数据库表名对应的字段名的总长度。
CN201410531695.6A 2014-10-10 2014-10-10 批量生成数据文件的方法及装置 Active CN104317836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410531695.6A CN104317836B (zh) 2014-10-10 2014-10-10 批量生成数据文件的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410531695.6A CN104317836B (zh) 2014-10-10 2014-10-10 批量生成数据文件的方法及装置

Publications (2)

Publication Number Publication Date
CN104317836A true CN104317836A (zh) 2015-01-28
CN104317836B CN104317836B (zh) 2018-03-27

Family

ID=52373068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410531695.6A Active CN104317836B (zh) 2014-10-10 2014-10-10 批量生成数据文件的方法及装置

Country Status (1)

Country Link
CN (1) CN104317836B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847378A (zh) * 2016-04-13 2016-08-10 北京思特奇信息技术股份有限公司 一种实现大数据同步的方法和系统
CN106649590A (zh) * 2016-11-18 2017-05-10 北京奇虎科技有限公司 一种处理数据库的存储空间的方法和装置
CN115834605A (zh) * 2023-02-20 2023-03-21 塔比星信息技术(深圳)有限公司 数据采集方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030647A (ja) * 2003-06-03 2004-01-29 Fujitsu Ltd 表示装置、表示方法、および表示プログラム記憶媒体
CN101086724A (zh) * 2006-06-07 2007-12-12 普天信息技术研究院 存储卡可变长多块数据传输方法
CN103780692A (zh) * 2014-01-13 2014-05-07 中国科学院计算技术研究所 一种键值存储的数据访问方法及其系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030647A (ja) * 2003-06-03 2004-01-29 Fujitsu Ltd 表示装置、表示方法、および表示プログラム記憶媒体
CN101086724A (zh) * 2006-06-07 2007-12-12 普天信息技术研究院 存储卡可变长多块数据传输方法
CN103780692A (zh) * 2014-01-13 2014-05-07 中国科学院计算技术研究所 一种键值存储的数据访问方法及其系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847378A (zh) * 2016-04-13 2016-08-10 北京思特奇信息技术股份有限公司 一种实现大数据同步的方法和系统
CN105847378B (zh) * 2016-04-13 2019-06-28 北京思特奇信息技术股份有限公司 一种实现大数据同步的方法和系统
CN106649590A (zh) * 2016-11-18 2017-05-10 北京奇虎科技有限公司 一种处理数据库的存储空间的方法和装置
CN115834605A (zh) * 2023-02-20 2023-03-21 塔比星信息技术(深圳)有限公司 数据采集方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN104317836B (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
MX2009007982A (es) Metodo y aparato de traduccion de direccion.
CN105224444A (zh) 日志生成方法及装置
CN104572781A (zh) 一种交易日志产生方法和装置
US20170091127A1 (en) Techniques to Couple with a Storage Device via Multiple Communication Ports
CN103150402A (zh) 基于索引编码的虚拟文件系统及建立方法、访问方法
CN103914483A (zh) 文件存储方法、装置及文件读取方法、装置
CN104199784A (zh) 一种基于分级存储的数据迁移方法及装置
CN104317836A (zh) 批量生成数据文件的方法及装置
CN102682108A (zh) 一种行列混合的数据库存储方法
CN105573967A (zh) 一种多格式文件在线浏览方法及系统
CN106528896A (zh) 一种数据库优化方法和装置
CN104808953A (zh) 控制数据存储的方法、装置及移动终端
CN103440197B (zh) 一种基于对比测试自动生成差异测试报告的方法
CN104217170A (zh) 一种文档只读方法及装置
CN109918324A (zh) 一种适用于NVMe命名空间配置的双接口架构
CN104102552A (zh) 一种消息处理方法及装置
CN103646039A (zh) 一种网页搜索方法及装置
CN105808451A (zh) 一种数据缓存方法以及相关装置
CN105843631B (zh) 一种提高系统固件烧写速度的方法
KR101331383B1 (ko) 데이터 처리 방법 및 장치
CN103853832B (zh) 一种全文检索系统中可定制的数据抓取方法
JP2016126799A (ja) プロセシングを遂行するコンピューティングシステム及びその動作方法
CN103106270B (zh) 云数据融合方法和系统
AU2015371556A1 (en) Method for accessing a number of slave devices with registers by a master device over a network
CN101976582A (zh) 存储器建模方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant