CN104317836B - 批量生成数据文件的方法及装置 - Google Patents

批量生成数据文件的方法及装置 Download PDF

Info

Publication number
CN104317836B
CN104317836B CN201410531695.6A CN201410531695A CN104317836B CN 104317836 B CN104317836 B CN 104317836B CN 201410531695 A CN201410531695 A CN 201410531695A CN 104317836 B CN104317836 B CN 104317836B
Authority
CN
China
Prior art keywords
database table
name
table name
data file
display output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410531695.6A
Other languages
English (en)
Other versions
CN104317836A (zh
Inventor
景新海
刘民
张建宝
姜林青
张乐奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CVIC Software Engineering Co Ltd
Original Assignee
CVIC Software Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CVIC Software Engineering Co Ltd filed Critical CVIC Software Engineering Co Ltd
Priority to CN201410531695.6A priority Critical patent/CN104317836B/zh
Publication of CN104317836A publication Critical patent/CN104317836A/zh
Application granted granted Critical
Publication of CN104317836B publication Critical patent/CN104317836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种批量生成数据文件的方法及装置，涉及数据库技术领域，解决了现有技术中数据文件生成速度较低的问题。该方法包括：获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；根据所述数据库表名对应的字段名动态设置显示输出长度；根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。本发明的实施例主要用于将数据从数据库中批量导出。

Description

批量生成数据文件的方法及装置
技术领域
本发明涉及数据库技术领域，尤其涉及一种批量生成数据文件的方法及装置。
背景技术
随着信息时代的飞速发展，不同数据库之间的数据共享成为一个比较热门的话题。而要实现数据的共享需要不同数据库批量地生成数据文件并将生成的数据文件传送到数据整合平台，然后，数据整合平台将不同格式的数据进行整合分析以供其他数据库使用。可见，数据的传输效率对于实现数据的共享尤为重要，而生成数据文件的速度直接影响着数据传输效率。
现有技术中，将数据从数据库中批量导出的方法通常为：首先，获取待传输数据所在的数据库表名及对应的字段名，然后，根据数据库固定设置的显示输出长度以及获取的数据库表名和对应的字段名生成数据文件。
在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：
由于批量生成数据文件时，显示传输长度是固定设置的，技术人员通常会将显示输出长度设置得大些，免得数据被截断，导出的数据有些字段可能丢失。但是，显示输出长度设置的过大又会导致输出的数据文件出现太多的尾部空格，造成数据存储资源的浪费，同时也会降低生成数据文件的速度。
发明内容
本发明提供一种批量生成数据文件的方法及装置，其能够提高生成数据文件的速度，进而提高数据传输效率。
一方面，本发明提供一种批量生成数据文件的方法，包括：
获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
根据所述数据库表名对应的字段名动态设置显示输出长度；
根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
另一方面，本发明提供一种批量生成数据文件的装置，包括：
获取单元，用于获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
设置单元，用于根据所述数据库表名对应的字段名动态设置显示输出长度；
生成单元，用于根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
本发明提供的批量生成数据文件的方法及装置，与现有技术相比，其是根据数据库表名对应的字段名动态设置显示输出长度，并依据动态设置后的显示输出长度来生成数据文件，从而提高了生成数据文件的速度，同时也避免了现有技术中由于数据文件存在尾部空格而导致的数据存储资源浪费的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明批量生成数据文件的方法一实施例的流程示意图；
图2为本发明批量生成数据文件的方法另一实施例的流程示意图；
图3为本发明批量生成数据文件的装置一实施例的结构示意图；
图4为本发明批量生成数据文件的装置另一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种批量生成数据文件的方法，其包括：
S11、获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
S12、根据所述数据库表名对应的字段名动态设置显示输出长度；
S13、根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
本发明实施例提供的批量生成数据文件的方法，与现有技术相比，其是根据数据库表名对应的字段名动态设置显示输出长度，并依据动态设置后的显示输出长度来生成数据文件，从而提高了生成数据文件的速度，同时也避免了现有技术中由于数据文件存在尾部空格而导致的数据存储资源浪费的问题。
如图2所示，本发明实施例提供一种批量生成数据文件的方法，其可应用于数据库与数据整合平台之间的数据传输，具体应用步骤如下：
S21、获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
具体地，可以通过shell命令及oracle数据库系统命令动态生成数据库表长度对应的文件column.txt。
该文件中用到oracle的系统表：USER_TAB_COLUMNS，此表存放数据库用户中每张表对应的表字段长度。
S22、动态读取所述数据库表名对应的字段名的总长度；
S23、设置显示输出长度为所述数据库表名对应的字段名的总长度；
具体地，可以通过shell命令读取column.txt中的字段长度，并对其他文件中相关变量进行传值，配合使用oracle数据库命令的方式，对linesize的大小实现动态配置。其中，
cat column.txt|while read column//读取数据库表字段总长度
sqlplus/nolog@export.sql $column//传入数据库表字段总长度
S24、根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名对数据进行输出；
S25、将输出的数据以文件流的形式生成数据文件；
S26、生成数据文件对应的控制文件；
S27、将生成的数据文件以及对应的控制文件上传至数据整合平台，以供其他数据库使用。
本发明实施例提供的批量生成数据文件的方法，与现有技术相比，其是根据数据库表名对应的字段名动态设置显示输出长度，并依据动态设置后的显示输出长度来生成数据文件，从而提高了生成数据文件的速度，进而提高了数据上传的传输效率，改善了数据共享的用户体验。
如图3所示，本发明实施例提供一种批量生成数据文件的装置，其包括：
获取单元11，用于获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
设置单元12，用于根据所述数据库表名对应的字段名动态设置显示输出长度；
生成单元13，用于根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
本发明实施例提供的批量生成数据文件的装置，与现有技术相比，其是根据数据库表名对应的字段名动态设置显示输出长度，并依据动态设置后的显示输出长度来生成数据文件，从而提高了生成数据文件的速度，同时也避免了现有技术中由于数据文件存在尾部空格而导致的数据存储资源浪费的问题。
如图4所示，本发明实施例提供一种批量生成数据文件的装置，该装置包括：
获取单元21，获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
设置单元22，用于根据所述数据库表名对应的字段名动态设置显示输出长度；
生成单元23，用于根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件。
其中，设置单元22包括读取模块31和设置模块32，
所述读取模块31，用于动态读取所述数据库表名对应的字段名的总长度；
所述设置模块32，用于设置显示输出长度为所述数据库表名对应的字段名的总长度。
本发明实施例批量生成数据文件的方法及装置，可以适用于将数据从数据库中批量导出，但不仅限于此。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.一种批量生成数据文件的方法，其特征在于，包括：
获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
根据所述数据库表名对应的字段名动态设置显示输出长度；
根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件；
所述根据所述数据库表名对应的字段名动态设置显示输出长度包括：
动态读取所述数据库表名对应的字段名的总长度；
设置显示输出长度为所述数据库表名对应的字段名的总长度。
2.一种批量生成数据文件的装置，其特征在于，包括：
获取单元，用于获取待传输的数据所在的数据库表名及所述数据库表名对应的字段名；
设置单元，用于根据所述数据库表名对应的字段名动态设置显示输出长度；
生成单元，用于根据所述显示输出长度、所述数据库表名以及所述数据库表名对应的字段名生成数据文件；
所述设置单元包括：
读取模块，用于动态读取所述数据库表名对应的字段名的总长度；
设置模块，用于设置显示输出长度为所述数据库表名对应的字段名的总长度。
CN201410531695.6A 2014-10-10 2014-10-10 批量生成数据文件的方法及装置 Active CN104317836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410531695.6A CN104317836B (zh) 2014-10-10 2014-10-10 批量生成数据文件的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410531695.6A CN104317836B (zh) 2014-10-10 2014-10-10 批量生成数据文件的方法及装置

Publications (2)

Publication Number Publication Date
CN104317836A CN104317836A (zh) 2015-01-28
CN104317836B true CN104317836B (zh) 2018-03-27

Family

ID=52373068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410531695.6A Active CN104317836B (zh) 2014-10-10 2014-10-10 批量生成数据文件的方法及装置

Country Status (1)

Country Link
CN (1) CN104317836B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847378B (zh) * 2016-04-13 2019-06-28 北京思特奇信息技术股份有限公司 一种实现大数据同步的方法和系统
CN106649590A (zh) * 2016-11-18 2017-05-10 北京奇虎科技有限公司 一种处理数据库的存储空间的方法和装置
CN115834605B (zh) * 2023-02-20 2023-05-12 塔比星信息技术(深圳)有限公司 数据采集方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086724A (zh) * 2006-06-07 2007-12-12 普天信息技术研究院 存储卡可变长多块数据传输方法
CN103780692A (zh) * 2014-01-13 2014-05-07 中国科学院计算技术研究所 一种键值存储的数据访问方法及其系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030647A (ja) * 2003-06-03 2004-01-29 Fujitsu Ltd 表示装置、表示方法、および表示プログラム記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086724A (zh) * 2006-06-07 2007-12-12 普天信息技术研究院 存储卡可变长多块数据传输方法
CN103780692A (zh) * 2014-01-13 2014-05-07 中国科学院计算技术研究所 一种键值存储的数据访问方法及其系统

Also Published As

Publication number Publication date
CN104317836A (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
CN101807207B (zh) 一种基于内容差异比较的文档共享方法
DE112017003334T5 (de) Lastreduzierte nichtflüchtige speicherschnittstelle
TWI627526B (zh) 用於節約記憶體系統中的功耗的方法、系統及電腦程式
CN104317836B (zh) 批量生成数据文件的方法及装置
EP2985699B1 (en) Memory access method and memory system
CN105573967A (zh) 一种多格式文件在线浏览方法及系统
US20210280226A1 (en) Memory component with adjustable core-to-interface data rate ratio
CN103530349A (zh) 一种缓存更新方法及设备
DE102020132763A1 (de) Undirektionaler informationskanal zur überwachung einer drift eines bidirektionalen informationskanals
CN105786741A (zh) 一种soc高速低功耗总线及转换方法
CN102591787A (zh) Java卡的数据处理方法及装置
CN114443521A (zh) 一种提高cpu和ddr5 dimm之间传输速率的和装置
CN103914293A (zh) 生成页面的方法及服务器
CN116074179B (zh) 基于cpu-npu协同的高扩展节点系统及训练方法
CN101419618B (zh) 一种内文信息的显示方法、系统及装置
CN105843631B (zh) 一种提高系统固件烧写速度的方法
CN100346317C (zh) 以可变操作频率工作的信息处理设备
CN104102480A (zh) 生成配置文件的方法和装置
CN104391564A (zh) 功耗控制方法和装置
CN202102433U (zh) 一种扩展龙芯cpu的io带宽的装置
CN102522113B (zh) 一种sdram桥接电路
CN101489124B (zh) 一种同步动态存储器的使用方法
DE102018114655A1 (de) Ausführen einer Funktion während einer interaktiven Session
CN117198363B (zh) 双数据率同步动态随机存储系统及方法、设备及存储介质
CN203799299U (zh) 一种基于lga 1155芯片的监控主板

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant