CN106919684A - 数据导出方法、装置、设备及存储介质 - Google Patents

数据导出方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN106919684A
CN106919684A CN201710120011.7A CN201710120011A CN106919684A CN 106919684 A CN106919684 A CN 106919684A CN 201710120011 A CN201710120011 A CN 201710120011A CN 106919684 A CN106919684 A CN 106919684A
Authority
CN
China
Prior art keywords
task
operation system
data
module
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710120011.7A
Other languages
English (en)
Inventor
李明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710120011.7A priority Critical patent/CN106919684A/zh
Publication of CN106919684A publication Critical patent/CN106919684A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据导出方法、装置、设备及存储介质，其中方法包括：导出平台获取来自业务系统的任务请求；根据任务请求构造任务，并执行任务，生成结果文件；对结果文件进行保存，以便业务系统获取所保存的结果文件。应用本发明所述方案，能够提升业务系统的性能等。

Description

数据导出方法、装置、设备及存储介质
【技术领域】
本发明涉及计算机应用技术，特别涉及数据导出方法、装置、设备及存储介质。
【背景技术】
随着业务的发展，销售人员及运营人员对查询数据导出的需求越来越多。
现有技术中，导出服务与业务系统耦合，从而影响了业务系统的性能，尤其是当结果集过大时，会严重影响业务系统的性能。
【发明内容】
有鉴于此，本发明提供了数据导出方法、装置、设备及存储介质，能够提升业务系统的性能。
具体技术方案如下：
一种数据导出方法，包括：
导出平台获取来自业务系统的任务请求；
所述导出平台根据所述任务请求构造任务，并执行所述任务，生成结果文件；
所述导出平台对所述结果文件进行保存，以便所述业务系统获取所保存的所述结果文件。
一种数据导出装置，包括：接口模块、任务构造模块、执行模块以及存储模块；
所述接口模块，用于获取来自业务系统的任务请求，并提交给所述任务构造模块；
所述任务构造模块，用于根据所述任务请求构造任务，并提交给所述执行模块；
所述执行模块，用于执行所述任务，生成结果文件，并将所述结果文件保存到所述存储模块中，以便所述业务系统获取所保存的所述结果文件。
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
基于上述介绍可以看出，采用本发明所述方案，拆分业务系统与导出服务，即业务系统与导出服务解耦，从而尽可能地避免了数据导出对业务系统的性能造成影响，即相比于现有技术提升了业务系统的性能。
【附图说明】
图1为本发明所述数据导出方法实施例的流程图。
图2为本发明所述数据导出方法的交互流程示意图。
图3为本发明所述数据导出装置实施例的组成结构示意图。
图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。
【具体实施方式】
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。
图1为本发明所述数据导出方法实施例的流程图，如图1所示，包括以下具体实现方式：
在101中，导出平台获取来自业务系统的任务请求。
在此之前，导出平台可接受业务系统在导出平台上的注册及所进行的信息配置。
导出平台可对外提供接口，比如，超文本传输协议(HTTP，HyperText TransferProtocol)接口或远程过程调用协议(RPC，Remote Procedure Call Protocol)接口等，业务系统等接入系统可通过接口与导出平台进行信息的交互。
相应地，业务系统可在导出平台上进行注册，生成系统token即APP_KEY，并进行信息配置，如配置通讯协议及数据源，配置导出模板(即配置结果格式化模板)，配置元数据托管等。
其中，结果格式化模板配置示例如下：
之后，业务系统可根据用户的要求向导出平台发出任务请求，即向导出平台发起任务。
导出平台在获取到业务系统的任务请求之后，可向业务系统返回任务响应信息，其中可携带有任务标识等，以便后续业务系统根据任务标识向导出平台查询任务的执行状态，即了解任务的进展情况，当确定任务执行完成时，获取所保存的结果文件。
在102中，导出平台根据任务请求构造任务，并执行任务，生成结果文件。
导出平台可根据获取到的任务请求以及业务系统的配置信息构造任务，并执行所构造的任务，从而生成所需的结果文件。
执行任务的过程可包括：
抓取维度切片数据；
根据维度切片数据生成可执行结构化查询语言(SQL，Structured QueryLanguage)，读取结果数据；
根据结果数据生成中间结果文件；
将中间结果文件拆分为一系列小文件，作为所需的结果文件。
其中，在生成中间结果文件时，可进一步确定结果数据中是否包括来自于异构数据源的结果数据，如果是，则可对来自于异构数据源的结果数据进行整合，生成中间结果文件。
另外，在将中间结果文件拆分为一系列小文件之后，还可根据业务系统所配置的结果格式化模板，分别将各小文件转换为业务系统所要求的格式，进而将进行格式转换后的各小文件作为结果文件。
以下分别对上述构造任务及执行任务的方式进行详细说明。
一)构造任务
导出平台可根据获取到的任务请求以及业务系统的配置信息构造任务，即根据任务请求，匹配业务系统配置信息，创建执行任务所需的各功能对象，并构造任务执行上下文，任务执行上下文持有创建好的各功能对象，之后可将任务执行上下文提交到任务执行线程池执行。
较佳地，所创建的各功能对象可包括：按维度切分的切片触发器Trigger、结果数据抽取器Extractor、结果生成器ResultBuilder、异构数据整合器Merger、文件拆分器Spliter、格式转换器Transformer等。
由任务构造工厂，构造任务执行上下文ExecuteContext。
任务执行上下文ExecuteContext持有创建好的各功能对象。
之后将任务执行上下文ExecuteContext提交到任务执行线程池执行。
如何创建上述各功能对象及任务执行上下文ExecuteContext为现有技术。
二)执行任务
任务执行上下文ExecuteContext持有切片触发器Trigger、结果数据抽取器Extractor、结果生成器ResultBuilder、异构数据整合器Merger、文件拆分器Spliter、格式转换器Transformer等功能对象，抽取出任务执行方法execute，执行逻辑如下。
a、切片触发器Trigger可抓取维度切片数据，切片数据包含多个维度切片信息，将切片数据放入切片数据sliceBlockingQueue，各个切片的大小可通过切片策略指定，具体取值可根据实际需要而定。
根据配置的通讯协议的不同，可采用不同的抓取方式，如：
1)SQL协议，可根据任务请求中携带的抽取SQL，读取切片信息，如select slice_id from table；
2)Dubbo协议，可调用Duboo接口，获取数据。
如按时间维度和账号维度切分，生成维度切分数据是二维的如下数据:
{dimension_date:[20161212],dimension_id:[1001,1002]},
{dimension_date:[20161213],dimension_id:[1001,1002]},
{dimension_date:[20161212],dimension_id:[1003,1004]},
{dimension_date:[20161213],dimension_id:[1003,1004]}。
b、结果数据抽取器Extractor可开启多个线程，消费sliceBolckingQueue中的内容，解析维度切片数据，将抽取方法内维度切片占位符替换为具体切片数据值，从而形成可执行方法，抽取数据，得到结果数据。
任务请求中可携带有结果SQL(伪SQL)，该SQL在切片位置填充占位符，可根据抓取到的维度切片数据进行占位符替换，生成可执行SQL，读取结果数据，放入resultBlockingQueue，即将结果集放入resultBlockingQueue。
c、结果生成器ResultBuilder消费resultBlockingQueue中的内容，生成中间结果文件。
如对resultBlockingQueue中的内容进行持久化处理，作为中间结果文件。
d、异构数据整合器Merger可对中间结果文件中包括的来自于异构数据源的结果数据进行整合。
如可调用python脚本，通过pandas处理多源文件，进行结果数据之间的整合。
e、文件拆分器Spliter根据预先配置的拆分策略，将中间结果文件拆分为一系列小文件。
f、格式转换器Transformer根据所配置的结果格式化模板，分别将各小文件转换为业务系统所要求的格式，进而将进行格式转换后的各小文件作为结果文件。
在103中，导出平台对结果文件进行保存，以便业务系统获取所保存的结果文件。
导出平台可采用同构集群部署，通过网络文件系统(NFS，Network File System)实现集群节点间文件共享。
即导出平台可将结果文件保存在NFS文件系统中，如前所述，业务系统可根据任务标识向导出平台查询任务的执行状态，当确定任务执行完成时，可获取保存在NFS文件系统中的结果文件。
基于上述介绍，图2为本发明所述数据导出方法的交互流程示意图，如图2所示，其中的任务接收、任务构造、任务执行、文件传输等操作均由导出平台完成。
可以看出，采用本发明所述方案，拆分业务系统与导出服务，即业务系统与导出服务解耦，从而尽可能地避免了数据导出对业务系统的性能造成影响，进而相比于现有技术提升了业务系统的性能。
而且，现有技术中，不支持异构数据源结果集整合，即无法满足数据离散分布场景的导出需求，而且，不支持多维数据切分，从而不支持大批量结果集的导出，而采用本发明所述方案后，可支持异构数据源结果集整合，从而使得业务方可透明使用离散源数据，而且，可支持多维数据切分，从而可满足大批量结果集导出的应用场景。
另外，采用本发明所述方案，支持业务系统等采用多种不同的模式接入，并且，可按照格式要求生成各不同格式的结果文件，即支持多模式接入及多文件格式，从而适应多变业务场景。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
图3为本发明所述数据导出装置实施例的组成结构示意图，如图3所示，包括：接口模块301、任务构造模块302、执行模块303以及存储模块304。
接口模块301，用于获取来自业务系统的任务请求，并提交给任务构造模块302。
任务构造模块302，用于根据任务请求构造任务，并提交给执行模块303。
执行模块303，用于执行任务，生成结果文件，并将结果文件保存到存储模块304中，以便业务系统获取所保存的结果文件。
接口模块301可为HTTP接口或RPC接口等，可通过接口模块301来与业务系统等接入系统进行信息的交互。
如图3所示，所述装置中还可进一步包括：接入配置模块305。
接入配置模块305，用于接受业务系统的注册及所进行的信息配置，如业务系统可进行注册，生成系统token即APP_KEY，并进行信息配置，如配置通讯协议及数据源，配置导出模板(即配置结果格式化模板)，配置元数据托管等。
相应地，任务构造模块302可根据任务请求以及业务系统的配置信息构造任务。
比如，任务构造模块302可根据任务请求，匹配业务系统配置信息，创建执行任务所需的各功能对象，并构造任务执行上下文，任务执行上下文持有创建好的各功能对象，之后可将任务执行上下文提交到任务执行线程池执行。
较佳地，所创建的各功能对象可包括：按维度切分的切片触发器Trigger、结果数据抽取器Extractor、结果生成器ResultBuilder、异构数据整合器Merger、文件拆分器Spliter、格式转换器Transformer等。
执行模块303执行任务的方式可包括：抓取维度切片数据，根据维度切片数据生成可执行SQL，读取结果数据，根据结果数据生成中间结果文件，将中间结果文件拆分为一系列小文件，作为结果文件。
另外，执行模块303可确定结果数据中是否包括来自于异构数据源的结果数据，如果是，则对来自于异构数据源的结果数据进行整合，生成中间结果文件。
再有，执行模块303还可分别将各小文件转换为业务系统所要求的格式，将进行格式转换后的各小文件作为结果文件。
在得到结果文件之后，可将其保存到存储模块304中的NFS文件系统中，以实现集群节点间文件共享。
接口模块301可向业务系统返回任务响应信息，其中携带有任务标识，以便业务系统根据任务标识查询任务的执行状态，当确定任务执行完成时，获取结果文件。
接口模块301可同步向业务系统返回任务响应信息，将任务请求异步提交给任务构造模块302。
相应地，图3所示装置中还可进一步包括：传输模块306。
传输模块306，用于根据业务系统的请求将结果文件传输给业务系统。
在实际应用中，图3所示装置即可为前述方法实施例中的导出平台。
图3所示装置实施例的具体工作流程等请参照前述方法实施例中的相应说明，此处不再赘述。
图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图4显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所示实施例中的方法，即导出平台获取来自业务系统的任务请求，根据任务请求构造任务，并执行任务，生成结果文件，对结果文件进行保存，以便业务系统获取所保存的结果文件。
其中，执行任务，生成结果文件可包括：抓取维度切片数据；根据维度切片数据生成可执行SQL，读取结果数据；根据结果数据生成中间结果文件；将中间结果文件拆分为一系列小文件，作为结果文件。
另外，可确定结果数据中是否包括来自于异构数据源的结果数据，如果是，则对来自于异构数据源的结果数据进行整合，生成中间结果文件。
再有，可分别将各小文件转换为业务系统所要求的格式，将进行格式转换后的各小文件作为结果文件。
可将结果文件保存到NFS文件系统中。
本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (17)

1.一种数据导出方法，其特征在于，包括：
导出平台获取来自业务系统的任务请求；
所述导出平台根据所述任务请求构造任务，并执行所述任务，生成结果文件；
所述导出平台对所述结果文件进行保存，以便所述业务系统获取所保存的所述结果文件。
2.根据权利要求1所述的方法，其特征在于，
所述导出平台获取来自业务系统的任务请求之前，进一步包括：
所述导出平台接受所述业务系统在所述导出平台上的注册及所进行的信息配置；
所述导出平台根据所述任务请求构造任务包括：
所述导出平台根据所述任务请求以及所述业务系统的配置信息构造任务。
3.根据权利要求1所述的方法，其特征在于，
所述执行所述任务，生成结果文件包括：
抓取维度切片数据；
根据所述维度切片数据生成可执行结构化查询语言SQL，读取结果数据；
根据所述结果数据生成中间结果文件；
将所述中间结果文件拆分为一系列小文件，作为所述结果文件。
4.根据权利要求3所述的方法，其特征在于，
所述根据所述结果数据生成中间结果文件包括：
确定所述结果数据中是否包括来自于异构数据源的结果数据；
如果是，则对来自于异构数据源的结果数据进行整合，生成中间结果文件。
5.根据权利要求3所述的方法，其特征在于，
所述将所述中间结果文件拆分为一系列小文件之后，进一步包括：
分别将各小文件转换为所述业务系统所要求的格式，将进行格式转换后的各小文件作为所述结果文件。
6.根据权利要求1所述的方法，其特征在于，
所述对所述结果文件进行保存包括：
将所述结果文件保存到网络文件系统NFS中。
7.根据权利要求1所述的方法，其特征在于，
所述导出平台获取来自业务系统的任务请求之后，进一步包括：
所述导出平台向所述业务系统返回任务响应信息，其中携带有任务标识，以便所述业务系统根据所述任务标识向所述导出平台查询所述任务的执行状态，当确定所述任务执行完成时，获取所述结果文件。
8.一种数据导出装置，其特征在于，包括：接口模块、任务构造模块、执行模块以及存储模块；
所述接口模块，用于获取来自业务系统的任务请求，并提交给所述任务构造模块；
所述任务构造模块，用于根据所述任务请求构造任务，并提交给所述执行模块；
所述执行模块，用于执行所述任务，生成结果文件，并将所述结果文件保存到所述存储模块中，以便所述业务系统获取所保存的所述结果文件。
9.根据权利要求8所述的装置，其特征在于，
所述装置中进一步包括：接入配置模块；
所述接入配置模块，用于接受所述业务系统的注册及所进行的信息配置；
所述任务构造模块根据所述任务请求以及所述业务系统的配置信息构造任务。
10.根据权利要求8所述的装置，其特征在于，
所述执行模块抓取维度切片数据，根据所述维度切片数据生成可执行结构化查询语言SQL，读取结果数据，根据所述结果数据生成中间结果文件，将所述中间结果文件拆分为一系列小文件，作为所述结果文件。
11.根据权利要求10所述的装置，其特征在于，
所述执行模块进一步用于，
确定所述结果数据中是否包括来自于异构数据源的结果数据，如果是，则对来自于异构数据源的结果数据进行整合，生成中间结果文件。
12.根据权利要求10所述的装置，其特征在于，
所述执行模块进一步用于，
分别将各小文件转换为所述业务系统所要求的格式，将进行格式转换后的各小文件作为所述结果文件。
13.根据权利要求8所述的装置，其特征在于，
所述结果文件保存在所述存储模块中的网络文件系统NFS中。
14.根据权利要求8所述的装置，其特征在于，
所述接口模块进一步用于，
向所述业务系统返回任务响应信息，其中携带有任务标识，以便所述业务系统根据所述任务标识查询所述任务的执行状态，当确定所述任务执行完成时，获取所述结果文件。
15.根据权利要求8所述的装置，其特征在于，
所述装置中进一步包括：传输模块；
所述传输模块，用于根据所述业务系统的请求将所述结果文件传输给所述业务系统。
16.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的方法。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7中任一项所述的方法。
CN201710120011.7A 2017-03-02 2017-03-02 数据导出方法、装置、设备及存储介质 Pending CN106919684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710120011.7A CN106919684A (zh) 2017-03-02 2017-03-02 数据导出方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710120011.7A CN106919684A (zh) 2017-03-02 2017-03-02 数据导出方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN106919684A true CN106919684A (zh) 2017-07-04

Family

ID=59460415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710120011.7A Pending CN106919684A (zh) 2017-03-02 2017-03-02 数据导出方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN106919684A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165055A (zh) * 2018-08-30 2019-01-08 百度在线网络技术（北京）有限公司 一种组件加载方法、装置、计算机设备及存储介质
CN109388536A (zh) * 2017-08-07 2019-02-26 北京京东尚科信息技术有限公司 一种数据收集的方法和装置
CN110032595A (zh) * 2019-04-15 2019-07-19 广东电网有限责任公司 一种数据处理方法、系统、设备及存储介质
CN111435354A (zh) * 2019-01-14 2020-07-21 北京京东尚科信息技术有限公司 数据导出方法、装置、存储介质及电子设备
CN111797337A (zh) * 2020-07-14 2020-10-20 上海乾臻信息科技有限公司 导出页面的生成方法及装置
CN111858727A (zh) * 2020-06-24 2020-10-30 金财互联数据服务有限公司 一种基于模板配置的多数据源数据导出系统及方法
CN112182085A (zh) * 2020-09-28 2021-01-05 中国建设银行股份有限公司 数据导出方法、装置、设备及存储介质
CN112463076A (zh) * 2020-12-14 2021-03-09 广州慧智信息科技有限公司 一种数据导出方法、计算机设备以及存储介质
CN112669148A (zh) * 2020-12-22 2021-04-16 深圳市富途网络科技有限公司 一种处理订单的方法及装置
CN113779122A (zh) * 2021-02-19 2021-12-10 北京京东振世信息技术有限公司 导出数据的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571861A (zh) * 2008-04-29 2009-11-04 阿里巴巴集团控股有限公司 一种对数据表进行转换的方法及装置
CN101996067A (zh) * 2009-08-19 2011-03-30 阿里巴巴集团控股有限公司 一种数据导出的方法和装置
CN104657123A (zh) * 2013-11-21 2015-05-27 航天信息股份有限公司 一种动态导出文件的方法
CN104881469A (zh) * 2015-05-27 2015-09-02 北京京东尚科信息技术有限公司 一种数据导出方法和装置
CN106095775A (zh) * 2016-05-24 2016-11-09 中国银行股份有限公司 一种实现数据查询或导出的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571861A (zh) * 2008-04-29 2009-11-04 阿里巴巴集团控股有限公司 一种对数据表进行转换的方法及装置
CN101996067A (zh) * 2009-08-19 2011-03-30 阿里巴巴集团控股有限公司 一种数据导出的方法和装置
CN104657123A (zh) * 2013-11-21 2015-05-27 航天信息股份有限公司 一种动态导出文件的方法
CN104881469A (zh) * 2015-05-27 2015-09-02 北京京东尚科信息技术有限公司 一种数据导出方法和装置
CN106095775A (zh) * 2016-05-24 2016-11-09 中国银行股份有限公司 一种实现数据查询或导出的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSDN: "kettle中实现动态SQL查询", 《HTTPS://BLOG.CSDN.NET/NEWEASTSUN/ARTICLE/DETAILS/39287809》 *
张欲蓉等: "设计模式在数据存储设计中的应用", 《舰船电子对抗》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388536B (zh) * 2017-08-07 2022-06-07 北京京东尚科信息技术有限公司 一种数据收集的方法和装置
CN109388536A (zh) * 2017-08-07 2019-02-26 北京京东尚科信息技术有限公司 一种数据收集的方法和装置
CN109165055A (zh) * 2018-08-30 2019-01-08 百度在线网络技术（北京）有限公司 一种组件加载方法、装置、计算机设备及存储介质
CN111435354A (zh) * 2019-01-14 2020-07-21 北京京东尚科信息技术有限公司 数据导出方法、装置、存储介质及电子设备
CN110032595A (zh) * 2019-04-15 2019-07-19 广东电网有限责任公司 一种数据处理方法、系统、设备及存储介质
CN110032595B (zh) * 2019-04-15 2023-07-14 广东电网有限责任公司 一种数据处理方法、系统、设备及存储介质
CN111858727A (zh) * 2020-06-24 2020-10-30 金财互联数据服务有限公司 一种基于模板配置的多数据源数据导出系统及方法
CN111858727B (zh) * 2020-06-24 2024-02-02 金财互联数据服务有限公司 一种基于模板配置的多数据源数据导出系统及方法
CN111797337A (zh) * 2020-07-14 2020-10-20 上海乾臻信息科技有限公司 导出页面的生成方法及装置
CN112182085A (zh) * 2020-09-28 2021-01-05 中国建设银行股份有限公司 数据导出方法、装置、设备及存储介质
CN112463076B (zh) * 2020-12-14 2023-07-21 广东智慧青少年宫教育发展有限公司 一种数据导出方法、计算机设备以及存储介质
CN112463076A (zh) * 2020-12-14 2021-03-09 广州慧智信息科技有限公司 一种数据导出方法、计算机设备以及存储介质
CN112669148A (zh) * 2020-12-22 2021-04-16 深圳市富途网络科技有限公司 一种处理订单的方法及装置
CN113779122A (zh) * 2021-02-19 2021-12-10 北京京东振世信息技术有限公司 导出数据的方法和装置
CN113779122B (zh) * 2021-02-19 2023-11-03 北京京东振世信息技术有限公司 导出数据的方法和装置

Similar Documents

Publication Publication Date Title
CN106919684A (zh) 数据导出方法、装置、设备及存储介质
US10747505B1 (en) API specification generation
US20120137215A1 (en) Document processing apparatus, method for processing document, and program therefor
CN104572644B (zh) 数据库更新装置和数据库更新方法
JP5203733B2 (ja) コーディネータサーバ、データ割当方法及びプログラム
CN110970021B (zh) 一种问答控制方法、装置及系统
CN110489527A (zh) 基于语音交互的银行业务智能咨询以及办理方法和系统
CN105550206B (zh) 结构化查询语句的版本控制方法及装置
CN105825066A (zh) 一种电子病历生成方法及装置
TW201222283A (en) On-demand translation of application text
AU2017327824B2 (en) Data integration job conversion
JP2014531091A (ja) 処理方法、記憶媒体及びクライアントサポートサーバ
US20120271960A1 (en) System and method for providing print ready content to a printing device
JP2006092316A (ja) 構造化文書検索装置、構造化文書検索方法及び構造化文書検索のためのデータを記憶した記憶媒体
CN103581109B (zh) 声纹登录购物系统和方法
US20150248382A1 (en) Apparatus and method for converting an electronic form
CN109145164A (zh) 数据处理方法、装置、设备和介质
CN105373746B (zh) 一种分布式数据处理方法和装置
JP2011034323A (ja) 情報端末装置、情報検索方法、および情報検索プログラム
CN109902182A (zh) 知识数据处理方法、装置、设备及存储介质
US20160217132A1 (en) Method and Apparatus for Acquiring Network Resource
CN108874871B (zh) 实时pnt服务数据溯源方法及装置
RU2631975C2 (ru) Способ и система для обработки входных команд пользователя
US9164781B2 (en) Client bundle resource creation
US20080082516A1 (en) System for and method of searching distributed data base, and information management device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170704