CN102456005A - 大数据量文件处理的方法及系统 - Google Patents

大数据量文件处理的方法及系统 Download PDF

Info

Publication number
CN102456005A
CN102456005A CN2010105117545A CN201010511754A CN102456005A CN 102456005 A CN102456005 A CN 102456005A CN 2010105117545 A CN2010105117545 A CN 2010105117545A CN 201010511754 A CN201010511754 A CN 201010511754A CN 102456005 A CN102456005 A CN 102456005A
Authority
CN
China
Prior art keywords
data
data documents
query statement
handled
documents
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105117545A
Other languages
English (en)
Inventor
刘超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN JINDIE YOUSHANG E-BUSINESS SERVICE Co Ltd
Original Assignee
SHENZHEN JINDIE YOUSHANG E-BUSINESS SERVICE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN JINDIE YOUSHANG E-BUSINESS SERVICE Co Ltd filed Critical SHENZHEN JINDIE YOUSHANG E-BUSINESS SERVICE Co Ltd
Priority to CN2010105117545A priority Critical patent/CN102456005A/zh
Publication of CN102456005A publication Critical patent/CN102456005A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明揭示了一种大数据量文件处理的方法及系统。该方法包括步骤：接收大数据量文件查询指令；根据所述查询指令，通过异步处理生成大数据量文件，并存放至指定目录。本发明大数据量文件处理的方法及系统，在客户端提交查询大数据量文件的任务后，通过应用服务器异步处理，提供所查询大数据量文件的压缩文件给用户下载；如此，客户端可以同时提交多个大数据量文件任务，也无需等待可以使用系统做其他事情，文件下载完成后即时通知用户，提高了工作效率。

Description

大数据量文件处理的方法及系统
技术领域
本发明涉及到数据处理领域，特别涉及到一种大数据量文件处理的方法及系统。
背景技术
现有技术的数据系统中，用户经常需要查询一些数据量很大的业务报表。以前的处理方案，是直接在当前页面中呈现或者直接引出到Excel中。现在大多数数据系统已经不提供上述功能，通常是在业务上进行限制。
如果使用以前的方式，因为数据量大，数据展现出来需要几分钟的时间甚至更长，用户只能等待并且不能使用系统做其他的事情，降低了工作效率；如果对业务进行限制，同样使得工作效率不高。
发明内容
本发明的主要目的为提供一种大数据量文件处理的方法及系统，提升了工作效率以及改善了用户体验。
本发明提出一种大数据量文件处理的方法，包括步骤：
接收大数据量文件查询指令；
根据所述查询指令，通过异步处理生成大数据量文件，并存放至指定目录。
优选地，所述根据所述文件查询指令生成大数据量文件，并存放至指定目录的步骤具体包括：
根据所述查询指令，提取相应大数据量表格数据写入至Excel文件中，压缩所述Excel文件，并存放至指定目录。
优选地，所述接收文件查询指令的步骤后还包括：
根据所述查询指令判断之前是否有相同任务；
在没有相同任务时，根据所述查询指令生成大数据量文件，并存放至指定目录；
在有相同任务时，下载之前已生成的大数据量文件。
优选地，所述方法还包括：
根据查询指令进行进度提示。
优选地，所述方法还包括：
对查询指令进行管理；所述管理包括查询、删除以及发起。
本发明还提出一种大数据量文件处理的系统，包括：
接收模块，用于接收大数据量文件查询指令；
处理模块，用于根据所述查询指令，通过异步处理生成大数据量文件，并存放至指定目录。
优选地，所述处理模块具体用于：
根据所述查询指令，提取相应大数据量表格数据写入至Excel文件中，压缩所述Excel文件，并存放至指定目录。
优选地，所述系统还包括判断模块，其用于：
根据所述查询指令判断之前是否有相同任务；
在没有相同任务时，根据所述查询指令生成大数据量文件，并存放至指定目录；
在有相同任务时，下载之前已生成的大数据量文件。
优选地，所述系统还包括：
提示模块，用于根据查询指令进行进度提示。
优选地，所述系统还包括：
管理模块，用于对查询指令进行管理；所述管理包括查询、删除以及发起。
本发明大数据量文件处理的方法及系统，在客户端提交查询大数据量文件的任务后，通过应用服务器异步处理，提供所查询大数据量文件的压缩文件给用户下载；如此，客户端可以同时提交多个大数据量文件任务，也无需等待可以使用系统做其他事情，文件下载完成后即时通知用户，提高了工作效率。
附图说明
图1是本发明一种大数据量文件处理的方法一实施例的步骤流程示意图；
图2是本发明一种大数据量文件处理的方法一实施例的另一步骤流程示意图；
图3是本发明一种大数据量文件处理的方法另一实施例的步骤流程示意图；
图4是本发明一种大数据量文件处理的系统一实施例的结构示意图；
图5是本发明一种大数据量文件处理的系统另一实施例的结构示意图；
图6是本发明一种大数据量文件处理的系统另一实施例的另一结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，提出本发明一种大数据量文件处理的方法的一实施例。该方法包括步骤：
步骤S10、接收大数据量文件查询指令；
步骤S11、根据所述查询指令，通过异步处理生成大数据量文件，并存放至指定目录。
上述方法应用的硬件平台可包括提供大数据量文件的应用服务器以及客户端等。首先当客户端有大数据量文件查询需求时，向应用服务器发送大数据量文件的查询指令，请求读取大数据量文件。该应用服务器接收客户端的查询指令，即可根据该查询指令提取相应数据，通过异步处理生成大数据量文件，并存放至客户端所指定的目录，比如客户端的临时文件夹或者应用服务器的临时文件夹等。客户端在提交了多个大数据量文件任务后，可继续使用应用服务器做其他的事情，不用等待，提高了工作效率。
参照图2，上述步骤S11具体包括：
步骤S110、根据所述查询指令，提取相应大数据量表格数据写入至Excel文件中，压缩所述Excel文件，并存放至指定目录。
应用服务器根据客户端的查询指令，提取客户端所需要的大数据量表格(报表)数据，写入至Excel文件并压缩，然后将压缩的Excel文件放到客户端所指定的目录。
参照图3，提出本发明一种大数据量文件处理的方法的另一实施例。上述步骤S10之后还包括：
步骤S100、根据所述查询指令判断之前是否有相同任务；若否，执行步骤S11；若是，执行步骤S101；
步骤S101、下载之前已生成的大数据量文件。
客户端提交查询任务(指令)后，应用服务器可判断之前是否已经有相同的任务；在没有相同任务时，根据所述查询指令生成大数据量文件，并存放至指定目录；在有相同任务时，则提示客户端已经存在相同的任务，然后询问客户端是否直接下载已生成的大数据量文件。如此，可避免重复生成大数据量文件，节省资源。
上述方法还包括：根据查询指令进行进度提示。比如：在大数据量文件生成时，或者下载已生成的大数据量文件时，进行进度提示。
应用服务器根据客户端的查询指令，执行查询任务后，客户端可通过产生即时提示信息告知用户提交的查询任务执行的进度。该提示信息可以是“下载完成”等。
上述方法还包括：对查询指令进行管理；所述管理包括查询、删除以及发起等。客户端可提供查询指令(任务)管理界面，该管理界面可以查询、删除任务，或者发起新的任务等。客户端可以同时提交多个任务，应用服务器轮询处理。
参照图4，提出本发明一种大数据量文件处理的系统的一实施例。该系统包括：
接收模块40，用于接收大数据量文件查询指令；
处理模块50，用于根据所述查询指令，通过异步处理生成大数据量文件，并存放至指定目录。
上述系统可应用于包括提供大数据量文件的应用服务器以及客户端等的平台架构中。首先当客户端有大数据量文件查询需求时，向应用服务器发送大数据量文件的查询指令，请求读取大数据量文件。该应用服务器通过接收模块40，接收客户端的查询指令，即可利用处理模块50根据该查询指令提取相应数据，通过异步处理生成大数据量文件，并存放至客户端所指定的目录，比如客户端的临时文件夹或者应用服务器的临时文件夹等。客户端在提交了多个大数据量文件任务后，可继续使用应用服务器做其他的事情，不用等待，提高了工作效率。
上述处理模块50具体用于：根据所述查询指令，提取相应大数据量表格数据写入至Excel文件中，压缩所述Excel文件，并存放至指定目录。
上述处理模块50根据客户端的查询指令，提取客户端所需要的大数据量表格(报表)数据，写入至Excel文件并压缩，然后将压缩的Excel文件放到客户端所指定的目录。
参照图5，提出本发明一种大数据量文件处理的系统的另一实施例。上述系统还包括判断模块60，其用于：根据所述查询指令判断之前是否有相同任务；
在没有相同任务时，根据所述查询指令生成大数据量文件，并存放至指定目录；
在有相同任务时，下载之前已生成的大数据量文件。
客户端提交查询任务(指令)后，上述判断模块60可判断之前是否已经有相同的任务；在没有相同任务时，根据所述查询指令生成大数据量文件，并存放至指定目录；在有相同任务时，则提示客户端已经存在相同的任务，然后询问客户端是否直接下载已生成的大数据量文件。如此，可避免重复生成大数据量文件，节省资源。
上述接收模块40、处理模块50以及判断模块60可以设置在应用服务器。
参照图6，上述系统还包括：提示模块70，用于根据查询指令进行进度提示。比如：在大数据量文件生成时，或者下载已生成的大数据量文件时，进行进度提示。
在应用服务器根据客户端的查询指令，执行查询任务后，上述提示模块70可获取查询任务执行的进度，通过产生即时提示信息告知用户。该提示信息可以是“下载完成”等。
上述系统还包括：管理模块80，用于对查询指令进行管理；所述管理包括查询、删除以及发起。上述管理模块80可提供查询指令(任务)管理界面，该管理界面可以查询、删除任务，或者发起新的任务等。客户端可通过管理模块80同时提交多个任务，应用服务器轮询处理。
上述提示模块70以及管理模块80可设置在客户端。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种大数据量文件处理的方法，其特征在于，包括步骤：
接收大数据量文件查询指令；
根据所述查询指令，通过异步处理生成大数据量文件，并存放至指定目录。
2.根据权利要求1所述的大数据量文件处理的方法，其特征在于，所述根据所述文件查询指令生成大数据量文件，并存放至指定目录的步骤具体包括：
根据所述查询指令，提取相应大数据量表格数据写入至Excel文件中，压缩所述Excel文件，并存放至指定目录。
3.根据权利要求1或2所述的大数据量文件处理的方法，其特征在于，所述接收文件查询指令的步骤后还包括：
根据所述查询指令判断之前是否有相同任务；
在没有相同任务时，根据所述查询指令生成大数据量文件，并存放至指定目录；
在有相同任务时，下载之前已生成的大数据量文件。
4.根据权利要求1或2所述的大数据量文件处理的方法，其特征在于，所述方法还包括：
根据查询指令进行进度提示。
5.根据权利要求1或2所述的大数据量文件处理的方法，其特征在于，所述方法还包括：
对查询指令进行管理；所述管理包括查询、删除以及发起。
6.一种大数据量文件处理的系统，其特征在于，包括：
接收模块，用于接收大数据量文件查询指令；
处理模块，用于根据所述查询指令，通过异步处理生成大数据量文件，并存放至指定目录。
7.根据权利要求6所述的大数据量文件处理的系统，其特征在于，所述处理模块具体用于：
根据所述查询指令，提取相应大数据量表格数据写入至Excel文件中，压缩所述Excel文件，并存放至指定目录。
8.根据权利要求6或7所述的大数据量文件处理的系统，其特征在于，所述系统还包括判断模块，其用于：
根据所述查询指令判断之前是否有相同任务；
在没有相同任务时，根据所述查询指令生成大数据量文件，并存放至指定目录；
在有相同任务时，下载之前已生成的大数据量文件。
9.根据权利要求6或7所述的大数据量文件处理的系统，其特征在于，所述系统还包括：
提示模块，用于根据查询指令进行进度提示。
10.根据权利要求6或7所述的大数据量文件处理的系统，其特征在于，所述系统还包括：
管理模块，用于对查询指令进行管理；所述管理包括查询、删除以及发起。
CN2010105117545A 2010-10-19 2010-10-19 大数据量文件处理的方法及系统 Pending CN102456005A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105117545A CN102456005A (zh) 2010-10-19 2010-10-19 大数据量文件处理的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105117545A CN102456005A (zh) 2010-10-19 2010-10-19 大数据量文件处理的方法及系统

Publications (1)

Publication Number Publication Date
CN102456005A true CN102456005A (zh) 2012-05-16

Family

ID=46039204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105117545A Pending CN102456005A (zh) 2010-10-19 2010-10-19 大数据量文件处理的方法及系统

Country Status (1)

Country Link
CN (1) CN102456005A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533002A (zh) * 2012-07-05 2014-01-22 阿里巴巴集团控股有限公司 一种数据处理方法和系统
CN105306596A (zh) * 2015-11-19 2016-02-03 中国建设银行股份有限公司 应用于电子商务系统的文件处理方法、服务器及系统
CN106341457A (zh) * 2016-08-25 2017-01-18 广州御银自动柜员机科技有限公司 一种云平台异步导出数据的装置
CN107278366A (zh) * 2017-05-27 2017-10-20 福建联迪商用设备有限公司 一种提高下载效率的下载方法及其下载系统
CN108228644A (zh) * 2016-12-21 2018-06-29 北京京东尚科信息技术有限公司 用于报表导出的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446965A (zh) * 2008-12-31 2009-06-03 中国建设银行股份有限公司 一种数据查询方法及系统
CN101447981A (zh) * 2008-04-03 2009-06-03 中兴通讯股份有限公司 基于ldap协议的客户端与服务器的交互方法及系统
CN101567903A (zh) * 2009-05-11 2009-10-28 北京中企开源信息技术有限公司 一种基于Ajax技术的文件上传方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447981A (zh) * 2008-04-03 2009-06-03 中兴通讯股份有限公司 基于ldap协议的客户端与服务器的交互方法及系统
CN101446965A (zh) * 2008-12-31 2009-06-03 中国建设银行股份有限公司 一种数据查询方法及系统
CN101567903A (zh) * 2009-05-11 2009-10-28 北京中企开源信息技术有限公司 一种基于Ajax技术的文件上传方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533002A (zh) * 2012-07-05 2014-01-22 阿里巴巴集团控股有限公司 一种数据处理方法和系统
CN105306596A (zh) * 2015-11-19 2016-02-03 中国建设银行股份有限公司 应用于电子商务系统的文件处理方法、服务器及系统
CN106341457A (zh) * 2016-08-25 2017-01-18 广州御银自动柜员机科技有限公司 一种云平台异步导出数据的装置
CN108228644A (zh) * 2016-12-21 2018-06-29 北京京东尚科信息技术有限公司 用于报表导出的方法及装置
CN107278366A (zh) * 2017-05-27 2017-10-20 福建联迪商用设备有限公司 一种提高下载效率的下载方法及其下载系统
WO2018218419A1 (zh) * 2017-05-27 2018-12-06 福建联迪商用设备有限公司 一种提高下载效率的下载方法及其下载系统

Similar Documents

Publication Publication Date Title
CN103036956B (zh) 一种分布式组态化海量数据归档系统及实现方法
CN112667414A (zh) 基于消息队列的消息消费方法、装置、计算机设备及介质
CN104125163B (zh) 一种数据处理方法、装置及终端
CN102456005A (zh) 大数据量文件处理的方法及系统
CN105335406B (zh) 日志数据处理方法及装置
CN103593419A (zh) 数据查询方法、装置、服务器及系统
CN104615391A (zh) 一种文件预览方法、装置及系统
CN102098330A (zh) 基于json数据格式的异步传输方法、装置及系统
CN103888547A (zh) 一种账单处理方法和服务器
CN106603711B (zh) 通信方法、系统及消息服务器
CN106034113A (zh) 数据处理方法及装置
CN110443054A (zh) 一种在线传送数据文件的系统和方法
US8874675B2 (en) Message thread management using dynamic pointers
CN102355487A (zh) 一种邮件中附件的浏览处理方法和装置
CN110555068A (zh) 数据导出方法和装置
CN102710768A (zh) 一种基于面向服务架构的大批量数据传输系统及方法
CN103544036A (zh) 页面加载方法、终端及系统
CN111427899A (zh) 存储文件的方法、装置、设备和计算机可读介质
CN112261084B (zh) 基于会话的任务待办方法、系统、电子设备及存储介质
CN112948081A (zh) 延时处理任务的方法、装置、设备以及存储介质
CN113014618A (zh) 消息处理方法、系统和电子设备
CN110888840A (zh) 分布式文件系统中的文件查询方法、装置、设备及介质
CN102135988A (zh) 一种数据查询方法及客户端
CN104077355A (zh) 一种非结构化数据存储和查询的方法、装置及系统
CN107102901B (zh) 一种任务处理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20120516

RJ01 Rejection of invention patent application after publication