CN103412961B - 一种实时导出海量数据报表的处理方法和系统 - Google Patents
一种实时导出海量数据报表的处理方法和系统 Download PDFInfo
- Publication number
- CN103412961B CN103412961B CN201310397253.2A CN201310397253A CN103412961B CN 103412961 B CN103412961 B CN 103412961B CN 201310397253 A CN201310397253 A CN 201310397253A CN 103412961 B CN103412961 B CN 103412961B
- Authority
- CN
- China
- Prior art keywords
- session
- server
- time
- data
- magnanimous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Of Solid Wastes (AREA)
Abstract
本发明公开了一种实时导出海量数据报表的处理方法和系统，其中，所述方法包括：根据用户指令请求服务器导出分析统计数据，并把其放入session中，通过Session的ID查看报表处理的状态；服务器根据Session中报表的文件名和路径下载线程保存的报表文件进行下载，同时删除服务器中保存的报表文件。其利用多线程技术和AJAX技术综合应用，使得在超时时间内与服务器交互，从根本上解决了服务器连接超时的问题，同时满足客户导出任何时段的海量数据报表，其数据实时高效，学习成本低，可封装成公共模块供开发使用，提高了开发者工作效率，其报表需求响应平均时间从2天降低到0.8天。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种实时导出海量数据报表的处理方法和系统。
背景技术
业务报表、运营报表、运维报表等数据报表随着时间的推移，系统业务数据在不同期间会有相当数量的数据统计需求。在通常构建系统过程中确保系统的安全与稳定，设定服务器连接超时的时间是必须的，在传统的需求开发者开发时往往忽略海量数据在统计时产生的连接服务器超时问题，然而改变服务器与客户端（浏览器）的响应时间则是因小失大，影响系统的安全与稳定；改变导出数据的时间段减少导出报表的数据是治标不治本，而且效率不高客户体验度差，特别是中国式的企业统计报表，个性化要求比较高，依靠改变时间段生成导出不完整的数据报表并不能完全满足。
有鉴于此，现有技术有待改进和提高。
发明内容
鉴于现有技术中的不足，本发明目的在于提供一种实时导出海量数据报表的处理方法和系统。旨在解决现有技术中数据报表导出效率低、客户体验度差等问题。
本发明的技术方案如下：
一种实时导出海量数据报表的处理方法，其中，所述方法包括以下步骤：
A、根据用户指令确定需要导出数据条件，请求服务器导出分析统计数据，并把其封装成对象放入session中，同时，服务器开启一线程分析统计数据生成报表保存服务器，把Session的ID返回浏览器；
B、浏览器获得session 的ID，停留一预定时间，异步请求服务器，通过Session的ID查看报表处理的状态；
C、当查看session中报表处理的状态为True时，返回成功的标志，浏览器自动提交session的ID；
D、服务器根据Session中报表的文件名和路径下载线程保存的报表文件进行下载，同时删除服务器中保存的报表文件。
所述的实时导出海量数据报表的处理方法，其中，所述步骤A中请求服务器导出分析统计数据，并把其封装成对象放入session中具体包括：
服务器自定义唯一的报表文件名、保存生成报表的文件路径、以及报表处理的状态，封装成对象放入session中。
所述的实时导出海量数据报表的处理方法，其中，所述步骤C中还包括：
当分析统计数据生成报表保存服务器的线程处理完时改变session中报表处理的状态为True时，线程结束。
所述的实时导出海量数据报表的处理方法，其中，所述步骤B中预定时间为根据服务器超时的时间确定的。
所述的实时导出海量数据报表的处理方法，其中，所述步骤B中预定时间为7秒钟。
一种实时导出海量数据报表的处理系统，其中，包括：
监控单元，用于根据用户指令确定需要导出数据条件，请求服务器导出分析统计数据，并把其封装成对象放入session中，同时，服务器开启一线程分析统计数据生成报表保存服务器，把Session的ID返回浏览器；
查看单元，用于浏览器获得session 的ID，停留一预定时间，异步请求服务器，通过Session的ID查看报表处理的状态；
返回单元，用于当查看session中报表处理的状态为True时，返回成功的标志，浏览器自动提交session的ID；
下载单元，用于服务器根据Session中报表的文件名和路径下载线程保存的报表文件进行下载，同时删除服务器中保存的报表文件。
所述的实时导出海量数据报表的处理系统，其中，所述查看单元中预定时间为根据服务器超时的时间确定的。
所述的实时导出海量数据报表的处理系统，其中，所述查看单元中预定时间为7秒钟。
有益效果：
本发明的实时导出海量数据报表的处理方法和系统，利用多线程技术和AJAX技术综合应用，使得在超时时间内与服务器交互，从根本上解决了服务器连接超时的问题，同时满足客户导出任何时段的海量数据报表，其数据实时高效，学习成本低，可封装成公共模块供开发使用，提高了开发者工作效率，其报表需求响应平均时间从2天降低到0.8天。
附图说明
图1为本发明的实时导出海量数据报表的处理方法的流程图。
图2为本发明的实时导出海量数据报表的处理方法中客户端与服务器的交互的示意图。
图3为本发明的实时导出海量数据报表的处理系统的结构框图。
具体实施方式
本发明提供一种实时导出海量数据报表的处理方法和系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，其为本发明的实时导出海量数据报表的处理方法的流程图。如图所示，所述方法包括以下步骤：
S1、根据用户指令确定需要导出数据条件，请求服务器导出分析统计数据，并把其封装成对象放入session中，同时，服务器开启一线程分析统计数据生成报表保存服务器，把Session的ID返回浏览器；
S2、浏览器获得session 的ID，停留一预定时间，异步请求服务器，通过Session的ID查看报表处理的状态；
S3、当查看session中报表处理的状态为True时，返回成功的标志，浏览器自动提交session的ID；
S4、服务器根据Session中报表的文件名和路径下载线程保存的报表文件进行下载，同时删除服务器中保存的报表文件。
下面分别针对上述步骤进行详细描述：
所述步骤S1为根据用户指令确定需要导出数据条件，请求服务器导出分析统计数据，并把其封装成对象放入session中，同时，服务器开启一线程分析统计数据生成报表保存服务器，把Session的ID返回浏览器。具体来说，用户填写需要导出的数据条件，请求服务器导出分析统计数据，首先服务器自定义唯一的报表文件名、保存生成报表的文件路径、这个报表处理的状态（线程是否执行结束的状态？）封装成对象放入session中，然后开启一个线程分析统计数据生成报表保存服务器，把Session的ID返回浏览器（即客户端）。
所述步骤S2为浏览器获得session 的ID，停留一预定时间，异步请求服务器，通过Session的ID查看报表处理的状态。在本实施例中，所述预定时间为根据服务器超时的时间确定的。一般来说，设置为7秒钟，再异步请求服务器（参数SessionId），通过Session的ID查看‘报表处理的状态（线程是否执行结束的状态？）。
所述步骤S3为当查看session中报表处理的状态为True时，返回成功的标志，浏览器自动提交form（参数session的ID）。进一步地，当分析统计数据生成报表保存服务器的线程处理完时改变session中报表处理的状态（线程是否执行结束的状态？）为True，线程结束。
所述步骤S4为服务器根据Session中报表的文件名和路径下载线程保存的报表文件进行下载，同时删除服务器中保存的报表文件。
上述实时导出海量数据报表的处理方法已经在实践中稳定的导出50万以上的数据报表。
本发明的实时导出海量数据报表的处理方法，其过程核心有两步：一是提交导出请求服务器开启一个处理分系统统计海量数据的线程，把报表的信息（线程状态）放入Session中，并把Session的ID返回浏览器；二是每隔一段时间（其时间必须小于连接超时的时间）异步请求服务器，通过Session的ID查看线程的状态是否线程已经结束，如果没有结束则循环查看线程状态，如果线程状态是已经结束则告诉浏览器提交form表单下载生成的报表文件。所述客户端与服务器的交互过程可以参见图2。
本发明还提供了一种实时导出海量数据报表的处理系统，如图2所示，所述系统包括：
监控单元100，用于根据用户指令确定需要导出数据条件，请求服务器导出分析统计数据，并把其封装成对象放入session中，同时，服务器开启一线程分析统计数据生成报表保存服务器，把Session的ID返回浏览器；
查看单元200，用于浏览器获得session 的ID，停留一预定时间，异步请求服务器，通过Session的ID查看报表处理的状态；
返回单元300，用于当查看session中报表处理的状态为True时，返回成功的标志，浏览器自动提交session的ID；
下载单元400，用于服务器根据Session中报表的文件名和路径下载线程保存的报表文件进行下载，同时删除服务器中保存的报表文件。
进一步地，所述的实时导出海量数据报表的处理系统中，所述查看单元中预定时间为根据服务器超时的时间确定的。
进一步地，所述的实时导出海量数据报表的处理系统中，所述查看单元中预定时间为7秒钟。
上述各个部分的功能都已经在上述方法中进行了详细介绍，这里就不再冗述了。
综上所述，本发明的实时导出海量数据报表的处理方法和系统，利用多线程技术和AJAX技术综合应用，使得在超时时间内与服务器交互，从根本上解决了服务器连接超时的问题，同时满足客户导出任何时段的海量数据报表，其数据实时高效，学习成本低，可封装成公共模块供开发使用，提高了开发者工作效率，其报表需求响应平均时间从2天降低到0.8天。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种实时导出海量数据报表的处理方法，其特征在于，所述方法包括以下步骤：
A、根据用户指令确定需要导出数据条件，请求服务器导出分析统计数据，并把其封装成对象放入session中，同时，服务器开启一用于分析统计数据生成报表保存的线程，把Session的ID返回浏览器；
B、浏览器获得session 的ID，停留一预定时间，异步请求服务器，通过Session的ID查看报表处理的状态；
C、当查看session中报表处理的状态为True时，返回成功的标志，浏览器自动提交session的ID；
D、服务器根据Session中报表的文件名和路径下载线程保存的报表文件向浏览器进行下载，同时删除服务器中保存的报表文件。
2.根据权利要求1所述的实时导出海量数据报表的处理方法，其特征在于，所述步骤A中请求服务器导出分析统计数据，并把其封装成对象放入session中具体包括：
服务器自定义唯一的报表文件名、保存生成报表的文件路径、以及报表处理的状态，封装成对象放入session中。
3.根据权利要求1所述的实时导出海量数据报表的处理方法，其特征在于，所述步骤C中还包括：
当分析统计数据生成报表保存的线程处理完，改变session中报表处理的状态为True时，线程结束。
4.根据权利要求1所述的实时导出海量数据报表的处理方法，其特征在于，所述步骤B中预定时间为根据服务器超时的时间确定的。
5.根据权利要求1所述的实时导出海量数据报表的处理方法，其特征在于，所述步骤B中预定时间为7秒钟。
6.一种实时导出海量数据报表的处理系统，其特征在于，包括：
监控单元，用于根据用户指令确定需要导出数据条件，请求服务器导出分析统计数据，并把其封装成对象放入session中，同时，服务器开启一用于分析统计数据生成报表保存的线程，把Session的ID返回浏览器；
查看单元，用于浏览器获得session 的ID，停留一预定时间，异步请求服务器，通过Session的ID查看报表处理的状态；
返回单元，用于当查看session中报表处理的状态为True时，返回成功的标志，浏览器自动提交session的ID；
下载单元，用于服务器根据Session中报表的文件名和路径下载线程保存的报表文件向浏览器进行下载，同时删除服务器中保存的报表文件。
7.根据权利要求6所述的实时导出海量数据报表的处理系统，其特征在于，所述查看单元中预定时间为根据服务器超时的时间确定的。
8.根据权利要求7所述的实时导出海量数据报表的处理系统，其特征在于，所述查看单元中预定时间为7秒钟。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310397253.2A CN103412961B (zh) | 2013-09-04 | 2013-09-04 | 一种实时导出海量数据报表的处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310397253.2A CN103412961B (zh) | 2013-09-04 | 2013-09-04 | 一种实时导出海量数据报表的处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103412961A CN103412961A (zh) | 2013-11-27 |
| CN103412961B true CN103412961B (zh) | 2017-03-29 |
Family
ID=49605973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310397253.2A Active CN103412961B (zh) | 2013-09-04 | 2013-09-04 | 一种实时导出海量数据报表的处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103412961B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407231A (zh) * | 2015-08-03 | 2017-02-15 | 天脉聚源（北京）科技有限公司 | 一种数据多线程导出方法及系统 |
| CN105975473A (zh) * | 2016-01-19 | 2016-09-28 | 北京匡恩网络科技有限责任公司 | 一种自定义趋势分析子系统 |
| CN106341457A (zh) * | 2016-08-25 | 2017-01-18 | 广州御银自动柜员机科技有限公司 | 一种云平台异步导出数据的装置 |
| CN106547614A (zh) * | 2016-11-01 | 2017-03-29 | 山东浪潮商用系统有限公司 | 一种基于消息队列的海量数据延迟导出方法 |
| CN107147706A (zh) * | 2017-04-26 | 2017-09-08 | 努比亚技术有限公司 | 数据导出方法及装置 |
| CN107798111B (zh) * | 2017-11-01 | 2021-04-06 | 四川长虹电器股份有限公司 | 一种分布式环境中大批量导出数据的方法 |
| CN108153874B (zh) * | 2017-12-26 | 2022-07-29 | 福建星瑞格软件有限公司 | 一种大数据高耗时查询结果集的快速分页方法 |
| CN108847998B (zh) * | 2018-04-20 | 2021-09-14 | 平安科技（深圳）有限公司 | 报表监控方法、装置、计算机设备和存储介质 |
| CN110659298B (zh) * | 2019-08-14 | 2022-06-07 | 金蝶软件（中国）有限公司 | 财务数据处理方法、装置、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004790A (zh) * | 2010-12-09 | 2011-04-06 | 向心力信息技术股份有限公司 | 一种高吞吐量数据报表导出的方法 |
| CN103034658A (zh) * | 2011-09-29 | 2013-04-10 | 福建睿能电子有限公司 | 一种数据查询和报表导出的方法及系统 |
| CN103092580A (zh) * | 2011-10-27 | 2013-05-08 | 镇江雅迅软件有限责任公司 | 基于ajax技术的动态表头控制的实现 |
-
2013
- 2013-09-04 CN CN201310397253.2A patent/CN103412961B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004790A (zh) * | 2010-12-09 | 2011-04-06 | 向心力信息技术股份有限公司 | 一种高吞吐量数据报表导出的方法 |
| CN103034658A (zh) * | 2011-09-29 | 2013-04-10 | 福建睿能电子有限公司 | 一种数据查询和报表导出的方法及系统 |
| CN103092580A (zh) * | 2011-10-27 | 2013-05-08 | 镇江雅迅软件有限责任公司 | 基于ajax技术的动态表头控制的实现 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103412961A (zh) | 2013-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103412961B (zh) | 一种实时导出海量数据报表的处理方法和系统 | |
| US20220253906A1 (en) | Dynamic header bidding configuration | |
| SG11201805617SA (en) | Interface data displaying method and device | |
| CA3047081C (en) | Production-like testing and complex business to business auditing system | |
| US20150350045A1 (en) | Method and system for processing browser crash information | |
| WO2020082611A1 (zh) | 基于区块链平台进行深度学习的方法、电子装置 | |
| CN104391697B (zh) | 应用程序的云资源管理系统和方法 | |
| CN107547237A (zh) | 虚拟网络功能vnf更新方法、装置和vnf包 | |
| JP2021525914A5 (zh) | ||
| CN103294482B (zh) | 用于PWscf并行计算系统的Web服务封装方法以及系统 | |
| CN107203408A (zh) | 重定向的方法、装置和系统 | |
| CN106371846A (zh) | 基于网络数据和消息中间件的快速开发方法和业务系统 | |
| CN103561089B (zh) | 虚拟机桌面登录方法、装置及系统 | |
| CN105930166B (zh) | 一种基于web界面弹出层的方法 | |
| CN110365532A (zh) | 一种服务器配置方法、装置及设备 | |
| CN109408092A (zh) | 前端版本发布的方法及装置、存储介质及电子设备 | |
| CN107819801A (zh) | 一种批量订阅/发布的方法 | |
| CN110070422A (zh) | 基于扁平架构的数据处理系统、方法及相关设备 | |
| CN106201461A (zh) | 一种界面的生成方法、系统及后台服务器 | |
| CN108960894A (zh) | 一种广告实时计费方法、装置、服务器及存储介质 | |
| CN109783163A (zh) | 一种基于多维数据变量的数据交互方法及平台 | |
| CN106250203A (zh) | 一种kvm虚拟机识别u盘的方法及装置 | |
| US11488232B2 (en) | Document evaluation, alerting and validation system | |
| US10417318B2 (en) | Treatment controller | |
| CN105867848B (zh) | 一种信息处理方法及硬盘模组 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: QTONE EDUCATION GROUP (GUANGDONG) CO.,LTD. Document name: Notification that Application Deemed not to be Proposed |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: One of 18 / F, block 5, Shangfeng financial business center, 88 Zhongshan 4th Road, East District, Zhongshan City, Guangdong Province, 528400 Patentee after: QTONE EDUCATION GROUP (GUANGDONG) CO.,LTD. Address before: 528,400 The fifth floor of the comprehensive commercial building, No. 1, Kuchong Street, East District, Zhongshan City, Guangdong Province Patentee before: GUANGDONG QTONE EDUCATION Co.,Ltd. |