CN105119763A - 基于RIA的Web网管客户端的大数据快速导出方法及系统 - Google Patents

Abstract

本发明公开了一种基于RIA的Web网管客户端的大数据快速导出方法及系统，涉及网管系统的数据导出领域。该方法包括以下步骤：创建独立存储区；对独立存储区进行扩容；分批从服务器端获取数据；对获取的数据进行分组、编号，将获取的数据按编号分批缓存在独立存储区中；分批读取缓存的数据，并进行格式转化；建立统计报表，将数据按编号分批导出，保存在统计报表中，达到统计报表的最大容纳量时，新建统计报表，继续导出数据，保存在新建的统计报表中，直至导出完毕，删除独立存储区中缓存的数据。本发明能减少Web网管客户端物理内存的占用率，快速导出网管系统中的数据，提高Web网管客户端的性能，提升用户体验。

Description

基于RIA的Web网管客户端的大数据快速导出方法及系统

技术领域

本发明涉及网管系统中的数据导出领域，具体是涉及一种基于RIA(RichInternetApplication，富互联网应用)的Web网管客户端的大数据快速导出方法及系统。

背景技术

网络管理系统是一种软硬件结合、并以软件为主的分布式网络应用系统，其目的在于管理网络，保证网络高效、正常的运行。网络管理系统具有数据量大、性能要求高等特点。

随着信息社会的发展，用户越来越重视类型为Web的网络管理系统(以下简称Web网管系统)，Web网管系统包括Web网管客户端和服务器端。为了实现高效的管理Web网管系统，Web网管客户端需要导出各种统计报表，以便分析网管运行状态，由于网管系统中有大量的数据计算和数据转换，受制于平台的限制，这些数据及转换不能完全由Web网管客户端去独立完成，所以需要Web网管系统的服务端支持，来导出大数据。

现有Web网管系统的架构，应用的是基于页面和服务器端数据传递的开发模式，Web网管系统的架构将应用程序的表现层建立于HTML(HypertextMarkupLanguage，超文本标记语言)页面之上。

基于现有的Web网管系统，Web网管客户端的缓存数据一般为200MB左右，现有的Web网管系统需要统计的数据量，远远超过Web网管客户端所能缓存的数据量，并且，经过一段时间之后，统计数据会变成无效数据，因此，每次导出Web网管客户端的数据时，需要从服务器端读取转换后的数据，这样就保证导出的数据具有时效性及完整性，方便用户分析网管的运行状态。

随着RIA(RichInternetApplication，富互联网应用)技术的不断发展，提供了对Web网管客户端的独立存储区(IsolatedStorage)的访问API(ApplicationProgrammingInterface，应用程序编程接口)，使得大量数据可以缓存到独立存储区中，基于RIA的网管系统在用户授权的条件下，对独立存储区进行任意访问。

现有Web网管客户端无法缓存Web网管系统里的所有数据，并且，经过一段时间之后，统计数据会变成无效数据。因此，用户需要手工多次调用服务器端获取数据，只能分批导出当前用户所统计的数据，导致Web网管客户端的数据导出效率低下，影响用户的体验。

发明内容

本发明的目的是为了克服上述背景技术的不足，提供一种基于RIA的Web网管客户端的大数据快速导出方法及系统，能减少Web网管客户端的物理内存的占用率，快速导出网管系统中的数据，提高Web网管客户端的性能，有效提升用户体验。

本发明提供一种基于RIA的Web网管客户端的大数据快速导出方法，包括以下步骤：

A、Web网管客户端初始化后，在用户的指示下，根据Web网管客户端从服务器端统计的数据量，评估待导出数据的规模，在Web网管客户端的硬盘中创建用于存储数据的独立存储区；

B、检测独立存储区是否已启用，若未启用，则启用独立存储区，并重新检测独立存储区是否已启用，以确认独立存储区已经开启；若已启用，则判断独立存储区中是否有旧的数据文件，若是，则删除独立存储区中旧的数据文件，并重新判断独立存储区中是否有旧的数据文件，以确认独立存储区中没有旧的数据文件；否则，根据待导出数据的规模，判断独立存储区的空间配额大小是否足够，若大小足够，则结束检测；否则，计算独立存储区需增加的空间；根据独立存储区需增加的空间，在用户操作界面显示扩容信息；待用户确认扩容信息后，对独立存储区进行扩容；

C、根据待导出数据的规模，确定Web网管客户端从服务器端每次获取数据量的大小，计算获取的次数；按照获取的次数，分批从服务器端获取数据；对获取的数据按照设置的条数进行分组，并对组进行编号，将获取的数据按编号分批缓存在独立存储区中，以保证独立存储区中的数据存放有序；

D、按编号从独立存储区中分批读取缓存的数据，直到读取数据完毕；按照导出数据的格式要求，对读取的数据进行格式转化；

E、按照导出数据的格式要求，在Web网管客户端的内存中建立统计报表，并确定统计报表的最大容纳量；将格式转化后的数据按编号分批导出，保存在统计报表中，直至当前统计报表中的数据量达到统计报表的最大容纳量，在Web网管客户端的内存中新建统计报表，并按顺序给新建的统计报表命名，将格式转化后的数据继续分批导出，保存在新建的统计报表中，直至导出完毕；删除独立存储区中缓存的数据。

在上述技术方案的基础上，步骤A中还包括以下步骤：用户仅在首次使用时指示创建独立存储区；用户再次使用时，不再指示创建独立存储区，Web网管客户端初始化后，直接转到步骤B。

在上述技术方案的基础上，步骤C中所述获取的次数＝待导出数据的规模÷Web网管客户端从服务器端每次获取数据量的大小。

在上述技术方案的基础上，步骤C中所述Web网管客户端从服务器端每次获取数据量的大小为1000条；步骤C中对获取的数据按照每组200条进行分组。

在上述技术方案的基础上，步骤E中所述统计报表的最大容纳量为10000条。

本发明还提供一种基于RIA的Web网管客户端的大数据快速导出系统，包括Web网管客户端和服务器端，所述Web网管客户端包括创建单元、检测单元、扩容单元、获取单元、缓存单元、读取单元、格式转换单元、建表单元、导出单元、清理单元，其中：

所述创建单元用于：Web网管客户端初始化后，在用户的指示下，根据Web网管客户端从服务器端统计的数据量，评估待导出数据的规模，在Web网管客户端中创建用于存储数据的独立存储区；

所述检测单元用于：检测独立存储区是否已启用，若未启用，则启用独立存储区，并重新检测独立存储区是否已启用，以确认独立存储区已经开启；若已启用，则检测独立存储区中是否有旧的数据文件，若是，则删除独立存储区中旧的数据文件，并重新检测独立存储区中是否有旧的数据文件，以确认独立存储区中无旧的数据文件；否则，根据待导出数据的规模，检测独立存储区的空间配额大小是否足够，若大小足够，则结束检测；否则，计算独立存储区需增加的空间；

所述扩容单元用于：根据独立存储区需增加的空间，在用户操作界面显示扩容信息；待用户确认扩容信息后，对独立存储区进行扩容；

所述获取单元用于：根据待导出数据的规模，确定Web网管客户端从服务器端每次获取数据量的大小，计算获取的次数；按照获取的次数，分批从服务器端获取数据；

所述缓存单元用于：对获取的数据按照设置的条数进行分组，并对组进行编号，将获取的数据按编号分批缓存在独立存储区中，以保证独立存储区中的数据存放有序；

所述读取单元用于：按编号从独立存储区中分批读取缓存的数据，直到读取数据完毕；

所述格式转换单元，用于：按照导出数据的格式要求，对读取的数据进行格式转化；

所述建表单元用于：按照导出数据的格式要求，在Web网管客户端的内存中建立统计报表，并确定统计报表的最大容纳量；

所述导出单元用于：将格式转化后的数据按编号分批导出，保存在统计报表中，直至当前统计报表中的数据量达到统计报表的最大容纳量，导出单元指示建表单元在Web网管客户端的内存中新建统计报表，并按顺序给新建的统计报表命名，导出单元将格式转化后的数据继续分批导出，保存在新建的统计报表中，直至导出完毕，生成一个清理指示信号，发送到清理单元；

所述清理单元用于：接收到导出单元发来的清理指示信号时，删除独立存储区中缓存的数据。

在上述技术方案的基础上，所述用户的指示是指用户仅在首次使用时指示创建独立存储区，用户再次使用时，不再指示创建独立存储区。

在上述技术方案的基础上，所述获取的次数＝待导出数据的规模÷Web网管客户端从服务器端每次获取数据量的大小。

在上述技术方案的基础上，所述Web网管客户端从服务器端每次获取数据量的大小为1000条，所述缓存单元对获取的数据按照每组200条进行分组。

在上述技术方案的基础上，所述统计报表的最大容纳量为10000条。

与现有技术相比，本发明的优点如下：

(1)与现有技术中将数据全部保存在Web网管客户端的缓存中相比，本发明将要导出的数据临时存放在Web网管客户端硬盘中的独立存储区内，然后再将独立存储区中的数据导出到统计报表中，独立存储区中缓存的数据导出完成之后就释放，占用空间较少。本发明能够减少Web网管客户端的物理内存的占用率，快速导出网管系统中的数据，提高Web网管客户端的性能。

(2)与现有技术中的Web网管客户端要手工多次调用服务器端获取数据相比，本发明只需在Web网管客户端导出所有的统计报表，就能自动从Web服务器端获取用户所需要的所有数据。因此，本发明能显著减少用户的操作，得到需要的所有数据，有效提升用户体验。

附图说明

图1是本发明实施例中基于RIA的Web网管客户端的大数据快速导出方法的流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细描述。

参见图1所示，本发明实施例提供一种基于RIA的Web网管客户端的大数据快速导出方法，包括以下步骤：

S1、Web网管客户端初始化后，在用户的指示下，根据Web网管客户端从服务器端统计的数据量，评估待导出数据的规模，在Web网管客户端的硬盘中创建用于存储数据的独立存储区；用户一般仅在首次使用时指示创建独立存储区；用户再次使用时，不再指示创建独立存储区，Web网管客户端初始化后，直接转到步骤S2；

S2、检测独立存储区是否已启用，若未启用，则启用独立存储区，并重新检测独立存储区是否已启用，以确认独立存储区已经开启；若已启用，则判断独立存储区中是否有旧的数据文件，若是，则删除独立存储区中旧的数据文件，并重新判断独立存储区中是否有旧的数据文件，以确认独立存储区中没有旧的数据文件；否则，根据待导出数据的规模，判断独立存储区的空间配额大小是否足够，若大小足够，则结束检测；否则，计算独立存储区需增加的空间；

S3、根据独立存储区需增加的空间，在用户操作界面显示扩容信息；待用户确认扩容信息后，对独立存储区进行扩容；

S4、根据待导出数据的规模，确定Web网管客户端从服务器端每次获取数据量的大小(例如1000条)，计算获取的次数：获取的次数＝待导出数据的规模÷Web网管客户端从服务器端每次获取数据量的大小；按照获取的次数，分批从服务器端获取数据；

S5、对获取的数据按照设置的条数(例如：每组200条)进行分组，并对组进行编号，将获取的数据按编号分批缓存在独立存储区中，以保证独立存储区中的数据存放有序；

S6、按编号从独立存储区中分批读取缓存的数据，直到读取数据完毕；

S7、按照导出数据的格式要求，对读取的数据进行格式转化，具体包括日期格式、名称显示格式等；

S8、按照导出数据的格式要求，在Web网管客户端的内存中建立统计报表，并确定统计报表的最大容纳量(例如10000条)；

S9、将格式转化后的数据按编号分批导出，保存在统计报表中，直至当前统计报表中的数据量达到统计报表的最大容纳量，在Web网管客户端的内存中新建统计报表，并按顺序给新建的统计报表命名，将格式转化后的数据继续分批导出，保存在新建的统计报表中，直至导出完毕；

S10、删除独立存储区中缓存的数据。

本发明实施例还提供一种基于RIA的Web网管客户端的大数据快速导出系统，包括Web网管客户端和服务器端，Web网管客户端包括创建单元、检测单元、扩容单元、获取单元、缓存单元、读取单元、格式转换单元、建表单元、导出单元、清理单元，其中：

创建单元用于：Web网管客户端初始化后，在用户的指示下，根据Web网管客户端从服务器端统计的数据量，评估待导出数据的规模，在Web网管客户端的硬盘中创建用于存储数据的独立存储区；用户一般仅在首次使用时，指示创建独立存储区，用户再次使用时，不再指示创建独立存储区；

检测单元用于：检测独立存储区是否已启用，若未启用，则启用独立存储区，并重新检测独立存储区是否已启用，以确认独立存储区已经开启；若已启用，则检测独立存储区中是否有旧的数据文件，若是，则删除独立存储区中旧的数据文件，并重新检测独立存储区中是否有旧的数据文件，以确认独立存储区中无旧的数据文件；否则，根据待导出数据的规模，检测独立存储区的空间配额大小是否足够，若大小足够，则结束检测；否则，计算独立存储区需增加的空间；

扩容单元用于：根据独立存储区需增加的空间，在用户操作界面显示扩容信息；待用户确认扩容信息后，对独立存储区进行扩容；

获取单元用于：根据待导出数据的规模，确定Web网管客户端从服务器端每次获取数据量的大小(例如1000条)，计算获取的次数：获取的次数＝待导出数据的规模÷Web网管客户端从服务器端每次获取数据量的大小；按照获取的次数，分批从服务器端获取数据；

缓存单元用于：对获取的数据按照设置的条数(例如：每组200条)进行分组，并对组进行编号，将获取的数据按编号分批缓存在独立存储区中，以保证独立存储区中的数据存放有序；

读取单元用于：按编号从独立存储区中分批读取缓存的数据，直到读取数据完毕；

格式转换单元，用于：按照导出数据的格式要求，对读取的数据进行格式转化，具体包括日期格式，名称显示格式等；

建表单元用于：按照导出数据的格式要求，在Web网管客户端的内存中建立统计报表，并确定统计报表的最大容纳量(例如10000条)；

导出单元用于：将格式转化后的数据按编号分批导出，保存在统计报表中，直至当前统计报表中的数据量达到统计报表的最大容纳量，导出单元指示建表单元在Web网管客户端的内存中新建统计报表，并按顺序给新建的统计报表命名，导出单元将格式转化后的数据继续分批导出，保存在新建的统计报表中，直至导出完毕，生成一个清理指示信号，发送到清理单元；

清理单元用于：接收到导出单元发来的清理指示信号时，删除独立存储区中缓存的数据。

本发明实施例可以采用MicrosoftSilverlight作为RIA(RichInternetApplication，富互联网应用)富客户端的开发技术。Silverlight应用程序为Web网管客户端提供一个安全的独立存储区域，在代码与保存的数据之间定义了标准化的关联机制，它是一个与Cookie机制类似的信任机制，可以为数据提供很好的隔离性和安全性。

本发明实施例中的独立存储区是在Web网管客户端的硬盘上单独划分出的一块存储区域，它包括一个或多个独立的存储文件，称为独立存储区文件，独立存储区文件中包含存储数据的实际目录位置，任何类型的数据均可以储存至独立存储区中。

对独立存储区进行扩容之前，为了防止待缓存数据的规模大小与实际情况不符，Web网管客户端会在用户操作界面提示扩容信息，并等待用户确认扩容后，对独立存储区进行扩容。

本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。

说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (10)

1.一种基于RIA的Web网管客户端的大数据快速导出方法，其特征在于，包括以下步骤：

A、Web网管客户端初始化后，在用户的指示下，根据Web网管客户端从服务器端统计的数据量，评估待导出数据的规模，在Web网管客户端的硬盘中创建用于存储数据的独立存储区；

B、检测独立存储区是否已启用，若未启用，则启用独立存储区，并重新检测独立存储区是否已启用，以确认独立存储区已经开启；若已启用，则判断独立存储区中是否有旧的数据文件，若是，则删除独立存储区中旧的数据文件，并重新判断独立存储区中是否有旧的数据文件，以确认独立存储区中没有旧的数据文件；否则，根据待导出数据的规模，判断独立存储区的空间配额大小是否足够，若大小足够，则结束检测；否则，计算独立存储区需增加的空间；根据独立存储区需增加的空间，在用户操作界面显示扩容信息；待用户确认扩容信息后，对独立存储区进行扩容；

C、根据待导出数据的规模，确定Web网管客户端从服务器端每次获取数据量的大小，计算获取的次数；按照获取的次数，分批从服务器端获取数据；对获取的数据按照设置的条数进行分组，并对组进行编号，将获取的数据按编号分批缓存在独立存储区中，以保证独立存储区中的数据存放有序；

D、按编号从独立存储区中分批读取缓存的数据，直到读取数据完毕；按照导出数据的格式要求，对读取的数据进行格式转化；

E、按照导出数据的格式要求，在Web网管客户端的内存中建立统计报表，并确定统计报表的最大容纳量；将格式转化后的数据按编号分批导出，保存在统计报表中，直至当前统计报表中的数据量达到统计报表的最大容纳量，在Web网管客户端的内存中新建统计报表，并按顺序给新建的统计报表命名，将格式转化后的数据继续分批导出，保存在新建的统计报表中，直至导出完毕；删除独立存储区中缓存的数据。

2.如权利要求1所述的基于RIA的Web网管客户端的大数据快速导出方法，其特征在于：步骤A中还包括以下步骤：用户仅在首次使用时指示创建独立存储区；用户再次使用时，不再指示创建独立存储区，Web网管客户端初始化后，直接转到步骤B。

3.如权利要求1所述的基于RIA的Web网管客户端的大数据快速导出方法，其特征在于：步骤C中所述获取的次数＝待导出数据的规模÷Web网管客户端从服务器端每次获取数据量的大小。

4.如权利要求1至3中任一项所述的基于RIA的Web网管客户端的大数据快速导出方法，其特征在于：步骤C中所述Web网管客户端从服务器端每次获取数据量的大小为1000条；步骤C中对获取的数据按照每组200条进行分组。

5.如权利要求4所述的基于RIA的Web网管客户端的大数据快速导出方法，其特征在于：步骤E中所述统计报表的最大容纳量为10000条。

6.一种基于RIA的Web网管客户端的大数据快速导出系统，包括Web网管客户端和服务器端，其特征在于：所述Web网管客户端包括创建单元、检测单元、扩容单元、获取单元、缓存单元、读取单元、格式转换单元、建表单元、导出单元、清理单元，其中：

所述创建单元用于：Web网管客户端初始化后，在用户的指示下，根据Web网管客户端从服务器端统计的数据量，评估待导出数据的规模，在Web网管客户端中创建用于存储数据的独立存储区；

所述检测单元用于：检测独立存储区是否已启用，若未启用，则启用独立存储区，并重新检测独立存储区是否已启用，以确认独立存储区已经开启；若已启用，则检测独立存储区中是否有旧的数据文件，若是，则删除独立存储区中旧的数据文件，并重新检测独立存储区中是否有旧的数据文件，以确认独立存储区中无旧的数据文件；否则，根据待导出数据的规模，检测独立存储区的空间配额大小是否足够，若大小足够，则结束检测；否则，计算独立存储区需增加的空间；

所述扩容单元用于：根据独立存储区需增加的空间，在用户操作界面显示扩容信息；待用户确认扩容信息后，对独立存储区进行扩容；

所述获取单元用于：根据待导出数据的规模，确定Web网管客户端从服务器端每次获取数据量的大小，计算获取的次数；按照获取的次数，分批从服务器端获取数据；

所述缓存单元用于：对获取的数据按照设置的条数进行分组，并对组进行编号，将获取的数据按编号分批缓存在独立存储区中，以保证独立存储区中的数据存放有序；

所述读取单元用于：按编号从独立存储区中分批读取缓存的数据，直到读取数据完毕；

所述格式转换单元，用于：按照导出数据的格式要求，对读取的数据进行格式转化；

所述建表单元用于：按照导出数据的格式要求，在Web网管客户端的内存中建立统计报表，并确定统计报表的最大容纳量；

所述导出单元用于：将格式转化后的数据按编号分批导出，保存在统计报表中，直至当前统计报表中的数据量达到统计报表的最大容纳量，导出单元指示建表单元在Web网管客户端的内存中新建统计报表，并按顺序给新建的统计报表命名，导出单元将格式转化后的数据继续分批导出，保存在新建的统计报表中，直至导出完毕，生成一个清理指示信号，发送到清理单元；

所述清理单元用于：接收到导出单元发来的清理指示信号时，删除独立存储区中缓存的数据。

7.如权利要求6所述的基于RIA的Web网管客户端的大数据快速导出系统，其特征在于：所述用户的指示是指用户仅在首次使用时指示创建独立存储区，用户再次使用时，不再指示创建独立存储区。

8.如权利要求6所述的基于RIA的Web网管客户端的大数据快速导出系统，其特征在于：所述获取的次数＝待导出数据的规模÷Web网管客户端从服务器端每次获取数据量的大小。

9.如权利要求6至8中任一项所述的基于RIA的Web网管客户端的大数据快速导出系统，其特征在于：所述Web网管客户端从服务器端每次获取数据量的大小为1000条，所述缓存单元对获取的数据按照每组200条进行分组。

10.如权利要求9所述的基于RIA的Web网管客户端的大数据快速导出系统，其特征在于：所述统计报表的最大容纳量为10000条。