CN101958916A

CN101958916A - 一种基于富客户端应用的数据处理方法及装置

Info

Publication number: CN101958916A
Application number: CN2009101591544A
Authority: CN
Inventors: 杜文哲
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2009-07-17
Filing date: 2009-07-17
Publication date: 2011-01-26

Abstract

本发明提供一种基于富客户端应用的数据处理方法及装置，所述方法包括：接收来自客户端的第一数据请求；如果该第一数据请求是新请求，则根据客户端的能力参数计算允许传输的数据量；向服务器发送第二数据请求，该第二数据请求中携带所述允许传输的数据量；接收服务器返回的数据，该数据的数据量为允许传输的数据量；将服务器返回的数据进行标准化处理并进行存储；向客户端发送一次界面显示需要的数据量。本发明实施例在富客户端应用的环境下，充分利用客户端的优势，在不影响网络性能的前提下，快速将大数据传送到客户端，并减少对服务器的请求，提高服务器的响应速度。

Description

一种基于富客户端应用的数据处理方法及装置

技术领域

本发明涉及数据通信技术，尤其是涉及一种基于富客户端应用的数据处理方法及装置。

背景技术

传统B/S(浏览器和服务器)网络程序的开发是基于页面的、服务器端数据传递的模式，把网络程序的表示层建立于HTML页面之上，而HTML只是适合于文本的，过于单调的用户体验以及与服务器端交互性能不能满足网络浏览者的更高的、全方位的体验要求。

富因特网应用(RIA，Rich Interface Applications)，又称富客户端应用，是下一代的将桌面应用程序的交互的用户体验与传统的Web应用的部署灵活性和成本分析结合起来的网络应用程序。该应用程序从网络下载到本机，可以在浏览器中运行，也可以脱离浏览器直接在操作系统下运行。相对于传统的Web应用，富客户端应用主要特点是丰富的界面效果。富客户端应用提供可承载已编译客户端应用程序的运行环境，使用异步客户/服务器架构连接现有的后端应用服务器，是一种安全、可升级、具有良好适应性的新的面向服务模型。结合了声音、视频和实时对话的综合通信技术使富客户端应用具有前所未有的网上用户体验。

RIA相对于传统的HTML页面的优点是程序运行于客户端并且程序更多地是和用户进行交互同时更少地和服务器进行交互。平衡客户端和服务器端的复杂的数据模型可以有更大的空间去创建更高效和更具有交互性的网络应用程序。同时，减少频繁的服务器请求和页面刷新，可以有效地提高网络带宽和服务器的响应速度。

现行RIA环境中，客户端上的富客户端应用模块，如FLASH模块，处理大数据量的方法基本采用了与传统的B/S结构请求方式一致的方法，即采用分页技术，在请求的过程中由服务器根据查询结果集的大小和系统参数表中固定的每页条数，去计算总页数，并返回给客户端固定条数的结果集数据。例如：如果要传送10万条记录，每次返回50条的话，则需要请求2000次，这给服务器带来很大压力。这种方式的处理，会造成多余的网络带宽资源的浪费。

因此，在富客户端应用的环境中，如何处理大数据量，以将数据尽可能多地传送到客户端，发挥客户端的运算能力，提高系统的响应速度，是急需要解决的技术难题。

发明内容

本发明实施例提供一种基于富客户端应用的数据处理方法及装置，以充分利用客户端性能优势，减少对服务器的请求，提高服务器的响应速度。

根据本发明的一方面，提供一种基于富客户端应用的数据处理方法，该方法包括：

接收来自客户端的第一数据请求；

如果该第一数据请求是新请求，则根据客户端的能力参数确定允许传输的数据量；

向服务器发送第二数据请求，该第二数据请求中携带所述允许传输的数据量；

接收服务器返回的数据，该数据的数据量为允许传输的数据量；

将服务器返回的数据进行标准化处理并进行存储；

向客户端发送一次界面显示需要的数据量。

根据本发明的另一方面，还提供一种基于富客户端应用的数据处理装置，该装置包括：

请求接收单元，用于接收来自客户端的第一数据请求；

计算单元，如果该第一数据请求是新请求，则根据客户端的能力参数确定允许传输的数据量；

数据请求单元，向服务器发送第二数据请求，该第二数据请求中携带所述允许传输的数据量；

数据接收单元，接收服务器返回的数据，该数据的数据量为允许传输的数据量；

标准化处理单元，用于将服务器返回的数据进行标准化处理；

数据发送单元，用于向客户端发送一次界面显示需要的数据量。

本发明实施例的方法和装置，在富客户端应用的环境下，充分利用客户端的优势，在不影响网络性能的前提下，快速将大数据传送到客户端，并减少对服务器的请求，提高服务器的响应速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例的基于富客户端应用的数据处理方法流程图；

图2为本发明另一实施例的基于富客户端应用的数据处理方法流程图；

图3为本发明一实施例的基于富客户端应用的数据处理装置结构图；

图4为本发明另一实施例的基于富客户端应用的数据处理装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一实施例提供一种基于富客户端应用的数据处理方法。该方法的流程如图1所示，包括如下步骤：

步骤100，客户端数据集模块接收来自客户端的第一数据请求。

具体地，可接收来自客户端上的富客户端应用模块的第一数据请求。

该第一数据请求中可携带请求时间、请求的客户端标识、请求标志及各种业务参数等参数。

本实施例中，客户端上的所述富客户端应用模块可以是使用FLASH、Java SWT(Java Standard Widget Toolkit，爪哇标准部件工具箱)、EXT等技术进行构造，但本发明并不限于此。其中，Flash技术是一种交互式矢量多媒体技术，利用FLASH技术的客户端可以将音乐、声效、动画以及富有新意的界面融合在一起，以制作出高品质的网页动态效果；javaSWT是sun公司推出的桌面应用包，利用他可以开发出跨平台的C/S结构的富客户端的桌面应用模块；EXT是一套成熟的富客户端组件，利用EXT可以快速搭建出B/S结构的富客户端应用模块，提高了开发效率。本实施例中，上述使用FLASH、JavaSWT或EXT等技术进行构造的富客户端应用模块可分别称为FLASH模块、JavaSWT模块或EXT模块。

步骤110，如果该第一数据请求是新请求，则根据客户端的能力参数计算允许传输的数据量。

客户端数据集模块根据第一数据请求携带的部分或全部参数可以生成一个唯一标识，或称关键字(key)，根据该关键字是否是新的关键字则可以判断该请求是否为新的请求。生成关键字的方式没有严格的规定，只要客户端和服务端采用相同的算法就可以了。如最简单的关键字例如可以是：“2009:03:12 18:00 #10.125.34.8#1#业务参数”。根据生成的关键字是否是新的就可以判断该第一数据请求是否是新请求。

如果新接收的请求对应的关键字与已请求过的请求对应的关键字相同，就认为该新接收的请求是已经请求过的旧请求，此时可执行步骤160，直接从本地存储的数据集中返回请求结果。

如果新接收的请求对应的关键字与已请求过的请求对应的关键字都不同，认为该新接收的请求是新的数据请求，此时客户端数据集则收集客户端的系统能力参数，根据该系统能力参数确定合适的允许传输的数据量。本实施例中，客户端数据集模块可以通过调用客户端操作系统的API函数或执行shell脚本收集得到客户端的系统能力参数。

其中，所述系统能力参数可包括客户端的可用内存、输入输出吞吐量、网络带宽和/或CPU占有率等。根据系统能力参数确定合适的允许传输的数据量的方式有多种，在后面的实施例中将会作更详细的举例说明。

假设确定的允许传输的数据量为2M Byte，如果每条记录为0.5K Byte，那么每次可以接收的数据量转换为条数就应该是4000条。10万条记录传送就只需要与服务器交换25次就可以完成数据的请求。

步骤120，向服务器发送第二数据请求，该第二数据请求中携带所述允许传输的数据量信息。

所述数据量信息例如为4000条/次。

该第二数据请求除携带数据量信息外，还可携带客户端结果集根据上述第一数据请求生成的关键字或者直接携带上述第一数据请求中的参数，如请求时间、请求的客户端标识、请求标志及各种业务参数等。

如果携带的是关键字，如“2009:03:12 18:00 #10.125.34.8#1#业务参数”，其中，“2009:03:12 18:00”表示请求时间，“10.125.34.8”表示发送该请求的客户端的地址标识，“1”表示请求标志，服务器通过解析“#”这个标志就可以解析出从客户端传过来的请求时间、请求的客户端标识、请求标志及各种业务参数。

本实施例中，所述服务器例如为业务分析支撑系统(BASS，Business Analyses Support System)。

步骤130，接收服务器返回的数据，返回的数据量为允许传输的数据量，例如4000条。

步骤140，将服务器返回的数据进行标准化处理。

本发明实施例中，将返回的数据进行标准化处理是指将返回的数据格式化为标准的<XML>格式。

标准化的处理是为了使数据更加标准化，易于被读取。标准化后的数据可以被不同语言所编写的应用程序所调用，如java/C++/dephli等，对外提供的数据接口将不依赖开发语言的限制，能最大限度地实现跨平台特性。

本发明实施例中，可同时对标准化处理后的数据进行存储，即进行持久化处理。

持久化(Persistence)，即把数据保存到可永久保存的存储设备，如磁盘中。持久化的主要应用是将数据存储在关系型的数据库中，当然也可以存储在磁盘文件中、XML数据文件中等等。

步骤150，向客户端发送一次显示需要的数据量。

具体地，数据格式化后，可向客户端的富客户端应用模块发送一次界面显示需要的数据量，例如，如果客户端显示界面一次显示50条记录，则只向富客户端应用模块发送50条记录，而不是传送过来的4000条记录。

在本发明另一实施例中，在向富客户端应用模块发送一次显示需要的数据量后，会等待富客户端应用模块的下一个数据请求。如果富客户端应用模块需要显示下一页或某一页数据，即下一个50条记录或某一个50条记录，富客户端应用模块会重新发送用于请求下一页或某一页数据的数据请求，该数据请求中携带要显示的数据的页码。接收到来自富客户端应用模块的数据请求后，如果根据该数据请求对应的关键字判断该请求为旧请求，则可直接从本地存储的数据集中向富客户端应用模块返回请求的结果。

本发明实施例中，如果服务器一次返回的数据不是所请求的全部数据，即，所请求的数据不能一次接收完毕，则在执行步骤120的同时或之后，启动后台调度，并于启动后台调度后重复向BASS异步发送数据请求，请求后续的数据，以使BASS分批次地返回余下的数据。

通过本发明实施例的如上方法，在接收到富客户端应用模块的数据请求时，可以动态确定客户端当前可以接收的数据量，在不影响网络性能的前提下，可以在短时间内完成将大数据量的传送到客户端，从而可以充分利用客户端自我的运算能力，减少对服务器的请求，提高服务器的响应速度。并且，本发明实施例还可以同时启动调度，进行异步数据装载，整个过程全部自动执行。

本发明另一实施例还提供一种基于富客户端应用的数据处理方法。本实施例的方法的部分或全部步骤可以由预先安装在客户端的数据集模块来实现。该方法的流程如图2所示，包括如下步骤：

步骤210、客户端数据集模块接收来自FLASH的数据请求。

步骤220a，如果接收的来自FLASH的请求是旧的请求，则直接从本地数据集中获取FLASH请求的数据，向FLASH返回请求结果。

本发明实施例中，客户端数据集模块根据来自FLASH的请求中携带的参数可以判断该请求是否为新的请求。例如，根据请求中携带的部分或全部参数可以生成一个关键字，根据请求对应的关键字是否是新的关键字则可以判断该请求是否为新的请求。如果新接收的请求对应的关键字与已请求过的请求对应的关键字相同，就认为该新接收的请求是已经请求过的旧请求，此时可直接从本地存储的数据集中返回请求结果。

本发明实施例中，向FLASH返回的请求结果为<XML>标准格式。

步骤220b，如果是新请求，则客户端数据集模块收集客户端的系统能力参数，并根据收集的系统能力参数，运算生成合适的允许传输的数据量。

此处，所述允许传输的数据量是指客户端数据集模块每次能够从BASS接收的数据量。

本实施例中，所述系统能力参数可包括客户端的可用内存、输入输出吞吐量、网络带宽和/或CPU占有率等。根据系统能力参数确定合适的允许传输的数据量的方式有多种，例如，可以根据可用内存、输入输出吞吐量、网络带宽及CPU占有率这四个系统能力参数，可按照如下公式计算动态的允许传输的数据量：

Req＝Min(Mem*M％，IO吞吐量*N％，NET*Q％)*(1-C％)；

其中，Req表示每次请求的数据量，单位可为MB；Mem表示可用内存，单位可为MB；M％表示可用内存使用系数；IO表示输入输出(IO)吞吐量，单位可为MB/Sec；N％可表示IO吞吐量使用系数；NET表示网络带宽，单位可为MB/Sec；Q％表示网络带宽使用系数；C％表示CPU占有率。Min(Mem*M％，IO吞吐量(M)*N％，NET*Q％)表示取Mem*M％、IO吞吐量(M)*N％及NET*Q％中的最小值。

本发明一实施例中，M％的经验值取10％，N％的经验值取20％，Q％的经验值取5％，C％的取值范围为[0，0.8]，以上数值仅为举例，本发明并不限于此，上述各系数及CPU占有率完全还可以设置其他的数值。

在本发明其他实施例中，完全还可以根据可用内存、输入输出吞吐量、网络带宽及CPU占有率中的任一个、两个或三个参数来确定当前允许传输的数据量。仅举例如下：

Req＝Mem*M％；或者

Req＝IO吞吐量*N％；或者

Req＝NET*Q％；或者

Req＝Mem*M％*(1-C％)；或者

Req＝IO吞吐量*N％*(1-C％)；或者

Req＝NET*Q％*(1-C％)。

本发明另一实施例中，每次允许传输的数据量的单位还可以为条数。假设确定的允许传输的数据量为2MB，如果每条记录为0.5KB，那么每次可以接收的数据量转换为条数就应该是4000条。10万条记录的数据只需要与服务器交换25次就可以完成全部数据的请求。

步骤230，客户端数据集模块向BASS发送数据请求，以向BASS请求数据，该数据请求中携带在步骤220b中计算的允许传输的数据量参数及关键字信息。

步骤240，BASS执行数据库查询。

即，BASS向数据库查询结果集。

步骤250，数据库返回执行结果。

即BASS接收数据库返回的结果集。

步骤260，BASS向客户端数据集模块中写入1次请求需要的数据量，即客户端数据集模块允许传输的数据量，如4000条。

步骤270，客户端数据集模块将数据进行标准化处理及持久化存储，并返回给FLASH一次需要显示的数据，如只显示50条。

如果需要显示下一50条记录的话，重复执行步骤210～步骤220a。

本步骤中，所述将数据进行标准化处理是指将数据格式化为标准<XML>格式。

本发明一实施例中，标准<XML>格式定义如下：

<？xml version＝″1.0″encoding＝″UTF-8″？>

<root>

<！--字段属性块-->

<datatype desc＝″字段类型″>[long/double/string]</datatype>

<！--当前key值有：[暂无可用的key]-->

</field>

</fields>

<！--数据块-->

<！--当前key值有：[alertLevel(KPI预警等级)]-->

</cell>

</record>

</data>

</dataSource>

<！--维度块-->

<！--name：维度的名称-->

</dimension>

</dimensions>

<！--量度块-->

<！--name：量度的名称-->

</measure>

</measures>

</table>

<！--扩展信息块-->

</extend>

</root>

本发明实施例中，如果服务器一次返回的数据不是所请求的全部数据，即，所请求的数据不能一次接收完毕，则在执行步骤230的同时或以后，由客户端数据集模块启动后台调度，由后台调度程序接管后续数据传送过程。此时还包括：

步骤280，通过调度程序，采用异步方式，自动从后台向BASS发送异步请求数据。

步骤290，客户端数据集模块接收BASS返回的数据。

步骤300、客户端数据集将BASS返回的数据进行标准化处理，格式化为<XML>格式，并进行存储。

重复执行步骤280～300，直到整个数据请求完毕为止。在执行步骤280～300过程中，客户端数据集模块等待下一次从FLASH发送过来的请求，以实时响应FLASH的请求，向FLASH返回数据。

本技术方案可以在富客户端应用程序环境下，充分利用了客户端机器性能参数，实现了动态请求，并将请求的数据以标准的XML方式进行持久化存储，实现了客户端显示和数据请求的分离，并大大提高服务器的响应速度。

本发明实施例还提供一种基于富客户端应用的数据处理装置，如图3所示，该装置300包括：

请求接收单元310，用于接收来自客户端的第一数据请求。

具体地，可接收来自客户端的富客户端应用模块的第一数据请求；

计算单元320，如果该第一数据请求是新请求，则根据客户端的能力参数计算允许传输的数据量；

根据第一数据请求携带的部分或全部参数可以生成一个唯一标识，或称关键字(key)，根据该关键字是否是新的关键字则可以判断该请求是否为新的请求。

本实施例中，客户端的能力参数可包括客户端的可用内存、输入输出吞吐量、网络带宽和/或CPU占有率等。计算单元320可根据可用内存、输入输出吞吐量、网络带宽及CPU占有率中的一个或多个参数来确定当前允许传输的数据量。

数据请求单元330，向服务器发送第二数据请求，该第二数据请求中携带所述允许传输的数据量，如2MB或4000条记录；

数据接收单元340，接收服务器返回的数据，该数据的数据量为允许传输的数据量；

标准化处理单元350，用于将服务器返回的数据进行标准化处理；

本实施例中，所述标准化处理是指将数据格式化为标准<XML>格式。

数据发送单元360，用于向客户端，如富客户端应用模块，发送一次界面显示需要的数据量，如25K Byte或50条记录。

本发明另一实施例中，如图4所示，所述数据发送单元还包括：

数据发送子单元，用于在来自客户端的第一数据请求为旧请求时，从本地的数据集中向客户端返回请求的结果。

本发明另一实施例中，如图4所示，所述装置还包括：

后台调用单元370，用于在服务器未返回所述第二数据请求所请求的所有数据时，通过后台调用所述数据请求单元向服务器请求后续数据。

本发明实施例的装置，可以设置在客户端，该装置在富客户端应用的环境下，充分利用客户端的优势，在不影响网络性能的前提下，能够快速将大数据传送到客户端，并减少对服务器的请求，提高服务器的响应速度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读取存储介质中，比如ROM/RAM、磁碟、光盘等。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于富客户端应用的数据处理方法，其特征在于，包括：

接收来自客户端的第一数据请求；

将服务器返回的数据进行标准化处理；

向客户端发送一次界面显示需要的数据量。

2.根据权利要求1所述的方法，其特征在于，还包括，后台执行如下步骤，直至接收完毕所述第二数据请求所请求的所有数据：

向服务器发送后续数据请求，该后续数据请求中携带允许传输的数据量；

将服务器返回的数据进行标准化处理。

3.根据权利要求1所述的方法，其特征在于，还包括：

如果来自客户端的第一数据请求是旧请求，则根据存储的数据向客户端返回请求的结果。

4.根据权利要求1所述的方法，其特征在于，所述能力参数包括：

客户端的可用内存、输入输出吞吐量、网络带宽和/或CPU占有率。

5.根据权利要求1所述的方法，其特征在于，所述根据客户端的能力参数确定允许传输的数据量包括：

根据如下公式计算允许传输的数据量Req：

Req＝Min(Mem*M％，IO吞吐量(M)*N％，NET*Q％)*(1-C％)；

其中，Mem表示可用内存，M％表示可用内存使用系数；IO表示输入输出吞吐量，N％表示输入输出吞吐量使用系数，NET表示网络带宽，Q％表示网络带宽使用系数，C％表示CPU占有率。

6.根据权利要求1所述的方法，其特征在于：

所述将服务器返回的数据进行标准化处理包括将服务器返回的数据格式化为预定的<XML>格式。

7.一种基于富客户端应用的数据处理装置，其特征在于，包括：

请求接收单元，用于接收来自客户端的第一数据请求；

8.根据权利要求7所述的装置，其特征在于，该装置还包括：

数据存储单元，用于将标准化处理后的数据进行存储。

9.根据权利要求7所述的装置，其特征在于，所述数据发送单元还包括：

数据发送子单元，用于在来自客户端的第一数据请求为旧请求时，从存储的数据集中向客户端返回请求的结果。

10.根据权利要求7所述的装置，其特征在于，还包括：

后台调用单元，用于在服务器未返回所述第二数据请求所请求的所有数据时，通过后台调用所述数据请求单元向服务器请求后续数据。