CN102279884A - 基于Web页面进行数据采集和展现的方法、系统及Web服务器 - Google Patents

Abstract

本发明公开了一种基于Web页面进行数据采集和展现的方法、系统及Web服务器，其中，所述方法包括：接收用户的http请求；根据预设的参数设置值对所述的http请求进行筛选；根据筛选后的http请求从数据库中获取相关数据；将所述获取到的相关数据组织成Json数据格式；将所述Json数据格式的数据发送到页面中进行显示。本发明对数据的采集不通过服务器间接口调用方式，而是由页面以异步http请求的形式直接获取数据并展现。页面同时可以采集多个数据源的数据，并能将这些数据按照应用需求关联起来显示给用户。因此，可将不相关的Web应用的信息无缝地快速整合起来，避免各Web应用之间需要通过接口的方式进行交互和整合，并降低了应用系统的耦合度，避免重复开发。

Description

基于Web页面进行数据采集和展现的方法、系统及Web服务器

技术领域

本发明涉及计算机数据处理技术领域，尤其涉及一种基于Web页面进行数据采集和展现的方法、系统及Web服务器。

背景技术

在信息化时代，企业不但需要想方设法从企业已有的信息资源中不断挖掘出新的信息，也需要从外部获取有用的信息，而企业本身的信息对于其他外部企业来说也可能是有用的信息。

目前，计算机Web应用之间的数据采集大多采用基于服务器的数据采集和展现方式实现，由应用服务器调用外部Web应用提供的接口获取数据。在数据展现方面，调用方是在获取数据之后依靠Jsp、Servlet和html等技术展现并通过http传输到用户的浏览器展示出来。

上述基于服务器的数据采集和展现方式面临下面几个问题：

首先，各个应用间耦合性较大，由于接口提供方和调用方之间存在复杂的通信标准、协议以及权限控制等保障机制，导致接口调用方过于依赖接口提供方，接口提供方的任何变动都可能导致所有调用方的波动，当接口提供方应用与接口调用方应用之间形成一个复杂的网状关联结构时，系统的稳定性很难得到保证。

其次，由于通过接口只能获取数据，因此调用方通过接口获取数据之后，调用方需要开发用户界面的展现逻辑，这不利于页面展现的统一，容易导致歧义。同时，由于无法获取展现样式、图片等信息，对一些主要提供数据展现的服务商来说，如提供地图服务的google，无法将它的地图信息通过接口提供给调用方。此外，由于接口提供方和调用方在实现技术和基础平台上的差异，可能导致部分接口调用请求不被支持，即不支持跨平台调用。如果要实现跨平台调用，那么各方都必须大规模修改本身的架构以实现一个统一的标准，如Web Service，这将严重影响接口服务的推广。

发明内容

本发明的目的即是提供一种基于Web页面进行数据采集和展现的方法、系统及Web服务器，以克服现有技术存在的接口调用方过于依赖接口提供方、系统稳定性差以及标准很难统一的技术缺陷。

为了达到上述目的，本发明实施例提供一种基于Web页面进行数据采集和展现的方法，包括：接收用户的http请求；根据预设的参数设置值对所述的http请求进行筛选；根据筛选后的http请求从数据库中获取相关数据；将所述获取到的相关数据组织成Json数据格式；将所述Json数据格式的数据发送到页面中进行显示。

本发明实施例还提供一种基于Web页面进行数据采集和展现的Web服务器，包括：http请求接入单元，用于接收用户的http请求；参数配置单元，用于配置最大并发请求数的参数设置值；请求控制单元，用于根据所述的参数设置值对所述的http请求进行筛选；数据获取单元，用于根据筛选后的http请求从数据库中获取相关数据；Json数据组织单元，用于将所述获取到的相关数据组织成Json数据格式；数据返回单元，用于将所述Json数据格式的数据发送到页面中进行显示。

本发明实施例还提供一种基于Web页面进行数据采集和展现的系统，包括Web服务器、页面展现装置以及Web页面提供装置；其中，

所述Web服务器包括：http请求接入单元，用于接收用户的http请求；参数配置单元，用于配置最大并发请求数的参数设置值；请求控制单元，用于根据所述的参数设置值对所述的http请求进行筛选；数据获取单元，用于根据筛选后的http请求从数据库中获取相关数据；Json数据组织单元，用于将所述获取到的相关数据组织成Json数据格式；及数据返回单元，用于将所述Json数据格式的数据发送到页面中进行显示；

所述Web展现装置包括：异步通信单元，用于发送所述用户的http请求到所述Web服务器；展现构造单元，用于将所述Json数据格式的数据进行展现构造，生成页面元素；及主控单元，用于相应用户在页面的操作，调用所述异步通信单元和所述展现构造单元；

所述Web页面提供装置包括：请求接入单元，用于接收用户发出的页面请求；请求处理单元，用于根据所述的页面请求获取对应的Web页面资源；及请求返回单元，用于将所述的Web页面返回到所述页面展现装置进行显示。

本发明实施例的基于Web页面进行数据采集和展现的方法、系统及Web服务器，对数据的采集不通过服务器间接口调用方式，而是由页面以异步http请求的形式直接获取数据并展现。页面的数据采集过程不需经过页面所属应用系统，页面同时可以采集多个数据源的数据，并能将这些数据按照应用需求关联起来显示给用户。因此，可将不相关的Web应用的信息无缝地快速整合起来，避免各Web应用之间需要通过接口的方式进行交互和整合，并降低了应用系统的耦合度，避免重复开发。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的基于Web页面进行数据采集和展现的方法的流程图；

图2为本发明的基于Web页面进行数据采集和展现的方法的另一种实施例的流程图；

图3所示为本发明实施例的基于Web页面进行数据采集和展现的系统的结构示意图；

图4所示为本发明实施例的基于Web页面进行数据采集和展现的系统的另一种实施例的结构示意图；

图5所示为本实施例中的页面展现装置1的结构示意图；

图6所示为本实施例中的Web页面提供装置2的结构示意图；

图7为本发明实施例中的Web服务器3的结构示意图；

图8为利用图3所示的基于Web页面进行数据采集和展现的系统进行数据采集和展现的方法流程图；

图9为本发明基于Web页面进行数据采集和展现的系统的一个具体实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例的基于Web页面进行数据采集和展现的方法的流程图，如图所示，基于Web页面进行数据采集和展现的方法包括：

步骤S101，接收用户的http请求。步骤S102，根据预设的参数设置值对所述的http请求进行筛选，以阻止重复的http请求或限制最大http请求数。步骤S103，根据筛选后的http请求从数据库中获取相关数据。步骤S104，将所述获取到的相关数据组织成Json数据格式。步骤S105，将所述Json数据格式的数据发送到页面中进行显示。

在另一种实施例中，如图2所示，步骤S101之前，还包括步骤S101′，接收用户的页面请求，将对应的Web页面进行显示。所述的Web页面包含宿主应用的logo、用户操作按钮、用户操作链接和信息显示载体。在步骤S104之后，包括：

步骤S104′，将所述Json数据格式的数据进行展现构造，生成页面元素。如按表格格式组装成表格格式文本，或者将所述Json数据格式的数据按树形格式组装成菜单格式文本等；

步骤S105′，将所述Json数据格式的数据和所述Web页面的页面元素相互关联和绑定，形成统一的视图并显示。

图3所示为本发明实施例的基于Web页面进行数据采集和展现的系统的结构示意图，如图所示，基于Web页面进行数据采集和展现的系统包含页面展现装置1、Web页面提供装置2和Web服务器3，各装置之间通过互联网通信。其中，Web服务器可以为多个，如图4的实施例所示，基于Web页面进行数据采集和展现的系统包括多个Web服务器。

页面展现装置1是展现采集数据的载体，该装置的功能类似一个支持http和html协议的浏览器，是用户直接进行操作的对象。

图5所示为本实施例中的页面展现装置1的结构示意图，如图所示，页面展现装置1包含异步通信单元101、展现构造单元102和一个主控单元103。在本实施例中，异步通信单元101和展现构造单元102均连接于主控单元103，且异步通信单元101和展现构造单元102分别为多个。

所述异步通信模块101用于发送异步请求到Web服务器3，获取数据。

所述展现构造单元102用于接收Web服务器3返回的数据，以一种指定的格式将数据组装成html文本，如可以按表格格式组装成表格，也可以以树形格式组装成菜单。

所述主控单元103用于响应用户在页面的操作，调用异步通信单元101和展现构造单元102，并在Web服务器3没有响应或者出现异常时进行处理。

Web页面提供装置2提供了页面展现装置1需要展现的Web页面信息，其本身也可以是一个Web服务器装置。所述Web页面含有宿主应用的logo、基本的用户操作接口(如按钮和链接)以及信息显示载体(在用户进行界面操作时显示采集数据)等。

图6所示为本实施例的Web页面提供装置2的结构示意图，如图所示，Web页面提供装置2包含请求接入单元201、请求处理单元202和请求返回单元203。请求接入装置201与请求处理单元202相连接，请求处理单元202与请求返回单元203相连接。

所述请求接入单元201，用于响应用户发出的页面请求。

所述请求处理单元202，用于根据所述的页面请求获取对应的Web页面资源。

所述请求返回单元203，用于将页面资源信息返回到页面展现装置1。

Web服务器3是数据的提供者，是一个Web服务器装置，当用户的http请求到达时，需要对请求进行处理，访问数据库并组织数据输出格式，最终返回给用户。但是，由于没有进行会话控制，因此可能导致Web服务器3的请求数太多，因此需要对请求进行筛选。

图7为本发明实施例的Web服务器3的结构示意图。如图所示，Web服务器3包含http请求接入单元301、请求控制单元302、数据获取单元303、Json数据组织单元304、数据返回单元305和参数配置单元306。其中，http请求接入单元、请求控制单元302、数据获取单元303、Json数据组织单元304、数据返回单元305按模块顺序依次相连，而参数配置单元306与请求控制单元302相连接。

http请求接入单元301，用于接收用户的http请求，获取请求参数，组装成Web服务器3所支持的数据模型。

请求控制单元302，用于对http请求接入单元301接收的请求进行筛选，剔除重复请求，按照参数设置值对请求进行筛选，在系统当前处理请求数超过最大并发数量时回绝当前请求。

参数配置单元306，用于对请求控制单元302中用到的最大并发请求数的参数进行配置。

数据获取单元303，用于根据筛选后的http请求查询数据库，获取数据。

Json数据组织单元304，用于处理数据获取单元303获取的数据，将数据格式化(format)成Json数据格式。

数据返回单元305，用于将Json数据组织单元304输出的数据返回到页面展现装置1。

需要注意的是，Web页面提供装置2本身也可能是一个数据提供装置，如果Web页面提供装置2作为一个数据提供装置，那么在Web页面提供装置2返回页面到页面展现装置1后，页面展现装置1将以异步请求方式访问Web页面提供装置2获取数据。

图8为利用图3所示的基于Web页面进行数据采集和展现的系统进行数据采集和展现的方法流程图，其具体实施流程说明如下：

首先用户通过页面展现装置1输入URL地址，请求某个页面。

步骤S201：页面展现装置1响应用户请求，将请求发送到页面提供装置2。

步骤S202：页面展现装置2处理用户请求，并返回对应的web页面到页面展现装置1。

步骤S203：用户在页面中进行相关操作，页面展现装置1响应用户的http请求。

步骤S204：页面展现装置1调用异步通信单元101发送异步请求到Web服务器3。页面展现装置1可能同时发送多个异步请求到不同的Web服务器3，获取不同的数据。

步骤S205：Web服务器3调用http请求接入单元301响应页面展现装置1发送的http请求。

步骤S206：Web服务器3调用请求控制单元302进行渠道控制，阻止重复请求，并进行最大请求数限制。

步骤S207：如果页面展现装置1发出的请求未被请求控制单元302通过，则页面展现装置1的主控单元103提示用户相关原因，本次请求结束。

步骤S208：如果页面展现装置1发出的请求被请求控制单元302通过，则Web服务器3调用数据获取单元303访问数据库获取数据。

步骤S209：获取数据后，Web服务器3调用Json数据组织单元304将数据组织为Json格式。

步骤S210：Web服务器3调用数据返回单元305返回Json格式的数据到页面展现装置1。

步骤S211：页面展现装置1接收到返回数据后，调用展现构造单元102进行展现构造，形成页面元素。本步骤也可以不执行，如不需要进行单独展现，则跳过本步骤。

步骤S212：页面展现装置1在所有异步请求都返回后，调用主控单元103将Json格式的数据、页面元素相互关联和绑定，形成统一的视图。比如，将地图与数据相关联，形成带有标记的地图，或者将一个超链接与一个数据表格相关联，表示二者有关联关系。

下面以一个实际的例子说明本发明实施例的基于Web页面进行数据采集和展现的系统的工作工程。

如图9所示，为本实施例的基于Web页面进行数据采集和展现的系统的一个具体实施例的结构示意图。

本实施例的系统由外部数据源应用、“信息集成应用”、浏览器以及各数据源应用提供的“数据访问和展现接口(API)”组成。对应到本发明前述实施例提供的装置，页面展现装置1部署在浏览器中，页面提供装置2部署在“信息集成应用”中，Web服务器3部署在外部数据源应用中。页面展现装置1中的异步通信单元101和展现构造单元102通过各外部数据源应用提供的“数据访问和展现接口(API)”实现，这些API在页面展现装置1启动时被自动下载到页面展现装置1。

浏览器中的Web页面展现给用户的信息既包含了“信息集成应用”(宿主应用)的信息，也包含了外部数据源应用的信息，且对外部数据源应用的信息的采集并非通过宿主应用，而是由浏览器中的Web页面使用外部数据源应用提供的API来直接访问外部数据源应用，获取信息并利用该API展现给用户。可见，信息的获取和展现都由浏览器中的Web页面来完成，原来需要由宿主应用的应用服务器完成的任务现在是在浏览器中的Web页面上来完成。需要注意的是具体的功能实现组件即API由各外部数据源应用提供。

实例中各系统部件完成的功能如下：

宿主应用：作为用户直接认知并使用的对象，页面提供装置2提供用户访问URL以及用户与之进行交互的用户接口(UI)，并在Web页面中实现对外部数据源API的调用和关联逻辑。

数据源应用：是宿主应用和用户获取的数据的来源。Web服务器3提供一个参数化的数据访问和展现接口(API)，使得只需要调用该接口即可访问到指定的数据并展现在浏览器。该API以的javascript包的形式提供，并以面向对象的javascript来编程。API提供的数据访问方法为异步方法。因此，数据源应用访问数据库获取数据并返回，数据返回到浏览器的格式为json格式。还需要注意的是，由于浏览器并未与数据源应用服务器建立会话，因此，数据源应用服务器端的渠道接入控制需剔除会话检查步骤，也即扩展出一个无会话的访问请求渠道以支持本装置的请求。

浏览器：转发用户的URL访问请求，以同步的方式访问宿主应用，宿主应用的Web页面返回到浏览器后，启动页面展现装置并响应用户的页面操作，调用数据源应用提供的API异步访问数据源应用并调用该API提供的展现逻辑处理数据，然后，将API实现的展现添加到宿主应用提供的UI展现框架中的指定位置，使得页面的展现架构不发生变化。

本实施例中，Web服务器3中的功能组件主要包括：

1、采用Web服务器技术Servlet实现对用户请求的接入，但不对请求进行会话检查；

2、使用Java数据库访问技术jdbc的方式访问数据库获取数据；

3、在servlet中将数据按照json文本格式输出；

4、提供数据访问和展现接口API，该API可以在Web页面中执行，采用javascript脚本语言编写，能够实现对数据源应用的跨域访问，并将接收到的json数据组合成html文本。

上述代码实现了数据采集和展现，其中，$.getJSON方法支持跨域访问。SysServlet为外部数据源应用中的渠道接入组件，function(data)函数实现了展现。

页面提供装置2提供的数据采集Web页面实现如下的内容：

1、在页面引用数据源应用的API，其调用程序如下：

<script src＝”http://122.1.15.100:8080/SysDomain/API/SysAPIPI.js”></script>；

此代码的作用是在数据采集Web页面中引用数据源应用提供的API，该API提供了数据采集的接口。

2、用html元素DIV作为获取的信息的显示载体：

<div id＝″sysdiv″style＝″float:left；margin-left:50px；″>；

3、为用户实践编写事件处理函数，如某按扭的单击事件处理函数，在事件处理函数中调用API，并传入信息采集参数。则外部数据源的信息展示在DIV中。

本发明实施例提供的基于Web页面进行数据采集和展现的系统、方法及Web服务器，其实施难度和系统运行性能与现有的实现方式相比具有明显的优势：

从系统结构上来看，本发明提供的数据采集方法是通过展现在浏览器的Web页面来实现的。在原来的模式下，用户选择某个链接或者按钮后，宿主应用响应用户的请求后返回给用户，要实现数据采集必须经过宿主应用和外部数据源应用两个环节。而在本装置中，所有对外部数据源的请求都采用异步的方式直接访问，既能在不需整个刷新页面的情况下实现快速访问，增强用户体验效果，同时由于减少了中间环节，也可以减轻宿主应用服务器的负担，充分利用浏览器的计算资源。而且，由于采用json这种轻量级的文本格式作为数据传递格式，网络的数据传递量也大大减少了。

从功能角度来看，本发明可实现数据和展现双集成，这是原有的信息聚合方式仅限于数据的集成所无法具备的。数据源应用提供的数据在各调用应用的展示效果都将获得统一，不至于产生不一致。

从系统维护角度来看，在原有的信息聚合方式下，调用方无法承受服务提供方的频繁变动带来的影响，而由于本发明提供的集成方式具有轻量级和敏捷的特点，可以更好地应对这种挑战。

从实现角度来看，本发明的重心在于Web服务器，弱化了了采集环节，降低了多方协调的难度，实施起来更加方便、简单。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于Web页面进行数据采集和展现的方法，其特征在于，所述方法包括：

接收用户的http请求；

根据预设的参数设置值对所述的http请求进行筛选；

根据筛选后的http请求从数据库中获取相关数据；

将所述获取到的相关数据组织成Json数据格式；

将所述Json数据格式的数据发送到页面中进行显示。

2.如权利要求1所述的基于Web页面进行数据采集和展现的方法，其特征在于，所述接收用户的http请求前，还包括：

接收用户的页面请求，将对应的Web页面进行显示。

3.如权利要求2所述的基于Web页面进行数据采集和展现的方法，其特征在于，所述的Web页面包含宿主应用的logo、用户操作按钮、用户操作链接和信息显示载体。

4.如权利要求1所述的基于Web页面进行数据采集和展现的方法，其特征在于，所述根据预设的参数设置值对所述的http请求进行筛选，包括：

根据预设的参数设置值，阻止重复的http请求或限制最大http请求数。

5.如权利要求1所述的基于Web页面进行数据采集和展现的方法，其特征在于，所述将所述Json数据格式的数据在页面中进行显示还包括：

将所述Json数据格式的数据进行展现构造，组装成表格形式界面或菜单形式界面，生成页面元素。

6.如权利要求5所述的基于Web页面进行数据采集和展现的方法，其特征在于，所述将所述Json数据格式的数据在页面中进行显示，还包括：

将所述Json数据格式的数据和所述Web页面的页面元素相互关联和绑定，形成统一的视图并显示。

7.一种基于Web页面进行数据采集和展现的Web服务器，其特征在于，所述Web服务器包括：

http请求接入单元，用于接收用户的http请求；

参数配置单元，用于配置最大并发请求数的参数设置值；

请求控制单元，用于根据所述的参数设置值对所述的http请求进行筛选；

数据获取单元，用于根据筛选后的http请求从数据库中获取相关数据；

Json数据组织单元，用于将所述获取到的相关数据组织成Json数据格式；

数据返回单元，用于将所述Json数据格式的数据发送到页面中进行显示。

8.如权利要求7所述的基于Web页面进行数据采集和展现的Web服务器，其特征在于，所述的请求控制单元配置的最大并发请求数的参数设置值是用于：

根据所述的参数设置值限制最大http请求数。

9.如权利要求7所述的基于Web页面进行数据采集和展现的Web服务器，其特征在于，所述的Web服务器还包括：

数据访问和展现接口，用于作为Web页面访问Web服务器的接口装置。

10.一种基于Web页面进行数据采集和展现的系统，其特征在于，所述系统包括Web服务器、页面展现装置以及Web页面提供装置；其中，

所述Web服务器包括：

http请求接入单元，用于接收用户的http请求；

参数配置单元，用于配置最大并发请求数的参数设置值；

请求控制单元，用于根据所述的参数设置值对所述的http请求进行筛选；

数据获取单元，用于根据筛选后的http请求从数据库中获取相关数据；

Json数据组织单元，用于将所述获取到的相关数据组织成Json数据格式；及

数据返回单元，用于将所述Json数据格式的数据发送到页面中进行显示；

所述Web展现装置包括：

异步通信单元，用于发送所述用户的http请求到所述Web服务器；

展现构造单元，用于将所述Json数据格式的数据进行展现构造，生成页面元素；及

主控单元，用于相应用户在页面的操作，调用所述异步通信单元和所述展现构造单元；

所述Web页面提供装置包括：

请求接入单元，用于接收用户发出的页面请求；

请求处理单元，用于根据所述的页面请求生成Web页面资源；

请求返回单元，用于将所述的Web页面返回到所述页面展现装置进行显示。

11.如权利要求10所述的基于Web页面进行数据采集和展现的系统，其特征在于，所述的请求控制单元配置的最大并发请求数的参数设置值是用于：

根据所述的参数设置值限制最大并发http请求数。

12.如权利要求10所述的基于Web页面进行数据采集和展现的系统，其特征在于，所述的Web服务器还包括：

数据访问和展现接口，用于作为Web页面访问Web服务器的接口装置。

Images