CN101364979B - 下载资料解析及处理系统及方法 - Google Patents

Abstract

本发明提供一种下载资料解析及处理系统，该系统包括本地服务器。该本地服务器包括：资料缓存区，用于暂存下载资料；资料解析模块，用于解析所述下载资料得到该下载资料的文字信息，所述文字信息包括下载资料中图片的URL信息；图片属性变更模块，用于将下载资料中各图片的URL信息更改为预先定义好、包含该图片标识符的的字符串；及资料存储模块，用于将上述下载资料的文字信息储存于数据库服务器，根据数据库服务器返回的图片识别信息将资料缓存区中的相应图片储存于所述图片储存服务器，并将图片储存服务器返回的图片存储路径保存至上述数据库服务器中该图片的信息记录中。本发明同时提供一种下载资料解析及处理方法。

Description

下载资料解析及处理系统及方法

技术领域

本发明涉及一种下载资料解析及处理系统及方法。

背景技术

近年来，由于计算机技术和网络技术的迅速发展，网上浏览资讯已成为人们日常工作、学习和生活中不可或缺的一个重要部分，网络以其信息量大、信息更新迅速，成为全球“最大的图书馆”。

通过网络，人们可以了解任何各种各样的事物，收集自己想要的资料。例如，在企业进行新产品研发过程中，研发人员需要通过本地端服务器从网上下载大量与产品相关的资料并将这些资料储存于本地端的数据库，这些资料大多是以网页的形式显示的。

通常，在下载资料的过程中，原始资料中图片的URL(un而rmresource locator，统一资源定位符)在本地服务器端会被网管修改成可显示图片的本地URL。与本地服务器相连的用户可以通过该本地URL获取图片。这样做的缺陷是，若显示图片的本地URL发生变化，用户端未收到变更后的新的本地URL时，或者原本地URL没有映射到新的本地URL，用户将无法通过原本地URL访问图片。

发明内容

鉴于以上内容，有必要提供一种下载资料解析及处理系统，可以在本地服务器下载资料过程中对资料中的图片URL信息进行灵活处理，提高用户访问下载资料时图片显示的灵活性。

此外，还有必要提供一种下载资料解析及处理方法，可以在本地服务器下载资料过程中对资料中的图片URL信息进行灵活处理，提高用户访问下载资料时图片显示的灵活性。

一种下载资料解析及处理系统，该系统包括通过网络从远端服务器下载资料的本地服务器、与本地服务器相连的数据库服务器及图片储存服务器。所述本地服务器包括：资料缓存区，用于暂存所述下载资料；资料解析模块，用于解析所述下载资料得到该下载资料的文字信息，所述文字信息包括下载资料中图片的原始URL信息；图片属性变更模块，用于将下载资料中每一张图片的原始URL信息替换为一个预先定义好且包含该图片标识符的字符串；及资料存储模块，用于将上述下载资料的文字信息及上述替换图片原始URL信息的字符串，储存于所述数据库服务器，根据数据库服务器返回的图片识别信息将资料缓存区中的相应图片储存于所述图片储存服务器，并将图片储存服务器返回的图片存储路径保存至上述数据库服务器中该图片的信息记录中。

一种下载资料解析及处理方法，该方法包括以下步骤：(A)将本地服务器从远端服务器下载的资料暂存于本地服务器的资料缓存区；(B)解析所述下载资料得到该下载资料的文字信息，包括下载资料中图片的原始URL信息；(C)将下载资料中每一张图片的URL信息替换为一个预先定义好且包含该图片标识符的字符串；(D)将所述文字信息及上述替换图片原始URL信息的字符串，储存于所述数据库服务器；(E)数据库服务器为下载资料中的每一张图片分配一个标识，并为每一张图片创建一条信息记录，以记录该图片的识别信息及该图片的存储路径信息；(F)数据库服务器返回图片识别信息给本地服务器；(G)本地服务器根据图片识别信息从资料缓存区撷取相应图片，并将该图片储存于图片储存服务器；及(H)本地服务器接收图片储存服务器返回的图片的存储路径信息，并将该存储路径信息添加至该图片的信息记录中。

相较于现有技术，本发明所提供的下载资料解析及处理系统及方法不直接将下载资料中图片的原始URL属性更改为下载服务器端定义的URL，而是替换为为预先定义好、包含该图片标识符的的字符串，当下载服务器的用户访问下载资料时，字符串自动转换成用户想要显示所述的图片的URL。

附图说明

图1是本发明下载资料解析及处理系统较佳实施例的硬件架构图。

图2是图1中本地服务器10的功能模块图。

图3是本发明下载资料解析及处理方法较佳实施例的流程图。

图4是用户向应用本发明网页信息解析及处理方法的本地服务器10请求浏览新闻网页时的作业流程图。

具体实施方式

如图1所示，是本发明下载资料解析及处理系统较佳实施例的硬件架构图。该系统包括本地服务器10，该本地服务器10通过互联网20从远端服务器30下载资料(如新闻网页)，并将所下载的资料储存于数据库，如本地服务器10将新闻网页中的文字信息及图片信息分别储存于数据库服务器40及图片储存服务器50。该数据库服务器40及该图片储存服务器50可以位于本地服务器10内部，也可以位于本地服务器10外部。

进一步地，本地服务器10通过内部网络60连接多个客户端70，接收客户端访问下载网页的请求，从数据库服务器40及图片储存服务器50撷取网页的相关文字信息和图片信息返回给客户端70。

客户端70具有交互式图形界面，供用户向本地服务器10发送请求及浏览本地服务器10提供的网页资料。

如图2所示，是图1中本地服务器10的功能模块图。该本地服务器10包括资料下载模块110、资料解析模块120、图片属性变更模块130及资料储存模块140。

资料下载模块110用于通过互联网20从远端服务器30下载资料，如下载新闻网页，并将下载资料暂存于本地服务器10的资料缓存区100。

资料解析模块120用于解析缓存区100储存的下载资料，如解析新闻网页，获取新闻网页中的文字信息，包括新闻网址、新闻发布机构、发布时间、新闻标题、摘要、网页中图片的URL等信息。

图片属性变更模块130用于每一笔下载资料中每一张图片的URL信息替换为一个预先定义好且包含该图片标识符的字符串。例如，将一个新闻网页中<imagesrc＝http://www.google.com/intl/zh-CN_ALL/images/logo.gif/>替换成<image src＝“$1”，其中数字1表示该图片为该新闻网页中的第一幅图片。

资料储存模块140用于将解析所得的文字信息及上述替换图片原始URL信息的字符串，储存于数据库服务器40。

数据库服务器40接收上述解析所得的资料的文字信息后，为每一笔下载资料及该笔下载资料中的每一个图片分配一个标识，例如为每一个新闻网页分配一个新闻标识(newID)、为该新闻网页中的每一张图片分配一个图片标识(imageID)。进一步地，数据库服务器40为每一张图片创建一条信息记录，记录中包括该图片所属资料的标识、图片标识、图片原始URL信息、替换该原始URL信息的字符串信息及图片存储路径等栏位。最后，数据库服务器40并将各信息记录中的图片识别信息，包括图片标识、图片原始URL信息及替换该原始URL信息的字符串信息，返回给资料解析模块120。

接下来，资料解析模块120根据数据库服务器40返回的上述图片识别信息将资料缓存区100中的相应图片储存至图片储存服务器50；图片储存服务器50返回该图片的存储路径信息通过本地服务器10送交数据库服务器40。最后，数据库服务器40将该图片存储路径信息添加至该图片的信息记录中。

如图3所示，是本发明下载资料解析及处理方法较佳实施例的流程图。首先，资料下载模块110通过互联网20从远端服务器30下载资料(如一个新闻网页)，并将该下载资料暂存于资料缓存区100(步骤S10)。资料解析模块120解析下载资料得到该下载资料的文字信息，如解析所述新闻网页，获取新闻网址、新闻发布机构、发布时间、新闻标题、摘要、网页中图片的URL属性等信息(步骤S12)。图片属性变更模块130将该下载资料中每一张图片的URL信息替换为一个预先定义好且包含该图片标识符的的字符串。例如，将一个新闻网页中<imagesrc＝http://www.google.com/intl/zh-CN_ALL/images/logo.gif/>替换成<image src＝“$1”，其中数字1表示该图片为该新闻网页中的第一幅图片(步骤S14)。资料储存模块140将解析所得的文字信息及上述替换图片原始URL信息的字符串，储存于数据库服务器40(步骤S16)。数据库服务器40接收上述下载资料的文字信息后，为该下载资料及该下载资料中的每一张图片各分配一个标识，例如为每一个新闻网页分配一个新闻标识(newID)、为该新闻网页中的每一条图片属性信息分配一个图片标识(imageID)，并为每一张图片创建一条信息记录，记录中包括该图片所属资料的标识、图片标识、图片原始URL信息、替换该原始URL信息的字符串信息及图片存储路径等栏位(步骤S18)。数据库服务器40将记录中的图片识别信息，包括图片标识、图片原始URL信息及替换该原始URL信息的字符串信息，返回给资料解析模块120(步骤S20)。资料解析模块120根据数据库服务器40返回的上述图片识别信息从资料缓存区100撷取相应图片，并将该图片储存至图片储存服务器50(步骤S22)。本地服务器1将图片储存服务器50返回的该图片的存储路径信息添加至数据库服务器40中该图片的信息记录中(步骤S24)。

如图4所示，是用户向应用本发明网页信息解析及处理方法的本地服务器10请求浏览新闻网页时的作业流程图。首先，客户端70的用户通过内部网络60向本地服务器10发送浏览新闻网页的请求(步骤S30)。本地服务器10接收请求后，从数据库服务器40获取该新闻网页的记录信息，包括新闻标识、图片标识、图片的存储路径、替换图片原始URL信息的字符串信息(步骤S32)。进一步地，本地服务器10根据图片的存储路径信息从图片储存服务器50中获取该网页中的图片(步骤S34)。本地服务器10将图片被储存时所生成的属性信息，即替换图片原始URL信息的字符串替换成用户需要显示该图片的URL(步骤S36)。最后，本地服务器10返回一个完整的新闻网页供用户浏览(步骤S38)。

Claims (5)

1.一种下载资料解析及处理系统，该系统包括本地服务器、与本地服务器相连的数据库服务器及图片储存服务器，该本地服务器通过网络从远端服务器下载资料，其特征在于，该本地服务器包括：

资料缓存区，用于暂存所述下载资料；

资料解析模块，用于解析所述下载资料得到该下载资料的文字信息，所述文字信息包括下载资料中图片的原始URL信息；

图片属性变更模块，用于将下载资料中每一张图片的原始URL信息替换为一个预先定义好且包含该图片标识符的字符串；及

资料存储模块，用于将下载资料的文字信息及上述替换图片原始URL信息的字符串储存于所述数据库服务器；

所述数据库服务器用于接收下载资料的文字信息并为下载资料中的每一张图片创建一条信息记录，以记录该图片的识别信息及该图片的存储路径信息，并返回图片识别信息给资料存储模块；

所述资料存储模块根据数据库服务器返回的图片识别信息将资料缓存区中的相应图片储存于所述图片储存服务器，并将图片储存服务器返回的图片存储路径保存至上述数据库服务器该图片的信息记录。

2.如权利要求1所述的下载资料解析及处理系统，其特征在于，所述数据库服务器还用于为所述下载资料及该下载资料中的各图片分别分配一个标识。

3.如权利要求2所述的下载资料解析及处理系统，其特征在于，所述数据库服务器返回的图片识别信息包括该图片所属下载资料的标识、该图片的标识、该图片的原始URL信息及替换该原始URL信息的字符串。

4.一种下载资料解析及处理方法，其特征在于，该方法包括以下步骤：

将本地服务器从远端服务器下载的资料暂存于本地服务器的资料缓存区；

解析所述下载资料得到该下载资料的文字信息，包括下载资料中图片的原始URL信息；

将下载资料中每一张图片的原始URL信息替换为一个预先定义好且包含该图片标识符的字符串；

将所述文字信息及上述替换图片原始URL信息的字符串储存于数据库服务器；

数据库服务器为下载资料中的每一张图片分配一个标识，并为每一张图片创建一条信息记录，以记录该图片的识别信息及该图片的存储路径信息；

数据库服务器返回图片识别信息给本地服务器；

本地服务器根据图片识别信息从资料缓存区撷取相应图片，并将该图片储存于图片储存服务器；及

本地服务器接收图片储存服务器返回的图片的存储路径信息，并将该存储路径信息添加至该图片的信息记录中。

5.如权利要求4所述的下载资料解析及处理方法，其特征在于，所述数据库服务器返回的图片识别信息包括该图片所属下载资料的标识、该图片的标识、该图片的原始URL信息及替换该原始URL信息的字符串信息。

Images