CN102129632A - 一种抓取网页信息的方法、装置及系统 - Google Patents

Abstract

本申请涉及电子商务领域，公开了一种抓取网页信息的方法、装置及系统，用以提高网页信息的收集效率，该方法为：接收客户端发送的商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和URL地址；根据所述URL地址链接到相应的网页页面，并根据所述商品标识对该网页页面进行扫描；抓取所述网面页面中与获得的商品标识相关的网页信息，并将所述网页信息发往所述客户端。这样，大大简化了网页信息收集的操作步骤，从而提高了网页信息收集效率，方便了用户的使用。本申请同时公开了一种网站服务器和一种电子商务系统。

Description

一种抓取网页信息的方法、装置及系统

技术领域

本申请涉及互联网技术，特别涉及一种抓取网页信息的方法、装置及系统。

背景技术

随着电子商务技术的发展，各种电子商务网站应运而生，相应地，网代用户的数目也日益增长。所谓网代用户即是指与电子商务网站存在代理关系，将电子商务网站上展示的商品代为销售的用户。这类用户往往需要定期从电子商务网站上获取最新的商品相关信息，如商品名称、商品图片以及商品介绍详情等等，然后将获取的商品相关信息发布在另一电子商务网站或其他网站上进行展示。

现有技术下，网代用户往往需要从网页上将商品相关信息逐个下载至本地保存，因为如果将整个网页直接拷贝至本地，将会出信息错位的现象，例如，商品名称、商品图片和商品介绍详情之间不对应。然而，随着网代用户业务量的增加，逐个下载商品相关信息的操作将会耗费大量的时间与精力，并且网代用户也常常会出现重复下载的错误操作，从而降低了信息收集的效率和准确性，进而给网代用户带来了很大的不便。

发明内容

本申请实施例提供一种抓取网页信息的方法、装置及系统，用于提升信息收集的效率。

本申请实施例提供的具体技术方案如下：

一种抓取网页信息的方法，包括：

接收客户端发送的商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和统一资源定位URL地址；

根据所述URL地址链接到相应的网页页面，并根据所述商品标识对该网页页面进行扫描；

抓取所述网面页面中与获得的商品标识相关的网页信息，并将所述网页信息发往所述客户端。

一种网站服务器，包括：

接收单元，用于接收客户端发送的商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和统一资源定位URL地址；

扫描单元，用于根据所述URL地址链接到相应的网页页面，并根据所述商品标识对该网页页面进行扫描；

抓取单元，用于抓取所述网面页面中与获得的商品标识相关的网页信息；

发送单元，用于将抓取的所述网页信息发往所述客户端。

一种电子商务系统，包括：

客户端，用于向网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带商品标识和统一资源定位URL地址；

网站服务器，用于根据所述URL地址链接到相应的网页页面，并根据所述商品标识对该网页页面进行扫描，以及抓取所述网面页面中与获得的商品标识相关的网页信息，并将所述网页信息发往所述客户端。

一种发布网页信息的方法，包括：

向第一网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和URL地址，用以指示该第一网站服务器根据所述URL地址链接到相应的网页页面，并抓取所述网面页面中与所述商品标识相关的网页信息；

接收所述第一网站服务器返回的网页信息；

将获得的网页信息发往第二网站服务器进行发布。

一种客户端，包括：

发送单元，向第一网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和URL地址，用以指示该第一网站服务器根据所述URL地址链接到相应的网页页面，并抓取所述网面页面中与所述商品标识相关的网页信息；

接收单元，接收所述第一网站服务器返回的网页信息；

发布单元，所述客户端将获得的网页信息发往第二网站服务器进行发布。

一种电子商务系统，包括：

第一网站服务器，用于根据客户端的指示抓取相应的网页信息；

客户端，用于向第一网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和URL地址，用以指示该第一网站服务器根据所述URL地址链接到相应的网页页面，并抓取所述网面页面中与所述商品标识相关的网页信息；以及接收所述第一网站服务器返回的网页信息，并将获得的网页信息发往第二网站服务器进行发布。

第二网站服务器，用于根据根据客户端的指示在网页页面内发布网页信息。

本申请实施例中，网站服务器根据客户端发送的携带商品标识的商品信息获取请求消息，在指定网页页面中进行扫描，将与该商品标识相关的网页信息抓取后发往客户端，这样，大大简化了网页信息收集的操作步骤，从而提高了网页信息收集效率，方便了用户的使用，进一步地，还可以根据预设方式对抓取的网页信息进行整理，从而提高了收集的网页信息的准确性，有效保证了网站服务的质量。另一方面，还可以将从第一网站服务器获得的抓取信息直接发往第二网站服务器进行发布，从而简化了信息发布流程，节省了信息发布所需的时间，提高了信息发布效率。

附图说明

图1为本申请实施例中第一种网络环境示意图；

图2为本申请实施例中网站服务器功能结构图；

图3为本申请实施例中网站服务器抓取网页信息流程图；

图4为本申请实施例中第二种网络环境示意图；

图5为本申请实施例中客户端功能结构图。

具体实施方式

为了提升网页信息的收集效率，本申请实施例中，网站服务器接收客户端发送的商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和统一资源定位URL地址；根据所述URL地址链接到相应的网页页面，并根据所述商品标识对该网页页面进行扫描；抓取所述网面页面中与获得的商品标识相关的网页信息，并将所述网页信息发往所述客户端。

下面结合附图对本申请优选的实施方式进行详细说明。

参阅图1所示，本申请实施例中，电子商务网络环境内包括若干网站服务器10和若干客户端11，其中，

客户端11，用于向网站服务器10发送商品信息获取请求消息，该商品信息获取请求消息中携带商品标识和URL地址；

网站服务器10，用于根据所述URL地址链接到相应的网页页面，并根据所述商品标识对该网页页面进行扫描，以及抓取所述网面页面中与获得的商品标识相关的网页信息，并将所述网页信息发往客户端11。

参阅图2所示，本申请实施例中，网站服务器10接收单元100、扫描单元101、抓取单元102和发送单元103，其中，

接收单元110，用于接收客户端11发送的商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和URL地址；

扫描单元101，用于根据所述URL地址链接到相应的网页页面，并根据所述商品标识对该网页页面进行扫描；

抓取单元102，抓取所述网面页面中与获得的商品标识相关的网页信息，并将所述网页信息发往所述客户端；

发送单元103，用于将抓取的所述网页信息发往客户端11。

基于上述网络环境，下面对一个具体的实施例进行详细介绍。

参阅图3所示，本申请实施例中，网站服务器10抓取指定的网页信息的详细流程如下：

步骤300：客户端11登录提供电子商务服务的网站服务器10。

实际应用中，某些网站服务器10需要用户通过身份验证后才提供完整的页面信息，因此，客户端11在登录过程中可以选择进行身份验证以获得完整的页面信息，或者，不进行身份认证只获得部分页面信息。

步骤310：网站服务器10根据用户输入的URL地址进入相应的管理页面。

通常情况下，网代用户在网站服务器10内都有自己的管理商品后台，因此，只要网代用户输入自身的管理商品后台的URL地址，即可以进行相应的管理页面，具体内容可以如表1所示：

表1

商品编号	商品名称	零售价	代理价	库存
					0012	Polo衬衫	200.00	128.00	500
0013	男式皮夹	150.00	100.00	200

步骤320：网站服务器10接收客户端11发送的商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识。

本实施例中，表1中记载的商品名称可以设置为网页链接形式(如，html链接)，这样，用户可以通过点击表1中的商品名称向网站服务器10发送携带网站URL地址的商品信息获取请求消息，该消息中同时还携带有商品标识(如，用户点击的商品名称)，以指示网站服务器10链接到相关网页针对所述商品标识进行最新信息的抓取。

步骤330：网站服务器10根据接收的商品信息获取请求消息链接到相应的网页页面，并根据该商品信息获取请求消息中携带的商品标识对该网页页面进行扫描。

实际应用中，由于网页页面内包含大量的非商品相关信息，如、页面名称、页面标题、页面介绍，以及侧选择揭示栏等等，因此，网站服务器10也可以仅对网页页面内的指定区域(如，商品详情区域、最新商品介绍区域)进行扫描，而不用处理其他区域内的信息。

步骤340：网站服务器10抓取上述网页页面中与上述商品标识相关的网页信息，并将抓取的网页信息发往客户端11

实际应用中，网站服务器10可以直接将抓取的与上述商品标识相关的网页信息发往客户端11，也可以将抓取后的与上述商品标识相关的网页信息进行整理后，再发往客户端11。在对网页信息进行整理时，可以作如下操作：以商品标识是“牛仔裤”为例，网站服务器10可以将抓取的网页信息中与牛仔裤相关的信息(包括图片和相关的文字说明)按照其上传时间进行排序，并只保留上传时间晚于指定时间的与牛仔裤相关的信息，其他信息删除；或者，可以将抓取的网页信息中与牛仔裤相关的信息与本地备份的已发往客户端11的商品信息进行比较，将重复部分的信息进行删除。

客户端11接收网站服务器11抓取的网页信息后，可以将其保存在本地数据库中，也可以发往其他电子商务网站进行发布。具体为：客户端11向第一网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和URL地址，用以指示该第一网站服务器根据所述URL地址链接到相应的网页页面，并抓取所述网面页面中与所述商品标识相关的网页信息，客户端11接收第一网站服务器返回的网页信息，并将获得的网页信息发往第二网站服务器进行发布。

参阅图4所示，本实施例中，电子商务系统内包含客户端11、第一网站服务器和第二网站服务器，其中，

第一网站服务器，用于根据客户端11的指示抓取相应的网页信息；

客户端11，用于向第一网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和URL地址，用以指示该第一网站服务器根据所述URL地址链接到相应的网页页面，并抓取所述网面页面中与所述商品标识相关的网页信息；以及接收所述第一网站服务器返回的网页信息，并将获得的网页信息发往第二网站服务器进行发布。

第二网站服务器，用于根据客户端11的指示在网页页面内发布网页信息。

参阅图5所示，本实施例中，客户端11包括发送单元110、接收单元111和发布单元112，其中，

发送单元110，用于向第一网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和URL地址，用以指示该第一网站服务器根据所述URL地址链接到相应的网页页面，并抓取所述网面页面中与所述商品标识相关的网页信息；

接收单元111，用于接收所述第一网站服务器返回的网页信息；

发布单元112，用于将获得的网页信息发往第二网站服务器进行发布。

本实施例中，客户端11从第一网站服务器获取的商品标识可以是一个或多个，即客户端11可以根据从第一网站服务器获得的多个商品标识，在第二网站服务器上同时进行相关信息的发布。以一个商品标识为例，在发布信息时，客户端11确定第二网站服务器上与所述商品标识相对应的网页页面，并将从第一网站服务器获得的网页信息在所述网页页面内进行发布，例如，客户端11根据商品标识“牛仔裤”，确定第二网站服务器上允许发布商品标识为“牛仔裤”的相关信息的网页，并将从第一网站服务器上获得的商品标识为“牛仔裤”的相关信息在已确定的网页内发布。

本申请实施例中，网站服务器10根据客户端11发送的携带商品标识的商品信息获取请求消息，在指定网页页面中进行扫描，将与该商品标识相关的网页信息抓取后发往客户端，这样，大大简化了网页信息收集的操作步骤，从而提高了网页信息收集效率，方便了用户的使用，进一步地，还可以根据预设方式对抓取的网页信息进行整理，从而提高了收集的网页信息的准确性，有效保证了网站服务的质量。另一方面，还可以将从第一网站服务器获得的抓取信息直接发往第二网站服务器进行发布，从而简化了信息发布流程，节省了信息发布所需的时间，提高了信息发布效率。

显然，本领域的技术人员可以对本申请中的实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例中的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请中的实施例也意图包含这些改动和变型在内。

Claims (18)

1.一种抓取网页信息的方法，其特征在于，包括：

接收客户端发送的商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和统一资源定位URL地址；

根据所述URL地址链接到相应的网页页面，并根据所述商品标识对该网页页面进行扫描；

抓取所述网面页面中与获得的商品标识相关的网页信息，并将所述网页信息发往所述客户端。

2.如权利要求1所述的方法，其特征在于，所述网站服务器接收客户端发送的商品信息获取请求消息之前，先对该客户端进行身份验证，确定其通过身份验证后，向其提示发送商品信息获取请求消息。

3.如权利要求1所述的方法，其特征在于，所述根据商品信息获取请求消息中携带的商品标识对所述网页页面进行扫描，包括：对该网页页面内与所述商品标识相关的指定区域进行扫描。

4.如权利要求1、2或3所述的方法，其特征在于，抓取所述网面页面中与获得的商品标识相关的网页信息后，在将所述网页信息发往所述客户端之前，包括：将抓取的网页信息按照其上传时间进行排序，筛选出上传时间晚于指定时间的网页信息。

5.如权利要求1、2或3所述的方法，其特征在于，抓取所述网面页面中与获得的商品标识相关的网页信息后，在将所述网页信息发往所述客户端之前，包括：将抓取的网页信息与本地备份的已发往所述客户端的商品信息进行比较，筛选出不重复的网页信息。

6.一种网站服务器，其特征在于，包括：

接收单元，用于接收客户端发送的商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和统一资源定位URL地址；

扫描单元，用于根据所述URL地址链接到相应的网页页面，并根据所述商品标识对该网页页面进行扫描；

抓取单元，用于抓取所述网面页面中与获得的商品标识相关的网页信息；

发送单元，用于将抓取的所述网页信息发往所述客户端。

7.如权利要求6所述的网站服务器，其特征在于，进一步包括：

验证单元，用于在所述接收单元接收客户端发送的商品信息获取请求消息之前，先对该客户端进行身份验证，确定其通过身份验证后，向其提示发送商品信息获取请求消息。

8.如权利要求6所述的网站服务器，其特征在于，所述扫描单元根据商品信息获取请求消息中携带的商品标识对所述网页页面进行扫描时，对该网页页面内与所述商品标识相关的指定区域进行扫描。

9.如权利要求7、8或9所述的网站服务器，其特征在于，所述抓取单元抓取所述网面页面中与获得的商品标识相关的网页信息后，将抓取的网页信息按照其上传时间进行排序，筛选出上传时间晚于指定时间的网页信息，再将筛选后的网页信息发往所述客户端。

10.如权利要求7、8或9所述的网站服务器，其特征在于，所述抓取单元抓取所述网面页面中与获得的商品标识相关的网页信息后，将抓取的网页信息与本地备份的已发往所述客户端的商品信息进行比较，筛选出不重复的网页信息，再将筛选后的网页信息发往所述客户端。

11.一种电子商务系统，其特征在于，包括：

客户端，用于向网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带商品标识和统一资源定位URL地址；

网站服务器，用于根据所述URL地址链接到相应的网页页面，并根据所述商品标识对该网页页面进行扫描，以及抓取所述网面页面中与获得的商品标识相关的网页信息，并将所述网页信息发往所述客户端。

12.如权利要求11所述的电子商务系统，其特征在于，所述客户端接收网站服务器抓取的网页信息后，将其保存在本地数据库中，或者，发往其他网站服务器进行发布。

13.一种发布网页信息的方法，其特征在于，包括：

向第一网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和统一资源定位URL地址，用以指示该第一网站服务器根据所述URL地址链接到相应的网页页面，并抓取所述网面页面中与所述商品标识相关的网页信息；

接收所述第一网站服务器返回的网页信息；

将获得的网页信息发往第二网站服务器进行发布。

14.如权利要求13所述的方法，其特征在于，将获得的网页信息发往第二网站服务器进行发布，包括：

确定所述第二网站服务器上与所述商品标识相对应的网页页面；

将从第一网站服务器获得的网页信息在所述网页页面内进行发布。

15.如权利要求13或14所述的方法，其特征在于，所述商品标识的数量为一个或多个。

16.一种客户端，其特征在于，包括：

发送单元，向第一网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和统一资源定位URL地址，用以指示该第一网站服务器根据所述URL地址链接到相应的网页页面，并抓取所述网面页面中与所述商品标识相关的网页信息；

接收单元，接收所述第一网站服务器返回的网页信息；

发布单元，所述客户端将获得的网页信息发往第二网站服务器进行发布。

17.如权利要求16所述的客户端，其特征在于，所述发布单元将获得的网页信息发往第二网站服务器进行发布时，先确定所述第二网站服务器上与所述商品标识相对应的网页页面，再将从第一网站服务器获得的网页信息在所述网页页面内进行发布。

18.一种电子商务系统，其特征在于，包括：

第一网站服务器，用于根据客户端的指示抓取相应的网页信息；

客户端，用于向第一网站服务器发送商品信息获取请求消息，该商品信息获取请求消息中携带有商品标识和统一资源定位URL地址，用以指示该第一网站服务器根据所述URL地址链接到相应的网页页面，并抓取所述网面页面中与所述商品标识相关的网页信息；以及接收所述第一网站服务器返回的网页信息，并将获得的网页信息发往第二网站服务器进行发布；

第二网站服务器，用于根据根据客户端的指示在网页页面内发布网页信息。

Images