CN105447093A

CN105447093A - 抓取目标图片的方法及装置

Info

Publication number: CN105447093A
Application number: CN201510756249.XA
Authority: CN
Inventors: 汤奇峰; 王万宝
Original assignee: Shanghai Zamplus Technology Development Co Ltd
Current assignee: Shanghai Zamplus Technology Development Co Ltd
Priority date: 2015-11-09
Filing date: 2015-11-09
Publication date: 2016-03-30

Abstract

抓取目标图片的方法及装置，所述方法包括：当用户在客户端打开图片显示页访问本地目标图片时，若根据所述目标图片的加载链接包含的本地图片路径无法加载所述目标图片，则获取错误资源参数；参照所述错误资源参数从图片源地址表中获得所述目标图片的源地址；其中，所述图片源地址表存储了所述错误资源参数以及对应的所述目标图片的源地址；根据所述目标图片的源地址从目标站点服务器下载所述目标图片，并按所述本地图片路径存储当前下载的目标图片。上述方案可节省网络资源和存储资源。

Description

抓取目标图片的方法及装置

技术领域

本发明涉及网络技术领域，尤其涉及一种抓取目标图片的方法及装置。

背景技术

随着互联网技术的发展，人们已经习惯于通过互联网获取想要查找的信息，这些信息不仅包括文本信息，还包括图片，图片信息为用户直观地描述了用户所关注对象的特征，这在一些平台类型的网站十分常见。例如，电子商务平台不仅通过文字，还通过图片对商品进行描述，从而使用户在浏览文本信息与图片信息后做出进一步的决策。为了满足用户浏览到图片信息的需求，网页内容提供方需要提供相应的图片。网页内容提供方可以在本地网站服务器存储图片信息，也可以从其他站点资源抓取图片存储至本地服务器，再向用户展示相应的图片信息。在实际应用中，通过从其他站点资源抓取图片是网页内容提供方向用户提供展示图片的一种常用手段。

但是，目前从其他站点资源抓取图片的现有技术存在系统资源浪费的问题，这主要表现为网络资源和存储资源的浪费。

发明内容

本发明解决的技术问题是在从其他站点资源抓取图片时，节省抓取图片的系统资源。

为解决上述问题，本发明提供一种抓取目标图片的方法，包括：

当用户在客户端打开图片显示页访问本地目标图片时，若根据所述目标图片的加载链接包含的本地图片路径无法加载所述目标图片，则获取错误资源参数；

参照所述错误资源参数从图片源地址表中获得所述目标图片的源地址；其中，所述图片源地址表存储了所述错误资源参数以及对应的所述目标图片的源地址；

根据所述目标图片的源地址从目标站点服务器下载所述目标图片，并按所述本地图片路径存储当前下载的目标图片。

可选地，所述获取错误资源参数，包括：

配置所述目标图片的http404错误页信息以获取所述错误资源参数。

可选地，所述图片源地址表通过以下方式获得：

从目标站点服务器返回的页面信息中提取所述目标图片的源地址；

预设所述目标图片的本地图片路径；

建立所述错误资源参数，以及所述错误资源参数与所述目标图片的源地址的对应关系，形成所述图片源地址表。

可选地，所述错误资源参数包括所述目标图片的标识码。

可选地，所述参照所述错误资源参数从图片源地址表中获得所述目标图片的源地址，包括：

根据所述目标图片的标识码从所述图片源地址表中查找对应的所述目标图片的源地址。

本发明实施例还提供一种抓取目标图片的装置，包括：

错误资源参数获取单元，适于当用户在客户端打开图片显示页访问本地目标图片时，若根据所述目标图片的加载链接包含的本地图片路径无法加载所述目标图片，则获取错误资源参数；

源地址获取单元，适于参照所述错误资源参数从图片源地址表中获得所述目标图片的源地址；其中，所述图片源地址表存储了所述错误资源参数以及对应的所述目标图片的源地址；

目标图片下载单元，适于根据所述目标图片的源地址从目标站点服务器下载所述目标图片，并按所述本地图片路径存储当前下载的目标图片。

可选地，所述错误资源参数获取单元，适于当用户在客户端打开图片显示页访问本地目标图片时，若根据所述目标图片的加载链接包含的本地图片路径无法加载所述目标图片，配置所述目标图片的http404错误页信息以获取错误资源参数。

可选地，所述图片源地址表通过以下单元获得：

源地址解析单元，适于从目标站点服务器返回的页面信息中提取所述目标图片的源地址；

图片路径预设单元，适于预设所述目标图片的本地图片路径；

所述图片源地址表形成单元，适于建立所述错误资源参数，以及所述错误资源参数与所述目标图片的源地址的对应关系，形成所述图片源地址表。

可选地，所述错误资源参数包括所述目标图片的标识码。

可选地，所述源地址获取单元，适于根据所述目标图片的标识码从所述图片源地址表中查找对应的所述目标图片的源地址。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明实施例的技术方案通过在用户访问目标图片时，如果根据图片加载链接中包含的图片路径加载图片失败，则获取错误资源参数，参照所述错误资源参数从图片源地址表中获得所述目标图片的源地址，其中，所述错误资源参数与所述目标图片的源地址存在对应关系并存储于图片源地址表中，再根据所述源地址从目标站点服务器下载所述目标图片。由于本技术方案是在用户访问目标图片时才通过已获取的源地址从目标站点服务器下载所述目标图片，避免了不必要的抓取下载和重复抓取下载，从而可以节省网络资源和存储资源。

附图说明

图1是本发明实施例中的一种抓取目标图片的方法的流程图；

图2是一种使用本发明实施例中的抓取目标图片的方法向客户端加载目标图片的流程图；

图3是本发明实施例中的一种抓取目标图片的装置的结构示意图。

具体实施方式

如背景技术所言，目前从其他站点资源抓取图片的现有技术存在系统资源浪费的问题，这主要表现为网络资源和存储资源的浪费。

本申请的发明人经研究发现，一方面，在先抓取图片后又抓取文本信息，或仅需要抓取图片时，往往存在图片不必要抓取以及图片被重复抓取的问题。例如，系统抓取1000张商品图片，但仅仅有较小比例的商品图片被用户点击浏览，这样其余没有被抓取的图片实际上是没有必要抓取的，从而使得1000张图片中大部分图片的抓取浪费了资源，同时，系统抓取的1000张商品图片中还存在图片被重复抓取的情况。另一方面，如果先抓取信息后抓取图片时可以避免图片被重复抓取，但仍然存在上述图片不必要抓取的问题。

本发明实施例的技术方案通过在用户访问目标图片时，若根据图片加载链接中包含的图片路径加载图片失败，则获取错误资源参数，参照所述错误资源参数从图片源地址表中获得所述目标图片的源地址，其中，所述错误资源参数及与之对应的所述目标图片的源地址存储于图片源地址表中，再根据所述源地址从目标站点服务器下载所述目标图片，从而避免不必要的抓取和重复抓取，进而能节省资源。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例中的一种抓取目标图片的方法的流程图。参照图1，所述抓取目标图片的方法包括以下步骤：

步骤S101：当用户在客户端打开图片显示页访问本地目标图片时，若根据所述目标图片的加载链接包含的本地图片路径无法加载所述目标图片，则获取错误资源参数。

一般来说，为了能让客户端打开的某个页面显示图片，需在本地数据库中存储该图片，该图片的加载链接中包含了该图片的存储路径信息。

在具体实施中，访问目标图片是指打开的某个页面需要加载所述目标图片，图片的加载链接中包含了所述目标图片的本地图片路径，此时如果按照所述本地图片路径加载图片出错，说明在所述路径下不存在所述目标图片，则配置加载出错的所述目标图片的错误页信息以获取错误资源参数。

在具体实施中，所述获取错误资源参数可以是通过配置加载出错的所述目标图片的http(超文本传输协议，HyperTextTransferProtocol)404错误页信息来传递所述错误资源参数来获取。

所述错误资源参数一般包含了错误资源的路径信息，在具体实施中，可以在所述错误资源参数中加入其它信息如标识码。

步骤S102：参照所述错误资源参数从图片源地址表中获得所述目标图片的源地址；其中，所述图片源地址表存储了所述错误资源参数以及对应的所述目标图片的源地址。

在具体实施中，所述目标图片的源地址为本站点之外的其他站点提供所述目标图片的地址。

具体实施中，所述图片源地址表存储了所述错误资源参数与所述目标图片的源地址，及两者的对应关系。因此通过步骤S101获得的所述错误资源参数可以在本步骤中获得所述目标图片的源地址。

具体实施中，所述图片源地址表可以通过以下方式获得：

具体实施中，所述从目标站点服务器返回的页面信息为基于客户端请求而反馈的网页内容对应的信息，其可以是html(HyperTextMarkupLanguage，超文本标记语言)文档中的信息。

具体地，可以在提取所述目标图片的源地址的同时，为所述目标图片设置本地图片路径，当加载图片出错时所述错误资源参数包含了错误资源路径即所述本地图片路径，此时可以通过在所述本地图片路径信息后增加目标图片的标识码以建立所述错误资源参数，并建立所述错误资源参数与所述目标图片的源地址的对应关系，以形成所述图片源地址表。

具体实施中，所述图片源地址表也可以是事先采取其他方式获得的包括错误资源参数与图片源地址，及其对应关系的表，以供配置404页面获得所述错误资源参数后，可以通过所述错误资源参数查询到所述图片源地址。

步骤S103：根据所述目标图片的源地址从目标站点服务器下载所述目标图片，并按所述本地图片路径存储当前下载的目标图片。

在具体实施中，根据所述目标图片的源地址从目标站点服务器下载所述目标图片，并按所述本地图片路径存储当前下载的目标图片，从而可以在用户再次访问该目标图片时，从本地加载所述目标图片，而不再需要从其他站点资源再次抓取该目标图片。

为使得本发明实施的技术方案更加清晰，下面以从其他站点服务器抓取房源图片为实例进行说明。

假设本站点资源为一个房屋交易平台，需要向用户提供关于特定房源的文字说明以及对应房屋图片，当用户打开介绍房源的页面时无疑需加载文字说明以及对应的房屋图片，在此以抓取其中一张目标图片1为例。

在本例中，所述图片源地址表中的一条信息可以通过以下方式获得：

通过爬虫从一房源平台的目标站点服务器返回的html页面信息中提取到所述目标图片1的源地址为：

"http://a.pic1.ajkimg.com/display/anjuke/9378ee-％E6％99％AE％E6％97％8C％E5％9C％B0％E4％BA％A7/d36193a1ba2a4860fe4d170e148e9986-600x450.jpg”；

为建立所述错误资源参数，在抓取所述目标图片1的源地址的同时为所述目标图片1预设本地图片路径为：“/2015/10/27/111.jpg”，并设置所述目标图片1的标识码为100，从而建立所述错误资源参数中所述标识码与所述目标图片1的源地址间的对应关系。

所述目标图片1的访问链接包含了上述预设的本地图片路径，例如当用户以访问链接"http://image.zamplus.com/2015/10/27/111_400_600.jpg？id＝100"访问该目标图片1时，若根据其中的本地图片路径“/2015/10/27/111.jpg”查找不到所述目标图片1，则配置所述目标图片的http404错误页信息，后台请求了/404.php？url＝"http://img/2015/10/27/111.jpg？id＝100”，从而获得所述错误资源参数中的目标图片1的标识码100。

获得所述标识码100后，根据所述图片源地址表中的标识码与所述目标图片1的源地址间的对应关系，得到所述目标图片1的源地址为：

"http://a.pic1.ajkimg.com/display/anjuke/9378ee-％E6％99％AE％E6％97％8C％E5％9C％B0％E4％BA％A7/d36193a1ba2a4860fe4d170e148e9986-600x450.jpg”。

接下来根据所述目标图片1的源地址从目标站点服务器下载所述目标图片1，并按所述本地图片路径“/2015/10/27/111.jpg”存储当前下载的目标图片1。

现有技术中，在抓取源地址的同时抓取所述目标图片，并未考虑用户实际访问图片的需要，而实际应用场景下用户访问的图片在预抓取的图片中仅占较小的比例，因此较大比例的图片实际并无必要预抓取，这造成了网络资源和存储资源的浪费。

相比之下，本发明实施例采用的技术方案在用户访问目标图片失败时获得所述目标图片的源地址，再通过已获取的源地址从目标站点服务器下载所述目标图片，因此本发明实施例采用的技术方案避免了图片的不必要抓取和重复抓取，从而节省了网络资源和存储资源。

图2是一种使用本发明实施例中的抓取目标图片的方法向客户端加载目标图片的流程图。参照图2所示，使用本发明实施例中的抓取目标图片的方法向客户端加载目标图片的流程如下：

步骤S201：用户在客户端打开图片显示页访问本地目标图片；

步骤S202：判断根据所述目标图片的加载链接包含的本地图片路径查找目标图片是否成功；如果判断结果为是，则执行步骤S209，否则执行步骤S203；

步骤S203：配置所述目标图片的http404错误页信息以获取错误资源参数；

步骤S204：参照所述错误资源参数从图片源地址表中获得所述目标图片的源地址；其中，所述图片源地址表存储了所述错误资源参数以及对应的所述目标图片的源地址；

步骤S205：根据所述目标图片的源地址从目标站点服务器下载所述目标图片，并按所述本地图片路径存储当前下载的目标图片；

步骤S206：判断图片下载是否成功，如果判断结果为是则执行步骤S208，否则执行步骤S207；

步骤S207：根据当前页面位置加载替代图片于客户端的目标图片显示页；

步骤S208：处理当前下载的所述目标图片；

步骤S209：加载所述目标图片至客户端的目标图片显示页。

在本发明实施例中，用户根据访问链接包含的本地图片路径如果成功查找到所述目标图片，则加载所述目标图片至客户端的目标图片显示页，不再重复抓取。否则可以通过图1中实施例所述的步骤从目标站点进行目标图片的抓取，在此不再赘述。

在具体实施中，如果从目标站点下载目标图片失败，则需要根据当前页面位置加载替代图片于客户端的目标图片显示页。具体地，当前页面如果为详细页，则使用1*1像素的图片替代所述目标图片，如果当前页面为列表页，则使用列表固定大小的默认图片替代所述目标图片。此处下载目标图片失败时使用替代图片的处理，本领域技术人员可以理解，在此不做详述。

在具体实施中，在向目标图片需显示的页面加载所述目标图片之前，为了适应当前页面的图片显示尺寸需要，需要对当前下载的所述目标图片进行处理。例如下载的图片尺寸为600*450，当前页面的图片显示尺寸要求400*600，那么应该做相应的裁剪。

本发明实施例采用的技术方案在根据访问链接中的路径信息访问目标图片失败时触发http404错误页信息以获得错误资源参数，根据所述错误资源参数获得所述目标图片的源地址，再通过已获取的源地址从目标站点服务器下载所述目标图片，因此本发明实施例采用的技术方案避免了图片的不必要抓取和重复抓取，从而节省了网络资源和存储资源。通过按照所述路径信息存储目标图片，可再次根据访问链接中的路径信息访问到所述目标图片，不再重复抓取，从而节省系统资源。

图3是本发明实施例中的一种抓取目标图片的装置的结构示意图。如图所示的抓取目标图片的装置30，可以包括：错误资源参数获取单元301，源地址获取单元302和目标图片下载单元303；

错误资源参数获取单元301，适于当用户在客户端打开图片显示页访问本地目标图片时，若根据所述目标图片的加载链接包含的本地图片路径无法加载所述目标图片，则获取错误资源参数；

源地址获取单元302，适于参照所述错误资源参数从图片源地址表中获得所述目标图片的源地址；其中，所述图片源地址表存储了所述错误资源参数以及对应的所述目标图片的源地址；

目标图片下载单元303，适于根据所述目标图片的源地址从目标站点服务器下载所述目标图片，并按所述本地图片路径存储当前下载的目标图片。

在具体实施中，所述图片源地址表通过以下单元获得：

图片源地址表形成单元，适于建立所述错误资源参数，以及所述错误资源参数与所述目标图片的源地址的对应关系，形成所述图片源地址表。

在具体实施中，所述获取错误资源参数可以是通过配置所述目标图片的http404错误页信息传递错误资源参数来获取。

在具体实施中，所述错误资源参数可以包括所述目标图片的标识码。

在具体实施中，所述源地址获取单元302，适于根据所述目标图片的标识码从所述图片源地址表中查找对应的所述目标图片的源地址。

本发明实施例采用的技术方案在用户访问目标图片失败时获取错误资源参数，根据所述错误资源参数获得所述目标图片的源地址，再通过已获取的源地址从目标站点服务器下载所述目标图片，因此本发明实施例采用的技术方案避免了图片的不必要抓取和重复抓取，从而节省了网络资源和存储资源。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于以计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims

1.一种抓取目标图片的方法，其特征在于，包括：

2.根据权利要求1所述的抓取目标图片的方法，其特征在于，所述获取错误资源参数，包括：

3.根据权利要求1所述的抓取目标图片的方法，其特征在于，所述图片源地址表通过以下方式获得：

预设所述目标图片的本地图片路径；

4.根据权利要求1至3任一项所述的抓取目标图片的方法，其特征在于，所述错误资源参数包括所述目标图片的标识码。

5.根据权利要求4所述的抓取目标图片的方法，其特征在于，所述参照所述错误资源参数从图片源地址表中获得所述目标图片的源地址，包括：

6.一种抓取目标图片的装置，其特征在于，包括：

7.根据权利要求6所述的抓取目标图片的装置，其特征在于，所述错误资源参数获取单元，适于当用户在客户端打开图片显示页访问本地目标图片时，若根据所述目标图片的加载链接包含的本地图片路径无法加载所述目标图片，配置所述目标图片的http404错误页信息以获取错误资源参数。

8.根据权利要求6所述的抓取目标图片的装置，其特征在于，所述图片源地址表通过以下单元获得：

9.根据权利要求6至8任一项所述的抓取目标图片的装置，其特征在于，所述错误资源参数包括所述目标图片的标识码。

10.根据权利要求9所述的抓取目标图片的装置，其特征在于，所述源地址获取单元，适于根据所述目标图片的标识码从所述图片源地址表中查找对应的所述目标图片的源地址。