CN103389983B - 一种用于网络爬虫系统的网页内容抓取方法及装置 - Google Patents
一种用于网络爬虫系统的网页内容抓取方法及装置 Download PDFInfo
- Publication number
- CN103389983B CN103389983B CN201210140751.4A CN201210140751A CN103389983B CN 103389983 B CN103389983 B CN 103389983B CN 201210140751 A CN201210140751 A CN 201210140751A CN 103389983 B CN103389983 B CN 103389983B
- Authority
- CN
- China
- Prior art keywords
- address
- domain name
- website
- network
- addresses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000010586 diagram Methods 0.000 description 4
- 241000270322 Lepidosauria Species 0.000 description 3
- 244000097202 Rathbunia alamosensis Species 0.000 description 3
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请的实施例公开了一种用于网络爬虫系统的网页内容抓取方法及装置,所述方法首先构建一IP地址数据库,记录有预设网站的域名及与该域名对应的多个IP地址;然后通过查询所述IP地址数据库,将所述网络爬虫系统欲执行抓取的目标网页地址URL中的域名替换为一个与该域名对应的IP地址后执行抓取。本申请的实施例充分利用了大网站的布局特点,通过域名系统DNS查询工具,获取到各个大网站分布在全国各地的CDN结点的IP地址,或者其提供轮询服务的多个IP地址,然后把这些IP地址对应的服务器作为独立的服务器进行抓取,从而提高了对大网站的抓取效率。
Description
技术领域
本发明涉及计算机、互联网技术领域,尤其涉及一种用于网络爬虫系统的网页内容抓取方法及装置。
背景技术
网络爬虫(又被称为网页蜘蛛,网络机器人等),是一种按照一定的规则自动的抓取互联网上的网页的程序或者脚本,它们的行为被称为网页抓取或蜘蛛爬行。
由于网络上的HTML文档使用超链接连接了起来,就像组成了一张网,因此,网络爬虫可以顺着这张网爬行,每到一个网页就利用抓取程序将这个网页抓下来,并将其中的超链接抽取出来,作为进一步爬行的线索。
一般来说,网络爬虫都是从一组要访问的URL(统一资源定位符,或简称网址)链接开始,可以称这些URL为种子。爬虫访问这些链接,并辨认出这些页面中的所有超链接,然后将这些超链接添加到一个URL列表中,再按照一定的策略反复访问这些列表中的URL链接。
然而,现有的网络爬虫系统经常会遇到的一个问题是,对于一些比较大的网站,无法在较短的时间内将其内容全部抓取完,这是因为网络爬虫在爬取网页的过程中,需要遵守一定的礼仪规范,不能对同一个网站进行过于频繁的抓取,否则会给对方网站的服务器造成过大的压力,严重时可能会导致该网站不得不屏蔽该网络爬虫,禁止其抓取行为。
抓取的礼仪规范在业界是有标准的,具体体现在robots.txt中,如果对方网站的robots.txt中包含crawl delay:value这一项,则爬虫对网站连续两次访问请求的时间间隔必须大于value的值。如果对方网站的robots.txt中不包含这一项或者根本就没有robots.txt,那么作为网络爬虫也应该间隔一定的时间发起下一次请求。
但是有一些网站的规模非常大,页面数量是亿甚至是十亿的量级,每天新增的页面数也非常大,如果严格遵守抓取礼仪的话,会使得这些大网站在一定的时间内无法被抓取完。
为了解决这个问题,现有的网络爬虫的抓取策略都是把规模很大的网站连续两次抓取的时间间隔设置到ms级别,并且在此基础上同时保持很多个连接,但是这不仅给对方网站的带来了很大的压力,而且也存在被对方网站封锁的危险。
发明内容
本申请所要解决的技术问题在于提供一种用于网络爬虫系统的网页内容抓取方法及装置,以克服现有技术中无法在遵守抓取礼仪规范的前提下短时间内将大型网站的内容全部抓取完的问题。
为解决上述技术问题,本申请提供一种用于网络爬虫系统的网页内容抓取方法,首先构建一IP地址数据库,记录有预设网站的域名及与该域名对应的多个IP地址;然后通过查询所述IP地址数据库,将所述网络爬虫系统欲执行抓取的目标网页地址URL中的域名替换为一个与该域名对应的IP地址后执行抓取。
本发明进而还提供一种用于网络爬虫系统的网页内容抓取装置,包括:
数据库模块,用于通过构建一IP地址数据库,记录预设网站的域名及与该域名对应的多个IP地址;
替换模块,用于通过查询所述IP地址数据库,将所述网络爬虫系统欲执行抓取的目标网页地址URL中的域名替换为一个与该域名对应的IP地址后执行抓取。
本申请的实施例充分利用了大网站的布局特点,通过域名系统DNS查询工具,获取到各个大网站分布在全国各地的CDN(内容分发网络)结点的IP地址,或者其提供轮询服务的多个IP地址,然后把这些IP地址对应的服务器作为独立的服务器进行抓取,这样可以同时分别对大网站的内容进行抓取,而又不会对某一个单独的服务器造成很大的压力,从而提高了对大网站的抓取效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本申请实施例所述的URL规则示意图。
图2为根据本申请实施例所述的用于网络爬虫系统的网页内容抓取方法流程图。
图3为根据本申请另一实施例所述的用于网络爬虫系统的网页内容抓取方法流程图。
图4为根据本申请实施例所述的用于网络爬虫系统的网页内容抓取装置示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为充分理解本申请的技术方案,下面首先对CDN及IP轮询技术做一简单介绍。
CDN,全称为Content Delivery Network,即内容分发网络,是一种新型的网络构建方式。其基本原理是,将用户的请求根据智能DNS系统定位到一个离用户最近的CDN结点上,而每个CDN结点都是网站的一个高速缓存服务器,通过这种方式可以极大提高用户访问网站的响应速度。目前像新浪和网易这种大规模的网站基本上都是采用的这种网络构建方式。
IP轮询:大多域名注册商都支持多条A记录的解析,DNS服务器将解析请求按照A记录的顺序,逐一分配到不同的IP上,这样就可以实现简单的负载均衡。
那么,接下来也有必要对现有网络爬虫抓取页面的过程进行一个简要的说明。
爬虫抓取网页的过程实际上与用户平时使用浏览器浏览网页的原理是一样的。“打开”网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了一次请求,把服务器端的文件“抓”到本地,再进行解释、展现。更进一步,可以通过浏览器端查看“抓取”过来的文件源代码。例如选择“查看”|“源文件”命令,就会出现从服务器上“抓取”下来的文件的源代码。
网站中的每个网页都有一个对应的代码,也就是用户在浏览器的地址栏中输入的字符串,它叫做URL,其一般由协议名、主机(有时也包括端口号)、路径及文件名这三部分组成。其中,第一部分和第二部分用“://”符号隔开,第二部分和第三部分用“/”符号隔开。第一部分和第二部分是不可缺少的,第三部分有时可以省略。
大体来说,URL的一般形式可以归纳为:
<URL的访问方式>://<主机>:<端口>/<路径>
URL的访问方式至少包括:
1.ftp——文件传送协议FTP
2.http——超文本传送协议HTTP
3.News——USENET新闻
4.https——用安全套接字层传送的超文本传输协议
5.mailto——电子邮件地址
6.ldap——轻型目录访问协议搜索
7.gopher——Gopher协议
8.telnet——Telnet协议
其中,<主机>字段可以是存放资源的服务器在因特网中的域名或IP地址,但由于IP地址较为繁琐且不方便记忆,因此使用域名更为常见。
如图1所示,http://www.cctv.com/geogarghy/dpgs/index.html,其中,第一部分表示该网站采用HTTP协议;第二部分表示该网页所在网站的域名;第三部分表示该网页的路径和文件名。该URL整体上代表了中央电视台网站中的某个网页的网址。
网站的主页往往会省略路径和文件名,只有协议名和该网站的域名两部分,例如http://www.sina.com.cn,就是新浪网的主页网址URL。
现有的网络爬虫系统,在从种子库中获得一个URL后,会直接根据该URL地址进行抓取,例如对于上述http://www.sina.com.cn来说,将新浪网首页抓取到本地后,抽取出其中的新的URL链接,例如第一个URL是http://www.sina.com.cn/a.html,第二个URL是http://www.sina.com.cn/b.html,接下来,网络爬虫就会再去访问抓取http://www.sina.com.cn/a.html和http://www.sina.com.cn/b.html的网页,再继续抽取其中的链接,持续进行抓取,直至将整个网站的网页都抓取下来。
在上述过程中我们可以发现,每次抓取访问都是针对www.sina.com这一主机服务器,而当一个网站的网页数量很大时,整个抓取时间将会是非常长,再考虑到抓取的礼仪规范,这会对www.sina.com的主机服务器造成很大的压力。
但另一方面,通过上述CDN及IP轮询技术的说明可以知道,该网站同样的网页内容实际上同时存在于多个服务器中,只不过由于现有技术条件下的各种规则和策略的限制,对于相同条件下的爬虫系统来说,即使保持多个或发起多次连接,其很可能每次被分配到的服务器都是相同的,无法充分利用其它服务器提供的网页内容。
而本申请的实施例,针对上述技术问题,提供了一种用于网络爬虫系统的网页内容抓取方法,如图2所示,可以包括如下步骤:
步骤201:构建一IP地址数据库,记录有预设网站的域名及与该域名对应的多个IP地址;
步骤202:通过查询所述IP地址数据库,将所述网络爬虫系统欲执行抓取的目标网页地址URL中的域名替换为一个与该域名对应的IP地址后执行抓取。
其中,所述IP地址数据库可以根据所述网络爬虫系统的查询,从与其查询的域名对应的多个IP地址中根据预设规则返回一个IP地址。
而所述预设规则可以包括随机返回一个IP地址;或根据记录顺序返回上一次返回的IP地址的下一个IP地址。
而所述与预设网站的域名对应的多个IP地址,则可以是包括该网站的内容分发网络CDN节点的IP地址和/或域名系统DNS轮询的IP地址。这些IP地址可以在线下搜集全国各地运营商所提供的DNS Server(域名系统服务器)列表,根据这些DNS服务器查询到所有CDN的地址或者轮询的IP,将获取到的结果缓存下来,并定期更新。
如图3所示,为根据本申请的技术方案提供的另一具体实施例示意图,首先,在步骤301中,需要事先搜集到全国各地运营商提供的DNS server地址;
然后在步骤302中,对需要处理的大网站,查询每一个DNS server地址,获取到不同的CDN的IP地址或者轮询的IP地址;
在步骤303中,将查询到的这些IP地址存储到一个本地DNS缓存系统中,即构建一IP地址数据库;
在步骤304中,网络爬虫从种子库中拿到一个URL,准备进行抓取;
步骤305中,爬虫系统向本地的DNS缓存系统查询目标URL的IP地址,DNS缓存系统随机的返回一个IP地址;
步骤306中,根据这个IP地址,在保证抓取礼仪的前提下对服务器进行抓取。
然后,再回到步骤304。
例如,还是以上述抓取www.sina.com.cn这个网站为例,通过事先构建的数据库,可以知道该网站域名对应的IP假设包括61.172.201.195及220.181.111.85,那么,假设网络爬虫获得的第一个URL是http://www.sina.com.cn/a.html,第二个URL是http://www.sina.com.cn/b.html,那么在执行针对第一个URL的抓取之前,根据本申请的实施例,首先会去查询DNS缓存中的数据库,获得与域名www.sina.com.cn对应的IP地址,例如随机返回的IP地址是61.172.201.195,这时,爬虫就会用IP地址替换域名,实际使用http://61.172.201.195/a.html进行抓取;同样,对于获得的第二个URL,抓取之前会去查询DNS缓存,这时查询到的IP地址是220.181.111.85,那么实际就会用http://220.181.111.85/b.html进行抓取。
由此可见,由于每个预设域名都对应有多个IP地址,而每个URL只使用其中的一个IP进行了实际的抓取,这就将针对该网站的多个URL访问分散到不同的IP来执行,大大减轻了对同一个IP下的服务器的压力。
如图4所示,本申请的实施例还相应提供了一种用于网络爬虫系统的网页内容抓取装置,包括数据库模块401,替换模块402,其中:
数据库模块401,用于通过构建一IP地址数据库,记录预设网站的域名及与该域名对应的多个IP地址;
替换模块402,用于通过查询所述IP地址数据库,将所述网络爬虫系统欲执行抓取的目标网页地址URL中的域名替换为一个与该域名对应的IP地址后执行抓取。
所述数据库模块401可以根据所述网络爬虫系统的查询,从与其查询的域名对应的多个IP地址中根据预设规则返回一个IP地址。
同样,所述预设规则包括随机返回一个IP地址,或根据记录顺序返回上一次返回的IP地址的下一个IP地址等规则。
所述数据库模块401中记录的与预设网站的域名对应的多个IP地址,包括该网站的内容分发网络CDN节点的IP地址和/或域名系统DNS轮询的IP地址。
上述装置实施例的各部分运作细节与上述方法实施例相同,可参照理解,在此不再赘述。
本说明书中的各个实施例一般是采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同或相似的部分可互相参见即可。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块或单元。一般地,程序模块或单元可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。一般来说,程序模块或单元可以由软件、硬件或两者的结合来实现。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块或单元可以位于包括存储设备在内的本地和远程计算机存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其主要思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种用于网络爬虫系统的网页内容抓取方法,其特征在于,包括如下步骤:
构建一IP地址数据库,记录有预设网站的域名及与该域名对应的多个IP地址;所述与预设网站的域名对应的多个IP地址,包括该网站的内容分发网络CDN节点的IP地址和/或域名系统DNS轮询的IP地址;
通过查询所述IP地址数据库,将所述网络爬虫系统欲执行抓取的目标网页地址URL中的域名替换为一个与该域名对应的IP地址后执行抓取。
2.如权利要求1所述的方法,其特征在于,所述IP地址数据库根据所述网络爬虫系统的查询,从与其查询的域名对应的多个IP地址中根据预设规则返回一个IP地址。
3.如权利要求2所述的方法,其特征在于,所述预设规则包括随机返回一个IP地址。
4.如权利要求2所述的方法,其特征在于,所述预设规则包括根据记录顺序返回上一次返回的IP地址的下一个IP地址。
5.一种用于网络爬虫系统的网页内容抓取装置,其特征在于,包括:
数据库模块,用于通过构建一IP地址数据库,记录预设网站的域名及与该域名对应的多个IP地址;所述数据库模块中记录的与预设网站的域名对应的多个IP地址,包括该网站的内容分发网络CDN节点的IP地址和/或域名系统DNS轮询的IP地址;
替换模块,用于通过查询所述IP地址数据库,将所述网络爬虫系统欲执行抓取的目标网页地址URL中的域名替换为一个与该域名对应的IP地址后执行抓取。
6.如权利要求5所述的装置,其特征在于,所述数据库模块,根据所述网络爬虫系统的查询,从与其查询的域名对应的多个IP地址中根据预设规则返回一个IP地址。
7.如权利要求6所述的装置,其特征在于,所述预设规则包括随机返回一个IP地址。
8.如权利要求6所述的装置,其特征在于,所述预设规则包括根据记录顺序返回上一次返回的IP地址的下一个IP地址。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210140751.4A CN103389983B (zh) | 2012-05-08 | 2012-05-08 | 一种用于网络爬虫系统的网页内容抓取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210140751.4A CN103389983B (zh) | 2012-05-08 | 2012-05-08 | 一种用于网络爬虫系统的网页内容抓取方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103389983A CN103389983A (zh) | 2013-11-13 |
CN103389983B true CN103389983B (zh) | 2016-12-14 |
Family
ID=49534259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210140751.4A Expired - Fee Related CN103389983B (zh) | 2012-05-08 | 2012-05-08 | 一种用于网络爬虫系统的网页内容抓取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103389983B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103269380B (zh) * | 2013-06-06 | 2016-03-16 | 百度在线网络技术(北京)有限公司 | 服务流量管理方法和装置 |
CN105279156B (zh) * | 2014-05-29 | 2019-11-29 | 腾讯科技(深圳)有限公司 | 网络信息通信方法及网络信息浏览装置 |
CN104184846B (zh) * | 2014-09-10 | 2017-09-26 | 北京浩瀚深度信息技术股份有限公司 | 一种互联网端口的整理方法及装置 |
CN105528370B (zh) * | 2014-09-30 | 2020-04-07 | 奇安信科技集团股份有限公司 | 页面检测方法及客户端 |
CN105989151B (zh) * | 2015-03-02 | 2019-09-06 | 阿里巴巴集团控股有限公司 | 网页抓取方法及装置 |
CN104794199B (zh) * | 2015-04-21 | 2018-11-09 | 百度在线网络技术(北京)有限公司 | 抓取网页数据的方法及系统 |
CN105868258A (zh) * | 2015-12-28 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 爬虫系统 |
CN107045507B (zh) * | 2016-02-05 | 2020-08-21 | 北京国双科技有限公司 | 网页爬取方法及装置 |
CN105763633B (zh) * | 2016-04-14 | 2019-05-21 | 上海牙木通讯技术有限公司 | 一种域名和网站访问行为的关联方法 |
CN105938496A (zh) * | 2016-05-27 | 2016-09-14 | 深圳市永兴元科技有限公司 | 网页内容提取方法及装置 |
CN106776768B (zh) * | 2016-11-23 | 2018-02-02 | 福建六壬网安股份有限公司 | 一种分布式爬虫引擎的url抓取方法及系统 |
CN107094134A (zh) * | 2017-03-09 | 2017-08-25 | 咪咕数字传媒有限公司 | 一种访问网站的方法及客户端 |
CN109274702A (zh) * | 2017-07-12 | 2019-01-25 | 武汉安天信息技术有限责任公司 | 一种网站内容采集方法及装置 |
CN110020043B (zh) * | 2017-09-05 | 2021-07-30 | 北京国双科技有限公司 | 页面爬取方法、装置、存储介质及处理器 |
CN107580052B (zh) * | 2017-09-07 | 2020-04-10 | 翼果(深圳)科技有限公司 | 自演进的网络自适应爬虫方法及系统 |
CN107635026B (zh) * | 2017-09-26 | 2019-01-22 | 马上消费金融股份有限公司 | 一种获取ip的方法及装置 |
CN109274750A (zh) * | 2018-10-07 | 2019-01-25 | 杭州安恒信息技术股份有限公司 | 一种基于云平台保障网站断线后用户正常访问在线的方法 |
CN111447291B (zh) * | 2018-12-29 | 2024-04-05 | 三六零科技集团有限公司 | 基于dns的调度方法、系统及电子设备 |
CN110430290B (zh) * | 2019-08-02 | 2022-06-10 | 深圳市网心科技有限公司 | 资源地址更新方法、计算机装置及存储介质 |
CN112541104A (zh) * | 2019-09-20 | 2021-03-23 | 浙江大搜车软件技术有限公司 | 一种数据抓取方法及装置 |
CN112579857A (zh) * | 2019-09-30 | 2021-03-30 | 北京国双科技有限公司 | 一种数据爬取的方法、装置、电子设备及存储介质 |
CN111147616B (zh) * | 2019-12-17 | 2022-10-25 | 北京明略软件系统有限公司 | 一种资源获取方法、装置、电子设备及存储介质 |
CN111199040B (zh) * | 2019-12-18 | 2023-09-12 | 中国平安人寿保险股份有限公司 | 页面篡改检测方法、装置、终端及存储介质 |
CN113821705B (zh) * | 2021-08-30 | 2024-02-20 | 湖南大学 | 网页内容的获取方法、终端设备及可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7701944B2 (en) * | 2007-01-19 | 2010-04-20 | International Business Machines Corporation | System and method for crawl policy management utilizing IP address and IP address range |
CN101561814B (zh) * | 2009-05-08 | 2012-05-09 | 华中科技大学 | 基于社会标注的主题爬虫系统 |
US20110307467A1 (en) * | 2010-06-10 | 2011-12-15 | Stephen Severance | Distributed web crawler architecture |
CN102063477B (zh) * | 2010-12-13 | 2012-11-28 | 百度在线网络技术(北京)有限公司 | 一种网站数据抓取装置及方法 |
CN102184227B (zh) * | 2011-05-10 | 2013-05-08 | 北京邮电大学 | 一种面向web服务的通用爬虫引擎系统及其工作方法 |
-
2012
- 2012-05-08 CN CN201210140751.4A patent/CN103389983B/zh not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
CND中的负载均衡技术;杨明川;《信息网络》;20031130(第11期);27-28 * |
Also Published As
Publication number | Publication date |
---|---|
CN103389983A (zh) | 2013-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103389983B (zh) | 一种用于网络爬虫系统的网页内容抓取方法及装置 | |
US8065292B2 (en) | Generating an index for a network search engine | |
AU2001290363B2 (en) | A method for searching and analysing information in data networks | |
US20140249964A1 (en) | System and method for gathering ecommerce data | |
AU2001290363A1 (en) | A method for searching and analysing information in data networks | |
CN101046806B (zh) | 搜索引擎系统和方法 | |
CN102761627A (zh) | 基于终端访问统计的云网址推荐方法及系统及相关设备 | |
CN110430188A (zh) | 一种快速url过滤方法及装置 | |
CN101211340A (zh) | 基于客户端/服务端结构的动态网络爬行器 | |
US10491606B2 (en) | Method and apparatus for providing website authentication data for search engine | |
US20150100563A1 (en) | Method for retaining search engine optimization in a transferred website | |
CN101551813A (zh) | 网络连接设备、搜索设备及搜集搜索引擎数据源的方法 | |
CN106294848A (zh) | 一种网页解析、获取方法及装置 | |
Sardar et al. | Detection and confirmation of web robot requests for cleaning the voluminous web log data | |
CN106301928A (zh) | 一种网页解析、获取方法及装置 | |
CN104202418B (zh) | 为内容提供商推荐商业的内容分发网络的方法和系统 | |
Suresh et al. | An overview of data preprocessing in data and web usage mining | |
CN103220379A (zh) | 一种域名反向解析方法和装置 | |
CN103617225A (zh) | 一种关联网页搜索方法和系统 | |
CN105930385A (zh) | 一种数据爬取方法及系统 | |
CN106815248A (zh) | 网站分析方法及装置 | |
CN105989002A (zh) | 网页数据查询、建立网页跳转路径数据库的方法及装置 | |
Kumar et al. | A Novel Approach to Enhance DNS Cache Performance in Web Browser using SPV Algorithm | |
KR100633534B1 (ko) | 웹 스크래핑 엔진 시스템 | |
Bamrah et al. | Web forum crawling techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1188848 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1188848 Country of ref document: HK |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161214 |