CN103020313A - 一种基于探测网页更新周期的抓取方法 - Google Patents
一种基于探测网页更新周期的抓取方法 Download PDFInfo
- Publication number
- CN103020313A CN103020313A CN2013100072467A CN201310007246A CN103020313A CN 103020313 A CN103020313 A CN 103020313A CN 2013100072467 A CN2013100072467 A CN 2013100072467A CN 201310007246 A CN201310007246 A CN 201310007246A CN 103020313 A CN103020313 A CN 103020313A
- Authority
- CN
- China
- Prior art keywords
- page
- webpage
- crawl
- mode
- obtains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310007246.7A CN103020313B (zh) | 2013-01-08 | 2013-01-08 | 一种基于探测网页更新周期的抓取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310007246.7A CN103020313B (zh) | 2013-01-08 | 2013-01-08 | 一种基于探测网页更新周期的抓取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103020313A true CN103020313A (zh) | 2013-04-03 |
CN103020313B CN103020313B (zh) | 2015-10-07 |
Family
ID=47968916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310007246.7A Active CN103020313B (zh) | 2013-01-08 | 2013-01-08 | 一种基于探测网页更新周期的抓取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103020313B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103399933A (zh) * | 2013-08-08 | 2013-11-20 | 人民搜索网络股份公司 | 一种抓取网络平面媒体的网页内容的方法及系统 |
CN104123342A (zh) * | 2014-06-30 | 2014-10-29 | 海视云(北京)科技有限公司 | 一种内容推荐方法及装置 |
CN104391953A (zh) * | 2014-11-27 | 2015-03-04 | 北京国双科技有限公司 | 检测网页更新的方法及装置 |
CN105528376A (zh) * | 2014-10-22 | 2016-04-27 | 腾讯科技(深圳)有限公司 | 多媒体信息更新方法及装置 |
CN106547774A (zh) * | 2015-09-21 | 2017-03-29 | 北京国双科技有限公司 | 网站内容的检测方法及装置 |
CN106547775A (zh) * | 2015-09-21 | 2017-03-29 | 北京国双科技有限公司 | 网站内容的检测方法及装置 |
WO2017152550A1 (zh) * | 2016-03-09 | 2017-09-14 | 乐视控股(北京)有限公司 | 一种网页抓取方法及装置 |
CN107423059A (zh) * | 2017-07-07 | 2017-12-01 | 北京小米移动软件有限公司 | 页面的显示方法、装置及终端 |
CN108763537A (zh) * | 2018-05-31 | 2018-11-06 | 河南科技大学 | 一种基于时间感知的增量机器爬虫方法 |
CN113434787A (zh) * | 2021-05-14 | 2021-09-24 | 国网河北省电力有限公司衡水供电分公司 | 网络数据获取方法、装置及终端设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101178736A (zh) * | 2007-12-11 | 2008-05-14 | 腾讯科技(深圳)有限公司 | 网页抓取方法和网页抓取服务器 |
CN102063477A (zh) * | 2010-12-13 | 2011-05-18 | 百度在线网络技术(北京)有限公司 | 一种网站数据抓取装置及方法 |
-
2013
- 2013-01-08 CN CN201310007246.7A patent/CN103020313B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101178736A (zh) * | 2007-12-11 | 2008-05-14 | 腾讯科技(深圳)有限公司 | 网页抓取方法和网页抓取服务器 |
CN102063477A (zh) * | 2010-12-13 | 2011-05-18 | 百度在线网络技术(北京)有限公司 | 一种网站数据抓取装置及方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103399933B (zh) * | 2013-08-08 | 2017-01-18 | 人民搜索网络股份公司 | 一种抓取网络平面媒体的网页内容的方法及系统 |
CN103399933A (zh) * | 2013-08-08 | 2013-11-20 | 人民搜索网络股份公司 | 一种抓取网络平面媒体的网页内容的方法及系统 |
CN104123342A (zh) * | 2014-06-30 | 2014-10-29 | 海视云(北京)科技有限公司 | 一种内容推荐方法及装置 |
CN105528376A (zh) * | 2014-10-22 | 2016-04-27 | 腾讯科技(深圳)有限公司 | 多媒体信息更新方法及装置 |
CN105528376B (zh) * | 2014-10-22 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 多媒体信息更新方法及装置 |
CN104391953B (zh) * | 2014-11-27 | 2017-12-19 | 北京国双科技有限公司 | 检测网页更新的方法及装置 |
CN104391953A (zh) * | 2014-11-27 | 2015-03-04 | 北京国双科技有限公司 | 检测网页更新的方法及装置 |
CN106547774B (zh) * | 2015-09-21 | 2020-02-28 | 北京国双科技有限公司 | 网站内容的检测方法及装置 |
CN106547775A (zh) * | 2015-09-21 | 2017-03-29 | 北京国双科技有限公司 | 网站内容的检测方法及装置 |
CN106547774A (zh) * | 2015-09-21 | 2017-03-29 | 北京国双科技有限公司 | 网站内容的检测方法及装置 |
CN106547775B (zh) * | 2015-09-21 | 2020-03-03 | 北京国双科技有限公司 | 网站内容的检测方法及装置 |
WO2017152550A1 (zh) * | 2016-03-09 | 2017-09-14 | 乐视控股(北京)有限公司 | 一种网页抓取方法及装置 |
CN107423059A (zh) * | 2017-07-07 | 2017-12-01 | 北京小米移动软件有限公司 | 页面的显示方法、装置及终端 |
CN108763537A (zh) * | 2018-05-31 | 2018-11-06 | 河南科技大学 | 一种基于时间感知的增量机器爬虫方法 |
CN108763537B (zh) * | 2018-05-31 | 2021-05-18 | 河南科技大学 | 一种基于时间感知的增量机器爬虫方法 |
CN113434787A (zh) * | 2021-05-14 | 2021-09-24 | 国网河北省电力有限公司衡水供电分公司 | 网络数据获取方法、装置及终端设备 |
CN113434787B (zh) * | 2021-05-14 | 2023-11-07 | 国网河北省电力有限公司衡水供电分公司 | 网络数据获取方法、装置及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103020313B (zh) | 2015-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103020313B (zh) | 一种基于探测网页更新周期的抓取方法 | |
CN103546453B (zh) | 一种跨设备播放多媒体的方法及设备 | |
US8840014B2 (en) | Identification code processing system, identification code processing method thereof, and apparatus for supporting same | |
US9917879B2 (en) | Remote interface templates | |
CN101888409A (zh) | 基于广域网的远程信息发布和监控系统及其控制方法 | |
CN104008437A (zh) | 智能电网的可视化展示系统及其方法 | |
CN102484686B (zh) | 用于提供补充信息的方法和设备 | |
CN104125206A (zh) | 一种客户端的硬件环境适配方法、装置、服务器及系统 | |
CN104093085B (zh) | 信息显示方法和装置 | |
CN103873934A (zh) | 一种用于追剧的实时提醒方法及系统 | |
CN105205072B (zh) | 网页信息的展示方法和系统 | |
JP2018174000A (ja) | デバイスがユーザ・インターフェースをディスプレイする方法及びそのデバイス | |
CN104902327A (zh) | 一种页面的内容更新及下发方法、智能电视和系统 | |
CN102098549A (zh) | 一种提供社会性网络服务的epg系统 | |
CN104394475A (zh) | 一种流媒体文件的播放方法及媒体播放器 | |
CN103475749A (zh) | 一种跨域通信方法及装置 | |
CN102377735A (zh) | 多媒体广告系统和控制多媒体广告播放的方法 | |
CN107018360B (zh) | 一种ipc的添加方法、装置及系统 | |
CN103888739B (zh) | 安防设备的地理位置信息配置方法和系统 | |
CN103281303A (zh) | 一种获取数据的方法和设备 | |
CN103685295A (zh) | 一种下载多媒体文件的方法、终端及系统 | |
CN102118605A (zh) | 网络视频监控系统及方法 | |
CN104038825A (zh) | 虚拟频道管理方法和网络多媒体重现系统 | |
CN108234584A (zh) | 基于变更订阅构建移动广告的方法和装置 | |
CN102866830B (zh) | 界面动态显示方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210507 Address after: 100085 room 1008, 10 / F, block F, No.9, Shangdi 3rd Street, Haidian District, Beijing Patentee after: Beijing easy to use Lianyou Technology Co.,Ltd. Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road Patentee before: BEIHANG University |
|
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: Room 1601, 14th Floor, No. 27 Zhichun Road, Haidian District, Beijing, 100086 Patentee after: Beijing easy to use Lianyou Technology Co.,Ltd. Address before: 100085 room 1008, 10 / F, block F, No.9, Shangdi 3rd Street, Haidian District, Beijing Patentee before: Beijing easy to use Lianyou Technology Co.,Ltd. |