CN103268361A - 网页中隐藏url的提取方法、装置和系统 - Google Patents
网页中隐藏url的提取方法、装置和系统 Download PDFInfo
- Publication number
- CN103268361A CN103268361A CN2013102265799A CN201310226579A CN103268361A CN 103268361 A CN103268361 A CN 103268361A CN 2013102265799 A CN2013102265799 A CN 2013102265799A CN 201310226579 A CN201310226579 A CN 201310226579A CN 103268361 A CN103268361 A CN 103268361A
- Authority
- CN
- China
- Prior art keywords
- url
- webpage
- browser
- javascript
- loading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
Description
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310226579.9A CN103268361B (zh) | 2013-06-07 | 2013-06-07 | 网页中隐藏url的提取方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310226579.9A CN103268361B (zh) | 2013-06-07 | 2013-06-07 | 网页中隐藏url的提取方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103268361A true CN103268361A (zh) | 2013-08-28 |
CN103268361B CN103268361B (zh) | 2019-05-31 |
Family
ID=49011990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310226579.9A Active CN103268361B (zh) | 2013-06-07 | 2013-06-07 | 网页中隐藏url的提取方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103268361B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103593396A (zh) * | 2013-10-08 | 2014-02-19 | 北京奇虎科技有限公司 | 基于浏览器的网络资源的提取方法及装置 |
CN104156458A (zh) * | 2014-08-20 | 2014-11-19 | 百度在线网络技术(北京)有限公司 | 一种信息的提取方法及装置 |
CN104778070A (zh) * | 2014-01-15 | 2015-07-15 | 富士通株式会社 | 隐藏变量抽取方法和设备以及信息提取方法和设备 |
CN105824965A (zh) * | 2016-04-01 | 2016-08-03 | 无锡中科富农物联科技有限公司 | 基于动态爬虫技术的数据源发现方法 |
CN105871845A (zh) * | 2016-03-31 | 2016-08-17 | 深圳市深信服电子科技有限公司 | Web漏洞扫描行为的检测方法及装置 |
CN106528779A (zh) * | 2016-11-03 | 2017-03-22 | 北京知道未来信息技术有限公司 | 一种基于可变url的爬虫识别方法 |
CN106649567A (zh) * | 2016-11-15 | 2017-05-10 | 杭州安恒信息技术有限公司 | 一种基于浏览器内核的网络爬虫系统 |
CN106844475A (zh) * | 2016-12-23 | 2017-06-13 | 北京奇虎科技有限公司 | 确定隐藏的url的方法及装置 |
CN107147645A (zh) * | 2017-05-11 | 2017-09-08 | 北京安赛创想科技有限公司 | 网络安全数据的获取方法及装置 |
CN107844484A (zh) * | 2016-09-18 | 2018-03-27 | 北京国双科技有限公司 | 一种识别曝光代码的方法和装置 |
CN108632219A (zh) * | 2017-03-21 | 2018-10-09 | 腾讯科技(深圳)有限公司 | 一种网站漏洞检测方法、检测服务器及系统 |
CN108667770A (zh) * | 2017-03-29 | 2018-10-16 | 腾讯科技(深圳)有限公司 | 一种网站的漏洞测试方法、服务器及系统 |
CN109948025A (zh) * | 2019-03-20 | 2019-06-28 | 上海古鳌电子科技股份有限公司 | 一种数据引用记录方法 |
CN110083755A (zh) * | 2019-04-29 | 2019-08-02 | 北京脉冲星科技有限公司 | 一种高仿真解析网页方法、装置和电子设备 |
CN111177636A (zh) * | 2020-01-07 | 2020-05-19 | 北京同有飞骥科技股份有限公司 | 网页请求的递归调度方法及系统 |
CN113609411A (zh) * | 2021-06-25 | 2021-11-05 | 北京华云安信息技术有限公司 | 通过网络爬虫爬取页面信息的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040143787A1 (en) * | 2002-06-19 | 2004-07-22 | Constantine Grancharov | Method and system for resolving universal resource locators (URLs) from script code |
CN101515300A (zh) * | 2009-04-02 | 2009-08-26 | 阿里巴巴集团控股有限公司 | 一种Ajax网页内容的抓取方法及系统 |
CN101520796A (zh) * | 2009-02-16 | 2009-09-02 | 深圳市腾讯计算机系统有限公司 | 从网页内容中提取统一资源定位符的方法及系统 |
CN101587488A (zh) * | 2009-05-25 | 2009-11-25 | 深圳市腾讯计算机系统有限公司 | 一种搜索引擎中页面重定向的检测方法及装置 |
CN101984429A (zh) * | 2010-11-04 | 2011-03-09 | 百度在线网络技术(北京)有限公司 | 获取目标页面的方法、装置、搜索引擎和浏览器 |
US20110173178A1 (en) * | 2002-06-19 | 2011-07-14 | Craig Conboy | Method and system for obtaining script related information for website crawling |
-
2013
- 2013-06-07 CN CN201310226579.9A patent/CN103268361B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040143787A1 (en) * | 2002-06-19 | 2004-07-22 | Constantine Grancharov | Method and system for resolving universal resource locators (URLs) from script code |
US20110173178A1 (en) * | 2002-06-19 | 2011-07-14 | Craig Conboy | Method and system for obtaining script related information for website crawling |
CN101520796A (zh) * | 2009-02-16 | 2009-09-02 | 深圳市腾讯计算机系统有限公司 | 从网页内容中提取统一资源定位符的方法及系统 |
CN101515300A (zh) * | 2009-04-02 | 2009-08-26 | 阿里巴巴集团控股有限公司 | 一种Ajax网页内容的抓取方法及系统 |
CN101587488A (zh) * | 2009-05-25 | 2009-11-25 | 深圳市腾讯计算机系统有限公司 | 一种搜索引擎中页面重定向的检测方法及装置 |
CN101984429A (zh) * | 2010-11-04 | 2011-03-09 | 百度在线网络技术(北京)有限公司 | 获取目标页面的方法、装置、搜索引擎和浏览器 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103593396A (zh) * | 2013-10-08 | 2014-02-19 | 北京奇虎科技有限公司 | 基于浏览器的网络资源的提取方法及装置 |
CN104778070A (zh) * | 2014-01-15 | 2015-07-15 | 富士通株式会社 | 隐藏变量抽取方法和设备以及信息提取方法和设备 |
CN104778070B (zh) * | 2014-01-15 | 2018-07-06 | 富士通株式会社 | 隐藏变量抽取方法和设备以及信息提取方法和设备 |
CN104156458B (zh) * | 2014-08-20 | 2017-09-22 | 北京小度互娱科技有限公司 | 一种信息的提取方法及装置 |
CN104156458A (zh) * | 2014-08-20 | 2014-11-19 | 百度在线网络技术(北京)有限公司 | 一种信息的提取方法及装置 |
CN105871845A (zh) * | 2016-03-31 | 2016-08-17 | 深圳市深信服电子科技有限公司 | Web漏洞扫描行为的检测方法及装置 |
CN105824965A (zh) * | 2016-04-01 | 2016-08-03 | 无锡中科富农物联科技有限公司 | 基于动态爬虫技术的数据源发现方法 |
CN107844484A (zh) * | 2016-09-18 | 2018-03-27 | 北京国双科技有限公司 | 一种识别曝光代码的方法和装置 |
CN106528779A (zh) * | 2016-11-03 | 2017-03-22 | 北京知道未来信息技术有限公司 | 一种基于可变url的爬虫识别方法 |
CN106649567A (zh) * | 2016-11-15 | 2017-05-10 | 杭州安恒信息技术有限公司 | 一种基于浏览器内核的网络爬虫系统 |
CN106844475A (zh) * | 2016-12-23 | 2017-06-13 | 北京奇虎科技有限公司 | 确定隐藏的url的方法及装置 |
CN108632219A (zh) * | 2017-03-21 | 2018-10-09 | 腾讯科技(深圳)有限公司 | 一种网站漏洞检测方法、检测服务器及系统 |
CN108667770B (zh) * | 2017-03-29 | 2020-12-18 | 腾讯科技(深圳)有限公司 | 一种网站的漏洞测试方法、服务器及系统 |
CN108667770A (zh) * | 2017-03-29 | 2018-10-16 | 腾讯科技(深圳)有限公司 | 一种网站的漏洞测试方法、服务器及系统 |
CN107147645B (zh) * | 2017-05-11 | 2020-05-05 | 北京安赛创想科技有限公司 | 网络安全数据的获取方法及装置 |
CN107147645A (zh) * | 2017-05-11 | 2017-09-08 | 北京安赛创想科技有限公司 | 网络安全数据的获取方法及装置 |
CN109948025A (zh) * | 2019-03-20 | 2019-06-28 | 上海古鳌电子科技股份有限公司 | 一种数据引用记录方法 |
CN109948025B (zh) * | 2019-03-20 | 2023-10-20 | 上海古鳌电子科技股份有限公司 | 一种数据引用记录方法 |
CN110083755A (zh) * | 2019-04-29 | 2019-08-02 | 北京脉冲星科技有限公司 | 一种高仿真解析网页方法、装置和电子设备 |
CN111177636A (zh) * | 2020-01-07 | 2020-05-19 | 北京同有飞骥科技股份有限公司 | 网页请求的递归调度方法及系统 |
CN111177636B (zh) * | 2020-01-07 | 2023-11-03 | 北京同有飞骥科技股份有限公司 | 网页请求的递归调度方法及系统 |
CN113609411A (zh) * | 2021-06-25 | 2021-11-05 | 北京华云安信息技术有限公司 | 通过网络爬虫爬取页面信息的方法 |
CN113609411B (zh) * | 2021-06-25 | 2024-06-14 | 北京华云安信息技术有限公司 | 通过网络爬虫爬取页面信息的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103268361B (zh) | 2019-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103268361A (zh) | 网页中隐藏url的提取方法、装置和系统 | |
CN108304498B (zh) | 网页数据采集方法、装置、计算机设备和存储介质 | |
CN102597993B (zh) | 利用统一资源标识符管理应用状态信息 | |
CN102272757B (zh) | 用于执行客户端浏览器状态的服务器端记录的方法和系统 | |
CN104572777B (zh) | 基于UIWebView组件的网页加载方法及装置 | |
CN106528657A (zh) | 浏览器跳转至应用程序的控制方法及装置 | |
CN102609264A (zh) | 一种调用应用程序编程接口生成调用代码的方法及装置 | |
CN103729285A (zh) | 一种网页测试方法、设备及系统 | |
CN101996093A (zh) | 将桌面应用转换为网络应用的方法和系统 | |
CN104182478A (zh) | 一种网站监控预警方法 | |
CN104765746B (zh) | 用于移动通讯终端浏览器的数据处理方法和装置 | |
US11714625B2 (en) | Generating applications for versatile platform deployment | |
KR20180080535A (ko) | 웹 데이터 수집 장치 및 방법 | |
CN113010395B (zh) | 数据采集方法、装置、设备、介质和程序产品 | |
CN109684571A (zh) | 一种数据采集方法及装置、存储介质 | |
Hallé et al. | Testing web applications through layout constraints | |
CN106201562A (zh) | 一种页面切换方法及装置 | |
CN103177115A (zh) | 一种提取网页页面链接的方法和装置 | |
CN109885793A (zh) | 页面数据采集方法及装置、电子设备、存储介质 | |
CN111177623A (zh) | 信息处理方法及装置 | |
US10140377B2 (en) | Data processing, data collection | |
CN101763432A (zh) | 一种轻量级网页动态视图快速构建方法 | |
CN103458065A (zh) | 一种HTML5标准下基于Webkit内核的视频地址提取方法 | |
US9679073B2 (en) | Webpage comprising a rules engine | |
US10242139B2 (en) | Scheme and design markup language for interoperability of electronic design application tool and browser |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
ASS | Succession or assignment of patent right |
Owner name: NANKAI UNIVERSITY Effective date: 20140106 |
|
C41 | Transfer of patent application or patent right or utility model | ||
C53 | Correction of patent of invention or patent application | ||
CB03 | Change of inventor or designer information |
Inventor after: Zhou Zhengji Inventor after: Li Minglei Inventor after: Zhang Biao Inventor after: Wang Dan Inventor after: Lian Kunmei Inventor after: Liu Lei Inventor after: Xu Jing Inventor before: Zhou Zhengji Inventor before: Li Minglei Inventor before: Zhang Biao Inventor before: Wang Dan Inventor before: Lian Kunmei Inventor before: Liu Lei |
|
COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: ZHOU ZHENGJI LI MINGLEI ZHANG BIAO WANG DAN LIAN KUNMEI LIU LEI TO: ZHOU ZHENGJI LI MINGLEI ZHANG BIAO WANG DAN LIAN KUNMEI LIU LEI XU JING |
|
TA01 | Transfer of patent application right |
Effective date of registration: 20140106 Address after: 100085 Beijing, Haidian District, No. ten on the ground floor, No. 10 Baidu building, layer three Applicant after: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. Applicant after: Nankai University Address before: 100085 Beijing, Haidian District, No. ten on the ground floor, No. 10 Baidu building, layer three Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |