CN106649810B - 基于Ajax的新闻网页动态数据的抓取方法及系统 - Google Patents

基于Ajax的新闻网页动态数据的抓取方法及系统 Download PDF

Info

Publication number
CN106649810B
CN106649810B CN201611243223.6A CN201611243223A CN106649810B CN 106649810 B CN106649810 B CN 106649810B CN 201611243223 A CN201611243223 A CN 201611243223A CN 106649810 B CN106649810 B CN 106649810B
Authority
CN
China
Prior art keywords
data
news
ajax
web page
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611243223.6A
Other languages
English (en)
Other versions
CN106649810A (zh
Inventor
张子扬
韩强
梁成福
李广庆
李滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shun Net Media Ltd By Share Ltd
Original Assignee
Shandong Shun Net Media Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shun Net Media Ltd By Share Ltd filed Critical Shandong Shun Net Media Ltd By Share Ltd
Priority to CN201611243223.6A priority Critical patent/CN106649810B/zh
Publication of CN106649810A publication Critical patent/CN106649810A/zh
Application granted granted Critical
Publication of CN106649810B publication Critical patent/CN106649810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了基于Ajax的新闻网页动态数据的抓取方法及系统；建立新闻网页爬取内容数据库，设置新闻网页爬取内容数据库的编码方式；获得待抓取新闻网页的新闻列表页面的URL地址；访问URL地址，判断新闻列表页面是否是通过Ajax动态加载数据的；如果是，通过浏览器开发者工具找到请求的数据源；判断请求的数据源的编码方式是否一致，如果否，则对数据源进行编码转换，解析数据格式：将数据源的格式解析成为新闻列表页面的后台语言处理的对象格式或者数组格式；将解析后的数据封装成对象或数组类型；判断封装是否成功，成功就将数据对象或数组类型遍历输出列表；利用网络爬虫采集得到的输出列表；将采集到的数据存储到数据库中。

Description

基于Ajax的新闻网页动态数据的抓取方法及系统
技术领域
本发明涉及一种基于Ajax的新闻网页动态数据的抓取方法及系统。
背景技术
目前，新闻网站的信息具有类别繁多，更新频率快，多平台发布的特点，数据的调取方式也十分灵活。很多新闻网站的页面都采用Ajax调用数据的方式，这样通过一个数据来源，可以在不同的平台进行解析，比如PC端网页和手机版网页可以共享一个数据请求，通过不同的模板来呈现出不同的排版样式。
在采集和抓取网络站点的新闻数据时，会发现很多网站数据是通过Ajax获取的动态内容，并没有一个固定的静态模板。获取数据的JavaScript脚本程序往往是在整个页面的DOM结构加载完之后才会执行。如果整个网页页面的DOM结构尚未加载完，网络爬虫访问此地的时候并不会获取到数据内容，这就大大降低了网络数据采集的效率和质量。
如果需要获取到通过Ajax请求动态加载的数据，就需要对网站的请求的数据源地址进行分析，Ajax调用的数据格式往往是JSON、JSONP、XML或Inc等格式。经过分析之后，不同网站采用的网络技术不同，所以调用Ajax请求时采取的方案也有很大差别，数据源存储的格式也是多种多样的。
通过对现有技术进行分析，发现目前并没有一个统一的自动化分析Ajax数据源的方法，已有的方法不能一次性解决所有的Ajax获取动态内容的问题。
首先，大部分的实现方法还是通过JavaScript脚本中的特征值来检索，从而进一步猜测和推断Ajax的请求内容。然而这样做并不能准确地找出想要采集的目的数据。当前来看，一个页面当中很可能包含多个Ajax请求，有些是关于用户信息认证的请求，有些是订阅信息的返回数据，还有一些广告推送信息。这些信息混杂在一起，只靠脚本代码中的特征值很难分辨出哪些是需要采集的数据源。另外，对脚本代码的特征值分析也只限于JavaScript代码没有加密的情况，现在很多站点基于安全性的和访问效率的要求，可能会对多个JavaScript脚本文件进行合并然后做加密处理，这样一来会使本来存在的特征值消失。
其次，Ajax的调用方式本身会存在跨域问题，这是它自身所特有的一种安全机制。即不在同一个域名下，使用脚本语言仍然无法成功执行请求并返回数据。在处理这样的调用方式时，因为不具备统一域名下的网络环境，就难以自动完成Ajax触发请求。还有一些站点在程序中会有反爬虫的程序，如果频繁访问会出现二维码等内容阻断新闻数据的继续采集。
最后，即便是找到了Ajax请求的数据源，也会存在格式和编码方式不匹配的问题。比如JAVA语言生成的JSON数据，PHP语言就无法直接处理。有些返回数据中会带有英文双引号与JSON格式本身的符号冲突问题。还有些请求采取的是JSONP的请求方式，即附带请求头的JSON格式。
发明内容
本发明的目的就是为了解决上述问题，提供一种基于Ajax的新闻网页动态数据的抓取方法及系统，它把重点放在数据源的策略分析上，对不同的情况采取定制化的方案。
为了实现上述目的，本发明采用如下技术方案：
基于Ajax的新闻网页动态数据的抓取方法，包括如下步骤：
步骤(101)：建立新闻网页爬取内容数据库，设置新闻网页爬取内容数据库的编码方式；获得待抓取新闻网页的新闻列表页面的URL地址；
步骤(102)：访问待抓取新闻网页的新闻列表页面的URL地址，通过浏览器开发者工具判断新闻列表页面是否是通过Ajax动态加载数据的；如果是，通过浏览器开发者工具找到Ajax请求的数据源；如果不是，就结束；
步骤(103)：判断Ajax请求的数据源和步骤(101)的编码方式是否一致，如果不一致，则对数据源进行编码转换，然后，进入步骤(104)；如果一致，就直接进入步骤(104)；
步骤(104)：解析数据格式：将数据源的格式解析成为新闻列表页面的后台语言处理的对象格式或者数组格式；
步骤(105)：将步骤(104)解析后的数据封装成对象或数组类型；判断封装是否成功，若成功就直接进入步骤(106)；否则将数据作为字符串来处理；完成后进入步骤(106)；
步骤(106)：将数据对象或数组类型遍历输出列表；
步骤(107)：利用网络爬虫采集步骤(106)得到的输出列表；
步骤(108)：将采集到的数据存储到数据库中。
所述步骤(101)URL地址包括临时存在的URL地址、跳转地址、需要添加时间戳参数或者签名参数后访问到的URL地址。
所述跳转地址是指最终跳转的URL地址。
所述步骤(101)的新闻网页爬取内容数据库的字段包括：新闻标题、新闻发布时间、新闻爬取时间、新闻来源和新闻内容；
所述步骤(101)的新闻网页爬取内容数据库的编码方式包括：UTF-8的编码方式或GBK编码方式；
所述步骤(102)的浏览器开发者工具包括：谷歌浏览器开发者工具。
所述步骤(103)如果Ajax请求的数据源存在特殊字符或者乱码，则把特殊字符或者乱码进行批量替换，转换成为可以进行处理的字符。
所述特殊字符包括：斜线、反斜线、冒号、星号、问号、引号、大于号、小于号或竖线符号等可能对JSON格式产生影响的字符。
所述可以进行处理的字符例如：中文引号、中文逗号、中文冒号等。
步骤(103)：如果编码方式不同，则将编码方式统一，统一采用UTF-8的编码方式。
所述步骤(102)和步骤(103)之间设有步骤如下：
步骤(1020)：如果Ajax请求是跨域请求，则通过PHP的CURL方式模拟来路页面，并通过host来获取请求数据地址；
所述步骤(1020)通过PHP函数修改Referer来模拟在一个域名下进行请求，可以获得请求数据地址返回来的结果，从而解决了跨域请求没有权限获取数据的问题。
步骤(1021)：如果Ajax请求是POST请求，使用PHP语言http_build_query函数来模拟HTTP的POST请求，以便获取到POST请求返回的数据。
步骤(1022)：如果无法获取数据内容，则通过PHP的CURL来伪造来路页面对Ajax请求的数据源进行访问。
所述步骤(104)闻列表页面的后台语言包括JAVA，C++、PHP。
所述步骤(104)的步骤如下：
步骤(1041)：如果数据是JSON格式，则直接进入步骤(105)；
步骤(1042)：如果数据是JSONP格式，则进行过滤处理；所述过滤处理是将JSONP格式数据的请求头及括弧剔除，然后进入步骤(105)；
步骤(1043)：如果返回的内容中出现中英文单双引号使用不规范的问题，则通过PHP语言的字符替换函数进行过滤，将特殊字符替换为空字符。
所述步骤(1042)的JSONP是JSON格式的一种使用模式，通常用来进行跨域调用时使用。因为要对请求做出标识，通常会带有一个callback的参数作为请求头，使用引文半角圆括号将JSON内容包裹起来。JSON格式为带请求头的JSON格式。然而在JSON格式解析中，需要将其去掉才可以成为标准的JSON格式。基于上述原因，需要将返回内容的请求头及括号剔除掉。
所述步骤(1043)：因为有些特殊字符会影响格式的规范，有些特殊字符则不能够被识别，所以在封装数据之前，要对这些特殊字符进行处理，即把它们批量替换成空字符。
所述步骤(105)：
如果步骤(104)解析后的数据不是键值对类型，则将步骤(104)解析后的数据封装成为数据对象，
如果步骤(104)解析后的数据是键值对类型，则将步骤(104)解析后的数据转换成为数组类型。
所述步骤(105)将数据作为字符串来处理：
利用PHP语言的字符串分割函数对字符串的特征值进行分割，利用字符串拼接函数对字符串的特征值进行拼合，最终形成格式规范的数据；
解析后的数据是一个新闻数据的集合，包含了多篇新闻数据，所述特征值是指步骤(104)是每一篇新闻数据之间的分割字符。例如，在JSON格式中采用引文半角的逗号来分割。
如果不是通过逗号来分割，则分析数据找到数据单元的分割符号来进行处理，并把分割符号更新到特征值库中。特征值需要不断积累才能提高对各种类型数据特征值分隔符的识别程度。
所述步骤(106)相当于通过解析需要抓取的新闻列表页面的请求数据源在自己的服务器上面重新还原了新闻网页。因为这个新闻网页并不是Ajax调用的，而且是在自己的服务器中，不存在跨域问题或者请求数据的脚本程序在网页DOM结构加载后执行的问题，网络爬虫可以进行采集。
所述步骤(106)的输出列表包括：新闻标题、新闻发布时间、新闻爬取时间、新闻来源、新闻内容和新闻链接。
基于Ajax的新闻网页动态数据的抓取系统，包括：
数据库建立模块：建立新闻网页爬取内容数据库，设置新闻网页爬取内容数据库的编码方式；获得待抓取新闻网页的新闻列表页面的URL地址；
访问模块：访问待抓取新闻网页的新闻列表页面的URL地址，通过浏览器开发者工具判断新闻列表页面是否是通过Ajax动态加载数据的；如果是，通过浏览器开发者工具找到Ajax请求的数据源；如果不是，就结束；
判断模块：判断Ajax请求的数据源和步骤(101)的编码方式是否一致，如果不一致，则对数据源进行编码转换，然后，进入步骤(104)；如果一致，就直接进入步骤(104)；
解析数据格式模块：将数据源的格式解析成为新闻列表页面的后台语言处理的对象格式或者数组格式；
封装模块：将解析后的数据封装成对象或数组类型；判断封装是否成功，若成功就直接进入输出模块；否则将数据作为字符串来处理；完成后进入输出模块；
输出模块：将数据对象或数组类型遍历输出列表；利用网络爬虫采集得到的输出列表；将采集到的数据存储到数据库中。
本发明的有益效果：
本方案可以解决Ajax等动态生成内容的多种复杂情况的采集问题，包括跨域调用，加密脚本数据源。另外本方案不仅仅适用于各种复杂网页新闻的采集，可以应用到微信数据的采集和处理。
附图说明
图1为本发明的方法流程图；
图2为本发明的功能模块图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示，首先需要通过开发者工具的网络请求探测的XHR(XMLHttpRequests)和JavaScript来监听数据源地址。通过获得数据源地址来判断Ajax请求的模式。
如果是能够直接解析的JSON格式，则直接进行数据封装处理，但实际情况中会遇到如下问题：
情况一：如果是JSONP格式，则需要通过请求头过滤器把请求头过滤掉；
情况二：如果返回格式中存在乱码，则需要通过转码处理模块进行转码处理；
情况三：如果返回格式中出现中英文单双引号使用不规范和乱码问题，需要经过特殊字符过滤器进行过滤；
情况四：如果是跨域请求，则需要通过php的cURL方式来模拟来路页面和host来获取请求地址的返回数据。
情况五：如果请求方式是POST请求的，还要使用php后台语言的http模块进行模拟POST请求
情况六：如果Ajax动态生成内容的网页采用了一些反蜘蛛技术也可能导致无法获取数据内容。需要通过PHP的CURL来伪造来路页面进行访问。
经过一系列处理，仍不能对数据进行够转换封装的，就说明返回数据的格式与后台语言的格式不相匹配。只能够将返回数据作为字符串来处理，通过特征值对数据进行分割和拼合，形成格式规范的数据。
关于特殊字符过滤和特征值库的建立除了基本的常规过滤还需要在实践中不断积累和补充。在数据抓取的过程中，还有一些链接是动态的或者是跳转链接，这些链接有可能是临时存在的，需要通过解析器的函数进行预加载处理，把生成的静态链接输出到列表页当中。
可以用后台语言对这些存储格式进行结构解析，封装成为对象或者集合类型，然后遍历输出成为列表存储到服务器某个地址。这样一来可以继续采用网络爬虫对生成的列表地址进行采集，也可以直接导入到数据采集的库中
Ajax抓取内容的主要架构如图2所示。
采集器负责采集站点数据和经过解析生成的新闻列表页面，针对不同情况(上文提到的情况一至情况六)来选择采集方案。这样根据不同情况进行来采集更有利于对不同类型的数据更加精细化的采集，大大提高了爬虫采集数据的效率和准确率。
数据过滤器主要是根据在实际运行中遇到的不同的情况进行格式统一化的过程，包括前面所提到的数据字符集的编码转换，特殊符号的过滤，字符串的规范化处理。
解析器负责处理站点访问的数据源，把JSON，XML等格式解析成为可以存储和读取的数据库格式。主要是通过分析数据地址的数据结构来进行聚合数据的工作。
数据封装模块负责把解析的数据封装成对象通过程序把数据遍历输出生成列表页。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.基于Ajax的新闻网页动态数据的抓取方法，其特征是，包括如下步骤：
步骤(101)：建立新闻网页爬取内容数据库，设置新闻网页爬取内容数据库的编码方式；获得待抓取新闻网页的新闻列表页面的URL地址；
步骤(102)：访问待抓取新闻网页的新闻列表页面的URL地址，通过浏览器开发者工具判断新闻列表页面是否是通过Ajax动态加载数据的；如果是，通过浏览器开发者工具找到Ajax请求的数据源；如果不是，就结束；
步骤(103)：判断Ajax请求的数据源和步骤(101)的编码方式是否一致，如果不一致，则对数据源进行编码转换，将编码方式统一，统一采用UTF-8的编码方式，然后，进入步骤(104)；如果一致，就直接进入步骤(104)；
步骤(104)：解析数据格式：将数据源的格式解析成为新闻列表页面的后台语言处理的对象格式或者数组格式；
步骤(105)：将步骤(104)解析后的数据封装成对象或数组类型；判断封装是否成功，若成功就直接进入步骤(106)；否则将数据作为字符串来处理；完成后进入步骤(106)；
步骤(106)：将数据对象或数组类型遍历输出列表；
步骤(107)：利用网络爬虫采集步骤(106)得到的输出列表；
步骤(108)：将采集到的数据存储到数据库中。
2.如权利要求1所述的基于Ajax的新闻网页动态数据的抓取方法，其特征是，
所述步骤(101)URL地址包括临时存在的URL地址、跳转地址、需要添加时间戳参数或者签名参数后访问到的URL地址；
所述步骤(101)的新闻网页爬取内容数据库的字段包括：新闻标题、新闻发布时间、新闻爬取时间、新闻来源和新闻内容；
所述步骤(101)的新闻网页爬取内容数据库的编码方式包括：UTF-8的编码方式。
3.如权利要求1所述的基于Ajax的新闻网页动态数据的抓取方法，其特征是，所述步骤(102)的浏览器开发者工具包括：谷歌浏览器开发者工具。
4.如权利要求1所述的基于Ajax的新闻网页动态数据的抓取方法，其特征是，所述步骤(103)如果Ajax请求的数据源存在特殊字符或者乱码，则把特殊字符或者乱码进行批量替换，转换成为可以进行处理的字符。
5.如权利要求1所述的基于Ajax的新闻网页动态数据的抓取方法，其特征是，所述步骤(102)和步骤(103)之间设有步骤如下：
步骤(1020)：如果Ajax请求是跨域请求，则通过PHP的CURL方式模拟来路页面，并通过host来获取请求数据地址；
步骤(1021)：如果Ajax请求是POST请求，使用PHP语言http_build_query函数来模拟HTTP的POST请求，以便获取到POST请求返回的数据；
步骤(1022)：如果无法获取数据内容，则通过PHP的CURL来伪造来路页面对Ajax请求的数据源进行访问；
所述步骤(1020)通过PHP函数修改Referer来模拟在一个域名下进行请求，可以获得请求数据地址返回来的结果，从而解决了跨域请求没有权限获取数据的问题。
6.如权利要求1所述的基于Ajax的新闻网页动态数据的抓取方法，其特征是，
所述步骤(104)的步骤如下：
步骤(1041)：如果数据是JSON格式，则直接进入步骤(105)；
步骤(1042)：如果数据是JSONP格式，则进行过滤处理；所述过滤处理是将JSONP格式数据的请求头及括弧剔除，然后进入步骤(105)；
步骤(1043)：如果返回的内容中出现中英文单双引号使用不规范的问题，则通过PHP语言的字符替换函数进行过滤，将特殊字符替换为空字符。
7.如权利要求1所述的基于Ajax的新闻网页动态数据的抓取方法，其特征是，
所述步骤(105)：
如果步骤(104)解析后的数据不是键值对类型，则将步骤(104)解析后的数据封装成为数据对象，
如果步骤(104)解析后的数据是键值对类型，则将步骤(104)解析后的数据转换成为数组类型。
8.如权利要求1所述的基于Ajax的新闻网页动态数据的抓取方法，其特征是，
所述步骤(106)的输出列表包括：新闻标题、新闻发布时间、新闻爬取时间、新闻来源、新闻内容和新闻链接。
9.基于Ajax的新闻网页动态数据的抓取系统，其特征是，包括：
数据库建立模块：建立新闻网页爬取内容数据库，设置新闻网页爬取内容数据库的编码方式；获得待抓取新闻网页的新闻列表页面的URL地址；
访问模块：访问待抓取新闻网页的新闻列表页面的URL地址，通过浏览器开发者工具判断新闻列表页面是否是通过Ajax动态加载数据的；如果是，通过浏览器开发者工具找到Ajax请求的数据源；如果不是，就结束；
判断模块：判断Ajax请求的数据源和步骤(101)的编码方式是否一致，如果不一致，则对数据源进行编码转换，然后，进入步骤(104)；如果一致，就直接进入步骤(104)；
解析数据格式模块：将数据源的格式解析成为新闻列表页面的后台语言处理的对象格式或者数组格式；
封装模块：将解析后的数据封装成对象或数组类型；判断封装是否成功，若成功就直接进入输出模块；否则将数据作为字符串来处理；完成后进入输出模块；
输出模块：将数据对象或数组类型遍历输出列表；利用网络爬虫采集得到的输出列表；将采集到的数据存储到数据库中。
CN201611243223.6A 2016-12-29 2016-12-29 基于Ajax的新闻网页动态数据的抓取方法及系统 Active CN106649810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611243223.6A CN106649810B (zh) 2016-12-29 2016-12-29 基于Ajax的新闻网页动态数据的抓取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611243223.6A CN106649810B (zh) 2016-12-29 2016-12-29 基于Ajax的新闻网页动态数据的抓取方法及系统

Publications (2)

Publication Number Publication Date
CN106649810A CN106649810A (zh) 2017-05-10
CN106649810B true CN106649810B (zh) 2019-05-28

Family

ID=58835744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611243223.6A Active CN106649810B (zh) 2016-12-29 2016-12-29 基于Ajax的新闻网页动态数据的抓取方法及系统

Country Status (1)

Country Link
CN (1) CN106649810B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033115B (zh) * 2017-06-12 2021-02-19 广东技术师范学院 一种动态网页爬虫系统
CN107870965A (zh) * 2017-08-11 2018-04-03 成都萌想科技有限责任公司 一种可视化数据采集系统
CN108256110A (zh) * 2018-02-08 2018-07-06 平安科技（深圳）有限公司 情报信息的搜集方法、装置、计算机设备和存储介质
CN110555176A (zh) * 2018-03-30 2019-12-10 佛山市优特美邦电子商务有限公司 一种采用互联网商品数据分析归集方法构建的电商平台
CN110554857B (zh) * 2018-05-30 2021-06-22 马上消费金融股份有限公司 JavaBean生成方法、装置、系统及可读存储介质
CN109213952A (zh) * 2018-08-02 2019-01-15 平安科技（深圳）有限公司 页面访问处理方法、装置、计算机设备及存储介质
CN108984801A (zh) * 2018-08-22 2018-12-11 百卓网络科技有限公司 一种基于html标签识别异步加载内容的搜索引擎优化方法
CN109471966B (zh) * 2018-10-30 2022-07-15 中译语通科技股份有限公司 一种自动获取目标数据源的方法及系统
CN109213741A (zh) * 2018-11-22 2019-01-15 浙江中农在线电子商务有限公司 高性能日志存储方法及装置
CN109543086B (zh) * 2018-11-23 2022-11-22 北京信息科技大学 一种面向多数据源的网络数据采集与展示方法
CN109614535B (zh) * 2018-11-29 2021-10-08 中电万维信息技术有限责任公司 一种基于Scrapy框架的网络数据的采集方法及装置
CN110263266A (zh) * 2019-05-20 2019-09-20 江苏大学 一种基于微信小程序和爬虫的数据展示方法
CN110502520B (zh) * 2019-08-27 2020-05-12 云汉芯城（上海）互联网科技股份有限公司 一种数据入库的方法、系统、设备及计算机可读存储介质
CN110674444B (zh) * 2019-09-20 2023-04-07 青岛海信移动通信技术股份有限公司 一种动态网页下载的方法及终端
CN111159518B (zh) * 2019-12-26 2023-10-24 深圳前海环融联易信息科技服务有限公司 一种新闻数据采集方法、装置、计算机设备及存储介质
CN111639248A (zh) * 2020-04-28 2020-09-08 深圳壹账通智能科技有限公司 网页数据爬取方法、装置、设备及存储介质
CN111737629B (zh) * 2020-07-02 2020-12-29 杭州海康威视数字技术股份有限公司 一种数据探测方法及装置
CN113742551A (zh) * 2021-09-07 2021-12-03 贵州电子商务云运营有限责任公司 一种基于scrapy和puppeteer的动态数据抓取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246498A (zh) * 2008-03-27 2008-08-20 腾讯科技（深圳）有限公司 一种新闻网页的搜索方法
CN101694658A (zh) * 2009-10-20 2010-04-14 浙江大学 基于新闻去重的网页爬虫的构建方法
CN103645951A (zh) * 2013-12-19 2014-03-19 北京邮电大学 一种跨平台的移动数据管理系统及其方法
CN104182482A (zh) * 2014-08-06 2014-12-03 中国科学院计算技术研究所 一种新闻列表页判断方法及筛选新闻列表页的方法
CN104408170A (zh) * 2014-12-09 2015-03-11 广州大乘信息科技有限公司 一种业务数据分析系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246498A (zh) * 2008-03-27 2008-08-20 腾讯科技（深圳）有限公司 一种新闻网页的搜索方法
CN101694658A (zh) * 2009-10-20 2010-04-14 浙江大学 基于新闻去重的网页爬虫的构建方法
CN103645951A (zh) * 2013-12-19 2014-03-19 北京邮电大学 一种跨平台的移动数据管理系统及其方法
CN104182482A (zh) * 2014-08-06 2014-12-03 中国科学院计算技术研究所 一种新闻列表页判断方法及筛选新闻列表页的方法
CN104408170A (zh) * 2014-12-09 2015-03-11 广州大乘信息科技有限公司 一种业务数据分析系统

Also Published As

Publication number Publication date
CN106649810A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106649810B (zh) 基于Ajax的新闻网页动态数据的抓取方法及系统
CN104766014B (zh) 用于检测恶意网址的方法和系统
CN109933630B (zh) 数据库数据实时同步方法及设备
US10454969B2 (en) Automatic generation of low-interaction honeypots
CN109033115B (zh) 一种动态网页爬虫系统
CN106796637B (zh) 分析装置、分析方法
CN107943838B (zh) 一种自动获取xpath生成爬虫脚本的方法及系统
CN105069355A (zh) webshell变形的静态检测方法和装置
US20190196811A1 (en) Api specification generation
CN108959924A (zh) 一种基于词向量和深度神经网络的Android恶意代码检测方法
US11263062B2 (en) API mashup exploration and recommendation
CN103577755A (zh) 一种基于支持向量机的恶意脚本静态检测方法
CN102419808A (zh) 一种下载链接安全性检测方法、装置及系统
CN110221977A (zh) 基于ai的网站渗透测试方法
WO2014153457A1 (en) Merging web page style addresses
CN108090104A (zh) 用于获取网页信息的方法和装置
CN105224544A (zh) 一种数据库的数据编辑方法及装置
CN110222251A (zh) 一种基于网页分割和搜索算法的服务包装方法
CN107817996A (zh) 一种GraphQL请求的优化方法及系统
CN113918794B (zh) 企业网络舆情效益分析方法、系统、电子设备及存储介质
CN112866279B (zh) 网页安全检测方法、装置、设备及介质
CN118332300A (zh) 移动端应用程序隐私政策标签的合规性检测方法及系统
CN114398138A (zh) 界面生成方法、装置、计算机设备和存储介质
CN109284088A (zh) 一种信令大数据处理方法及电子设备
CN109684844B (zh) 一种webshell检测方法、装置以及计算设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant