CN101515300B

CN101515300B - 一种Ajax网页内容的抓取方法及系统

Info

Publication number: CN101515300B
Application number: CN2009101336305A
Authority: CN
Inventors: 毛雯
Original assignee: Alibaba Group Holding Ltd
Current assignee: Advanced New Technologies Co Ltd
Priority date: 2009-04-02
Filing date: 2009-04-02
Publication date: 2011-07-20
Anticipated expiration: 2029-04-02
Also published as: JP2015135680A; WO2010114913A1; US9767082B2; EP2414929A4; HK1136053A1; JP2012523047A; CN101515300A; JP5990605B2; US8413044B2; US20120011431A1; EP2414929A1; JP5695027B2; US20130145253A1

Abstract

本申请公开了一种Ajax网页内容的抓取方法及系统。一种Ajax网页内容的抓取方法包括：获取网页代码信息；提取所述网页代码信息中的JavaScript信息；解析所述JavaScript信息，确定所述网页代码中包含Ajax调用的函数；触发所确定的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容。以上技术方案，通过解析网页代码中的JavaScript脚本信息，获得网页代码中包含Ajax调用的函数，进一步触发这些函数，即可得到由这些包含Ajax调用的函数所生成的网页内容，实现对Ajax网页中动态内容的抓取。应用以上技术方案，搜索引擎可以收录更为完整的网页内容，为搜索用户提供更好的检索服务。

Description

一种Ajax网页内容的抓取方法及系统

技术领域

本发明涉及网络技术领域，特别是涉及一种Ajax网页内容的抓取方法及系统。

背景技术

Ajax(Asynchronous JavaScript and XML，异步JavaScript和XML)是一种创建交互式网页应用的网页开发技术。对于传统的网页，如果页面上的部分内容进行了更新，则用户需要刷新整个页面之后才能看到更新后的内容。而对于Ajax网页，用户可以在不刷新整个页面的情况下，仅去获取更新部分的内容。这样，对于网络侧设备，能够避免重复传输那些没有改变过的信息，从而节省网络带宽资源，减轻服务器的负担；而对于用户而言，能够有效减少浏览网页过程中的等待时间，提升了用户体验。

搜索引擎是一种能够搜集互联网信息，并对信息进行组织和处理、为用户提供检索服务的系统，目前已经成为用户上网必不可少的辅助工具之一。搜索引擎的一个重要组成部分是网络爬虫，它能够自动抓取网页内容，为搜索引擎提供实时更新的数据。现有的网络爬虫能够较好地支持传统的网页，但是对于Ajax网页中由Ajax动态生成的内容，网络爬虫无法有效地抓取。这些Ajax网页中的动态内容也就无法被搜索引擎所收录，进而导致搜索引擎无法为用户提供内容完整的检索服务。

发明内容

有鉴于此，本申请提供了一种Ajax网页内容的抓取方法及系统，以解决Ajax网页中的动态内容无法被搜索引擎所收录的问题，技术方案如下：

本申请提供一种Ajax网页内容的抓取方法，包括：

获取网页代码信息；

提取所述网页代码信息中的JavaScript信息；

解析所述JavaScript信息，确定所述网页代码中包含Ajax调用的函数；

触发所确定的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容。

本申请还提供一种Ajax网页内容抓取系统，包括：

网页代码获取单元，用于获取网页代码信息；

脚本提取单元，用于提取所述网页代码信息中的JavaScript信息；

脚本解析单元，用于解析所述JavaScript信息，确定所述网页代码中包含Ajax调用的函数；

网页内容获得单元，用于触发所确定的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容。

以上技术方案，通过解析网页代码中的JavaScript信息，获得网页代码中包含Ajax调用的函数，进一步触发这些函数，即可得到由这些包含Ajax调用的函数所生成的网页内容，实现对Ajax网页中动态内容的抓取。应用以上技术方案，搜索引擎可以收录更为完整的网页内容，为搜索用户提供更完善的检索服务。

附图说明

图1为本申请实施例实现Ajax网页内容抓取方法的流程图；

图2为本申请实施例实现提取网页代码信息中JavaScript信息的方法流程图；

图3为本申请实施例Ajax网页内容抓取系统的结构示意图；

图4为本申请实施例脚本提取单元的结构示意图；

图5为本申请实施例脚本解析单元的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请所提供的技术方案，下面结合附图对本申请的实施方式作进一步的详细说明。

图1所示为本申请所提供的一种Ajax网页内容抓取方法的流程图，包括以下步骤：

S101，获取网页代码信息；

本步骤与传统网络爬虫的工作机制类似，通过URL(Uniform Resource Locator，统一资源定位符)地址由网络中读取该地址所对应的网页代码信息。

S102，提取网页代码信息中的JavaScript信息；

获取网页的代码信息之后，首先提取其中的JavaScript(Java脚本)信息。以HTML(Hyper Text Mark-up Language，超文本标记语言)代码为例，在HTML代码中加入JavaScript信息的形式一般包括以下两种：

1)将JavaScript代码直接嵌入HTML代码中；

2)将JavaScript代码放入外部文件，并在HTML代码中引用该外部文件。

对于形式1)，其具体实现可以是将JavaScript代码放在HTML代码的标记对<script>和</script>之间，一般格式如下：

//js代码

</script>

上面格式中<script>标记对之间的部分，即为JavaScript代码，在<script>标记对之间，可以包括多条JavaScript语句。标记<script>既可以出现在HTML代码的<head>(头部)部分，也可以出现在HTML代码的<body>(主体)部分。

对于形式2)，JavaScript代码放在外部文件中，在HTML代码中通过<script>标记的src属性来引用该外部文件，一般格式如下：

Scr的属性值用于指定JavaScript文件的存放路径和文件名，其中存放路径可以是绝对路径也可以是相对路径。在上面的格式中，“test.js”即为所引用的JavaScript文件名，“js/”为存放该文件的路径。JavaScript文件的扩展名通常是.js，只包含纯粹的JavaScript代码，其中既没有<script>标记，也没有其他HTML标记。

根据上述两种形式，可以通过查询网页代码中的<script>标记来提取HTML代码中的JavaScript信息，参见图2所示，提取网页代码信息中的JavaScript信息的方法可以包括以下步骤：

S102a，查询网页代码中的JavaScript标记。

S102b，判断JavaScript标记后的JavaScript信息类型。如果是JavaScript 代码，则执行S102c，如果是JavaScript文件，则执行S102d。

S102c，提取JavaScript标记对之间的JavaScript代码。

S102d，提取JavaScript文件的存放路径和文件名。

对于一段HTML文件代码，执行上述步骤遍历所有<script>标记的节点之后，将得到若干段JavaScript代码，和/或若干JavaScript文件及其存放路径。可以将所有提取到的JavaScript代码都保存到一个临时的.js文件中，(例如命名为temp.js)。而对于JavaScript文件，本申请的技术方案中，不需要对所有JavaScript文件的代码进行分析，在本步骤中，可以只将所提取到的JavaScript文件名及存放路径保存起来。

S103，解析JavaScript信息，确定网页代码中包含Ajax调用的函数。

在网页代码中所引用的JavaScript文件，一般包括两类，一类是JavaScript的框架文件，这类文件一般都有固定的文件命名，例如prototype.js；另一类则是非JavaScript框架文件。在一段网页代码中，包含Ajax调用的函数是在非JavaScript框架文件中所定义的，因此，对于JavaScript的框架文件，不需要对其内容做进一步的解析，但是可以根据其文件名，找到和其框架类型相对应的特征值，并根据该特征值来找到非JavaScript框架文件中所定义的包含Ajax调用的函数，然后进一步找到网页代码信息中包含Ajax调用的函数。具体步骤如下：

S103a，根据JavaScript文件名，确定JavaScript文件类型。

根据前述方法，确定JavaScript文件是框架文件还是非框架文件。如果是框架文件，则获得其所对应的特征值。

S103b，根据Ajax特征值，确定非JavaScript框架文件中所定义的包含Ajax调用的函数。

在JavaScript文件中，所有包含Ajax调用的函数，其中必然包含一段特定的代码，称之为Ajax特征值。因此，可以根据函数中是否包含这些特征值，判断函数中是否包含Ajax调用。

Ajax特征值可以分为两类，除了前面所提到的各种JavaScript框架类型所对应的特征值之外，还有一种情况是不使用任何JavaScript框架类型调用Ajax时的特征值。可以预先将这些特征值保存在一个数据库文件中，通过将非JavaScript框架文件中的函数代码和这些特征进行匹配，就能够确定哪些函数包含了Ajax调用。

S103c，根据S103b的结果，进一步确定网页代码中包含Ajax调用的函数。

假设在网页代码中所使用的函数构成集合A；而在S 103b中所确定的包含Ajax调用的函数构成集合B，则A和B的交集部分，就是最终所需要的网页代码中包含Ajax调用的函数。而对于在网页中没有调用的函数，即属于集合B而不属于集合A的函数，可以不对其做进一步的处理。

需要说明的是，如果在S102中所获得的JavaScript信息仅包含JavaScript代码而没有JavaScript文件，则也可以省略S103a的步骤，而前述的用于保存JavaScript代码的临时文件temp.js，在这里也应该将其视为非框架文件处理。

S104，触发所确定的包含Ajax调用的函数，获得由这些函数所生成的网页内容。

确定页面代码中的哪些函数中包含Ajax调用之后，通过触发这些函数，就可以得到Ajax动态生成的网页内容。

很多包含Ajax调用的函数是由用户操作来触发的，例如鼠标点击、选择等，这些操作可以通过模拟浏览器的操作来实现。具体来说，可以利用一些Web自动化测试工具所提供的API(Application Programming Interface，应用程序编程接口)来模拟用户在浏览器中所执行的相关操作。例如，通过上述S101-S103的步骤，得知在“http://www.test.com”网页上的getinfo函数包含Ajax调用，并且该函数由鼠标点击动作所触发，那么可以用以下方法来模拟触发该函数：

IE ie＝new IE()；

//模拟打开浏览器的操作

ie.start(″http://www.test.com″)；

//模拟在浏览器中输入http://www.test.com，打开这个页面

HtmlElement e＝ie.htmlElement(attribute(″onclick″，″getInfo″))；

//找到click调用JavaScript函数getInfo的元素节点

e.click()；

//模拟鼠标点击这个元素节点的操作

模拟鼠标点击后，即触发了该函数，相应地也就可以得到该函数所动态生成的内容。

以上技术方案，通过解析网页代码中的JavaScript信息，获得网页代码中包含Ajax调用的函数，进一步触发这些函数，即可得到由这些包含Ajax调用的函数所生成的网页内容，实现对Ajax网页中动态内容的抓取。应用以上技术方案，搜索引擎可以收录更为完整的网页内容，为搜索用户提供更好的检索服务。

下面将结合一个具体的实施例，对本申请的Ajax网页内容抓取方法进行说明，以下步骤S201-S204的详细描述，可以相应参照S101-S104中的文字说明。

S201，获取网页代码信息；

假设根据URL地址，获取某网页的代码信息如下：

<！DOCTYPE HTML PUBLIC″-//W3C//DTD HTML 4.01//EN″

″http://www.w3.org/TR/html4/strict.dtd″>

<head>

<title>AJAX，Web 2.0example</title>

</head>

<body>

</div>

<ul>

<li><a href＝″#″onclick＝″getInfo(1)；″id＝″nav1″

title＝″Electricians″><span>Builders</span></a></li>

<li><a href＝″#″onclick＝″getInfo(2)；″id＝″nav2″

title＝″Plumbers″><span>Electricians</span></a></li>

<li><a href＝″#″onclick＝″getInfo(3)；″id＝″nav3″

title＝″Builders″><span>Plumbers</span></a></li>

</ul>

<ul>

<li><img src＝″img/taxi.jpg″onclick＝′getInfo(4)；′id＝″img″name＝″img″

style＝″cursor:hand″></li>

</ul>

</div>

<div id＝″results″>Search results...</div>

</body>

</html>

需要说明的是，本实施所提供的实际代码仅用于对所提供的技术方案进行示意性说明，并不构成对技术方案的限制。

S202，提取网页代码信息中的JavaScript信息；

根据S102中的所述，可以看出，上面的代码中没有直接嵌入的JavaScript代码，但是有对JavaScript文件的引用，即位于<head>部分的“prototype.js”和“ajax.js”两个文件，可以将这两个文件的路径、文件名等信息保存起来。

S203，解析JavaScript信息，确定网页代码中包含Ajax调用的函数。

S203a，根据在S202中提取到的两个JavaScript文件的命名，可以确定“prototype.js”为框架文件，而“ajax.js”为非框架文件。

S203b，根据所引用的两个JavaScript文件的类型，可以得知在这个页面中，如果存在Ajax的调用，那么相关的Ajax特征值有两种可能：第一种是prototype框架中提供的Ajax调用方式，其特征值为：

“new Ajax.Request”；

另一种是不使用任何JavaScript框架的情况，其特征值为：

“new ActiveXObject(″Microsoft.XMLHTTP″)”。

然后进一步对非框架文件“ajax.js”进行分析，假设“ajax.js”的代码内容如下：

function getInfo(id){

var xmlhttp；

try{

xmlhttp＝new XMLHttpRequest()；

}catch(e){

xmlhttp＝new ActiveXObject(″Microsoft.XMLHTTP″)；

}

xmlhttp.onreadystatechange＝function(){

if(xmlhttp.readyState＝＝1){

document.getElementById(′results′).innerHTML＝′Loading...′；

}

if(xmlhttp.readyState＝＝4){

var response＝xmlhttp.responseText；

document.getElementById(′results′).innerHTML＝response；

}

xmlhttp.open(′get′，′data.jsp？company＝′+id，true)；

xmlhttp.send(″company＝″+id)；

}

function getDate()

{

var date＝new Date()；

var year＝date.getYear()；

var month＝date.getMonth()+1；

var day＝date.getDay()；

return

year+″″+(month＞＝10？month:(″0″+″″+month))+″″+(day＞＝10？day:(″0″+″″+day))；

}

function getDateTime()

{

var date＝new Date()；

var localeString＝date.toLocaleString()；

return localeString；

}

function sameToBilling(obj)

{

var my＝new Ajax.Request(url，

{

method:′get′，

parameters:pars，

asynchronous:true，

onComplete:showResponse

})；

}

可以看出，在“ajax.js”中共定义了4个函数，分别是getInfo()、getDate()、getDateTime()和sameToBilling()；而且在函数getInfo()中出现了特征值“new ActiveXObject(″Microsoft.XMLHTTP″)”、在函数sameToBilling()中出现了特征值new Ajax.Request，因此，可以确定getInfo()和sameToBilling()为包含Ajax调用的函数。

S203c，通过取网页代码中所使用的函数集合A，与所引用的JavaScript 文件中包含Ajax调用的函数集合B的交集，可以确定getInfo()即为网页代码信息中包含Ajax调用的函数。而sameToBilling()函数由于在页面中并没有调用，因此可以不必对其做进一步的处理。

S204，触发所确定的包含Ajax调用的函数，获得由这些函数所生成的网页内容。

通过模拟onclick(鼠标点击)动作，触发getInfo()，获得由其所生成的网页内容。

由上述实施例可以看出，本申请所提供的方案，通过分析网页代码，根据Ajax特征值来确定哪些由引用文件所定义的函数存在Ajax调用，在此范围内，进一步找出在网页上实际调用了哪些函数，并通过模拟执行这些函数来获得网页内容，避免了对与网页内容无关函数的执行，从而也提高了抓取动态网页内容的效率。

相应于上面的方法实施例，本发明实施例还提供一种Ajax网页内容抓取系统，参见图3所示，包括：

网页代码获取单元310，用于获取网页代码信息；

脚本提取单元320，用于提取所述网页代码信息中的JavaScript信息；

脚本解析单元330，用于解析所述JavaScript信息，确定所述网页代码中包含Ajax调用的函数；

网页内容获得单元340，用于触发所确定的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容。

其中，所述JavaScript信息，可以包括JavaScript文件和/或JavaScript代码。

参见图4所示，所述脚本提取单元320，可以包括：

查询子单元321，用于查询网页代码中的JavaScript标记；

第一提取子单元322，用于在JavaScript标记后的JavaScript信息为JavaScript代码时，提取所述JavaScript代码，将所提取的代码保存于JavaScript文件中；

第二提取子单元323，用于在JavaScript标记后的JavaScript信息为 JavaScript文件时，提取所述JavaScript文件的存放路径和文件名。

参见图5所示，所述脚本解析单元330，可以包括：

第一确定子单元331，用于根据Ajax特征值，确定所述JavaScript文件中所定义的包含Ajax调用的函数；所述Ajax特征值为：可标识函数中存在Ajax调用的代码段；

第二确定子单元332，用于进一步在所述第一确定子单元所确定的函数中，确定网页代码中包含Ajax调用的函数。

其中，所述Ajax特征值可以包括：使用JavaScript框架类型调用Ajax所对应的特征值，和/或不使用JavaScript框架类型调用Ajax所对应的特征值。

所述第一确定子单元331，具体可以用于确定在页面引用中的非JavaScript框架文件中所定义的包含Ajax调用的函数。

所述网页内容获得单元340，具体可以用于通过模拟用户操作，触发所获得的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容。

对于系统实施例而言，由于其基本相应于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

为了描述的方便，描述以上系统时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请中的实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请中的实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请中的各个实施例或者实施例的某些部分所述的方法。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种Ajax网页内容的抓取方法，其特征在于，包括：

获取网页代码信息；

提取所述网页代码信息中的JavaScript信息；

触发所确定的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容；

所述JavaScript信息，包括JavaScript文件和/或JavaScript代码；

所述提取网页代码信息中的JavaScript信息，包括：

查询网页代码中的JavaScript标记；

如果JavaScript标记后的JavaScript信息为JavaScript代码，则提取所述JavaScript代码，将所提取的代码保存于JavaScript文件中；

如果JavaScript标记后的JavaScript信息为JavaScript文件，则提取所述JavaScript文件的存放路径和文件名。

2.根据权利要求1所述的方法，其特征在于，解析所述JavaScript信息，确定所述网页代码中包含Ajax调用的函数，包括：

根据Ajax特征值，确定所述JavaScript文件中所定义的包含Ajax调用的函数；进一步在这些函数中，确定网页代码中包含Ajax调用的函数；

其中，所述Ajax特征值为：可标识函数中存在Ajax调用的代码段。

3.根据权利要求2所述的方法，其特征在于，所述Ajax特征值包括：

使用JavaScript框架类型调用Ajax所对应的特征值，和/或不使用JavaScript框架类型调用Ajax所对应的特征值。

4.根据权利要求2所述的方法，其特征在于，所述确定JavaScript文件中所定义的包含Ajax调用的函数，包括：

确定在页面引用中的非JavaScript框架文件中所定义的包含Ajax调用的函数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述触发所获得的包含Ajax调用的函数，包括：

通过模拟用户操作，触发所获得的包含Ajax调用的函数。

6.一种Ajax网页内容抓取系统，其特征在于，包括：

网页代码获取单元，用于获取网页代码信息；

网页内容获得单元，用于触发所确定的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容；

所述JavaScript信息，包括JavaScript文件和/或JavaScript代码；

所述脚本提取单元，包括：

查询子单元，用于查询网页代码中的JavaScript标记；

第一提取子单元，用于在JavaScript标记后的JavaScript信息为JavaScript代码时，提取所述JavaScript代码，将所提取的代码保存于JavaScript文件中；

第二提取子单元，用于在JavaScript标记后的JavaScript信息为JavaScript文件时，提取所述JavaScript文件的存放路径和文件名。

7.根据权利要求6所述的系统，所述脚本解析单元，包括：

第一确定子单元，用于根据Ajax特征值，确定所述JavaScript文件中所定义的包含Ajax调用的函数；所述Ajax特征值为：可标识函数中存在Ajax调用的代码段；

第二确定子单元，用于进一步在所述第一确定子单元所确定的函数中，确定网页代码中包含Ajax调用的函数。

8.根据权利要求7所述的系统，其特征在于，所述Ajax特征值包括：

9.根据权利要求7所述的系统，其特征在于，

所述第一确定子单元，用于确定在页面引用中的非JavaScript框架文件中所定义的包含Ajax调用的函数。

10.根据权利要求6至9任一项所述的系统，其特征在于，

所述网页内容获得单元，用于通过模拟用户操作，触发所获得的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容。