CN105630987A - 自适应用户代理的统一资源定位符前缀挖掘方法和装置 - Google Patents

Abstract

本发明实施例公开一种自适应用户代理的统一资源定位符前缀挖掘方法和装置，该方法包括：收集电脑端搜索引擎的网络爬虫抓取的网站首页；判断网站首页是否为自适应UA的网页；在网站首页为自适应UA的网页时，判断网站包括的网址对应的各一级前缀是否满足自适应UA的条件；确定满足自适应UA的条件的一级前缀为自适应UA的URL前缀。本申请实施例能够挖掘出各常用网站包括的满足自适应UA条件的URL前缀。基于此，可以实现在转换规则挖掘工作中有效去除自适应UA的网页，避免了现有技术中对自适应UA的URL进行转换规则挖掘时导致的增加工作量或得到错误的转换规则的缺陷。

Description

自适应用户代理的统一资源定位符前缀挖掘方法和装置

技术领域

本发明涉及电子技术领域，尤其涉及一种自适应用户代理UA的统一资源定位符URL前缀挖掘方法和装置。

背景技术

由于个人电脑(personalcomputer，简称PC，如笔记本电脑、台式电脑等等)屏幕和手机等移动终端的屏幕大小不同，其中，在个人电脑上显示的网页为电脑版本，在手机等移动终端上显示的网页为移动版本，因此一个网页的电脑版本和移动版本相比，在展示样式、内容上都存在较大差异。随着移动互联网的不断发展，越来越多的网站同时具有电脑版本的网页和移动版本的网页，在收到用户的访问请求时，能够通过用户代理(useragent，简称UA)检测访问请求来自于电脑端浏览器还是移动浏览器，如果访问请求来自电脑端浏览器，则网站返回电脑版本的网页，如果访问请求来自移动端浏览器，则网站返回移动版本的网页，这类网站的统一资源定位符(UniformResourceLocator，简称URL)通常被称为自适应UA的URL。

在现有技术中，还是存在部分网站的URL不是自适应UA的URL，为了保证这些URL能够在PC端或移动终端上为用户提供良好的显示效果，还需要向移动终端提供便于移动端浏览器显示的网页URL，这通常可以通过挖掘两者之间的转换规则来实现。例如针对便于电脑端浏览器显示的网页A，挖掘出网页A对应的便于移动端浏览器显示的网页B之间的转换规则，当接收到移动端浏览器对该网页A的访问请求时，基于该转换规则得到网页B并在移动端展示给用户，从而使得该网页能够正常响应电脑端和移动端的访问请求。

但是，对于自适应UA的网页，其本身就是可以正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求的，如果再进行转换规则的挖掘，不但会增加工作量，还可能因挖掘得到的转换规则不正确而导致移动端显示错误，例如显示乱码、死链等等。

可见，如何能够在转换规则挖掘的工作中去除自适应UA的网页是迫切需要解决的技术问题。

发明内容

本发明实施例通过提供一种自适应UA的URL前缀挖掘方法和装置，能够挖掘得到自适应UA的URL前缀，基于此，可以实现在转换规则挖掘工作中有效去除自适应UA的网页，降低转换规则挖掘的工作量，并提高挖掘的准确度。

本发明实施例第一方面提供了一种自适应用户代理UA的统一资源定位符URL前缀挖掘方法，包括：

收集电脑端搜索引擎的网络爬虫抓取的网站首页；

判断所述网站首页是否为自适应UA的网页，其中，所述自适应UA的网页包括能够正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求的网页；

在所述网站首页为自适应UA的网页时，判断所述网站包括的网址对应的各一级前缀是否满足自适应UA的条件；

确定满足所述自适应UA的条件的一级前缀为自适应UA的URL前缀。

可选地，所述判断所述网站首页是否为自适应UA的网页，包括：

通过电脑端浏览器UA抓取得到所述网站首页对应的第一版本网页；

通过移动端浏览器UA抓取得到所述网站首页对应的第二版本网页；

计算所述第一版本网页和所述第二版本网页的相似度；

当所述相似度小于预设的第一阈值时，确定所述网站首页为自适应UA的网页。

可选地，所述计算所述第一版本网页和所述第二版本网页的相似度，包括：

计算所述第一版本网页和所述第二版本网页的元信息相似度和/或页面结构相似度。

可选地，所述计算所述第一版本网页和所述第二版本网页的元信息相似度包括：

解析所述第一版本网页和所述第二版本网页，提取所述第一版本网页的第一元信息和所述第二版本网页的第二元信息；所述元信息包括网页的<meta>标签下的信息；

计算所述第一元信息和第二元信息的相似度作为所述第一版本网页和所述第二版本网页的元信息相似度。

可选地，所述计算所述第一版本网页和所述第二版本网页的页面结构相似度包括：

解析所述第一版本网页和所述第二版本网页，提取所述第一版本网页的第一页面结构信息和所述第二版本网页的第二页面结构信息；

计算所述第一页面结构信息和第二页面结构信息的相似度作为所述第一版本网页和所述第二版本网页的页面结构相似度。

可选地，所述计算所述第一版本网页和所述第二版本网页的相似度，包括：

通过编辑距离或余弦相似度的方式计算所述第一版本网页和所述第二版本网页的相似度。

可选地，所述判断所述网站包括的网址对应的各一级前缀是否满足自适应UA的条件，包括：

随机抽取所述网站包括的网址对应的各一级前缀下的至少一个URL；

分别判断所述至少一个URL是否满足自适应UA的条件；

如果抽取得到的所述一级前缀下的URL中，满足自适应UA的条件的URL的数目占抽取得到的URL的总数目的比例大于第二预设阈值，则确定所述一级前缀满足自适应UA的条件。

可选地，在所述确定满足所述自适应UA的条件的一级前缀为自适应UA的URL前缀之后，所述方法还包括：

将所述自适应UA的URL前缀对应的网页存入预设网页库中。

本发明实施例第二方面还提供一种自适应UA的URL前缀挖掘装置，包括：

收集单元，用于收集电脑端搜索引擎的网络爬虫抓取的网站首页；

第一判断单元，用于判断所述网站首页是否为自适应UA的网页，其中，所述自适应UA的网页包括能够正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求的网页；

第二判断单元，用于在所述第一判断单元的判断结果为是时，判断所述网站包括的网址对应的各一级前缀是否满足自适应UA的条件；

确定单元，用于依据所述第二判断单元的判断结果，确定满足所述自适应UA的条件的一级前缀为自适应UA的URL前缀。

本发明实施例第三方面还提供一种用于自适应用户代理UA的统一资源定位符URL前缀挖掘的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

收集电脑端搜索引擎的网络爬虫抓取的网站首页；

判断所述网站首页是否为自适应UA的网页，其中，所述自适应UA的网页包括能够正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求的网页；

在所述网站首页为自适应UA的网页时，判断所述网站包括的网址对应的各一级前缀是否满足自适应UA的条件；

确定满足所述自适应UA的条件的一级前缀为自适应UA的URL前缀。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请实施例中，先判断网站首页是否为自适应UA的网页，对于首页为自适应UA的网站，再判断该网站包括的哪些URL一级前缀是满足自适应UA的条件的，并将各网站包括的满足自适应UA条件的一级前缀确定为自适应UA的URL前缀。

本申请实施例能够挖掘出各常用网站包括的满足自适应UA条件的URL前缀。基于此，可以实现在转换规则挖掘工作中有效去除自适应UA的网页，避免了现有技术中对自适应UA的URL进行转换规则挖掘时导致的增加工作量或得到错误的转换规则的缺陷。

附图说明

图1为本发明实施例提供的自适应UA的URL前缀挖掘方法的流程图；

图2为本发明实施例提供的提供网页URL的方法的流程图；

图3为本发明实施例提供的自适应UA的URL前缀挖掘装置的模块图；

图4为根据一示例性实施例示出的一种用于自适应UA的URL前缀挖掘的装置800的框图；

图5为根据一示例性实施例示出的一种用于自适应UA的URL前缀挖掘的服务器1900的结构示意图。

具体实施方式

本发明实施例提供一种自适应UA的URL前缀挖掘方法和装置，能够挖掘得到自适应UA的URL前缀，基于此，可以实现在转换规则挖掘工作中有效去除自适应UA的网页，降低转换规则挖掘的工作量，并提高挖掘的准确度。

本发明实施例提供了一种自适应UA的URL前缀挖掘方法，请参考图1，图1为本发明实施例提供的挖掘方法的流程图，如图1所示，该方法包括：

S1：收集电脑端搜索引擎的网络爬虫抓取的网站首页；

S2：判断网站首页是否为自适应UA的网页，其中，可以认为当网站首页对应的网页能够正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求时，该网站首页为自适应UA的网页。

需要说明的是，网站首页对应的网页能够正确响应电脑端浏览器的访问请求可以是指能够根据电脑端浏览器的访问请求向电脑端浏览器返回桌面版本的网页且该网页能够被正常访问；网站首页对应的网页能够正确响应移动端浏览器的访问请求可以是指能够根据移动端浏览器的访问请求向移动端浏览器返回移动版本的网页且该网页能够被正常访问。

S3：在网站首页为自适应UA的网页时，判断该网站包括的网址对应的各一级前缀是否满足自适应UA的条件；

S4：对于满足自适应UA的条件的一级前缀，确定该一级前缀为自适应UA的URL前缀。

可以看出，本申请实施例中，先判断网站首页是否为自适应UA的网页，对于首页为自适应UA的网站，再判断该网站包括的哪些URL一级前缀是满足自适应UA的条件的，并将各网站包括的满足自适应UA条件的一级前缀确定为自适应UA的URL前缀。

本申请实施例能够挖掘出各常用网站包括的满足自适应UA条件的URL前缀。基于此，可以实现在转换规则挖掘工作中有效去除自适应UA的网页，避免了现有技术中对自适应UA的URL进行转换规则挖掘时导致的增加工作量或得到错误的转换规则的缺陷。

本申请中，对于满足自适应UA的网页，当用户通过移动终端点击来自桌面搜索引擎的搜索结果时，向该移动终端发送该搜索结果对应的超链接即能够获得移动版本的网页，无需根据转换规则将便于电脑端浏览器显示的网页转换为移动端浏览器显示的网页，节省了寻找以及向移动终端专门发送移动版本的网页的工作量，同时还为移动端搜索引擎的网络爬虫收录便于移动浏览器显示的网页提供了来源。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

在S1中，电脑端搜索引擎的网络爬虫又被称为网页蜘蛛、网络机器人，是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件，另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索，并且，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

需要说明的是，此处的电脑端搜索引擎的网络爬虫抓取的网站首页是指该网络爬虫抓取或者搜集为便于电脑端浏览器显示的网页，而不是便于移动端浏览器显示的网页。

在本实施例中，假设网络爬虫抓取的网站首页为WWW.XXXX.COM。

在S1之后，本发明实施例提供的挖掘方法进入S2，即：判断网站首页是否为自适应UA的网页。

在具体实施过程中，浏览器在向网站发出访问请求时，会将自己的UA发送给网站，网站在接收到该UA后，会向该浏览器发送与该UA对应的数据，以便该浏览器显示。这样，若该网页首页对应的网站能够根据电脑端浏览器的访问请求向电脑端浏览器返回桌面版本的网页且能够正常访问，以及能够根据移动端浏览器的访问请求向移动端浏览器返回移动版本的网页且能够正常访问时，则该网站首页为自适应UA的网页。

在具体实施过程中，步骤S2的判断该网站首页是否为自适应UA的网页可以包括下述步骤S21至步骤S22：

步骤S21，分别通过电脑端浏览器UA和移动端浏览器UA抓取该网站首页，具体地，在本实施例中，通过电脑端浏览器UA抓取得到网站首页对应的第一版本网页，以及过移动端浏览器UA抓取得到网站首页对应的第二版本网页。

在本实施例中，该电脑端浏览器UA可以采用Firefox浏览器的UA为例进行说明，具体为：Mozilla/5.0(WindowsNT6.1；WOW64；rv:21.0)Gecko/20100101Firefox/21.0；该移动端浏览器UA可以采用android系统浏览器的UA为例进行说明，具体为：Mozilla/5.0(Linux；Android4.4；Nexus5Build/BuildID)AppleWebKit/537.36(KHTML,likeGecko)Version/4.0Chrome/30.0.0.0MobileSafari/537.36。当然，在其他实施例中，还可以采用其他电脑端浏览器UA或移动端浏览器UA，当然，也可以在一次判断过程中通过多个电脑端浏览器UA和多个移动端浏览器UA来进行抓取，在此就不再赘述了。

步骤S22，通过电脑端浏览器UA抓取到网站首页对应的第一版本网页，以及通过移动端浏览器UA抓取到网站首页对应的第二版本网页后，计算该第一版本网页与第二版本网页之间的相似度。

本申请实施例中，计算该第一版本网页与第二版本网页之间的相似度具体可以包括：计算该第一版本网页与第二版本网页之间的元信息相似度和/或页面结构相似度。

需要说明的是，步骤S22中，若通过电脑端浏览器UA和/或移动端浏览器UA抓取网站首页失败，例如抓取时返回“死链”、“无效页面”等等信息，则表明该页面不能自适应UA，在此就不再赘述了；当然，若使用的是多个电脑端浏览器UA和多个移动端浏览器UA来进行抓取，则可以通过抓取成功率来进行判断，如低于某个数值则表明该页面不能自适应UA等等，当然也可以通过其他方法，如抓取失败的浏览器UA个数超过预设个数则表明该页面不能自适应UA等等，在此就不做限制。

在具体实施过程中，步骤S22中计算该第一版本网页与第二版本网页之间的相似度，具体可以通过如下步骤来进行计算：

步骤S22a，解析该第一版本网页和第二版本网页，提取该第一版本网页的第一元信息和第一页面结构信息，以及提取第二版本网页的第二元信息和第二页面结构信息；

在具体实施过程中，解析第一版本的网页和第二版本的网页可以同时完成，也可以没有先后顺序，在此不做限制。

目前，网页一般通过超文本标记语言(HyperTextMarkupLanguage，简称html)进行编辑，超文本标记语言是在编辑网页使用得较多的编辑语言，已经经过5次重大修改，也即html5，在此以对html5编辑的网页首页进行解析为例来介绍：可以通过xpath或者dom4j来进行解析，其中，xpath也就是可扩展标记语言(ExtensibleMarkupLanguage，简称xml)路径语言，它是一种用来确定XML(标准通用标记语言的子集)文档中某部分位置的语言，而html正是XML下的一个重要子集，而dom4j是一个Java(一种撰写跨平台应用程序的面向对象的程序设计语言)的xml应用程序编程接口(ApplicationProgrammingInterface，简称API)，具有性能优异、功能强大和极其易使用的特点，能够极其方便地对html5编辑的网页进行解析。

在具体实施过程中，在通过上述方法解析网站首页对应的的第一版本网页和第二版本网页后，提取各版本网页的元信息。具体的，该元信息可以为网页的<meta>标签下的信息。其中，该<meta>标签下的信息用于记录一个html网页文档的元信息，例如作者、日期和时间、网页描述、关键词等等。

同时，还可以提取各版本网页的页面结构信息。具体的，提取页面结构信息可以包括：从各版本网页的html源码中去除页面标签的属性和内容，只保留标签名，从而留下了该版本网页的页面结构信息。

当然，在其他实施例中，若网站首页采用的是其他语言编辑，本领域所属的技术人员能够通过本实施例的介绍，选择其他合适的方式来对该各版本网页进行解析，在此就不再赘述了。

步骤S22b，计算该第一元信息和第二元信息的元信息相似度，以及计算第一页面结构信息和第二页面结构信息的页面结构相似度。

在具体实施过程中，可以通过编辑距离或余弦相似度的方式计算上述元信息相似度和页面结构相似度。

1)通过编辑距离的方式计算元信息相似度和页面结构相似度的计算公式为：

$S=1-\frac{EditDis\tan ce(p1,p2)}{\max \left(len\right(p1),len(p2\left)\right)}---\left(1\right)$

其中，S表示相似度；EditDistance()表示未归一化的编辑距离；len()表示取长度；max()表示取最大值；p1、p2表示两个字符串。

在计算元信息相似度时，p1可以是从第一版本网页中提取得到的元信息字符串，p2可以是从第二版本网页中提取得到的元信息字符串。EditDistance(p1，p2)表示由p1转成p2所需的最少编辑操作次数，max(len(p1)，len(p1))表示p1的字符串长度和p2的字符串长度的最大值。需要说明的是，EditDistance(p1，p2)也可以通过计算由p1转成p2所需的最少编辑操作次数获得。

在计算页面结构相似度时，p1可以是从第一版本网页中提取得到的页面结构信息字符串，p2可以是从第二版本网页中提取得到的页面结构信息字符串。EditDistance(p1，p2)表示由p1转成p2或p2转成p1所需的最少编辑操作次数，max(len(p1)，len(p1))表示p1的字符串长度和p2的字符串长度的最大值。

2)通过余弦相似度计算元信息相似度和页面结构相似度的过程如下：

以计算网页结构相似度为例进行介绍。页面结构信息可以是指从Html源码中去除页面标签的属性和内容，只保留标签名后获得的信息，例如一网页从Html源码中去除页面标签的属性和内容，只保留标签名后可以获得文本标记，如段落标记<p>、标题标记<h>或格式化文本标记<b>，超链接标记<a>等等。

因此，可以首先以第一版本网页的页面结构信息为第一个集合，并以第二版本网页的页面结构信息作为第二个集合，分别计算两个集合中每个标签的频率，然后根据两个集合中每个标签的频率，分别生成两个集合对应的向量，最后即可以计算两个向量的余弦相似度，也即计算出了第一版本网页和第二版本网页之间的余弦相似度。

具体地，可以通过“主键-值”这样对应的存储结构来分别存储第一版本的网页的页面结构信息和第二版本的网页的页面结构信息。其中主键为标签名，该主键对应的值为该标签对应的频率，将两个版本的网页的结构信息经过计算后分别导入到存储表中，即获得两个版本的网页各自对应的向量，通过计算两个向量之间的余弦相似度，即能够获得第一版本网页和第二版本网页之间的余弦相似度，在此就不再赘述了，值越大就表示越相似。

当然，在其他实施例中，还可以通过文本相似度等方式计算网页相似度，在此就不再赘述了。

步骤S22c，当步骤S22b中计算得到的元信息相似度小于第一阈值，和/或页面结构相似度小于第二阈值时，可以确定网站首页为自适应UA的网页。

在具体实施过程中，计算第一版本网页和第二版本网页的相似度，可以是同时将计算元信息相似度和页面结构相似度作为基准，也可以将计算元信息相似度和页面结构相似度中任一作为基准，例如在本实施例中，以同时将计算元信息相似度和页面结构相似度作为基准进行说明，设定第一阈值为0.9，第二阈值为0.9，也就是说，若第一版本网页和第二版本网页的元信息相似度小于0.9，且第一版本网页和第二版本网页之间的页面结构相似度也小于0.9，则表明这两个版本网页的相似度较小，也即该网站首页对应的电脑端浏览器的网页和对应的移动端浏览器的网页的相似度较小，则可以确定该网站首页可以自适应UA，否则，则可以确定该网站首页不可以自适应UA。

在其他实施例中，以将计算元信息相似度和页面结构相似度中任一作为基准为例进行说明，同样设定第一阈值为0.9，第二阈值为0.9，也就是说，只要第一版本网页和第二版本网页的元信息相似度小于0.9，或者第一版本网页和第二版本网页之间的页面结构相似度也小于0.9，则能够确定第一版本网页和第二版本网页之间的网页相似度较小，从而确定该网站首页可以自适应UA。

当然，通过本实施例的介绍，本领域所属的技术人员能够根据实际情况进行选择，以满足实际情况的需要，在此就不再赘述了。

在确定该网站首页为自适应UA的网页时，则本发明实施例提供的挖掘方法进入S3，即：判断该网站包括的网址对应的各一级前缀是否满足自适应UA的条件。

具体来讲，假设网站首页为WWW.XXXX.COM，则该网站包括的一个网页URL可以为WWW.XXXX.COM/yyyy/zzz.html，其中，WWW.XXXX.COM/yyyy即为该网站包括的URL一级前缀，在该一级前缀下，还可能存在其他许多网页，例如WWW.XXXX.COM/yyyy/aaa.asp等等。

一般可以认为如果一个URL是自适应UA的，那么该URL所属的一级前缀下的所有URL都是可以自适应UA的。

例如，如果WWW.XXXX.COM/yyyy/zzz.html是自适应UA的，则该URL所属的一级前缀WWW.XXXX.COM/yyyy下的所有的URL都可以认为是自适应UA的。即为，WWW.XXXX.COM/yyyy/aaa.asp是自适应UA的；WWW.XXXX.COM/yyyy/bbb.asp也是自适应UA的，等等。

基于此，本实施例中，判断该网站包括的网址对应的各一级前缀是否满足自适应UA的条件可以包括：随机抽取该网站包括的网址对应的某一级前缀下的若干个URL；分别判断该若干个URL是否满足自适应UA的条件；如果该一级前缀下满足自适应UA的条件的URL的比例超过第三预设阈值，则可以认为该一级前缀满足自适应UA的条件。

在具体实施过程中，可以随机抽取该网站对应的某一级前缀下的若干个网页URL进行判断，判断该若干个网页是否为自适应UA的网页。具体的，判断网页是否为自适应UA的具体方法与步骤S2中的判断网站首页是否为自适应UA的网页的方法相同。在步骤S2中已经详细介绍了如何判断一个网页是否为自适应UA的网页的具体过程，在此就不再赘述了。

在本实施例中，可以设定若抽取得到的该一级前缀下的URL中自适应UA的URL的数目占抽取得到的URL的总数的比例大于第三阈值(例如可以为0.9)，则确定该一级前缀为自适应UA的URL前缀。

当然，在其他实施例中，也可以设定若该一级前缀下的URL中自适应UA的URL的数目超过第一预设数目，则可以确定该一级前缀为自适应UA的URL前缀；或者，可以设定该一级前缀下的URL中不可以自适应UA的URL的数目超过第二预设数目，则可以确定该一级前缀为非自适应UA的URL前缀，在此就不再赘述了。

通过本实施例的介绍，本领域所属的技术人员能够根据实际情况，选择其他合适的方式来确定网站包括的一级前缀是否为自适应UA的URL前缀，在此就不再赘述了。

在具体实施过程中，在确定某些一级前缀为自适应UA的URL前缀之后，本发明实施例提供的挖掘方法还包括：将自适应UA的一级前缀对应的网页存入预设网页库中，该预设网页库用于存储能够自适应UA的网页。

具体来讲，由于该一级前缀为自适应UA的前缀，所以可以将该URL前缀对应的网页存入预设网页库中，这样为移动搜索引擎的网络爬虫收录便于移动浏览器显示的网页提供了来源，也为移动搜索引擎的网络爬虫提供了可供爬取的种子。

建立预设网页库的目的在于当移动终端发出对网页的搜索请求后，若该搜索请求对应的网页恰好是预设网页库中的网页，则能够迅速向移动终端反馈该搜索请求对应的结果，例如请参考图2，图2为本发明实施例提供的提供网页URL的方法的流程图，如图2所示，该方法包括：

S100：基于移动终端对网页的搜索请求，通过移动端搜索引擎提供对应的搜索结果；

S200：若搜索结果包括来自电脑端搜索引擎提供的电脑版本的网页，则判断该电脑版本的网页是否属于预设网页库，预设网页库中的网页通过本发明实施例提供的挖掘方法获得；

S300：在电脑版本的网页属于预设网页库时，提供电脑版本的网页对应的URL。

在具体实施过程中，若一移动终端如智能手机、平板电脑等通过浏览器发出了对网页的搜索请求，则浏览器可以展示通过移动端搜索引擎提供的对应的搜索结果，在实际应用中，该搜索结果一般会包括来自电脑端搜索引擎提供的电脑版本的网页，则此时可以判断该电脑版本的网页是否属于预设网页库，该预设网页库中的网页是通过本发明实施例前述的挖掘方法获得的，在该电脑版本的网页属于预设网页库时，移动终端直接提供该电脑版本的网页对应的URL，这样，用户在通过移动终端访问该电脑版本的网页时，就能够直接获得移动版本的网页。

可以看出，在移动端搜索引擎的部分搜索结果来自于电脑端搜索引擎时，例如是电脑版本的网页，并且用户通过移动终端点击这些电脑版本的网页时，在现有技术中需要先找到这些电脑版本的网页对应的移动版本的网页，再向用户返回该移动版本的网页，而采用了本发明实施例提供的方法，若这些搜索结果对应的网页为自适应UA的网页且被收录至预设网页库时，则可以提供这些搜索结果对应的网页的超链接即可，用户通过移动终端进行访问时就能够自动获得移动版本的网页，节省了寻找以及向移动终端专门发送移动版本的网页的工作量。

通过上述部分可以看出，本申请实施例中，先判断网站首页是否为自适应UA的网页，对于首页为自适应UA的网站，再判断该网站包括的哪些URL一级前缀是满足自适应UA的条件的，并将各网站包括的满足自适应UA条件的一级前缀确定为自适应UA的URL前缀。

本申请实施例能够挖掘出各常用网站包括的满足自适应UA条件的URL前缀。基于此，可以实现在转换规则挖掘工作中有效去除自适应UA的网页，避免了现有技术中对自适应UA的URL进行转换规则挖掘时导致的增加工作量或得到错误的转换规则的缺陷。

本发明实施例还提供自适应UA的URL前缀挖掘装置，请参考图3，图3为本发明实施例提供的挖掘装置的模块图，如图3所示，包括：

收集单元201，用于收集电脑端搜索引擎的网络爬虫抓取的网站首页；

第一判断单元202，用于判断网站首页是否为自适应UA的网页，其中，自适应UA的网页包括能够正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求的网页；

第二判断单元203，用于在第一判断单元202的判断结果为是时，判断网站包括的网址对应的各一级前缀是否满足自适应UA的条件；

确定单元204，用于依据第二判断单元203的判断结果，确定满足自适应UA的条件的一级前缀为自适应UA的URL前缀。

在具体实施过程中，第一判断单元202可以包括：第一抓取子单元、第二抓取子单元、第一计算子单元和第一确定子单元。

第一抓取子单元，用于通过电脑端浏览器UA抓取得到网站首页对应的第一版本网页；

第二抓取子单元，通过移动端浏览器UA抓取得到网站首页对应的第二版本网页；

第一计算子单元，用于计算第一版本网页和第二版本网页的相似度；

第一确定子单元，用于当相似度小于预设的第一阈值时，确定网站首页为自适应UA的网页。

在具体实施过程中，第一计算子单元用于计算第一版本网页与第二版本网页的元信息相似度和/或页面结构相似度。

在具体实施过程中，第一计算子单元包括：第一网页解析子单元和元信息相似度计算子单元；

第一网页解析子单元，用于解析第一版本网页和第二版本网页，提取第一版本网页的第一元信息和第二版本网页的第二元信息；元信息包括网页的<meta>标签下的信息；

元信息相似度计算子单元，用于计算第一元信息和第二元信息的相似度作为第一版本网页与第二版本网页的元信息相似度。

在具体实施过程中，第一计算子单元包括：第二网页解析子单元和页面相似度计算子单元；

第二网页解析子单元，用于解析第一版本网页和第二版本网页，提取第一版本网页的第一页面结构信息和第二版本网页的第二页面结构信息；

页面相似度计算子单元，计算第一页面结构信息和第二页面结构信息的相似度作为第一版本网页与第二版本网页的页面结构相似度。

在具体实施过程中，第一计算子单元用于通过编辑距离或余弦相似度的方式计算第一版本网页与第二版本网页的相似度。

在具体实施过程中，第二判断单元203可以包括：抽取子单元、URL判断子单元、第二确定子单元；

抽取子单元，用于随机抽取网站包括的网址对应的各一级前缀下的至少一个URL；

URL判断子单元，用于分别判断至少一个URL是否满足自适应UA的条件；

第二确定子单元，用于如果URL判断子单元的判断结果为抽取得到的一级前缀下的URL中，满足自适应UA的条件的URL的数目占抽取得到的URL的总数目的比例大于第二预设阈值，则确定一级前缀满足自适应UA的条件。

在具体实施过程中，装置还可以包括存储单元205，存储单元205具体用于将自适应UA的URL前缀对应的网页存入预设网页库中。

本发明实施例提供的自适应UA的URL前缀挖掘装置与前述部分介绍的自适应UA的URL前缀挖掘方法是基于同一发明构思下的两个方面，在前述部分中已经详细地介绍了自适应UA的URL前缀挖掘方法的具体过程，在此为了说明书的简洁，就不再对自适应UA的URL前缀挖掘装置进行详细介绍了。

本发明实施例第三方面还提供一种用于自适应用户代理UA的统一资源定位符URL前缀挖掘的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：

收集电脑端搜索引擎的网络爬虫抓取的网站首页；

判断网站首页是否为自适应UA的网页，其中，自适应UA的网页包括能够正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求的网页；

在网站首页为自适应UA的网页时，判断网站包括的网址对应的各一级前缀是否满足自适应UA的条件；

确定满足自适应UA的条件的一级前缀为自适应UA的URL前缀。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种用于自适应UA的URL前缀挖掘的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种自适应用户代理UA的统一资源定位符URL前缀挖掘方法，所述方法包括：

收集电脑端搜索引擎的网络爬虫抓取的网站首页；

判断所述网站首页是否为自适应UA的网页，其中，所述自适应UA的网页包括能够正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求的网页；

在所述网站首页为自适应UA的网页时，判断所述网站包括的网址对应的各一级前缀是否满足自适应UA的条件；

确定满足所述自适应UA的条件的一级前缀为自适应UA的URL前缀。

图5是根据一示例性实施例示出的一种用于自适应UA的URL前缀挖掘的服务器1900的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM等等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自适应用户代理UA的统一资源定位符URL前缀挖掘方法，其特征在于，包括：

收集电脑端搜索引擎的网络爬虫抓取的网站首页；

判断所述网站首页是否为自适应UA的网页，其中，所述自适应UA的网页包括能够正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求的网页；

在所述网站首页为自适应UA的网页时，判断所述网站包括的网址对应的各一级前缀是否满足自适应UA的条件；

确定满足所述自适应UA的条件的一级前缀为自适应UA的URL前缀。

2.如权利要求1所述的方法，其特征在于，所述判断所述网站首页是否为自适应UA的网页，包括：

通过电脑端浏览器UA抓取得到所述网站首页对应的第一版本网页；

通过移动端浏览器UA抓取得到所述网站首页对应的第二版本网页；

计算所述第一版本网页和所述第二版本网页的相似度；

当所述相似度小于预设的第一阈值时，确定所述网站首页为自适应UA的网页。

3.如权利要求2所述的方法，其特征在于，所述计算所述第一版本网页和所述第二版本网页的相似度，包括：

计算所述第一版本网页和所述第二版本网页的元信息相似度和/或页面结构相似度。

4.如权利要求3所述的方法，其特征在于，所述计算所述第一版本网页和所述第二版本网页的元信息相似度包括：

解析所述第一版本网页和所述第二版本网页，提取所述第一版本网页的第一元信息和所述第二版本网页的第二元信息；所述元信息包括网页的<meta>标签下的信息；

计算所述第一元信息和第二元信息的相似度作为所述第一版本网页和所述第二版本网页的元信息相似度。

5.如权利要求3所述的方法，其特征在于，所述计算所述第一版本网页和所述第二版本网页的页面结构相似度包括：

解析所述第一版本网页和所述第二版本网页，提取所述第一版本网页的第一页面结构信息和所述第二版本网页的第二页面结构信息；

计算所述第一页面结构信息和第二页面结构信息的相似度作为所述第一版本网页和所述第二版本网页的页面结构相似度。

6.如权利要求2所述的方法，其特征在于，所述计算所述第一版本网页和所述第二版本网页的相似度，包括：

通过编辑距离或余弦相似度的方式计算所述第一版本网页和所述第二版本网页的相似度。

7.如权利要求1所述的方法，其特征在于，所述判断所述网站包括的网址对应的各一级前缀是否满足自适应UA的条件，包括：

随机抽取所述网站包括的网址对应的各一级前缀下的至少一个URL；

分别判断所述至少一个URL是否满足自适应UA的条件；

如果抽取得到的所述一级前缀下的URL中，满足自适应UA的条件的URL的数目占抽取得到的URL的总数目的比例大于第二预设阈值，则确定所述一级前缀满足自适应UA的条件。

8.如权利要求1所述的方法，其特征在于，在所述确定满足所述自适应UA的条件的一级前缀为自适应UA的URL前缀之后，所述方法还包括：

将所述自适应UA的URL前缀对应的网页存入预设网页库中。

9.一种自适应用户代理UA的统一资源定位符URL前缀挖掘装置，其特征在于，包括：

收集单元，用于收集电脑端搜索引擎的网络爬虫抓取的网站首页；

第一判断单元，用于判断所述网站首页是否为自适应UA的网页，其中，所述自适应UA的网页包括能够正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求的网页；

第二判断单元，用于在所述第一判断单元的判断结果为是时，判断所述网站包括的网址对应的各一级前缀是否满足自适应UA的条件；

确定单元，用于依据所述第二判断单元的判断结果，确定满足所述自适应UA的条件的一级前缀为自适应UA的URL前缀。

10.一种用于自适应用户代理UA的统一资源定位符URL前缀挖掘的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

收集电脑端搜索引擎的网络爬虫抓取的网站首页；

判断所述网站首页是否为自适应UA的网页，其中，所述自适应UA的网页包括能够正确响应电脑端浏览器的访问请求和移动端浏览器的访问请求的网页；

在所述网站首页为自适应UA的网页时，判断所述网站包括的网址对应的各一级前缀是否满足自适应UA的条件；

确定满足所述自适应UA的条件的一级前缀为自适应UA的URL前缀。