CN105787038A - 一种挖掘统一资源定位符转换规则的方法及电子设备 - Google Patents

Abstract

本发明公开了一种挖掘统一资源定位符转换规则的方法及电子设备，该方法包括：通过网络爬虫抓取电脑版本的目标网站下的N个电脑版URL；抓取目标网站对应的无线网站下的N1个无线版URL；获得N1个无线版URL与N个电脑版URL中相互匹配的目标URL对，目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；根据获得的目标URL对获得电脑版URL到无线版URL的转换规则。在上述技术方案中，通过获得多个目标URL对来挖掘获得电脑版与无线版的URL之间的转换规则，解决了现有技术中人工配置的转换规则覆盖面不够的技术问题，扩大了转换规则的覆盖面。

Description

一种挖掘统一资源定位符转换规则的方法及电子设备

技术领域

本发明涉及网络技术领域，特别涉及一种挖掘统一资源定位符转换规则的方法及电子设备。

背景技术

随着移动互联网的不断发展，越来越多的PC(PersonalComputer，个人电脑)网站有了自己的无线版本。由于PC屏幕和手机屏幕大小不同，因此一个网页的PC版本和无线版本相比，在展示样式、内容上有较大差异。

当用户在手机上通过无线网页搜索引擎进行信息检索时，无线网页搜索引擎的部分搜索结果来自于PC搜索引擎，其URL(UniformResourceLocator，统一资源定位符)为PC网页的电脑版URL(又称PCURL)，但通常需要提供对应的无线网页的超链接即无线版URL，使得用户从手机上点击来自PC搜索引擎的搜索结果时，能够打开移动端的网页而不是PC端的网页。为此，需要获得电脑版URL与无线版URL的转换规则，如果无线搜索引擎的搜索结果来自PC搜索引擎，那么需要根据PCURL到无线版URL的转换规则，给用户生成无线版URL超链接。

然而，现有技术中PCURL到无线版URL的转换规则通常是通过人工配置的，由于人工配置转换规则时考虑面不足、综合因素受限，导致配置出的转换规则存在覆盖面不够的技术问题。

发明内容

本发明实施例提供一种挖掘统一资源定位符转换规则的方法及电子设备，用于解决现有技术中人工配置不同版本URL的转换规则导致的覆盖面较窄、难以维护的技术问题。

本申请实施例提供一种挖掘统一资源定位符转换规则的方法，所述方法包括：

通过网络爬虫抓取电脑版本的目标网站下的N个电脑版URL，其中，所述电脑版URL为电脑版本网页的统一资源定位符；

抓取所述目标网站对应的无线网站下的M个无线版URL，其中，所述无线版URL为无线版本网页的统一资源定位符，N和N1均为大于第一阈值的整数；

获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，其中，所述目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；

根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

可选的，在所述抓取所述目标网站对应的无线网站下的N1个无线版URL之前，所述方法包括：

判断所述目标网站的电脑版网站首页URL是否能够重定向到所述目标网站的无线版网站首页URL；

若所述电脑版网站首页URL能够重定向到所述无线版网站首页URL，则重定向所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL；

若所述电脑版网站首页URL不能够重定向到所述无线版网站首页URL，根据无线网页的URL关键词和所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL。

可选的，当所述目标网站的电脑版网站首页URL能够重定向到所述无线版网站首页URL时，所述获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，包括：

从N个所述电脑版URL中筛选出能够重定向到任一所述无线版URL的第一目标URL；

将所述第一目标URL及重定向获得的第二目标URL组成目标URL对。

可选的，当所述目标网站的电脑版网站首页URL不能够重定向到所述无线版网站首页URL时，所述获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，包括：

在所述N个电脑版URL及其对应页面的全量库中，查找获得与候选无线版URL主域相同且对应的页面标题之间的相似度大于第二阈值的候选电脑版URL，其中，所述候选无线版URL为所述N1个无线版URL中的任一URL；

从所述候选电脑版URL中，获得与所述候选无线版URL之间URL相似度最大的URL作为与所述候选无线URL匹配的目标电脑版URL；

将所述候选无线版URL和所述目标电脑版URL作为所述目标URL对。

可选的，所述根据无线网页的URL关键词和所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL，包括：

根据无线网页的URL关键词和所述电脑版网站首页URL，生成至少一个待定的无线版网站首页URL；

通过无线网页浏览器抓取所述待定的无线版网站首页URL的页面，并判断抓取得到的页面是否是无效页面；

若抓取得到的所述待定的无线版网站首页URL的页面不是无效页面，则判断所述待定的无线版网站首页URL的页面是否是电脑版本的页面；

若所述待定的无线版网站首页URL的页面不是电脑版本的页面，则确定所述待定的无线版网站首页URL即为所述目标网站的电脑版网站首页URL对应的无线版网站首页URL。

可选的，所述判断所述目标网站的电脑版网站首页URL是否能够重定向到所述目标网站的无线版网站首页URL，包括：

S1：判断通过无线网页浏览器抓取所述目标网站的电脑版网站首页URL得到的页面是否是无效页面，如果否，进入S2，如果是，进入S6；

S2：判断通过无线网页浏览器抓取所述目标网站的电脑版网站首页URL时是否存在重定向，如果存在，进入S3，如果不存在，进入S6；

S3：判断通过电脑网页浏览器抓取所述目标网站的电脑版网站首页URL时是否存在重定向，如果存在，进入S4，如果不存在，进入S5；

S4：判断通过电脑网页浏览器抓取时重定向获得的URL与通过无线网页浏览器抓取时重定向获得的URL是否相同，如果不相同，进入S5，如果相同，进入S6；

S5：确定所述电脑版网站首页URL能够重定向到所述无线版网站首页URL，流程结束；

S6：确定所述电脑版网站首页URL不能够重定向到所述无线版网站首页URL，流程结束。

可选的，所述根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则，包括：

步骤1、对每个所述目标URL对中的所述电脑版URL和所述无线版URL基于分段字符分别分为I段分段获得电脑版URL模型和无线版URL模型，将所述电脑版URL模型和所属无线版URL模型作为第0段分段的第一转换规则，I为正整数；

步骤2、判断每个所述目标URL对的第i段分段的第一转换规则中所述电脑版URL模型的第i段分段是否与所述无线版URL模型的至少一分段相同，0≤i＜I；若是，将所述电脑版URL模型的第i段分段和所述无线版URL模型中与第i段相同的分段用通配符替换，获得所述第i段分段的第二转换规则；若否，将所述第一转换规则作为所述第i段分段的第三转换规则；

步骤3、根据获得的所有所述第i段分段的第二转换规则，获得每个具有所述第二转换规则的所述第i段分段的第三转换规则，将第i段分段的第三转换规则作为第i+1段分段的第一转换规则；

步骤4、获得M个所述目标URL对的第I-1段分段的第三转换规则，并将对应所述目标URL对的个数大于目标阈值的第I-1段分段的第三转换规则作为所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

可选的，所述根据获得的所有所述第i段分段的第二转换规则，获得每个具有所述第二转换规则的所述第i段分段的第三转换规则，包括：

获得所有所述第二转换规则中，所述第i段分段的第二转换规则的所述电脑版URL模型对应的目标URL对的个数n1，所述电脑版URL模型对应的第一转换规则的个数n3，以及从所述电脑版URL模型对应的至少一个无线版URL模型中获得对应有最多所述目标URL对的参考无线版URL模型，其中所述参考无线版URL模型对应的所述目标URL对的对数为n2；

判断所述第i段分段的第二转换规则中的n1<n2*limit1且n3>limit2是否成立，其中limit1为第一阈值、limit2为第二阈值；

若是，将所述第i段分段的第二转换规则的所述电脑版URL模型作为所述第三转换规则的所述电脑版URL模型，将所述参考无线版URL模型作为所述第i段分段的第三转换规则的所述无线版URL模型；若否，确定所述第i段分段的第一转换规则作为所述第三转换规则。

本申请实施例还提供一种电子设备，应用于统一资源定位符转换规则挖掘，所述电子设备包括：

第一抓取单元，用于通过网络爬虫抓取电脑版本的目标网站下的N个电脑版URL，其中，所述电脑版URL为电脑版本网页的统一资源定位符；

第二抓取单元，用于抓取所述目标网站对应的无线网站下的M个无线版URL，其中，所述无线版URL为无线版本网页的统一资源定位符，N和N1均为大于第一阈值的整数；

第一获取单元，用于获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，其中，所述目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；

第二获取单元，用于根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

可选的，所述电子设备还包括：

第一判断单元，用于在所述抓取所述目标网站对应的无线网站下的N1个无线版URL之前，判断所述目标网站的电脑版网站首页URL是否能够重定向到所述目标网站的无线版网站首页URL；

重定向单元，用于在所述电脑版网站首页URL能够重定向到所述无线版网站首页URL时，则重定向所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL；

第三获取单元，用于在所述电脑版网站首页URL不能够重定向到所述无线版网站首页URL时，根据无线网页的URL关键词和所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL。

可选的，当所述目标网站的电脑版网站首页URL能够重定向到所述无线版网站首页URL时，所述第一获取单元，用于：

从N个所述电脑版URL中筛选出能够重定向到任一所述无线版URL的第一目标URL；

将所述第一目标URL及重定向获得的第二目标URL组成目标URL对。

可选的，当所述目标网站的电脑版网站首页URL不能够重定向到所述无线版网站首页URL时，所述第一获取单元，用于：

在所述N个电脑版URL及其对应页面的全量库中，查找获得与候选无线版URL主域相同且对应的页面标题之间的相似度大于第二阈值的候选电脑版URL，其中，所述候选无线版URL为所述N1个无线版URL中的任一URL；

从所述候选电脑版URL中，获得与所述候选无线版URL之间URL相似度最大的URL作为与所述候选无线URL匹配的目标电脑版URL；

将所述候选无线版URL和所述目标电脑版URL作为所述目标URL对。

可选的，所述第三获取单元，用于：

根据无线网页的URL关键词和所述电脑版网站首页URL，生成至少一个待定的无线版网站首页URL；

通过无线网页浏览器抓取所述待定的无线版网站首页URL的页面，并判断抓取得到的页面是否是无效页面；

若抓取得到的所述待定的无线版网站首页URL的页面不是无效页面，则判断所述待定的无线版网站首页URL的页面是否是电脑版本的页面；

若所述待定的无线版网站首页URL的页面不是电脑版本的页面，则确定所述待定的无线版网站首页URL即为所述目标网站的电脑版网站首页URL对应的无线版网站首页URL。

可选的，所述重定向单元，用于：

S1：判断通过无线网页浏览器抓取所述目标网站的电脑版网站首页URL得到的页面是否是无效页面，如果否，进入S2，如果是，进入S6；

S2：判断通过无线网页浏览器抓取所述目标网站的电脑版网站首页URL时是否存在重定向，如果存在，进入S3，如果不存在，进入S6；

S3：判断通过电脑网页浏览器抓取所述目标网站的电脑版网站首页URL时是否存在重定向，如果存在，进入S4，如果不存在，进入S5；

S4：判断通过电脑网页浏览器抓取时重定向获得的URL与通过无线网页浏览器抓取时重定向获得的URL是否相同，如果不相同，进入S5，如果相同，进入S6；

S5：确定所述电脑版网站首页URL能够重定向到所述无线版网站首页URL，流程结束；

S6：确定所述电脑版网站首页URL不能够重定向到所述无线版网站首页URL，流程结束。

可选的，第二获取单元，用于：

步骤1、对每个所述目标URL对中的所述电脑版URL和所述无线版URL基于分段字符分别分为I段分段获得电脑版URL模型和无线版URL模型，将所述电脑版URL模型和所属无线版URL模型作为第0段分段的第一转换规则，I为正整数；

步骤2、判断每个所述目标URL对的第i段分段的第一转换规则中所述电脑版URL模型的第i段分段是否与所述无线版URL模型的至少一分段相同，0≤i＜I；若是，将所述电脑版URL模型的第i段分段和所述无线版URL模型中与第i段相同的分段用通配符替换，获得所述第i段分段的第二转换规则；若否，将所述第一转换规则作为所述第i段分段的第三转换规则；

步骤3、根据获得的所有所述第i段分段的第二转换规则，获得每个具有所述第二转换规则的所述第i段分段的第三转换规则，将第i段分段的第三转换规则作为第i+1段分段的第一转换规则；

步骤4、获得M个所述目标URL对的第I-1段分段的第三转换规则，并将对应所述目标URL对的个数大于目标阈值的第I-1段分段的第三转换规则作为所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

可选的，所述第二获取单元，还用于：

获得所有所述第二转换规则中，所述第i段分段的第二转换规则的所述电脑版URL模型对应的目标URL对的个数n1，所述电脑版URL模型对应的第一转换规则的个数n3，以及从所述电脑版URL模型对应的至少一个无线版URL模型中获得对应有最多所述目标URL对的参考无线版URL模型，其中所述参考无线版URL模型对应的所述目标URL对的对数为n2；

判断所述第i段分段的第二转换规则中的n1<n2*limit1且n3>limit2是否成立，其中limit1为第一阈值、limit2为第二阈值；

若是，将所述第i段分段的第二转换规则的所述电脑版URL模型作为所述第三转换规则的所述电脑版URL模型，将所述参考无线版URL模型作为所述第i段分段的第三转换规则的所述无线版URL模型；若否，确定所述第i段分段的第一转换规则作为所述第三转换规则。

本申请实施例还提供一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

通过网络爬虫抓取电脑版本的目标网站下的N个电脑版URL，其中，所述电脑版URL为电脑版本网页的统一资源定位符，N为大于第一阈值的整数；

抓取所述目标网站对应的无线网站下的M个无线版URL，其中，所述无线版URL为无线版本网页的统一资源定位符，N1为大于第一阈值的整数；

获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，其中，所述目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；

根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果：

通过抓取获得电脑版本的URL及其匹配的无线版本的URL组成目标URL对，以根据获得的目标URL对挖掘获得PCURL到无线版URL的转换规则，避免人工配置转换规则导致的覆盖面不够、难以维护的技术问题，能够综合多个目标URL挖掘转换规则，扩大了PCURL到无线版URL的转换规则的覆盖面。

附图说明

图1为本申请实施例提供一种挖掘统一资源定位符URL的转换规则的方法流程图；

图2为本申请实施例提供的获得相互匹配的目标URL对的流程图；

图3为本申请实施例提供的一种电子设备的结构示意图；

图4为本申请实施例提供的用于实现统一资源定位符URL的转换规则挖掘的装置示意图；

图5为本申请实施例提供的一种服务器的结构示意图。

具体实施方式

在本申请实施例提供的技术方案中，通过抓取获得电脑版本的URL及其匹配的无线版本的URL组成目标URL对，并根据至少一个目标URL对挖掘获得电脑URL到无线版URL的转换规则，以解决人工配置转换规则导致的覆盖面不够的技术问题，扩大了转换规则的覆盖面。

下面结合附图对本申请实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。

实施例一

网页抓取工具介绍：无线网页浏览器，可以是android系统浏览器、iOS系统浏览器等，例如：Mozilla/5.0(Linux；Android4.4；Nexus5Build/BuildID)、AppleWebKit/537.36(KHTML,likeGecko)Version/4.0Chrome/30.0.0.0MobileSafari/537.36。电脑网页浏览器，可以是Firefox浏览器、IE浏览器、搜狗浏览器等，例如：Mozilla/5.0(WindowsNT6.1；WOW64；rv:21.0)Gecko/20100101Firefox/21.0。本申请不限制电脑/无线网页浏览器的具体版本。

请参考图1，本申请实施例提供一种挖掘统一资源定位符转换规则的方法，该方法包括：

S11、通过网络爬虫抓取电脑版本的目标网站下的N个电脑版URL，其中，电脑版URL为电脑版本网页的统一资源定位符；

S12、抓取目标网站对应的无线网站下的N1个无线版URL，其中，无线版URL为无线版本网页的统一资源定位符，N和N1均为大于第一阈值的整数；

S13、获得N1个无线版URL与N个电脑版URL中相互匹配的目标URL对，其中，目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；

S14、根据获得的目标URL对，获得目标网站的电脑版URL到无线版URL的转换规则。

本申请实施例，在S11之前可以通过电脑版本网络爬虫在网页库中抓取网站首页。具体可以根据网站首页的特点：页面标记包含有关键词“首页”、URL以字符串“.com/.cn”结尾、URL为网站名的全拼或缩写等，抓取网站首页。进一步的，筛选出包含页面数大于100的站点作为目标网站，使得根据该目标网站来挖掘转换规则时转换规则覆盖更为全面。当然，也可以将全部的站点作为目标网站，但筛选包含页面数较多的站点作为目标站点进行URL抓取，能够节约抓取资源。

在具体实施过程中，可以在执行通过网络爬虫抓取电脑版本的目标网站的电脑版网站首页URL后，执行S11通过网络爬虫抓取电脑版本的目标网站下的N个电脑版URL。其中，N为大于第一阈值的整数，第一阈值可以为50、80或99，在本申请实施例中N的取值可以为100。

其中，所述抓取电脑版本的目标网站下的N个电脑版URL时，可以根据目标网站的电脑版网站首页URL或者根据目标网站的电脑版网站首页URL对应的网站首页，抓取目标网站下的N个电脑版URL。

当根据目标网站的电脑版网站首页URL抓取目标网站下的电脑版URL时，可以通过抓取与目标网站的电脑版网站首页URL具有相同关键字段的URL的方式来抓取目标网站下的电脑版URL。例如：火车购票网站首页的URL为http://www.12306.cn/mormhweb/，其关键字段为“12306.cn”，那么可以抓取所有包含字段“12306.cn”的URL作为火车购票网站的其它网页对应的电脑版URL。

当根据目标网站的网站首页抓取电脑版URL时，可以通过网站首页中的出链逐层提取电脑版URL。

本申请实施例在抓取到目标网站的电脑版网站首页URL之后，可以根据目标网站的电脑版网站首页URL获取与目标网站对应的无线网站。具体的，可以先判断目标网站的电脑版网站首页URL是否能够重定向到目标网站的无线版网站首页URL，若目标网站的电脑版网站首页URL能够重定向到无线版网站首页URL，则通过重定向目标网站的电脑版网站首页URL获得对应的无线版网站首页URL。

请参考图2，通过如下步骤判断目标网站的电脑版网站首页URL是否能够重定向到目标网站的无线版网站首页URL：

S1、判断通过无线网页浏览器抓取目标网站的电脑版网站首页URL得到的页面是否是无效页面。

其中，无效页面可以但不限于包括死链、无效文字页面等。

若步骤S1的判断结果为得到的页面是无效页面，则可以进入S6；若步骤S1的判断结果为否，即为通过无线网页浏览器抓取目标网站的电脑版网站首页URL得到的页面不是无效页面，则继续执行S2。

S2、若通过无线网页浏览器抓取目标网站的电脑版网站首页URL得到的页面不是无效页面，则判断通过无线网页浏览器抓取该目标网站的电脑版网站首页URL时是否存在重定向。

若步骤S2的判断结果为通过无线网页浏览器抓取电脑版网站首页URL时不存在重定向，则可以进入S6；否则，即为步骤S2的判断结果为存在重定向，则继续执行S3。

S3、若通过无线网页浏览器抓取电脑版网站首页URL时存在重定向，则判断通过电脑网页浏览器抓取该电脑版网站首页URL时是否存在重定向。

若通过电脑网页浏览器抓取该电脑版网站首页URL时不存在重定向，则进入S5；否则，即为存在重定向，则继续执行S4。

S4、若通过电脑网页浏览器抓取该电脑版网站首页URL时存在重定向，则判断通过电脑网页浏览器抓取时重定向获得的URL与通过无线网页浏览器抓取时重定向获得的URL是否相同。

若通过电脑网页浏览器抓取和通过无线网页浏览器抓取分别重定向获得的URL相同，则进入S6；否则，若通过电脑网页浏览器抓取时重定向获得的URL与通过无线网页浏览器抓取时重定向获得的URL不相同，则可以进入S5。

S5、确定所述电脑版网站首页URL能够重定向到无线版网站首页URL。

S6、确定该目标网站的电脑版网站首页URL无法重定向到无线版网站首页URL，本次重定向判断结束。

通过上述方式判断出该目标网站的电脑版网站首页URL无法重定向到无线版网站首页URL时，本申请实施例可以根据该目标网站的电脑版网站首页URL并结合无线网页的生成规则获得对应的无线版网站首页URL。

其中，该获得对应的无线版网站首页URL可以是根据无线网页的URL关键词，结合该目标网站的电脑版网站首页URL获得的。其中，该无线网页的URL关键词可以为无线版网页URL惯常包括的、且区别于电脑版网页URL的关键词前缀或后缀，例如wap、mobile、m、3g等。

该获得对应的无线版网站首页URL也可以是根据电脑版URL和无线版URL之间的转换规则，并结合该目标网站的电脑版网站首页URL获得的。该转换规则是依据电脑版URL和无线版URL之间的对应关系挖掘得到的，具体可以采用本申请提供的转换规则挖掘方法，实现转换规则的自我学习。

其中，根据无线网页的URL关键词，结合该目标网站的电脑版网站首页URL获得对应的无线版网站首页URL，具体过程可以包括S100至S200：

S100，根据无线网页的URL关键词和电脑版网站首页URL生成若干个URL作为待定的无线版网站首页URL。

其中，所生成的待定的无线版网站首页URL可以理解为假想的无线版网站首页URL的可能形式。

无线版网页URL一般可能会包括诸如wap、mobile、m、3g等的关键词，且该关键词一般位于电脑版网页URL的Host之前或之后。

例如：对于电脑版网站首页URL：http://www.yahui.cc/，利用上述规则生成的待定无线版网站首页URL可以为：

http://m.www.yahui.cc/

http://www.yahui.cc/m/

http://www.yahui.cc/？m＝1

http://www.yahui.cc/3g/

http://www.yahui.cc/mobile/

http://www.yahui.cc/wap/

http://www.yahui.cc/forum.php？mod＝guide&view＝hot&mobile＝2

http://www.yahui.cc/forum.php？mobile＝yes

http://m.yahui.cc/

http://wap.yahui.cc/

http://mobile.yahui.cc/

http://3g.yahui.cc/

http://www.m.yahui.cc/

S200，对所述待定的无线版网站首页URL进行页面抓取并分析页面，判断所述待定的无线版网站首页URL是否为有效URL，并根据判断结果确定对应的无线版网站首页URL。

具体判断过程如下：首先，通过无线网页浏览器抓取所述待定的无线版网站首页URL的页面，并判断抓取到的所述待定的无线版网站首页URL的页面是否是无效页面，如死链、无效文字页面等。若判断结果为所述待定的无线版网站首页URL的页面是无效页面，则该待定的无线版网站首页URL不是有效的无线版URL。

若判断结果为所述待定的无线版网站首页URL的页面不是无效页面，则还需要进一步判断抓取到的所述待定的无线版网站首页URL的页面是否是电脑版本的页面。若进一步判断的结果为所述待定的无线版网站首页URL的页面不是电脑版本的页面，则可以确定该待定的无线版网站首页URL是有效的无线版URL，即为该待定的无线版网站首页URL即为目标网站的电脑版网站首页URL对应的无线版网站首页URL，并将所述待定的无线版网站首页URL对应的网站确定为无线网站。若进一步判断的结果为所述待定的无线版网站首页URL的页面是电脑版本的页面，则可以确定该待定的无线版网站首页URL不是有效的无线版URL。

其中，可以通如下方法判断抓取到的所述待定的无线版网站首页URL的页面是否是电脑版本的页面：分别使用电脑网页浏览器和无线网页浏览器抓取所述待定的无线版网站首页URL的页面，得到待定URL对应的电脑版页面和待定URL对应的无线版页面，并将二者进行对比，若抓取得到的待定URL对应的电脑版页面和待定URL对应的无线版页面的页面相似度超过一定阈值，则可以确定所述待定的无线版网站首页URL的页面是电脑版本的页面，反之则不是。

其中，在计算两个页面的相似度时，可以通过计算两个页面的编辑距离、余弦相似度等来表征页面的相似度。

下面以编辑距离表征页面相似度为例，对页面相似度计算进行说明：分别抽取每个页面的页面结构信息(即从每个页面的Html源码中去除页面标签的属性和内容，只保留标签名，从而留下各页面的页面结构信息)，然后通过如下公式(1)计算两者的相似度：

$S=1-\frac{EditDis\tan ce(p1,p2)}{\max \left(len\right(p1),len\left(p2\right))}---\left(1\right)$

式中，S表示相似度；EditDistance()表示未归一化的编辑距离，p1、p2表示两个页面分别对应的字符串，len()表示取长度，max()表示取最大值。

结合前述实施例以说明，当以编辑距离表征页面相似度时，p1可以是从待定URL对应的电脑版页面中提取得到的页面结构信息字符串，p2可以是从待定URL对应的无线版页面中提取得到的页面结构信息字符串。EditDistance(p1，p2)表示由p1转成p2所需的最少编辑操作次数，max(len(p1)，len(p1))表示p1的字符串长度和p2的字符串长度的最大值。需要说明的是，EditDistance(p1，p2)也可以通过计算由p1转成p2所需的最少编辑操作次数获得。

进一步的，前述页面相似度比较的阈值可以取0.9，如果计算得到的页面相似度大于0.9，表明两个页面的相似度大于阈值，则可以确定所述待定的无线版网站首页URL的页面是电脑版本的页面。

需要说明的是，计算页面相似度时，不限于使用页面结构信息，也可以使用页面Html源码、文字信息等。

在判断出所述待定的无线版网站首页URL对应的页面既不是无效页面又不是电脑版本的页面时，可以确定该URL为有效的无线版网站首页URL。若存在两个以上的URL为有效的无线版网站首页URL，则可以随机选取一个作为目标网站的电脑版网站首页URL对应的无线版网站首页URL。

通过重定向或者上述无线版URL生成判断过程获得目标网站的电脑版网站首页URL对应的无线版网站首页URL后，执行S12抓取该目标网站的无线版网站首页下的N1个无线版URL。

具体的，可以在无线版网站首页中提取出链，进行过滤，将过滤后的出链作为无线版URL；进一步的，针对过滤后的出链使用无线网页浏览器进行页面抓取，再提取抓取到的页面的出链并进一步进行过滤，如此向下抓取多层(如5层等)链接，直到获得N1个无线版URL。

其中，对出链的过滤方法可以如下：以http://www.yahui.cc/网站为例，

如果对应的无线版网站首页URL是：

http://www.yahui.cc/forum.php？mod＝guide&view＝hot&mobile＝2，则可以只保留包含“mobile＝2”的出链；

如果对应的无线版网站首页URL是：

http://www.yahui.cc/forum.php？mobile＝yes，则可以只保留包含“mobile＝yes”的出链；

如果对应的无线版网站首页URL是其他类型，例如http://m.yahui.cc/，则可以只保留以http://m.yahui.cc/为前缀的出链。

本申请实施例中，通过S11和S12获得目标网站的N个电脑版URL和N1个无线版URL之后，执行S13获得N1个无线版URL与N个电脑版URL中相互匹配的目标URL对，即查询无线版本URL对应的电脑版本URL，得到PC-WapURL对。针对无线网站获取方式的不同，获得目标URL对的方法也不同。

当目标网站的电脑版网站首页URL能够重定向到无线版网站首页URL，即无线网站是通过重定向电脑版网站首页URL获得时，从N个电脑版URL中筛选出能够重定向到任一无线版URL的第一目标URL，并将第一目标URL及重定向获得的第二目标URL组成目标URL对。例如：若电脑版本的URL1可以重定向到无线版本的URL2，那么则可以将URL1和URL2作为目标URL对。

当目标网站的电脑版网站首页URL不能够重定向到无线版网站首页URL，通过前述生成判断的方法获得无线版网站首页URL时，在N个电脑版URL及其页面的全量库中，查找获得与候选无线版URL主域相同且对应的页面标题之间相似度大于第二阈值的候选电脑版URL，其中，候选无线版URL为N1个无线版URL中的任一URL；从获得的候选电脑版URL中，获得与候选无线版URL之间URL相似度最大的URL作为与候选无线URL匹配的目标电脑版URL；将候选无线版URL和目标电脑版URL作为目标URL对。

其中，页面标题是指在页面Html源码中<title>标签包含的文字，并做了进一步的处理，去除了网站相关的信息。例如某网页从<title>标签下截取的文字为“国家旅游局:游客参与不合理低价游也将被处理|不合理低价游_新浪新闻”，则可以去除新浪新闻信息，只把“国家旅游局:游客参与不合理低价游也将被处理|不合理低价游”作为页面标题。页面标题、URL的相似度可以采用编辑距离算法计算得到，第二阈值可以取0.9。同样的，页面标题、URL的相似度计算方法也可以采用其他算法，例如余弦相似度。

本申请步骤S13获得目标URL对后，执行S14根据获得的M个目标URL对，获得目标网站的电脑版URL到无线版URL的转换规则。M个目标URL可以是N个电脑版URL和N1个无线版URL中匹配成功的所有目标URL对，也可以是匹配成功的部分URL对。

获得目标网站的电脑版URL到无线版URL的转换规则的方法如下：

步骤1、对每个所述目标URL对中的电脑版URL和无线版URL，基于分段字符分别分为I段分段，获得电脑版URL模型和无线版URL模型，将电脑版URL模型和无线版URL模型作为第0段分段的第一转换规则，I、i均为整数，0≤i＜I。

具体的，分别对电脑版URL和无线版URL进行分段时，可以只对URL的域名后面的部分进行。分段字符可以但不限于包括“/”、“-”、“_”、“.”、“,”、“？”、“＝”、“|“:”、“&”、“～”等字符。记录每一段的类型和编号，类型包括数字、非数字两种，从URL尾部向头部，每一段的编号依次为0,1,2…,I-1。用pcurlpattern表示电脑版URL对应的规则字符串，wapurlpattern表示无线版URL对应的规则字符串，第i段分段的第一转换规则为(pcurlpattern，wapurlpattern)，当i＝0时，第i段分段的第一转换规则中pcurlpattern＝pcurl，对应的wapurlpattern＝wapurl，当i>0时，第i段分段的第一转换规则为第i-1段分段的第三转换规则，其中，pcurl表示目标URL对中的电脑版URL，wapurl表示目标URL对中的无线版URL。初始每个第一转换规则下目标URL对的个数是1。后续步骤2、3进行转换规则的合并及更新。

URL分段举例：假设一目标URL对中的电脑版URL为：

http://news.sina.com.cn/c/sz/2015-12-30/doc-ifxmykrf2678973.shtml

基于分段字符对该URL进行分段后，获得c、sz、2015、12、30、doc、ifxmykrf2678973、shtml这8个分段，从URL的尾部开始依次记为第0段～第7段。第0段的初始转换规则即第一转换规则为(pcurl，wapurl)。

步骤2、判断每个目标URL对的第i段分段的第一转换规则中电脑版URL模型的第i段分段是否与无线版URL模型的至少一分段相同；若是，将电脑版URL模型的第i段分段和无线版URL模型中与第i段相同的分段用通配符替换，获得第i段分段的第二转换规则，在获得所有目标URL对中第i段分段的第二转换规则后转到步骤3；若否，则不对第i段分段进行通配，可直接将第i段分段的第一转换规作为其第三转换规则，i+1对第i+1段分段接着执行步骤2。

假设当前循环到第i段，对于第i段分段的第一转换规则(pcurlpattern，wapurlpattern)，pcurlpattern的第i段记为segi，判断segi是否与对应的wapurlpattern中的某一段或某几段相同，若是则将pcurlpattern的第i段分段和wapurlpattern中与第i段相同的分段通配，得到第二转换规则即(newpcurlpattern，newwapurlpattern)；如果segi在对应的wapurlpattern中不存在，则不计算newpcurlpattern和newwapurlpattern，此时第i段分段的第一转换规则即为其第三转换规则。其中，进行通配时可以为：如果第i段分段segi的类型是数字，则segi通配后变成{n_i}，否则，通配为{w_i}；相应的第i段分段之前的分段segi-1至seg0采用相同的通配规则通配。

通配方法及举例

例如：假设第一转换规则为：

(http://mno.hu/kek_hirek/lezartak-az-m3-ast-1052032，http://m.mno.hu/kek_hirek/lezartak-az-m2-ast-1052032)；

对第0段分段的第一转换规则通配得到的第二转换规则为：

(http://mno.hu/kek_hirek/lezartak-az-m3-ast-{n_0}，http://m.mno.hu/kek_hirek/lezartak-az-m2-ast-{n_0})；

对第1段分段的第一转换规则通配后可能得到的第二转换规则为：

(http://mno.hu/kek_hirek/lezartak-az-m3-{w_1}-{n_0}，http://m.mno.hu/kek_hirek/lezartak-az-m2-{w_1}-{n_0})；

对第2段分段的第一转换规则，由于电脑版URL的第2段分段“m3”，在无线版URL的分段中没有相同的分段“m3”，为此对第2段分段的第一转换规则不计算其对应的第二转换规则；

对第3段分段的第一转换规则通配后可能得到的第二转换规则为：

(http://mno.hu/kek_hirek/lezartak-{w_3}-m3-{w_1}-{n_0}，http://m.mno.hu/kek_hirek/lezartak-{w_3}-m2-{w_1}-{n_0})；

后续各分段的通配以此类推。

步骤3、根据获得的所有第i段分段的第二转换规则，获得每个具有第二转换规则的第i段分段的第三转换规则，将第i段分段的第三转换规则作为第i+1段分段的第一转换规则。

具体的，判断第i段分段的第二转换规则是否满足预设条件；若满足，根据第i段分段的第二转换规则更新第i段分段的第一转换规则，更新后的第一转换规则即为第i段分段的第三转换规则；若不满足，则不更新第i段分段的第一转换规则，将第一转换规则作为第三转换规则。由于经过步骤2的通配，因此可能有很多第二转换规则中的电脑版URL模型即newpcurlpattern是相同的，所以本申请进行合并及更新：

把所有目标URL对的第i段分段的第二转换规则中的newpcurlpattern放在一起统计，获得所有第二转换规则中，每个第i段分段的第二转换规则的newpcurlpattern对应的目标URL对的总个数，记为n1；获得每个第i段分段的第二转换规则的newpcurlpattern对应的第一转换规则的个数，记为n3；以及每个第i段分段的第二转换规则的newpcurlpattern下，各个newwapurlpattern对应的目标URL对的个数，记目标URL对个数最多的newwapurlpattern的目标URL对的个数为n2。

判断第i段分段的第二转换规则中的n1<n2*limit1且n3>limit2是否成立，其中limit1为第一阈值，第一阈值可以为1.1即limit1＝1.1，limit2为第二阈值，第二阈值可以为1即limit2＝1。若判断结果为是，n1<n2*limit1且n3>limit2，确定第i段分段的第二转换规则满足所述预设条件，将第i段分段的第一转换规则中的电脑版URL模型更新为电脑版URL模型，即pcurlpattern更新为newpcurlpattern，将第i段分段的第一转换规则中的无线版URL模型更新为参考无线版URL模型，即wapurlpattern更新为对应目标URL对个数最多的newwapurlpattern，扔掉其他的newwapurlpattern，得到更新后的第一转换规则(pcurlpattern，wapurlpattern)即第三转换规则，并更新新的转换规则下目标URL对的个数。若判断结果为否，n1<n2*limit1且n3>limit2不成立，确定所述第i段分段的第二转换规则不满足所述预设条件，则pcurlpattern和wapurlpattern不做修改，即第一转换规则不做更新，第i段分段的第一转换规则即为其第三转换规则。

在完成第i段分段的第一转换规则的合并更新后，i+1，继续循环执行步骤2、3，直到i＝I，每个目标URL对的所有分段的(pcurlpattern，wapurlpattern)合并更新后完成，转步骤4。

步骤4、获得M个目标URL对的第I-1段分段的第三转换规则，并将对应目标URL对的个数大于目标阈值的第I-1段分段的第三转换规则作为目标网站的电脑版URL到无线版URL的转换规则。

其中，目标阈值limit3的取值可以为10或大于10的正数，如limit3＝10。M个目标URL可以是获得的所有目标URL对，也可以是获得的所有目标URL对中的部分目标URL对，其中M的取值越大获得的转换规则的覆盖范围越广、越准确。

上述实施例中通过抓取获得电脑版本的URL及其匹配的无线版本的URL组成目标URL对，以根据获得目标URL对挖掘获得电脑版URL到无线版URL的转换规则，解决了现有技术中人工配置转换规则导致的覆盖面不够、难以维护的技术问题，综合了多个目标URL对来挖掘转换规则，扩大了电脑版URL到无线版URL的转换规则的覆盖面。

请参考图3基于上述提供的一种挖掘统一资源定位符转换规则的方法，本申请还对应提供一种电子设备，该设备包括：

第一抓取单元31，用于通过网络爬虫抓取电脑版本的目标网站下的N个电脑版URL，其中，所述电脑版URL为电脑版本网页的统一资源定位符，N为大于第一阈值的整数；

第二抓取单元32，用于抓取所述目标网站对应的无线网站下的M个无线版URL，其中，所述无线版URL为无线版本网页的统一资源定位符，N1为大于第一阈值的整数；

第一获取单元33，用于获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，其中，所述目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；

第二获取单元34，用于根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

在具体实施过程中，可选的，所述电子设备还包括：

第一判断单元，用于在所述抓取所述目标网站对应的无线网站下的N1个无线版URL之前，判断所述目标网站的电脑版网站首页URL是否能够重定向到所述目标网站的无线版网站首页URL；

重定向单元，用于在所述第一判断单元的判断结果为是时，重定向所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL；

第三获取单元，用于在所述第一判断单元的判断结果为否时，根据无线网页的URL关键词和所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL。

进一步的，所述第一获取单元33，包括：筛选子单元和第一目标对获取子单元；

筛选子单元，用于当所述第一判断单元的判断结果为是时，从N个所述电脑版URL中筛选出能够重定向到任一所述无线版URL的第一目标URL；

第一目标对获取子单元，用于将所述第一目标URL及重定向获得的第二目标URL组成目标URL对。

进一步的，所述第一获取单元33，包括：查找子单元和第二目标对获取子单元；

查找子单元，用于当第一判断单元的判断结果为否，在所述N个电脑版URL及其对应页面的全量库中，查找获得与候选无线版URL主域相同且对应的页面标题之间的相似度大于第二阈值的候选电脑版URL，其中，所述候选无线版URL为所述N1个无线版URL中的任一URL；

第二目标对获取子单元，用于从所述候选电脑版URL中，获得与所述候选无线版URL之间URL相似度最大的URL作为与所述候选无线URL匹配的目标电脑版URL；将所述候选无线版URL和所述目标电脑版URL作为所述目标URL对。

在具体实施过程中，所述第三获取单元，包括：生成子单元、第一判断子单元、第二判断子单元和第一确定子单元。

生成子单元，用于根据无线网页的URL关键词和所述电脑版网站首页URL，生成至少一个待定的无线版网站首页URL；

第一判断子单元，用于通过无线网页浏览器抓取所述待定的无线版网站首页URL的页面，并判断抓取得到的页面是否是无效页面；

第二判断子单元，用于当第一判断子单元的判断结果为否时，判断所述待定的无线版网站首页URL的页面是否是电脑版本的页面；

第一确定子单元，用于当第二判断子单元的判断结果为否时，确定所述待定的无线版网站首页URL即为所述目标网站的电脑版网站首页URL对应的无线版网站首页URL。

进一步的，所述重定向单元，包括：

第三判断子单元，用于判断通过无线网页浏览器抓取所述目标网站的电脑版网站首页URL得到的页面是否是无效页面，当判断结果为否时，触发第四判断子单元，当判断结果为是时，触发第三确定子单元；

第四判断子单元，用于判断通过无线网页浏览器抓取所述目标网站的电脑版网站首页URL时是否存在重定向，当判断结果为是时，触发第五判断子单元，当判断结果为否时，触发第三确定子单元；

第五判断子单元，用于判断通过电脑网页浏览器抓取所述目标网站的电脑版网站首页URL时是否存在重定向，当判断结果为是时，触发第六判断子单元，当判断结果为否时，触发第二确定子单元；

第六判断子单元，用于判断通过电脑网页浏览器抓取时重定向获得的URL与通过无线网页浏览器抓取时重定向获得的URL是否相同，当判断结果为否时，触发第二确定子单元，当判断结果为是时，触发第三确定子单元；

第二确定子单元，用于确定所述电脑版网站首页URL能够重定向到所述无线版网站首页URL，流程结束；

第三确定子单元，用于确定所述电脑版网站首页URL不能够重定向到所述无线版网站首页URL，流程结束。

在具体实施过程中，第二获取单元34，包括：

第一获取子单元，用于对每个所述目标URL对中的所述电脑版URL和所述无线版URL基于分段字符分别分为I段分段获得电脑版URL模型和无线版URL模型，将所述电脑版URL模型和所属无线版URL模型作为第0段分段的第一转换规则，I为正整数；

第二获取子单元，用于判断每个所述目标URL对的第i段分段的第一转换规则中所述电脑版URL模型的第i段分段是否与所述无线版URL模型的至少一分段相同，0≤i＜I；若是，将所述电脑版URL模型的第i段分段和所述无线版URL模型中与第i段相同的分段用通配符替换，获得所述第i段分段的第二转换规则；若否，将所述第一转换规则作为所述第i段分段的第三转换规则；

第三获取子单元，用于根据获得的所有所述第i段分段的第二转换规则，获得每个具有所述第二转换规则的所述第i段分段的第三转换规则，将第i段分段的第三转换规则作为第i+1段分段的第一转换规则；

第四获取子单元，用于获得M个所述目标URL对的第I-1段分段的第三转换规则，并将对应所述目标URL对的个数大于目标阈值的第I-1段分段的第三转换规则作为所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

进一步的，所述第二获取单元34，还包括：

第五获取子单元，用于获得所有所述第二转换规则中，所述第i段分段的第二转换规则的所述电脑版URL模型对应的目标URL对的个数n1，所述电脑版URL模型对应的第一转换规则的个数n3，以及从所述电脑版URL模型对应的至少一个无线版URL模型中获得对应有最多所述目标URL对的参考无线版URL模型，其中所述参考无线版URL模型对应的所述目标URL对的对数为n2；

第六获取子单元，用于判断所述第i段分段的第二转换规则中的n1<n2*limit1且n3>limit2是否成立，其中limit1为第一阈值、limit2为第二阈值；若是，将所述第i段分段的第二转换规则的所述电脑版URL模型作为所述第三转换规则的所述电脑版URL模型，将所述参考无线版URL模型作为所述第i段分段的第三转换规则的所述无线版URL模型；若否，确定所述第i段分段的第一转换规则作为所述第三转换规则。

关于上述实施例中的电子设备，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种用于实现上述挖掘统一资源定位符URL的转换规则的方法的装置800的框图。例如，装置800可以是各种电子设备，如移动电话，计算机，数字广播终端，消息收发设备，平板设备，服务器，个人数字助理等。

参照图4，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得电子设备能够执行一种挖掘统一资源定位符转换规则的方法，所述方法包括：

通过网络爬虫抓取电脑版本的目标网站下的N个电脑版URL，其中，所述电脑版URL为电脑版本网页的统一资源定位符；

抓取所述目标网站对应的无线网站下的M个无线版URL，其中，所述无线版URL为无线版本网页的统一资源定位符，N和N1均为大于第一阈值的整数；

获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，其中，所述目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；

根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

图5是本发明实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM等等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种挖掘统一资源定位符转换规则的方法，其特征在于，所述方法包括：

通过网络爬虫抓取电脑版本的目标网站下的N个电脑版统一资源定位符URL；

抓取所述目标网站对应的无线网站下的N1个无线版URL，N和N1均为大于第一阈值的整数；

获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，其中，所述目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；

根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

2.如权利要求1所述的方法，其特征在于，在所述抓取所述目标网站对应的无线网站下的N1个无线版URL之前，所述方法包括：

判断所述目标网站的电脑版网站首页URL是否能够重定向到所述目标网站的无线版网站首页URL；

若所述电脑版网站首页URL能够重定向到所述无线版网站首页URL，则重定向所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL；

若所述电脑版网站首页URL不能够重定向到所述无线版网站首页URL，根据无线网页的URL关键词和所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL。

3.如权利要求2所述的方法，其特征在于，当所述目标网站的电脑版网站首页URL能够重定向到所述无线版网站首页URL时，所述获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，包括：

从N个所述电脑版URL中筛选出能够重定向到任一所述无线版URL的第一目标URL；

将所述第一目标URL及重定向获得的第二目标URL组成目标URL对。

4.如权利要求2所述的方法，其特征在于，当所述目标网站的电脑版网站首页URL不能够重定向到所述无线版网站首页URL时，所述获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，包括：

在所述N个电脑版URL及其对应页面的全量库中，查找获得与候选无线版URL主域相同且对应的页面标题之间的相似度大于第二阈值的候选电脑版URL，其中，所述候选无线版URL为所述N1个无线版URL中的任一URL；

从所述候选电脑版URL中，获得与所述候选无线版URL之间URL相似度最大的URL作为与所述候选无线URL匹配的目标电脑版URL；

将所述候选无线版URL和所述目标电脑版URL作为所述目标URL对。

5.如权利要求2所述的方法，其特征在于，所述根据无线网页的URL关键词和所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL，包括：

根据无线网页的URL关键词和所述电脑版网站首页URL，生成至少一个待定的无线版网站首页URL；

通过无线网页浏览器抓取所述待定的无线版网站首页URL的页面，并判断抓取得到的页面是否是无效页面；

若抓取得到的所述待定的无线版网站首页URL的页面不是无效页面，则判断所述待定的无线版网站首页URL的页面是否是电脑版本的页面；

若所述待定的无线版网站首页URL的页面不是电脑版本的页面，则确定所述待定的无线版网站首页URL即为所述目标网站的电脑版网站首页URL对应的无线版网站首页URL。

6.如权利要求2所述的方法，其特征在于，所述判断所述目标网站的电脑版网站首页URL是否能够重定向到所述目标网站的无线版网站首页URL，包括：

S1：判断通过无线网页浏览器抓取所述目标网站的电脑版网站首页URL得到的页面是否是无效页面，如果否，进入S2，如果是，进入S6；

S2：判断通过无线网页浏览器抓取所述目标网站的电脑版网站首页URL时是否存在重定向，如果存在，进入S3，如果不存在，进入S6；

S3：判断通过电脑网页浏览器抓取所述目标网站的电脑版网站首页URL时是否存在重定向，如果存在，进入S4，如果不存在，进入S5；

S4：判断通过电脑网页浏览器抓取时重定向获得的URL与通过无线网页浏览器抓取时重定向获得的URL是否相同，如果不相同，进入S5，如果相同，进入S6；

S5：确定所述电脑版网站首页URL能够重定向到所述无线版网站首页URL，流程结束；

S6：确定所述电脑版网站首页URL不能够重定向到所述无线版网站首页URL，流程结束。

7.如权利要求1～6任一所述的方法，其特征在于，所述根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则，包括：

步骤1、对每个所述目标URL对中的所述电脑版URL和所述无线版URL基于分段字符分别分为I段分段获得电脑版URL模型和无线版URL模型，将所述电脑版URL模型和所属无线版URL模型作为第0段分段的第一转换规则，I为正整数；

步骤2、判断每个所述目标URL对的第i段分段的第一转换规则中所述电脑版URL模型的第i段分段是否与所述无线版URL模型的至少一分段相同，0≤i＜I；若是，将所述电脑版URL模型的第i段分段和所述无线版URL模型中与第i段相同的分段用通配符替换，获得所述第i段分段的第二转换规则；若否，将所述第一转换规则作为所述第i段分段的第三转换规则；

步骤3、根据获得的所有所述第i段分段的第二转换规则，获得每个具有所述第二转换规则的所述第i段分段的第三转换规则，将第i段分段的第三转换规则作为第i+1段分段的第一转换规则；

步骤4、获得所述目标URL对的第I-1段分段的第三转换规则，并将对应所述目标URL对的个数大于目标阈值的第I-1段分段的第三转换规则作为所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

8.如权利要求7所述的方法，其特征在于，所述根据获得的所有所述第i段分段的第二转换规则，获得每个具有所述第二转换规则的所述第i段分段的第三转换规则，包括：

获得所有所述第二转换规则中，所述第i段分段的第二转换规则的所述电脑版URL模型对应的目标URL对的个数n1，所述电脑版URL模型对应的第一转换规则的个数n3，以及从所述电脑版URL模型对应的至少一个无线版URL模型中获得对应有最多所述目标URL对的参考无线版URL模型，其中所述参考无线版URL模型对应的所述目标URL对的对数为n2；

判断所述第i段分段的第二转换规则中的n1<n2*limit1且n3>limit2是否成立，其中limit1为第一阈值、limit2为第二阈值；

若是，将所述第i段分段的第二转换规则的所述电脑版URL模型作为所述第三转换规则的所述电脑版URL模型，将所述参考无线版URL模型作为所述第i段分段的第三转换规则的所述无线版URL模型；若否，确定所述第i段分段的第一转换规则作为所述第三转换规则。

9.一种电子设备，应用于统一资源定位符转换规则挖掘，其特征在于，所述电子设备包括：

第一抓取单元，用于通过网络爬虫抓取电脑版本的目标网站下的N个统一资源定位符电脑版URL，N为大于第一阈值的整数；

第二抓取单元，用于抓取所述目标网站对应的无线网站下的M个无线版URL，N1为大于第一阈值的整数；

第一获取单元，用于获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，其中，所述目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；

第二获取单元，用于根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

10.一种电子设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

通过网络爬虫抓取电脑版本的目标网站下的N个电脑版统一资源定位符URL，N为大于第一阈值的整数；

抓取所述目标网站对应的无线网站下的M个无线版URL，N1为大于第一阈值的整数；

获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，其中，所述目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；

根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则。