CN101477540A - 一种用于url重写的方法和设备 - Google Patents

Abstract

一种用于重写导致错误消息生成的URL的方法和设备。扫描所述URL，用于在其字符中检测一个或多个属于预定字符列表中的字符的存在。如果所述扫描导致与所述字符列表中的字符的匹配，用给定的替代字符进行取代。如果没有发生匹配，则将该域名和TLD与属于一个字典的补充的域名或URL进行比较。如果与该字典发生匹配，用该字典中匹配的域名或URL进行取代。如果没有发生匹配，应用拼写纠正算法。如果拼写纠正算法仍然不能得到纠正的URL，后者被分割和重写。

Description

一种用于URL重写的方法和设备

本发明涉及一种用于URL重写的方法，所述方法包括：

●用户计算机一旦接收一个由用户提供的由字符构成的至少由域名和TLD组成的URL，监测错误消息的生成，所述错误消息包括数据域，指示生成的错误从而URL与可识别的因特网协议地址不匹配；

●一旦生成所述错误消息，搜索所述已经导致所述错误消息生成的URL，将所述搜索的URL重路由到URL重写站；

●该方法用于帮助例如输入一个带有已经不再使用的域名的URL的用户。识别该不再使用的域名并由一个现行的域名代替。并且搜索引擎，例如google，也被用于检测不正确的URL并向用户提供选择。

现有的方法缺点在于：这些方法执行能力不强并通常只能改正URL中单个字符的拼写错误，因此多数情况下当用户输入一个不正确的URL或选择一个不正确的超链接，他将不能进入所请求的网页并仅得到一个错误消息指示不知道所请求的URL或不能找到所请求的URL。这样的消息往往会扰乱不能得到他想要的信息的用户。

本发明的目的在于提供给用户，特别是因特网用户一个更加有执行能力的工具用于重写URL并且提供给用户更多的机会使其在使用了错误的URL时进入他想要的因特网网页。

基于该目的，根据本发明的方法特征在于所述方法还包括：

●在所述重写站中扫描所述被搜索的URL，用于在其字符中检测一个或多个属于预定字符列表中的字符的存在，所述列表还包括用于每个所述预定字符的替代字符，并且一旦检测到这样的预定字符，后者被给定的替代字符所取代，用于将被搜索URL形成一个替代URL；

●在所述替代URL中分离所述域名和所述TLD；

●将所述域名和属于域名字典中的补充域名进行比较，一旦存在所述域名和所述补充域名之间的匹配，通过将所述用于重写URL的补充域名取代所述域名来重写所述替代URL；

●如果以上步骤没有得到重写的URL，将TLD和属于TLD字典中的补充TLD进行比较，一旦存在所述TLD与所述补充TLD之间的匹配，通过将所述用于重写URL的补充TLD取代所述TLD来重写所述替代URL；

●如果以上步骤没有得到重写的URL，在所述域名上应用拼写纠正算法，并且如果所述25应用导致域名的修改，用所述修改的域名代替所述域名用于重写所述URL；

●如果以上步骤没有得到重写URL，将所述域名分成多个分段，且对于每个分段验证是否30所述分段在语言学上可以接受，如果所述分段在语言学上不能被接受，用与该分段具有多个相同字符的语言学上可以接受的分段取代所述分段，通过使用所述替代分段重写所述URL；

●将所述重写的URL呈现给用户。

通过用替代字符取代一个明显错误的字符可形成正确的URL，这将很快将用户路由到正确的站点或至少向因特网用户提供一个合适的URL。通常情况下会产生同样的输入错误，例如将“a”输入为“z”或是“e”，可以建立一个考虑这些错误的字典。这样一个字典的使用将有助于很容易且很快的找到正确的URL。如果在字典中找不到正确的URL，在域名上应用拼写纠正算法。由于URL中的错误经常是由于拼写错误，拼写纠正算法将有助于得到正确的URL并找到请求的URL。如果拼写纠正算法不能提供解决方法，域名将被分割为分段并且这些分段被分别处理以用于重写域名。根据本发明的方法，提供用于重写导致无效请求的URL的一系列步骤。本发明提出的方法通过几次纠正尝试，进入想要的因特网站点的可能性将大大增加。

根据本发明的首选实施例，其特征在于所述预定字符列表包括表示连接或分离特性的字符的子列表，每个所述子列表的字符有作为替代字符的间隔字符以形成分段的域名。具有连接或分离特性的字符提供可靠的方式去进一步细分域名到分段，且对组成域名的不同分段进行分段分析。

根据本发明的第二优选实施例，其特征在于与URL分离之后，扫描所述TLD用于检测无关字符，且一旦检测到所述无关字符，后者被移除。由于组成TLD的字符数量是很有限的，扫描所述TLD以检测无关字符可容易且快速实现，使得TLD被纠正且将存在错误的TLD寻址到请求的站点。

根据本发明的第三优选实施例，其特征在于，对域名进一步分段分割是基于具有预定的字符数的分段，扫描每一个分段用于检测在一个分段和一个所述字典中的可比字之间共同的字符，每一次检测到共同的字符会加分，并且基于所述得分在分段中定义对应率，所述得到最高分的可比字被选择进行替换。通过设定分段的字符数的上限使得进一步分割为分段变得容易，而且，在检测到共同字符时分配得分，使替代选择变得容易。

最好对所述得分设定一个低阈值，其中，如果没有得分达到所述阈值，不提供替代。通过设定一个低阈值，使该方法效率更高，因为成功几率很小的替代则不再考虑。

最好是一旦搜索所述URL，指示实际时间的时间数据也被搜索并附加到所述URL上。在特定的环境因素下的实际时间将有助于找到正确的URL。

本发明还涉及实现该方法的设备。

下面将参照附图说明根据本发明的方法和设备的优选实施例。

附图说明：

图1示意性地说明了因特网接入；

图2说明了实现本发明提出的方法的设备结构；

图3说明了处理URL的不同步骤。

在图中相同的附图标记代表相同或相似的元件。

图1示意性的说明了请求因特网站点的路径。用户，也称为因特网用户，具有计算机1，通常是PC(个人计算机)，具有必要的软件使其可以接入因特网。该计算机1例如经由电话线连接至DNS(域名服务器)2。后者被装备用于将URL转换至IP(因特网协议)地址。每一个URL至少由三部分组成：

●1.TLD(顶级域)域名的最高级且通常在URL的结尾处。已知的TLD例如是“com”，“org”，“mil”，“gov”，“eu”和国家代码例如“be”，“de”，“lu”等……

●2.域名，指示分配给特定实例，公司或通常是站点名的名称。域名的一个例子为“eDo”属于欧洲专利局的因特网地址(www.epo.org)；

●3.主机名，“www”(万维网)或“http”。

当用户形成一个URL，例如www.domainname.com，DNS(2)搜索该URL并将“domainname”转换为IP地址(例如，192.xxx.xxx.xxx)。基于该目的DNS在其缓存里已经有该地址并很容易在其缓存中搜索到该IP地址。如果该IP地址不在其缓存中，该DNS寻址到域名主机的根服务器。根服务器接着将请求的IP地址发送到DNS。一旦IP地址可用，后者被因特网发送至服务器4以到达具有使用的IP地址的服务器并且在该服务器上请求的站点搜索可用的必要信息。

用户的PC(1)还与保存多个IP地址的代理服务器(3)进行联系，这些IP地址通常是用户常用的那些。当用户每次经由键盘或经由超链接形成URL时，该URL被发送至代理服务器3，它将在因特网上从地址服务器中搜索该请求数据。该代理服务器将使用IP地址用于找到存贮在自己内部存储器中的请求站点的地址。当请求的数据已经保存在请求的站点内部存储器中时，因为有了一个较早的请求，该请求的数据将直接从代理服务器的缓存中搜索。

可能发生用户输入一个错误的URL的情况，例如由于输入错误，或由于误解信息，导致URL不能被代理服务器或DNS识别。还可能是用户通过使用一个有差错超链接生成一个请求。这样的错误例如是在域名中使用了一个或多个错误的字符，例如拼写错误，一个或多个字符的遗漏或URL中含有过多的字符。在所有这些情况下，由于代理服务器或DNS不能识别该URL且不能与一个可识别的IP相匹配，该代理服务器或DNS不能分配一个正确的IP地址。如果有必要，将生成一个指示URL是错误的错误消息给用户。该错误消息包括指示错误的数据域。

本发明要解决的问题就是针对生成所述错误消息。在DNS2或代理服务器3的层上，安装监测设备用于监测上述错误消息的产生。后者的检测将导致引起错误消息的URL被监测设备搜索并且重路由到连接至因特网的URL重写站6。

当监测设备识别出一个错误消息，将引起错误消息的URL提取出来并且使用http协议向网页中加入HTML码。当识别出URL中的错误，该代理服务器或DNS也将识别该错误的类型和错误的数据。优选地，该错误的类型和错误的数据信息也被提供给重写站6。

在DNS阶段中的监测设备将指示不存在该域的NXDOMAIN消息取代为重写站6的IP地址。它也将被视为在出错信息中提供选择并仅重路由给定类型的错误，例如那些请求连接至可接受的登记的域名。这样反垃圾邮件过滤器将能使得已经使用了反向域名发送邮件的服务器生效。反向域名表明使用IP地址而不是使用域名。

ACL(接入/出控制表)控制URL的重路由。ACL中的一个重路由IP列表或集合，而另一个ACL在IP地址或IP集合中进行搜索。当URL被重路由，用户最好也将收到指示生成的URL被重路由的消息。并且，监测设备也将提出重路由包含有效的可识别域名的URL。基于法律的原因，提供者必须能使提出违法主题内容的或因间谍软件对PC的污染而指向的站点的有效域名变得无效。下面将给出一些例子。

为了提供一个有效的重写站，后者最好具有图2所示的结构。该重写站连接到因特网4且包括多个防火墙7-1，7-2，7-3。后者过滤输入的请求并且只选择寻址到重写站的那些请求。每个防火墙服务一个包括多个http服务器9.1/1，...9.2/1，....9.3/1的族8-1，8-2，8-3。相同族中的http服务器被连接至数据库服务器10-1，10-2，10-3，其依次连接至处理服务器11。所有的族8由一个同样的5处理服务器11服务，一起形成一个平台。http服务器9检查并过滤例如病毒等有害输入。他们分析句法误差且扫描和分析收到的URL用于检查错误且提供一个正确的URL。数据库服务器10为http服务器提供数据，最好通过使用缓存和恢复处理以将他们提供到处理服务器11。处理服务器的功能是恢复来自数据库服务器的信息，分析他们并且处理他们以使他们变得可用。

如果错误消息已经生成，它将被经由代理服务器或DNS路由至重写站。代理服务器为生成错误消息的URL重路由，并在URL上添加附加数据。DNS直接将URL路由至重写站。当URL被重路由，重写站点也将接收到头数据。

下面给出数据发送到重写站点的例子。

 

GET/HTTP/1.1	请求
		Host：www.golog.net	请求域名
User-Agent：Moailla/5.0(Windows；U；Windows NT5.1；en-US；rv：1.8b5)Gecko/20051006Firefoc/1.4.1	因特网浏览器类型
		Accept：Text/xml，application/xml，application/xhtml+xml，text/html；Q＝0.9，text/plain；q＝0.8，image/png，*/*，q＝0.5	浏览器接受的文件类型
Aceecpt-Language：en-us，en；q＝0.5	缺省语言
		Accept-Charset：ISO-8859-1，utf-8；q＝0.7，*；q＝0.7	缺省字符类型
Referer:http://www.golog.net/	请求的URL页

当存在“referrer”，也就是当由超链接引起错误消息生成的URL，搜索“referrer”中的域名且与URL中的域名结合。这将能比较“referrer”和URL，该比较将允许下面描述的一些处理。该“referrer”指示最后的URL请求的地址，且包括URL的域名和路径。

当发生重路由时，该重路由发生的日期和实际时间最好也发送给重写站。此外，最好从URL中推断出的地理位置数据并发送给重写站。该地理位置数据从用户的地理连接点和IP地址中被推断出来。用户的“反向的”IP地址也能用于识别用户发布URL的地理区域。日期和实际时间和地理位置数据是用于纠正URL的有用信息。

源于预付费网页的数据也将发送至重写站。该处理过程能添加java脚本请求到用户登陆的每个HTML页。该添加使得当重写URL呈现给用户时添加广告数据。

图3说明了重写站点执行的为了重写引起错误消息的URL的不同步骤。当URL被重路由(20)，对URL进行过材料滤处理(21)。该材料过滤被通常使用防火墙的硬件组件执行，且使得对TCP/IP每个帧进行分析。该分析例如包括：

a)IP包过滤，IP地址头的认证，用于验证源地址和目的地址。该过滤对应于路由器中的接入列表；

b)状态包过滤，其中通信状态被验证。例如包括序列号检查和通信一致性检查；

c)应用层过滤，包括一致性认证和协议数据内容认证。

过滤之后，http服务器应用逻辑滤波(22)。该逻辑滤波基于网页服务器软件的“改写”功能。该滤波使用公式列表删除被识别的请求。该操作的结果将通过重置的答复关闭接入路由。

过滤之后，http服务器将URL分成几部分。如果有必要，在消除(24)特殊字符例如将à，é，è，

对应转换为a，e，e，u之后，URL被解码(23)。其后被划分后属于子列表和表示连接或分离特性的部分的URL例如″，″；″.″；″&″；″+″，....这些字符将被间隔字符代替用于形成一个分段的域名。所以，例如如果域名包括″terra+world″，该分段操作将得到结果″terra world”。实际上用户输入了“+”是由于自然语言错误，代替“U+”的将会是“and”通过在字符“+”层上将URL分段，相关的字“terra”和“world”将被检索以用于进一步的处理。

将URL分段也能用于分开不包括域名数据的部分比如http://www..

为了分别进行分析TLD也将被分开。通常提到重写站扫描接收到的URL检测它的字符中存在属于预定字符列表中一或多个字符。正如已经描述的那样，一些字符例如″à，+，

，...。该列表包括每个字符的一个替代字符。例如替代″ü″的字符是″u″。当扫描操作结果检测到了列表中包含的这样的字符，该字符将被他的替代字符所取代以形成一个替代URL。当替代URL形成时，为了检查该替代URL是否导致因特网中的有效请求的尝试就已作出。如果是，该替代URL被提供给用户并且重写结束。

将URL分段之后，用于URL重写的对URL的分析将会开始。三种类型的分析将被执行。首先，执行“SPE”(26)分析。该SPE分析包括域名比对，或替代域名比对，如果有任何具有属于域名字典中的补充域名的替代域名。例如如果替代域名对应一个字典中的补充域名，将会发生替代域名和补充域名之间的匹配，该URL将被重写，即由现在的域名替代补充域名。包括补充域名的URL的将被呈现给用户，因此结束该重写操作。

如果域名的“SPE”分析没有得到重写的URL，TLD将被和TLD字典中的补充TLD进行比较。当得到实际的TLD和补充TLD匹配时，补充TLD将替代实际的TLD，且通过使用该补充TLD实现URL的重写。

该重写URL也将被展现给用户并且重写过程将结束。该SPE分析可以被用于整个的域名和其中的分段。

如果域名和TLD的SPE分析都没有得到URL的重写结果，将执行称为“SPE-”(27)的进一步分析，该“SPE-”分析使域名倒置，增加或删除一个或多个字符。例如如果原始的URL是“domain”，该“SPE-”分析能将“ddmain”改为“domain”，如果该修改在字典中存在或应用拼写纠正算法得到。实际上，域名中的错误常常源于当输入URL时的拼写错误。该“SPE-”分析允许对域名应用拼写纠正算法。如果该拼写纠正算法导致修改的域名，后者将取代原始的域名从而生成重写的URL。

可以使用多种拼写纠正算法。基于Livenshtein距离的算法是最佳的。一旦使用该算法Livenshtein距离最大为2是最佳的，也就是说纠正两个字符。如果字典中的补充域名产生的Livenshtein距离小于2，分析将停止且将修改的域名提供给用户。该算法被应用于完整的域名和由第25步骤分段得到的片段。

如果“SPE-”分析没有结果，执行更进一步的称为“ALL”的分析(28)。该“ALL”分析基于寻找对原始的域名“关闭”的域名。对于“ALL”分析，域名或替代域名被分成片段并且对分段执行该分析。验证每个片段将被验证是否在语言学上可以接受。如果不能，用语言学上可以接受的且与原始分段具有多个相同字符的分段代替该分段。

原始的域名例如是“muddmain”。所述分段将其分为“mu”和“ddmain”，“ddmain”在语言学上不能被接受，而与其接近的“domain”是可以接受的。“mu”可能由于输入错误且会被“my”取代。重写的域名将会是“mydomain”，为了认识到这样的修改，最好使用模糊逻辑算法。该算法的原则是将域名分解为2到5个字符的分段，并比较该分段和一个语言学上可比较的分段之间的共同字符。共同的字符数将得到与其对应程度相应的分数。对每一组共同的字符来说，该组字符在考虑的组中的字符数出现的频率将会增加。组中得到的结果将会相加，结果在比较公式中被1000除。对应率达到1000是完全匹配。所以每次检测到一个共同的字符，分配一个得分。选择具有最高的得分的可比字。将定义该得分的低阈值，因此如果分配的得分没有达到阈值，不提供任何替代。

例如，在“nomdedoamine”和“nomdedomaine”之间进行比较，所有字中具有2，3，4，5个相同的字符的组将会被形成no，nom，nomd，nomde，om，omd，omde，omded等等，应用该算法将会给出得分840。最后，如果两个字得到相同的分数，选择具有更多字符数的一个。

重写站将每个重写操作的结果保存(30)在数据库中，用于保持统计并提供用于系统的自我学习能力。

Claims (10)

1.一种用于URL重写的方法，所述方法包括：

●用户计算机一旦接收一个由用户提供的由字符构成的至少由域名和TLD组成的URL，监测错误消息的生成，所述错误消息包括数据域，指示生成的错误从而URL与可识别的因特网协议地址不匹配；

●一旦生成所述错误消息，搜索所述已经导致所述错误消息生成的URL，将所述搜索的URL重路由到URL重写站；

其特征在于所述方法进一步包括：

●在所述重写站中扫描所述被搜索URL，用于在其字符中检测一个或多个属于预定字符列表中的字符的存在，所述列表还包括用于每个所述预定字符的替代字符，并且一旦检测到这样的预定字符，后者被给定的替代字符所取代，用于将被搜索URL形成一个替代URL；

●在所述替代URL中分离所述域名和所述TLD；

●将所述域名和属于域名字典中的补充域名进行比较，一旦存在所述域名和所述补充域名之间的匹配，通过将所述用于重写URL的补充域名取代所述域名来重写所述替代URL；

●如果以上步骤没有得到重写的URL，将TLD和属于TLD字典中的补充TLD进行比较，一旦存在所述TLD与所述补充TLD之间的匹配，通过将所述用于重写URL的补充TLD取代所述TLD来重写所述替代URL；

●如果以上步骤没有得到重写的URL，在所述域名上应用拼写纠正算法，并且如果所述应用导致域名的修改，用所述修改的域名代替所述域名用于重写所述URL；

●如果以上步骤没有得到重写URL，将所述域名分成多个分段，且验证所述分段在语言学上是否可以接受，如果所述分段在语言学上不能被接受，用与该分段具有多个相同字符的语言学上可以接受的分段取代所述分段，通过使用所述替代分段重写所述URL；

●将所述重写的URL呈现给用户。

2.如权利要求1所述的方法，其特征在于所述预定字符列表包括表示连接或分离特性的字符的子列表，每个所述子列表的字符有作为替代字符的间隔字符以形成分段的域名。

3.如权利要求2所述的方法，其特征在于所述比较步骤在所述分段域名的分段上进行。

4.如权利要求1，2或3所述的方法，其特征在于与URL分离之后，扫描所述TLD用于检测无关字符，且一旦检测到所述无关字符，后者被移除。

5.如权利要求1至4中任一权利要求所述的方法，其特征在于所述拼写算法由距离为2的Livenshtein算法形成。

6.如权利要求1至5中任一权利要求所述的方法，其特征在于对域名进一步分段分割是基于分割具有预定的字符数的分段，扫描每一个分段用于检测在一个分段和一个所述字典中的可比字之间共同的字符，每一次检测到共同的字符会加分，并且基于所述得分在分段中确定对应率，所述得到最高分的可比字被选择进行替换。

7.如权利要求6所述的方法，其特征在于为所述得分定义一个低阈值，其中如果没有一个得分达到所述阈值，不提供替代。

8.如权利要求1至7中任一权利要求所述的方法，其特征在于一旦搜索所述URL，指示实际时间的时间数据也被搜索并附加到所述URL上。

9.如权利要求1至8中任一权利要求所述的方法，其特征在于一旦搜索所述URL，从所述URL中得到所述URL的地理位置信息并附加到所述URL上。

10.一种重写URL的设备，所述设备包括：

●检测设备用于用户计算机一旦接收一个由用户提供的由字符构成的至少由域名和TLD组成的URL，监测错误消息的生成，所述错误消息包括数据域，指示生成的错误从而URL与可识别的因特网协议地址不匹配；

●搜索设备用于一旦生成所述错误消息，搜索所述已经导致所述错误消息生成的URL，将所述搜索的URL重路由到URL重写站；

其特征在于所述重写站包括：

●扫描设备用于扫描所述被搜索URL，用于在其字符中检测一个或多个属于预定字符列表中的字符的存在，所述列表还包括用于每个所述预定字符的替代字符；

●替代设备用于并且一旦检测到这样的预定字符，后者被给定的替代字符所取代，用于由被搜索URL形成一个替代URL，所述替代URL中分离域名和所述TLD；

●比较设备用于将所述域名和属于域名字典中的补充域名进行比较，一旦存在所述域名和所述补充域名之间的匹配，则将所述补充域名提供给所述扫描设备，该扫描设备进一步用来通过将所述用于重写URL的补充域名取代所述域名来重写所述替代URL，所述比较设备还用于，如果以上步骤没有得到重写的URL，将TLD和属于TLD字典中的补充TLD进行比较，一旦存在所述TLD与所述补充TLD之间的匹配，则将所述补充TLD提供给所述扫描设备，该扫描设备进一步用来通过将所述用于重写URL的补充TLD取代所述TLD来重写所述替代URL；

●拼写纠正设备用于在所述域名中应用拼写纠正算法，如果替代设备没有生成重写URL，在所述域名上进一步应用拼写纠正算法，并且如果所述应用导致域名的修改，用所述修改的域名代替所述域名用于重写所述URL；

●分离设备用于如果以上步骤没有得到重写URL，将所述域名分成多个分段，且验证所述分段在语言学上是否可以接受，如果所述分段在语言学上不能被接受，用与该分段具有多个相同字符的语言学上可以接受的分段取代所述分段，通过使用所述替代分段重写所述URL。

Images