CN103460209A

CN103460209A - 编码数据标识符的方法

Info

Publication number: CN103460209A
Application number: CN2012800179311A
Authority: CN
Inventors: N·施旺; S·尚布哈格; I·里马克
Original assignee: Alcatel Lucent SAS
Current assignee: Alcatel Lucent SAS
Priority date: 2011-04-11
Filing date: 2012-03-28
Publication date: 2013-12-18
Also published as: JP2014515228A; US20130311678A1; WO2012139885A1; KR20130138839A; EP2511834A1

Abstract

本发明涉及一种对数据标识符进行编码的方法、数据网络的网络单元以及用以执行所述方法的计算机程序产品。所述数据标识符是数据网络的多个数据标识符的其中之一。每一个数据标识符由字符串构成。提供出现概率表，该表对于所述多个数据标识符的已定义组成部分表明其在所述多个数据标识符内的出现频率。所述组成部分是基于所述多个数据标识符的一项或更多项特性来定义的。基于所述出现概率表，根据可变长度编码算法对数据标识符进行编码。

Description

编码数据标识符的方法

技术领域

本发明涉及一种编码数据标识符的方法、一种数据网络的网络单元以及一种用以执行所述方法的计算机程序产品。

背景技术

针对数据的用户数据请求在例如因特网之类的数据网络内的路由通常由布置在数据网络中的网络单元施行，特别是由所谓的路由器施行。数据请求由例如URI之类的数据标识符标明，特别是URL（URI=统一资源标识符，URL=统一资源定位符）。路由器通常访问路由表来确定要把数据请求路由到的接口。

图1示出了例如用在内容中心联网（=CCN）中的已知路由表的一个简化实例。该表的左列列出了用ASCII编码的不同URL，该表的右列列出了将把每一项数据请求路由到的相应接口（ASCII=美国信息交换标准代码）。与传统的32比特IP地址（IP=互联网协议）相比，ASCII URL的可变长度导致对于路由表条目的延长的并且不可预测的查找时间。

图2示出了一种替换的已知路由表的一个简化实例，其中使用160比特SHA1散列来把图1的可变长度URL映射到预定义散列空间中的恒定长度数值（SHA=安全散列算法）。与图1对应，该表的左列用散列化表示列出了图1的URL，该表的右列列出了将把每一项数据请求路由到的相应接口。散列化URL的随机性阻止了任何汇聚方案，并且特别是不会保留URL类结构，从而阻止了前缀匹配。

本发明的目的是提供对于数据标识符的改进编码。

发明内容

本发明的目的通过对数据网络的多个数据标识符当中的一个数据标识符进行编码的方法来实现，每一个数据标识符由一个字符串构成，所述方法包括以下步骤：提供一个出现概率表，该表对于所述多个数据标识符的各个已定义组成部分表明其在所述多个数据标识符内的出现频率，其中所述组成部分是基于所述多个数据标识符的一项或更多项特性来定义的；以及基于所述出现概率表，根据一种可变长度编码算法对数据标识符进行编码。本发明的目的还通过数据网络的网络单元来实现，其中所述网络单元被适配成管理涉及数据网络的多个数据标识符当中的一个数据标识符的请求，每一个数据标识符由一个字符串构成，其中所述网络单元还被适配成访问出现概率表，该表对于所述多个数据标识符的各个已定义组成部分表明其在所述多个数据标识符内的出现频率，其中所述组成部分是基于所述多个数据标识符的一项或更多项特性来定义的；并且其中所述网络单元还被适配成基于所述出现概率表并且根据可变长度编码算法对数据标识符进行编码。本发明的目的还通过一种用于对数据网络的多个数据标识符当中的一个数据标识符进行编码的计算机程序产品来实现，每一个数据标识符由一个字符串构成，其中所述计算机程序产品在由网络单元执行时施行以下步骤：访问出现概率表，该表对于所述多个数据标识符的各个已定义组成部分表明其在所述多个数据标识符内的出现频率，其中所述组成部分是基于所述多个数据标识符的一项或更多项特性来定义的；以及基于所述出现概率表，根据可变长度编码算法对数据标识符进行编码。

本发明的一个方面是压缩例如URL之类的数据标识符，以便在保留其结构的同时提高查找速度，从而有助于基于最长前缀或其他方案进行汇聚。

本发明构成针对数据标识符（例如针对URL类内容标识符）的一种新的编码方案。根据本发明的实施例的编码方案使得解析内容名称所需的比特数最小化，从而导致查找时间缩短。除了更好的查找时间之外，本发明的实施例还允许对于路由器存储器的更加高效的使用；在相同数量的存储器内可以存储更多路由表条目。

本发明的实施例特别缩短了基于名称的路由器中的表条目的查找时间，从而提供了针对在路由器中实施CCN的一种解决方案。本发明的实施例允许在保留结构的同时提高查找速度。这样就提供了基于最长前缀或其他方案进行汇聚的可能性。

通过根据本发明的实施例编码的数据标识符而成为可能的提高的查找速度与用ASCII编码的URL相抵触，用ASCII编码的URL的更长长度（与根据本发明的实施例编码的数据标识符相比的更高比特计数）导致更长的路由表条目查找时间和下一跳解析时间。

通过根据本发明的实施例编码的数据标识符而成为可能的得以保留的结构与散列化URL相抵触，散列化URL的随机性阻止了任何汇聚方案，并且特别是不会保留URL类结构，从而阻止了前缀匹配。散列解决方案可以实现更加高效的编码，但是其由于结构丢失而不允许汇聚，这对于转发表的可扩展性是至关重要的。

通过从属权利要求表明了通过本发明的实施例实现的其他优点。

根据本发明的一个实施例，所述多个数据标识符的特性包括：

●所述多个数据标识符当中的各个字符的出现频率。已经发现，URL中的英语字符频率紧密遵循英语字母表频率。

●所述多个数据标识符当中的组成部分序列的出现频率。一些组成部分序列比其他序列的频率更高。举例来说，在URL中找到字母序列“in”的频率高于字母序列“zx”。

●所述多个数据标识符当中的数据标识符的预定义结构单位的出现频率。数据标识符的结构单位在分层数据标识符的情况下可以是与不同层级相关联的标识符组成部分，例如TLD、域名以及URL情况下的锚标签（TLD=顶层域）。已经发现，76.5%的URL仅仅使用所有已注册的（大约300个）TLD的一个子集：com、net、de、ru和org。

●构成数据标识符的字符串中的平均字符数目。平均域长度是15个字符。

●可用于构成数据标识符的不同字符的数目。根据RFC1738，只能利用73个字符来编码URL（0-9，a-z，A-Z，以及特殊字符$-_.+!*`(),）。

●可用于构成数据标识符的字符的类型。某一类数据标识符可能只允许大写字母。

●数据标识符在所述数据网络的至少一部分内的使用频率。一些数据标识符（例如“http://www.google.com”）在因特网中的使用频率高于其他数据标识符。

所述编码可以利用所述多个数据标识符的这些特性当中的一项或更多项。举例来说，鉴于在所述多个数据标识符当中的TLD“com”远高于TLD“tl”，因此对于编码方案来说有利的是为TLD“com”分配单个编码符号，但是将TLD“tl”编码为字母“t”和“l”的序列。

根据本发明的一个实施例，通过以下步骤来编码数据标识符：把数据标识符划分成由一个或更多已定义组成部分构成的序列，根据可变长度编码算法为数据标识符的所述一个或更多已定义组成部分分配比特表示，并且把所述由数据标识符的一个或更多组成部分构成的序列转换成由所分配的比特表示构成的序列。

举例来说，URL“http://www.youtube.com/user/AlcatelLucentCorp#p/a/u/0/mr5EYuTXEPI”包括在因特网中相对频繁出现的组成部分（例如域名和TLD），同时其他组成部分没有那么的频繁。由于已经发现组成部分“http://www.youtube”在所涉及的数据网络（即因特网）中具有相对较高的出现频率，因此合理的做法是为该组成部分分配一个特有符号。这一点对于组成部分“com”、“AlcateLucentCorp”和锚标签“#”同样成立。另一方面，关于“#”之后的字符的符号分配将取决于单独字符的出现频率。

根据本发明的一个实施例，所述数据标识符是URI，特别是URL。在因特网中，URI是最普遍的数据标识符。但是在私有数据网络中，可以替换地使用另一种数据标识符类型。

根据本发明的一个实施例，所述可变长度编码算法基于Huffman、Shannon-Fano或算术编码。所得到的数据标识符的表示可以是二进制代码，即使用二进制数字0和1。

根据本发明的一个实施例，所述数据标识符是URL，已定义组成部分包括在所述多个URL当中具有最高出现频率的TLD、在所述多个URL当中具有最高出现频率的URL名称以及根据RFC1738可用的单个字符，并且数据标识符根据可变长度编码算法（优选地是Huffman编码）被编码成比特代码（RFC=评论请求）。

根据本发明的该实施例，使用URL特性来定义可用在可变长度编码算法中的符号。优选的是，这些URL特性可以是所述URL的TLD的普及性、所述URL的URL名称的普及性以及关于URL仅仅是从所有可能字符当中的一个子集（73个字符）构造的事实。随后把关于特定符号的出现频率的概率指派给每一个符号。接下来应用可变长度编码方案（例如Huffman编码）来产生URL的比特代码表示。

根据本发明的另一个实施例，所述网络单元还被适配成基于出现概率表将已编码数据标识符解码回到其原始字符串表示。网络单元可能接收到传入数据请求，根据本发明的方法的一个实施例编码与所述数据请求相关联的数据标识符，并且在其包括数据标识符列表和相关联的路由地址的路由表中进行查找。为了确保兼容性，路由表中的数据标识符已经通过由路由器使用的相同编码方法而被编码。在路由表中识别出适当的路由地址之后，网络单元再次对已编码数据标识符进行解码，并且按照已解码形式（即原始接收到的形式）把数据请求路由到所述路由地址。因此有可能仅仅在网络单元内部应用所述方法，从而允许每一个网络单元根据其自身需求来优化符号和概率指派。

根据本发明的另一个实施例，所述网络单元是路由器。

对于所述方法存在不同的布置可能性：

一种可能性是路由器之间的协议使用所述方法，从而所有路由器都需要使用相同的符号和概率指派方案。因此，根据本发明的一个实施例，所述网络单元被适配成作为数据网络的几个网络单元的其中之一访问出现概率表。

在另一种布置中，仅仅在路由器内部应用所述方法，从而每一个路由器可以根据其自身的需求来优化符号和概率指派。因此，根据本发明的一个实施例，所述网络单元还被适配成保持出现概率表以作为仅可由该网络单元访问的资源。

根据本发明的另一个实施例，所述网络单元包括出现概率表。这意味着出现概率表被存储在该网络单元的存储单元中。

附图说明

通过阅读下面结合附图对示例性实施例做出的详细描述，将会更好地认识到本发明的前述及其他特征和优点，其中：

图3示出了根据本发明的一个实施例的出现概率表；

图4示出了根据本发明的一个实施例的数据标识符的Huffman编码方案；

图5示出了根据本发明的一个实施例的比特代码表。

图6到8给出了标准ASCII URL编码（图6）、SHA1URL编码（图7）和根据本发明的一个实施例的可变长度编码（图8）的比特计数的比较；以及

图9示出了根据本发明的一个实施例的CCN路由器的图示。

具体实施方式

图3示出了用在一种编码方案中的出现概率表，该方案旨在使得解析数据标识符（例如内容名称）所需的比特数最小化。除了更好的查找时间之外，其还允许对于路由器存储器的更加高效的使用，这是因为可以利用相同数量的存储器存储更多路由表条目。

该表的左列列出了URL的各个组成部分，其中所述组成部分是关于URL的特性选择的，所述特性比如有：

-字符的出现频率

-请求模式，这意味着某些内容项目/域名比其他内容项目/域名更加普遍

-大多数URL仅由TLD的一个子集构造

-URL的平均长度

-关于URL仅由73个不同字符构成的事实。

基于前面关于URL长度、URL字符和TLD分布、域普遍性等等的研究，下面列出URL的一些特性：

-平均URL长度是58个字符。

-平均域长度是15个字符。

-76.5%的URL具有以下TLD：com、net、de、ru和org。

-总共有大约300个TLD。

-URL中的英语字符频率紧密遵循英语字母表频率。

该表的右列列出了关于所述多个URL的各个组成部分的相对概率。对于可变长度编码可用的所有组成部分的所有相对概率的总和等于1，正如在右列的最后一行中表明的那样。在可变长度编码的语言中，各个组成部分被称为“符号”。

图4示出了利用出现频率的编码阵列。对于该示例来说，使用Huffman编码阵列。预先定义的组成部分（即由“x”标记的符号）对应于图3的出现概率表的组成部分。所述组成部分已经被分类为包括频繁使用的TLD的第一分类41、包括频繁使用的域名的第二分类42以及包括可用于创建URL的73个字符的第三分类43。

在每一个符号x下方列出了相应的相对概率p(x)，其也被称作“权重”。从符号及其相关联的权重开始，根据Huffman编码生成一个二进制树。图4仅仅示出了整个二进制树的一部分，正如在所述方案的右边缘处由省略点表示的那样。整个二进制树给出总和权重1：Σp(x)=1。

图5示出了一个比特代码表，其列出了对应于图3的出现概率表的各个组成部分（“符号”）的比特代码。显而易见的是，与较少使用的组成部分相比，更频繁使用的组成部分具有较少的比特。这说明了根据本发明的数据标识符编码方案使得解析数据标识符所需要的比特数最小化，从而缩短了解析网络单元处的查找时间。

基于该比特代码表，可以从其各个组成部分重构URL并且将其表示为比特代码。举例来说，当根据图5的比特代码表进行编码时，ASCII编码的URL“http://www.google.com”将具有以下比特代码表示：“0101101000110000”。

图6到8给出了从对于两个URL的不同编码得到的比特计数的比较。应当提到的是，没有示出应用所述编码方案之后的最终二进制比特代码表示。相反，附图被限制为仅仅示出最终的二进制比特计数。对于所述可变编码，比特计数仅仅是表明本发明的益处的一项可能结果。

图6示出了两个用ASCII编码的URL，其中每一个具有65字符的长度。所述URL只有最后11个字符不同。这些URL当中的每一个的比特计数为65字符x8比特/字符=520比特。ASCII编码的URL的优点在于汇聚的可能性。

图7示出了图6的两个URL，但是其采取了SHA1编码，从而把URL减小到40字符的长度。因此，这些URL当中的每一个的比特计数为40字符x8比特/字符=320比特。虽然SHA1编码与ASCII编码相比大大减少了比特计数，但是SHA1编码失去了汇聚的可能性。

图8示出了图6的两个URL，但是其采取了根据本发明的一个实施例的可变长度编码。使用了下面的组成部分（=符号）定义：

http://www=α

youtube=β

com=γ

AlcatelLucentCorp=δ

所述可变长度编码把URL减小到32个组成部分的长度。正如图5中示出的那样，每一个组成部分可以具有不同的比特长度。因此，32个组成部分×8比特/组成部分=256比特的简单计算在这种情况下将是错误的。可以表明这些URL当中的每一个在根据本发明的一个实施例的可变长度编码中的比特计数是大约360比特。因此比特计数比ASCII编码少，但是比SHA1编码多。

虽然根据本发明的可变长度编码导致比SHA1编码略高的比特计数，但是其优于SHA1编码的显著优点在于保留了数据标识符的结构，在这里就是URL。

图9示出了CCN数据网络的路由器91。路由器91包括FIB92、内容存储库93、PIT94、三个接口95、96、97、存储单元98以及处理单元99（FIB=转发信息库；PIT=待定兴趣表）。FIB等效于路由表。路由器91被适配成通过其接口95、96、97与其他网络单元71、72、73通信，其他网络单元比如移动单元71、基于因特网的单元72和应用73。路由器91可以从每一个其他网络单元71、72、73接收涉及数据网络的多个数据标识符当中的一个数据标识符的请求81、82、83。

网络单元91被适配成访问出现概率表，该表对于所述多个数据标识符的已定义组成部分表明其在所述多个数据标识符内的出现频率。网络单元91有可能包括该出现概率表，也就是说该出现概率表被存储在网络单元91的存储单元98中。网络单元91也有可能作为数据网络的几个路由器的其中之一访问优选地布置在外部的出现概率表。

在接收到其中一条请求81、82、83之后，路由器91确定在该请求中规定的数据标识符，并且根据在出现概率表中列出的各个组成部分来划分所确定的数据标识符。

基于出现概率表，路由器91根据可变长度编码算法例如借助于处理单元99对数据标识符进行编码。

处理单元99由一台或几台交联的计算机构成，即硬件平台、基于硬件平台的软件平台以及由通过软件和硬件平台构成的系统平台来执行的几个应用程序。处理单元99的功能通过执行这些应用程序来提供。所述应用程序或者这些应用程序的所选部分构成计算机软件产品，其在系统平台上执行时提供后面所描述编码服务。此外，这样的计算机软件产品还由存储这些应用程序或者所述应用程序的所选部分的存储介质98构成。

用于对数据网络的多个数据标识符当中的数据标识符（每一个数据标识符由一个字符串构成）进行编码的计算机程序产品在由路由器91的处理单元99执行时施行以下步骤：访问出现概率表，该表对于所述多个数据标识符的各个已定义组成部分表明其在所述多个数据标识符内的出现频率，其中所述组成部分是基于所述多个数据标识符的一项或更多项特性来定义的；以及基于所述出现概率表，根据一种可变长度编码算法对数据标识符进行编码。

借助于已编码数据标识符，路由器91对FIB92进行解析，以便确定将从该处路由数据请求81、82、83的适当接口95、96、97。在识别出适当的接口95、96、97之后，路由器91从所识别出的接口95、96、97把数据请求81、82、83路由到另一个网络单元71、72、73。

Claims

1.一种对数据网络的多个数据标识符当中的一个数据标识符进行编码的方法，每一个数据标识符由字符串构成，所述方法包括以下步骤：

提供出现概率表，该表对于所述多个数据标识符的已定义组成部分表明其在所述多个数据标识符内的出现频率，其中所述组成部分是基于所述多个数据标识符的一项或更多项特性来定义的，其中为在数据网络中具有高出现频率的组成部分分配单个编码符号；以及

基于所述出现概率表，根据可变长度编码算法对所述数据标识符进行编码。

2.根据权利要求1所述的方法，

其中，

所述多个数据标识符的特性包括：

-所述多个数据标识符当中的字符的出现频率；

-所述多个数据标识符当中的组成部分序列的出现频率；

-所述多个数据标识符当中的数据标识符的所述预定义结构单位的出现频率；

-构成所述数据标识符的字符串中的平均字符数目；

-可用于构成数据标识符的不同字符的数目；

-可用于构成数据标识符的字符的类型；以及

-数据标识符在所述数据网络的至少一部分内的使用频率。

3.根据权利要求1所述的方法，

其中，

通过以下步骤来编码所述数据标识符：把所述数据标识符划分成由一个或更多已定义组成部分构成的序列，根据可变长度编码算法为数据标识符的所述一个或更多已定义组成部分分配比特表示，并且把所述由数据标识符的一个或更多组成部分构成的序列转换成由所分配的比特表示构成的序列。

4.根据权利要求1所述的方法，

其中，

所述数据标识符是URI。

5.根据权利要求1所述的方法，

其中，

所述可变长度编码算法基于Huffman、Shannon-Fano或算术编码。

6.根据权利要求1所述的方法，

其中，

所述数据标识符是URL，所述已定义组成部分包括在所述多个URL当中具有最高出现频率的TLD、在所述多个URL当中具有最高出现频率的URL名称以及根据RFC1738可用的单个字符，并且所述数据标识符根据可变长度编码算法被编码成比特代码，所述可变长度编码算法优选地是Huffman编码。

7.一种数据网络的网络单元（91），其中所述网络单元（91）被适配成管理涉及数据网络的多个数据标识符当中的一个数据标识符的请求（81,82,83），每一个数据标识符由字符串构成，其中所述网络单元（91）还被适配成访问出现概率表，该表对于所述多个数据标识符的已定义组成部分表明其在所述多个数据标识符内的出现频率，其中所述组成部分是基于所述多个数据标识符的一项或更多项特性来定义的，其中为在数据网络中具有高出现频率的组成部分分配单个编码符号；并且其中所述网络单元（91）还被适配成基于所述出现概率表并且根据可变长度编码算法对所述数据标识符进行编码。

8.根据权利要求7所述的网络单元（91），

其中，

所述网络单元（91）还被适配成基于所述出现概率表将已编码数据标识符解码回到其原始字符串表示。

9.根据权利要求7所述的网络单元（91），

其中，

所述网络单元（91）是路由器。

10.根据权利要求7所述的网络单元（91），

其中，

所述网络单元（91）还被适配成保持所述出现概率表以作为仅可由该网络单元（91）访问的资源。

11.根据权利要求7所述的网络单元（91），

其中，

所述网络单元（91）包括所述出现概率表。

12.根据权利要求7所述的网络单元（91），

其中，

所述网络单元（91）被适配成作为数据网络的几个网络单元的其中之一访问所述出现概率表。

13.一种用于对数据网络的多个数据标识符当中的一个数据标识符进行编码的计算机程序产品，每一个数据标识符由字符串构成，其中所述计算机程序产品在由网络单元执行时施行以下步骤：

访问出现概率表，该表对于所述多个数据标识符的已定义组成部分表明其在所述多个数据标识符内的出现频率，其中所述组成部分是基于所述多个数据标识符的一项或更多项特性来定义的，其中为在数据网络中具有高出现频率的组成部分分配单个编码符号；以及

基于所述出现概率表，根据可变长度编码算法对数据标识符进行编码。