CN105141470B - 基于网络编码的内容分发系统线性相关性判断方法和装置 - Google Patents

Abstract

本发明公开了一种基于网络编码的内容分发系统线性相关性的判断方法和装置。方法包括：内容服务节点接收内容请求；内容服务节点解析内容请求，确定所请求的内容标识CN和请求节点所拥有的该内容的线性无关数据块个数X；内容服务节点根据内容标识CN确定在本地所缓存的内容CN对应的线性无关数据块个数Y；若Y>X，则内容服务节点构造一个随机编码数据块，服务该请求，否则依据路由转发表转发请求。本发明的方法和装置能有效地降低基于网络编码的内容分发系统的线性相关性判断的计算开销和通信代价，节约系统资源。

Description

基于网络编码的内容分发系统线性相关性判断方法和装置

技术领域

本发明涉及内容分发技术领域，尤其涉及一种基于网络编码的内容分发系统中的线性相关性判断方法和装置。

背景技术

目前，用户对互联网的访问已经从点对点通信为主转为内容获取为主。而传统的TCP/IP网络仅传输内容，并不感知内容，从而造成了网络上大量的冗余流量传输。为了解决由于内容获取而引发的内容爆炸，无论是目前的互联网还是研究界提出的未来网络，都把缓存作为基本的手段，来满足用户对内容的具有重尾特征的异步访问。例如，互联网采用的透明的Web Cach,P2P内容分发网络中的PPCache、CDN中的内容缓存，以及研究界提出的信息/内容中心网络NDN，DONA等。无论是内容提供商还是网络运营商，都倾向于在网络内部署泛在的缓存系统来降低网络流量、提高用户体验。

网络编码是一种新的网络通信模式，允许中间节点对所传输的内容进行任意的编码操作。目前，基于网络编码的内容分发系统已经在诸如P2P内容分发中得到了一定的应用。目前的基于网络编码的内容分发系统需要在内容请求中携带每个节点所拥有的编码数据块的全局编码系数矩阵，节点在接收到请求后需要根据自身的全局编码系数矩阵和请求所携带的全局编码系数矩阵进行高斯消元，并在此基础上判断能否服务接收到的请求。这种方式可以实现无误差的服务，但是需要较高的通信代价和计算代价。因此，需要一种节约系统资源的线性无关性判断方法。

发明内容

本发明为解决上述技术问题，提供一种基于网络编码的内容分发系统中的线性相关性判断方法和装置，能有效节约系统的通信带宽和计算资源。所述技术方案如下：

第一方面，本发明提出了一种基于网络编码的内容分发系统中的线性相关性判断方法，包括下述步骤：

S1,内容服务节点从网络接口接收内容请求；

S2,内容服务节点解析所接收到的内容请求，确定该请求的内容标识CN和请求节点所拥有的该内容的线性无关数据块个数X；

S3,内容服务节点根据内容标识CN确定在本地缓存中与内容CN对应的线性无关数据块个数Y；

S4,若Y>X，则内容服务节点构造一个随机编码数据块，服务该请求，否则依据路由转发表转发请求。

其中，所述内容请求由请求节点构造并发送，至少包括：内容标识和请求节点已经拥有的该内容标识的线性无关编码数据块的个数。

进一步地，所述内容被分成若干个相等长度的数据块，内容标识用于标识完整的内容，而不是单独的数据块。

进一步地，所述内容服务节点构造一个随机编码数据块，服务该请求，包括：

生成Y个随机编码系数；

基于该Y个编码系数和Y个数据块进行线性组合，生成随机编码数据块；

计算该编码数据块的全局编码系数；

构建响应报文，包括随机编码数据块和全局编码系数。

第二方面，本发明提出一种基于网络编码的内容分发系统的服务节点装置，包括：

请求获取模块，用于从网络接口获取内容请求，所述内容请求至少包括内容标识和请求节点具有的与该内容标识相对应的线性无关数据块个数；

请求解析模块，用于从内容请求中解析出内容标识和请求节点所具有的与该内容标识相对应的线性无关数据块个数；

缓存模块，用于缓存内容；

服务决策模块，用于判断当前缓存的内容能否服务内容请求；

响应生成模块，用于依据本地缓存的线性无关数据块生成新的编码数据块和全局编码系数，并构成响应数据包；

路由转发表，用于存储内容名或内容名对应的目的地址的转发信息；

请求转发模块，用于根据路由信息表将内容请求转发给下一跳；

响应获取模块，用于从网络接口获取其它节点发送的响应数据包；

响应发送模块，用于将响应数据包发送给请求节点。

第三方面，本方面提出一种基于网络编码的内容分发系统的请求节点装置，包括：

请求发送模块，用于生成内容请求，并根据路由信息表将其发送给下一跳，所述内容请求至少包括内容标识和请求节点拥有的与该内容标识对应的线性无关数据块个数；

内容接收模块，用于接收编码数据块，并依据全局编码系数判断其与已经拥有的数据块的线性相关性。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

通过在内容请求中仅携带请求节点所请求的内容的线性无关数据块的个数,能有效降低内容请求所引起的通信开销，节约带宽资源；服务节点根据线性无关数据块的个数而非线性无关数据块的全局编码系数矩阵进行服务决策，无需进行计算密集型的高斯消元操作，大幅降低了计算开销。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1示出了依据本发明一实施方式的基于网络编码的内容分发系统中的数据块线性无关性判断方法的流程图。

图2示出了依据本发明一实施方式的基于网络编码的内容分发系统的随机编码数据块生成方法的流程图。

图3示出了依据本发明一实施方式的基于网络编码的内容分发系统的服务节点装置图。

图4示出了依据本发明一实施方式的基于网络编码的内容分发系统的请求节点装置图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

图1给出了依据本发明一实施方式的基于网络编码的内容分发系统中的数据块线性无关性判断方法的流程图，包括：

内容服务节点从网络接口接收内容请求；请求到达后，内容服务节点解析内容请求，确定所请求的内容标识CN和请求节点所拥有的该内容的线性无关数据块个数X；内容服务节点根据内容标识CN确定在本地所缓存的内容CN对应的线性无关数据块个数Y；若Y>X，则内容服务节点构造一个随机编码数据块，服务该请求，否则依据路由转发表转发请求。

在基于网络编码的内容分发系统中，内容被分为多个相同大小的数据块。内容标识用于唯一标识完整的内容，而非标识特定的数据块。在具体实现时，一个完整的文件可以仅具有一个标识；或者，可以将一个完整的大文件分为若干个粗粒度的段，给每个文件段赋一个标识，每个文件段再分为若干个数据块。当请求同一个文件的多个编码数据块时，内容请求的内容标识相同。

内容请求由请求节点所生成，至少包括内容标识和与该内容标识对应的线性无关数据块的个数。内容请求可能还会包括其它信息，如用于检测请求转发循环的请求唯一标记，本发明对内容请求额外包含的信息不作限制。

所述的与内容标识对应的线性无关数据块的个数，由请求节点确定并包含在内容请求中。请求节点在内容获取的过程中，保存接收到的与已有编码数据块线性无关的数据块。

当内容服务节点判断可以服务接收到的请求时，按照图2的流程生成新的编码数据块，并构造响应消息，向请求节点发送响应；而如果内容服务节点无法服务接收到的请求，则内容服务节点根据内容标识确定该请求需要被转发的端口。具体地，内容服务节点可以通过一个键值查找路由转发表确定该请求需要被转发的端口，该键值由内容标识经过一个映射函数而产生。在基于内容的路由系统中，该映射函数可以是幂等函数，即键值就是内容标识；而在基于地址的路由系统中，该映射函数用于将内容标识映射到地址，键值为内容标识所对应的地址。

图2给出了依据本发明一实施方式的基于网络编码的内容分发系统的随机编码数据块生成方法的流程图。当一个内容服务节点确定其可以服务请求，即具有与请求节点线性无关的数据块时，首先生成Y个随机的局部编码系数c₁,c₂,...,c_Y。其次，对所缓存的Y个编码数据块b₁,b₂,...,b_Y进行线性组合，生成新的编码数据块b＝c₁·b₁+c₂·b₂+...+c_Y·b_Y。最后，计算新生成的编码数据块的全局编码系数g(b)，假设b₁,b₂,...,b_Y对应的全局编码系数分别为g(b₁),g(b₂),...,g(b_Y)，则g(b)＝c₁g(b₁)+c₂g(b₂)+...+c_Y g(b_Y)，这里，假设内容被分成了n个相同大小的数据块，则g为n维的矢量。上述所有的操作都是Galois有限域上的算术运算。

图3给出了依据本发明一实施方式的基于网络编码的内容分发系统的服务节点装置图，包括请求获取模块、请求解析模块、缓存模块、服务决策模块、响应生成模块、路由转发表、请求转发模块、响应获取模块、响应发送模块。请求获取模块用于从网络接口获取内容请求，所述内容请求至少包括内容标识和请求节点具有的与该内容标识相对应的线性无关数据块个数。请求解析模块用于从内容请求中解析出内容标识CN和请求节点所具有的与该内容标识相对应的线性无关数据块个数X。缓存模块用于缓存内容，其缓存的键值为内容标识，对应的缓存内容为一个或多个线性无关的编码数据块；当通过响应获取模块接收到新的编码数据块时，缓存模块根据缓存决策策略确定是否要缓存该编码数据块，如果需要缓存该编码数据块且缓存空间不够，则根据缓存替换策略确定需要被替换出缓存空间的编码编码数据块。服务决策模块用于判断当前缓存的内容能否服务内容请求；具体地，服务决策模块首先根据内容标识CN查找缓存模块，确定所缓存的内容标识CN对应的线性无关的编码数据块个数Y，如果缓存中没有找到CN对应的项，则Y＝0，然后比较X和Y的大小，如果Y>X，则判断该节点可以服务该内容请求，否则判断为该节点无法服务该内容请求。由于服务决策模块是依据全局编码矩阵的秩而非全局编码系数本身进行是否能服务内容请求的决策，决策结果可能会出现假阴性，即本来节点具有与请求节点线性无关的数据块，但仅基于秩的决策结果认为该节点无法服务该请求。响应生成模块用于在服务决策模块判断当前节点可以服务内容请求时，依据本地缓存的线性无关数据块按照图2的流程生成新的编码数据块和全局编码系数，并构建响应数据包。路由转发表用于存储路由转发信息，当系统采用基于内容标识的路由时，表项的键值可以就是内容标识，而当系统采用基于地址的路由时，表项的键值可以是内容标识经过映射之后的地址。请求转发模块用于当服务决策模块确定无法服务内容请求时，根据路由转发表将内容请求从合适的端口转发至下一跳。响应获取模块用于从网络接口获取其它节点发送的响应数据包，并将响应数据包交给缓存模块和响应转发模块处理。响应发送模块用于将自己构造的响应数据包或从响应获取模块接收到的响应数据包通过合适的端口发送给请求节点；具体地，服务节点可以在转发内容请求时记录下请求到达的端口，从而将响应数据包通过该到达端口进行转发，或者，如果内容请求中包括请求节点的地址信息，并且该信息在响应数据包中被复制，则服务节点可以根据该地址信息查询路由转发表，确定响应数据包的转发端口，从而就无需记录请求的状态。

图4给出了依据本发明一实施方式的基于网络编码的内容分发系统的请求节点装置图，包括请求发送模块和内容接收模块。请求发送模块用于构建内容请求数据包，并将其发送至合适的端口。具体地，内容请求数据包至少包括内容标识和请求节点已经拥有的该内容标识对应的线性无关数据块的个数。请求节点可以在生成请求时简单地将已有的线性无关的编码数据块个数直接作为内容请求的一部分；或者，当请求节点可以同时发送多个对同一个内容标识的请求时，也可以采用秩预测的方法，假设当前请求节点拥有的内容标识CN的线性无关编码数据块个数为X，并且当前已经发送的但尚未获得响应的针对CN的内容请求个数为Δ，则新发送的针对CN的内容请求中，可以将与内容标识CN对应的线性无关数据块的个数设为X+Δ。内容接收模块用于：接收响应数据包并确定其中的编码数据块的内容标识和全局编码系数；判断所接收的编码数据块是否与本地存储的与该内容标识对应的编码数据块线性无关，若线性相关，则丢弃该编码数据块，否则，存储该编码数据块；若已有编码数据块的个数已经达到内容的总数据块个数，则启动解码过程恢复原始内容，否则通知请求发送模块数据块获取尚未结束，请求发送模块可以据此发送新的请求。

本技术领域技术人员可以理解，本发明可以涉及用于执行本申请中所述操作中的一项或多项操作的设备。所述设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备，所述通用计算机有存储在其内的程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD‐ROM、和磁光盘)、随即存储器(RAM)、只读存储器(ROM)、电可编程ROM、电可擦ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁性卡片或光线卡片。可读介质包括用于以由设备(例如，计算机)可读的形式存储或传输信息的任何机构。例如，可读介质包括随即存储器(RAM)、只读存储器(ROM)、磁盘存储介质、光学存储介质、闪存装置、以电的、光的、声的或其他的形式传播的信号(例如载波、红外信号、数字信号)等。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于网络编码的内容分发系统线性相关性判断方法，包括下述步骤：

S1,内容服务节点接收内容请求；

S2,内容服务节点解析内容请求，确定所请求的内容标识CN和请求节点所拥有的该内容的线性无关数据块个数X；

S3,内容服务节点根据内容标识CN确定在本地所缓存的内容CN对应的线性无关数据块个数Y；

S4,若Y>X，则内容服务节点构造一个随机编码数据块，服务该请求，否则依据路由转发表转发请求；

其中，当一个内容服务节点确定其可以服务请求，即具有与请求节点线性无关的数据块时，生成Y个随机的局部编码系数，对所缓存的Y个编码数据块进行线性组合，生成新的编码数据块，计算新生成的编码数据块的全局编码系数；

其中，所述内容请求由请求节点构造并发送，至少包括：

内容标识；和

请求节点已经拥有的该内容标识的线性无关编码数据块的个数。

2.如权利要求1所述的方法，其特征在于，所述的内容被分成若干个相等长度的数据块，内容标识用于标识完整的内容。

3.如权利要求1所述的方法，其特征在于，所述内容服务节点构造一个随机编码数据块，服务该请求，包括：

生成Y个随机编码系数；

基于该Y个编码系数和Y个数据块进行线性组合，生成随机编码数据块；

计算该编码数据块的全局编码系数；

构建响应报文，包括随机编码数据块和全局编码系数。

4.一种基于网络编码的内容分发系统的服务节点装置，包括：

请求获取模块，用于从网络接口获取内容请求，所述内容请求至少包括内容标识和请求节点具有的与该内容标识相对应的线性无关数据块个数；

请求解析模块，用于从内容请求中解析出内容标识和请求节点所具有的与该内容标识相对应的线性无关数据块个数；

缓存模块，用于缓存内容；

服务决策模块，用于判断当前缓存的内容能否服务内容请求；

响应生成模块，用于依据本地缓存的线性无关数据块生成新的编码数据块和全局编码系数，并构成响应数据包；

路由转发表，用于存储内容名或内容名对应的目的地址的转发信息；

请求转发模块，用于根据路由信息表将内容请求转发给下一跳；

响应获取模块，用于从网络接口获取其它节点发送的响应数据包；

响应发送模块，用于将响应数据包发送给请求节点。