CN101834907B - 端到端纠错码存储覆盖网系统的实现方法 - Google Patents

Abstract

本发明涉及端到端纠错码存储覆盖网系统的实现方法，数据由键和值对应组成，存储和提取数据的方法包括用散列函数把键转变成键码后作为数据的唯一标识；用纠错码技术将值冗余编码，并分割成片段，分散发送存储到多个节点上；通过键码作为标识收集编码片段，通过纠错码的解码技术还原数据，本发明方法存储和提取数据时并不需查找数据的特定位置，只需根据键码标识，从网络中收集到足够数量的编码片段就可以还原数据，简化了端到端系统的路由查找方式，加快了信息获取的速度，提高了信息存储的可靠性。

Description

端到端纠错码存储覆盖网系统的实现方法

一、技术领域

本发明涉及网络系统，特别是一种端到端纠错码存储覆盖网系统的实现方法。

二、背景技术

端到端覆盖网络应用于多种应用，通过分布式架构以及将数据分布存储在多个节点中，达到高可用性、自组织以及容错等特性。端到端网络中包括充当端的节点，也即充当客户端和服务器二者。

纠错码：在传输过程中发生错误后能在收端自行发现或纠正的码。为使一种码具有检错或纠错能力，须对原码字增加多余的码元，以扩大码字之间的差别，即把原码字按某种规则变成有一定剩余度的码字，并使每个码字的码之间有一定的关系。关系的建立称为编码。码字到达收端后，可以根据编码规则是否满足以判定有无错误。纠错码常用的有BCH、里德-所罗门(Reed-Solomon)编码等，本发明并不局限于特定的一种编码方式。

分组纠错码是对信源待发的信息序列进行分组(每组k位)编码，它的校验位仅同本组的信息位有关，将每组编码为序列长为n的编码，通常分组纠错码用(n，k)来表示。

散列函数：是一种单向函数，通过对不定长的信息序列进行单向操作生成定长的信息序列，后者也称为数字文摘。散列函数具有如下性质：单向性：不可以从数字文摘中复原信息；抗碰撞性：两个不同的信息不会产生同样的数字文摘。

由于目前在分布式覆盖网络中的信息存储是采取将信息集中存储在特定的位置，提取信息的方法是通过查找信息的特定位置来进行的，现有技术在查找信息时，信息路由复杂，工作效率低，信息缺少冗余性，容易丢失，安全性差，满足不了现代计算技术的需要。

三、发明内容

针对上述情况，为克服现有技术缺陷，本发明之目的就是提供一种端到端纠错码存储覆盖网系统的实现方法，可有效解决信息路由复杂，工作效率低，缺少冗余性，容易丢失，安全性差的问题。

本发明解决的技术方案是，包括具有多个网络节点，多个网络节点之间是通过互联网连接的，根据多个网络节点在所述系统(方法)中的作用顺序分为第一节点、第二节点、第三节点；数据由键，值对来表示，其中键是唯一的，用可读的字符串来表示，值是数据的具体表现形式，信息通过纠错码编码后，分散存储在多个节点上。

发明内容包括已知数据的键和值来存储数据的步骤：第一节点用散列函数将数据的键转变成键码；第一节点将数据的值分成若干块，并标示每块的起始位置；对于每一块都进行以下步骤：将该块用纠错码编码，生成编码，将编码分割成多个编码片段；将键码、块的起始位置和编码片段分散发送到至少一个第二节点；第二节点接收并对应保存键码、块的起始位置和编码片段。

发明内容还包括已知数据的键来提取数据的步骤：第一节点用散列函数将数据的键转变成键码；第一节点向至少一个第二节点发送请求信息，信息内容包括键码；第二节点查找该键码所对应的一个或多个编码片段，并将编码片段发送给第一节点；第一节点对多个编码片段进行译码，还原各块的信息；拼接还原后的各块数据，生成还原的完整数据。

发明内容还包括一种中间节点转发查询的方法，通过转发查询，将第三方节点存储的数据发回查询节点，其步骤为：第一节点向第二节点传送的信息中还包括用以说明数据包生存时间的TTL值和第一节点的IP地址；如果TTL值不为0，则第二节点向至少一个第三节点转发请求信息，信息内容包括键码，第一节点的IP地址、将TTL值减一处理后的值；第三节点查找该键码所对应的一个或多个编码片段，并将编码片段发送给第一节点；第一节点对编码片段进行译码，还原各块信息。

发明内容还包括平均分散在节点之间发送保存数据，其步骤为第一节点将键码、块的起始位置和编码片段数量平均地分散发送到至少一个第二节点。

发明内容还包括采用通过多个编码片段组合成的编码片段簇，来进一步提高数据的值占的比重，以提高数据的传输率。

存储数据的步骤还包括，第一节点用散列函数将数据的键转变成键码时还生成用以标记信息生成时间的时间戳；第一节点将键码、块的起始位置和编码片段分散发送到至少一个第二节点时，发送的内容还包括所述时间戳；第二节点接收并对应保存键码、块的起始位置和编码片段时，保存的内容还包括所述时间戳。

所说的纠错码是里德-所罗门编码；所说的散列函数为SHA1算法。

本发明在端到端网络中采用了纠错码编码并分布存储信息，由于采用了这种技术，与传统的端到端网络不同之处在于，传统的网络需要查找并定位信息的特定位置，才能获取信息；将信息通过编码后将信息片段分散存储于多个节点中，获取时并不需查找信息的特定位置，只需根据所对应的键码，从网络中收集到足够数量的编码片段就可以进行解码而获得信息。这种方法，只需要根据键码标识，从网络中收集到足够量的编码片段就可以还原数据，简化了端到端系统的路由查找，加快了信息查询和获取的速度，提高了工作效率和信息存储的可靠性，确保使用中的数据安全性。

四、附图说明

图1是本发明系统实现方法的流程图；

图2是本发明具体实施例的结构图；

图3是本发明网络数据包结构图。

五、具体实施方式

具体实施例是说明采用本发明的一个较佳应用，但并非仅有的一个实施例，也并非限制本发明的范围、使用以及配置参数。事实上通过理解本发明的实质内容，可以在此基础上做出很多变化，衍生更多的功能和对部件增加配置，但依然符合本发明的实质内容，也视为本发明的权利要求请求保护的范围。

实施例是一个采用以端到端方式工作的内容分发网络(CDN)系统。CDN是一种覆盖网，就是在物理网络之上通过运行软件构建的一个虚拟网络。CDN是通过在互联网上放置若干内容缓冲节点，将网站的内容分发到互联网的边缘，使用户访问网站时，根据用户所处的网络位置(比如IP地址)来选择离用户最近的服务器来提供服务。CDN的作用是减小网络延迟和实现负载均衡。

传统的CDN是采用层次方式分发内容的，本发明的CDN的工作方式是采用端到端方式工作的，就是CDN系统中的节点不分主从，采用平等的方式工作。待缓冲的网页的数据由键，值对来表示。键表示为网页的URL；值表示为网页的内容，其表现形式包括HTML，XML，以及二进制文件等。

如图2所示，描述的实施例是一个CDN系统，包括第一节点、第二节点、第三节点，实际的系统并不限于这三个节点，这三个节点是对等的关系。其功能和地位可以互换。第一节点在描述中处于和用户交互的地位。第二节点用于直接与第一节点交互，用于存储数据和返回数据；第三节点用于描述间接地和第一节点交互的情形。

在描述的CDN系统中，用户向该系统的授权DNS发送DNS查询请求(9)，DNS根据用户所在的网络位置将离用户最近的节点(描述中的第一节点)通过DNS响应包发给用户(10)；用户向第一节点发送HTTP请求(1)，该请求中包括了URL。

第一节点在得到用户的请求后，开始提取数据的步骤：第一节点向至少一个第二节点发出查询包(4)，第二节点返回查询的结果(5)，同时第二节点向至少一个第三节点转发查询请求(6)，第三节点向第一节点发送查询的结果(7)；第一节点正确地获得网页数据，并将其结果返回用户(8)。

第一节点在不能从系统中获得数据的情况下，需要向web服务器发送请求以获得网页内容(2)，web服务器响应该请求，并返回网页内容(3)；第一节点将数据返回用户。

第一节点在更新了网页的数据后需要在系统保存数据，采用存储数据的步骤将存储数据的数据包发给至少一个第二节点(4)。

网络中的信息需要通过数据包来传送，数据包采用信息接收和发送双方约定的格式，将信息封装于其中。本实例中的数据包通过UDP协议传送，按照系统中约定的格式和方法在节点之间传送。本实例中的数据包的格式，是一个较佳的实施例，但并非是唯一的实施例。任何改变其数据包中内容排列的顺序，或者改变内容所占数据包的长度，或者增加数据内容，但并不改变其传送方法和实质内容的修改都只是遵循了本发明实质精神的具体变化。

图3所示是表示数据包类型分为四种：数据存储包，数据存储确认包，数据查询包，数据查询应答包。数据存储包的结构包括：包类型、键码、块的起始位置、时间戳、若干个编码片段组成的编码片段簇；数据存储确认包的结构包括：包类型、键码、结果代码；数据查询包的结构包括：包类型、键码、块的起始位置、TTL、源IP地址；数据查询应答包的结构包括：包类型、键码、块的起始位置、时间戳、编码片段簇。其中包类型为区别各种包的代码。

图1所示是表示了节点处理数据的流程，由于节点是对等的，所以每个节点都具有了处理数据的每一个步骤的能力。只是在每一次处理中的分工不同，分为第一节点、第二节点、第三节点。存储数据的过程由第一节点发起，第一步是将数据的键通过散列函数转变为键码(101)，用安全哈希算法(简称SHA1算法，以下同)将一个任意长度的键转变为160位长度的键码(101)，SHA1算法是由美国NSA设计并公开的一种数字签名算法，该签名算法为已知的公开算法，在所述系统中用于键码的产生。具体实施中并不限于采用SHA1来转变数据。数据的键是一个字符串，在这里是一个URL，通过散列函数将这个不定长的字符串转化为定长的数字文摘。其他的散列算法还有MD5，以及基于格的散列算法等。

在SHA1算法中，必须把原始消息(字符串，文件等)转换成位字符串。SHA1算法只接受位作为输入。SHA1的计算分为5部分，分别是：初始化参数、预处理、扩展信息数、计算消息摘要。以下是SHA1计算的概要描述

(1)初始化参数

对以下变量进行初始化：H0＝0x67452301；H1＝0xEFCDAB89；H2＝0x98BADCFE；H3＝0x10325476；H4＝0xC3D2E1F0。0x的数字前缀表示后面得数字采用的是16进制。

(2)预处理

信息先进行补位，补位时先补一个1，然后用0补位，以使其长度在对512取模以后的余数是448。然后将信息的长度用一个64位的数据来表示，补在信息后面。表示信息的长度的数据采用高位在前，低位在后，这种顺序也叫做“大尾”(Big endianness)。

(3)扩展信息块

然后把整个信息平均分割成512位的数据块，对于每个数据块都进行以下操作：

将每个数据块分成16个32位长的字，将16个32位长的字，用如下步骤扩展成80个32位长的字：用W_t来表示第t个字，所述的16个字即为W₀，W₁，...W₁₅；扩展后的80个字中，第16至第79个字为W₁₆，W₁₇，...W₇₉。对于第16至第79个字采用如下公式生成：W_t＝(W_t-3 xor W_t-8 xor W_t-14 xor W_t-16)＜＜1，其中XOR为按位异或运算符，＜＜为循环左移运算符。

(4)计算消息摘要

对于t从0到79，定义系列函数F_t(B，C，D)和系列系数K_t如下：t取值为0至19时，F_t(B，C，D)＝(B and C)or((notB)andD)，K_t＝0x5A827999，其中AND为按位与运算，NOT为按位求反运算；t取值为20至39时，F_t(B，C，D)＝B xor C xor D，K_t＝0x6ED9EBA1；t取值为40至59时，F_t(B，C，D)＝(BandC)or(BandD)or(CandD)，K_t＝0x8F1BBCDC，其中OR为按位或运算；t取值为60至79时，F_t(B，C，D)＝B xor C xor D，K_t＝0xCA62C1D6。

令A＝H1，B＝H2，C＝H3，D＝H4，E＝H5；设置临时变量TEMP；对于t从0到79，进行如下操作：TEMP＝(A＜＜5)+F_t(B，C，D)+E+W_t+K_t；E＝D；D＝C；C＝B＜＜30；B＝A；A＝TEMP；

令H0＝H0+A，H1＝H1+B，H2＝H2+C，H3＝H3+D，H4＝H4+E。

以下面的顺序拼接产生一个160位的字串：H0 H1 H2 H3 H4，拼接成的字串即为消息摘要，该消息摘要即为生成的键码。

第一节点在处理完键码的生成后，对数据的值用纠错码编码(102)。对于本系统的实现方法，纠错码方案不是唯一的，但Reed-Solomon编码的研究较为完整，并且对于本例具有很好的适用性，因此使用Reed-Solomon编码，但并非意味本发明仅能使用这一种编码。Reed-Solomon码基于代数学，因为存在已知对其的有效解码算法，因此Reed-Solomon可以用于本发明应用。

Reed-Solomon编码的编码长度用以下形式来表示，

(n，k)＝(2^m-1，2^m-1-2t)

其中n是编码后的信息长度，k是被编码的信息块长度，m的取值为正整数，t是可以纠正的错误码的位数。由此关系我们可以设计本发明中数据传输的包的数量。我们需要采取冗余度较大的编码方式，我们的实施例采用(255，31)，这表示信息码块包含0至255共256个符号，编码32位的消息，其中224个校验位，可以纠正112个符号位的错误。由此我们将消息分为8个片段，每个片段32位，接收者只需要接收其中任意4个片段就可以还原消息。(102)

编码方案是在一种叫做有限域的代数结构中进行，采用的如下方法：

x^n-k·m(x)＝g(x)·q(x)+p(x)

其中g(x)是Reed-Solomon编码的生成多项式

$g\left(x\right)=\underset{i=1}{\overset{2t}{\mathrm{\Π}}}(x-a^i)$

q(x)为输入的消息，a为本原元，p(x)为生成的编码，它的计算由如下公式得到：

p(x)＝x^n-km(x)mod(g(x))

mod运算是求余数的运算，p(x)即为生成的编码。

数据的值分成固定长度的块，由于采用的是RS(255，31)编码，分组只能分为每块32位，但是键码的长度就为160位，如果每一块的每个片段都附带一个键码的话，数据的传输率太低，因此我们将连续邻接的9个块的片段放在一起，称之为编码片段簇。每一编码片段簇数据附带一个键码，由此来组成数据包。

在我们的应用例中将UDP数据包的通常的长度限制在小于512位，这是因为我们的应用经过互联网传输数据，途经的路由器有可能将能允许通过的UDP数据包的长度设得比较小，这样过长的UDP数据包有可能会被分片传输，这样就会增加一些不必要的操作，所以在我们的实施例中将UDP数据包的长度设为512位。其中前4位为命令位，一个4位的TTL值，接着160位SHA1的散列值，接着是一个32位整数表示在信息中的起始位置，紧接着是9个片段，共能涉及288位的信息内容。

系统中数据包被平均分散存储到多个节点之中，平均分散实现简单，并且能够使数据得到较好的分布。

第一节点将键码和编码片段发送到至少一个第二节点(103)；这个过程采用传送UDP数据包来完成，UDP数据包是无连接数据报。UDP包本身携带有对端地址，因此第二节点，可以依据此UDP数据包携带的第一节点的IP地址，确定对第一节点的回应数据包的目的地址，第二节点在此对接收到的键码和编码进行存储。(201，202)嵌入式数据库比如berkeley-db，sdbm，ndbm可以在软件产品中保存键，值这样一类数据模式。

第一节点、第二节点、第三节点都将建立一个路由表，路由表是一个查询表，以使节点能够快速地找到键码所对应的信息在网络中的位置，以快速地获取信息。路由表中通常包括网络时延参数，以使得节点在查找信息时可以规划路由以提高速度。

每个结点都将建立路由表以在本地查询或者转发查询操作。路由表中的键值是排序的，在本实施例中采用升序排序，路由表中存储每一项表示一个键值段，表示是以本项作为键值起点，下一项的键值减一作为键值终点，这种排序方法如下示例：某行键值为A6，下一行健值为A7F，则该行表示的范围为A60000..(后面位数略，共40位)至A7EFFFF..(后面位数略，共40位)。因此第一行的键值必须为0，当某些相邻的键值在同一个节点上时，便可以合并以节约路由表的长度。

查询的过程从第一节点发起，开始时对要查询的键进行散列操作，这一过程与(101)相同。第一节点用散列函数将数据的键转变成键码；然后第一节点通过使用UDP数据包向至少一个第二节点发送请求信息，信息内容包括键码(301)；通过在嵌入式数据库中进行查找。第二节点查找该键码所对应的一个或多个编码片段，多个编码片段组成编码片段簇，接着第二节点将编码片段簇发送给第一节点(402，403)；第二节点还需要检查TTL是否大于1，如果大于1，则第二节点向至少一个第三节点发送请求信息，信息内容包括键码，第一节点的IP地址(405)；第三节点查找数据库，并向第一节点返回数据集的过程和第二节点的处理过程相同。

第一节点通过Reed-Solomon编码对收集到一定数量的片段即能够恢复其内容，在本例中需要获得4个簇片段(302，303)，经过拼接后，获得了消息序列r(x)。第一节点对多个编码片段按照以下方式进行译码，还原数据的信息(304)：

解码的方案的第一步是计算伴随式(syndrome)，对于(n，k)码，伴随式S具有n-k个数值组成，伴随式的计算采用下式进行：

$S_i=r\left(X\right){|}_{X=a^i}=r\left(a^i\right)$

这个计算是通过将aⁱ代入r(X)获得的。如果r(X)是正确的码字没有错误则伴随式值为0.在本实施例的(255，31)码中，我们将计算224个伴随式值。由于我们采用的冗余度较高的码，并且只需4个片段就开始解码，所以这里显然会存在错误，因此下面的纠错过程就非常重要。

解码的第二步是错误的定位，错误的定位通过求错误定位多项式σ(x)来计算，通过如下的矩阵计算得到：

$\left[\begin{array}{c}{\mathrm{\σ}}_t\\ {\mathrm{\σ}}_{t-1}\\ .\\ .\\ .\\ {\mathrm{\σ}}_2\\ {\mathrm{\σ}}_1\end{array}\right]={\left[\begin{array}{cccccc}{S}_1& S_2& S_3& ...& S_{t-1}& S_t\\ S_2& S_3& S_4& ...& S_t& S_{t+1}\\ & & & .& & \\ & & & .& & \\ & & & .& & \\ S_{t-1}& S_t& S_{t+1}& ...& S_{2t-3}& S_{2t-2}\\ S_t& S_{t+1}& S_{t+2}& ...& S_{2t-2}& S_{2t-1}\end{array}\right]}^{-1}\·\left[\begin{array}{c}-S_{t+2}\\ -S_{t+2}\\ .\\ .\\ .\\ -S_{2t-1}\\ -S_{2t}\end{array}\right]$

然后通过将根代入该多项式，依次计算每一位的正确性。方法是：

σ(X)＝σ(aⁱ)，其中i＝1…n

如果σ(X)为0，则表示第i位有错误。

解码的第三步是纠正错误，获得消息。求错误的矢量为：

$\left[\begin{array}{c}{e}_1\\ .\\ .\\ .\\ e_l\end{array}\right]=\left[\begin{array}{ccc}1/a^{j_1}& ...& 1/a^{j_l}\\ & .& \\ & .& \\ & .& \\ {(1/a^{j_1})}^l& ...& {(1/a^{j_l})}^l\end{array}\right]\left[\begin{array}{c}{S}_1\\ .\\ .\\ .\\ S_l\end{array}\right]$

其中j₁...j_l为1个错误的位置；e₁...e_l为错误的矢量；a为本原元；S₁...S_l为错误的伴随式；结果的纠错多项式为：

$\mathrm{\ϵ}\left(x\right)=e_1{x}^{j_1}+e_2{x}^{j_2}...e_l{x}^{j_l}$

正确的编码为：

U(x)＝r(x)+ε(x)

其中U(x)为正确的消息，r(x)为收到的数据包拼接而成的信息序列，ε(x)为纠错多项式。

还原数据后，在将每一簇的数据按照起始位置进行拼接以获得消息的全貌。

Reed-Solomon编码、解码的方案都采用软件方法实现，将信息内容首先转化为二进制内容，然后采用程序进行编码、解码的操作。

在第一节点向第二节点发送的请求信息组成的数据包中添加TTL(存活时间)标记，TTL标记决定了请求包中路由的跳数，节点在转发请求包时将TTL减去1，当TTL减到0时，节点将不再转发查询请求包(404)。

在数据包中加入时间戳标记有助于说明信息的历史和描述更改，在CDN系统中由于其源网站处于不断变更当中，覆盖网所存储的信息也会不断更新，这种更新之后就有可能产生不同的版本的信息，加以时间戳来说明信息进入系统的时间。可以在系统中对信息的存储进行控制以决定具有相同键码但时间戳不同的信息的存储方式，可以是以下三种方式：覆盖存储，当键码相同时间戳不同时，只保存最近的一个数据，以前的数据删除；全部存储，存储所有时间段的数据，不删除数据；保存部分历史数据，存储最近的一定数量的数据，删除其他以前的数据。不同的存储策略可以在系统中予以选择配置。

Claims (6)

1.一种端到端纠错码存储覆盖网系统的实现方法，其特征在于，所述系统具有多个网络节点，多个网络节点之间通过互联网连接，根据多个网络节点在系统中的作用，顺序分为第一节点、第二节点、第三节点；

所述方法包括已知数据的键和值来存储数据，

第一节点用散列函数将数据的键转变成键码；第一节点将数据的值分成若干块，并标示每块的起始位置；对于每一块都进行以下步骤：将该块用纠错码编码，生成编码，将编码分割成多个编码片段；第一节点将键码、块的起始位置和编码片段分散发送到至少一个第二节点；第二节点接收并对应保存键码、块的起始位置和编码片段；

以及所述方法还包括已知数据的键来提取数据的步骤：

第一节点用散列函数将数据的键转变成键码，第一节点向至少一个第二节点发送请求信息，该信息内容包括键码，第二节点查找该键码所对应的一个或多个编码片段，并将编码片段发送给第一节点；第一节点对多个编码片段进行译码，还原各块的信息；拼接还原后的各块数据，生成还原的完整数据；

提取数据的步骤还包括以下特征：第一节点向第二节点传送的信息中还包括用以说明数据包生存时间的TTL值和第一节点的IP地址；如果TTL值不为0，则第二节点向至少一个第三节点转发请求信息，该信息内容包括键码，第一节点的IP地址、将TTL值减一处理后的值；第三节点查找该键码所对应的一个或多个编码片段，并将编码片段发送给第一节点；第一节点对编码片段进行译码，还原各块信息；

系统为CDN系统，包括第一节点、第二节点、第三节点，这三个节点是对等的，其功能和地位互换，第一节点处于和用户交互的地位，第二节点直接与第一节点交互，用于存储数据和返回数据；第三节点间接地和第一节点交互；

第一节点在得到用户的请求后，开始提取数据的步骤：第一节点向至少一个第二节点发出查询包，第二节点返回查询的结果，同时第二节点向至少一个第三节点转发查询请求，第三节点向第一节点发送查询的结果；第一节点获得网页数据，并将结果返回用户；

第一节点在不能从系统中获得数据的情况下，需要向web服务器发送请求以获得网页内容，web服务器响应该请求，并返回网页内容；第一节点将数据返回用户；

第一节点在更新了网页的数据后在系统保存数据，采用存储数据的步骤将存储数据的数据包发给至少一个第二节点。

2.根据权利要求1所述的端到端纠错码存储覆盖网系统的实现方法，其特征在于，第一节点将键码、块的起始位置和编码片段分散发送到至少一个第二节点是数量平均的发送。

3.根据权利要求1所述的端到端纠错码存储覆盖网系统的实现方法，其特征在于，发送的编码片段是通过多个编码片段组合成的编码片段簇。

4.根据权利要求1所述的端到端纠错码存储覆盖网系统的实现方法，其特征在于，存储数据的步骤还包括以下特征：第一节点用散列函数将数据的键转变成键码时还生成用以标记信息生成时间的时间戳；第一节点将键码、块的起始位置和编码片段分散发送到至少一个第二节点时，发送的内容还包括所述时间戳；第二节点接收并对应保存键码、块的起始位置和编码片段时，保存的内容还包括所述时间戳。

5.根据权利要求1所述的端到端纠错码存储覆盖网系统的实现方法，其特征在于，所说的纠错码是里德-所罗门编码。

6.根据权利要求1所述的端到端纠错码存储覆盖网系统的实现方法，其特征在于，所说的散列函数为SHA1算法。

Images