CN101369969B - 使用闪速事务处理压缩Delta日志的方法和设备 - Google Patents

Abstract

将每条接收到的配置数据添加到易失性缓冲区中的下一个当前空闲的位置。在添加每条接收到的配置数据之后压缩易失性缓冲区的内容。压缩结果被存储在非易失性闪存中。如果该压缩结果比界限短，允许在闪存中由下一个压缩结果覆盖。如果压缩结果比所述界限长，将其存储于闪存中，并且下一个压缩结果被定向到闪存中的不同位置。

Description

使用闪速事务处理压缩Delta日志的方法和设备

技术领域

本发明一般涉及的技术领域为：在存储器中以在以后发生了意外操作故障的情形下能够恢复数据的方式存储重要的数字数据。特别地，本发明涉及通过使用非易失性闪存和数据压缩，在路由器中存储经常变化的配置数据。

背景技术

路由器必须存储它不时接收及随后当新连接被建立和旧连接被弃用时接收的路由器配置中的变化。对于路由器的正确操作而言，配置数据是基本的，并且它必须以这样的形式来被保存，即使发生了意外的错误且造成易失性运行时存储器中的数据破坏或丢失，此后该配置数据仍能够从所保存的形式中得以恢复。包含了关于路由器配置中的变化的累积数据的文件常常被称为Delta日志。

一些现有技术中的路由器使用闪存作为非易失性存储区，Delta日志以压缩形式被存储到其中。用于存储Delta日志的存储算法必须考虑到数据是持续累积的，并且在任何时候都可能发生故障，因而在向非易失性存储器做下次备份之前，不应允许数据在长时间里只累积在易失性存储器中。在另一方面，已知的闪存的结构和操作并不适于持续逐位存储，而是惯于以被称为记录的更大的单位操作闪存。

图1示出了依照现有技术使用闪存存储Delta日志的已知方式。在闪存中分配了两块独立的区域，这里被称为闪速缓冲区101和闪速文件102。配置数据先被存储在闪速缓冲区，并且只有在积累了足够大的数据块而基本填满闪速缓冲区101之后，才被传送到闪速文件102。

在步骤111，闪存的两个区域均为空。被示意性地示为小箭头的写指针指示了在闪存的每个区域中下次写操作将要开始的位置。在步骤112，向闪存写入一条配置数据103，使得写指针移动到缓冲区中的下一空闲空间。写指针原来的位置用在括号内的箭头来指示。闪速文件中仍然什么也没有发生。在步骤113发生类似的事件，在那里下一条配置数据104被写入闪存。只有在步骤114，当闪存变满时，才也向闪速文件写入某些数据：通过使用某些合适的数据压缩算法，闪速缓冲区的累积内容被压缩，并且压缩结果105被写入闪速文件。闪速文件中的写指针前移指向下一空闲位置。在步骤115，闪速缓冲区被清除，并开始新一轮的向闪速缓冲区中累积配置数据。下次当压缩发生时，新的压缩结果将紧随闪速文件中的前一压缩结果而被保存。

图1布署的缺陷在于对闪存空间的需求相对较大。

发明内容

本发明的一个目的是提供用于存储Delta日志的对存储器空间特别是闪存有较低需求的方法和设备。本发明的另一个目的是让用于存储Delta日志的方法和设备简单而健壮，且适应于范围广阔的各种路由器实现。

通过在易失性存储器中为新的配置数据维护一个缓冲区，在每次添加新数据的事件发生之后压缩缓冲区的内容，并依赖于其长度，使用闪速事务处理或者覆盖闪存中上次的压缩结果，或者将新的压缩结果写入新记录中，本发明的上述目的得以实现。

依照本发明的方法由在撰写为方法的独立权利要求的特征部分中所陈述的步骤来描述其特征。

依照本发明的路由器设备由撰写为路由器设备的独立权利要求的特征部分中所陈述的特性来描述其特征。

依照本发明的计算机程序产品由撰写为计算机程序产品的独立权利要求的特征部分中所陈述的特性来描述其特征。

当新数据被写入闪存中时，它既可以替换已有的记录(即已有记录可以被更新)，也可以转到全新的记录。这里建议根据所压缩的Delta日志缓冲区的当前长度在这两种可能中进行选择。如果压缩结果比一条记录短很多，它可以只更新已有的早先最近写入的记录。配置数据的持续累积将确保压缩结果会逐渐变长，直至长到足以填满当前记录，并有可能部分地溢出到闪存中的下一条记录。在那一点上，已完成的记录被“冻结”，缓冲区被清除，且过程重新开始，并且或者从尚有来自被冻结的记录的剩余空间的记录，或者从闪存中的下一逻辑记录，来选择闪存中新的写入点。如果选择了尚有来自被冻结的记录的剩余空间的记录，写入点被设置为记录中紧接着已使用的空间之后。

本专利申请中介绍的的本发明的示例性实施例不应被理解为陈述了所附权利要求适用性的局限。动词“包含/包括”在本专利申请中被用作开放式的限定，它不排除还存在未陈述的特征。除非以其它方式明确予以声明，在从属权利要求中所陈述的特征可彼此自由组合。

在所附的权利要求中，将详细阐明被看作本发明特色的新颖的特征。然而，在结合附图阅读了下面对发明书实施例的描述后，将能够最好地理解本发明本身，无论对于其结构还是其操作方法，以及其另外的目的和优势。

附图说明

图1示出了使用闪存存储Delta日志的已知方式。

图2示出了依照本发明实施例的原则。

图3示出了依照本发明实施例的方法。

图4示出了依照本发明实施例使用存储器存储Delta日志的方式。

图5以状态图的形式示出了本发明实施例。

图6示出了依照本发明实施例的路由器设备。

具体实施方式

图2示出了依照本发明的实施例将易失性缓冲区的使用和闪存结合起来的原理。当新的配置数据到来时，它先被写入易失性缓冲区，如框201所示。在路由器中，该新的配置数据以由协议定义的命令的形式出现，该由协议定义的命令包括字符串，也可能添加其它文本形式的数据。易失性缓冲区本质上要比闪存中的记录的大小更大；该缓冲区可以是记录大小的至少十倍。

在框202中，应用压缩算法压缩易失性缓冲区的全部内容。缓冲区的实际内容，以及压缩算法的效率，决定了在压缩结果中将有多少比特。如果缓冲区只是刚开始填充，也就是说，在压缩发生之前它只包含单独的一条配置数据，压缩结果可能甚至比原始的那条配置数据都长。但是，如果缓冲区中已累积了两条配置数据，压缩比率(压缩结果的长度与未压缩的配置数据的量之比)就将更为有利，并且在缓冲区中累积的配置数据越多，压缩比率甚至会越佳。

我们假定有一个预先确定的界限或阈值，压缩结果的长度与之进行比较。界限或阈值比闪存中的记录大小稍大，从而当压缩结果的长度达到界限或阈值，它将填充闪存中稍大于一个完整记录的空间。如果压缩结果在字节上比该界限或阈值小，它被用来覆盖(即更新)闪存中先前最近存储的压缩结果，依照框203所示，而且，它被保持在那里，等待依次由下一压缩结果覆盖。如果压缩结果大到足以填满至少一个完整记录，它被存储在闪存(换言之，它覆盖先前最近的压缩结果但随后被“冻结”，并且不被进一步覆盖)且易失性缓冲区被清除，如框204中所示。下一次在添加了新的配置数据并压缩之后，写操作将指向闪存中新的位置。

图3以更系统的流程图的形式示出了依据本发明实施例的方法。在步骤301中，接收一条新的配置数据。在步骤302中，将其写入易失性缓冲区，从缓冲区写指针指示为空闲的位置开始写入。写入之后，缓冲区写指针在步骤303中被前移指向易失性缓冲区中下一仍保持空闲的位置。

在步骤304，将易失性缓冲区中的全部内容压缩。在步骤305压缩结果被写入闪存，更特别地，被写入由闪速写指针所指的闪存的记录。将向闪存的记录写入实现为闪存事务处理是最有利的，如同在由同一申请人提交且公布号为WO01/31458的专利申请中所阐明的事务处理一样，该申请通过引用被结合于此。事务处理是必须全部成功或全部失败的一组操作。改变路由器的配置数据是典型的具有事务处理特性的应用，因为如果该路由应用没有成功保证新的配置数据已被安全地记录在非易性存储器中，它必然根本不能被使用。如果该路由应用根据只存储在易失性存储器中的配置数据进行操作，并且非易失性闪存中包含某些另外的数据，危险的时控操作故障可能导致恢复到不同类型的操作，而不是故障发生之前实际在使用的操作。

需注意的是，由于闪存的特性，严格地说，更新记录并非严格意味着数据还会被存储在完全相同的存储器位置。如在上面提及的另一专利申请中所示，更新记录包括数目相对较多的步骤，在此期间所更新的数据被写入新的存储器位置且旧的存储器位置被标志为脏。闪存的内务处理程序安排存储器位置的使用，这样过一段时间“脏”位置就会返回供使用。然而，由于内务操作对于使用闪存的应用而言是透明的，习惯上将闪存的记录称作逻辑存储器位置，而忽略掉对于任何物理上存在的存储器位置的任何依赖。

使用闪存的事务处理类型的处理程序自动确保了没有不必要的数据拷贝被存储。不存在不必要的拷贝有助于将硬件需求(所安装闪存的数量)保持在非常合理的水平。

在步骤306，对写入闪存中的数据量是否达到确定的阈值进行检查。如果没有，方法返回步骤301，闪速写指针保持不变。其结果是，下次向闪存中写入压缩结果时，将覆盖(即更新)先前最近写入的记录。

在步骤306如果写入闪存中的数据量的字节长度已达到阈值，方法继续向前到步骤307，其中闪速写指针被前移指向一条新记录(如前一记录一样在相同的文件中)。在步骤308，易失性缓冲区被清除，且缓冲区写指针被设置为正好指向刚刚被清除的缓冲区的开始。这之后返回步骤301。

只要保持相同的操作原则，严格以该顺序执行这些步骤并不是必要的。例如，将步骤303从位于步骤302和304之间改为在步骤301前是可能的。这就使得没有必要在步骤308中单独将缓冲区写指针设置为开始，因为在步骤308中紧接着清除缓冲区之后，设置缓冲区写指针指向下一空闲位置将自动使其指向开始。

图4示出了依照本发明实施例的易失性缓冲区401和闪速文件402的用法。闪速文件402被划分为记录，其中记录403作为例子被示出。写指针以与图1类似的方式被示为小箭头。

在步骤421，易失性缓冲区401和闪速文件402均为空。在步骤422，向易失性缓冲区写入一条配置数据404。这使得缓冲区写指针向前指向下一空闲位置。易失性缓冲区的全部内容被压缩，且压缩结果405被写入闪速文件的第一记录中。压缩结果比预先确定的阈值要短，因此闪速写指针并不前移。与图3相对照，图4中的步骤422以从步骤306返回步骤301结束。

步骤423和424与步骤422类似，其最新一条配置数据(步骤423中的406和步骤424中的408)与易失性缓冲区中先前已存在的配置数据相连接，且每次新的压缩结果(步骤423中的407和步骤424中的409)更新闪速文件中的第一记录。在步骤425，添加如410所示的配置数据之后，压缩结果的长度达到阈值。这里碰巧与易失性缓冲区变满相一致，但它并不是约束性的假定；更可能地，压缩结果的长度将在易失性缓冲区变满之前的早些时候达到阈值。对于本发明的该实施例，典型地是，阈值受所压缩结果的长度约束，而不受压缩前的易失性缓冲区的填充比率或剩余空闲空间的约束。

触发阈值条件的压缩结果411是覆盖(更新)闪速文件中的第一记录的最后一个。与图3中的步骤307相适应，在步骤425闪速写指针被前移指向闪速文件的第二记录。这里，我们假定压缩结果比一条记录稍长，并且在第一记录中没有放下的剩余数据将去到下一记录，之后闪速写指针被设置为指向第二记录中的第一空闲位置。一个替代方案是闪速写指针被设置为指向一条全新的记录。在步骤426，易失性缓冲区被清除，且缓冲区写指针被设置为易失性缓冲区的恰好开始(如同图3中的步骤308中)。在步骤427，将要到来的下一条配置数据412如在步骤422中那样启动相同的过程，区别在于最新的压缩结果413现在去到了第二记录，它的恰好第一部分已被冻结，并且因而不会在接下来的更新操作中改变。

依照本发明的实施例，并非只有压缩算法的纯输出被存储到闪存中。图4右下方的插入部分显示了如何每个压缩结果可以包括头部分和主体部分，其中头部分包括关于主体部分的信息。对压缩结果411而言，有头部分431和主体部分432，而对于压缩结果413，分别有头部分433和主体部分434。头部分可以揭示的一条有用的信息是压缩结果的字节长度。以后，当扫描闪速文件的内容时，借助于有关其长度的知识，如果扫描算法可以跳过主体部分，将是非常有效的。然而，在压缩结果中使用头部分并不是必须的，因为例如通过检查所压缩的字节本身，压缩结果的长度可以以其它方式被检测出来。

扫描闪速文件可以在上电的情形下实现，这在图5的状态图中可以看出来。该状态图是依照本发明实施例在路由器中处理配置数据的高级图示。上电之后，在状态501扫描所存储的闪速文件，以便为闪速写指针找到正确的位置，并使得能够从所存储的经压缩的Delta日志部分重新产生必要的路由信息。在成功完成上电之后，系统采取等待状态502。如果在该等待状态的任何时候新的配置数据到达，它就依照状态503触发写事务处理。是否写事务处理只包括更新旧的闪速记录，或者是否包括冻结一条完成的记录并改变以使用一条新记录，这依赖于压缩结果的长度，以上参照图2、3和4已对此作了详尽的描述。

在某个时候，由闪存为闪速文件保留的空间将变满，它会依照状态504触发重新生成文件。在图5中示出的另一个可能导致从等待状态502到文件重新生成状态504的转换条件是，已过超时时间或者时间触发器被触发。如果过去了特定长度的时间而没有必须处理任何新的配置数据，则重新生成配置文件可能是有益的。该配置包括经压缩的基本配置和在Delta日志中记录的变化。重新生成将该变化与基本配置结合起来，并移除多余的命令。通过将实际运行的配置转储到文件，并在状态505中将重新生成的结果压缩在一条数据中来重新生成整个配置，这将允许达到甚至进一步缩减对非易失性存储空间的需求。在返回等待状态502之前，在状态506存储重新生成的并重新压缩的文件。

图6示意性地示出了依照本发明实施例的路由器设备。一个或多个控制处理器601执行实际的路由程序，以控制交叉连接矩阵602，在该连接矩阵中，分组从通过I/O模块603建立的连接被适当地切换，或者被适当地切换到这些连接。在程序存储器604中程序被存储为计算机可读指令。运行时(易失性)数据存储器605包含在其它存储区中的上面已提及的易失性缓冲区。有着自己的记录的闪速文件位于闪存(非易失性)模块606中。在从程序存储器604读取了正确的指令之后，控制处理器601就会知道如何执行图2、3、4和5的步骤和方法。

Claims (8)

1.一种在路由器中存储配置数据的方法，其特征在于其包括：

在从由缓冲区写指针所指向的位置开始的易失性缓冲区中的当前空闲的位置处添加每条接收到的配置数据，

在添加每条接收到的配置数据之后压缩所述易失性缓冲区的内容，从而获得压缩结果，

在非易失性闪存中存储所述压缩结果，

如果所述压缩结果比界限短，则允许闪存中的压缩结果被要被存储于闪存中的下一个压缩结果覆盖，以及

如果所述压缩结果比所述界限长，则在闪存中保存所述压缩结果，并把要被存储于闪存中的下一个压缩结果定向到所述闪存中的不同位置。

2.一种在路由器中存储配置数据的方法，其特征在于其包括：

接收一条配置数据，

从由缓冲区写指针所指向的位置开始，将该条配置数据写入易失性缓冲区中，

前移所述缓冲区写指针，使其指向易失性缓冲区中的在写入该条配置数据之后保持空闲的下一个位置，

压缩所述易失性缓冲区的内容，从而获得压缩结果，

将所述压缩结果写入到非易失性闪存中的由闪速写指针指向的第一逻辑存储位置，

如果所述压缩结果的字节长度比阈值大，则前移所述闪速写指针，使其指向非易失性闪存中第二逻辑存储位置中的下一个空闲位置，清除所述易失性缓冲区，并将所述缓冲区写指针设置为指向所述易失性缓冲区的开始，以及

如果所述压缩结果的字节长度不比所述阈值大，则将所述闪速写指针保持指向所述第一逻辑存储位置，并保留所述易失性缓冲区的内容。

3.根据权利要求1或2所述的方法，其中在闪存中存储所述压缩结果包括在闪存中存储头部域和主体域，其中所述头部域包含所述压缩结果的字节长度的指示。

4.根据权利要求1或2所述的方法，包括：

对闪存中为Delta日志文件的记录所保留的空间将要变满进行观测，以及

作为对该观测的响应，重新生成完整的配置文件，从而去除配置的多余变化，将重新生成的配置文件压缩在一条数据中，并存储该压缩的结果。

5.根据权利要求1或2所述的方法，包括：

对从上次在闪存中存储Delta日志文件的新记录的最后时间起已过时间界限进行观测，以及

作为对该观测的响应，重新生成完整的配置文件，从而去除配置的多余变化，将重新生成的配置文件压缩在一条数据中，并存储该压缩的结果。

6.根据权利要求1或2所述的方法，其中在非易失性闪存中存储所述压缩结果是作为指向闪存中的记录的更新事务处理来实现的。

7.一种在路由器中存储配置数据的装置，包括：

用于在从由缓冲区写指针所指向的位置开始的易失性存储器中包含的缓冲区中的当前空闲的位置处，添加每条接收到的配置数据的装置，

用于在添加每条接收到的配置数据之后压缩所述缓冲区的内容，从而获得压缩结果的装置，

用于在非易失性闪存中存储所述压缩结果的装置，

用于检查所述压缩结果是否比界限短的装置，

用于如果所述压缩结果比界限短，则允许闪存中的所述压缩结果被要被存储于所述闪存中的下一个压缩结果覆盖，以及如果所述压缩结果比所述界限长，则在闪存中保存所述压缩结果，并把要被存储于闪存中的下一个压缩结果定向到闪存中的不同位置的装置。

8.根据权利要求7的装置，其中在所述易失性存储器中的所述缓冲区的大小是所述闪存中的记录大小的十倍以上。

Images