CN1928849A

CN1928849A - 数据字典的生成方法、装置和数据字典的优化方法

Info

Publication number: CN1928849A
Application number: CN 200610109625
Authority: CN
Inventors: 白杰; 李薇; 鲁征宇
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-08-11
Filing date: 2006-08-11
Publication date: 2007-03-14

Abstract

本发明公开了一种数据字典的生成方法，包括：A.预置数据字典数据库和匹配字符串，以及选择用于数据训练的数据包，扫描所述数据包；B.判断数据包是否扫描完毕，如果数据包扫描完毕，结束扫描操作，否则，从数据包的当前位置起，取至少一个字符，将该字符补充到匹配字符串的尾部；C.查找匹配字符串在数据字典数据库中是否有记录，如果有，将数据包的当前位置向后移动至少一个字符的位置，转到步骤B继续，否则，将匹配字符串存储入所述数据字典数据库，将数据包的当前位置向后移动至少一个字符的位置，然后复位匹配字符串，转到步骤B继续。该方法能够动态快速生成数据字典数据库。本发明还公开了一种数据字典的优化方法。

Description

数据字典的生成方法、装置和数据字典的优化方法

技术领域

本发明涉及数据压缩方法使用的数据字典的生成方法、装置和数据字典的优化方法。

背景技术

在数据的传输过程中通常需要对待传输的数据进行压缩，以减少实际传输的数据量，减少网络传输资源的占用以及减少传输失败的机会，提高数据传输的效率。例如，TCP/IP协议对于每一个已经建立的传输进程中的数据包的生命周期有严格的限制，也就是当传输的进程建立之后，按照TCP/IP协议的基本原理，发送端在发送一个数据包之后必须在规定的时间内收到从接收端返回的接收成功信息才会发送第二个数据包，否则认为上一个包发送失败，重新发送第一个包；从接收方来看，超过一定的时间没有收到发送方的数据包会认为连接超时，自动断开连接。因此，所以数据的压缩必须满足在规定的时间内将发送端的数据包处理完成，转发给接收端，并向数据发送端反馈正确的信息，这样才能实现即压缩了数据，又保证了数据传输进程的连接。

在对数据的压缩过程中，通常需要使用数据字典帮助完成数据的压缩。所述数据字典中存储有数据压缩使用的具有高重复概率的字符串及其代码，这些字符串及其代码构成了数据压缩的样本数据，一般，只有一定的重复数据量样本数据才能达到良好的压缩比，数据的压缩率就会越高，因此，快速获得一个内容较多且其中的样本数据重复概率较大的数据字典成为一个数据传输系统的重要组成部分。

传统的数据字典的形成是通过手工方式实现的，通常对某一特定领域的典型内容的文件进行分析，该文件的内容通常是将该领域的有意义文件的二进制流用一种编码规则转换为无意义的符合该编码规则的字符流形成的，关于该文件的形成可以参考本申请人同日申请的另外一篇名称为“一种待压缩数据的预处理方法以及压缩数据的传输方法”申请文件。对该领域的典型内容的文件分析的结果，就是将找到的高重复概率的字符串及其标识或引用标签存储到一个数据库中，从而形成数据字典。利用所述数据字典，就可以将一个待压缩的数据字符串中重复概率较高的部分用所述数据字典中的引用标签代替，从而实现数据字符串的压缩。然而，由于传统的手工方法形成的数据字典很难兼顾内容的充实和样本字符串的高重复概率二个方面，且获得和更新数据字典的周期较长，不利于针对不同的领域或文件的特性更新所述数据字典。

发明内容

本发明要解决的技术问题在于，提供一种效率较高、内容较充实的数据字典的生成方法、装置和数据字典的优化方法。

本发明提供的数据字典的生成方法，包括：

A、预置数据字典数据库和匹配字符串，以及选择用于数据训练的数据包，扫描所述数据包；

B、判断所述数据包是否扫描完毕，如果所述数据包扫描完毕，结束扫描操作，否则，从所述数据包的当前位置起，取至少一个字符，将该字符补充到匹配字符串的尾部；

C、查找匹配字符串在数据字典数据库中是否有记录，如果有，将所述数据包的当前位置向后移动至少一个字符的位置，转到步骤B继续，否则，将所述匹配字符串存储入所述数据字典数据库，将所述数据包的当前位置向后移动至少一个字符的位置，然后复位匹配字符串，转到步骤B继续。

其中，将扩展ASCII编码表的所有编码字符预置到数据字典数据库中。

其中，所述匹配字符串的初始值为空。

而且，如果匹配字符串在数据字典数据库中没有记录，判断数据字典数据库中的记录数是否等于或超过设定的第一阀值，如果未超过，将所述匹配字符串存储入所述数据字典数据库，否则，结束操作。

还可以将典型的高重复概率的字符串预置到数据字典数据库中。

本发明提供的另一种数据字典的生成方法，包括：

B、判断所述数据包是否扫描完毕，如果所述数据包扫描完毕，结束扫描操作，否则，从所述数据包的当前位置起，取至少一个字符，将该字符补充到匹配字符串的尾部，将所述数据包的当前位置向后移动至少一个字符的位置；

C、查找匹配字符串在数据字典数据库中是否有记录，如果有，转到步骤B继续，否则，将所述匹配字符串存储入所述数据字典数据库，复位匹配字符串，转到步骤B继续。

其中，如果匹配字符串在数据字典数据库中没有记录，判断数据字典数据库中的记录数是否等于或超过设定的第一阀值，如果未超过，将所述匹配字符串存储入所述数据字典数据库，否则，结束操作。

本发明提供的数据字典的生成装置，包括：

数据字典数据库、用于存储训练使用数据包数据的数据缓冲区和用于扫描所述数据缓冲区的扫描单元，以及，

第一判断单元，用于根据所述扫描单元提供的扫描数据判断所述数据缓冲区是否扫描完毕，如果所述数据缓冲区扫描完毕，结束扫描操作，否则，通知所述扫描单元继续扫描，以及，利用所述扫描单元提供的扫描数据形成新的匹配字符串；

第二判断单元，用于根据第一判断单元提供的匹配字符串，在数据字典数据库中查找匹配字符串是否有记录，如果有，通知所述扫描单元继续扫描，否则，将所述匹配字符串存储入所述数据字典数据库，通知所述第一判断单元复位匹配字符串。

所述装置还包括，设置在所述第二判断单元和数据字典数据库之间的第三判断单元，用于判断数据字典数据库中的记录数是否等于或超过设定的第一阀值，如果未超过，将所述第二判断单元提供的元匹配字符串存储入所述数据字典数据库，否则，结束操作。

本发明提供的数据字典的优化方法，包括，

A、选择用于训练的数据包；

B、从数据包的当前位置起确定可能在所述数据字典中出现的最长字符串；

C、判断在所述数据字典中是否找到所述最长字符串，如果找到，将数据字典数据库中相应记录的匹配成功次数计数值加1，并将所述当前位置的值向后移动最长字符串的长度，转步骤D继续，否则，并将所述当前位置向后移动至少一个字符；

D、判断所述数据包是否扫描完毕，如果没有扫描完，回到步骤B继续，否则，

E、如果数据字典数据库的记录个数超过设定的第一阀值，删除所述成功次数计数值小于第二阀值的记录。

其中，在数据字典数据库中设置计数器字段，用于记录该条记录被有效匹配的次数；或者在内存中为数据字典数据库的每条记录分别设置计数器。

所述方法还包括，如果数据字典数据库的记录个数超过设定的第一阀值，删除所述字符串长度小于第三阀值的记录。

由于本发明通过预置数据字典数据库和选择数据训练的数据包，通过数据包的扫描，动态生成所述数据字典数据库，可以使数据库的生成效率较高，由于数据库的内容便于优化，因此能够快速获得。

更进一步，通过本发明的数据字典的优化方法，更能使所述数据字典数据库提高使用的程度。

附图说明

图1是本发明所述数据字典的生成方法的第一实施例流程图；

图2是本发明所述数据字典的生成方法的第二实施例流程图；

图3是本发明所述数据字典的生成装置的第一实施例框图；

图4是本发明所述数据字典的生成装置的第二实施例框图；

图5是本发明所述数据字典的优化方法的实施例流程图。

具体实施方式

下面结合附图对本发明作进一步的说明。

参考图1，图1是本发明所述数据字典的生成方法的第一实施例流程图。按照图1，首先在步骤11完成初始化操作，该操作包括三个子步骤，1)预置数据字典数据库，将所述数据字典数据库或数据表(也可以是其它数据结构)结构建立完毕，使其能够正常使用。该数据库通常包括至少三个字段：引用标签、样本字符串、散列值或其它用于检索所述数据库的函数字段。2)预置匹配字符串，该字符串可以有任意的初值，初值的不同对生成的数据字典的影响略有不同，但不影响在数据压缩阶段的使用。典型的初值是“空”或“空格”等等。3)选择或确定用于数据训练的数据包。通常，所述数据包具有某个特定领域的典型特征。

然后在步骤2开始扫描所述数据包，所述扫描数据包实际上是确定读取或识别所述数据包中具体字符的过程，或者确定指向具体字符的指针的过程。在首次扫描数据包时，具体的扫描操作是使指针指向数据包中的第一个字符。另外，在本例中，所述数据包的扫描是将所述数据包中的字符串读入到一个数据缓冲区中，然后再完成具体的扫描操作。每扫描一个数据包中的字符，都要继续步骤13，判断所述数据包是否扫描完毕，如果所述数据包扫描完毕，要在步骤15结束扫描操作，否则，就要在步骤14从所述数据包的当前位置起，读取一个字符，即将指针指向的字符读出来，将该字符补充到匹配字符串的尾部，形成新的匹配字符串。所述是否扫描完毕的判断可以通过指针的指向是否移到所述数据包以外的单元来完成，或者通过数据包的首尾指针或首指针和数据包长度来完成。很多时候，扫描是通过数据缓冲区进行的，因此可以通过所述数据缓冲区的指针完成判断。

在步骤16，查找并判断匹配字符串在数据字典数据库中是否有记录，即判断匹配字符串的内容与数据字典数据库中的相应记录的对应字段，即样本字符串字段的数据是否相同，如果任何一条记录的样本字符串字段中的内容与匹配字符串的内容相同，说明匹配字符串的具体内容在所述数据字典数据库中有记录，不需要将其存入所述数据字典数据库，因此，在步骤17将所述数据包的当前位置向后移动一个字符的位置，即将所述指向字符串的指针后移一个字符位，完成对数据包的新的扫描操作，转到步骤B继续进行后续的判断；否则，说明匹配字符串的具体内容在所述数据字典数据库中没有记录，需要将所述匹配字符串的内容存储入所述数据字典数据库，然后复位匹配字符串，将所述匹配字符串清空或者赋一个初值，例如“空”。最后也在步骤17将所述数据包的当前位置向后移动一个字符的位置，再转到步骤B继续进行后续的判断。

在本发明另外的实施例中，步骤17也可以设置在步骤14和步骤16之间，步骤18、19的顺序也可以互换，等等，可见，在本发明实施例的提示下，可以有多种步骤的排列方式，设置可以有多种不同步骤的组合方式，例如，在步骤16和步骤18之间设置一个将所述数据包的当前位置向后移动一个字符的位置的步骤，将所述步骤13的判断设置步骤16以后进行等等，这样的实施例与图1所示实施例本质相同，只是效率略有不同，但是同样可以实现本发明。另外，所述在步骤17，也可以将所述数据包的当前位置向后移动多个字符的位置，这样能够提高所述数据字典数据库的生成速度，但是可能影响所述数据字典数据库的内容，但是这样并不影响所述数据字典数据库的使用。

在本发明另外的实施例中，还可以在步骤11初始化操作的步骤中预置所述数据字典数据库，例如将扩展ASCII编码表的所有编码字符预置到数据字典数据库中。当然也可以将其它编码表，例如UNICODE编码表等预置到数据字典数据库中，这取决于所述待压缩数据的编码方式，关于这部分内容，可以参考本申请人在其它更早申请日申请的，名称为“一种待发送数据的处理方法以及数据发送方法”专利申请文件中获得。预置所述数据字典数据库，可以提高数据字典的生成效率。更进一步，可以将典型的高重复概率的字符串预置到数据字典数据库中，更能够提高数据字典的生成效率。

图2是本发明所述数据字典的生成方法的第二实施例流程图。图2所示实施例与前面所述的任何一个实施例的区别，在于增加了避免所述数据字典数据库的内容无限制增加的步骤，下面以图1所示实施例为基础的增加为例对图2所示实施例的增加部分进行说明。图2中，当经过步骤16得知所述匹配字符串的内容在数据字典数据库中没有记录的判断结论后，在步骤161判断数据字典数据库中的记录数是否等于或超过设定的第一阀值，例如，所述第一阀值为64K，如果数据字典数据库中的记录数小于所述64K，说明其容量没有达到设定的第一阀值规定的容量，可以将所述匹配字符串在步骤18存储入所述数据字典数据库，否则，说明所述数据字典数据库的容量已经达到设定的第一阀值规定的容量，不适宜再增加，因此，即使数据包没有扫描完毕也要在步骤162结束继续的扫描操作。否则可能降低数据压缩阶段的效率或者有其它副作用，例如，消耗的存储资源或计算资源可能过多等。

与图1所示的实施例的情况类似，所述步骤161的位置也不限于目前的定位，例如也可以设置在所述步骤16以前，等等。

图3是本发明所述数据字典的生成装置的第一实施例框图，图3所示的装置包括用于存储训练使用数据包数据的数据缓冲区31，用于扫描所述数据缓冲区的扫描单元32，数据字典数据库35，第一判断单元33，第二判断单元34。

其中，扫描单元32的将每次扫描得到的数据，即扫描指针当前指向的字符，被送到所述第一判断单元33，所述第一判断单元33用于根据所述扫描单元提供的扫描数据判断所述数据缓冲区31中的数据是否扫描完毕，如果扫描完毕，结束扫描操作，否则，通知所述扫描单元32继续扫描，此时，第一判断单元33还利用所述扫描单元32提供的扫描数据形成新的匹配字符串，这个匹配字符串被送到第二判断单元34。

第二判断单元，用于根据第一判断单元提供的匹配字符串，在数据字典数据库中查找匹配字符串是否有记录，如果有，通知所述扫描单元继续扫描，否则，将所述匹配字符串存储入所述数据字典数据库，并通知所述第一判断单元复位匹配字符串。

图4是本发明所述数据字典的生成装置的第二实施例框图。图4所示实施例与图3所示的实施例的区别，在于增加了设置在所述第二判断单元34和数据字典数据库35之间的第三判断单元36，用于判断数据字典数据库中的记录数是否等于或超过设定的第一阀值，如果未超过，将所述第二判断单提供的元匹配字符串存储入所述数据字典数据库，否则，结束操作。

鉴于图3、4所示实施例的具体实现细节和具体的含义在前文已有详述，在此不再赘述。

图5是本发明所述数据字典的优化方法的第一实施例流程图。在该例子中，数据字典数据库增加一个计数器字段。按照图5，首先在步骤51完成初始化操作，该操作包括三个子步骤，1)为数据字典数据库中的每一个记录预置字符串匹配成功次数计数器的值，本例中初值为0(实际上也可以为其它的值)；2)选择用于训练的数据包，这样的数据包可能有多个，用于判断所述数据字典数据库中记录的样本字符串在实际应用中的重复概率。

然后在步骤52，从数据包的当前位置起(扫描指针至指向的位置，其初始值指向缓冲区第一个字符)确定可能在所述数据字典中出现的最长字符串；本例中，步骤52的通过数据缓冲区实现。如果经过步骤52确定了最长字符串，就要在步骤53判断在所述数据字典中是否找到所述最长字符串，如果找到，在步骤55将数据字典数据库中相应记录的匹配成功次数计数值加1，并在步骤56将所述当前位置的值，即扫描指针向后移动最长字符串的长度，然后转步骤57继续操作，否则，在步骤54将所述当前位置，即扫描指针向后移动一个字符的长度。

在步骤57，判断所述数据包是否扫描完毕，如果没有扫描完，可以利用该数据包的数据继续优化所述数据字典数据库，因此回到步骤52继续扫描剩余的字符串，否则，在步骤58继续判断数据字典数据库的记录个数是否等于或超过设定的第一阀值，如果等于或超过，说明数据字典数据库的记录太多，有很多重复概率较低的记录，因此，在步骤59删除所述成功次数计数值小于第二阀值的记录，然后在步骤60结束所述优化操作否则，说明数据字典数据库记录的数量不足，不适宜进行优化操作，因此在步骤60结束所述优化操作。

在所述优化操作结束后，按照通常方式对数据库中的记录进行排序整理操作。

本例中，在数据字典数据库中设置计数器字段，用于记录该条记录被有效匹配的次数，实际上也可以在内存中为数据字典数据库的每条记录分别设置计数器(可以利用存储单元作为计数器)对所述数据字典数据库进行优化操作。

在本发明另外的实施例中，还包括补充增加的下述优化操作，即在所述数据字典数据库的记录个数超过设定的第一阀值时，删除所述字符串长度小于第三阀值的记录。

还需要说明，步骤52的在所述数据字典中出现的最长字符串的确定操作可以参考本申请人在其它更早申请日申请的，名称为“数据分割方法和数据分割装置”专利申请文件中获得。

鉴于5所示实施例的其它实现细节、各种实施方式和具体的含义在前文已有详述，在此不再赘述。

Claims

1、一种数据字典的生成方法，其特征在于包括：

2、如权利要求1所述的数据字典的生成方法，其特征在于，将扩展ASCII编码表的所有编码字符预置到数据字典数据库中。

3、如权利要求2所述的数据字典的生成方法，其特征在于，所述匹配字符串的初始值为空。

4、如权利要求1、2或3所述的数据字典的生成方法，其特征在于，如果匹配字符串在数据字典数据库中没有记录，判断数据字典数据库中的记录数是否等于或超过设定的第一阀值，如果未超过，将所述匹配字符串存储入所述数据字典数据库，否则，结束操作。

5、如权利要求4所述的数据字典的生成方法，其特征在于，将典型的高重复概率的字符串预置到数据字典数据库中。

6、一种数据字典的生成方法，其特征在于包括：

7、如权利要求6所述的数据字典的生成方法，其特征在于，如果匹配字符串在数据字典数据库中没有记录，判断数据字典数据库中的记录数是否等于或超过设定的第一阀值，如果未超过，将所述匹配字符串存储入所述数据字典数据库，否则，结束操作。

8、一种数据字典的生成装置，其特征在于包括：

9、如权利要求8所述的数据字典的生成装置，其特征在于，还包括设置在所述第二判断单元和数据字典数据库之间的第三判断单元，用于判断数据字典数据库中的记录数是否等于或超过设定的第一阀值，如果未超过，将所述第二判断单提供的元匹配字符串存储入所述数据字典数据库，否则，结束操作。

10、一种数据字典的优化方法，其特征在于包括，

A、(为数据字典数据库中的每一个记录设置字符串匹配成功次数计数器，以及)选择用于训练的数据包；

11、如权利要求10所述的数据字典的优化方法，其特征在于，在数据字典数据库中设置计数器字段，用于记录该条记录被有效匹配的次数；或者在内存中为数据字典数据库的每条记录分别设置计数器。

12、如权利要求10或11所述的数据字典的优化方法，其特征在于还包括，如果数据字典数据库的记录个数超过设定的第一阀值，删除所述字符串长度小于第三阀值的记录。