CN101916257A - 矢量量化中码字搜索方法 - Google Patents
矢量量化中码字搜索方法 Download PDFInfo
- Publication number
- CN101916257A CN101916257A CN 201010225444 CN201010225444A CN101916257A CN 101916257 A CN101916257 A CN 101916257A CN 201010225444 CN201010225444 CN 201010225444 CN 201010225444 A CN201010225444 A CN 201010225444A CN 101916257 A CN101916257 A CN 101916257A
- Authority
- CN
- China
- Prior art keywords
- code
- code word
- reference point
- code book
- book
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开一种矢量量化中码字搜索方法,其步骤为:(1)对生成的原始码书进行哈德码变换,得到变换后的码书。(2)利用码书生成参考点集合。(3)为码书中的码字附加相对于参考点集合的方差值。(4)对待量化的输入向量进行哈德码变换。(5)为变换的向量附加相对于参考点集合的方差值。(6)在码书中删除不满足过滤条件的码字,搜索匹配码字。(7)系统输出匹配码字在码书中的对应编号。本发明采用多参考点集合的方式,能够过滤掉更多冗余码字,从而降低计算匹配码字的时间复杂度,提高搜索效率。本发明能够有效减少数据访问量,较大的减少磁盘的访问次数。本发明不但能够适应较高维数的情形,而且还可以满足大尺寸码书情况下的编码。
Description
所属技术领域
本发明属于信息技术领域,具体涉及一种计算机数据压缩领域中的矢量量化过程码字搜索方法。
背景技术
随着多媒体应用技术的飞速发展,数据压缩技术得到了广泛的应用,其中矢量量化方法作为一种有效的数据压缩方法而被广泛使用,例如,华为公司申请的发明专利“矢量量化方法及装置”(专利申请号200610164455.2,公开号CN 101198041A)。该专利申请首先提出一种矢量量化方法,通过码书调整量方法和简单的矢量量化装置来降低矢量量化复杂度。该专利申请通过利用N个码书及各码书的调整量对输入矢量进行量化处理,从而降低码书存储量,且运算量只是遍历N个码书所需要的计算量。该专利申请存在的主要不足是:在实际使用中,矢量量化通常以高维向量形式存在,采用上述专利申请所提供的技术方案依然有较高时间复杂度。另外,上述专利申请在码字搜索的过程中仍然存在过多冗余的不会被访问的码字,进而造成数据访问率过高。
在矢量量化的码字搜索过程中广泛采用的另一种等均值等方差搜索算法“Hadamard transform based fast codeword search algorithm for high-dimensional VQ encoding,S.C Chu,Z.M Lu,J.S.Pan,Information Sciences,VOL.177.NO.3,2007,734-746”。该算法使用均值只结合单参考点(原点)对码字进行搜索,由此造成该算法存在的不足是:采用单参考点对码字进行搜索,由于码字过滤条件过于单一,仍然存在搜索效率偏低,磁盘访问次数频繁的问题,而且在高维情况以及大码书尺寸下显得尤为突出。
发明内容
本发明的目的在于克服现有技术的不足,提出一种基于多个参考点(参考点数量大于1),根据多个子空间距离来删除不匹配的码字的矢量量化中码字搜索方法。
为实现上述目的,本发明方法的具体步骤如下:
(1)基于原始码书生成一份哈德码变换后的码书;
(2)利用码书生成参考点集合;
(3)为码书中的码字附加相对于参考点集合的方差值;
(4)对待量化的输入向量进行哈德码变换;
(5)为变换的向量附加相对于参考点集合的方差值;
(6)在码书中删除不满足过滤条件的码字,搜索匹配码字;
(7)系统输出匹配码字在码书中的对应编号。
本发明与现有技术比较具有以下优点:
第一,在搜索效率方面,由于本发明采用多参考点集合的方式,与只采用单参考点的搜索方法相比,能够过滤掉更多冗余码字,因此能够降低计算匹配码字的时间复杂度,提高搜索效率。
第二,在磁盘访问方面,本发明采用多参考点集合的方式,与只采用单参考点的搜索方法相比较,能够有效减少码字计算量,较大的减少了磁盘的访问次数。
第三,在适用范围方面,本发明利用参考点集合设定不同的过滤区域对码书进行过滤,不但能够适应较高维数的情形,而且还可以满足大尺寸码书情况下的编码。
附图说明
图1为本发明的流程图。
图2为单参考点下等均值等方差方法的数据访问区域的示意图。
图3为本发明两个参考点下等均值等方差方法的数据访问区域的示意图。
具体实施方式
参照图1,对本发明的实现步骤做具体的描述。
本发明采用C++语言,可以在支持C++语言的环境下实现。在实施本发明所述的方法前,使用LBG算法生成一份原始码书。
步骤1,基于原始码书生成一份哈德码变换后的码书,将原始码书乘以哈德码变换矩阵,得到和原始码书同样大小的变换后的码书;
步骤2,利用变换后的码书生成参考点集合,生成集合的具体步骤是:
2a)将参考点集合中的第一个元素初始为原点,设循环变量为i,初始值为1,用来记录已生成参考点的个数,设定参考点集合中元素个数s,参考点集合s的计算公式如下:
假定码书尺寸k=2n(n>0),那么参考点数量s的计算方式为:
2b)将s作为循环次数,每次循环生成一个参考点,每次循环包括的操作为:在除去第一维剩余的数据组成的码字中找到距离已有参考点最远的点,将这个点作为新的参考点加入到参考点集合中,每次执行循环体后,循环变量i自增1,如果循环变量i=s,则循环退出,系统输出生成的参考点集合。
步骤3,为变换后码书中的码字附加相对于参考点集合的方差值,分别计算变换后的码书中的码字相对于不同的参考点的方差值,并将计算的方差值附于码书后;
步骤4,对待量化的输入向量进行哈德码变换,将待量化的输入向量乘以哈德码变换矩阵,得到同原始向量同样大小的变换后的向量;
步骤5,为变换后的向量附加相对于参考点集合的方差值,分别对变换后的向量计算相对于不同的参考点的方差值,并将计算的方差值附于变换后的向量后;
步骤6,在码书中删除不满足过滤条件的码字,搜索匹配码字,具体步骤如下:
6a)按照变换后码书的第一维分量按照升序进行排序;
6b)根据变换后的量化向量的第一维在变换后的码书中进行索引,得到初始访问码字作为当前访问码字,计算当前量化向量和初始访问码书的距离Dmin,记录当前码字编号;
6c)从当前访问码书向前搜索,如果量化向量和查询码字的第一维分量的差值大于当前Dmin,则转到步骤6d);否则,分别相对于不同参考点使用等均值等方差算法,如果当前搜索码字没有被删除准则删除,则计算量化向量和当前码字的距离TDmin,将TDmin和Dmin比较大小,将其中比较小的值赋值给Dmin,记录具有最小Dmin值的码书的编号;如果当前访问码字为排序后码书中的第一项,转到步骤6d),否则转到步骤6c);
6d)从当前访问码书向后搜索,如果量化向量和查询码字的第一维分量的差值大于当前Dmin,则转到步骤6e);否则,分别相对于不同参考点使用等均值等方差算法,如果当前搜索码字没有被删除准则删除,则计算量化向量和当前码字的距离TDmin,将TDmin和Dmin比较大小,将其中比较小的值赋值给Dmin,记录具有最小Dmin值的码书的编号;如果当前访问码字为排序后码书中的最后一项,转到步骤6e),否则转到步骤6d);
6e)向前向后搜索完毕后,记录具有Dmin值的码字和码字编号,算法结束。
步骤7,系统输出步骤6中记录的码字编号。
图2是单参考点下使用等均值等方差方法数据访问区域的示意图,图2中的圆环阴影部分为一个参考点下搜索的区域,其中1表示单参考点,2表示需要编码的码字,*表示需要访问的码字。图3是本发明的两个参考点下使用等均值等方差方法数据访问区域的示意图,图3中的两个圆环区域重叠部分为两个参考点下搜索的区域,其中3表示第一个参考点,4表示需要编码的码字,5表示第二个参考点,*表示需要访问的码字。显而易见,本发明的搜索性能优于单参考点下的搜索性能。由于本发明使用了参考点集合,相同的条件下本发明可以过滤掉更多的冗余码字,减少了数据访问量,提高搜索效率。
Claims (3)
1.矢量量化中码字搜索方法,包括以下步骤:
(1)基于原始码书生成一份哈德码变换后的码书;
(2)利用码书生成参考点集合;
(3)为码书中的码字附加相对于参考点集合的方差值;
(4)对待量化的输入向量进行哈德码变换;
(5)为变换的向量附加相对于参考点集合的方差值;
(6)在码书中删除不满足过滤条件的码字,搜索匹配码字;
(7)系统输出匹配码字在码书中的对应编号。
2.根据权利要求1所述的矢量量化中码字搜索方法,其特征在于:所述第2步利用码书生成参考点集合的具体步骤为:
2a)将参考点集合中的第一个元素初始为原点,设循环变量为i,初始值为1,用来记录已生成参考点的个数,设定参考点集合中元素个数s,参考点集合s的计算公式如下:
假定码书尺寸k=2n(n>0),那么参考点数量s的计算方式为:
2b)将s作为循环次数,每次循环生成一个参考点,每次循环包括的操作为:在除去第一维剩余的数据组成的码字中找到距离已有参考点最远的点,将这个点作为新的参考点加入到参考点集合中,每次执行循环体后,循环变量i自增1,如果循环变量i=s,则循环退出,系统输出生成的参考点集合。
3.根据权利要求1所述的矢量量化中码字搜索方法,其特征在于:所述第6步在码书中删除不满足过滤条件的码字,搜索匹配码字的具体步骤如下:
6a)按照变换后码书的第一维分量按照升序进行排序;
6b)根据变换后的量化向量的第一维在变换后的码书中进行索引,得到初始访问码字作为当前访问码字,计算当前量化向量和初始访问码书的距离Dmin,记录当前码字编号;
6c)从当前访问码书向前搜索,如果量化向量和查询码字的第一维分量的差值大于当前Dmin,则转到步骤6d);否则,分别相对于不同参考点使用等均值等方差算法,如果当前搜索码字没有被删除准则删除,则计算量化向量和当前码字的距离TDmin,将TDmin和Dmin比较大小,将其中比较小的值赋值给Dmin,记录具有最小Dmin值的码书的编号;如果当前访问码字为排序后码书中的第一项,转到步骤6d),否则转到步骤6c);
6d)从当前访问码书向后搜索,如果量化向量和查询码字的第一维分量的差值大于当前Dmin,则转到步骤6e);否则,分别相对于不同参考点使用等均值等方差算法,如果当前搜索码字没有被删除准则删除,则计算量化向量和当前码字的距离TDmin,将TDmin和Dmin比较大小,将其中比较小的值赋值给Dmin,记录具有最小Dmin值的码书的编号;如果当前访问码字为排序后码书中的最后一项,转到步骤6e),否则转到步骤6d);
6e)向前向后搜索完毕后,记录具有Dmin值的码字和码字编号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010225444A CN101916257B (zh) | 2010-07-12 | 2010-07-12 | 矢量量化中码字搜索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010225444A CN101916257B (zh) | 2010-07-12 | 2010-07-12 | 矢量量化中码字搜索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101916257A true CN101916257A (zh) | 2010-12-15 |
CN101916257B CN101916257B (zh) | 2012-10-24 |
Family
ID=43323769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010225444A Expired - Fee Related CN101916257B (zh) | 2010-07-12 | 2010-07-12 | 矢量量化中码字搜索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101916257B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104244018A (zh) * | 2014-09-19 | 2014-12-24 | 重庆邮电大学 | 快速压缩高光谱信号的矢量量化方法 |
CN104244017A (zh) * | 2014-09-19 | 2014-12-24 | 重庆邮电大学 | 压缩编码高光谱遥感图像的多层次码书矢量量化方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101198041A (zh) * | 2006-12-05 | 2008-06-11 | 华为技术有限公司 | 矢量量化方法及装置 |
CN101266795A (zh) * | 2007-03-12 | 2008-09-17 | 华为技术有限公司 | 一种格矢量量化编解码的实现方法及装置 |
US20090222477A1 (en) * | 2006-03-03 | 2009-09-03 | The Trustees Of Columbia University In The City Of | Methods, systems, and media for forming linear combinations of data |
US20090279805A1 (en) * | 2003-07-03 | 2009-11-12 | Shen-En Qian | Method of coding a continuous data flow using vector quantization |
-
2010
- 2010-07-12 CN CN201010225444A patent/CN101916257B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090279805A1 (en) * | 2003-07-03 | 2009-11-12 | Shen-En Qian | Method of coding a continuous data flow using vector quantization |
US20090222477A1 (en) * | 2006-03-03 | 2009-09-03 | The Trustees Of Columbia University In The City Of | Methods, systems, and media for forming linear combinations of data |
CN101198041A (zh) * | 2006-12-05 | 2008-06-11 | 华为技术有限公司 | 矢量量化方法及装置 |
CN101266795A (zh) * | 2007-03-12 | 2008-09-17 | 华为技术有限公司 | 一种格矢量量化编解码的实现方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104244018A (zh) * | 2014-09-19 | 2014-12-24 | 重庆邮电大学 | 快速压缩高光谱信号的矢量量化方法 |
CN104244017A (zh) * | 2014-09-19 | 2014-12-24 | 重庆邮电大学 | 压缩编码高光谱遥感图像的多层次码书矢量量化方法 |
CN104244017B (zh) * | 2014-09-19 | 2018-02-27 | 重庆邮电大学 | 压缩编码高光谱遥感图像的多层次码书矢量量化方法 |
CN104244018B (zh) * | 2014-09-19 | 2018-04-27 | 重庆邮电大学 | 快速压缩高光谱信号的矢量量化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101916257B (zh) | 2012-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Dl-traff: Survey and benchmark of deep learning models for urban traffic prediction | |
CN103229147B (zh) | 用于去重存储系统内的合成备份的方法和系统 | |
Frangioni et al. | 0–1 reformulations of the multicommodity capacitated network design problem | |
CN104283567B (zh) | 一种名称数据的压缩、解压缩方法及设备 | |
CN103577278B (zh) | 用于数据备份的方法和系统 | |
CN103914483B (zh) | 文件存储方法、装置及文件读取方法、装置 | |
CN103379160A (zh) | 一种超大文件的差异同步方法 | |
CN103678158B (zh) | 一种数据布局优化方法及系统 | |
JP6973150B2 (ja) | 最短経路行列生成プログラム、装置、及び方法 | |
CN103729429A (zh) | 一种基于HBase压缩方法 | |
CN106528896B (zh) | 一种数据库优化方法和装置 | |
CN106095991B (zh) | 一种自动生成从关系型数据库向MongoDB数据库数据迁移的代码的方法 | |
CN103544270B (zh) | 面向数据中心的通用化网络编码容错存储平台及工作方法 | |
CN101916257B (zh) | 矢量量化中码字搜索方法 | |
CN102325161B (zh) | 一种基于查询工作量估算的xml分片方法 | |
CN108062378A (zh) | 一种列式存储下多时间序列的连接查询方法及系统 | |
CN102486775B (zh) | 业务数据的查询方法及装置 | |
CN102156719A (zh) | 全球导航系统的观测值文件编解码方法 | |
CN105095515A (zh) | 支持快速查询Map-Reduce输出结果的分桶方法、装置及设备 | |
CN107609668A (zh) | 一种基于抽象凸自适应策略的生产排产调度优化方法 | |
CN102255617A (zh) | 哈夫曼树的存储方法及利用数组进行数据解码的方法 | |
CN105681425B (zh) | 基于分布式存储系统的多节点修复方法及其系统 | |
CN101609449A (zh) | 一种基于布鲁姆过滤器的数据块快速比较系统 | |
Zhu | Rethinking fractional repetition codes: New construction and code distance | |
CN115983733A (zh) | 基于水位控制的电力市场出清数据处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121024 Termination date: 20180712 |
|
CF01 | Termination of patent right due to non-payment of annual fee |