CN113207001A - 一种面向量化分块压缩感知的区域层次化预测编码方法 - Google Patents
一种面向量化分块压缩感知的区域层次化预测编码方法 Download PDFInfo
- Publication number
- CN113207001A CN113207001A CN202110463409.7A CN202110463409A CN113207001A CN 113207001 A CN113207001 A CN 113207001A CN 202110463409 A CN202110463409 A CN 202110463409A CN 113207001 A CN113207001 A CN 113207001A
- Authority
- CN
- China
- Prior art keywords
- block
- vector
- vectors
- blocks
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013139 quantization Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 110
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
在量化分块压缩感知的预测编码中,大量低效的候选者将导致较高的复杂度。为了降低量化分块压缩感知的编码失真,本发明提出一种基于上下文感知候选集和区域层次化相关性的预测编码方法。在所有块以同一采样率进行观测后,各块按由内向外的扫描顺序进行预测与量化,当前观测矢量从上下文感知候选集中选取与之具有最小均方误差的反量化矢量,作为其预测矢量;并根据层次相关性,所有块划分到三种区域之一,通过块编码模型为不同区域设定差异化的质量因子,关键区域被赋予比非关键区域更大的质量因子。与现有方法比,该方法综合利用了观测矢量之间的空域相关性和层次相关性,提高了预测矢量的匹配度和参考价值,在预测编码中获得良好的率失真性能。
Description
技术领域
本发明涉及图像信号的获取与压缩技术,尤其涉及一种面向量化分块压缩感知的观测矢量预测编码方法。
背景技术
量化分块压缩感知的测量端将目标图像划分成互不重叠的若干块,采用块级观测矩阵对各块进行独立的采样,获得各块的观测矢量,然后执行预测和量化编码。如果需要改变整幅图像的压缩比,测量端可对采样率或质量因子进行调整。分块操作虽然提高了图像处理的实时性,但忽略了块与块之间的空域冗余。若当前块的原始像素与相邻块的原始像素具有较强的空域相关性,那么进行线性投影至低维空间后所得观测矢量的相关性依然较强,尤其对于大面积的背景区域,相邻块之间的观测矢量差异很小。若能在量化之前,消除观测矢量之间的相关性,那么率失真性能将得到提升。
观测矢量预测编码是指在获得当前块的观测矢量之后,在测量域利用相邻块的反量化矢量对当前块的观测矢量进行差分预测,然后对残差进行量化和熵编码,以减少码流冗余度。现有的预测编码方法采用固定的预测模式,难以充分利用观测矢量之间的多种相关性。为了解决这一问题,本发明在测量端引入区域层次化预测编码方法,通过构建块编码模型为不同区域分配合适的质量因子,以提高量化分块压缩感知的率失真性能。
发明内容
本发明要解决的技术问题是:如何在量化分块压缩感知中执行优化的观测矢量预测编码,在码率约束下降低目标图像的编码失真。
为了解决上述技术问题,本发明的技术方案是提供一种区域层次化预测编码方法,主要包含以下两个并行运作的环节:
(1)在目标图像的所有N块以同一采样率进行观测后(N≥9),各块从中心块开始、按由内向外的扫描顺序进行编号,i表示块号,i=1,2,…,N。yi表示第i块的观测矢量,最多同时四个相邻块的反量化矢量可能用于yi的预测。yi的上下文感知候选集Pi从四个可能相邻块的反量化矢量中选择至多两个更重要的反量化矢量,其重要性准则包括:在逐块预测编码中,某块被编码得越早,它就越相对重要;空间上更接近的相邻块更重要。通过最小化观测矢量yi与候选集Pi中的反量化矢量之间的残差,第i块的预测矢量选自与之具有最小均方误差的反量化矢量,即其中l1范式‖*‖1是将矢量所有条目的绝对值相加。
(2)根据层次相关性,目标图像的所有N块被划分到三种区域之一:关键区域、非关键区域和分散区域。如果反量化矢量可能被至少六个观测矢量所预测参考,则该反量化矢量所在的块将被划分到关键区域,这些观测矢量所在的块将被划分到非关键区域;其余块属于分散区域。质量因子是整数,Ci表示第i块的观测矢量中所有分量的标准差,第i块的预测比特数使用块编码模型模型参数α>0和β<0依赖于图像内容和初始质量因子Q。参数拟合所需的K个样本(K≈0.2N)来自于N个观测矢量的随机选取,这些样本采用初始质量因子Q进行量化,参数α和β可通过下式进行求解: 其中,和分别表示第k个样本(1≤k≤K)的实际比特数和基于块编码模型的预测比特数。Qn表示非关键区域的质量因子,可通过求解下式获得:其中,Пk和Пn分别表示关键区域和非关键区域,符号“[]”表示最接近的整数,经验常数τ=1.1。至此,关键区域、非关键区域、分散区域分别采用质量因子[τQ]、Qn、Q逐块地执行最终的量化和熵编码。
有益效果
观测矢量预测编码是量化分块压缩感知的重要机制之一,为了在码率约束下有效地降低测量端的编码失真,本发明提出了一种基于上下文感知候选集和区域层次化相关性的观测矢量预测编码方法。所有块按由内向外的扫描顺序逐块地进行预测与量化,为观测矢量从上下文感知候选集中选择预测矢量,并对层次相关性较强的关键区域赋予较大的质量因子。与现有的预测编码方法相比,所提方法不需要将信号分布作为先验知识,充分利用了相邻块观测矢量之间的空域相关性以及预测编码过程中的层次相关性,通过块编码模型为不同区域自适应地分配质量因子,在保持平均采样率的同时,有效降低了目标图像的编码失真。
附图说明
图1是量化分块压缩感知的测量端模块图;
图2是上下文感知候选集的示意图;
图3是逐块预测过程中的区域层次化相关性;
图4是三种区域的示例图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
面向低复杂度的测量端,图1给出了量化分块压缩感知的测量端模块图。测量端的BCS观测模块将目标图像划分为不重叠的块,所有块采用同一采样率进行观测;在这些模块中,量化模块和反量化模块仅占用了测量端少量的复杂度,预测模块消耗了主要的计算资源;熵编码模块用于生成二进制比特流,以供数据传输或存储;预测模块存储反量化矢量。在接收到比特流之后,重建端可以利用任何图像重建算法来恢复图像。
测量端将目标图像x划分为N=100个不重叠的块,块大小是B2像素。块级观测矩阵ΦB是一个大小为MB×B2的高斯随机矩阵,MB比B2小得多。图像级观测矩阵Φ由沿对角线的多个ΦB组成,即Φ=diag([ΦB,ΦB,…,ΦB]。所有块按一定的顺序编号,i表示块号,i=1,2,…,N。表示图像中第i块的原始信号。BCS观测模块通过块级观测矩阵ΦB获取所有块的观测矢量。表示第i块的观测矢量。当采样率S=MB/B2时,xi由块级观测矩阵ΦB独立测量,从而产生第i块的观测矢量yi。块级观测过程可以表示为:
yi=ΦB·xi (1)
测量端只需存储ΦB,而不需要存储整个Φ。在所有块以同一采样率进行观测后,测量端开始执行逐块的预测编码。由于相邻块之间的相关性,预测编码技术可以减少观测矢量的冗余。在测量端,表示图像x中第i块的反量化矢量;对于观测矢量yi的预测,第i块的候选集Pi由其邻域中的一个或多个反量化矢量组成;表示第i块的预测矢量,它从第i块的候选集Pi中选择反量化矢量。因此,预测残差di是观测矢量yi与预测矢量的差值,其计算公式如下:
di是实值,需要执行量化操作。由于随机观测,压缩感知的质量因子应该是细粒度的。测量端通过一个初始质量因子Q对预测残差di进行量化,得到量化值si,然后对量化值si进行熵编码。为了后续的预测编码,表示第i块的反量化残差。通过将与预测矢量相加,反量化矢量表示为:
在目标图像中,各块之间并不独立,当前块与相邻块具有一定的空域相关性。可以推断,每个观测矢量与其周围的反量化矢量也具有空域相关性。如果当前块具有更好的候选集,则其预测矢量能够更接近当前观测矢量。基于候选集中的反量化矢量,预测编码需要计算当前观测矢量与每个反量化矢量之间的均方误差,预测矢量是具有最小均方误差的反量化矢量。现有的预测编码方法几乎都选择了三个或四个反量化矢量。
在逐块预测编码中,图2给出了上下文感知候选集的示意图,当前块的邻域包括八个可能候选的相邻块,并且最多同时四个相邻块的反量化矢量可能用于当前块的预测。上下文感知候选集是从四个可能相邻块的反量化矢量中选择至多两个更重要的反量化矢量,其重要性准则包括:在逐块预测编码中,某块被编码得越早,它就越相对重要;空间上更接近的相邻块更重要。根据该重要性准则,当前块周围的八个相邻块从1到8排序,其中序号越小,对于预测编码越重要。所提方法按照序号的升序,从当前块周围八个相邻块的候选反量化矢量中选择至多两个更重要的反量化矢量,由此获得当前块的候选集Pi。一个块需要一个指示比特。
所提方法从图像的中心块开始,按由内向外的扫描顺序继续预测编码后续块。当前块的观测矢量从候选集中选择其预测矢量。通过最小化观测矢量yi与候选集Pi的反量化矢量之间的残差,第i块的预测矢量由以下公式确定:
如果当前块的预测矢量越精确,则预测残差越小,压缩比越高。量化值si进行熵编码,获得比特流。同时,量化值si被反量化,获得反量化残差预测编码可以消除矢量之间的冗余:首先,相邻矢量在测量域具有空域相关性;其次,各块具有不同的层次相关性。在逐块预测编码中,一个反量化矢量可能被0~8个观测矢量所参考。图3示出了逐块预测过程中的区域层次化相关性,其中六个观测矢量(块号分别为4、11、12、13、14、15)的预测可利用块号为第3块的反量化矢量,五个观测矢量(块号分别为5、6、14、15、16)的预测可利用块号为第4块的反量化矢量。因此,第3块比第4块具有更强的层次相关性。
对于目标图像的所有观测矢量,逐块扫描的预测编码顺序呈现由内向外的趋势。第3块的反量化矢量可能将被六个观测矢量作为预测参考,而第4块的反量化矢量可能将被五个观测矢量作为预测参考,依此类推。当相同的反量化矢量可能预测更多的观测矢量时,反量化矢量所在的块具有更强的层次相关性。因此,根据层次相关性,所有块划分到三种区域之一,即关键区域、非关键区域和分散区域。如果反量化矢量可能被至少六个观测矢量所预测参考,则该反量化矢量所在的块将被分类到关键区域,对应观测矢量所在的那些块将被分类到非关键区域;其余块属于分散区域。关键区域的块大多位于在预测编码顺序中更为关键的角点处。图4给出了三种区域的示例图:关键区域(黑色)、非关键区域(对角线)和分散区域(白色),其中块号i按由内向外的扫描顺序从1到100,较小的块号表示该块是较早编码的。
图像的不同区域包含各种层次信息,可为每个区域自适应地分配质量因子,更大的质量因子将导致较大的码率和较小的编码失真。高质量的关键区域具有很强的预测重要性,可提高对应非关键区域的预测精度。因此,层次相关性较强的关键区域应赋予较大的质量因子。质量因子是整数,Ci表示第i块的观测矢量中所有分量的标准差,所提方法使用如下的块编码模型来预测比特数:
上式中,是第i块的预测比特数,模型参数α>0和β<0依赖于图像内容和初始质量因子Q。参数拟合所需的K个样本(K≈0.2N)来自于N个观测矢量的随机选取,这些样本采用初始质量因子Q进行量化,模型参数α和β可通过下式进行求解:
上式中,Пk和Пn分别表示关键区域和非关键区域,符号“[]”表示最接近的整数,经验常数τ=1.1。至此,关键区域、非关键区域、分散区域分别采用质量因子[τQ]、Qn、Q逐块地执行量化和熵编码。重建端在收到比特流后,可采用任意一种图像重构算法进行恢复。
Claims (2)
1.一种面向量化分块压缩感知的区域层次化预测编码方法,包括两个并行运作的环节,其特征在于,在目标图像的所有N块(N≥9)以同一采样率执行观测后,所述环节(1)从中心块开始、按由内向外的扫描顺序对所有N块进行编号,i表示块号,i=1,2,…,N;第i块的观测矢量yi可能参考四个相邻块的反量化矢量,yi对应的上下文感知候选集Pi从这四个相邻块的反量化矢量中选择至多两个更重要的反量化矢量,其重要性准则为:在逐块预测编码中,某相邻块被编码得越早,它就越相对重要;空间上更接近的相邻块更重要;通过比较观测矢量yi与候选集Pi中反量化矢量之间的均方误差,第i块的预测矢量是具有最小均方误差的反量化矢量,即其中l1范式‖*‖1是对矢量所有条目的绝对值求和。
2.一种面向量化分块压缩感知的区域层次化预测编码方法,其特征在于,所述环节(2)根据层次相关性,将目标图像的所有N块划分到三种区域之一:关键区域、非关键区域、分散区域,如果反量化矢量可能被至少六个观测矢量所预测参考,则该反量化矢量所在的块将被划分到关键区域,这些观测矢量所在的块将被划分到非关键区域;其余块属于分散区域,第i块的预测比特数采用块编码模型模型参数α>0和β<0依赖于图像内容和初始质量因子Q,Ci是yi中所有分量的标准差,模型参数拟合所需的K个样本(K≈0.2N)来自于N个观测矢量的随机选取,这些样本采用初始质量因子Q进行量化,α和β通过下式求解:其中和分别表示第k个样本(1≤k≤K)的实际比特数和基于块编码模型的预测比特数,Qn表示非关键区域的质量因子,通过下式求解: 其中Пk和Пn分别表示关键区域和非关键区域,经验常数τ=1.1,符号“[]”表示最接近的整数,至此,关键区域、非关键区域、分散区域分别采用质量因子[τQ]、Qn、Q逐块地执行最终的量化和熵编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110463409.7A CN113207001B (zh) | 2021-04-23 | 2021-04-23 | 一种面向量化分块压缩感知的区域层次化预测编码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110463409.7A CN113207001B (zh) | 2021-04-23 | 2021-04-23 | 一种面向量化分块压缩感知的区域层次化预测编码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113207001A true CN113207001A (zh) | 2021-08-03 |
CN113207001B CN113207001B (zh) | 2022-08-26 |
Family
ID=77029320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110463409.7A Expired - Fee Related CN113207001B (zh) | 2021-04-23 | 2021-04-23 | 一种面向量化分块压缩感知的区域层次化预测编码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113207001B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006101126A1 (ja) * | 2005-03-22 | 2006-09-28 | Matsushita Electric Industrial Co., Ltd. | 符号化装置および符号化装置を備えた動画像記録システム |
CN108235020A (zh) * | 2018-01-05 | 2018-06-29 | 东华大学 | 一种面向量化分块压缩感知的螺旋式逐块测量值预测方法 |
CN109743571A (zh) * | 2018-12-26 | 2019-05-10 | 西安交通大学 | 一种基于并行压缩感知多层残差系数的图像编码方法 |
CN109819258A (zh) * | 2019-01-30 | 2019-05-28 | 东华大学 | 一种基于螺旋式扫描的分块压缩感知方向预测编码方法 |
-
2021
- 2021-04-23 CN CN202110463409.7A patent/CN113207001B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006101126A1 (ja) * | 2005-03-22 | 2006-09-28 | Matsushita Electric Industrial Co., Ltd. | 符号化装置および符号化装置を備えた動画像記録システム |
CN108235020A (zh) * | 2018-01-05 | 2018-06-29 | 东华大学 | 一种面向量化分块压缩感知的螺旋式逐块测量值预测方法 |
CN109743571A (zh) * | 2018-12-26 | 2019-05-10 | 西安交通大学 | 一种基于并行压缩感知多层残差系数的图像编码方法 |
CN109819258A (zh) * | 2019-01-30 | 2019-05-28 | 东华大学 | 一种基于螺旋式扫描的分块压缩感知方向预测编码方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113207001B (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9451266B2 (en) | Optimal intra prediction in block-based video coding to calculate minimal activity direction based on texture gradient distribution | |
US5136374A (en) | Geometric vector quantization | |
CN104967857B (zh) | 对图像进行编码/解码的方法和设备 | |
WO2018034253A1 (en) | Method, encoder system and non-transitory computer readable recording medium storing thereon program for encoding point cloud of representing scene | |
CN108235020B (zh) | 一种面向量化分块压缩感知的螺旋式逐块测量值预测方法 | |
CN107318017A (zh) | 对视频数据进行解码的方法和设备 | |
CN106851292A (zh) | 用于帧内预测的解码图像的方法 | |
CN109429071A (zh) | 图像编码装置、图像解码装置及图像处理方法 | |
CN109166160B (zh) | 一种采用图形预测的三维点云压缩方法 | |
Hu et al. | Optimized spatial recurrent network for intra prediction in video coding | |
CN105025298B (zh) | 对图像进行编码/解码的方法和设备 | |
Wan et al. | APMC: adjacent pixels based measurement coding system for compressively sensed images | |
Liu et al. | High-performance Effective Scientific Error-bounded Lossy Compression with Auto-tuned Multi-component Interpolation | |
Said et al. | Highly efficient non-separable transforms for next generation video coding | |
CN113207001B (zh) | 一种面向量化分块压缩感知的区域层次化预测编码方法 | |
KR101192060B1 (ko) | 블록 세트의 코딩을 위한 모션 벡터를 선택하는 방법 및장치 | |
CN102484702A (zh) | 用于通过使用旋转变换对图像编码和解码的方法和设备 | |
Li et al. | Explainable machine learning based transform coding for high efficiency intra prediction | |
Slyz et al. | A nonlinear VQ-based predictive lossless image coder | |
CN113055678B (zh) | 一种基于相邻像素相关性的测量域压缩感知编码算法 | |
CN114143536B (zh) | 一种shvc空间可伸缩帧的视频编码方法 | |
Kamisli | Learned lossless image compression through interpolation with low complexity | |
CN114143537A (zh) | 一种基于可能性大小的全零块预测方法 | |
Liu et al. | Scientific Error-bounded Lossy Compression with Super-resolution Neural Networks | |
CN110035285A (zh) | 基于运动矢量敏感度的深度预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220826 |
|
CF01 | Termination of patent right due to non-payment of annual fee |