CN108471531B - 一种基于压缩感知的质量可分级快速编码方法 - Google Patents

一种基于压缩感知的质量可分级快速编码方法 Download PDF

Info

Publication number
CN108471531B
CN108471531B CN201810242647.3A CN201810242647A CN108471531B CN 108471531 B CN108471531 B CN 108471531B CN 201810242647 A CN201810242647 A CN 201810242647A CN 108471531 B CN108471531 B CN 108471531B
Authority
CN
China
Prior art keywords
mode
coding
enhancement layer
skip
base layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810242647.3A
Other languages
English (en)
Other versions
CN108471531A (zh
Inventor
胡栋
丁健宇
何永洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810242647.3A priority Critical patent/CN108471531B/zh
Publication of CN108471531A publication Critical patent/CN108471531A/zh
Priority to PCT/CN2018/111537 priority patent/WO2019179096A1/zh
Application granted granted Critical
Publication of CN108471531B publication Critical patent/CN108471531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于压缩感知的质量可分级快速编码方法，属于视频编码技术领域。本发明方法利用压缩感知理论的稀疏性，在对质量可分级增强层进行编码时对残差块尺寸为8x8的子块进行稀疏表示，编码时为了满足标准编码结构提出补0操作再进行熵编码。本发明还利用了基本层和增强层之间的层间相关性来快速选择子块编码模式以进一步降低编码算法的计算复杂度。相比现有技术，本发明方法能够在保持编码后图像质量的前提下，有效地降低编码端的码率，提高编码器的编码效率。

Description

一种基于压缩感知的质量可分级快速编码方法
技术领域
本发明涉及一种基于压缩感知的质量可分级快速编码方法，属于视频编码技术领域。
背景技术
在许多实际的视频压缩传输应用中，由于网络的异构、用户要求不同、终端能力不同、信道所能提供的Qos(Quality of Service)不同等因素的存在，需要为用户提供不同质量、不同速率的视频图像信号。而解决此类问题的最好方法之一便是采用可分级视频编码，让单个编码器产生多个层次的压缩码流，对于不同层次的码流进行解码，便可以获得不同质量的视频图像信号。然而，可分级视频编码中由于一个甚至多个增强层的精细量化而导致的编码复杂度以及码率急剧增加的问题始终未能很好地解决。压缩感知理论的研究为这一问题的解决提供了可能。压缩感知理论的优点在于信号的投影测量数据量远远小于传统采样方法所获的数据量，突破了香农采样定理的瓶颈，使得高分辨率信号的采集成为了可能。
近年来，已有一些利用压缩感知来改进可分级视频编码的方法。例如，SiyuanXiang和Lin Cai于2011年提出一种应用于无线网络环境下的基于压缩感知的可分级视频编码框架，该编码框架在主要通过不使用运动估计、运动补偿以及帧间预测时只将部分I帧的变换系数进行重构后作为参考帧来降低编码的计算复杂度，但其编码方法总体效果并不理想。此外，S.N.Karishma等人也在2016年提出一种适用于空间应用的压缩感知可分级编码框架。以上两种方法虽然利用了压缩感知达到了降低编码复杂度的目的，但是并没有很好地解决由于多层编码以及压缩感知重构所带来的时延问题，因此总体编码时间有再次被减少的空间。
发明内容
目的：为了克服现有技术中存在的不足，本发明提供一种基于压缩感知的质量可分级快速编码方法，首先利用基本层和增强层之间的相关性快速选择增强层子块候选模式，之后根据实验选择适合的子块经过量化，稀疏编码后传输。
本发明面向H.264和HEVC视频编码标准，在质量可分级视频编码的基本层保持不变的情况下，对精细量化后的增强层加入压缩感知理论，结合压缩感知的稀疏性有选择地对待编码子块进行编码传输，降低原有可分级视频编码增强层编码复杂度，从而提高整体编码框架的编码效率。
由于压缩感知中所用到的稀疏矩阵和测量矩阵需要满足有限等距性(RestrictedIsometry Property,RIP)原则，实际实验中常用DCT或DWT作为稀疏矩阵而采用高斯随机矩阵或贝努利矩阵作为测量矩阵，而在JVT(Joint Video Team)开发的标准视频编码参考软件JSVM中已使用到整数DCT变换，因而本发明采用整数DCT作为稀疏矩阵，高斯随机矩阵为测量矩阵。且通过实验总结分析，当增强层残差块的大小为8x8时，对其进行压缩感知获得的实验效果明显优于对其他尺寸残差块进行稀疏处理的结果，故本发明只对增强层8x8尺寸大小的子块进行稀疏表示。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
一种基于压缩感知的质量可分级快速编码方法，其特征在于：包括如下步骤：
步骤1：初始化参数：
1.1：利用高斯随机函数生成大小为64x64高斯随机矩阵Φ；
1.2：设置可分级视频编码层数为2；
步骤2：判断当前编码帧是否是增强层编码，若不是，表示当前编码帧是基本层编码，对其按照原先方式进行编码；
步骤3：用快速模式选择得到增强层待编码子块的模式；根据子块之间的层间相关性和空间相关性，快速得到当前编码单元的最佳子块划分模式；
步骤4：判断增强层的残差子块transform_size_8x8_flag标志位是否为1，若不是进行步骤5，否则进行步骤6；
步骤5：对残差子块进行原有的细量化和熵编码过程；
步骤6：对8x8大小的残差子块进行细量化，之后利用压缩感知技术对其进行稀疏编码；
步骤7：在解码端判断待解码块是否含有标志位Fm，若没有，进行正常的解码步骤；
步骤8：利用传输得到的Φ以及m计算出Y以及φ，再根据正交匹配追踪算法重构得到原信号。
作为优选方案：步骤3.1：若基本层编码块的最优编码模式为INTRA4x4，则增强层对应位置编码块采用INTRA_BL模式进行编码；
步骤3.2：若基本层编码块的最优编码模式为INTRA16x16，则增强层编码块的候选模式为INTRA_BL、MODE_16x16、MODE_SKIP、INTRA16x16、INTRA4x4其中一种，之后通过率失真优化函数选择其中最优的一种作为增强层对应位置的最优编码模式；
步骤3.3：当基本层的最优编码模式为MODE_SKIP时，
3.3.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式均为MODE_SKIP，则此增强层对应编码位置采用MODE_SKIP模式进行编码；
3.3.2：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP和MODE_16x16的组合，则增强层对应编码位置的候选模式为MODE_SKIP、MODE_16x16、BL_SKIP其中一种；
3.3.3若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16的组合，则增强层对应编码位置的候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16其中一种；
步骤3.4：当基本层编码块的最优编码模式为MODE_16x16时；
3.4.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模包含MODE_SKIP和MODE_16x16的组合，则增强层对应编码位置的候选模式为MODE_SKIP、MODE_16x16、BL_SKIP其中一种；
3.4.2：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16的组合，则增强层对应编码位置的候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16其中一种；
3.4.3：否则，增强层对应位置编码候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16、MODE_8x8其中一种；
步骤3.5：当基本层编码块的最优编码模式为MODE_16x8或MODE_8x16时；
3.5.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16的组合，则增强层对应编码位置的候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16其中一种；
3.5.2：否则，增强层对应位置编码候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16、MODE_8x8其中一种；
步骤3.6：若基本层编码块的最优编码模式为MODE_8x8时；
3.6.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式均为MODE_8x8模式，则增强层对应位置候选模式为BL_SKIP模式、MODE_8x8模式其中一种；
3.6.2：否则，增强层对应位置编码候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_8x8其中一种。
作为优选方案：步骤3.7：对于步骤3.3至3.6中涉及的候选模式，利用层间关联度提前结束模式决策；假设ze和zb分别为基本层和增强层量化后的系数，则通过层间关联度提前模式选择的条件为：ze-zb≤k1，k1为通过实验综合考虑所得的阈值；可重写为re≤Qerb/Qb+k1Qe，其中Qb，Qe分别为基本层和增强层的量化步长；rb，re分别为基本层和增强层的DCT系数，DCT系数的计算公式为r＝∑∑diuxuvdjv，其中diu为整数DCT变换中(i,u)位置所对应的值，xuv为残差信号值，由于diu的取值小于
Figure BDA0001604424730000061
所以
Figure BDA0001604424730000062
因而可得
Figure BDA0001604424730000063
其中SAD为绝对残差和，SADe和SADb分别代表增强层和基本层的绝对残差和；于是当基本层和增强层对应编码块的率失真函数值和量化步长满足条件
Figure BDA0001604424730000064
时，则增强层编码块的模式选择结束，其中RD为率失真代价，RDe和RDb分别代表增强层和基本层的率失真代价。
作为优选方案：所述步骤3中空间相关性子块快速模式选择，当步骤3.7没有生效时，进入步骤3.8；所述步骤3.8：利用空间相关性提前结束模式选择的条件为：|z1-z2|-|z3-z4|≤k2，其中z1，z2为增强层两相邻子块的量化系数，z3，z4为基本层两相邻子块的量化系数，k2为通过实验所得阈值；该条件可重写为|r1-r2|≤Qe|r3-r4|/Qb+k2Qe，其中r1，r2，r3，r4分别为z1，z2，z3，z4的DCT系数，Qb，Qe分别为基本层和增强层的量化步长；根据DCT系数的计算公式r＝∑∑diuxuvdjv，可以得到
Figure BDA0001604424730000065
其中SAD为绝对残差和，SAD1，SAD2为基本层相邻块绝对残差和，SAD3和SAD4增强层相邻块绝对残差和；因此，当基本层和增强层编码块的率失真函数值和量化步长满足条件
Figure BDA0001604424730000066
时，则增强层待编码块的模式选择结束，其中RD为率失真代价，RD1和RD2为基本层相邻块的率失真代价，RD3和RD4为增强层相邻块的率失真代价。
有益效果：本发明提供的一种基于压缩感知的质量可分级快速编码方法，面向H.264和HEVC视频编码标准，提出一种基于压缩感知的质量可分级快速编码方法，利用压缩感知理论的稀疏性，在快速得到增强层待编码子块之后对其有选择地进行稀疏编码，有效地降低了可分级视频编码的码率。相比于原有的质量可分级编码，本发明在信号比衰减可忽略的情况下，有效地提高了编码效率。
附图说明
图1为可分级视频编码编码器的结构框图；
图2基于压缩感知的质量可分级编码示意图；
图3模式选择快速算法流程图；
图4增强层子块模式预测示意图；
图5压缩感知过程示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
可分级视频编码分为时间可分级、空间可分级和质量可分级。如图1所示，此框图为一个基本层和一个增强层的可分级编码情形，在此需要指出的是增强层可以有多层。从图1可知，除去基本层和增强层之间的层间预测技术，基本层和增强层是两个独立的视频编解码过程。由于可分级视频编码基层和增强层的视频序列是同一个视频，只是分辨率、帧率、或者质量不同或者相同而已，对于质量可分级而言，基本层和增强层的视频分辨率是相同的，在基本层和增强层中使用了不同的量化步长来使基本层和增强层得到不同质量的视频以适应不同网络及设备，通常基本层的量化步长要大于增强层的量化步长，这就会导致增强层由于精细量化带来码率的急剧增加，尽管当前已有一些研究通过利用压缩感知来处理该问题，但是它们并没有很好地解决压缩感知重构带来的编码复杂度过大的问题。
本发明提出一种基于压缩感知的质量可分级快速编码方法，利用压缩感知理论对信号采样时完成压缩的优点，本发明方法对可分级视频编码中的增强层的数据进行有选择地稀疏表示，减少增强层残差信号的数据量的同时也不会过多的增强压缩感知的计算复杂度。
如图2所示，一种基于压缩感知的质量可分级快速编码方法，从此流程图上可以看出本发明的改进算法对基本层和增强层有不同的算法。
步骤1：初始化参数：
1.1：利用高斯随机函数生成大小为64x64高斯随机矩阵Φ；
1.2：设置可分级视频编码层数为2。
步骤2：判断当前编码帧是否是增强层编码，若不是，表示当前编码帧是基本层编码，对其按照原先方式进行编码。
步骤3：用快速模式选择得到增强层待编码子块的模式。根据子块之间的层间相关性和空间相关性，快速得到当前编码单元的最佳子块划分模式，如图3所示，具体步骤如下：
步骤3.1：若基本层编码块的最优编码模式为INTRA4x4，则增强层对应位置编码块采用INTRA_BL模式进行编码。
步骤3.2：若基本层编码块的最优编码模式为INTRA16x16，则增强层编码块的候选模式为INTRA_BL、MODE_16x16、MODE_SKIP、INTRA16x16、INTRA4x4其中一种，之后通过率失真优化函数选择其中最优的一种作为增强层对应位置的最优编码模式。
步骤3.3：当基本层的最优编码模式为MODE_SKIP时，如图4所示，
3.3.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式均为MODE_SKIP，则此增强层对应编码位置采用MODE_SKIP模式进行编码。
3.3.2：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP和MODE_16x16的组合，则增强层对应编码位置的候选模式为MODE_SKIP、MODE_16x16、BL_SKIP其中一种。
3.3.3若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16的组合，则增强层对应编码位置的候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16其中一种。
步骤3.4：当基本层编码块的最优编码模式为MODE_16x16时。
3.4.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模包含MODE_SKIP和MODE_16x16的组合，则增强层对应编码位置的候选模式为MODE_SKIP、MODE_16x16、BL_SKIP其中一种。
3.4.2：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16的组合，则增强层对应编码位置的候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16其中一种。
3.4.3：否则，增强层对应位置编码候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16、MODE_8x8其中一种。
步骤3.5：当基本层编码块的最优编码模式为MODE_16x8或MODE_8x16时。
3.5.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16的组合，则增强层对应编码位置的候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16其中一种。
3.5.2：否则，增强层对应位置编码候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16、MODE_8x8其中一种。
步骤3.6：若基本层编码块的最优编码模式为MODE_8x8时。
3.6.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式均为MODE_8x8模式，则增强层对应位置候选模式为BL_SKIP模式、MODE_8x8模式其中一种。
3.6.2：否则，增强层对应位置编码候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_8x8其中一种。
步骤3.7：对于步骤3.3至3.6中涉及的候选模式，利用层间关联度提前结束模式决策。假设ze和zb分别为基本层和增强层量化后的系数，则通过层间关联度提前模式选择的条件为：ze-zb≤k1，k1为通过实验综合考虑所得的阈值，最佳为2.43。可重写为re≤Qerb/Qb+k1Qe，其中Qb，Qe分别为基本层和增强层的量化步长；rb，re分别为基本层和增强层的DCT系数，DCT系数的计算公式为r＝∑∑diuxuvdjv，其中diu为整数DCT变换中(i,u)位置所对应的值，xuv为残差信号值，由于diu的取值小于
Figure BDA0001604424730000111
所以
Figure BDA0001604424730000112
因而可得
Figure BDA0001604424730000113
其中SAD为绝对残差和，SADe和SADb分别代表增强层和基本层的绝对残差和。于是当基本层和增强层对应编码块的率失真函数值和量化步长满足条件
Figure BDA0001604424730000114
时，则增强层编码块的模式选择结束，其中RD为率失真代价，RDe和RDb分别代表增强层和基本层的率失真代价。当步骤3.7没有生效时，进入步骤3.8。
步骤3.8：利用空间相关性提前结束模式选择的条件为：z1-z2|-|z3-z4|≤k2，其中z1，z2为增强层两相邻子块的量化系数，z3，z4为基本层两相邻子块的量化系数，k2为通过实验所得阈值，最佳设定为4.31。该条件可重写为|r1-r2|≤Qe|r3-r4|/Qb+k2Qe，其中r1，r2，r3，r4分别为z1，z2，z3，z4的DCT系数，Qb，Qe分别为基本层和增强层的量化步长。根据DCT系数的计算公式r＝∑∑diuxuvdjv，可以得到
Figure BDA0001604424730000115
其中SAD为绝对残差和，SAD1，SAD2为基本层相邻块绝对残差和，SAD3和SAD4增强层相邻块绝对残差和。因此，当基本层和增强层编码块的率失真函数值和量化步长满足条件
Figure BDA0001604424730000116
时，则增强层待编码块的模式选择结束，其中RD为率失真代价，RD1和RD2为基本层相邻块的率失真代价，RD3和RD4为增强层相邻块的率失真代价。
步骤4：判断增强层的残差子块transform_size_8x8_flag标志位是否为1，若不是进行步骤5，否则进行步骤6。
步骤5：对残差子块进行原有的细量化和熵编码过程。
步骤6：对8x8大小的残差子块进行细量化，之后利用压缩感知技术对其进行稀疏编码。具体步骤如下所示：
步骤6.1：如图5所示，首先将8x8大小的残差矩阵变为长度为N的一维稀疏信号Θ，利用整数DCT变换(稀疏基ψ)对残差子块进行稀疏表示，得到稀疏信号X。
步骤6.2：选用一个与稀疏基ψ满足RIP原则、大小为mx64高斯随机测量矩阵φ，其中m的计算公式为：m＝klog2(N/k)，其中k为稀疏信号中的稀疏度，即不为0的个数。
步骤6.3：将稀疏信号X投影到测量矩阵φ上，得到信号Y，计算公式为Y＝φ·X。
步骤6.4：设立标志位Fm并对测量值后面补上(64-m)个0后的数据进行熵编码。
步骤7：在解码端判断待解码块是否含有标志位Fm，若没有，进行正常的解码步骤。
步骤8：利用传输得到的Φ以及m计算出Y以及φ，再根据正交匹配追踪算法(Orthogonal Matching Pursuit,OMP)重构得到原信号，具体重构步骤如下所示：
步骤8.1：初始化参数设置：残差r(0)＝y，重建信号x(0)＝0，信号的索引集为Γ(0)＝φ，迭代次数为n＝0，停止迭代判决误差ε＞0。
步骤8.2：计算残差和观测矩阵的每行内积g(n)＝φ·r(n-1)。
步骤8.3：找出g(n)中绝对值最大的元素，即
步骤8.4：更新索引集Γ(n)＝Γ(n-1)∪{k}，及原子集合
Figure BDA0001604424730000134
步骤8.5：利用最小二乘法求得近似解
Figure BDA0001604424730000132
步骤8.6：更新残差r(n)＝y-x(n)。
步骤8.7：判断是否满足迭代停止条件，若满足则停止，令x＝x(n)，输出x，否则n＝n+1，返回步骤8.1。
为验证本发明方法相比于原标准中方法所取得的有益效果，进行以下验证实验：选取三段不同的视频序列，利用本发明的方法进行编码，三段视频序列(PartyScene，FlowerVase，ParkRunner)均为分辨率为1280x720，帧率为30。本发明编码方法在H.264的可分级参考软件JSVM9.18上实现并与参考软件进行对比实验一，与另一篇在IEEEInternational Conference on Communications发表的结合压缩感知的可分级视频编码框架(Scalable Video Coding with Compressive Sensing for Wireless Videocast)进行对比试验二。
所得得到实验数据如下图的表1，表2所示：
表1
Figure BDA0001604424730000133
表2
Figure BDA0001604424730000142
从表1的实验数据可以看出相比参考软件本发明的方法能够在维持编码质量衰减在可忽略的提前下一定程度地降低编码码率。
从表2的实验数据可以看出相比与比较算法，本文的算法在视频图像质量衰减效果可忽略的情况下，大幅度的降低了编码时间，提高算法的编码效率。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于压缩感知的质量可分级快速编码方法，其特征在于：包括如下步骤：
步骤1：初始化参数：
1.1：利用高斯随机函数生成大小为64x64高斯随机矩阵Φ；
1.2：设置可分级视频编码层数为2；
步骤2：判断当前编码帧是否是增强层编码，若不是，表示当前编码帧是基本层编码，对其按照原先方式进行编码；
步骤3：用快速模式选择得到增强层待编码子块的模式；根据子块之间的层间相关性和空间相关性，快速得到当前编码单元的最佳子块划分模式；
所述步骤3中快速模式选择得到增强层待编码子块的模式，具体步骤如下：
步骤3.1：若基本层编码块的最优编码模式为INTRA4x4，则增强层对应位置编码块采用INTRA_BL模式进行编码；
步骤3.2：若基本层编码块的最优编码模式为INTRA16x16，则增强层编码块的候选模式为INTRA_BL、MODE_16x16、MODE_SKIP、INTRA16x16、INTRA4x4其中一种，之后通过率失真优化函数选择其中最优的一种作为增强层对应位置的最优编码模式；
步骤3.3：当基本层的最优编码模式为MODE_SKIP时，
3.3.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式均为MODE_SKIP，则此增强层对应编码位置采用MODE_SKIP模式进行编码；
3.3.2：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP和MODE_16x16的组合，则增强层对应编码位置的候选模式为MODE_SKIP、MODE_16x16、BL_SKIP其中一种；
3.3.3若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16的组合，则增强层对应编码位置的候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16其中一种；
步骤3.4：当基本层编码块的最优编码模式为MODE_16x16时；
3.4.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模包含MODE_SKIP和MODE_16x16的组合，则增强层对应编码位置的候选模式为MODE_SKIP、MODE_16x16、BL_SKIP其中一种；
3.4.2：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16的组合，则增强层对应编码位置的候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16其中一种；
3.4.3：否则，增强层对应位置编码候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16、MODE_8x8其中一种；
步骤3.5：当基本层编码块的最优编码模式为MODE_16x8或MODE_8x16时；
3.5.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式包含MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16的组合，则增强层对应编码位置的候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16其中一种；
3.5.2：否则，增强层对应位置编码候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_16x8、MODE_8x16、MODE_8x8其中一种；
步骤3.6：若基本层编码块的最优编码模式为MODE_8x8时；
3.6.1：若增强层中对应编码位置的左面、上面、左上面已编码的宏块的最优编码模式均为MODE_8x8模式，则增强层对应位置候选模式为BL_SKIP模式、MODE_8x8模式其中一种；
3.6.2：否则，增强层对应位置编码候选模式为BL_SKIP、MODE_SKIP、MODE_16x16、MODE_8x8其中一种；
步骤3.7：对于步骤3.3至3.6中涉及的候选模式，利用层间关联度提前结束模式决策；假设ze和zb分别为基本层和增强层量化后的系数，则通过层间关联度提前模式选择的条件为：ze-zb≤k1，k1为通过实验综合考虑所得的阈值；可重写为re≤Qerb/Qb+k1Qe，其中Qb，Qe分别为基本层和增强层的量化步长；rb，re分别为基本层和增强层的DCT系数，DCT系数的计算公式为r＝∑∑diuxuvdjv，其中diu为整数DCT变换中(i,u)位置所对应的值，xuv为残差信号值，由于diu的取值小于
Figure FDA0002204011930000031
所以
Figure FDA0002204011930000032
因而可得
Figure FDA0002204011930000033
其中SAD为绝对残差和，SADe和SADb分别代表增强层和基本层的绝对残差和；于是当基本层和增强层对应编码块的率失真函数值和量化步长满足条件
Figure FDA0002204011930000041
时，则增强层编码块的模式选择结束，其中RD为率失真代价，RDe和RDb分别代表增强层和基本层的率失真代价；
所述步骤3中空间相关性子块快速模式选择，当步骤3.7没有生效时，进入步骤3.8；所述步骤3.8：利用空间相关性提前结束模式选择的条件为：|z1-z2|-|z3-z4|≤k2，其中z1，z2为增强层两相邻子块的量化系数，z3，z4为基本层两相邻子块的量化系数，k2为通过实验所得阈值；该条件可重写为|r1-r2|≤Qe|r3-r4|/Qb+k2Qe，其中r1，r2，r3，r4分别为z1，z2，z3，z4的DCT系数，Qb，Qe分别为基本层和增强层的量化步长；根据DCT系数的计算公式r＝∑∑diuxuvdjv，可以得到
Figure FDA0002204011930000042
其中SAD为绝对残差和，SAD1，SAD2为基本层相邻块绝对残差和，SAD3和SAD4为增强层相邻块绝对残差和；因此，当基本层和增强层编码块的率失真函数值和量化步长满足条件
Figure FDA0002204011930000043
时，则增强层待编码块的模式选择结束，其中RD为率失真代价，RD1和RD2为基本层相邻块的率失真代价，RD3和RD4为增强层相邻块的率失真代价；
步骤4：判断增强层的残差子块transform_size_8x8_flag标志位是否为1，若不是进行步骤5，否则进行步骤6；
步骤5：对残差子块进行原有的细量化和熵编码过程；
步骤6：对8x8大小的残差子块进行细量化，之后利用压缩感知技术对其进行稀疏编码；
所述步骤6具体步骤如下：
步骤6.1：首先将8x8大小的残差矩阵变为长度为N的一维稀疏信号Θ，利用整数DCT变换，稀疏基ψ，对残差子块进行稀疏表示，得到稀疏信号X；
步骤6.2：选用一个与稀疏基ψ满足RIP原则、大小为mx64高斯随机测量矩阵φ，其中m的计算公式为：m＝k log2(N/k)，其中k为稀疏信号中的稀疏度，即不为0的个数；
步骤6.3：将稀疏信号X投影到测量矩阵φ上，得到信号Y，计算公式为Y＝φ·X；
步骤6.4：设立标志位Fm并对测量值后面补上64-m个0后的数据进行熵编码；
步骤7：在解码端判断待解码块是否含有标志位Fm，若没有，进行正常的解码步骤；
步骤8：利用传输得到的Φ以及m计算出Y以及φ，再根据正交匹配追踪算法重构得到原信号；
所述步骤8中具体重构步骤如下：
步骤8.1：初始化参数设置：残差r(0)＝y，重建信号x(0)＝0，信号的索引集为Γ(0)＝φ，迭代次数为n＝0，停止迭代判决误差ε＞0；
步骤8.2：计算残差和观测矩阵的每行内积g(n)＝φ·r(n-1)；
步骤8.3：找出g(n)中绝对值最大的元素，即
Figure FDA0002204011930000051
步骤8.4：更新索引集Γ(n)＝Γ(n-1)∪{k}，及原子集合
Figure FDA0002204011930000052
步骤8.5：利用最小二乘法求得近似解
步骤8.6：更新残差r(n)＝y-x(n)；
步骤8.7：判断是否满足迭代停止条件，若满足则停止，令x＝x(n)，输出x，否则n＝n+1，返回步骤8.1。
2.根据权利要求1所述的一种基于压缩感知的质量可分级快速编码方法，其特征在于：所述k1最佳设定为2.43。
3.根据权利要求1所述的一种基于压缩感知的质量可分级快速编码方法，其特征在于：所述k2最佳设定为4.31。
CN201810242647.3A 2018-03-22 2018-03-22 一种基于压缩感知的质量可分级快速编码方法 Active CN108471531B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810242647.3A CN108471531B (zh) 2018-03-22 2018-03-22 一种基于压缩感知的质量可分级快速编码方法
PCT/CN2018/111537 WO2019179096A1 (zh) 2018-03-22 2018-10-24 一种基于压缩感知的质量可分级快速编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810242647.3A CN108471531B (zh) 2018-03-22 2018-03-22 一种基于压缩感知的质量可分级快速编码方法

Publications (2)

Publication Number Publication Date
CN108471531A CN108471531A (zh) 2018-08-31
CN108471531B true CN108471531B (zh) 2020-02-07

Family

ID=63265780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810242647.3A Active CN108471531B (zh) 2018-03-22 2018-03-22 一种基于压缩感知的质量可分级快速编码方法

Country Status (2)

Country Link
CN (1) CN108471531B (zh)
WO (1) WO2019179096A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108471531B (zh) * 2018-03-22 2020-02-07 南京邮电大学 一种基于压缩感知的质量可分级快速编码方法
CN109547961B (zh) * 2018-11-29 2020-06-09 北京理工大学 一种无线传感网络中大数据量压缩感知编解码方法
CN109743571B (zh) * 2018-12-26 2020-04-28 西安交通大学 一种基于并行压缩感知多层残差系数的图像编码方法
CN109819258A (zh) * 2019-01-30 2019-05-28 东华大学 一种基于螺旋式扫描的分块压缩感知方向预测编码方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363119B1 (en) * 1998-03-05 2002-03-26 Nec Corporation Device and method for hierarchically coding/decoding images reversibly and with improved coding efficiency
CN101272489A (zh) * 2007-03-21 2008-09-24 中兴通讯股份有限公司 视频图像质量增强的编解码装置与编解码方法
CN102769747A (zh) * 2012-06-29 2012-11-07 中山大学 一种基于并行迭代的分级分布式视频编解码方法及系统
CN102833542A (zh) * 2012-08-09 2012-12-19 芯原微电子(北京)有限公司 一种提高可伸缩视频编码质量增强层编码速度装置和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108471531B (zh) * 2018-03-22 2020-02-07 南京邮电大学 一种基于压缩感知的质量可分级快速编码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363119B1 (en) * 1998-03-05 2002-03-26 Nec Corporation Device and method for hierarchically coding/decoding images reversibly and with improved coding efficiency
CN101272489A (zh) * 2007-03-21 2008-09-24 中兴通讯股份有限公司 视频图像质量增强的编解码装置与编解码方法
CN102769747A (zh) * 2012-06-29 2012-11-07 中山大学 一种基于并行迭代的分级分布式视频编解码方法及系统
CN102833542A (zh) * 2012-08-09 2012-12-19 芯原微电子(北京)有限公司 一种提高可伸缩视频编码质量增强层编码速度装置和方法

Also Published As

Publication number Publication date
WO2019179096A1 (zh) 2019-09-26
CN108471531A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
CN108471531B (zh) 一种基于压缩感知的质量可分级快速编码方法
JP5270757B2 (ja) 係数ブロックにおける有意な係数の位置の符号化によるビデオ符号化
EP2119238B1 (en) Coding mode selection using information of other coding modes
US7266149B2 (en) Sub-block transform coding of prediction residuals
CN103329522B (zh) 用于使用字典编码视频的方法
EP1457056B1 (en) Skip macroblock coding
JP2012178864A (ja) 多層ビデオ設計のためのレート制御
KR20060119736A (ko) 영상 신호의 인코딩 방법
Schroeder et al. Block structure reuse for multi-rate high efficiency video coding
KR20130053645A (ko) 적응적 루프 필터를 이용한 비디오 부호화/복호화 방법 및 장치
KR100757208B1 (ko) Ｈ.264 부호화를 위한 움직임 추정에서의 고속 다중 참조프레임 선택 방법
CN110351552B (zh) 视频编码中一种快速编码方法
CN101115200A (zh) 一种有效的运动矢量可伸缩编码方法
CN110913232B (zh) 一种tu划分模式的选择方法及装置、可读存储介质
KR20080004855A (ko) 문맥 기반 적응적 가변 길이 부호화 인코더 및 디코더,문맥 기반 적응성 가변 길이 부호화하는 방법과 복호화하는방법 및 이를 이용한 동영상 전송 시스템.
Milani et al. Distributed video coding based on lossy syndromes generated in hybrid pixel/transform domain
CN111355952B (zh) 一种编码系数消除方法及改进型hevc编码方法
CN112243123B (zh) 一种基于无损编码的hevc码率优化方法
Taieb et al. Spatial correlation-based side information refinement for distributed video coding
CN1514651A (zh) 低码率下的高效小波视频编解码方法
Letaief et al. Real time HEVC video compression using Hybrid DWT-DCT algorithm on an FPGA
Ibrahim et al. Improved Video Coding Technique for Next Generation Communication System.
Sun et al. A fast quality scalable video coding method based on compressed sensing
Rup et al. A mixed framework for transform domain wyner–ziv video coding
KR101096619B1 (ko) 데이터 인코딩, 디코딩 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant