CN113132736B - 一种基于dct域的hevc压缩噪声水平估计去噪方法 - Google Patents
一种基于dct域的hevc压缩噪声水平估计去噪方法 Download PDFInfo
- Publication number
- CN113132736B CN113132736B CN201911408490.8A CN201911408490A CN113132736B CN 113132736 B CN113132736 B CN 113132736B CN 201911408490 A CN201911408490 A CN 201911408490A CN 113132736 B CN113132736 B CN 113132736B
- Authority
- CN
- China
- Prior art keywords
- hevc
- noise
- compression
- dct
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 title claims abstract description 63
- 230000006835 compression Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013139 quantization Methods 0.000 claims abstract description 22
- 238000005315 distribution function Methods 0.000 claims abstract description 10
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 7
- 230000009466 transformation Effects 0.000 abstract description 7
- 239000011159 matrix material Substances 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical compound CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提出了一种基于DCT域的HEVC压缩噪声水平估计去噪方法。考虑HEVC压缩编码过程本身是对DCT系数进行量化，而量化是产生压缩噪声的根本来源，压缩噪声与DCT系数密不可分，通过DCT系数估计压缩噪声水平较为精确。在不改变编码器的情况下，提出一种在HEVC解码端利用码流中获取的量化参数、帧内帧间压缩噪声分布函数及当前视频帧重建块DCT系数对压缩视频进行压缩噪声水平估计及去除的方法。实验结果表明，本发明方法与HEVC标准相比，帧内编码时平均BDBR减少3.06％，BDPSNR高0.1671dB，帧间编码时平均BDBR4.11％，BDPSNR高0.2576dB，说明本发明方法起到了很好的去噪效果。
Description
技术领域
本发明涉及图像通信领域中的视频编码技术问题，尤其是涉及一种基于DCT域的HEVC压缩噪声水平估计去噪方法。
背景技术
随着智能化设备的不断普及，人们对图像视频的质量和分辨率要求越来越高，已经不仅仅是满足人眼观察，而更需要利用智能化设备终端对其进行智能化分析。但是受终端设备编解码方式和其固定的带宽限制以及传统视频压缩环节会造成一定程度信息的损失等原因，迫切需要我们在视频压缩标准上进一步实现视频高性能压缩。因此，需要考虑在当前主流的视频编码标准H.265/HEVC(High Efficiency Video Coding)基础上结合新的视频技术，有效提升视频编码性能。使用H.265/HEVC进行压缩编码时，残差信号经过离散余弦变换(DCT，Discrete Cosine Transform)后，变换系数往往具有较大的动态范围。因此对变换系数进行量化可以有效地减小信号取值空间，进而获得更好的压缩效果。但同时，由于多对一的映射机制，量化过程不可避免地会引入失真，尤其是视频编码中产生噪声及失真的根本原因。有损压缩后的视频会存在压缩效应(比如块效应、振铃效应、模糊和颜色偏移等)。因此，需要进一步研究探索针对H.265/HEVC编解码后的视频进行去压缩效应的算法，本发明期望通过一种在DCT域进行量化噪声水平估计并结合HEVC量化矩阵约束去噪的方法，进一步提升视频质量，获得更好的压缩效益。
目前，针对图像的去压缩效应的工作有一定开展，而针对视频的则相对较少。压缩噪声是压缩效应的一个重要指标，因此，对压缩视频进行压缩噪声估计是去压缩效应的重要环节。Jian J提出一种使用主成分分析方法来实现字典更新的非局部集中稀疏表示去噪算法。Zhang J将图像去块效应作为最大后验框架内的优化问题，提出一种新的约束非凸低秩模型图像去块算法。Zhang X提出了内容自适应估计和压缩降噪的统一框架，根据压缩噪声水平和奇异值自适应地确定阈值自适应的降噪去噪，并在此基础上，提出了一种利用图像非局部先验知识的新型自适应环路滤波器，通过对相似图像块施加低秩约束来抑制压缩视频噪声。
发明内容
针对高性能视频压缩编码标准HEVC压缩后视频帧质量还可以提高，进一步利用压缩过程相关信息对解码后的视频进行信息补偿，本文发明提出一种基于DCT域的HEVC压缩噪声水平估计去噪方法，在合理的时间复杂度范围内，尽可能提高重建视频质量。
本发明的基本思想是在控制时间复杂度的前提下，充分利用压缩过程相关信息改善压缩视频质量来达到去压缩效应的目的。在视频编解码后，利用码流中的量化参数、帧内帧间压缩噪声分布函数以及当前视频帧重建块DCT域变换系数方差估计HEVC编码产生的压缩噪声水平，然后通过压缩噪声水平对相似图像块施加低秩约束来抑制压缩视频噪声，最后结合HEVC中的8×8帧内、帧间量化矩阵进行重建约束，获得更高质量的去压缩视频，以此得到基于DCT域的高性能去噪方法。具体主要包括以下过程步骤：
(1)构造一个相似块组，对解码的当前视频帧重建块进行相似块聚类；
(2)计算相似块组像素域均值以及水平、垂直像素间相关性；
(3)通过统计同一相似块组中所有小块的DCT系数，以及步骤(2)中获取的像素域统计信息，求出每个频带的方差，以零均值高斯分布作为DCT域信号在每个频带的数学模型；
(4)将HEVC压缩噪声视为加性噪声，从而其分布模型与HEVC压缩视频在DCT域上系数的分布模型相同，通过步骤(3)中获得的当前视频帧重建块DCT域各频带方差，在量化参数的约束下，求解每一个频带的压缩噪声方差；
(5)对步骤(1)中获得的相似块组进行奇异值分解，根据估计的HEVC压缩噪声方差对相似块组施加低秩约束来抑制压缩视频噪声；
(6)通过加权滤波及HEVC中8×8帧内、帧间量化矩阵约束当前视频帧重建块。
本发明的上述技术方案中，所述的基于DCT域的HEVC压缩噪声水平估计去噪方法，不同于当前在像素域对噪声水平进行估计的方法，本发明方法考虑HEVC压缩编码过程本身是对DCT系数进行量化，而量化是产生压缩噪声的根本来源，压缩噪声与DCT系数密不可分，通过DCT系数估计压缩噪声水平较为精确，能高效地去除HEVC编解码视频的压缩噪声。
本发明的上述技术方案中，所述的基于DCT域的HEVC压缩噪声水平估计去噪方法，构造一种结合三种HEVC压缩信息的HEVC压缩噪声水平估计方法，三种压缩信息分别为解码码流中得到的量化参数、帧内帧间压缩噪声分布函数和当前视频帧重建块DCT域变换系数方差。
本发明的上述技术方案中，所述的基于DCT域的HEVC压缩噪声水平估计去噪方法，使用基于DCT域估计的精准压缩噪声方差对相似块组施加低秩约束来抑制压缩视频噪声，以得到拟去噪的当前帧重建块。
本发明的上述技术方案中，所述的基于DCT域的HEVC压缩噪声水平估计去噪方法，对降噪后的当前视频帧重建块进一步采用HEVC中的8×8帧内、帧间量化矩阵进行重建约束，以得到更符合两种编码模式下不同噪声特性的去噪效果。
根据本发明的上述方法可以编制执行上述一种基于DCT域的HEVC压缩噪声水平估计去噪方法。
本发明是基于以下思路分析而完成的：
首先进行压缩噪声水平估计：
对当前视频帧重建块以二范数为标准进行相似块聚类，选取最近邻的K个相似块(包括当前视频帧重建块)构造一个相似块组：
其中，
为s2×1的第k近邻相似块的稀疏表示矩阵，因此，
为s2×K大小的矩阵。将相似块组各相似块对应位置像素，即相似块组的每一行通过(2)式求取均值后，再通过(3)式计算获得整个相似块组像素域均值μ和方差
其中λ为缩放比例因子，再通过相似块组像素及均值估计相似块组的水平、垂直相关性εh和εv：
结合DCT变换矩阵、kronecker积得到当前视频帧重建块DCT变换系数：
通过下式计算当前视频帧重建块DCT域各频带方差：
结合解码码流中的量化参数信息QP、帧内帧间压缩噪声分布函数fintra/inter以及计算得到的当前视频帧重建块DCT域系数方差σy(u,v)估计HEVC编码产生的各频带压缩噪声方差，并对各频带压缩噪声方差加权得到当前视频帧重建块的压缩噪声水平:
其中，Qstep＝2(QP-4)/6为HEVC编码时的量化步长，Fintra/inter＝fintra/inter(u,v)为帧内帧间编码时压缩噪声在各频带上的分布函数，
为DCT域每一个频带的系数标准差，μn(u,v)为每一个频带的噪声标准差，
为根据每个频带压缩噪声加权相加得到当前重建块的噪声标准差。
然后利用估计的较为精准的压缩噪声方差对相似块组施加低秩约束进行SVD来抑制压缩视频噪声，以得到去噪的当前帧重建块；进一步采用HEVC标准中内置的8×8帧内、帧间量化矩阵QMintra、QMinter，如公式(11)进行重建约束，获得更好的去噪效果。
实验结果表明，本发明的基于DCT域的视频去压缩效应方法在全码率段能获得更好的率失真性能，使得视频质量提升，获得更好的纹理信息。
附图说明
图1基于DCT域的HEVC压缩噪声水平估计去噪方法框图。
具体实施方式
下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
本发明的基于DCT域的HEVC压缩噪声水平估计去噪方法，与H.265/HEVC标准测试模型HM16.0的帧内、帧间编码方法比较过程如下：
1.打开HM16.0算法程序，帧内编码时配置文件为encoder_intra_main.cfg，帧间编码时配置文件为encoder_lowdelay_P_main.cfg，H.265/HEVC标准量化步长(QP)选取为22，27，32，37；
2.编码时的对象为标准测试视频序列：BasketballPass_416×240，BasketballDrill_832×480，SlideShow_1280×720，BasketballDrive_1920×1080，PeopleOnStreet_2560×1600；
3.利用HM16.0标准方法对视频序列在H.265/HEVC方式下进行帧内、帧间视频编解码并记录编码时的码率及峰值信噪比PSNR；
4.利用本发明方法对解码视频序列进行对应帧内、帧间编码后处理去噪并记录去噪后视频序列峰值信噪比PSNR；
实验结果如表1和表2所示，当选择帧内编码时本发明去噪方法可以达到平均BDBR比标准HEVC低3.06％，BDPSNR高0.1671dB；选择帧间编码采用IPPP编码结构低延时P帧编码视频帧本发明去噪方法可以达到平均BDBR比标准HEVC低4.11％，BDPSNR高0.2576dB。说明本发明方法起到了很好的去噪效果。
表1本发明方法帧内编码与H.265/HEVC标准码率和PSNR的比较
表2本发明方法帧间编码与H.265/HEVC标准码率和PSNR的比较
Claims (1)
1.一种基于DCT域的HEVC压缩噪声水平估计去噪方法，其特征在于：
(1)构造一个相似块组，对解码的当前视频帧重建块进行相似块聚类；
(2)计算相似块组像素域均值以及水平、垂直像素间相关性；
(3)通过统计同一相似块组中所有小块的DCT系数，以及步骤(2)中获取的像素域均值及水平、垂直像素间相关性，以零均值高斯分布作为DCT域信号在各频带的分布函数，求出DCT域各频带方差，从而确定HEVC压缩视频DCT域系数分布函数；
(4)将HEVC压缩噪声视为加性噪声，从而HEVC压缩视频DCT域噪声的分布函数与HEVC压缩视频DCT域系数分布函数相同，结合压缩噪声分布函数、解码码流中的量化参数信息QP以及通过步骤(3)中获得的当前视频帧重建块DCT域各频带方差，求解各频带的压缩噪声方差，对各频带压缩噪声方差进行加权得到当前视频帧重建块的压缩噪声方差；
(5)对步骤(1)中获得的相似块组进行奇异值分解，根据估计的HEVC压缩噪声方差对相似块组施加低秩约束来抑制压缩视频噪声；
(6)通过加权滤波及HEVC中8×8帧内、帧间量化矩阵约束当前视频帧重建块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911408490.8A CN113132736B (zh) | 2019-12-31 | 2019-12-31 | 一种基于dct域的hevc压缩噪声水平估计去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911408490.8A CN113132736B (zh) | 2019-12-31 | 2019-12-31 | 一种基于dct域的hevc压缩噪声水平估计去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113132736A CN113132736A (zh) | 2021-07-16 |
| CN113132736B true CN113132736B (zh) | 2022-04-22 |
Family
ID=76770233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911408490.8A Active CN113132736B (zh) | 2019-12-31 | 2019-12-31 | 一种基于dct域的hevc压缩噪声水平估计去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113132736B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5787209A (en) * | 1996-02-05 | 1998-07-28 | Hewlett-Packard Company | Method of filtering images using image compressibility to determine threshold parameter |
| CN105260998A (zh) * | 2015-11-16 | 2016-01-20 | 华东交通大学 | 基于mcmc采样和阈值低秩逼近的图像去噪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10332281B2 (en) * | 2016-01-29 | 2019-06-25 | Wisconsin Alumni Research Foundation | System and method for denoising medical images by enforcing low rank spatial-temporal or spatial-spectral image matrices |
-
2019
- 2019-12-31 CN CN201911408490.8A patent/CN113132736B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5787209A (en) * | 1996-02-05 | 1998-07-28 | Hewlett-Packard Company | Method of filtering images using image compressibility to determine threshold parameter |
| CN105260998A (zh) * | 2015-11-16 | 2016-01-20 | 华东交通大学 | 基于mcmc采样和阈值低秩逼近的图像去噪方法 |
Non-Patent Citations (3)
| Title |
|---|
| Adjusted Non-Local Regression and Directional Smoothness for Image Restoration;xiaohai he;《IEEE》;20190331;全文 * |
| 基于低秩矩阵恢复的图像去噪算法研究;王圳萍;《中国优秀硕士论文全文数据库》;20160115;全文 * |
| 基于自适应稀疏变换的指纹图像压缩;马名浪何小海滕奇志陈洪刚卿粼波;《自动化学报》;20160317;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113132736A (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108184129B (zh) | 一种视频编解码方法、装置及用于图像滤波的神经网络 | |
| CN107197260B (zh) | 基于卷积神经网络的视频编码后置滤波方法 | |
| Wang et al. | Attention-based dual-scale CNN in-loop filter for versatile video coding | |
| JP6120896B2 (ja) | ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置 | |
| JP5283628B2 (ja) | 映像復号方法及び映像符号化方法 | |
| US10462459B2 (en) | Non-local adaptive loop filter | |
| TWI558212B (zh) | 一種後期處理重建畫面的方法 | |
| EP2141927A1 (en) | Filters for video coding | |
| KR20130011878A (ko) | 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치 | |
| CN113497941A (zh) | 图像滤波方法、编码方法及相关设备 | |
| CN109889852B (zh) | 一种基于邻近值的hevc帧内编码优化方法 | |
| KR20180074150A (ko) | Sao 필터링을 포함하는 비디오 데이터의 부호화를 위한 방법 및 장치 | |
| Zhang et al. | Reducing blocking artifacts in compressed images via transform-domain non-local coefficients estimation | |
| Zhang et al. | Efficient CTU-based intra frame coding for HEVC based on deep learning | |
| CN116916036A (zh) | 视频压缩方法、装置及系统 | |
| Wang et al. | An integrated CNN-based post processing filter for intra frame in versatile video coding | |
| CN113132736B (zh) | 一种基于dct域的hevc压缩噪声水平估计去噪方法 | |
| CN113709459B (zh) | 帧内预测方法、装置及计算机存储介质 | |
| KR100711025B1 (ko) | 동영상 표준 부호화 방식의 성능 향상을 위한 잔여신호 필터링 방법 | |
| CN101562747B (zh) | 一种视频编码预测残差块的分解及重建方法 | |
| CN114079770B (zh) | 一种结合非局部低秩和自适应量化约束的hevc后处理方法 | |
| Huang et al. | Video coding pre-processing based on rate-distortion optimized weighted guided filter | |
| Manjanaik et al. | Intra frame coding for Advanced Video Coding Standard H. 264 to control PSNR and reduce bit rate using Horizontal mode | |
| CN117459737B (zh) | 一种图像预处理网络的训练方法和图像预处理方法 | |
| KR100598369B1 (ko) | 블록 경계 영역 필터링 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |