CN111510721A - 基于空间下采样的多描述编码高质量边重建方法 - Google Patents

基于空间下采样的多描述编码高质量边重建方法 Download PDF

Info

Publication number
CN111510721A
CN111510721A CN202010278978.XA CN202010278978A CN111510721A CN 111510721 A CN111510721 A CN 111510721A CN 202010278978 A CN202010278978 A CN 202010278978A CN 111510721 A CN111510721 A CN 111510721A
Authority
CN
China
Prior art keywords
video
frame
network
training
vsrnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010278978.XA
Other languages
English (en)
Other versions
CN111510721B (zh
Inventor
陈婧
林琦
曾焕强
朱建清
蔡灿辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202010278978.XA priority Critical patent/CN111510721B/zh
Publication of CN111510721A publication Critical patent/CN111510721A/zh
Application granted granted Critical
Publication of CN111510721B publication Critical patent/CN111510721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种基于空间下采样的多描述编码高质量边重建方法，包括，制作数据集：选取视频，通过空间下采样分成两个描述，在量化参数QP值设定下，编码，解码，将解码后的视频和相应的原始视频作为训练集；训练SD‑VSRnet网络：每五帧视频作为网络的输入，依次进行特征提取，恢复高频细节，像素重排，再与输入的中间帧进行跳跃连接得到重建的视频帧，逐帧重建获得最后的重建视频，实现SD‑VSRnet网络的训练。本发明提出的方法制作了适用于空间下采样的多描述编码高质量边重建的数据集，另外，采用视频超分辨率的神经网络，分别测试4种QP值，可以有效提高不同压缩程度的边缘解码视频重建质量。

Description

基于空间下采样的多描述编码高质量边重建方法
技术领域
本发明涉及视频编解码领域，尤其涉及一种基于空间下采样的多描述编码高质量边重建方法。
背景技术
随着第五代移动通信网络的推进和千兆WIFI的普及等，互联网和无线通道已经成为数字视频的主要传输通道。但互联网中仍然存在网络拥挤、信道干扰和无线信道的随机比特错误以及突发错误等现象。因此，研究具有容错编码能力的视频编码是十分重要的。
而在容错编码领域中，多描述视频编码(Multiple Description Coding,MDC)是一种能有效解决无线通道和互联网在传输中发生信息丢失、误码和延时等造成视频质量下降问题的容错编码方法。多描述编码技术的基本原理是将信源分解成两个或多个具有同等重要性的码流，分别通过不同的信道传输到接收端，每个码流是信源的一个描述，由于每个描述都含有其他描述所没有的信息，重建的效果将随着接收到的描述数的增多而得到改善。如果能够理想地接收到所有描述，用中心解码器重建。但在不可靠网络传输中，更常见的是只接收到部分描述，用边缘解码器重建。在基于空间下采样的多描述编码方法中，下采样过程就是像素丢失的过程。对低分辨率视频进行编解码，若只能接收到部分描述，就需要设计相应的边缘解码器，以保证视频的重建质量。因此，针对空间下采样形成不同描述的多描述编码方法，提出基于空间下采样的高质量边重建方法，可以有效提高经不可靠传输后多描述编码视频流的重建质量，具有一定的研究意义和实用价值。
发明内容
本发明的目的在于提高多描述编码视频流的边缘解码重建质量，提出一种基于空间下采样的多描述编码高质量边重建方法。
本发明解决其技术问题所采用的技术方案是：
一种基于空间下采样的多描述编码高质量边重建方法，包括制作数据集阶段、训练SD-VSRnet网络阶段、测试SD-VSRnet网络阶段，具体包括如下步骤：
步骤S1：制作数据集阶段
步骤S11：选取多种分辨率和多种场景的视频，将每一帧视频图像通过空间下采样分成两个描述；
步骤S12：在量化参数QP值设定下，通过原始HEVC编码器中编码；
步骤S13：将两个描述的码流分别打包后通过不同的信道进行传输；
步骤S14：通过原始HEVC解码器解码，将解码后的视频序列和相应的原始视频作为训练集，其中，所述解码后的视频序列作为训练的数据，所述相应的原始视频作为训练的标签；
步骤2：训练SD-VSRnet网络阶段
步骤S21：将每一帧视频以步长为36分为大小为48的图像块，每五帧作为网络的输入，逐帧顺延，每五帧视频经过双三次上采样后作为网络的输入；
步骤S21：利用不同大小的卷积层进行不同大小的特征提取；
步骤S21：通过残差学习恢复高频细节；
步骤S21：通过亚像素卷积层进行像素重排；
步骤S21：经过最大池化层，与输入的中间帧进行跳跃连接得到重建的视频帧；
步骤S21：逐帧重建获得最后的重建视频，每一个量化参数QP值训练一个网络模型，实现SD-VSRnet网络训练；
步骤3：测试网络阶段
步骤S31：选择多种不同分辨率不同视频内容视频序列作为测试集；
其中包括HEVC标准测试序列和公开数据库SJTU的5个4K分辨率的视频序列；
步骤S31：所述测试数据和训练数据是采用不同的视频序列，每个视频都通过空间下采样分成两个描述；
步骤S32：在不同量化参数QP值设定下，分别在原始HEVC编码器中编码；
步骤S32：将两个描述的码流分别打包后通过不同的信道进行传输；
步骤S32：再通过原始HEVC解码器解码，当解码端只收到一个描述时，将解码后的视频作为测试的数据。
由上述对本发明的描述可知，与现有技术相比本发明具有如下有益效果：
1、视频超分辨率网络可以有效地改善视频边缘解码后的视频质量，因此制作了适用于空间下采样的多描述编码高质量边重建的数据集。
2、本发明采用视频超分辨率的神经网络，为了验证该发明对不同压缩程度视频的性能提升效果，分别测试4种QP值，QP值分别为22，27，32，37。需要注意的是制作数据集、测试网络和训练网络的QP值是一一对应的。随着QP值的增大，视频的质量下降，但通过本发明所提的视频超分辨的神经网络可以有效提高不同压缩程度的边缘解码视频重建质量。而且本发明提出的方法比其他方法有更好的重建效果。
以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于空间下采样的多描述编码高质量边重建方法不局限于实施例。
附图说明
图1为本发明方法的流程示意图。
图2为重建结果对比图；其中图2(a)为视频序列city的原图，图2(b)为低分辨率图，图2(c)为方法VSRnet进行三倍分辨率重建后的结果图，图2(d)本发明提出的方法重建后的结果图。
具体实施方式
参见图1所示，本发明为了解决现有多描述视频编码的边缘解码视频质量不佳的问题，提供基于空间下采样的多描述编码高质量边重建方法，具体步骤如下：
步骤S1：制作数据集阶段
步骤S11：选取多种分辨率和多种场景的视频，将每一帧视频图像通过空间下采样分成两个描述；
步骤S12：在量化参数QP值设定下，通过原始HEVC编码器中编码；
步骤S13：将两个描述的码流分别打包后通过不同的信道进行传输；
步骤S14：通过原始HEVC解码器解码，将解码后的视频序列和相应的原始视频作为训练集，其中，所述解码后的视频序列作为训练的数据，所述相应的原始视频作为训练的标签；
步骤2：训练SD-VSRnet网络阶段
步骤S21：将每一帧视频以步长为36分为大小为48的图像块，每五帧作为网络的输入，逐帧顺延，每五帧视频经过双三次上采样后作为网络的输入；
步骤S21：利用不同大小的卷积层进行不同大小的特征提取；
本实施例中通过两个3*3的卷积层和一个5*5卷积层进行不同大小的特征提取。
步骤S21：通过残差学习恢复高频细节；
步骤S21：通过亚像素卷积层进行像素重排；
步骤S21：经过最大池化层，与输入的中间帧，如附图1中的第t帧，进行跳跃连接得到重建的视频帧；
步骤S21：逐帧重建获得最后的重建视频，每一个量化参数QP值训练一个网络模型，实现SD-VSRnet网络训练；
步骤3：测试网络阶段
步骤S31：选择多种不同分辨率不同视频内容视频序列作为测试集，其中包括HEVC标准测试序列和公开数据库SJTU的5个4K分辨率的视频序列；
步骤S31：所述测试数据和训练数据是采用不同的视频序列，每个视频都通过空间下采样分成两个描述，
步骤S32：在不同量化参数QP值设定下，分别在原始HEVC编码器中编码，
步骤S32：将两个描述的码流分别打包后通过不同的信道进行传输，
步骤S32：再通过原始HEVC解码器解码，当解码端只收到一个描述时，将解码后的视频作为测试的数据。
需要注意的是制作数据集、测试网络和训练网络的QP值是一一对应的。
QP值量化参数，反映了空间细节压缩情况。值越小，量化越精细，图像质量越高，产生的码流也越长。如QP小，大部分的细节都会被保留；QP增大，一些细节丢失，码率降低，但图像失真加强和质量下降。
随着QP值的增大，视频压缩越厉害而导致编码后的视频质量也随之下降，本发明所提的视频超分辨的神经网络可以有效提高不同压缩程度的边缘解码视频重建质量。
在本发明实施例中，如图2所示选取了视频序列city的原图(a)和低分辨率图(b)以及进行三倍分辨率重建后对比方法VSRnet(c)和本发明的结果图(d)进行主观结果比较。从用矩形选取区域的放大图看出本发明所实现的视频重建效果较好，如本发明提出的方法重建出建筑物中的分隔柱的轮廓明显比采用VSRnet方法重建的轮廓清晰，效果更好。
可从以上图中可知，本发明所提出的方法较好的视频重建效果，而且对不同压缩程度的边缘解码视频都能有很好的重建效果，具有较强的适应性，可适用多种情形。
上述实施例仅是用来说明本发明，而并非用作对本发明的限定，只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (1)

1.一种基于空间下采样的多描述编码高质量边重建方法，包括制作数据集阶段、训练SD-VSRnet网络阶段、测试SD-VSRnet网络阶段，其特征在于，具体包括如下步骤：
步骤S1：制作数据集阶段
步骤S11：选取视频，将每一帧视频图像通过空间下采样分成两个描述；
步骤S12：在量化参数QP值设定下，通过原始HEVC编码器编码；
步骤S13：将编码后的两个描述的码流分别打包后通过不同的信道进行传输；
步骤S14：通过原始HEVC解码器解码，将解码后的视频序列和相应的原始视频作为训练集，其中，所述解码后的视频序列作为训练的数据，所述相应的原始视频作为训练的标签；
步骤2：训练SD-VSRnet网络阶段
步骤S21：将视频帧分为图像块，同时将多帧视频经过双三次上采样后作为网络的输入，逐帧顺延；
步骤S22：利用不同大小的卷积层进行不同大小的特征提取；
步骤S23：通过残差学习恢复高频细节；
步骤S24：通过亚像素卷积层进行像素重排；
步骤S25：经过最大池化层，与输入的中间帧进行跳跃连接得到重建的视频帧；
步骤S26：逐帧重建获得重建视频，实现SD-VSRnet网络训练；
步骤3：测试网络阶段
步骤S31：选择多种不同分辨率不同视频内容视频序列作为测试集；
步骤S32：视频帧通过空间下采样分成两个描述；
步骤S33：在量化参数QP值设定下，通过原始HEVC编码器编码；
步骤S34：将编码后的两个描述的码流分别打包后通过不同的信道进行传输；
步骤S35：通过原始HEVC解码器解码，当解码端只收到一个描述时，将解码后的视频作为测试的数据。
CN202010278978.XA 2020-04-10 2020-04-10 基于空间下采样的多描述编码高质量边重建方法 Active CN111510721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010278978.XA CN111510721B (zh) 2020-04-10 2020-04-10 基于空间下采样的多描述编码高质量边重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010278978.XA CN111510721B (zh) 2020-04-10 2020-04-10 基于空间下采样的多描述编码高质量边重建方法

Publications (2)

Publication Number Publication Date
CN111510721A true CN111510721A (zh) 2020-08-07
CN111510721B CN111510721B (zh) 2022-11-01

Family

ID=71878214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010278978.XA Active CN111510721B (zh) 2020-04-10 2020-04-10 基于空间下采样的多描述编码高质量边重建方法

Country Status (1)

Country Link
CN (1) CN111510721B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365079A (zh) * 2021-06-01 2021-09-07 闽南师范大学 一种基于超分辨率网络的视频编码分像素运动补偿方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533330A (zh) * 2013-10-15 2014-01-22 华侨大学 一种基于数据重用的多视点多描述视频编码方法
GB201322616D0 (en) * 2013-12-19 2014-02-05 Canon Kk Improved palette mode in HEVC for the encoding process
WO2019144002A1 (en) * 2018-01-19 2019-07-25 Qualcomm Incorporated Quantization group for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533330A (zh) * 2013-10-15 2014-01-22 华侨大学 一种基于数据重用的多视点多描述视频编码方法
GB201322616D0 (en) * 2013-12-19 2014-02-05 Canon Kk Improved palette mode in HEVC for the encoding process
WO2019144002A1 (en) * 2018-01-19 2019-07-25 Qualcomm Incorporated Quantization group for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANGKAI NI等: "Edge Similarity for Screen Content Image Quality Assessment", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING 》 *
陈婧: "多描述图像与视频编码的研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365079A (zh) * 2021-06-01 2021-09-07 闽南师范大学 一种基于超分辨率网络的视频编码分像素运动补偿方法
CN113365079B (zh) * 2021-06-01 2023-05-30 闽南师范大学 一种基于超分辨率网络的视频编码分像素运动补偿方法

Also Published As

Publication number Publication date
CN111510721B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
US10244263B2 (en) Method and apparatus for packaging image data for transmission over a network
CN103607591A (zh) 结合超分辨率重建的图像压缩方法
CN100512446C (zh) 一种基于自适应时域亚采样的多描述视频编解码方法
KR20060043115A (ko) 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
JP2008527902A (ja) 伸縮型符号化のための適応的エントロピー符号化及び復号化方法とその装置
WO2023000179A1 (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
KR20060063613A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
CN1575606A (zh) 空间可缩放的压缩
CN109922339A (zh) 结合多采样率下采样和超分辨率重建技术的图像编码框架
KR101285168B1 (ko) 비디오 트랜스코딩을 위한 변환 도메인 서브-샘플링 방법및 장치
CN112422989B (zh) 一种视频编码方法
CN110062232A (zh) 一种基于超分辨率的视频压缩方法及系统
CN105392009A (zh) 基于块自适应采样和超分辨率重建的低码率图像编码方法
CN111726614A (zh) 一种基于空域下采样与深度学习重建的hevc编码优化方法
CN100553151C (zh) 用于多种描述编码的设备和方法
US11924470B2 (en) Encoder and method of encoding a sequence of frames
CN110062231A (zh) 基于多层卷积神经网络的图像压缩方法
CN111510721B (zh) 基于空间下采样的多描述编码高质量边重建方法
CN113038126B (zh) 基于帧预测神经网络的多描述视频编码方法和解码方法
CN112055223A (zh) 一种图像编解码方法及编解码器
WO2021056575A1 (zh) 一种低延迟信源信道联合编码方法及相关设备
CN115150628B (zh) 具有超先验引导模式预测的由粗到细深度视频编码方法
KR20060043050A (ko) 영상 신호의 인코딩 및 디코딩 방법
CN110148087B (zh) 基于稀疏表示的图像压缩及重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant