CN111182312B - 一种分级残差光场视频编码方法 - Google Patents
一种分级残差光场视频编码方法 Download PDFInfo
- Publication number
- CN111182312B CN111182312B CN202010006753.9A CN202010006753A CN111182312B CN 111182312 B CN111182312 B CN 111182312B CN 202010006753 A CN202010006753 A CN 202010006753A CN 111182312 B CN111182312 B CN 111182312B
- Authority
- CN
- China
- Prior art keywords
- video
- sub
- central viewpoint
- image
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Abstract
本发明提供一种分级残差光场视频编码方法。本发明在分级编码中心视点视频和残差视频的基础上，对中心视点视频进行分级编码，一级中心视点视频首先被编码，后经解码与二级中心视点视频作差得到二级中心视点残差视频，接着二级中心视点残差视频被编码，最后被编码的中心视点视频经解码后与对应的相邻视点视频作差得到残差视频进行编码。本发明通过对中心视点视频进行分级，减少了直接编码的子视频数量，增加了残差子视频数量，所以可有效减小总码流，提高编码效率。
Description
技术领域
本发明属于光场编码领域，尤其针对光场视频，主要为了提高编码过程的压缩效率，具体涉及一种分级残差光场视频编码方法。
背景技术
光场领域是一个充满想象力的领域，如果能够将光场技术充分应用到尚在发展中的VR、AR等领域中，将会加速这些领域技术的成熟。这吸引着众多研究学者和企业投入巨大资源进行研究，一些企业致力于开发消费级光场相机，限制于当前的硬件水平，光场相机分辨率低的问题一直存在。
在当前互联网时代，基于互联网的视频消费有着巨大的市场：短视频、互联网娱乐消费内容和直播等。受制于带宽，想要在互联网上传播高质量的视频，高效的编码技术成为关键。现针对普通视频的编码技术非常成熟，但针对光场视频，编码技术尚在发展中。从编码的角度看，光场视频和普通视频最大的区别在于：光场相机通过一次曝光捕获到的一张原光场图在记录平面场景的同时记录了角度信息，这使得一张光场图是目前普通相机拍出照片的数十倍大小，拍摄视频同样如此。在未来硬件水平达到一定要求后，为了提高光场图像内容的质量，光场相机的分辨率还会大幅增加，这将导致光场图文件大小进一步的增大。在未来想要将光场技术应用到消费级AR、VR技术中，无论是影视作品还是实时AR直播与通话，存储传输光场内容时都对光场图的文件大小有着极高的要求，而编码则成为解决这个问题的关键。
编码光场视频指编码对象为多张时域连续的光场图，在这里，一张光场图被称为帧。当前的普遍做法是：每帧通过子视图分解得到同等数量的子图像，一个子图像代表一个视图，然后采用多视图编码技术对其进行编码。现有技术的主要问题是编码效率不够高效。
发明内容
针对现有技术中存在的问题，本发明提供一种分级残差光场视频编码方法。
本发明在分级编码中心视点视频和残差视频的基础上，对中心视点视频进行分级编码，一级中心视点视频首先被编码，后经解码与二级中心视点视频作差得到二级中心视点残差视频，接着二级中心视点残差视频被编码，最后被编码的中心视点视频经解码后与对应的相邻视点视频作差得到残差视频进行编码。由于在残差编码方法中残差视频的码流比直接编码的光场视频码流小得多，所以对编码整个光场视频来说，残差视频数量越多，编码的总码流越小。
本发明的步骤如下：
步骤(1)：光场视频图像预处理。
步骤(2)：中心视点视频的分级与编码。
步骤(3)：编码相邻残差视频。
步骤(4)：光场视频解码。
本发明有益效果如下：
本发明通过对中心视点视频进行分级，减少了直接编码的子视频数量，增加了残差子视频数量，所以可有效减小总码流，提高编码效率。
附图说明
图1为本发明由原始光场图像得到的子图像的示意图；
图2为本发明子图像划分及中心视点子图像分级的示意图；
图3为本发明的编码算法流程图；
图4为本发明的解码算法流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1-4所示，一种分级残差光场视频编码方法，步骤如下：
步骤(1)、光场视频图像预处理。
光场视频包括N个帧即N张光场图像，单张光场图像中子图像数量为(n-i)×(n-i)，其中i＝0，1或2，子图像数量随不同光场相机透镜阵列数量而变。
1-1.为方便后续分块，首先对子图像数量进行处理：
当n对3取余为0时，i＝0，采用n×n数量子图像；
当n对3取余为1时，i＝1，去除位于第一行和第一列的子图像，采用(n-1)×(n-1)数量子图像；
当n对3取余为2时，i＝2，去除首尾行和列，采用(n-2)×(n-2)数量子图像。
1-2.由于光场图像中位于四个角的子图像的亮度过低导致包含的有效信息极少，因此在编码过程中弃用四个角的子图像以及光场图像最外围一圈子图像，获得包含(n-i-1)×(n-i-1)-4个有效子图像的光场图像。对光场视频的每帧同样处理，从而得到预处理后的光场视频。
图1为本发明由原始光场图像得到的子图像的示意图。
步骤(2)、中心视点视频的分级与编码。
首先将一张光场图像中的子图像划分为((n-i)÷3)×((n-i)÷3)个块(图2中黑粗实线标出)，每个块包含9个子图像，每个块中存在一个中心视点子图像。除去位于四个角上的块以外的其余块，块中位于中心的子图像为中心视点子图像；
对位于四个角上的块：左上角的块中位于右下角的子图像、右上角的块中位于左下角的子图像、左下角的块中位于右上角的子图像和右下角的块中位于左上角的子图像分别为对应块的中心视点子图像。
块中除中心视点子图像以外的子图像称作这个中心视点子图像的相邻子图像。
然后对中心视点子图像进行分级：处在最外圈的中心视点子图像称为二级中心视点子图像，余下处在内圈的中心视点子图像称为一级中心视点子图像。
先用多视图编码技术对一级中心视点视频进行编码获得一级中心视点视频码流，将一级中心视点视频码流解码与对应的二级中心视点视频作差得到二级中心视点残差视频；再利用多视图编码技术对二级中心视点残差视频编码获得二级中心视点残差视频码流，到此，中心视点子视频完成编码。将获得的一级中心视点视频码流和二级中心视点残差视频码流统称为中心视点视频码流。
其中，一级中心视点视频与二级中心视点视频作差时的对应规则如下：
为建立一级中心视点视频与二级中心视点视频的对应关系，将二者包含到同一个块来进行划分，在图2中用虚线标出，与位于四角的一级中心视点视频对应的四角的块的大小总为5×5，剩下规模不定的块中每一个一级中心视点视频都有一个二级中心视点视频与之相对应，位于最中心的中心视点子视频无对应；位于四角的一级中心视点视频对应四角5×5块(图2中虚线标出)中包含的3个二级中心视点视频；由于步骤(1)中的处理，处理后的子图像数量为(n-i)×(n-i)，n总为3的倍数，因此每增加一个一级中心视点子图像，都有一个二级中心视点子图像与之对应。
步骤(3)、编码相邻残差视频。
如图3所示，将中心视点视频码流解码与预处理后的光场视频中的相邻子视频相减获得相邻残差视频，利用多视图编码技术对相邻残差视频进行编码，获得相邻视频码流。
步骤(4)、光场视频解码。
解码流程如图4所示：首先对一级中心视点视频码流进行解码，得到完整的一级中心视点子视频。然后将二级中心视点残差视频码流解码后与解码的一级中心视点视频作和，得到完整的二级中心视点视频，完成中心视点视频的解码。最后，对相邻视频码流进行解码，获得解码后的相邻视频。按照对应规则，与解码后的中心视点子视频作和，获得完整的解码后的光场视频。
Claims (3)
1.一种分级残差光场视频编码方法，其特征在于，步骤如下：
步骤(1)：光场视频图像预处理；
步骤(2)：中心视点视频的分级与编码；
步骤(3)：编码相邻残差视频；
步骤(4)：光场视频解码；
步骤(1)、光场视频图像预处理，具体方法如下：
光场视频包括N个帧即N张光场图像，单张光场图像中子图像数量为(n-i)×(n-i)，其中i＝0,1或2，子图像数量随不同光场相机透镜阵列数量而变；
1-1.为方便后续分块，首先对子图像数量进行处理：
当n对3取余为0时，i＝0，采用n×n数量子图像；
当n对3取余为1时，i＝1，去除位于第一行和第一列的子图像，采用(n-1)×(n-1)数量子图像；
当n对3取余为2时，i＝2，去除首尾行和列，采用(n-2)×(n-2)数量子图像；
1-2.由于光场图像中位于四个角的子图像的亮度过低导致包含的有效信息极少，因此在编码过程中弃用四个角的子图像以及光场图像最外围一圈子图像，获得包含(n-i-1)×(n-i-1)-4个有效子图像的光场图像；对光场视频的每帧同样处理，从而得到预处理后的光场视频；
步骤(2)、中心视点视频的分级与编码，具体步骤如下：
首先将一张光场图像中的子图像划分为((n-i)÷3)×((n-i)÷3)个块，每个块包含9个子图像，每个块中存在一个中心视点子图像；除去位于四个角上的块以外的其余块，块中位于中心的子图像为中心视点子图像；
对位于四个角上的块：左上角的块中位于右下角的子图像、右上角的块中位于左下角的子图像、左下角的块中位于右上角的子图像和右下角的块中位于左上角的子图像分别为对应块的中心视点子图像；
块中除中心视点子图像以外的子图像称作这个中心视点子图像的相邻子图像；
然后对中心视点子图像进行分级：处在最外圈的中心视点子图像称为二级中心视点子图像，余下处在内圈的中心视点子图像称为一级中心视点子图像；
先用多视图编码技术对一级中心视点视频进行编码获得一级中心视点视频码流，将一级中心视点视频码流解码与对应的二级中心视点视频作差得到二级中心视点残差视频；再利用多视图编码技术对二级中心视点残差视频编码获得二级中心视点残差视频码流，到此，中心视点子视频完成编码；将获得的一级中心视点视频码流和二级中心视点残差视频码流统称为中心视点视频码流；
其中，一级中心视点视频与二级中心视点视频作差时的对应规则如下：
为建立一级中心视点视频与二级中心视点视频的对应关系，将二者包含到同一个块来进行划分，与位于四角的一级中心视点视频对应的四角的块的大小总为5×5，剩下规模不定的块中每一个一级中心视点视频都有一个二级中心视点视频与之相对应，位于最中心的中心视点子视频无对应；位于四角的一级中心视点视频对应四角5×5块中包含的3个二级中心视点视频；由于步骤(1)中的处理，处理后的子图像数量为(n-i)×(n-i),n总为3的倍数，因此每增加一个一级中心视点子图像，都有一个二级中心视点子图像与之对应。
2.根据权利要求1所述的一种分级残差光场视频编码方法，其特征在于，步骤(3)、编码相邻残差视频，具体步骤如下：
将中心视点视频码流解码与预处理后的光场视频中的相邻子视频相减获得相邻残差视频，利用多视图编码技术对相邻残差视频进行编码，获得相邻视频码流。
3.根据权利要求2所述的一种分级残差光场视频编码方法，其特征在于，步骤(4)、光场视频解码，其特征在于：
首先对一级中心视点视频码流进行解码，得到完整的一级中心视点子视频；然后将二级中心视点残差视频码流解码后与解码的一级中心视点视频作和，得到完整的二级中心视点视频，完成中心视点视频的解码；最后，对相邻视频码流进行解码，获得解码后的相邻视频；按照对应规则，与解码后的中心视点子视频作和，获得完整的解码后的光场视频， 通过对中心视点视频进行分级，减少了直接编码的子视频数量，增加了残差子视频数量，所以可有效减小总码流，提高编码效率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010006753.9A CN111182312B (zh) | 2020-01-03 | 2020-01-03 | 一种分级残差光场视频编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010006753.9A CN111182312B (zh) | 2020-01-03 | 2020-01-03 | 一种分级残差光场视频编码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111182312A CN111182312A (zh) | 2020-05-19 |
| CN111182312B true CN111182312B (zh) | 2021-10-29 |
Family
ID=70621756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010006753.9A Active CN111182312B (zh) | 2020-01-03 | 2020-01-03 | 一种分级残差光场视频编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111182312B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101682765A (zh) * | 2007-05-30 | 2010-03-24 | Nxp股份有限公司 | 确定用于光场数据结构的图像分布的方法 |
| CN106375766A (zh) * | 2016-09-08 | 2017-02-01 | 电子科技大学 | 一种光场图像压缩方法 |
| CN107295264A (zh) * | 2017-08-01 | 2017-10-24 | 清华大学深圳研究生院 | 一种基于单应性变换光场数据压缩方法 |
| CN110392266A (zh) * | 2019-07-25 | 2019-10-29 | 清华大学深圳研究生院 | 一种基于伪视频序列的光场视频编码方法和终端设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6385241B2 (ja) * | 2014-10-27 | 2018-09-05 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| EP3139614A1 (en) * | 2015-09-07 | 2017-03-08 | Thomson Licensing | Method and device for encoding and decoding a light field based image, and corresponding computer program product |
-
2020
- 2020-01-03 CN CN202010006753.9A patent/CN111182312B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101682765A (zh) * | 2007-05-30 | 2010-03-24 | Nxp股份有限公司 | 确定用于光场数据结构的图像分布的方法 |
| CN106375766A (zh) * | 2016-09-08 | 2017-02-01 | 电子科技大学 | 一种光场图像压缩方法 |
| CN107295264A (zh) * | 2017-08-01 | 2017-10-24 | 清华大学深圳研究生院 | 一种基于单应性变换光场数据压缩方法 |
| CN110392266A (zh) * | 2019-07-25 | 2019-10-29 | 清华大学深圳研究生院 | 一种基于伪视频序列的光场视频编码方法和终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111182312A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1203667C (zh) | 从经压缩的正常播放图像比特流中建立特技播放图像流的系统和方法 | |
| CN1650622B (zh) | 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法 | |
| CN108921910B (zh) | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 | |
| CN111210388B (zh) | 基于生成对抗网络的马赛克人脸图像超分辨率重建方法 | |
| CN110337002B (zh) | 一种在多核处理器平台上hevc多层次并行解码方法 | |
| CN113068034B (zh) | 视频编码方法及装置、编码器、设备、存储介质 | |
| CN100581265C (zh) | 一种多视点视频的处理方法 | |
| CN111901603B (zh) | 一种用于静态背景视频的编码方法及解码方法 | |
| CN111432210A (zh) | 一种基于填充的点云属性压缩方法 | |
| Hu et al. | Fvc: An end-to-end framework towards deep video compression in feature space | |
| CN115484464A (zh) | 视频编码方法和装置 | |
| CN111447452A (zh) | 数据编码方法及系统 | |
| US20230370600A1 (en) | A method and apparatus for encoding and decoding one or more views of a scene | |
| CN114157870A (zh) | 编码方法、介质及电子设备 | |
| CN111182312B (zh) | 一种分级残差光场视频编码方法 | |
| CN107682699B (zh) | 一种近无损图像压缩方法 | |
| CN110677624B (zh) | 基于深度学习的面向监控视频的前景和背景并行压缩方法 | |
| CN1156166C (zh) | 在基于块的视频编码系统中确定最佳网格的方法和设备 | |
| CN113132756B (zh) | 视频编转码方法 | |
| CN111212288B (zh) | 视频数据的编解码方法、装置、计算机设备和存储介质 | |
| CN111147848B (zh) | 一种基于内容自适应的光场视频编码方法 | |
| Yang et al. | Graph-convolution network for image compression | |
| Xie et al. | Just noticeable visual redundancy forecasting: a deep multimodal-driven approach | |
| CN112188212A (zh) | 一种高清监控视频智能转码的方法及装置 | |
| US20240007659A1 (en) | Video-stream format for machine analysis using npu |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |