CN106791768B - 一种基于图割优化的深度图帧率提升方法 - Google Patents
一种基于图割优化的深度图帧率提升方法 Download PDFInfo
- Publication number
- CN106791768B CN106791768B CN201611168318.6A CN201611168318A CN106791768B CN 106791768 B CN106791768 B CN 106791768B CN 201611168318 A CN201611168318 A CN 201611168318A CN 106791768 B CN106791768 B CN 106791768B
- Authority
- CN
- China
- Prior art keywords
- motion vector
- block
- depth map
- frame
- indicate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000005457 optimization Methods 0.000 title claims abstract description 27
- 238000005520 cutting process Methods 0.000 title claims description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 89
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 16
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 3
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical compound C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000026058 directional locomotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012966 insertion method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于图割优化的深度图帧率提升方法，首先，对于每个编码单元树，具体执行运动估计和补偿的块大小和搜索范围是根据纹理图中对应块的运动信息决定的；其次，每个块的运动搜索不是相对独立的，而是考虑了块间运动矢量场的平滑，将一个编码单元树中所有块的运动搜索当作一个能量最小化过程。其中，平滑项是相邻块运动矢量的差，而数据项是用来评价被插入深度图质量的合成视点失真；最后，这个能量最小化过程转化为一个标签最优分配过程，用图割优化算法来解决。本发明适用于3D视频编码效率的优化、深度视频的容错和增强。
Description
技术领域
本发明涉及三维视频处理领域，具体涉及一种基于图割优化的深度图帧率提升方法。
背景技术
深度图在三维视频处理系统中有很重要的作用。虽然不直接显示，但深度图中包含的几何信息可以用来将有限的已知视点合成额外的虚拟视点，支持自由视点观看，增强视觉体验效果。一方面，由于工艺限制，深度相机采集到的深度图往往帧率不高，导致合成的虚拟视点时间分辨率太低，容易产生视频抖动和运动不连续现象。另一方面，多视点视频加深度图(Multi-view video plus depth，MVD)的格式数据量非常大，为了方便传输和存储，需要高效的视频编码进行压缩。编码器可以跳过深度视频中的一些帧不编，即对深度图以低于采集帧率的较低帧率编码，这样可以减少消耗的比特率。但为了能在接收端流畅显示，低帧率的深度视频解码后，必须通过时域插值的方式来重建出跳过的深度帧。
最简单的帧率提升方法是重复前一帧或者取前后帧的平均值，但这样的方法容易在物体边缘处产生运动模糊和伪影。所以，当前主流的帧率提升方法都是通过运动估计找出前后两帧间的运动矢量，沿着运动轨迹插入中间帧。基于运动补偿的帧插入方法大致分为两类，一类是像素级匹配，另一类是块匹配。像素级匹配的效果很好，但计算量太大，不实用；块匹配更为常用，但需要解决块间运动矢量不连续，物体边缘模糊等问题。
大多数帧率提升方法都是针对纹理视频设计的，但深度图具有不同于自然纹理图的特征属性。深度图中的每个像素代表拍摄景物到摄像机之间的距离，是一幅包含大量匀质区域的灰度图，而平坦区域又被明显的边缘所分割。不同区域对运动失真的敏感度是不同的，因此亟需一种针对深度图的帧率提升方法。
发明内容
本发明提供了一种基于图割优化的深度图帧率提升方法，实现低复杂度下深度视频的高质量时域插值。
为了减小带宽占用量，深度图在编码端以较低帧率压缩，解码后为了保证3D视频观看的流畅性，深度图的显示帧率需要在传输帧率的基础上进行提升，即通过运动补偿帧插入的方式实现帧率转换。为了降低复杂度，整体流程是在一个接一个的编码单元树中进行的。
一种基于图割优化的深度图帧率提升方法，包括以下步骤：
(1)编码端深度帧的跳过：在3D视频编码端，多视点的纹理图和深度图以访问单元为单位顺序编码，编号为奇数(从0起计数)的访问单元中的深度图跳过不编码；
(2)插值块尺寸的确定：每个插值帧的运动估计和补偿过程是以编码单元树(Coding Tree Unit，CTU)为基本单位进行的，在每个CTU中，具体用来运动估计和插值的块大小由对应纹理图中编码预测单元的大小决定；
(3)运动搜索范围的确定：插值块的运动搜索范围由对应纹理图中预测单元的运动矢量来决定，水平方向和垂直方向的运动搜索范围的计算分别如式(Ⅰ)和式(Ⅱ)所示：
SRh＝|TMVx|/4 (Ⅰ)
SRv＝|TMVy|/4 (Ⅱ)
式(Ⅰ)和(Ⅱ)中，TMVx和TMVy分别表示对应纹理图预测单元运动矢量的水平分量和垂直分量，对于纹理图中的帧内预测单元，运动矢量认为是0；
(4)候选运动矢量标签初始化：深度图前后两帧的块匹配程度用视点合成失真(View Synthesis Distortion，VSD)来衡量，对运动搜索范围内的每一个运动矢量都计算出相应的VSD，作为后续步骤的初始化过程；
视点合成失真的计算如式(Ⅲ)所示：
式(Ⅲ)中，Bt表示待插入的块，V表示运动矢量，p表示块中像素，Ft-1(p+V)和Ft+1(p-V)分别表示前一帧和后一帧中的匹配点，▽T(p)表示对应纹理块像素p的水平梯度：
▽T(p)＝|T(x,y)-T(x-1,y)|+|T(x,y)-T(x+1,y)| (Ⅳ)
式(Ⅳ)中，x，y表示纹理块中像素p的横坐标和纵坐标，T(x-1,y)，T(x,y)，和T(x+1,y)表示纹理块中水平相邻的三个像素值；
α是一个比例系数，代表深度误差到合成视点误差的转换关系：
式(Ⅴ)中，f表示摄像机焦距，L表示视点间基线距离，Znear和Zfar分别表示场景中深度最近和最远的距离；
(5)最终运动矢量的计算：为了使运动矢量场在块匹配的基础上还能保证空域平滑，将最终运动矢量的计算转化为一个能量最小化方程的求解，能量最小化方程表示为：
E(f)＝ED(f)+λES(f) (Ⅵ)
式(Ⅵ)中，f表示编码单元树中所有块的运动矢量场，这个能量最小化方程包含一个数据项ED(f)和一个平滑项ES(f)，系数λ定为10，数据项ED(f)代表块匹配的程度，用编码单元树中所有块视点合成失真的和表示；平滑项ES(f)表示为四邻域块的运动矢量差的范数：
式(Ⅶ)中，i和j表示CTU中相邻的两个块，Vi和Vj表示各自的运动矢量；
将能量最小化方程的求解转化为一个离散二维标签的优化分配问题，用图割优化算法解决，每个块为一个节点，每个运动矢量都是一个二维标签，图割优化通过最大流算法找出整个节点图的最小割，最小割时每个节点的标签就是最终的运动矢量。
以上步骤是在3D-HEVC的框架下进行的，3D-HEVC是3D视频编码扩展联合协作组(JCT-3V)在HEVC的基础上扩展出的一种新的3D视频编码标准，较以前的标准可以实现更高的压缩比。
在步骤(1)中，为了简化示例同时不失一般性，选用两个视点来编码。每个访问单元包含同一时刻所有视点的纹理帧和深度帧。访问单元按时间顺序编码，以0起计数。通常情况下，同一访问单元中的纹理图先于深度图编码。
在步骤(2)中，CTU是HEVC的基本编码单元，具有四叉树的分割结构，可以更好地根据场景的纹理分布和运动复杂程度决定编码块大小。本发明中用于运动估计的块尺寸在每个CTU范围内是相等的，不同的CTU内插值块的尺寸可能不同，具体由待插值的深度块对应纹理块的最小预测单元大小决定。
步骤(3)中，因为编码中的运动矢量是四分之一像素精度的，为了转化为整像素精度，运动矢量要除以4。
本发明基于图割优化的深度图帧率提升方法，在编码端跳过一些深度帧，在解码端通过双向运动补偿插入的方式重建出跳过的深度帧。对于每个编码单元树，插值块的尺寸和搜索范围是根据纹理图中对应预测单元的运动信息决定的；为了保证块间运动矢量场的平滑，将一个编码单元树中所有块的运动搜索当作一个能量最小化过程；这个能量最小化过程用低复杂度的图割优化算法来解决。本发明适用于3D视频编码效率的优化、深度视频的容错和增强。
附图说明
图1为本发明基于图割优化的深度图帧率提升方法的流程示意图；
图2为本发明中3D视频编码的帧结构示意图；
图3为本发明中块尺寸决策示意图，其中：(a)为纹理CTU中的最小预测单元的尺寸，(b)为待插值深度CTU的块尺寸。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明方法是在3D-HEVC的编码框架上实现，3D-HEVC是基于MVD格式的，将采集到的多个视点视频以及对应的深度图编码到一个3D视频比特流中。纹理视频和深度数据解码后，利用基于深度的图像绘制技术(Depth image based rendering，DIBR)可以合成额外的中间视点来显示。
如图1所示，本发明基于图割优化的深度图帧率提升方法，具体包括如下步骤：
步骤1，编码端深度帧的跳过：在3D视频编码端，多视点的纹理图和深度图以访问单元为单位顺序编码，编号为奇数(从0起计数)的访问单元中的深度图跳过不编码；
3D视频编码端的帧跳过结构如图2所示，同一时刻的纹理帧和深度帧包含在一个访问单元中，访问单元按时间顺序编码(从0起计数)。通常情况下，同一访问单元中的纹理图先于深度图编码。为了不失一般性，本实施例中选用左右两个视点来编码。如图2所示，编号为奇数的访问单元中的深度图跳过不编码，被跳过的深度帧将在解码端通过前后帧双向运动预测重建出来。
步骤2，插值块尺寸的确定：在每个CTU中，根据纹理图中编码预测单元的大小来确定与其对应的用来运动估计和插值的块大小；
此步骤中，插值块尺寸不是固定的，而是根据图像内容自适应确定的。平坦区域适宜用大的块进行运动补偿，而纹理复杂的区域适宜用较小的块插值。HEVC较H.264最大的改进在于采用了四叉树分割的编码结构，即把一帧图像划分为若干最大尺寸可达64×64的CTU，CTU可进一步划分为更小的编码和预测单元。为了满足后续步骤中图割算法的实现需要，本实施例中的插值块尺寸在每个CTU范围内是相等的。因为同一访问单元中的纹理图先于深度图编码，所以解码当前深度帧时，对应纹理图的编码信息已经得到。如图3(a)所示的待插值深度CTU的块尺寸由如图3(b)所示的对应纹理CTU中的最小预测单元的尺寸决定。此处不考虑非正方形或非对称划分的预测单元。
步骤3，运动搜索范围的确定：每个插值块的运动搜索范围根据对应纹理图中编码预测单元的运动矢量来确定；
此步骤中，插值块的运动搜索范围，在其他方法中取一个固定值，但如果搜索范围太小，找到的运动矢量会不准确或偏离最优值较远；如果搜索范围太大，耗用太多无用时间。考虑到纹理图和深度图对应区域的运动情况是相似的，插值块的运动搜索范围可根据对应纹理图中预测单元的运动矢量来决定，水平方向和垂直方向搜索范围的计算分别如式(Ⅰ)和式(Ⅱ)所示：
SRh＝|TMVx|/4 (Ⅰ)
SRv＝|TMVy|/4 (Ⅱ)
式(Ⅰ)和(Ⅱ)中，TMVx和TMVy分别表示对应纹理图预测单元运动矢量的水平分量和垂直分量。因为编码中的运动矢量是四分之一像素精度的，为了转化为整像素精度，运动矢量要除以4。对于纹理图中的帧内预测单元，运动矢量认为是0。由此可见，当计算出的SRh和SRv不相等时，得到的搜索范围不是方形的。
步骤4，候选运动矢量标签初始化：对运动搜索范围内的每一个运动矢量都计算出相应的VSD，作为后续步骤的初始化过程；
此步骤中，运动矢量通过在前后两帧的给定搜索范围内找匹配块得到，匹配代价通常用块中像素的绝对误差和表示。但深度图的质量不是由深度图本身评价的，而是由以其合成的虚拟视点的质量评价的。这里深度图的块匹配程度用视点合成失真VSD来衡量。VSD的计算考虑了深度块对应纹理块的图像信息，纹理复杂的区域对深度失真更敏感。因此，视点合成失真的计算如式(Ⅲ)所示：
式(Ⅲ)中，Bt表示待插入的块，V表示运动矢量，p表示块中像素，Ft-1(p+V)和Ft+1(p-V)分别表示前一帧和后一帧中的匹配点，▽T(p)表示对应纹理块像素p的水平梯度：
式(Ⅳ)中，x，y表示纹理块中像素p的横坐标和纵坐标，T(x-1,y)，T(x,y)，和T(x+1,y)表示纹理块中水平相邻的三个像素值。
α是一个比例系数，代表深度误差到合成视点误差的转换关系：
式(Ⅴ)中，f表示摄像机焦距，L表示视点间基线距离，Znear和Zfar分别表示场景中深度最近和最远的距离。
如果每个块都通过最小化VSD独立预测出各自的运动矢量，而不考虑相邻块之间运动矢量的相关性，则必然产生很多运动矢量离群值，降低插入帧的质量。因此，对搜索范围内的每一个运动矢量都计算出相应的VSD仅是后续步骤的一个初始化过程。
步骤5，最终运动矢量的计算：将最终运动矢量的计算转化为一个能量最小化方程的求解，这个求解过程可以当作一个二维标签分配过程，用图割优化算法来计算出结果；
此步骤中，能量最小化方程表示为：
E(f)＝ED(f)+λES(f) (Ⅵ)
式(Ⅵ)中，f表示CTU中所有块的运动矢量场。这个能量最小化方程包含一个数据项ED(f)和一个平滑项ES(f)。系数λ定为10。数据项ED(f)代表块匹配的程度，用CTU中所有块VSD的和表示；平滑项ES(f)表示为四邻域块的运动矢量差的范数：
式(Ⅶ)中，i和j表示CTU中相邻的两个块，Vi和Vj表示各自的运动矢量。
为了求E(f)的最小值从而得到最终的运动矢量，可以将方程求解转化为一个离散二维标签的优化分配问题，用图割算法解决。图割优化算法常用于图像分割和视差匹配。此处，每个块为一个节点，每个运动矢量都是一个二维标签，图割优化通过最大流算法找出整个节点图的最小割，最小割时每个节点的标签就是最终的运动矢量。
图割优化算法是一个全局优化算法，一般比较耗时。但本发明的计算复杂度相对较低，原因有两方面：第一，步骤(3)中运动搜索范围通过自适应决策，大多数接近于0，这样导致候选标签数比较少；第二，图割优化算法是在一个CTU范围内而不是一整帧内进行的。表1显示了不同测试序列的运动搜索范围(SR)分布情况，以及平均每帧深度图插值时间(Tint)与编码时间(Tenc)的对比。
表1
| 序列 | 分辨率 | SR<＝3(％) | SR>3(％) | T<sub>int</sub>(s) | T<sub>enc</sub>(s) |
| Poznan_Hall2 | 1920×1088 | 79.04 | 20.96 | 1.53 | 62.25 |
| Poznan_Street | 1920×1088 | 73.35 | 26.65 | 4.90 | 100.51 |
| Undo_Dancer | 1920×1088 | 69.73 | 30.27 | 1.40 | 72.13 |
| Kendo | 1024×768 | 84.22 | 15.78 | 0.31 | 30.13 |
| Balloons | 1024×768 | 93.65 | 6.35 | 0.13 | 28.53 |
| Newspaper | 1024×768 | 96.82 | 3.18 | 0.07 | 27.19 |
从表1中可以看出，帧插值时间远小于编码时间，因此本发明有助于将编码端的计算负担部分转移给解码端，平衡系统的整体负载。
为了评估本发明的性能，在3D-HEVC的参考软件HTM-16.0上进行了实验。实验使用了6个由JCT-3V指定的测试序列：Poznan_Hall2(1920×1088)、Poznan_Street(1920×1088)、Undo_Dancer(1920×1088)、Kendo(1024×768)、Balloons(1024×768)和Newspaper(1024×768)。在编码端，纹理图与深度图的量化参数(QP)组合为(25，34)，编号为奇数的访问单元中的深度图跳过不编码。在解码端，被跳过的深度帧被插值重建，然后在两个相邻视点间利用基于深度图像绘制(DIBR)合成三个虚拟视点。表2列出了用插入的深度图合成的虚拟视点的平均质量。
表2实验结果
| 序列 | 峰值信噪比(PSNR) | 结构相似性(SSIM) |
| Poznan_Hall2 | 47.8437 | 0.9975 |
| Poznan_Street | 47.4959 | 0.9973 |
| Undo_Dancer | 37.8598 | 0.9933 |
| Kendo | 46.8444 | 0.9973 |
| Balloons | 46.1040 | 0.9980 |
| Newspaper | 43.6772 | 0.9958 |
| 平均 | 44.9708 | 0.9965 |
表2中的PSNR和SSIM是通过比较用插值出的深度图合成的虚拟视点与正常编码的深度图合成的虚拟视点求出的。PSNR平均大于40dB，可见采用本发明的方法，跳过一部分深度图不编码，对最后的观看效果影响很小，但可以减少消耗的码率。因此本发明适用于低码率条件下3D视频编码的优化。
以上公开的仅为本发明的具体实施例，但是本发明的保护范围并不局限于此，任何熟悉本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，都应涵盖在本实用发明的保护范围之内。
Claims (3)
1.一种基于图割优化的深度图帧率提升方法，包括以下步骤：
(1)编码端深度帧的跳过：在3D视频编码端，多视点的纹理图和深度图以访问单元为单位顺序编码，编号为奇数的访问单元中的深度图跳过不编码；
(2)插值块尺寸的确定：每个插值帧的运动估计和补偿过程是以编码单元树为基本单位进行的，在每个编码单元树中，根据纹理图中编码预测单元的大小确定与其对应的用来运动估计和插值的块大小；
(3)运动搜索范围的确定：插值块的运动搜索范围由对应纹理图中预测单元的运动矢量来决定，水平方向和垂直方向的运动搜索范围的计算分别如式(Ⅰ)和式(Ⅱ)所示：
SRh＝|TMVx|/4 (Ⅰ)
SRv＝|TMVy|/4 (Ⅱ)
式(Ⅰ)和(Ⅱ)中，TMVx和TMVy分别表示对应纹理图预测单元运动矢量的水平分量和垂直分量，对于纹理图中的帧内预测单元，运动矢量认为是0；
(4)候选运动矢量标签初始化：深度图前后两帧的块匹配程度用视点合成失真来衡量，对运动搜索范围内的每一个运动矢量计算出相应的视点合成失真，作为后续步骤的初始化过程；
视点合成失真的计算如式(Ⅲ)所示：
式(Ⅲ)中，Bt表示待插入的块，V表示运动矢量，p表示块中像素，Ft-1(p+V)和Ft+1(p-V)分别表示前一帧和后一帧中的匹配点，▽T(p)表示对应纹理块像素p的水平梯度：
▽T(p)＝|T(x,y)-T(x-1,y)|+|T(x,y)-T(x+1,y)| (Ⅳ)
式(Ⅳ)中，x，y表示纹理块中像素p的横坐标和纵坐标，T(x-1,y)，T(x,y)，和T(x+1,y)表示纹理块中水平相邻的三个像素值；
α是一个比例系数，代表深度误差到合成视点误差的转换关系：
式(Ⅴ)中，f表示摄像机焦距，L表示视点间基线距离，Znear和Zfar分别表示场景中深度最近和最远的距离；
(5)最终运动矢量的计算：将最终运动矢量的计算转化为一个能量最小化方程的求解，能量最小化方程表示为：
E(f)＝ED(f)+λES(f) (Ⅵ)
式(Ⅵ)中，f表示编码单元树中所有块的运动矢量场，这个能量最小化方程包含一个数据项ED(f)和一个平滑项ES(f)，系数λ定为10，数据项ED(f)代表块匹配的程度，用编码单元树中所有块视点合成失真的和表示；平滑项ES(f)表示为四邻域块的运动矢量差的范数：
式(Ⅶ)中，i和j表示编码单元树中相邻的两个块，Vi和Vj表示各自的运动矢量；
将能量最小化方程的求解转化为一个离散二维标签的优化分配问题，用图割优化算法解决，每个块为一个节点，每个运动矢量都是一个二维标签，图割优化通过最大流算法找出整个节点图的最小割，最小割时每个节点的标签就是最终的运动矢量。
2.根据权利要求1所述基于图割优化的深度图帧率提升方法，其特征在于：所述步骤(1)～步骤(5)是在3D-HEVC的框架下进行的。
3.根据权利要求1所述基于图割优化的深度图帧率提升方法，其特征在于：每个访问单元包含同一时刻所有视点的纹理帧和深度帧，访问单元按时间顺序编码，以0起计数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611168318.6A CN106791768B (zh) | 2016-12-16 | 2016-12-16 | 一种基于图割优化的深度图帧率提升方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611168318.6A CN106791768B (zh) | 2016-12-16 | 2016-12-16 | 一种基于图割优化的深度图帧率提升方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106791768A CN106791768A (zh) | 2017-05-31 |
| CN106791768B true CN106791768B (zh) | 2019-01-04 |
Family
ID=58892203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611168318.6A Active CN106791768B (zh) | 2016-12-16 | 2016-12-16 | 一种基于图割优化的深度图帧率提升方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106791768B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108156440B (zh) * | 2017-12-26 | 2020-07-14 | 重庆邮电大学 | 一种基于分块dct变换的三维视频深度图非编码传输方法 |
| CN109285217B (zh) * | 2018-09-10 | 2021-01-29 | 中国科学院自动化研究所 | 基于多视角图像的过程式植物模型重建方法 |
| US10602177B1 (en) * | 2018-10-01 | 2020-03-24 | Novatek Microelectronics Corp. | Frame rate up-conversion apparatus and operation method thereof |
| CN109448111B (zh) * | 2018-10-25 | 2023-05-30 | 山东鲁软数字科技有限公司 | 一种图像三维曲面模型优化构建方法及装置 |
| CN112135137B (zh) * | 2019-06-25 | 2024-04-09 | 华为技术有限公司 | 视频编码器、视频解码器及相应方法 |
| CN112866668B (zh) * | 2020-11-20 | 2022-04-19 | 福州大学 | 一种基于gan潜码的多视点视频重建方法 |
| CN113613000B (zh) * | 2021-08-20 | 2024-04-26 | 天津大学 | 一种智能多分辨率深度视频帧内预测方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014005248A1 (en) * | 2012-07-02 | 2014-01-09 | Qualcomm Incorporated | Intra-coding of depth maps for 3d video coding |
| CN102761765B (zh) * | 2012-07-16 | 2014-08-20 | 清华大学 | 一种用于三维立体视频的深度快速插帧方法 |
| EP2974316B1 (en) * | 2013-03-15 | 2018-08-22 | Qualcomm Incorporated | Predictor for depth map intra coding |
| CN103260032B (zh) * | 2013-04-18 | 2016-07-06 | 清华大学深圳研究生院 | 一种立体视频深度图序列的帧率提升方法 |
| CN104159095B (zh) * | 2014-02-19 | 2016-12-07 | 上海大学 | 一种多视点纹理视频和深度图编码的码率控制方法 |
| CN105519106B (zh) * | 2014-06-20 | 2017-08-04 | 寰发股份有限公司 | 用于三维或多视图视频编码中基于深度的块分区模式的编码方法 |
| CN104506871B (zh) * | 2014-11-23 | 2017-06-06 | 北京工业大学 | 一种基于hevc的3d视频快速编码方法 |
| CN105049866B (zh) * | 2015-07-10 | 2018-02-27 | 郑州轻工业学院 | 基于绘制失真模型的多视点加深度编码的码率分配方法 |
| CN105430415B (zh) * | 2015-12-02 | 2018-02-27 | 宁波大学 | 一种3d‑hevc深度视频帧内快速编码方法 |
| CN105933714B (zh) * | 2016-04-20 | 2017-06-09 | 济南大学 | 一种基于深度引导扩展块匹配的三维视频帧率提升方法 |
-
2016
- 2016-12-16 CN CN201611168318.6A patent/CN106791768B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106791768A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106791768B (zh) | 一种基于图割优化的深度图帧率提升方法 | |
| Grammalidis et al. | Disparity and occlusion estimation in multiocular systems and their coding for the communication of multiview image sequences | |
| US9525858B2 (en) | Depth or disparity map upscaling | |
| US10349058B2 (en) | Method for predicting depth map coding distortion of two-dimensional free viewpoint video | |
| Stefanoski et al. | Automatic view synthesis by image-domain-warping | |
| CN107925760A (zh) | 基于间预测模式的图像处理方法及其装置 | |
| CN104219533B (zh) | 一种双向运动估计方法和视频帧率上转换方法及系统 | |
| BR112014011425B1 (pt) | Codificação de multi-visualização eficiente utilizando estimativa e atualização de mapa por profundidade | |
| CN104247427A (zh) | 使用分区编码的有效预测 | |
| CN102970529B (zh) | 一种基于对象的多视点视频分形编码压缩与解压缩方法 | |
| US20150146103A1 (en) | Method and apparatus for processing video signal | |
| US11323717B2 (en) | Frequency adjustment for texture synthesis in video coding | |
| CN102271253A (zh) | 使用运动估计的图像处理方法和图像处理装置 | |
| Morvan et al. | System architecture for free-viewpoint video and 3D-TV | |
| CN104159095B (zh) | 一种多视点纹理视频和深度图编码的码率控制方法 | |
| US11252413B2 (en) | Polynomial fitting for motion compensation and luminance reconstruction in texture synthesis | |
| EP2903283B1 (en) | Prediction image generation method and device | |
| CN114651270A (zh) | 通过时间可变形卷积进行深度环路滤波 | |
| CN105612748A (zh) | 活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序 | |
| Amado Assuncao et al. | Spatial error concealment for intra-coded depth maps in multiview video-plus-depth | |
| Bosc et al. | A study of depth/texture bit-rate allocation in multi-view video plus depth compression | |
| CN109451306A (zh) | 色度分量的最佳预测模式的选择方法、装置及电子设备 | |
| Dou et al. | Segment-based view synthesis optimization scheme in 3D-HEVC | |
| CN105472367A (zh) | 基于gop片划分的支持空域随机访问的自适应多视点视频编码方法 | |
| Lu et al. | High-speed stream-centric dense stereo and view synthesis on graphics hardware |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |