CN105872561B - 一种可分级多视点视频加深度宏块编码模式快速选择方法 - Google Patents

一种可分级多视点视频加深度宏块编码模式快速选择方法 Download PDF

Info

Publication number
CN105872561B
CN105872561B CN201511015791.6A CN201511015791A CN105872561B CN 105872561 B CN105872561 B CN 105872561B CN 201511015791 A CN201511015791 A CN 201511015791A CN 105872561 B CN105872561 B CN 105872561B
Authority
CN
China
Prior art keywords
mode
coding
macro
video
coding mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511015791.6A
Other languages
English (en)
Other versions
CN105872561A (zh
Inventor
马然
李攀攀
侯宇
安平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201511015791.6A priority Critical patent/CN105872561B/zh
Publication of CN105872561A publication Critical patent/CN105872561A/zh
Application granted granted Critical
Publication of CN105872561B publication Critical patent/CN105872561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种可分级多视点视频加深度宏块编码模式快速选择方法，其步骤是：1.基本视V0编码：使用全遍历选择方式编码纹理视频T0；根据对应T0宏块的编码模式，快速选择深度视D0宏块的编码模式。2.增强视V1编码：对纹理视频T1，根据其参考视点T0和D0的宏块编码模式以及宏块纹理复杂度之间的关系，快速选择当前宏块的编码模式；对深度视频D1，根据参考视点T1对应位置宏块的编码模式以及当前深度宏块在DIRECT或Inter16x16模式下的CBP值快速选择当前深度宏块的编码模式。3.增强视V2编码：参考步骤2中原理，但纹理视频T2参考视点T1和D1，深度视频D2参考视点T2。本方法在编码增强视的纹理视频和深度视频时，可提前终止模式选择的过程，降低编码的时间复杂度。

Description

一种可分级多视点视频加深度宏块编码模式快速选择方法
技术领域
本发明涉及一种可分级多视点视频加深度(Multi-view Video plus Depth，MVD)宏块(Macro Block，MB)编码模式快速选择方法。
背景技术
三维立体电视(3DTV)系统，利用人双眼观察物体的角度差异而辨识物体的远近这个原理，将编码后的3D视频传入人的左右眼，使观众在观看电视节目的时候可以体验强烈的立体感。在3DTV系统中，送入编码端的视频格式可以有单视点视频加深度、双视点视频、多视点视频(Multi View Video，MVV)和MVD。其中，MVD格式的视频相比于其余格式的视频具有显著的优势。相比于单视点视频加深度和双视点视频，MVD视频经编码、传输和解码后，在显示端可以带来更多的观看角度；相比于MVV，MVD视频可以在观看角度不减少的前提下，显著降低视频传输的码率。
基于H.264的可分级视频编码(Scalable Video Coding，SVC)技术，可以通过一次编码产生具有不同帧率、分辨率或质量的视频压缩码流，该码流包括一个基本层(BasicLayer，BL)和若干个增强层(Enhancement Layer，EL)，然后在传输的过程中，根据网络的带宽、显示终端的分辨率以及观看者对视频质量的要求，有选择的丢弃部分视频压缩码流，最后在解码端根据接收的视频码流解码得到符合服务质量(Quality of Service，QoS)要求的最优视频。其具体可以分为时域可分级、空域可分级、质量可分级以及视点可分级。
对于可分级的MVD编码，编码得到的可分级码流虽然可以根据需要产生或提取出不同的码流，但是在同样条件下的编码过程中，利用SVC得到的分级码流比H.264/AVC得到的单层码流的计算复杂度要高。所以，如何降低编码的计算复杂度是一个关键的问题。
MVD格式的视频包括由多个摄像机拍摄得到的彩色纹理视频(Texture，T)以及其对应的深度视频(Depth，D)，图1是MVD视频序列Ballet。
深度视频由一幅幅连续的深度帧组成，而深度帧中的每一个点的深度像素值d表示拍摄场景中的点与摄像机之间的距离z，其相对关系如下：
其中，zfar表示物体距离摄像机的最远距离，znear表示物体距离摄像机的最近距离。
深度值d的范围为[0-255]。深度图使用YUV颜色空间表示的时候只有亮度分量Y，而没有色度分量U和V，所以可以将深度图看作一张256色灰度图。物体离摄像机越近，d越大，即该点越白。反之，d越小，该点越黑。
对于MVD格式的视频，其视点间以及视点内存在很多的冗余信息，包括视点冗余信息、时域冗余信息和空域冗余信息，H.264视频编码标准采用可变块大小的运动估计和视差估计来去除这些冗余信息。在可分级MVD的编码中，时间开销主要集中在MB编码模式选择过程，约占编码总时间的80％～90％，这也严重制约了视频实时传输的应用。在模式选择过程中，MB具有两种模式：帧内预测模式和帧间预测模式。帧内预测模式又可具体划分为Intra16x16，Intra8x8及Intra4x4；帧间预测模式可具体划分成DIRECT/SKIP模式，Inter16x16，Inter16x8，Inter8x16及Inter8x8。其中，Inter8x8又包括4种划分方式：Inter8x8，Inter8x4，Inter4x8及Inter4x4。帧间预测模式具体的MB划分方式如图2所示。
可分级编码在上述MB编码模式选择的基础上增加了增强层视频编码。当编码增强层视频时，又加入了层间预测模式，具体包括：层间帧内预测、层间运动预测以及层间残差预测。
在联合多视点视频编码参考软件(Joint Multi-view Video Model，JMVM)中，宏块的模式选择根据率失真优化准则(Rate Distortion Optimization，RDO)，在拉格朗日参数λmode和量化参数Q确定后，选择使率失真代价函数Jm最小的宏块编码方式作为当前宏块S的最优编码方式。率失真代价函数如下：
Jm(S,Im|Q,λmode)＝λmode×R(S,Im|Q)+D(S,Im|Q) m∈Mode
其中，Im为宏块的编码模式，R为编码后比特流的比特率，Mode为候选宏块编码模式，D为失真度，由宏块的原始像素和重建像素决定，在JMVM中，它有两种计算方式，分别为：
其中，(x,y)表示像素点在宏块内的坐标，p(x,y)为宏块的原始像素值，p'(x,y)为宏块的重建像素值。
MB最终编码方式I由下面的关系式得到：
在JMVM中，MB的模式选择按照上述率失真优化准则，计算每一种宏块编码模式的率失真代价值，然后选择出宏块编码模式。这种做法可以保证MB得到最优的编码模式，但是全遍历的选择做法大大增加了MB编码的时间复杂度。所以降低MVD在可分级编码中的时间复杂度的核心问题就是在保证率失真可接受的条件下，快速选择出MB的编码模式。
发明内容
本发明的目的是针对MVD视点可分级编码过程中MB编码模式选择时间开销过大的问题，提出一种可分级多视点视频加深度宏块编码模式快速选择方法，在编码增强视的纹理视频和深度视频时，可以提前终止宏块模式选择的过程，降低编码的时间复杂度。
本发明具体的构思是：
本发明中选择三个视点(V0，V1和V2)进行编码；并且，将V0(包括纹理视频T0和深度视频D0)作为基本视，V1(包括纹理视频T1和深度视频D1)作为增强视1，V2(包括纹理视频T2和深度视频D2)作为增强视2，编码结构如图3。
首先在编码基本视V0时，其纹理视频T0采用全遍历的宏块模式选择方法，确保基本视的2D视频质量最优。并且，在编码深度视频D0时，对特定条件下的MB采用和对应纹理视频中的MB相同的编码模式，实现双目的立体视频。
然后在编码增强视V1的纹理视频T1时，使用基本视V0中的纹理视频T0和深度视频D0的MB编码模式及宏块的纹理复杂度之间的关系预测当前纹理MB的编码模式；编码深度视频D1时，使用增强视V1中已编码的纹理视频T1的MB模式选择信息以及运动矢量决定深度MB的编码模式。
最后，采用与编码增强视V1相同的方法编码增强视V2中的纹理视频T2和深度视频D2，只是视点之间的参考关系发生了改变，如图3所示。
根据上述的构思，本发明采用下述技术方案：
一种可分级多视点视频加深度宏块编码模式快速选择方法，其具体步骤是：
步骤1.基本视V0编码：使用全遍历的宏块模式选择方式编码纹理视频T0；对深度视频D0，根据其对应的纹理视频T0宏块的编码模式，快速选择当前深度宏块的编码模式。
步骤2.增强视V1编码：对纹理视频T1，根据其参考视点T0和D0的宏块编码模式以及宏块的纹理复杂度之间的关系，快速选择当前宏块的编码模式；对深度视频D1，根据参考视点T1对应位置的宏块的编码模式以及当前深度宏块在DIRECT或Inter16x16模式下的CBP值快速选择当前深度宏块的编码模式。
步骤3.增强视V2编码：参考步骤2中纹理视频和深度视频的宏块快速模式选择方法，但是其中纹理视频T2的参考视点为T1和D1，深度视频D2的参考视点为T2。
上述步骤1基本视V0编码：
①对T0，根据当前帧的类型遍历宏块所有的帧间及帧内编码模式，选择出最优的MB编码模式。
②对D0，MB帧间编码过程中，若T0视中对应位置MB的编码模式为Inter16x16或DIRECT/SKIP模式，则当前MB采用相同的编码模式，并且终止帧间模式选择过程。否则，当前MB参考T0的运动矢量遍历所有的帧间及帧内编码模式。
上述步骤2增强视V1编码：
①对T1，选择已编码的T0和D0作为参考视点。MB编码时，首先判断其在T0中对应位置的参考MB的编码模式。如果参考MB在T0中的编码模式为Inter16x16或DIRECT/SKIP模式，说明参考MB纹理比较简单，由于视点之间的相关性，这时检查当前MB与参考MB之间的纹理复杂度是否满足关系：
|Complexitycurr-ComplexityT0|＜Th
其中，Complexitycurr和ComplexityT0分别为当前MB和T0中参考MB的纹理复杂度，Th为判断阈值。如果满足关系，则选择当前MB的编码模式为T0中参考MB的编码模式，终止帧间编码模式的选择；否则计算当前MB的Inter16x16、DIRECT/SKIP以及所有的帧内编码模式的率失真代价，选择最优的编码模式。
如果当前MB在T0中参考MB的编码模式不是Inter16x16或DIRECT/SKIP，则进一步判断在D0中对应的参考MB的编码模式。如果其为Inter16x16或DIRECT/SKIP模式，说明参考MB在T0中运动比较剧烈且处于同一深度层次上，则计算当前MB的Inter8x16，Inter16x8、Inter8x8以及所有的帧内编码模式的率失真代价，选择最优的编码模式。
如果当前MB在T0和D0中对应的参考MB的编码模式都不是Inter16x16或DIRECT/SKIP模式，但是其MB编码模式相同的时候，当前MB选择对应参考MB的编码模式，并终止帧间编码模式选择过程；否则，遍历所有的帧间及帧内MB编码模式。
②对D1，选择T1作为参考视。其具体的MB帧间编码模式的选择过程如下：
首先，判断T1中对应位置MB的编码模式MODET1＝DIRECT or Inter16x16是否为真。如果为真，则计算当前MB的DIRECT/SKIP与Inter16x16编码模式的率失真代价，选择最优的帧间编码模式。
如果为假，说明当前深度MB所对应的T1视中的纹理MB运动比较剧烈或者纹理信息比较丰富，则对应的当前深度MB也具有比较剧烈的运动或者深度MB中具有一些边界信息。此时，对当前深度MB，首先计算DIRECT和Inter16x16模式的率失真代价，选择出这两个中较好的模式MODEpre，计算其编码块模式(Coded Block Pattern,CBP)值，CBP的取值为CBP∈[0,15]，如果CBP＝0，说明当前MB处于深度平坦区域，含有的信息较少，可以采用比较大的分割，所以帧间编码模式选择过程结束，当前MB的帧间编码模式为MODEpre；如果CBP＝1，2，4，8，则继续计算Inter8x16和Inter16x8的率失真代价，帧间编码模式选择过程结束；如果CBP＝7，11，13，14，15，则计算Inter8x8模式的率失真代价，帧间编码模式选择过程结束；对其余的CBP值，继续计算所有的帧间编码模式的率失真代价。
帧间编码模式选择过程结束之后，再与帧内编码模式相比较，选出最后的最优MB编码模式。
上述步骤3增强视V2编码：
与增强视V1中的提前终止准则相同，但是视点间的参考关系有变化，具体的参考关系为：T2参考T1和D1，D2参考T2。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：本发明选择三个视点(V0，V1和V2)进行编码，并将视点V0作为基本视，V1作为增强视1，V2作为增强视2，在编码增强视的纹理视频和深度视频时，可提前模式选择的过程，降低编码的时间复杂度。
附图说明：
图1为MVD视频序列。
图2为帧间预测模式中MB划分方式。
图3为编码结构。
图4为主程序框图。
图5为增强视纹理MB模式选择过程。
图6为增强视深度MB模式选择过程。
具体实施方式：
本发明的优选实施例结合附图详述如下：
实施例一：
参见图1～图6，本可分级多视点视频加深度宏块编码模式快速选择方法，其具体步骤是：
步骤1.基本视V0编码：使用全遍历的宏块模式选择方式编码纹理视频T0；对深度视频D0，根据其对应的纹理视频T0宏块的编码模式，快速选择当前深度宏块的编码模式。
步骤2.增强视V1编码：对纹理视频T1，根据其参考视点T0和D0的宏块编码模式以及宏块的纹理复杂度之间的关系，快速选择当前宏块的编码模式；对深度视频D1，根据参考视点T1对应位置的宏块的编码模式以及当前深度宏块在DIRECT或Inter16x16模式下的CBP值快速选择当前深度宏块的编码模式。
步骤3.增强视V2编码：参考步骤2中纹理视频和深度视频的宏块快速模式选择方法，但是其中纹理视频T2的参考视点为T1和D1，深度视频D2的参考视点为T2。
实施例二：
本实施例与实施例一基本相同，特别之处如下：
所述步骤1中，对T0，根据当前帧的类型遍历宏块所有的帧间及帧内编码模式，选择出最优的宏块编码模式，保证基本视2D视频质量最优；
对D0，宏块帧间编码的基本步骤为：
(1)判断当前宏块在T0中对应位置宏块的编码模式是否为Inter16x16或DIRECT/SKIP模式；
(2)如果步骤(1)中判断结果为真，则当前宏块采用与T0对应位置宏块相同的编码模式；
(3)如果步骤(1)中判断结果为假，则当前宏块参考T0的运动矢量遍历所有的帧间编码模式，然后选出最优的宏块帧间编码模式。
所述步骤2中，对T1，选择已编码的T0和D0作为参考视点，其宏块帧间编码模式选择的基本步骤为：
①对当前宏块，首先判断其在T0中对应位置的参考宏块的编码模式；
②如果步骤①中参考宏块的编码模式为Inter16x16或DIRECT/SKIP模式，则检查当前宏块和参考宏块之间是否满足关系：|Complexitycurr-ComplexityT0|＜Th
其中，Complexitycurr和ComplexityT0分别为当前宏块和T0中参考宏块的纹理复杂度，Th为判断阈值；如果满足，则选择当前MB的编码模式为T0中参考MB的编码模式，终止帧间编码模式的选择；否则计算当前MB在Inter16x16与DIRECT/SKIP编码模式下的率失真代价，选择最优的帧间编码模式；
③如果步骤①中参考宏块的编码模式不是Inter16x16或DIRECT/SKIP，则进一步判断在D0中对应的参考MB的编码模式。如果其为Inter16x16或DIRECT/SKIP模式，则计算当前MB的Inter8x16，Inter16x8、Inter8x8以及所有的帧内编码模式的率失真代价，选择最优的编码模式；
④如果当前MB在T0和D0中对应的参考MB的编码模式都不是Inter16x16或DIRECT/SKIP模式，但是其MB编码模式相同的时候，当前MB选择对应参考MB的编码模式，并终止帧间编码模式选择过程；否则，遍历所有的帧间及帧内MB编码模式。
对D1，选择T1作为参考视，其宏块帧间编码模式选择的基本步骤如下：
①首先判断T1中参考宏块的编码模式是否为Inter16x16或DIRECT/SKIP模式。
②如果步骤①中判断结果为真，则选择当前宏块的帧间编码模式为Inter16x16与DIRECT/SKIP的最优者；
如果步骤①中判断结果为假，则计算当前宏块在Inter16x16和DIRECT/SKIP模式下的率失真代价，选择出较优的编码模式，然后计算当前宏块在此模式下的CBP值。最后根据CBP值得大小快速选择宏块的编码模式。
所述步骤3中，增强视2中的纹理视频T2和深度视频D2的宏块编码模式快速选择方法与步骤2中的原理相同，它们之间的区别就是T2的参考视点为T1和D1，D2的参考视点为T2。
实施例三：
本可分级多视点视频加深度宏块编码模式快速选择方法，其编码主程序框图如图4所示，纹理视频MB和深度视频MB编码模式的选择流程分别如图5以及图6所示，该方法在JMVM8.0下实施，具体实施步骤如下：
步骤1，基本视V0编码：
(1.1)对于T1，MB遍历所有的编码模式，选择出最优的模式。
(1.2)对于D0，在进行帧间模式选择时，若MODET0＝Inter16x16or DIRECT/SKIP，则MODEcurrent＝MODET0；否则，利用MVcurrent＝MVT0遍历所有的帧间编码模式，执行步骤4。
其中，MODET0为当前MB在T0中对应位置MB的编码模式，MODEcurrent为当前宏块的编码模式，MVcurrent为当前MB的运动矢量，MVT0为当前MB在T0中对应位置MB的运动矢量。
步骤2，增强视1编码：
(2.1)对T1，其参考视点为T0和D0，所以可以利用基本视的信息来预测编码T1，具体实现过程如下：
对当前宏块MBcurr，其在T0中的对应宏块MBT0的编码模式为MODET0，如果满足关系：
MODET0＝Inter16x16or DIRECT/SKIP (1)
则进一步计算MBcurr和MBT0之间的宏块纹理复杂度之间的差异性是否满足关系：
|Complexitycurr-ComplexityT0|＜Th (2)
其中Complexity表示宏块的纹理复杂度，由下式计算获得：
如果公式(2)成立，则MODEcurrent＝MODET0，终止帧间模式选择过程，执行步骤4。
如果公式(2)不成立，则计算MBcurr的Inter16x16和DIRECT/SKIP模式的率失真代价，执行步骤4。
如果公式(1)不成立，但是MBcurr在D0视中的参考宏块MBD0的编码模式MODED0满足：
MODED0＝Inter16x16or DIRECT/SKIP (3)
则计算MBcurr在Inter8x16，Inter16x8以及Inter8x8模式下的率失真代价，执行步骤4。
如果公式(1)和公式(3)都不成立，但是满足下面的关系：
MODET0＝MODED0
则MBcurr的编码模式MODEcurrent＝MODET0，执行步骤4。
否则，遍历所有的帧间编码模式，执行步骤4。
(2.2)对D1，其参考视点为T1，可以利用对应纹理视频MBT1的编码模式MODET1以及当前深度MB本身的信息来预测当前宏块MBcurr的编码模式MODEcurrent，具体实现过程如下：
首先判断MBT1的编码模式MODET1是否满足公式(4)：
MODET1＝DIRECT or Inter16x16 (4)
如果公式(4)成立，则计算MBcurr在Inter16x16和DIRECT模式下的率失真代价值，执行步骤4；
如果公式(4)不成立，则首先计算当前深度MB在DIRECT和Inter16x16模式下的率失真代价，在这两种模式中选择出较好的编码模式MODEpre，然后计算其CBP值，根据其CBP值进一步判断选择MBcurr的帧间编码模式，具体如下：
当CBP＝0时，MODEcurrent＝MODEpre，执行步骤4；
当CBP＝1，2，4，8时，继续计算MBcurr在Inter16x8和Inter8x16模式下的率失真代价值，执行步骤4；
当CBP＝7，11，13，14，15时，计算MBcurr在Inter8x8模式下的率失真代价值，执行步骤4；
当CBP值为其余的值时，计算剩余的所有的帧间编码模式的率失真代价，执行步骤4；
步骤3，增强视2编码：遵循增强视1中的提前终止准则，但是改变了视点的参考关系，具体的参考关系为：T2参考T1和D1，D2参考T2。
步骤4，遍历MBcurr的所有帧内编码模式，与步骤1、步骤2或步骤3中得到的MB帧间编码模式相比较，得到最优的编码模式，执行步骤5。
步骤5，MBcurr的编码模式选择过程结束，进行下一次的循环。
由上述步骤可以看出，在前提条件满足的条件下，本发明可以提前终止MB编码模式的选择过程，有效降低编码过程的时间复杂度。
本文所描述的具体实施方式仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施案例做修改、补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种可分级多视点视频加深度宏块编码模式快速选择方法，其具体步骤是：
步骤1.基本视V0编码：使用全遍历的宏块模式选择方式编码纹理视频T0；对深度视频D0，根据其对应的纹理视频T0宏块的编码模式，快速选择当前深度宏块的编码模式；
步骤2.增强视V1编码：对纹理视频T1，根据其参考视点T0和D0的宏块编码模式以及宏块的纹理复杂度之间的关系，快速选择当前宏块的编码模式；对深度视频D1，根据参考视点T1对应位置的宏块的编码模式以及当前深度宏块在DIRECT或Inter16x16模式下的CBP值快速选择当前深度宏块的编码模式；
步骤3.增强视V2编码：参考步骤2中纹理视频和深度视频的宏块快速模式选择方法，但是其中纹理视频T2的参考视点为T1和D1，深度视频D2的参考视点为T2；
在上述步骤1中，对T0，根据当前帧的类型遍历宏块所有的帧间及帧内编码模式，选择出最优的宏块编码模式，保证基本视2D视频质量最优；
对D0，宏块帧间编码的基本步骤为：
(1)判断当前宏块在T0中对应位置宏块的编码模式是否为Inter16x16或DIRECT/SKIP模式；
(2)如果步骤(1)中判断结果为真，则当前宏块采用与T0对应位置宏块相同的编码模式；
(3)如果步骤(1)中判断结果为假，则当前宏块参考T0的运动矢量遍历所有的帧间编码模式，然后选出最优的宏块帧间编码模式；
在上述步骤2中：
(3.1)对T1，选择已编码的T0和D0作为参考视点，其宏块帧间编码模式选择的基本步骤为：
①对当前宏块，首先判断其在T0中对应位置的参考宏块的编码模式；
②如果步骤①中参考宏块的编码模式为Inter16x16或DIRECT/SKIP模式，则检查当前宏块和参考宏块之间是否满足关系：
|Complexitycurr-ComplexityT0|＜Th
其中，Complexitycurr和ComplexityT0分别为当前宏块和T0中参考宏块的纹理复杂度，Th为判断阈值；如果满足，则选择当前宏块的编码模式为T0中参考宏块的编码模式，终止帧间编码模式的选择；否则计算当前宏块在Inter16x16与DIRECT/SKIP编码模式下的率失真代价，选择最优的帧间编码模式；
③如果步骤①中参考宏块的编码模式不是Inter16x16或DIRECT/SKIP，则进一步判断在D0中对应的参考宏块的编码模式；如果其为Inter16x16或DIRECT/SKIP模式，则计算当前宏块的Inter8x16，Inter16x8、Inter8x8以及所有的帧内编码模式的率失真代价，选择最优的编码模式；
④如果当前宏块在T0和D0中对应的参考宏块的编码模式都不是Inter16x16或DIRECT/SKIP模式，但是其宏块编码模式相同的时候，当前宏块选择对应参考宏块的编码模式，并终止帧间编码模式选择过程；否则，遍历所有的帧间及帧内宏块编码模式，然后选出最优的编码模式；
(3.2)对D1，选择T1作为参考视，其宏块帧间编码模式选择的基本步骤如下：
①首先判断T1中参考宏块的编码模式是否为Inter16x16或DIRECT/SKIP模式；
②如果步骤①中判断结果为真，则选择当前宏块的帧间编码模式为Inter16x16与DIRECT/SKIP的最优者；
③如果步骤①中判断结果为假，则计算当前宏块在Inter16x16和DIRECT/SKIP模式下的率失真代价，选择出较优的编码模式，然后计算当前宏块在此模式下的CBP值；最后根据CBP值得大小快速选择宏块的编码模式。
CN201511015791.6A 2015-12-29 2015-12-29 一种可分级多视点视频加深度宏块编码模式快速选择方法 Active CN105872561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511015791.6A CN105872561B (zh) 2015-12-29 2015-12-29 一种可分级多视点视频加深度宏块编码模式快速选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511015791.6A CN105872561B (zh) 2015-12-29 2015-12-29 一种可分级多视点视频加深度宏块编码模式快速选择方法

Publications (2)

Publication Number Publication Date
CN105872561A CN105872561A (zh) 2016-08-17
CN105872561B true CN105872561B (zh) 2019-07-23

Family

ID=56624544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511015791.6A Active CN105872561B (zh) 2015-12-29 2015-12-29 一种可分级多视点视频加深度宏块编码模式快速选择方法

Country Status (1)

Country Link
CN (1) CN105872561B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254887B (zh) * 2016-08-31 2019-04-09 天津大学 一种深度视频编码快速方法
CN114071116A (zh) * 2020-07-31 2022-02-18 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110075568A (ko) * 2009-12-28 2011-07-06 경희대학교 산학협력단 다중시점 영상의 부호화 방법
CN103338370A (zh) * 2013-06-05 2013-10-02 宁波大学 一种多视点深度视频快速编码方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110075568A (ko) * 2009-12-28 2011-07-06 경희대학교 산학협력단 다중시점 영상의 부호화 방법
CN103338370A (zh) * 2013-06-05 2013-10-02 宁波大学 一种多视点深度视频快速编码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D-HEVC帧间编码的低复杂度算法;马然等;《电视技术》;20150731;第39卷(第13期);第7-13页
结合深度信息的多视点视频编码快速模式选择算法;何宛文等;《光电子·激 光》;20140831;第25卷(第8期);第1565-1570页

Also Published As

Publication number Publication date
CN105872561A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN102790892B (zh) 深度图编码方法及装置
Yea et al. View synthesis prediction for multiview video coding
CN102055982B (zh) 三维视频编解码方法及装置
CN104602028B (zh) 一种立体视频b帧整帧丢失错误隐藏方法
CN110557646B (zh) 一种智能视点间的编码方法
CN105306954B (zh) 一种基于视差最小可察觉误差模型的感知立体视频编码
CN104469336B (zh) 多视点深度视频信号的编码方法
CN101729891A (zh) 一种多视点深度视频的编码方法
CN102547293B (zh) 人脸区域时域依赖性与全局率失真优化相结合的会话视频编码方法
Wang et al. Free viewpoint video coding with rate-distortion analysis
KR101598855B1 (ko) 입체영상 부호화 장치 및 방법
CN102387368B (zh) 一种多视点视频编码视点间预测快速选择方法
Zhu et al. Spatial error concealment for stereoscopic video coding based on pixel matching
CN103024381A (zh) 一种基于恰可察觉失真的宏块模式快速选择方法
CN106210741B (zh) 一种基于视点间相关性的深度视频编码算法
CN105872561B (zh) 一种可分级多视点视频加深度宏块编码模式快速选择方法
CN102917233A (zh) 空间遥操作环境下立体视频编码优化方法
CN103220532B (zh) 立体视频的联合预测编码方法及系统
CN103188500B (zh) 多视点视频信号的编码方法
Kitahara et al. Multi-view video coding using view interpolation and reference picture selection
CN101557519B (zh) 一种多视点视频编码方法
Bal et al. Multiview video plus depth coding with depth-based prediction mode
Mallik et al. HEVC based multi-view video codec using frame interleaving technique
WO2007129840A1 (en) Method and apparatus for encoding multi-view moving pictures
Yea et al. View synthesis prediction for rate-overhead reduction in ftv

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant