CN104754359B - 一种二维自由视点视频的深度图编码失真预测方法 - Google Patents

一种二维自由视点视频的深度图编码失真预测方法 Download PDF

Info

Publication number
CN104754359B
CN104754359B CN201510039515.7A CN201510039515A CN104754359B CN 104754359 B CN104754359 B CN 104754359B CN 201510039515 A CN201510039515 A CN 201510039515A CN 104754359 B CN104754359 B CN 104754359B
Authority
CN
China
Prior art keywords
viewpoint
distortion
pixel
encoded
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510039515.7A
Other languages
English (en)
Other versions
CN104754359A (zh
Inventor
金欣
李晨阳
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201510039515.7A priority Critical patent/CN104754359B/zh
Publication of CN104754359A publication Critical patent/CN104754359A/zh
Priority to PCT/CN2015/099210 priority patent/WO2016119551A1/zh
Application granted granted Critical
Publication of CN104754359B publication Critical patent/CN104754359B/zh
Priority to US15/660,476 priority patent/US10349058B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

本发明公开了一种二维自由视点视频的深度图编码失真预测方法，包括如下步骤：A1：输入两个以上视点立体视频的纹理图与深度图的序列，视点位置呈一维均匀分布；A2：利用当前待编码视点及其相邻视点的纹理图和深度图，采用视点合成算法，合成当前待编码视点与第一相邻视点的第一中间视点的纹理图，并合成当前待编码视点与第二相邻视点的第二中间视点的纹理图；A3：利用A2的合成结果，记录各像素点的合成特征，并生成失真预测权重；A4：根据A3中的合成特征和失真预测权重，采用编码像素失真预测模型，经过系列计算得总失真。本发明能提高二维自由视点视频的深度图编码失真预测的准确性，避免深度图编码过程中反复执行合成算法，降低了计算复杂度。

Description

一种二维自由视点视频的深度图编码失真预测方法
技术领域
本发明涉及计算机视觉技术和视频编码领域，特别涉及一种二维自由视点视频的深度图编码失真预测方法。
背景技术
自由视点视频通过在采集端从多个视点采集目标场景的视频，并经过深度图估计、编码、传输、解码、视点合成，向用户投放目标场景任意视点的视频，使用户获得自由的视觉体验，被认为是下一代视频通信的方向。MPEG(MovingPicturesExpertsGroup)和VCEG(Video Coding Experts Group)的开展了联合视频项目HEVC(High Efficiency VideoCoding)，相比于H.264该项目大幅提高编码压缩性能，在此基础上，HEVC被拓展为3D-HEVC用于3D视频编码。
3D-HEVC中采用“多视点视频+深度图”的格式进行编码表示3D视频数据，其中深度图表征的是场景中物体到相机间的距离。利用解码后的纹理视频和深度视频，任意其它视点观察目标场景的视频可以被合成出来，并投放在显示器上。深度图数据作为纹理数据的几何深度信息，在视点合成算法中，被用作将被编码视点的纹理像素变换到合成视点中从而获得变换图，在此基础上对多个采集视点变换到目标视点的变换图，分别进行插值、空洞填补、覆盖等操作，然后再将各个变换图融合。因此，为了保证较好的合成视图质量，控制深度图的编码失真至关重要。为了在深度图编码过程中，控制深度图失真从而降低合成图失真，采用率失真优化的方法来选择编码模式和参数。率失真优化问题是一个拉格朗日优化问题，即选择能够使D+λ·R最小的编码模式或参数；D表示不同编码模式或参数下，编码当前块后，采用深度图失真计算方法得到的失真；R表示不同编码模式或参数下编码当前块产生的比特数；λ是拉格朗日乘子。
传统的失真计算方法，广泛用于视频编码，例如SSD(Sum of SquaredDifferences)和SAD(Sum of Absolute Differences)，最先被用于深度图失真计算。此类方法原理简单，易于硬件实现，但未考虑深度图失真对合成视图的影响，因而不能从整体上保证合成视图的质量。学者们进一步提出基于合成视图失真变化的深度图失真预测方法，通过执行视点合成算法，计算编码深度图造成的合成视图的失真，来计算深度图失真，例如SVDC(Synthesized View Distortion Change)。此类方法可以有效保证合成视图的质量，但其计算量极大，尤其不利于实时系统的应用。因此，学者们进一步提出了基于合成视图失真估计的深度图失真预测方法，即通过估算编码深度图造成的合成视图的失真，来预测深度图失真的方法，例如VSD(View Synthesis Distortion)。该类方法恰当地平衡了编码复杂度和压缩性能，但现有估计模型的准确性都十分有限，且其都是针对一维自由视点视频，其对二维自由视点视频的拓展性还有待研究。
发明内容
为了弥补上述现有技术的不足，本发明提出一种二维自由视点视频的深度图编码失真预测方法，避免了深度图编码过程中反复多次执行合成算法并提高了二维自由视点视频的深度图编码失真预测方法的准确性，同时大幅降低自由视点视频深度图编码的计算复杂度。
本发明的技术问题通过以下的技术方案予以解决：
一种二维自由视点视频的深度图编码失真预测方法，包括如下步骤：
A1：输入两个以上视点立体视频的纹理图与深度图的序列，视点位置呈一维均匀分布；
A2:利用当前待编码视点及其相邻视点的纹理图和深度图，采用视点合成算法，合成当前待编码视点与第一相邻视点的第一中间视点的纹理图，并合成当前待编码视点与第二相邻视点的第二中间视点的纹理图；所述第一相邻视点在所述视点位置的分布方向上与所述当前待编码视点相邻，所述第二相邻视点在垂直于所述视点位置的分布方向的方向上与所述当前待编码视点相邻；
A3：利用步骤A2中的第一中间视点的纹理图以及第二中间视点的纹理图，记录当前待编码视点的深度图中的各像素点的合成特征，并生成相应的失真预测权重；
A4：根据步骤A3中的所述当前待编码视点的深度图中的各像素点的合成特征和相应的失真预测权重，分别采用各像素点的编码像素失真预测模型，分别计算得到所述当前待编码视点的深度图的编码块中的各像素点的失真，并在不同的方向上分别求和得到所述编码块中的各像素点失真造成的在所述视点位置的分布方向上的第一合成失真和及在垂直于所述视点位置的分布方向的方向上的第二合成失真和，将所述第一合成失真和和第二合成失真和求平均获得所述编码块中的各像素点造成的二维自由视点视频失真估计值，并对各个所述二维自由视点视频失真估计值求和，输出所述当前待编码视点的深度图的编码块的总失真。
优选地：
所述像素点为非显露点、前插值点、加权插值点、前双空洞点或混合类型点，所述合成特征和相应的失真预测权重的确定方式如下：
所述非显露点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成结果中都不被显露；所述非显露点的失真预测权重为w1，w1＝0，合成特征为k1，k1＝0；
所述前插值点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，变换后都为插值区，在两变换图融合时作为前景被显示，所述前插值点的失真预测权重为w2，w2＝1，合成特征为k2，k2＝1；
所述加权插值点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，变换后都为插值区，在两变换图融合时被加权求和，所述加权插值点的失真预测权重为加权权值w3，0≤w3≤1，合成特征为k3，k3＝1；
所述前双空洞点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，变换后都为空洞填补区，在两变换图融合时为前景被显示，所述前双空洞点的失真预测权重为w4，w4＝1，合成特征为k4，k4＝2；
所述混合类型点是指所述非显露点、前插值点、加权插值点和前双空洞点中任意两者的混合，深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，两个合成特征以及两个失真预测权重都被记录；
其中：当合成第一中间视点的纹理图时，所述相邻间隔是指在所述视点位置的分布方向上，当前待编码视点的纹理图的像素点与其相邻像素点之间的间隔；
当合成第二中间视点的纹理图时，所述相邻间隔是指在垂直于所述视点位置的分布方向的方向上，当前待编码视点的纹理图的像素点与其相邻像素点之间的间隔。
所述各像素点的编码像素失真预测模型如下：
所述像素点为所述非显露点时，失真计算式为：
Dsyn＝w1(1)
所述像素点为所述前插值点时，失真计算式为：
Dsyn＝|w2·[(SD-S′D)(S′T,n-1-S′T,n+1)]2| (2)
所述像素点为所述加权插值点时，失真计算式为：
Dsyn＝|w3·[(SD-S′D)(S′T,n-1-S′T,n+1)]2| (3)
所述像素点为所述前双空洞点时，失真计算式为：
若当前待编码视点在第一中间视点的左边或第二中间视点的下边时，失真计算式为：
Dsyn＝|w4·4[(SD-S′D)(S′T,n-S′T,n+1)]2| (4)
若当前待编码视点在第一中间视点的右边或第二中间视点的上边时，失真计算式为：
Dsyn＝|w4·4[(SD-S′D)(S′T,n-S′T,n-1)]2| (5)
所述像素点为所述混合类型点时：根据混合的两种类型，分别按照所述混合的两种类型的所述编码像素失真预测模型计算失真，然后再取均值，作为该像素点的失真；
其中：SD为原始深度图像素点值，S′D为编码后重建的深度图像素点值，S′T,n表示当前深度图像素点在重建视点纹理图中对应的像素点的值，S′T,n-1和S′T,n+1分别为当前深度图像素点在重建视点纹理图中对应像素点的相邻像素点的值，w1、w2、w3和w4为失真预测权重，n为当前待编码深度图的各像素点的横坐标或纵坐标。
所述的深度图像素点对应的纹理图像素点的相邻间隔在视点合成结果中都不被显露是指：所述相邻间隔在变换后被遮挡；或所述相邻间隔在变换后为插值区，在两变换图融合时被覆盖；或所述相邻间隔在变换后为空洞填补区，在两变换图融合时被另一变换图中的非空洞区覆盖；或所述相邻间隔在变换图中都为空洞填补区，在两变换图融合时为后景被覆盖。
所述步骤A2中的视点合成算法采用任一基于深度图像绘制的视点合成算法。
本发明与现有技术对比的有益效果是：本发明在每帧深度图编码前，执行至少两次视点合成，获取当前待编码视点的深度图像素点的合成特征及失真预测权重，进而分别映射生成各像素点的编码失真预测模型，估计总失真，本发明的方法更大程度地反映了深度图有损压缩后造成的合成视图失真，又避免了在选择不同编码模式和编码参数时反复多次执行合成算法，可以在保证压缩性能的同时，极大地降低自由视点视频深度图编码的计算复杂度，能够明显提高二维自由视点视频的深度序列编码失真预测方法的准确性。
附图说明
图1是本发明实施例的二维自由视点视频的深度图编码失真预测方法的流程图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
本发明提供一种二维自由视点视频的深度图编码失真预测方法，如图1所示，主要包括如下步骤：
首先，获取两个以上视点立体视频纹理图与深度图。
然后，执行视点合成算法。
同时，记录当深度图像素点合成特征及失真预测权重。
接着，计算编码块失真。
最后，判断当前帧编码是否完成？如完成，则结束；如未完成，则回到前面计算编码块失真步骤，直到完成为止。
在本发明的实施例中，将视点位置的分布方向定义为水平方向，其中的“左”、“右”、“横坐标”均是指在水平方向上的参数；将垂直于视点位置的分布方向的方向定义为垂直方向，其中的“上”、“下”、“纵坐标”均是指在垂直方向上的参数。
下面结合一优选实施例对本发明进行详细阐述。
一种二维自由视点视频的深度图编码失真预测方法包括如下步骤：
A1：输入的两个以上视点立体视频序列为通过摄像机、照相机采集所得，或者通过计算机工具所得的视频序列，数据格式不限，该序列包含多个视点的纹理图和相应的深度图，视点位置呈一维均匀分布。
A2：利用当前待编码视点及其相邻视点的纹理和深度图，执行视点合成算法，在水平方向上，合成当前待编码视点与在水平方向上与该当前待编码视点相邻的视点的第一中间视点H1、H2的纹理图，水平方向若当前待编码视点只有相邻左视点或右视点(如像素点在边缘的情况)，则只合成H1或H2；并在垂直方向上合成当前待编码视点与在垂直方向上与该待编码视点相邻的视点的第二中间视点V1、V2的纹理图，同理，垂直方向若当前待编码视点只有相邻下视点或上视点(如像素点在边缘的情况)，则只合成V1或V2；在本例中，执行了四次视点合成算法，合成了第一中间视点H1、H2以及第二中间视点V1、V2的纹理图；视点合成算法可采用基于深度图像绘制算法(Depth Based Image Rendering)，包括变换、插值、空洞填补和融合模块。
A3：根据待编码视点纹理像素点间的间隔(对于水平方向上的合成，间隔为当前像素点与水平相邻像素点；对于竖直方向上的合成，间隔为当前像素点与竖直相邻像素点)在A2的视点合成算法的变换、插值、空洞填补、融合模块中的使用情况(即像素点是非显露点、前插值点、加权插值点、前双空洞点或混合类型点中的哪一种)，确定并记录当前待编码视点的深度图中各像素点的合成特征KH1、KH2、KV1及KV2和相应的失真预测权重WH1、WH2、WV1及WV2，其中合成特征和相应的失真预测权重确定方式如下：
非显露点，该深度图像素点对应的纹理图像素点的相邻间隔(对于水平方向上的合成为当前待编码视点的纹理的像素点与其左右相邻像素点之间的间隔，对于竖直方向上的合成为当前待编码视点的纹理的像素点与其上下相邻像素点之间的间隔，下同)在视点合成结果中都不被显露。具体情况包括：相邻间隔在变换后被遮挡；相邻间隔在变换后为插值区，在左右变换图融合时被覆盖；相邻间隔在变换后为空洞填补区，在两变换图融合时被另一变换图中的非空洞区覆盖；相邻间隔在两变换图中都为空洞填补区，在两变换图融合时为后景被覆盖。非显露点的失真预测权重为w1，w1＝0，合成特征为k1，k1＝0。
前插值点，该深度图像素点对应的纹理图像素点相邻间隔在视点合成时，变换后都为插值区，在左右变换图融合时作为前景被显示。其失真预测权重为为w2，w2＝1，合成特征为k2，k2＝1。
加权插值点，该深度图像素点对应的纹理图像素点相邻间隔在视点合成时，变换后都为插值区，在两变换图融合时被加权求和。失真预测权重为加权权值w3，0≤w3≤1，合成特征为k3，k3＝1。
前双空洞点：该深度图像素点对应的纹理图像素点相邻间隔在视点合成时，变换后都为空洞填补区，在两变换图融合时为前景被显示。其失真预测权重为为w4，w4＝1，合成特征为k4，k4＝2。
混合类型点：指非显露点、前插值点、加权插值点和前双空洞点中任意两者的混合，深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，两个合成特征以及两个失真预测权重都被记录；若该深度图像素点对应的纹理图像素点只有左间隔或右间隔(如像素点在边缘的情况)，则只根据此间隔使用情况确定该深度图像素点合成特征及失真预测权重。若该深度图像素点对应的纹理图像素点只有左间隔或右间隔(如像素点在边缘的情况)，或只有上间隔和下间隔(如像素点在边缘的情况)，则只根据此间隔使用情况确定该深度图像素点合成特征及失真预测权重。
A4：在深度图编码过程中，对于当前编码块的一个像素点，分别利用A3获取的像素点的合成特征和失真预测权重，映射为编码像素失真预测模型，各失真预测模型如下：
非显露点，失真计算式为，
Dsyn＝w1(1)
前插值点，失真计算式为，
Dsyn＝|w2·[(SD-S′D)(S′T,n-1-S′T,n+1)]2| (2)
加权插值点，失真计算式为：
Dsyn＝|w3·[(SD-S′D)(S′T,n-1-S′T,n+1)]2| (3)
前双空洞点：若当前待编码视点在第一中间视点的左边或第二中间视点的下边(对于水平合成为左边，对于竖直合成为下边)，失真计算式为：
Dsyn＝|w4·4[(SD-S′D)(S′T,n-S′T,n+1)]2| (4)
若当前待编码视点在第一中间视点的右边或第二中间视点的上边(对于水平合成为右边，对于竖直合成为上边)，则失真计算式为：
Dsyn＝|w4·4[(SD-S′D)(S′T,n-S′T,n-1)]2| (5)
混合类型点：根据混合的两种类型，分别按照上述模型计算失真，然后再取均值，作为该像素点的失真。
以上各式中，SD为原始深度图像素点值，S′D为编码后重建的深度图像素点值，S′T,n-1和S′T,n+1分别为当前深度图像素点在重建视点纹理图中对应像素点的相邻像素点的值(对于水平方向上的合成，S′T,n-1和S′T,n+1分别为当前深度图像素点在重建视点纹理图中对应像素点的相邻左、右像素点的值；对于垂直方向上的合成，S′T,n-1和S′T,n+1分别为当前深度图像素点在重建视点纹理图中对应像素点的相邻上、下像素点的值)，w1、w2、w3和w4为失真预测权重，n为当前待编码深度图的各像素点的横坐标或纵坐标。
根据以上模型，分别计算得到当前待编码视点的深度图的编码块中的各像素点的失真，并在水平方向和垂直方向上分别求和计算该像素点失真造成的水平合成失真和DH1、DH2及竖直合成失真和DV1、DV2，再将DH1、DH2、DV1、DV2求平均得该像素点失真造成的合成失真估计值，对各个像素点的失真估计值求和输出当前编码块的总失真，并基于此失真，可以采用率失真优化选择最佳编码模式和编码参数，如选择能够使D+λ·R最小的编码模式或参数；D表示不同编码模式或参数下，编码当前编码块之后，采用深度图失真计算方法(即前述的失真预测方法)得到的失真；R表示不同编码模式或参数下编码当前编码块产生的比特数；λ是拉格朗日乘子。
本发明的实施例在每帧深度图编码前，执行四次视点合成，合成当前待编码视点与相邻视点的中间视点，在这个过程中记录当前各像素点间隔在合成算法中的使用情况，获取当前待编码深度图的各像素点合成特征及失真预测权重，进而映射生成编码失真预测模型，然后执行当前深度图的编码，在编码每一个块时，对于不同像素点，采用不同失真计算模型计算失真，从而获得深度图的编码块的失真。该失真计算方法，更大程度地反映了深度图有损压缩后造成的合成视图失真，又避免了在选择不同编码模式和编码参数时反复执行合成视图算法，因而可以在保证压缩性能的同时，极大地降低计算复杂度。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (5)

1.一种二维自由视点视频的深度图编码失真预测方法，其特征在于，包括如下步骤：
A1：输入两个以上视点立体视频的纹理图与深度图的序列，视点位置呈一维均匀分布；
A2:利用当前待编码视点及其相邻视点的纹理图和深度图，采用视点合成算法，合成当前待编码视点与第一相邻视点的第一中间视点的纹理图，并合成当前待编码视点与第二相邻视点的第二中间视点的纹理图；所述第一相邻视点在所述视点位置的分布方向上与所述当前待编码视点相邻，所述第二相邻视点在垂直于所述视点位置的分布方向的方向上与所述当前待编码视点相邻；
A3：利用步骤A2中的第一中间视点的纹理图以及第二中间视点的纹理图，记录当前待编码视点的深度图中的各像素点的合成特征，并生成相应的失真预测权重；
A4：根据步骤A3中的所述当前待编码视点的深度图中的各像素点的合成特征和相应的失真预测权重，分别采用各像素点的编码像素失真预测模型，分别计算得到所述当前待编码视点的深度图的编码块中的各像素点的失真，并在不同的方向上分别求和得到所述编码块中的各像素点失真造成的在所述视点位置的分布方向上的第一合成失真和及在垂直于所述视点位置的分布方向的方向上的第二合成失真和，将所述第一合成失真和和第二合成失真和求平均获得所述编码块中的各像素点造成的二维自由视点视频失真估计值，并对各个所述二维自由视点视频失真估计值求和，输出所述当前待编码视点的深度图的编码块的总失真。
2.如权利要求1所述的二维自由视点视频的深度图编码失真预测方法，其特征在于：
所述像素点为非显露点、前插值点、加权插值点、前双空洞点或混合类型点，所述合成特征和相应的失真预测权重的确定方式如下：
所述非显露点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成结果中都不被显露；所述非显露点的失真预测权重为w1，w1＝0，合成特征为k1，k1＝0；
所述前插值点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，变换后都为插值区，在两变换图融合时作为前景被显示，所述前插值点的失真预测权重为w2，w2＝1，合成特征为k2，k2＝1；
所述加权插值点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，变换后都为插值区，在两变换图融合时被加权求和，所述加权插值点的失真预测权重为加权权值w3，0≤w3≤1，合成特征为k3，k3＝1；
所述前双空洞点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，变换后都为空洞填补区，在两变换图融合时为前景被显示，所述前双空洞点的失真预测权重为w4，w4＝1，合成特征为k4，k4＝2；
所述混合类型点是指所述非显露点、前插值点、加权插值点和前双空洞点中任意两者的混合，深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，两个合成特征以及两个失真预测权重都被记录；
其中：当合成第一中间视点的纹理图时，所述相邻间隔是指在所述视点位置的分布方向上，当前待编码视点的纹理图的像素点与其相邻像素点之间的间隔；
当合成第二中间视点的纹理图时，所述相邻间隔是指在垂直于所述视点位置的分布方向的方向上，当前待编码视点的纹理图的像素点与其相邻像素点之间的间隔。
3.如权利要求2所述的二维自由视点视频的深度图编码失真预测方法，其特征在于，所述各像素点的编码像素失真预测模型如下：
所述像素点为所述非显露点时，失真计算式为：
Dsyn＝w1 (1)
所述像素点为所述前插值点时，失真计算式为：
Dsyn＝|w2·[(SD-S′D)(S′T,n-1-S′T,n+1)]2| (2)
所述像素点为所述加权插值点时，失真计算式为：
Dsyn＝|w3·[(SD-S′D)(S′T,n-1-S′T,n+1)]2| (3)
所述像素点为所述前双空洞点时，失真计算式为：
若当前待编码视点在第一中间视点的左边或第二中间视点的下边时，失真计算式为：
Dsyn＝|w4·4[(SD-S′D)(S′T,n-S′T,n+1)]2| (4)
若当前待编码视点在合成视点的第一中间视点的右边或第二中间视点的上边时，失真计算式为：
Dsyn＝|w4·4[(SD-S′D)(S′T,n-S′T,n-1)]2| (5)
所述像素点为所述混合类型点时：根据混合的两种类型，分别按照所述混合的两种类型的所述编码像素失真预测模型计算失真，然后再取均值，作为该像素点的失真；
其中：SD为原始深度图像素点值，S′D为编码后重建的深度图像素点值，S′T,n表示当前深度图像素点在重建视点纹理图中对应的像素点的值，S′T,n-1和S′T,n+1分别为当前深度图像素点在重建视点纹理图中对应像素点的相邻像素点的值，w1、w2、w3和w4为失真预测权重，n为当前待编码深度图的各像素点的横坐标或纵坐标。
4.如权利要求2或3所述的二维自由视点视频的深度图编码失真预测方法，其特征在于：所述的深度图像素点对应的纹理图像素点的相邻间隔在视点合成结果中都不被显露是指：所述相邻间隔在变换后被遮挡；或所述相邻间隔在变换后为插值区，在两变换图融合时被覆盖；或所述相邻间隔在变换后为空洞填补区，在两变换图融合时被另一变换图中的非空洞区覆盖；或所述相邻间隔在变换图中都为空洞填补区，在两变换图融合时为后景被覆盖。
5.如权利要求1所述的二维自由视点视频的深度图编码失真预测方法，其特征在于：所述步骤A2中的视点合成算法采用任一基于深度图像绘制的视点合成算法。
CN201510039515.7A 2015-01-26 2015-01-26 一种二维自由视点视频的深度图编码失真预测方法 Active CN104754359B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510039515.7A CN104754359B (zh) 2015-01-26 2015-01-26 一种二维自由视点视频的深度图编码失真预测方法
PCT/CN2015/099210 WO2016119551A1 (zh) 2015-01-26 2015-12-28 一种二维自由视点视频的深度图编码失真预测方法
US15/660,476 US10349058B2 (en) 2015-01-26 2017-07-26 Method for predicting depth map coding distortion of two-dimensional free viewpoint video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510039515.7A CN104754359B (zh) 2015-01-26 2015-01-26 一种二维自由视点视频的深度图编码失真预测方法

Publications (2)

Publication Number Publication Date
CN104754359A CN104754359A (zh) 2015-07-01
CN104754359B true CN104754359B (zh) 2017-07-21

Family

ID=53593366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510039515.7A Active CN104754359B (zh) 2015-01-26 2015-01-26 一种二维自由视点视频的深度图编码失真预测方法

Country Status (3)

Country Link
US (1) US10349058B2 (zh)
CN (1) CN104754359B (zh)
WO (1) WO2016119551A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754359B (zh) 2015-01-26 2017-07-21 清华大学深圳研究生院 一种二维自由视点视频的深度图编码失真预测方法
CN105430397B (zh) * 2015-11-20 2018-04-17 清华大学深圳研究生院 一种3d图像体验质量预测方法及装置
EP3459251B1 (en) * 2016-06-17 2021-12-22 Huawei Technologies Co., Ltd. Devices and methods for 3d video coding
CN106331729B (zh) * 2016-09-06 2019-04-16 山东大学 一种基于相关性的自适应补偿立体视频帧率上转换方法
KR101986433B1 (ko) * 2017-11-28 2019-06-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 스티칭 방법 및 시스템
US11064180B2 (en) 2018-10-15 2021-07-13 City University Of Hong Kong Convolutional neural network based synthesized view quality enhancement for video coding
US10771763B2 (en) 2018-11-27 2020-09-08 At&T Intellectual Property I, L.P. Volumetric video-based augmentation with user-generated content
FR3093884A1 (fr) * 2019-03-15 2020-09-18 Orange Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues
CN111726619B (zh) * 2020-07-06 2022-06-03 重庆理工大学 一种基于虚拟视点质量模型的多视点视频比特分配方法
CN112508856B (zh) * 2020-11-16 2022-09-09 北京理工大学 一种混合失真图像的失真类型检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103402097A (zh) * 2013-08-15 2013-11-20 清华大学深圳研究生院 一种自由视点视频深度图编码方法及其失真预测方法
CN103873867A (zh) * 2014-03-31 2014-06-18 清华大学深圳研究生院 自由视点视频深度图失真预测方法和编码方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4578566B2 (ja) * 2007-10-15 2010-11-10 日本電信電話株式会社 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
US9307252B2 (en) * 2012-06-04 2016-04-05 City University Of Hong Kong View synthesis distortion model for multiview depth video coding
US10080036B2 (en) * 2013-05-16 2018-09-18 City University Of Hong Kong Method and apparatus for depth video coding using endurable view synthesis distortion
CN104754359B (zh) * 2015-01-26 2017-07-21 清华大学深圳研究生院 一种二维自由视点视频的深度图编码失真预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103402097A (zh) * 2013-08-15 2013-11-20 清华大学深圳研究生院 一种自由视点视频深度图编码方法及其失真预测方法
CN103873867A (zh) * 2014-03-31 2014-06-18 清华大学深圳研究生院 自由视点视频深度图失真预测方法和编码方法

Also Published As

Publication number Publication date
US10349058B2 (en) 2019-07-09
WO2016119551A1 (zh) 2016-08-04
CN104754359A (zh) 2015-07-01
US20170324961A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
CN104754359B (zh) 一种二维自由视点视频的深度图编码失真预测方法
CN103402097B (zh) 一种自由视点视频深度图编码方法及其失真预测方法
CN103345771B (zh) 一种基于建模的图像高效渲染方法
CN101986716B (zh) 一种快速深度视频编码方法
CN104038760B (zh) 一种3d视频深度图像帧内楔形分割模式选择方法及系统
CN101404766B (zh) 一种多视点视频信号的编码方法
CN102609974B (zh) 一种基于深度图分割渲染的虚拟视点图像的生成方法
CN104125473B (zh) 一种3d视频深度图像帧内预测模式选择方法及系统
CN104768019B (zh) 一种面向多纹理多深度视频的相邻视差矢量获取方法
CN101312540A (zh) 基于深度和遮挡信息的虚拟视点合成方法
CN106791768B (zh) 一种基于图割优化的深度图帧率提升方法
CN104618724B (zh) 视频编码或解码的方法及装置
CN102438167B (zh) 一种基于深度图像绘制的立体视频编码方法
CN103873867B (zh) 自由视点视频深度图失真预测方法和编码方法
CN105141940B (zh) 一种分区域的3d视频编码方法
CN103248909A (zh) 平面视频转化为立体视频的方法及系统
CN102065296A (zh) 一种三维立体视频编码方法
CN104159095A (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN106791876B (zh) 一种基于3d-hevc的深度图快速帧内预测方法
CN104270624A (zh) 一种分区域的3d视频映射方法
CN105898331A (zh) 一种深度视频编码的比特分配和码率控制方法
CN106210741B (zh) 一种基于视点间相关性的深度视频编码算法
CN103702120B (zh) 一种合成视点主观失真估计方法
CN103379350B (zh) 虚拟视点图像后处理方法
CN106791772B (zh) 基于绘制的最大可容忍深度失真计算方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant