CN102438167A - 一种基于深度图像绘制的立体视频编码方法 - Google Patents

一种基于深度图像绘制的立体视频编码方法 Download PDF

Info

Publication number
CN102438167A
CN102438167A CN2011103227174A CN201110322717A CN102438167A CN 102438167 A CN102438167 A CN 102438167A CN 2011103227174 A CN2011103227174 A CN 2011103227174A CN 201110322717 A CN201110322717 A CN 201110322717A CN 102438167 A CN102438167 A CN 102438167A
Authority
CN
China
Prior art keywords
image
pixel
right viewpoint
coloured image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103227174A
Other languages
English (en)
Other versions
CN102438167B (zh
Inventor
邵枫
蒋刚毅
郁梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201110322717.4A priority Critical patent/CN102438167B/zh
Publication of CN102438167A publication Critical patent/CN102438167A/zh
Application granted granted Critical
Publication of CN102438167B publication Critical patent/CN102438167B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于深度图像绘制的立体视频编码方法，其通过基于深度图像绘制的方法，将原始左视点彩色图像从左视点投影到右视点，得到原始右视点彩色图像与原始右视点彩色图像的绘制图像的残差图像，并对残差图像进行预处理操作，然后对原始左视点图像和预处理后的残差图像进行编码，最后根据解码后的右视点彩色图像的绘制图像和解码后的残差图像，得到解码后的右视点彩色图像的最终重构图像，本发明方法在保证较高的右视点彩色图像的重构质量的前提下，大大提高了立体视频的编码效率。

Description

一种基于深度图像绘制的立体视频编码方法
技术领域
本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种基于深度图像绘制的立体视频编码方法。
背景技术
进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。(立体)三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，因此在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。与单通道视频相比，立体视频要处理至少翻一倍的数据量，因此在不影响立体视频主观质量的前提下，尽可能地降低立体视频的编码码率是一个亟需解决的问题。目前，已有基于视点合成预测(view synthesis prediction)、右视点下采样(downsampling)的方法对立体视频的右视点视频进行编码，以降低立体视频的编码码率。
然而，现有的立体/多视点视频编码的研究并没有充分利用立体视频的冗余信息，这是因为：一方面，由于深度是用来表征场景几何的负载信息，左右视点的相关性(冗余信息)可以通过基于深度图像的绘制来反映(消除)；另一方面，由于深度估计的不精确，绘制得到的右视点图像与真实图像之间会存在几何失真，并且会在绘制得到的右视点图像中产生新的空洞，严重影响了右视点图像的质量，因此，如何通过基于深度图像的绘制来降低右视点图像的传输码率并保持较高的右视点图像重构质量，都是立体视频数据的编码过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于深度图像绘制的立体视频编码方法，其能够充分地消除立体视频的冗余信息，且能够有效地提高立体视频的编码效率。
本发明解决上述技术问题所采用的技术方案为：一种基于深度图像绘制的立体视频编码方法，其特征在于包括以下步骤：
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成；
②将t时刻的原始左视点彩色图像记为将t时刻的原始左视点深度图像记为
Figure BDA0000100684340000022
将t时刻的原始右视点彩色图像记为
Figure BDA0000100684340000023
将t时刻的原始右视点深度图像记为
Figure BDA0000100684340000024
其中，i＝1，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x，y)表示彩色图像或深度图像中像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像或深度图像的宽度，H表示彩色图像或深度图像的高度，表示t时刻的原始左视点彩色图像
Figure BDA0000100684340000026
中坐标位置为(x，y)的像素点的第i个分量的值，
Figure BDA0000100684340000027
表示t时刻的原始左视点深度图像中坐标位置为(x，y)的像素点的深度值，
Figure BDA0000100684340000029
表示t时刻的原始右视点彩色图像
Figure BDA00001006843400000210
中坐标位置为(x，y)的像素点的第i个分量的值，
Figure BDA00001006843400000211
表示t时刻的原始右视点深度图像中坐标位置为(x，y)的像素点的深度值；
③采用基于深度图像绘制的方法，将t时刻的原始左视点彩色图像
Figure BDA00001006843400000213
从左视点投影到右视点，得到t时刻的原始右视点彩色图像的绘制图像，记为
Figure BDA00001006843400000214
其中，
Figure BDA00001006843400000215
表示t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400000216
中坐标位置为(x，y)的像素点的第i个分量的值；
④计算t时刻的原始右视点彩色图像
Figure BDA00001006843400000217
与t时刻的原始右视点彩色图像的绘制图像的残差图像，记为
Figure BDA0000100684340000032
E t , i R ( x , y ) = I t , i R ( x , y ) - I ~ t , i R ( x , y ) , 其中，
Figure BDA0000100684340000034
表示
Figure BDA0000100684340000035
中坐标位置为(x，y)的像素点的第i个分量的值；
⑤对t时刻的原始右视点彩色图像
Figure BDA0000100684340000036
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA0000100684340000037
的残差图像
Figure BDA0000100684340000038
进行预处理操作，得到预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400000310
的残差图像，记为其中，
Figure BDA00001006843400000312
表示
Figure BDA00001006843400000313
中坐标位置为(x，y)的像素点的第i个分量的值；
⑥根据设定的编码预测结构对t时刻的原始左视点彩色图像
Figure BDA00001006843400000314
进行编码，再将编码后的左视点彩色图像经网络传输给解码端；在解码端对编码后的左视点彩色图像进行解码，获得解码后的t时刻的左视点彩色图像，记为
Figure BDA00001006843400000315
其中，
Figure BDA00001006843400000316
表示解码后的t时刻的左视点彩色图像
Figure BDA00001006843400000317
中坐标位置为(x，y)的像素点的第i个分量的值；
⑦根据设定的编码预测结构对预处理后的t时刻的原始右视点彩色图像
Figure BDA00001006843400000318
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400000319
的残差图像
Figure BDA00001006843400000320
进行编码，再将编码后的t时刻的残差图像经网络传输给解码端；在解码端对编码后的t时刻的残差图像进行解码，获得解码后的t时刻的残差图像，记为
Figure BDA00001006843400000321
其中，
Figure BDA00001006843400000322
表示解码后的t时刻的残差图像
Figure BDA00001006843400000323
中坐标位置为(x，y)的像素点的第i个分量的值；
⑧采用与步骤③相同的操作，将解码后的t时刻的左视点彩色图像
Figure BDA00001006843400000324
从左视点投影到右视点，得到解码后的t时刻的右视点彩色图像的绘制图像，记为
Figure BDA00001006843400000325
其中，
Figure BDA00001006843400000326
表示解码后的t时刻的右视点彩色图像的绘制图像
Figure BDA00001006843400000327
中坐标位置为(x，y)的像素点的第i个分量的值；
⑨根据解码后的t时刻的右视点彩色图像的绘制图像
Figure BDA00001006843400000328
和解码后的t时刻的残差图像
Figure BDA00001006843400000329
得到解码后的t时刻的右视点彩色图像的最终重构图像，记为其中，
Figure BDA0000100684340000042
表示解码后的t时刻的右视点彩色图像的最终重构图像
Figure BDA0000100684340000043
中坐标位置为(x，y)的像素点的第i个分量的值。
所述的步骤③的具体过程为：
③-1、定义t时刻的原始左视点彩色图像
Figure BDA0000100684340000044
中当前正在处理的像素点为当前像素点；
③-2、将当前像素点的图像坐标位置记为(x1，y1)，将当前像素点的图像坐标位置(x1，y1)从二维图像平面投影到三维场景平面，得到当前像素点的图像坐标位置(x1，y1)的投影坐标位置，记为 ( u , v , w ) , ( u , v , w ) T = R 1 A 1 - 1 ( x 1 , y 1 , 1 ) T Z t L ( x 1 , y 1 ) + T 1 , 其中，
Figure BDA0000100684340000046
表示t时刻的原始左视点深度图像
Figure BDA0000100684340000047
中坐标位置为(x1，y1)的像素点的场景深度， Z t L ( x 1 , y 1 ) = ( 1 255 × D t L ( x 1 , y 1 ) × ( 1 Z near - 1 Z far ) + 1 Z far ) - 1 ,
Figure BDA0000100684340000049
表示t时刻的原始左视点深度图像
Figure BDA00001006843400000410
中坐标位置为(x1，y1)的像素点的深度值，Znear表示深度图像中最小的场景深度值，Zfar表示深度图像中最大的场景深度值，R1为左视点相机的旋转矩阵，A1为左视点相机的内参矩阵，T1为左视点相机的平移矩阵，(u，v，w)T为(u，v，w)的转置矩阵，(x1，y1，1)T为(x1，y1，1)的转置矩阵，A1 -1为A1的逆矩阵，x1∈[1，W]，y1∈[1，H]；
③-3、将当前像素点的图像坐标位置(x1，y1)的投影坐标位置(u，v，w)从三维场景平面投影到二维图像平面，得到当前像素点的图像坐标位置(x1，y1)的投影坐标位置(u，v，w)在t时刻的原始右视点彩色图像
Figure BDA00001006843400000411
中的图像坐标位置，记为(x2，y2)，x2＝x′/z，y2＝y′/z，(x′，y′，z)T＝A2R2 -1(u，v，w)T-A2R2 -1T2，其中，R2为右视点相机的旋转矩阵，A2为右视点相机的内参矩阵，T2为右视点相机的平移矩阵，(x′，y′，z)T为(x′，y′，z)的转置矩阵，R2 -1为R2的逆矩阵，x2∈[1，W]，y2∈[1，H]；
③-4、利用当前像素点的图像坐标位置(x1，y1)与t时刻的原始右视点彩色图像
Figure BDA00001006843400000412
中的图像坐标位置(x2，y2)的映射关系，将t时刻的原始左视点彩色图像
Figure BDA0000100684340000051
中坐标位置为(x1，y1)的像素点的各个分量的值均映射到t时刻的原始右视点彩色图像
Figure BDA0000100684340000052
中，分别对应作为t时刻的原始右视点彩色图像的绘制图像中坐标位置为(x2，y2)的像素点的各个分量的值，将t时刻的原始右视点彩色图像的绘制图像中坐标位置为(x2，y2)的像素点的第i个分量的值记为
Figure BDA0000100684340000053
Figure BDA0000100684340000054
③-5、将t时刻的原始左视点彩色图像
Figure BDA0000100684340000055
中下一个待处理的像素点作为当前像素点，然后返回步骤③-2继续执行，直至t时刻的原始左视点彩色图像
Figure BDA0000100684340000056
中的所有像素点处理完毕，得到t时刻的原始右视点彩色图像的绘制图像，记为
所述的步骤⑤的具体过程为：
⑤-1、分别将t时刻的原始右视点彩色图像
Figure BDA0000100684340000058
及t时刻的原始右视点彩色图像
Figure BDA0000100684340000059
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400000510
的残差图像
Figure BDA00001006843400000511
分成
Figure BDA00001006843400000512
个互不重叠的4×4子块，定义t时刻的原始右视点彩色图像中的第k个4×4子块为当前第一子块，记为
Figure BDA00001006843400000514
定义t时刻的原始右视点彩色图像
Figure BDA00001006843400000515
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400000516
的残差图像
Figure BDA00001006843400000517
中的第k个4×4子块为当前第二子块，记为
Figure BDA00001006843400000518
其中，
Figure BDA00001006843400000519
(x3，y3)表示当前第一子块
Figure BDA00001006843400000520
或当前第二子块
Figure BDA00001006843400000521
中的像素点的坐标位置，1≤x3≤4，1≤y3≤4，
Figure BDA00001006843400000522
表示当前第一子块
Figure BDA00001006843400000523
中坐标位置为(x3，y3)的像素点的第i个分量的值，
Figure BDA00001006843400000524
表示当前第二子块
Figure BDA00001006843400000525
中坐标位置为(x3，y3)的像素点的第i个分量的值；
⑤-2、判断当前第二子块中坐标位置为(x3′，y3′)的像素点的各个分量的值是否为0，如果是，则Num1＝Num1+1，其中，Num1的初始值为0，1≤x3′≤4，1≤y3′≤4；
⑤-3、返回步骤⑤-2继续对当前第二子块中剩余的像素点进行处理，直至当前第二子块
Figure BDA00001006843400000528
中的4×4个像素点均处理完毕；
⑤-4、判断Num1/16＞0.5是否成立，如果是，则将当前第二子块
Figure BDA0000100684340000061
中的各个像素点的各个分量的值均设为0，否则，将当前第一子块中的各个像素点的各个分量的值赋给当前第二子块
Figure BDA0000100684340000063
中坐标位置对应的像素点的对应分量；
⑤-5、将当前第二子块
Figure BDA0000100684340000064
中的各个像素点的各个分量的值作为预处理后的t时刻的原始右视点彩色图像
Figure BDA0000100684340000065
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA0000100684340000066
的残差图像中坐标位置对应的像素点的对应分量的值，将预处理后的t时刻的原始右视点彩色图像
Figure BDA0000100684340000067
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA0000100684340000068
的残差图像中坐标位置为(x4，y4)的像素点的第i个分量的值记为
Figure BDA0000100684340000069
Figure BDA00001006843400000610
其中，(x4，y4)表示当前第二子块
Figure BDA00001006843400000611
中坐标位置为(x3，y3)的像素点在t时刻的原始右视点彩色图像
Figure BDA00001006843400000612
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400000613
的残差图像
Figure BDA00001006843400000614
中的坐标位置，1≤x4≤W，1≤y4≤H；
⑤-6、令k″＝k+1，k＝k″，将t时刻的原始右视点彩色图像
Figure BDA00001006843400000615
中的下一个4×4子块作为当前第一子块，将t时刻的原始右视点彩色图像
Figure BDA00001006843400000616
与t时刻的原始右视点彩色图像的绘制图像的残差图像
Figure BDA00001006843400000618
中的下一个4×4子块作为当前第二子块，返回步骤⑤-2继续执行，直至t时刻的原始右视点彩色图像
Figure BDA00001006843400000619
及t时刻的原始右视点彩色图像
Figure BDA00001006843400000620
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400000621
的残差图像
Figure BDA00001006843400000622
中的
Figure BDA00001006843400000623
个互不重叠的4×4子块均处理完毕，得到预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400000625
的残差图像，记为
Figure BDA00001006843400000626
其中，k″的初始值为0。
所述的步骤⑨的具体过程为：
⑨-1、根据解码后的t时刻的右视点彩色图像的绘制图像
Figure BDA00001006843400000627
和解码后的t时刻的残差图像
Figure BDA00001006843400000628
得到解码后的t时刻的右视点彩色图像的初始重建图像，记为
Figure BDA0000100684340000072
其中，
Figure BDA0000100684340000073
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000074
中坐标位置为(x，y)的像素点的第i个分量的值；
⑨-2、计算解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000075
的空洞掩膜图像，记为
Figure BDA0000100684340000076
如果
Figure BDA0000100684340000077
则
Figure BDA0000100684340000078
否则，
Figure BDA0000100684340000079
其中，
Figure BDA00001006843400000710
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000711
的空洞掩膜图像中坐标位置为(x，y)的像素点的像素值；
⑨-3、定义解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000713
中当前正在处理的且在空洞掩膜图像
Figure BDA00001006843400000714
中像素值为0的像素点为当前像素点；
⑨-4、将当前像素点的坐标位置记为O，将当前像素点的像素值记为
Figure BDA00001006843400000715
将与当前像素点相邻的东、南、西、北四个方向的像素点的坐标位置分别记为E、S、W、N，将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000716
中坐标位置为E、S、W、N的像素点的像素值分别记为
Figure BDA00001006843400000717
将与当前像素点相邻的东北、西北、西南、东南四个方向的像素点的坐标位置分别记为NE、NW、SW、SE，将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000718
中坐标位置为NE、NW、SW、SE的像素点的像素值分别记为
Figure BDA00001006843400000719
⑨-5、将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000720
中坐标位置为E的像素点的梯度值记为
Figure BDA00001006843400000721
将解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为S的像素点的梯度值记为
Figure BDA00001006843400000723
将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000724
中坐标位置为W的像素点的梯度值记为
Figure BDA00001006843400000725
将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000726
中坐标位置为N的像素点的梯度值记为
Figure BDA00001006843400000727
计算
Figure BDA00001006843400000728
经过l′-1次迭代后的值，记为
Figure BDA00001006843400000729
| ▿ u E ( l ′ - 1 ) | ≈ ( u E ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u NE ( l ′ - 1 ) - u SE ( l ′ - 1 ) ) / 2 ] 2 , 计算
Figure BDA00001006843400000731
经过l′-1次迭代后的值，记为
Figure BDA0000100684340000081
| ▿ u S ( l ′ - 1 ) | ≈ ( u S ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u SW ( l ′ - 1 ) - u SE ( l ′ - 1 ) ) / 2 ] 2 , 计算
Figure BDA0000100684340000083
经过l′-1次迭代后的值，记为
Figure BDA0000100684340000084
| ▿ u W ( l ′ - 1 ) | ≈ ( u W ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u NW ( l ′ - 1 ) - u SW ( l ′ - 1 ) ) / 2 ] 2 , 计算
Figure BDA0000100684340000086
经过l′-1次迭代后的值，记为 | ▿ u N ( l ′ - 1 ) | ≈ ( u N ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u NW ( l ′ - 1 ) - u NE ( l ′ - 1 ) ) / 2 ] 2 , 其中，
Figure BDA0000100684340000089
表示当前像素点的像素值
Figure BDA00001006843400000810
经过l′-1次迭代后的值，
Figure BDA00001006843400000812
分别表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为E、S、W、N的像素点的像素值
Figure BDA00001006843400000814
经过l′-1次迭代后的值，
Figure BDA00001006843400000815
Figure BDA00001006843400000816
分别表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000817
中坐标位置为NE、NW、SW、SE的像素点的像素值
Figure BDA00001006843400000818
经过l′-1次迭代后的值，l′≥1；
⑨-6、将当前像素点的重建像素值记为计算当前像素点的重建像素值
Figure BDA00001006843400000820
经过l′次迭代后的值，记为
Figure BDA00001006843400000821
Figure BDA00001006843400000822
其中，Ωo＝{E，S，W，N}表示与当前像素点相邻的东、南、西、北四个方向的像素点的坐标位置的集合，
Figure BDA00001006843400000823
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000824
中坐标位置为p的像素点的权重经过l′-1次迭代后的值，
Figure BDA00001006843400000825
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000827
中坐标位置为p的像素点的加权系数经过l′-1次迭代后的值，
Figure BDA00001006843400000828
Figure BDA00001006843400000829
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400000830
中坐标位置为p的像素点的梯度值经过l′-1次迭代后的值，a表示修正值，
Figure BDA00001006843400000831
表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为q的像素点的加权系数经过l′-1次迭代后的值，
Figure BDA00001006843400000833
Figure BDA00001006843400000834
表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为q的像素点的梯度值经过l′-1次迭代后的值，表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000093
中坐标位置为p的像素点的重建像素值经过l′-1次迭代后的值；
⑨-7、将当前像素点的重建像素值
Figure BDA0000100684340000095
作为解码后的t时刻的右视点彩色图像的最终重构图像中对应像素点的像素值，将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000096
中下一个待处理的且在空洞掩膜图像
Figure BDA0000100684340000097
中像素值为0的像素点作为当前像素点，然后返回步骤⑨-4继续执行，直至解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000098
中所有满足在空洞掩膜图像
Figure BDA0000100684340000099
中像素值为0的像素点均处理完毕，得到解码后的t时刻的右视点彩色图像的最终重构图像，记为
Figure BDA00001006843400000910
所述的设定的编码预测结构采用HBP编码预测结构。
与现有技术相比，本发明的优点在于：
1)本发明方法通过基于深度图像绘制的方法，将原始左视点彩色图像从左视点投影到右视点，得到原始右视点彩色图像与原始右视点彩色图像的绘制图像的残差图像，并对残差图像进行预处理操作，然后对原始左视点图像和预处理后的残差图像进行编码，最后根据解码后的右视点彩色图像的绘制图像和解码后的残差图像，得到解码后的右视点彩色图像的最终重构图像，本发明方法在保证较高的右视点彩色图像的重构质量的前提下，大大提高了立体视频的编码效率。
2)本发明方法利用基于深度图像绘制来充分地消除立体视频的冗余信息，在左视点图像质量固定不变的情况下，只传输右视点图像的残差图像，能最大程度地降低右视点图像的传输码率。
3)本发明方法在解码端利用基于深度图像绘制将左视点图像从左视点投影到右视点，并通过重构操作来获取右视点图像信息，从而保证了右视点图像的重构质量。
附图说明
图1为本发明方法的流程框图；
图2a为“Altmoabit”三维立体视频测试序列的第1时刻的原始右视点彩色图像；
图2b为图2a所示的彩色图像的绘制图像；
图2c为图2a所示的彩色图像与图2b所示的绘制图像的残差图像；
图2d为图2c所示的残差图像经预处理后得到的残差图像；
图3a为“Bookarrival”三维立体视频测试序列的第1时刻的原始右视点彩色图像；
图3b为图3a所示的彩色图像的绘制图像；
图3c为图3a所示的彩色图像与图3b所示的绘制图像的残差图像；
图3d为图3c所示的残差图像经预处理后得到的残差图像；
图4a为“Doorflowers”三维立体视频测试序列的第1时刻的原始右视点彩色图像；
图4b为图4a所示的彩色图像的绘制图像；
图4c为图4a所示的彩色图像与图4b所示的绘制图像的残差图像；
图4d为图4c所示的残差图像经预处理后得到的残差图像；
图5a为“Leavelaptop”三维立体视频测试序列的第1时刻的原始右视点彩色图像；
图5b为图5a所示的彩色图像的绘制图像；
图5c为图5a所示的彩色图像与图5b所示的绘制图像的残差图像；
图5d为图5c所示的残差图像经预处理后得到的残差图像；
图6a为“Altmoabit”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的绘制图像；
图6b为“Altmoabit”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的初始重构图像；
图6c为“Altmoabit”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的最终重构图像；
图6d为“Altmoabit”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的最终重构图像与第1时刻的原始右视点彩色图像的残差图像；
图7a为“Bookarrival”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的绘制图像；
图7b为“Bookarrival”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的初始重构图像；
图7c为“Bookarrival”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的最终重构图像；
图7d为“Bookarrival”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的最终重构图像与第1时刻的原始右视点彩色图像的残差图像；
图8a为“Doorflowers”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的绘制图像；
图8b为“Doorflowers”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的初始重构图像；
图8c为“Doorflowers”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的最终重构图像；
图8d为“Doorflowers”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的最终重构图像与第1时刻的原始右视点彩色图像的残差图像；
图9a为“Leavelaptop”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的绘制图像；
图9b为“Leavelaptop”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的初始重构图像；
图9c为“Leavelaptop”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的最终重构图像；
图9d为“Leavelaptop”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的最终重构图像与第1时刻的原始右视点彩色图像的残差图像；
图10为“Altmoabit”三维立体视频测试序列的原始右视点彩色视频采用本发明方法与原始编码方法的亮度分量Y的率失真性能曲线比较示意图；
图11为“Bookarrival”三维立体视频测试序列的原始右视点彩色视频采用本发明方法与原始编码方法的亮度分量Y的率失真性能曲线比较示意图；
图12为“Doorflowers”三维立体视频测试序列的原始右视点彩色视频采用本发明方法与原始编码方法的亮度分量Y的率失真性能曲线比较示意图；
图13为“Leavelaptop”三维立体视频测试序列的原始右视点彩色视频采用本发明方法与原始编码方法的亮度分量Y的率失真性能曲线比较示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于深度图像绘制的立体视频编码方法，如图1所示，其主要包括以下步骤：
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成。
在本实施中，采用德国HHI实验室提供的三维立体视频测试序列“Altmoabit”、“Bookarrival”、“Doorflowers”和“Leavelaptop”作为原始三维立体视频，这四个三维立体视频测试序列的各幅彩色图像和各幅深度图像的分辨率均为1024×768。在此，将第8个参考视点作为原始三维立体视频的左视点，将第9个参考视点作为原始三维立体视频的右视点。
②将t时刻的原始左视点彩色图像记为
Figure BDA0000100684340000121
将t时刻的原始左视点深度图像记为
Figure BDA0000100684340000122
将t时刻的原始右视点彩色图像记为
Figure BDA0000100684340000123
将t时刻的原始右视点深度图像记为
Figure BDA0000100684340000124
其中，i＝1，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x，y)表示彩色图像或深度图像中像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像或深度图像的宽度，H表示彩色图像或深度图像的高度，
Figure BDA0000100684340000125
表示t时刻的原始左视点彩色图像
Figure BDA0000100684340000126
中坐标位置为(x，y)的像素点的第i个分量的值，
Figure BDA0000100684340000127
表示t时刻的原始左视点深度图像
Figure BDA0000100684340000128
中坐标位置为(x，y)的像素点的深度值，
Figure BDA0000100684340000129
表示t时刻的原始右视点彩色图像
Figure BDA00001006843400001210
中坐标位置为(x，y)的像素点的第i个分量的值，
Figure BDA00001006843400001211
表示t时刻的原始右视点深度图像
Figure BDA00001006843400001212
中坐标位置为(x，y)的像素点的深度值。
③由于深度是用来表征场景几何的负载信息，立体视频左右视点图像的相关性可以通过基于深度图像的绘制来反映，因此本发明采用基于深度图像绘制的方法，将t时刻的原始左视点彩色图像
Figure BDA00001006843400001213
从左视点投影到右视点，得到t时刻的原始右视点彩色图像的绘制图像，记为
Figure BDA00001006843400001214
其中，
Figure BDA00001006843400001215
表示t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400001216
中坐标位置为(x，y)的像素点的第i个分量的值。
在此具体实施例中，步骤③的具体过程为：
③-1、定义t时刻的原始左视点彩色图像
Figure BDA00001006843400001217
中当前正在处理的像素点为当前像素点；
③-2、将当前像素点的图像坐标位置记为(x1，y1)，将当前像素点的图像坐标位置(x1，y1)从二维图像平面投影到三维场景平面，得到当前像素点的图像坐标位置(x1，y1)的投影坐标位置，记为 ( u , v , w ) , ( u , v , w ) T = R 1 A 1 - 1 ( x 1 , y 1 , 1 ) T Z t L ( x 1 , y 1 ) + T 1 , 其中，
Figure BDA0000100684340000132
表示t时刻的原始左视点深度图像
Figure BDA0000100684340000133
中坐标位置为(x1，y1)的像素点的场景深度， Z t L ( x 1 , y 1 ) = ( 1 255 × D t L ( x 1 , y 1 ) × ( 1 Z near - 1 Z far ) + 1 Z far ) - 1 ,
Figure BDA0000100684340000135
表示t时刻的原始左视点深度图像
Figure BDA0000100684340000136
中坐标位置为(x1，y1)的像素点的深度值，Znear表示深度图像中最小的场景深度值，Zfar表示深度图像中最大的场景深度值，R1为左视点相机的旋转矩阵，A1为左视点相机的内参矩阵，T1为左视点相机的平移矩阵，(u，v，w)T为(u，v，w)的转置矩阵，(x1，y1，1)T为(x1，y1，1)的转置矩阵，A1 -1为A1的逆矩阵，x1∈[1，W]，y1∈[1，H]；
③-3、将当前像素点的图像坐标位置(x1，y1)的投影坐标位置(u，v，w)从三维场景平面投影到二维图像平面，得到当前像素点的图像坐标位置(x1，y1)的投影坐标位置(u，v，w)在t时刻的原始右视点彩色图像
Figure BDA0000100684340000137
中的图像坐标位置，记为(x2，y2)，x2＝x′/z，y2＝y′/z，(x′，y′，z)T＝A2R2 -1(u，v，w)T-A2R2 -1T2，其中，R2为右视点相机的旋转矩阵，A2为右视点相机的内参矩阵，T2为右视点相机的平移矩阵，(x′，y′，z)T为(x′，y′，z)的转置矩阵，R2 -1为R2的逆矩阵，x2∈[1，W]，y2∈[1，H]；
③-4、利用当前像素点的图像坐标位置(x1，y1)与t时刻的原始右视点彩色图像中的图像坐标位置(x2，y2)的映射关系，将t时刻的原始左视点彩色图像
Figure BDA0000100684340000139
中坐标位置为(x1，y1)的像素点的各个分量的值均映射到t时刻的原始右视点彩色图像
Figure BDA00001006843400001310
中，分别对应作为t时刻的原始右视点彩色图像的绘制图像中坐标位置为(x2，y2)的像素点的各个分量的值，将t时刻的原始右视点彩色图像的绘制图像中坐标位置为(x2，y2)的像素点的第i个分量的值记为
Figure BDA00001006843400001311
③-5、将t时刻的原始左视点彩色图像中下一个待处理的像素点作为当前像素点，然后返回步骤③-2继续执行，直至t时刻的原始左视点彩色图像
Figure BDA0000100684340000142
中的所有像素点处理完毕，得到t时刻的原始右视点彩色图像的绘制图像，记为
在本实施例中，“Altmoabit”三维立体视频测试序列的Znear和Zfar分别为11.83775和189.404006，“Bookarrival”三维立体视频测试序列的Znear和Zfar分别为23.175928和54.077165，“Doorflowers”三维立体视频测试序列的Znear和Zfar分别为23.175928和54.077165，“Leavelaptop”三维立体视频测试序列的Znear和Zfar分别为23.175928和54.077165。
④由于受到空洞、遮挡及深度不一致等因素的影响，通过绘制得到的右视点彩色图像与原始右视点彩色图像之间存在一定的差异，为此本发明计算t时刻的原始右视点彩色图像
Figure BDA0000100684340000144
与t时刻的原始右视点彩色图像的绘制图像的残差图像，记为
Figure BDA0000100684340000146
E t , i R ( x , y ) = I t , i R ( x , y ) - I ~ t , i R ( x , y ) , 其中，
Figure BDA0000100684340000148
表示中坐标位置为(x，y)的像素点的第i个分量的值。
⑤由于原始右视点彩色图像与原始右视点彩色图像的绘制图像的残差图像存在较多零散的噪声点，会在一定程度上降低编码效率，并且现有的视频编码标准采用基于块的预测，因此本发明对t时刻的原始右视点彩色图像
Figure BDA00001006843400001410
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400001411
的残差图像进行预处理操作，得到预处理后的t时刻的原始右视点彩色图像
Figure BDA00001006843400001413
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400001414
的残差图像，记为
Figure BDA00001006843400001415
其中，
Figure BDA00001006843400001416
表示
Figure BDA00001006843400001417
中坐标位置为(x，y)的像素点的第i个分量的值。
在此具体实施例中，步骤⑤的具体过程为：
⑤-1、分别将t时刻的原始右视点彩色图像
Figure BDA00001006843400001418
及t时刻的原始右视点彩色图像
Figure BDA00001006843400001419
与t时刻的原始右视点彩色图像的绘制图像的残差图像分成
Figure BDA0000100684340000151
个互不重叠的4×4子块，定义t时刻的原始右视点彩色图像
Figure BDA0000100684340000152
中的第k个4×4子块为当前第一子块，记为
Figure BDA0000100684340000153
定义t时刻的原始右视点彩色图像
Figure BDA0000100684340000154
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA0000100684340000155
的残差图像
Figure BDA0000100684340000156
中的第k个4×4子块为当前第二子块，记为
Figure BDA0000100684340000157
其中，
Figure BDA0000100684340000158
(x3，y3)表示当前第一子块
Figure BDA0000100684340000159
或当前第二子块
Figure BDA00001006843400001510
中的像素点的坐标位置，1≤x3≤4，1≤y3≤4，
Figure BDA00001006843400001511
表示当前第一子块
Figure BDA00001006843400001512
中坐标位置为(x3，y3)的像素点的第i个分量的值，
Figure BDA00001006843400001513
表示当前第二子块
Figure BDA00001006843400001514
中坐标位置为(x3，y3)的像素点的第i个分量的值；
⑤-2、判断当前第二子块
Figure BDA00001006843400001515
中坐标位置为(x3′，y3′)的像素点的各个分量的值是否为0，如果是，则Num1＝Num1+1，其中，Num1的初始值为0，1≤x3′≤4，1≤y3′≤4；
⑤-3、返回步骤⑤-2继续对当前第二子块
Figure BDA00001006843400001516
中剩余的像素点进行处理，直至当前第二子块
Figure BDA00001006843400001517
中的4×4个像素点均处理完毕；
⑤-4、判断Num1/16＞0.5是否成立，如果是，则将当前第二子块
Figure BDA00001006843400001518
中的各个像素点的各个分量的值均设为0，否则，将当前第一子块
Figure BDA00001006843400001519
中的各个像素点的各个分量的值赋给当前第二子块
Figure BDA00001006843400001520
中坐标位置对应的像素点的对应分量；
⑤-5、将当前第二子块
Figure BDA00001006843400001521
中的各个像素点的各个分量的值作为预处理后的t时刻的原始右视点彩色图像
Figure BDA00001006843400001522
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400001523
的残差图像中坐标位置对应的像素点的对应分量的值，将预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400001525
的残差图像中坐标位置为(x4，y4)的像素点的第i个分量的值记为
Figure BDA00001006843400001526
Figure BDA00001006843400001527
其中，(x4，y4)表示当前第二子块
Figure BDA00001006843400001528
中坐标位置为(x3，y3)的像素点在t时刻的原始右视点彩色图像
Figure BDA00001006843400001529
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA0000100684340000161
的残差图像中的坐标位置，1≤x4≤W，1≤y4≤H；
⑤-6、令k″＝k+1，k＝k″，将t时刻的原始右视点彩色图像中的下一个4×4子块作为当前第一子块，将t时刻的原始右视点彩色图像
Figure BDA0000100684340000164
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA0000100684340000165
的残差图像
Figure BDA0000100684340000166
中的下一个4×4子块作为当前第二子块，返回步骤⑤-2继续执行，直至t时刻的原始右视点彩色图像
Figure BDA0000100684340000167
及t时刻的原始右视点彩色图像
Figure BDA0000100684340000168
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA0000100684340000169
的残差图像
Figure BDA00001006843400001610
中的
Figure BDA00001006843400001611
个互不重叠的4×4子块均处理完毕，得到预处理后的t时刻的原始右视点彩色图像
Figure BDA00001006843400001612
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400001613
的残差图像，记为
Figure BDA00001006843400001614
其中，k″的初始值为0。
⑥根据设定的编码预测结构对t时刻的原始左视点彩色图像
Figure BDA00001006843400001615
进行编码，再将编码后的左视点彩色图像经网络传输给解码端；在解码端对编码后的左视点彩色图像进行解码，获得解码后的t时刻的左视点彩色图像，记为其中，表示解码后的t时刻的左视点彩色图像
Figure BDA00001006843400001618
中坐标位置为(x，y)的像素点的第i个分量的值。在此，设定的编码预测结构采用公知的HBP编码预测结构。
⑦根据设定的编码预测结构对预处理后的t时刻的原始右视点彩色图像
Figure BDA00001006843400001619
与t时刻的原始右视点彩色图像的绘制图像
Figure BDA00001006843400001620
的残差图像
Figure BDA00001006843400001621
进行编码，再将编码后的t时刻的残差图像经网络传输给解码端；在解码端对编码后的t时刻的残差图像进行解码，获得解码后的t时刻的残差图像，记为
Figure BDA00001006843400001622
其中，
Figure BDA00001006843400001623
表示解码后的t时刻的残差图像
Figure BDA00001006843400001624
中坐标位置为(x，y)的像素点的第i个分量的值。在此，设定的编码预测结构采用公知的HBP编码预测结构。
⑧采用与步骤③相同的操作，将解码后的t时刻的左视点彩色图像
Figure BDA00001006843400001625
从左视点投影到右视点，得到解码后的t时刻的右视点彩色图像的绘制图像，记为
Figure BDA00001006843400001626
其中，
Figure BDA00001006843400001627
表示解码后的t时刻的右视点彩色图像的绘制图像
Figure BDA00001006843400001628
中坐标位置为(x，y)的像素点的第i个分量的值。
⑨根据解码后的t时刻的右视点彩色图像的绘制图像
Figure BDA0000100684340000171
和解码后的t时刻的残差图像
Figure BDA0000100684340000172
得到解码后的t时刻的右视点彩色图像的最终重构图像，记为
Figure BDA0000100684340000173
其中，
Figure BDA0000100684340000174
表示解码后的t时刻的右视点彩色图像的最终重构图像
Figure BDA0000100684340000175
中坐标位置为(x，y)的像素点的第i个分量的值。在此具体实施例中，步骤⑨的具体过程为：
⑨-1、根据解码后的t时刻的右视点彩色图像的绘制图像
Figure BDA0000100684340000176
和解码后的t时刻的残差图像
Figure BDA0000100684340000177
得到解码后的t时刻的右视点彩色图像的初始重建图像，记为
Figure BDA0000100684340000178
其中，表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001711
中坐标位置为(x，y)的像素点的第i个分量的值；
⑨-2、计算解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001712
的空洞掩膜图像，记为
Figure BDA00001006843400001713
如果
Figure BDA00001006843400001714
则
Figure BDA00001006843400001715
否则，
Figure BDA00001006843400001716
其中，
Figure BDA00001006843400001717
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001718
的空洞掩膜图像中坐标位置为(x，y)的像素点的像素值；
⑨-3、定义解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001720
中当前正在处理的且在空洞掩膜图像
Figure BDA00001006843400001721
中像素值为0的像素点为当前像素点；
⑨-4、将当前像素点的坐标位置记为O，将当前像素点的像素值记为
Figure BDA00001006843400001722
将与当前像素点相邻的东、南、西、北四个方向的像素点的坐标位置分别记为E、S、W、N，将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001723
中坐标位置为E、S、W、N的像素点的像素值分别记为
Figure BDA00001006843400001724
将与当前像素点相邻的东北、西北、西南、东南四个方向的像素点的坐标位置分别记为NE、NW、SW、SE，将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001725
中坐标位置为NE、NW、SW、SE的像素点的像素值分别记为
Figure BDA0000100684340000181
⑨-5、将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000182
中坐标位置为E的像素点的梯度值记为
Figure BDA0000100684340000183
将解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为S的像素点的梯度值记为
Figure BDA0000100684340000185
将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000186
中坐标位置为W的像素点的梯度值记为
Figure BDA0000100684340000187
将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000188
中坐标位置为N的像素点的梯度值记为
Figure BDA0000100684340000189
计算
Figure BDA00001006843400001810
经过l′-1次迭代后的值，记为
Figure BDA00001006843400001811
| ▿ u E ( l ′ - 1 ) | ≈ ( u E ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u NE ( l ′ - 1 ) - u SE ( l ′ - 1 ) ) / 2 ] 2 , 计算
Figure BDA00001006843400001813
经过l′-1次迭代后的值，记为 | ▿ u S ( l ′ - 1 ) | ≈ ( u S ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u SW ( l ′ - 1 ) - u SE ( l ′ - 1 ) ) / 2 ] 2 , 计算
Figure BDA00001006843400001816
经过l′-1次迭代后的值，记为
Figure BDA00001006843400001817
| ▿ u W ( l ′ - 1 ) | ≈ ( u W ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u NW ( l ′ - 1 ) - u SW ( l ′ - 1 ) ) / 2 ] 2 , 计算
Figure BDA00001006843400001819
经过l′-1次迭代后的值，记为
Figure BDA00001006843400001820
| ▿ u N ( l ′ - 1 ) | ≈ ( u N ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u NW ( l ′ - 1 ) - u NE ( l ′ - 1 ) ) / 2 ] 2 , 其中，
Figure BDA00001006843400001822
表示当前像素点的像素值经过l′-1次迭代后的值，
Figure BDA00001006843400001825
分别表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001826
中坐标位置为E、S、W、N的像素点的像素值
Figure BDA00001006843400001827
经过l′-1次迭代后的值，
Figure BDA00001006843400001828
分别表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001830
中坐标位置为NE、NW、SW、SE的像素点的像素值经过l′-1次迭代后的值，l′≥1，在本实施例中，取l′＝100；
⑨-6、将当前像素点的重建像素值记为
Figure BDA00001006843400001832
计算当前像素点的重建像素值
Figure BDA00001006843400001833
经过l′次迭代后的值，记为
Figure BDA00001006843400001834
Figure BDA00001006843400001835
其中，Ωo＝{E，S，W，N}表示与当前像素点相邻的东、南、西、北四个方向的像素点的坐标位置的集合，
Figure BDA00001006843400001836
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001837
中坐标位置为p的像素点的权重经过l′-1次迭代后的值，
Figure BDA0000100684340000191
q表示与当前像素点相邻的东、南、西、北四个方向的像素点的坐标位置的集合中的任意一个坐标位置，q可以与p相同也可以不相同，
Figure BDA0000100684340000192
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000193
中坐标位置为p的像素点的加权系数经过l′-1次迭代后的值，
Figure BDA0000100684340000194
Figure BDA0000100684340000195
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000196
中坐标位置为p的像素点的梯度值经过l′-1次迭代后的值，a表示修正值，在本实施例中，取a＝5，
Figure BDA0000100684340000197
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA0000100684340000198
中坐标位置为q的像素点的加权系数经过l′-1次迭代后的值，
Figure BDA0000100684340000199
Figure BDA00001006843400001910
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001911
中坐标位置为q的像素点的梯度值经过l′-1次迭代后的值，
Figure BDA00001006843400001912
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001913
中坐标位置为p的像素点的重建像素值
Figure BDA00001006843400001914
经过l′-1次迭代后的值；
⑨-7、将当前像素点的重建像素值作为解码后的t时刻的右视点彩色图像的最终重构图像中对应像素点的像素值，将解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001916
中下一个待处理的且在空洞掩膜图像
Figure BDA00001006843400001917
中像素值为0的像素点作为当前像素点，然后返回步骤⑨-4继续执行，直至解码后的t时刻的右视点彩色图像的初始重建图像
Figure BDA00001006843400001918
中所有满足在空洞掩膜图像
Figure BDA00001006843400001919
中像素值为0的像素点均处理完毕，得到解码后的t时刻的右视点彩色图像的最终重构图像，记为
以下就利用本发明方法对“Altmoabit”、“Bookarrival”、“Doorflowers”和“Leavelaptop”三维立体视频测试序列的重构性能和编码性能进行比较。
图2a、图2b、图2c和图2d分别给出了“Altmoabit”三维立体视频测试序列的第1时刻的原始右视点彩色图像、图2a所示的彩色图像的绘制图像、图2a所示的彩色图像与图2b所示的绘制图像的残差图像、图2c所示的残差图像经预处理后得到的残差图像；图3a、图3b、图3c和图3d分别给出了“Bookarrival”三维立体视频测试序列的第1时刻的原始右视点彩色图像、图3a所示的彩色图像的绘制图像、图3a所示的彩色图像与图3b所示的绘制图像的残差图像、图3c所示的残差图像经预处理后得到的残差图像；图4a、图4b、图4c和图4d分别给出了“Doorflowers”三维立体视频测试序列的第1时刻的原始右视点彩色图像、图4a所示的彩色图像的绘制图像、图4a所示的彩色图像与图4b所示的绘制图像的残差图像、图4c所示的残差图像经预处理后得到的残差图像；图5a、图5b、图5c和图5d分别给出了“Leavelaptop”三维立体视频测试序列的第1时刻的原始右视点彩色图像、图5a所示的彩色图像的绘制图像、图5a所示的彩色图像与图5b所示的绘制图像的残差图像、图5c所示的残差图像经预处理后得到的残差图像。从图2a至图5d可以看出，采用本发明方法得到的预处理后的第1时刻的原始右视点彩色图像与第1时刻的原始右视点彩色图像的绘制图像的残差图像包含较少的数据信息，能大大降低编码码率。
图6a、图6b、图6c和图6d分别给出了“Altmoabit”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的绘制图像、第1时刻的右视点彩色图像的初始重构图像、第1时刻的右视点彩色图像的最终重构图像、第1时刻的右视点彩色图像的最终重构图像与第1时刻的原始右视点彩色图像的残差图像；图7a、图7b、图7c和图7d分别给出了“Bookarrival”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的绘制图像、第1时刻的右视点彩色图像的初始重构图像、第1时刻的右视点彩色图像的最终重构图像、第1时刻的右视点彩色图像的最终重构图像与第1时刻的原始右视点彩色图像的残差图像；图8a、图8b、图8c和图8d分别给出了“Doorflowers”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的绘制图像、第1时刻的右视点彩色图像的初始重构图像、第1时刻的右视点彩色图像的最终重构图像、第1时刻的右视点彩色图像的最终重构图像与第1时刻的原始右视点彩色图像的残差图像；图9a、图9b、图9c和图9d分别给出了“Leavelaptop”三维立体视频测试序列的解码后的第1时刻的右视点彩色图像的绘制图像、第1时刻的右视点彩色图像的初始重构图像、第1时刻的右视点彩色图像的最终重构图像、第1时刻的右视点彩色图像的最终重构图像与第1时刻的原始右视点彩色图像的残差图像。从图6a至图9d可以看出，采用本发明方法得到的右视点彩色图像的最终重构图像与原始右视点彩色图像的差别并不是很大，从而有效地保证了较高的右视点彩色图像的重构质量。
将采用本发明方法的编码性能与采用原始编码方法的编码性能进行比较，图10给出了“Altmoabit”三维立体视频测试序列的原始右视点彩色视频采用本发明方法与原始编码方法的亮度分量Y的率失真性能曲线比较示意图，图11给出了“Bookarrival”三维立体视频测试序列的原始右视点彩色视频采用本发明方法与原始编码方法的亮度分量Y的率失真性能曲线比较示意图，图12给出了“Doofrlowers”三维立体视频测试序列的原始右视点彩色视频采用本发明方法与原始编码方法的亮度分量Y的率失真性能曲线比较示意图，图13给出了“Leavelaptop”三维立体视频测试序列的原始右视点彩色视频采用本发明方法与原始编码方法的亮度分量Y的率失真性能曲线比较示意图，从图10至图13可以看出，采用本发明方法处理后，大大提高了右视点视频的编码性能，特别是在低码率端，编码性能的提高更大，足以说明本发明方法是有效可行的。

Claims (5)

1.一种基于深度图像绘制的立体视频编码方法，其特征在于包括以下步骤：
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成；
②将t时刻的原始左视点彩色图像记为将t时刻的原始左视点深度图像记为
Figure FDA0000100684330000012
将t时刻的原始右视点彩色图像记为
Figure FDA0000100684330000013
将t时刻的原始右视点深度图像记为
Figure FDA0000100684330000014
其中，i＝1，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x，y)表示彩色图像或深度图像中像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像或深度图像的宽度，H表示彩色图像或深度图像的高度，表示t时刻的原始左视点彩色图像
Figure FDA0000100684330000016
中坐标位置为(x，y)的像素点的第i个分量的值，表示t时刻的原始左视点深度图像
Figure FDA0000100684330000018
中坐标位置为(x，y)的像素点的深度值，
Figure FDA0000100684330000019
表示t时刻的原始右视点彩色图像
Figure FDA00001006843300000110
中坐标位置为(x，y)的像素点的第i个分量的值，
Figure FDA00001006843300000111
表示t时刻的原始右视点深度图像
Figure FDA00001006843300000112
中坐标位置为(x，y)的像素点的深度值；
③采用基于深度图像绘制的方法，将t时刻的原始左视点彩色图像
Figure FDA00001006843300000113
从左视点投影到右视点，得到t时刻的原始右视点彩色图像的绘制图像，记为
Figure FDA00001006843300000114
其中，
Figure FDA00001006843300000115
表示t时刻的原始右视点彩色图像的绘制图像
Figure FDA00001006843300000116
中坐标位置为(x，y)的像素点的第i个分量的值；
④计算t时刻的原始右视点彩色图像
Figure FDA0000100684330000021
与t时刻的原始右视点彩色图像的绘制图像的残差图像，记为
Figure FDA0000100684330000023
E t , i R ( x , y ) = I t , i R ( x , y ) - I ~ t , i R ( x , y ) , 其中，
Figure FDA0000100684330000025
表示
Figure FDA0000100684330000026
中坐标位置为(x，y)的像素点的第i个分量的值；
⑤对t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像进行预处理操作，得到预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像
Figure FDA00001006843300000211
的残差图像，记为
Figure FDA00001006843300000212
其中，
Figure FDA00001006843300000213
表示
Figure FDA00001006843300000214
中坐标位置为(x，y)的像素点的第i个分量的值；
⑥根据设定的编码预测结构对t时刻的原始左视点彩色图像
Figure FDA00001006843300000215
进行编码，再将编码后的左视点彩色图像经网络传输给解码端；在解码端对编码后的左视点彩色图像进行解码，获得解码后的t时刻的左视点彩色图像，记为
Figure FDA00001006843300000216
其中，
Figure FDA00001006843300000217
表示解码后的t时刻的左视点彩色图像
Figure FDA00001006843300000218
中坐标位置为(x，y)的像素点的第i个分量的值；
⑦根据设定的编码预测结构对预处理后的t时刻的原始右视点彩色图像
Figure FDA00001006843300000219
与t时刻的原始右视点彩色图像的绘制图像
Figure FDA00001006843300000220
的残差图像
Figure FDA00001006843300000221
进行编码，再将编码后的t时刻的残差图像经网络传输给解码端；在解码端对编码后的t时刻的残差图像进行解码，获得解码后的t时刻的残差图像，记为
Figure FDA00001006843300000222
其中，表示解码后的t时刻的残差图像
Figure FDA00001006843300000224
中坐标位置为(x，y)的像素点的第i个分量的值；
⑧采用与步骤③相同的操作，将解码后的t时刻的左视点彩色图像
Figure FDA00001006843300000225
从左视点投影到右视点，得到解码后的t时刻的右视点彩色图像的绘制图像，记为
Figure FDA00001006843300000226
其中，
Figure FDA00001006843300000227
表示解码后的t时刻的右视点彩色图像的绘制图像中坐标位置为(x，y)的像素点的第i个分量的值；
⑨根据解码后的t时刻的右视点彩色图像的绘制图像
Figure FDA00001006843300000229
和解码后的t时刻的残差图像
Figure FDA0000100684330000031
得到解码后的t时刻的右视点彩色图像的最终重构图像，记为
Figure FDA0000100684330000032
其中，
Figure FDA0000100684330000033
表示解码后的t时刻的右视点彩色图像的最终重构图像
Figure FDA0000100684330000034
中坐标位置为(x，y)的像素点的第i个分量的值。
2.根据权利要求1所述的一种基于深度图像绘制的立体视频编码方法，其特征在于所述的步骤③的具体过程为：
③-1、定义t时刻的原始左视点彩色图像
Figure FDA0000100684330000035
中当前正在处理的像素点为当前像素点；
③-2、将当前像素点的图像坐标位置记为(x1，y1)，将当前像素点的图像坐标位置(x1，y1)从二维图像平面投影到三维场景平面，得到当前像素点的图像坐标位置(x1，y1)的投影坐标位置，记为 ( u , v , w ) , ( u , v , w ) T = R 1 A 1 - 1 ( x 1 , y 1 , 1 ) T Z t L ( x 1 , y 1 ) + T 1 , 其中，表示t时刻的原始左视点深度图像
Figure FDA0000100684330000038
中坐标位置为(x1，y1)的像素点的场景深度， Z t L ( x 1 , y 1 ) = ( 1 255 × D t L ( x 1 , y 1 ) × ( 1 Z near - 1 Z far ) + 1 Z far ) - 1 ,
Figure FDA00001006843300000310
表示t时刻的原始左视点深度图像
Figure FDA00001006843300000311
中坐标位置为(x1，y1)的像素点的深度值，Znear表示深度图像中最小的场景深度值，Zfar表示深度图像中最大的场景深度值，R1为左视点相机的旋转矩阵，A1为左视点相机的内参矩阵，T1为左视点相机的平移矩阵，(u，v，w)T为(u，v，w)的转置矩阵，(x1，y1，1)T为(x1，y1，1)的转置矩阵，A1 -1为A1的逆矩阵，x1∈[1，W]，y1∈[1，H]；
③-3、将当前像素点的图像坐标位置(x1，y1)的投影坐标位置(u，v，w)从三维场景平面投影到二维图像平面，得到当前像素点的图像坐标位置(x1，y1)的投影坐标位置(u，v，w)在t时刻的原始右视点彩色图像
Figure FDA00001006843300000312
中的图像坐标位置，记为(x2，y2)，x2＝x′/z，y2＝y′/z，(x′，y′，z)T＝A2R2 -1(u，v，w)T-A2R2 -1T2，其中，R2为右视点相机的旋转矩阵，A2为右视点相机的内参矩阵，T2为右视点相机的平移矩阵，(x′，y′，z)T为(x′，y′，z)的转置矩阵，R2 -1为R2的逆矩阵，x2∈[1，W]，y2∈[1，H]；
③-4、利用当前像素点的图像坐标位置(x1，y1)与t时刻的原始右视点彩色图像
Figure FDA0000100684330000041
中的图像坐标位置(x2，y2)的映射关系，将t时刻的原始左视点彩色图像
Figure FDA0000100684330000042
中坐标位置为(x1，y1)的像素点的各个分量的值均映射到t时刻的原始右视点彩色图像
Figure FDA0000100684330000043
中，分别对应作为t时刻的原始右视点彩色图像的绘制图像中坐标位置为(x2，y2)的像素点的各个分量的值，将t时刻的原始右视点彩色图像的绘制图像中坐标位置为(x2，y2)的像素点的第i个分量的值记为
Figure FDA0000100684330000044
Figure FDA0000100684330000045
③-5、将t时刻的原始左视点彩色图像
Figure FDA0000100684330000046
中下一个待处理的像素点作为当前像素点，然后返回步骤③-2继续执行，直至t时刻的原始左视点彩色图像
Figure FDA0000100684330000047
中的所有像素点处理完毕，得到t时刻的原始右视点彩色图像的绘制图像，记为
Figure FDA0000100684330000048
3.根据权利要求1或2所述的一种基于深度图像绘制的立体视频编码方法，其特征在于所述的步骤⑤的具体过程为：
⑤-1、分别将t时刻的原始右视点彩色图像
Figure FDA0000100684330000049
及t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像
Figure FDA00001006843300000411
的残差图像
Figure FDA00001006843300000412
分成
Figure FDA00001006843300000413
个互不重叠的4×4子块，定义t时刻的原始右视点彩色图像
Figure FDA00001006843300000414
中的第k个4×4子块为当前第一子块，记为
Figure FDA00001006843300000415
定义t时刻的原始右视点彩色图像
Figure FDA00001006843300000416
与t时刻的原始右视点彩色图像的绘制图像的残差图像
Figure FDA00001006843300000418
中的第k个4×4子块为当前第二子块，记为其中，
Figure FDA00001006843300000420
(x3，y3)表示当前第一子块
Figure FDA00001006843300000421
或当前第二子块
Figure FDA00001006843300000422
中的像素点的坐标位置，1≤x3≤4，1≤y3≤4，
Figure FDA00001006843300000423
表示当前第一子块
Figure FDA00001006843300000424
中坐标位置为(x3，y3)的像素点的第i个分量的值，
Figure FDA00001006843300000425
表示当前第二子块
Figure FDA00001006843300000426
中坐标位置为(x3，y3)的像素点的第i个分量的值；
⑤-2、判断当前第二子块
Figure FDA00001006843300000427
中坐标位置为(x3′，y3′)的像素点的各个分量的值是否为0，如果是，则Num1＝Num1+1，其中，Num1的初始值为0，1≤x3′≤4，1≤y3′≤4；
⑤-3、返回步骤⑤-2继续对当前第二子块
Figure FDA0000100684330000051
中剩余的像素点进行处理，直至当前第二子块
Figure FDA0000100684330000052
中的4×4个像素点均处理完毕；
⑤-4、判断Num1/16＞0.5是否成立，如果是，则将当前第二子块中的各个像素点的各个分量的值均设为0，否则，将当前第一子块中的各个像素点的各个分量的值赋给当前第二子块
Figure FDA0000100684330000055
中坐标位置对应的像素点的对应分量；
⑤-5、将当前第二子块
Figure FDA0000100684330000056
中的各个像素点的各个分量的值作为预处理后的t时刻的原始右视点彩色图像
Figure FDA0000100684330000057
与t时刻的原始右视点彩色图像的绘制图像
Figure FDA0000100684330000058
的残差图像中坐标位置对应的像素点的对应分量的值，将预处理后的t时刻的原始右视点彩色图像
Figure FDA0000100684330000059
与t时刻的原始右视点彩色图像的绘制图像
Figure FDA00001006843300000510
的残差图像中坐标位置为(x4，y4)的像素点的第i个分量的值记为
Figure FDA00001006843300000511
Figure FDA00001006843300000512
其中，(x4，y4)表示当前第二子块中坐标位置为(x3，y3)的像素点在t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像
Figure FDA00001006843300000515
的残差图像
Figure FDA00001006843300000516
中的坐标位置，1≤x4≤W，1≤y4≤H；
⑤-6、令k″＝k+1，k＝k″，将t时刻的原始右视点彩色图像
Figure FDA00001006843300000517
中的下一个4×4子块作为当前第一子块，将t时刻的原始右视点彩色图像
Figure FDA00001006843300000518
与t时刻的原始右视点彩色图像的绘制图像的残差图像中的下一个4×4子块作为当前第二子块，返回步骤⑤-2继续执行，直至t时刻的原始右视点彩色图像
Figure FDA00001006843300000521
及t时刻的原始右视点彩色图像
Figure FDA00001006843300000522
与t时刻的原始右视点彩色图像的绘制图像的残差图像
Figure FDA00001006843300000524
中的
Figure FDA00001006843300000525
个互不重叠的4×4子块均处理完毕，得到预处理后的t时刻的原始右视点彩色图像
Figure FDA00001006843300000526
与t时刻的原始右视点彩色图像的绘制图像
Figure FDA0000100684330000061
的残差图像，记为
Figure FDA0000100684330000062
其中，k″的初始值为0。
4.根据权利要求3所述的一种基于深度图像绘制的立体视频编码方法，其特征在于所述的步骤⑨的具体过程为：
⑨-1、根据解码后的t时刻的右视点彩色图像的绘制图像
Figure FDA0000100684330000063
和解码后的t时刻的残差图像得到解码后的t时刻的右视点彩色图像的初始重建图像，记为
Figure FDA0000100684330000065
Figure FDA0000100684330000066
其中，
Figure FDA0000100684330000067
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA0000100684330000068
中坐标位置为(x，y)的像素点的第i个分量的值；
⑨-2、计算解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA0000100684330000069
的空洞掩膜图像，记为如果
Figure FDA00001006843300000611
则
Figure FDA00001006843300000612
否则，其中，
Figure FDA00001006843300000614
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA00001006843300000615
的空洞掩膜图像
Figure FDA00001006843300000616
中坐标位置为(x，y)的像素点的像素值；
⑨-3、定义解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA00001006843300000617
中当前正在处理的且在空洞掩膜图像
Figure FDA00001006843300000618
中像素值为0的像素点为当前像素点；
⑨-4、将当前像素点的坐标位置记为O，将当前像素点的像素值记为
Figure FDA00001006843300000619
将与当前像素点相邻的东、南、西、北四个方向的像素点的坐标位置分别记为E、S、W、N，将解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA00001006843300000620
中坐标位置为E、S、W、N的像素点的像素值分别记为
Figure FDA00001006843300000621
将与当前像素点相邻的东北、西北、西南、东南四个方向的像素点的坐标位置分别记为NE、NW、SW、SE，将解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为NE、NW、SW、SE的像素点的像素值分别记为
Figure FDA00001006843300000623
⑨-5、将解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA00001006843300000624
中坐标位置为E的像素点的梯度值记为
Figure FDA00001006843300000625
将解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA00001006843300000626
中坐标位置为S的像素点的梯度值记为
Figure FDA00001006843300000627
将解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为W的像素点的梯度值记为
Figure FDA0000100684330000072
将解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA0000100684330000073
中坐标位置为N的像素点的梯度值记为
Figure FDA0000100684330000074
计算
Figure FDA0000100684330000075
经过l′-1次迭代后的值，记为
Figure FDA0000100684330000076
| ▿ u E ( l ′ - 1 ) | ≈ ( u E ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u NE ( l ′ - 1 ) - u SE ( l ′ - 1 ) ) / 2 ] 2 , 计算
Figure FDA0000100684330000078
经过l′-1次迭代后的值，记为
Figure FDA0000100684330000079
| ▿ u S ( l ′ - 1 ) | ≈ ( u S ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u SW ( l ′ - 1 ) - u SE ( l ′ - 1 ) ) / 2 ] 2 , 计算经过l′-1次迭代后的值，记为 | ▿ u W ( l ′ - 1 ) | ≈ ( u W ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u NW ( l ′ - 1 ) - u SW ( l ′ - 1 ) ) / 2 ] 2 , 计算
Figure FDA00001006843300000714
经过l′-1次迭代后的值，记为
Figure FDA00001006843300000715
| ▿ u N ( l ′ - 1 ) | ≈ ( u N ( l ′ - 1 ) - u O ( l ′ - 1 ) ) 2 + [ ( u NW ( l ′ - 1 ) - u NE ( l ′ - 1 ) ) / 2 ] 2 , 其中，表示当前像素点的像素值
Figure FDA00001006843300000718
经过l′-1次迭代后的值，
Figure FDA00001006843300000719
Figure FDA00001006843300000720
分别表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA00001006843300000721
中坐标位置为E、S、W、N的像素点的像素值
Figure FDA00001006843300000722
经过l′-1次迭代后的值，
Figure FDA00001006843300000723
Figure FDA00001006843300000724
分别表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA00001006843300000725
中坐标位置为NE、NW、SW、SE的像素点的像素值
Figure FDA00001006843300000726
经过l′-1次迭代后的值，l′之1；
⑨-6、将当前像素点的重建像素值记为
Figure FDA00001006843300000727
计算当前像素点的重建像素值
Figure FDA00001006843300000728
经过l′次迭代后的值，记为
Figure FDA00001006843300000730
其中，Ωo＝{E，S，W，N}表示与当前像素点相邻的东、南、西、北四个方向的像素点的坐标位置的集合，
Figure FDA00001006843300000731
表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为p的像素点的权重经过l′-1次迭代后的值，
Figure FDA00001006843300000733
Figure FDA00001006843300000734
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA00001006843300000735
中坐标位置为p的像素点的加权系数经过l′-1次迭代后的值，
Figure FDA00001006843300000736
Figure FDA00001006843300000737
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA0000100684330000081
中坐标位置为p的像素点的梯度值经过l′-1次迭代后的值，a表示修正值，
Figure FDA0000100684330000082
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA0000100684330000083
中坐标位置为q的像素点的加权系数经过l′-1次迭代后的值，
Figure FDA0000100684330000084
Figure FDA0000100684330000085
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA0000100684330000086
中坐标位置为q的像素点的梯度值经过l′-1次迭代后的值，
Figure FDA0000100684330000087
表示解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA0000100684330000088
中坐标位置为p的像素点的重建像素值
Figure FDA0000100684330000089
经过l′-1次迭代后的值；
⑨-7、将当前像素点的重建像素值
Figure FDA00001006843300000810
作为解码后的t时刻的右视点彩色图像的最终重构图像中对应像素点的像素值，将解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA00001006843300000811
中下一个待处理的且在空洞掩膜图像
Figure FDA00001006843300000812
中像素值为0的像素点作为当前像素点，然后返回步骤⑨-4继续执行，直至解码后的t时刻的右视点彩色图像的初始重建图像
Figure FDA00001006843300000813
中所有满足在空洞掩膜图像
Figure FDA00001006843300000814
中像素值为0的像素点均处理完毕，得到解码后的t时刻的右视点彩色图像的最终重构图像，记为
Figure FDA00001006843300000815
5.根据权利要求4所述的一种基于深度图像绘制的立体视频编码方法，其特征在于所述的设定的编码预测结构采用HBP编码预测结构。
CN201110322717.4A 2011-10-21 2011-10-21 一种基于深度图像绘制的立体视频编码方法 Expired - Fee Related CN102438167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110322717.4A CN102438167B (zh) 2011-10-21 2011-10-21 一种基于深度图像绘制的立体视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110322717.4A CN102438167B (zh) 2011-10-21 2011-10-21 一种基于深度图像绘制的立体视频编码方法

Publications (2)

Publication Number Publication Date
CN102438167A true CN102438167A (zh) 2012-05-02
CN102438167B CN102438167B (zh) 2014-03-12

Family

ID=45986008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110322717.4A Expired - Fee Related CN102438167B (zh) 2011-10-21 2011-10-21 一种基于深度图像绘制的立体视频编码方法

Country Status (1)

Country Link
CN (1) CN102438167B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002306A (zh) * 2012-11-27 2013-03-27 宁波大学 一种深度图像编码方法
CN103179423A (zh) * 2013-03-19 2013-06-26 宁波大学 一种交互式三维视频系统中的信号处理方法
CN103200405A (zh) * 2013-04-03 2013-07-10 清华大学 一种3dv视频编码方法及编码器
WO2014005367A1 (zh) * 2012-07-03 2014-01-09 乐金电子(中国)研究开发中心有限公司 一种深度图像帧内编码方法、装置及编码器
CN103888752A (zh) * 2013-11-27 2014-06-25 友达光电股份有限公司 二维影像至三维影像的影像转换方法及影像转换装置
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
CN104243966A (zh) * 2013-06-18 2014-12-24 西斯维尔科技有限公司 用于生成、存储、传送、接收和再现深度图的方法和设备
CN104768017A (zh) * 2014-01-03 2015-07-08 联发科技股份有限公司 视频编码方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060045798A (ko) * 2004-10-16 2006-05-17 한국전자통신연구원 다시점 동영상의 계층적 깊이 영상 부호화를 위한 방법 및장치
CN101483770A (zh) * 2008-01-08 2009-07-15 华为技术有限公司 一种编解码方法及装置
CN101690234A (zh) * 2007-06-25 2010-03-31 日本电信电话株式会社 视频图像编码方法及解码方法、其装置、其程序以及记录有程序的记录介质
CN101867810A (zh) * 2010-04-07 2010-10-20 宁波大学 一种深度视频序列的预处理方法
CN102065296A (zh) * 2011-01-06 2011-05-18 宁波大学 一种三维立体视频编码方法
CN102158712A (zh) * 2011-03-22 2011-08-17 宁波大学 一种基于视觉的多视点视频信号编码方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060045798A (ko) * 2004-10-16 2006-05-17 한국전자통신연구원 다시점 동영상의 계층적 깊이 영상 부호화를 위한 방법 및장치
CN101690234A (zh) * 2007-06-25 2010-03-31 日本电信电话株式会社 视频图像编码方法及解码方法、其装置、其程序以及记录有程序的记录介质
CN101483770A (zh) * 2008-01-08 2009-07-15 华为技术有限公司 一种编解码方法及装置
CN101867810A (zh) * 2010-04-07 2010-10-20 宁波大学 一种深度视频序列的预处理方法
CN102065296A (zh) * 2011-01-06 2011-05-18 宁波大学 一种三维立体视频编码方法
CN102158712A (zh) * 2011-03-22 2011-08-17 宁波大学 一种基于视觉的多视点视频信号编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BO ZHU: "View Synthesis Oriented Depth Map Coding Algorithm", 《INFORMATION PROCESSING,2009.APCIP 2009. ASIA-PACIFIC CONFERENCE ON》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571859B2 (en) 2012-07-03 2017-02-14 Lg Electronics (China) R & D Center Co, Ltd. Intraframe coding method, device and encoder for depth images
WO2014005367A1 (zh) * 2012-07-03 2014-01-09 乐金电子(中国)研究开发中心有限公司 一种深度图像帧内编码方法、装置及编码器
CN103533324A (zh) * 2012-07-03 2014-01-22 乐金电子(中国)研究开发中心有限公司 一种深度图像帧内编码方法、装置及编码器
CN103002306A (zh) * 2012-11-27 2013-03-27 宁波大学 一种深度图像编码方法
CN103002306B (zh) * 2012-11-27 2015-03-18 宁波大学 一种深度图像编码方法
CN103179423B (zh) * 2013-03-19 2015-01-21 宁波大学 一种交互式三维视频系统中的信号处理方法
CN103179423A (zh) * 2013-03-19 2013-06-26 宁波大学 一种交互式三维视频系统中的信号处理方法
CN103200405A (zh) * 2013-04-03 2013-07-10 清华大学 一种3dv视频编码方法及编码器
CN103200405B (zh) * 2013-04-03 2016-06-01 清华大学 一种3dv视频编码方法及编码器
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
CN104243966A (zh) * 2013-06-18 2014-12-24 西斯维尔科技有限公司 用于生成、存储、传送、接收和再现深度图的方法和设备
CN104243966B (zh) * 2013-06-18 2019-10-18 西斯维尔科技有限公司 用于生成、存储、传送、接收和再现深度图的方法和设备
CN103888752A (zh) * 2013-11-27 2014-06-25 友达光电股份有限公司 二维影像至三维影像的影像转换方法及影像转换装置
CN103888752B (zh) * 2013-11-27 2016-01-13 友达光电股份有限公司 二维影像至三维影像的影像转换方法及影像转换装置
CN104768017A (zh) * 2014-01-03 2015-07-08 联发科技股份有限公司 视频编码方法
US10110925B2 (en) 2014-01-03 2018-10-23 Hfi Innovation Inc. Method of reference picture selection and signaling in 3D and multi-view video coding

Also Published As

Publication number Publication date
CN102438167B (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
CN102438167B (zh) 一种基于深度图像绘制的立体视频编码方法
CN100576934C (zh) 基于深度和遮挡信息的虚拟视点合成方法
CN103002306B (zh) 一种深度图像编码方法
CN101937578B (zh) 一种虚拟视点彩色图像绘制方法
CN102065296B (zh) 一种三维立体视频编码方法
CN101166282B (zh) 摄像机参数编码传输的方法
CN102801997B (zh) 基于感兴趣深度的立体图像压缩方法
CN102905150B (zh) 一种新的多视点视频分形编码压缩与解压缩方法
CN103338370B (zh) 一种多视点深度视频快速编码方法
CN103402097B (zh) 一种自由视点视频深度图编码方法及其失真预测方法
CN101521823B (zh) 空间相关的全景数据压缩方法
CN103067705B (zh) 一种多视点深度视频预处理方法
CN103873867B (zh) 自由视点视频深度图失真预测方法和编码方法
CN102769749B (zh) 一种深度图像的后处理方法
CN104159095A (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN104244008B (zh) 一种深度视频编码方法
CN103813149B (zh) 一种编解码系统的图像与视频重构方法
CN102523468B (zh) 一种三维立体视频编码的最佳码率比重确立方法
CN103179423B (zh) 一种交互式三维视频系统中的信号处理方法
CN102685531A (zh) 一种三维视频编码的深度和彩色码率分配方法
CN102523454A (zh) 利用3d字典消除3d播放系统中块效应的方法
CN105007494A (zh) 一种3d视频深度图像模型模式的帧内楔形分割模式选择方法
CN102355582B (zh) 一种三维立体视频编码的率失真模型优化方法
CN103379349A (zh) 一种视点合成预测编码方法、解码方法、对应的装置及码流
CN103997635B (zh) 自由视点视频的合成视点失真预测方法及编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140312

Termination date: 20171021