CN102769749A - 一种深度图像的后处理方法 - Google Patents

一种深度图像的后处理方法 Download PDF

Info

Publication number
CN102769749A
CN102769749A CN2012102260184A CN201210226018A CN102769749A CN 102769749 A CN102769749 A CN 102769749A CN 2012102260184 A CN2012102260184 A CN 2012102260184A CN 201210226018 A CN201210226018 A CN 201210226018A CN 102769749 A CN102769749 A CN 102769749A
Authority
CN
China
Prior art keywords
image
depth
reference view
decoded
view constantly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102260184A
Other languages
English (en)
Other versions
CN102769749B (zh
Inventor
邵枫
蒋刚毅
郁梅
彭宗举
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luyake Fire Vehicle Manufacturing Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201210226018.4A priority Critical patent/CN102769749B/zh
Publication of CN102769749A publication Critical patent/CN102769749A/zh
Application granted granted Critical
Publication of CN102769749B publication Critical patent/CN102769749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种深度图像的后处理方法，其首先对获取的彩色图像及对应的深度图像进行编码，得到编码码流；然后获取深度图像的编码失真补偿参数，对深度图像的编码失真补偿参数进行编码，得到参数码流；接着对编码码流和参数码流进行解码，得到解码后的彩色图像和深度图像及编码失真补偿参数；再利用深度图像的编码失真补偿参数对解码后的深度图像进行补偿，得到深度补偿图像，对深度补偿图像进行滤波处理，得到深度滤波图像，该深度滤波图像用于绘制虚拟视点图像，优点在于在保持深度图像的压缩效率的基础上，降低了编码失真对虚拟视点图像绘制的影响，大大提高了虚拟视点图像绘制性能。

Description

一种深度图像的后处理方法
技术领域
本发明涉及一种图像处理方法，尤其是涉及一种深度图像的后处理方法。
背景技术
三维视频（Three-Dimensional Video，3DV）是一种先进的视觉模式，它使人们在屏幕上观看图像时富有立体感和沉浸感，可以满足人们从不同角度观看三维（3D）场景的需求。典型的三维视频系统如图1所示，其主要包括视频捕获、视频编码、传输解码、虚拟视点绘制和交互显示等模块。
多视点视频加深度（multi-view video plus depth，MVD）是目前ISO/MPEG推荐采用的3D场景信息表示方式。MVD数据在多视点彩色图像基础上增加了对应视点的深度信息，深度信息的获取目前主要有两种基本途径：1）通过深度相机获取；2）通过生成方法从普通的二维（2D）视频中生成深度信息。基于深度图像的绘制（Depth ImageBased Rendering，DIBR）是一种利用参考视点的彩色图像所对应的深度图像绘制生成虚拟视点图像的方法，其通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素点对应的深度信息来合成三维场景的虚拟视点图像。
然而，与彩色图像相比，深度图像的纹理简单，其包括较多的平坦区域，但由于深度图像获取方法的局限性，因此深度图像普遍存在时间连续性差、深度不连续等问题，更重要是深度图像并非直接用于观看，而是用于辅助DIBR和3D显示。目前，相关研究人员已提出了一些针对深度图像的预处理方法，如对称高斯滤波和非对称高斯滤波等方法，然而这些预处理方法考虑更多的是如何提升编码的性能，编码性能的提升必然会牺牲虚拟视点绘制性能，因此，在保持深度图像的压缩效率的基础上，如何通过对深度图像进行后处理操作，以提高虚拟视点绘制性能是一个亟需解决的问题。
发明内容
本发明所要解决的技术问题是提供一种在保持深度图像的压缩效率的基础上，能够有效提高虚拟视点图像绘制性能的深度图像后处理方法。
本发明解决上述技术问题所采用的技术方案为：一种深度图像的后处理方法，其特征在于它的处理过程为：首先对获取的彩色图像及其对应的深度图像进行编码，得到编码码流；然后获取深度图像的编码失真补偿参数，对深度图像的编码失真补偿参数进行编码，得到参数码流；接着对编码码流和参数码流进行解码，得到解码后的彩色图像和深度图像及深度图像的编码失真补偿参数；再利用深度图像的编码失真补偿参数对解码后的深度图像进行补偿，得到深度补偿图像，对深度补偿图像进行滤波处理，得到深度滤波图像，该深度滤波图像用于虚拟视点图像绘制。
该后处理方法包括以下具体步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为
Figure BDA00001829844700021
将t时刻的第k个参考视点的深度图像记为
Figure BDA00001829844700022
其中，1≤k≤K，k的初始值为1，i＝1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示彩色图像和深度图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，
Figure BDA00001829844700023
表示t时刻的第k个参考视点的彩色图像
Figure BDA00001829844700024
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00001829844700025
表示t时刻的第k个参考视点的深度图像中坐标位置为(x,y)的像素点的深度值；
②根据设定的编码预测结构分别对t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像进行编码，然后逐帧输出彩色图像码流及深度图像码流得到编码码流，再由服务端通过网络将编码码流传输给用户端；
③根据t时刻的K个参考视点的K幅深度图像和编码后再解码得到的t时刻的K个参考视点的K幅深度图像，采用维纳滤波器预测得到t时刻的K个参考视点的K幅深度图像的编码失真补偿参数，然后采用CABAC无损压缩方法分别对t时刻的K个参考视点的K幅深度图像的编码失真补偿参数进行编码，再逐帧输出参数码流，最后由服务端通过网络将参数码流传输给用户端；
④用户端对服务端发送来的编码码流进行解码，分别获得解码后的t时刻的K个参考视点的K幅彩色图像和对应的K幅深度图像，将解码后的t时刻的第k个参考视点的彩色图像和对应的深度图像分别对应记为
Figure BDA00001829844700027
和
Figure BDA00001829844700028
其中，
Figure BDA00001829844700029
表示解码后的t时刻的第k个参考视点的彩色图像
Figure BDA00001829844700031
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00001829844700032
表示解码后的t时刻的第k个参考视点的深度图像
Figure BDA00001829844700033
中坐标位置为(x,y)的像素点的深度值；
⑤用户端对服务端发送来的参数码流进行解码，获得t时刻的K个参考视点的K幅深度图像的编码失真补偿参数，然后利用t时刻的K个参考视点的K幅深度图像的编码失真补偿参数对解码后的t时刻的K个参考视点的K幅深度图像进行补偿，获得解码后的t时刻的K个参考视点的K幅深度补偿图像，将解码后的t时刻的第k个参考视点的深度补偿图像记为其中，表示解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA00001829844700036
中坐标位置为(x,y)的像素点的深度值；
⑥采用双向滤波器分别对解码后的t时刻的K个参考视点的K幅深度补偿图像进行双向滤波处理，获得解码后的t时刻的K个参考视点的K幅深度滤波图像，将解码后的t时刻的第k个参考视点的深度滤波图像记为其中，
Figure BDA00001829844700038
表示解码后的t时刻的第k个参考视点的深度滤波图像
Figure BDA00001829844700039
中坐标位置为(x,y)的像素点的深度值。
所述的步骤③中获取t时刻的K个参考视点的K幅深度图像的编码失真补偿参数的具体过程为：
③-1、将t时刻的K个参考视点的K幅深度图像中当前正在处理的第k个参考视点的深度图像
Figure BDA000018298447000310
定义为当前深度图像；
③-2、对当前深度图像
Figure BDA000018298447000311
实施3级小波变换，得到每级小波变换的3个方向子带的小波系数矩阵，3个方向子带包括水平方向子带、垂直方向子带和对角方向子带，将实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为
Figure BDA000018298447000313
其中，1≤m≤3，1≤n≤3，
Figure BDA000018298447000314
表示
Figure BDA000018298447000315
中坐标位置为(x,y)处的小波系数；
③-3、对编码后再解码得到的t时刻的第k个参考视点的深度图像
Figure BDA000018298447000316
实施3级小波变换，得到每级小波变换的3个方向子带的小波系数矩阵，3个方向子带包括水平方向子带、垂直方向子带和对角方向子带，将
Figure BDA000018298447000317
实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为
Figure BDA00001829844700041
其中，1≤m≤3，1≤n≤3，
Figure BDA00001829844700042
表示
Figure BDA00001829844700043
中坐标位置为(x,y)处的小波系数；
③-4、采用维纳滤波器预测得到解码后的t时刻的第k个参考视点的深度图像
Figure BDA00001829844700044
的每级小波变换的各个方向子带的小波系数矩阵的编码失真补偿参数，将
Figure BDA00001829844700045
的编码失真补偿参数记为 其中，L表示维纳滤波器的滤波长度范围，
Figure BDA00001829844700048
表示求
Figure BDA00001829844700049
的数学期望值，
Figure BDA000018298447000410
表示中坐标位置为(x+p,y+q)处的小波系数，argmin(X)表示使得函数X最小的参数；
③-5、根据解码后的t时刻的第k个参考视点的深度图像
Figure BDA000018298447000412
的每级小波变换的各个方向子带的小波系数矩阵的编码失真补偿参数，得到当前深度图像
Figure BDA000018298447000413
的编码失真补偿参数，记为
Figure BDA000018298447000414
③-6、令k'=k+1,k=k'，将t时刻的K个参考视点的K幅深度图像中下一个待处理的参考视点的深度图像作为当前深度图像，然后返回步骤③-2继续执行，直至t时刻的K个参考视点的K幅深度图像中的所有参考视点的深度图像处理完毕，其中，k'的初始值为0。
所述的步骤⑤中获取解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA000018298447000415
的具体过程为：
⑤-1、对解码后的t时刻的第k个参考视点的深度图像实施3级小波变换，得到每级小波变换的3个方向子带的小波系数矩阵，3个方向子带包括水平方向子带、垂直方向子带和对角方向子带，将
Figure BDA000018298447000417
实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为
Figure BDA000018298447000418
其中，1≤m≤3，1≤n≤3，表示
Figure BDA00001829844700051
中坐标位置为(x,y)处的小波系数；
⑤-2、计算解码后的t时刻的第k个参考视点的深度图像
Figure BDA00001829844700052
的每级小波变换的各个方向子带的小波系数矩阵各自经过补偿后的小波系数矩阵，将
Figure BDA00001829844700053
经过补偿后的小波系数矩阵记为
Figure BDA00001829844700054
Figure BDA00001829844700055
其中，
Figure BDA00001829844700056
表示中坐标位置为(x+p,y+q)处的小波系数；
⑤-3、对解码后的t时刻的第k个参考视点的深度图像
Figure BDA00001829844700058
的每级小波变换的各个方向子带的小波系数矩阵各自经过补偿后的小波系数矩阵实施反小波变换，得到解码后的t时刻的第k个参考视点的深度补偿图像，记为
Figure BDA00001829844700059
其中，
Figure BDA000018298447000510
表示解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA000018298447000511
中坐标位置为(x,y)的像素点的深度值。
所述的步骤⑥中对解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA000018298447000512
进行双向滤波处理的具体过程为：
⑥-1、定义解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA000018298447000513
中当前正在处理的像素点为当前像素点；
⑥-2、将当前像素点的坐标位置记为p'，将当前像素点的邻域像素点的坐标位置记为q'，然后采用梯度模板Gx对当前像素点的深度值
Figure BDA000018298447000514
进行卷积操作，得到当前像素点的梯度值gx(p')，再判断|gx(p')|≥T是否成立，如果成立，则执行步骤⑥-3，否则，执行步骤⑥-4，其中， G x = - 1 0 1 - 2 0 2 - 1 0 1 , “*”为卷积操作符号，“||”为求绝对值操作符号，T为梯度幅度阈值；
⑥-3、采用标准差为(σs1,σr1)的双向滤波器对当前像素点的邻域像素点的深度值
Figure BDA000018298447000517
进行滤波操作，得到当前像素点滤波后的深度值，记为
Figure BDA000018298447000518
Figure BDA000018298447000519
其中， r s 1 ( p ′ ) = 1 / Σ q ′ ∈ N ( p ′ ) G σs 1 ( | | p ′ - q ′ | | ) G σs 1 ( | I ~ R , t , i k ( p ′ ) - I ~ R , t , i k ( q ′ ) | ) , G σs 1 ( | | p ′ - q ′ | | ) 表示标准差为σs1的高斯函数，
Figure BDA00001829844700062
||p′-q'||表示坐标位置p'和坐标位置q'之间的欧氏距离，“|| ||”为欧氏距离符号，
Figure BDA00001829844700063
表示标准差为σr1的高斯函数， G σr 1 ( | I ~ R , t , i k ( p ′ ) - I ~ R , t , i k ( q ′ ) | ) = exp ( - | I ~ R , t , i k ( p ′ ) - I ~ R , t , i k ( q ′ ) | 2 2 σ r 1 2 ) , “||”为求绝对值操作符号，
Figure BDA00001829844700065
表示解码后的t时刻的第k个参考视点的彩色图像
Figure BDA00001829844700066
中坐标位置为p'的像素点的第i个分量的值，
Figure BDA00001829844700067
表示解码后的t时刻的第k个参考视点的彩色图像
Figure BDA00001829844700068
中坐标位置为q'的像素点的第i个分量的值，
Figure BDA00001829844700069
表示解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA000018298447000610
中坐标位置为q'的像素点的深度值，exp()表示以e为底的指数函数，e=2.71828183，N(p')表示以坐标位置为p'的像素点为中心的7×7邻域窗口；然后执行步骤⑥-5；
⑥-4、将当前像素点的深度值
Figure BDA000018298447000611
作为滤波后的深度值
Figure BDA000018298447000612
即其中，
Figure BDA000018298447000614
中的“=”为赋值符号；然后执行步骤⑥-5；
⑥-5、将解码后的t时刻的第k个参考视点的深度补偿图像中下一个待处理的像素点作为当前像素点，然后返回步骤⑥-2继续执行，直至解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA000018298447000616
中的所有像素点处理完毕，得到滤波后的深度滤波图像，记为
Figure BDA000018298447000617
所述的步骤②中设定的编码预测结构为HBP编码预测结构。
与现有技术相比，本发明的优点在于：
1）本发明方法通过获取深度图像的编码失真补偿参数，然后利用编码失真补偿参数对解码后的深度图像进行补偿，再对补偿后得到的深度补偿图像进行滤波处理，将滤波处理后得到的深度滤波图像用于绘制虚拟视点图像，这个过程使得在保持深度图像的压缩效率的基础上，降低了编码失真对虚拟视点图像绘制的影响，从而大大提高了虚拟视点图像的绘制性能。
2）本发明方法通过采用维纳滤波器预测得到深度图像的不同子带的小波系数矩阵的编码失真补偿参数，并采用无失真压缩方式对这些编码失真补偿参数进行编码，然后在用户端对解码的深度图像进行补偿，这样能够降低编码失真对虚拟视点图像绘制的影响。
3）本发明方法考虑到深度图像边缘区域不连续的特点以及边缘区域的深度失真会对虚拟视点图像绘制产生较大的影响，采用双向滤波器对深度补偿图像的边缘区域的各个像素点的深度值进行滤波处理，这样能够有效提高虚拟视点图像的绘制性能。
附图说明
图1为典型的三维视频系统的基本组成框图；
图2a为“Bookarrival”三维视频测试序列的第8个参考视点的一幅彩色图像；
图2b为“Bookarrival”三维视频测试序列的第10个参考视点的一幅彩色图像；
图2c为图2a所示的彩色图像对应的深度图像；
图2d为图2b所示的彩色图像对应的深度图像；
图3a为“Altmoabit”三维视频测试序列的第8个参考视点的一幅彩色图像；
图3b为“Altmoabit”三维视频测试序列的第10个参考视点的一幅彩色图像；
图3c为图3a所示的彩色图像对应的深度图像；
图3d为图3b所示的彩色图像对应的深度图像；
图4a为“Bookarrival”三维视频测试序列的第8个参考视点的解码的深度图像；
图4b为“Bookarrival”三维视频测试序列的第8个参考视点的采用本发明方法得到的深度滤波图像；
图5a为“Altmoabit”三维视频测试序列的第8个参考视点的解码的深度图像；
图5b为“Altmoabit”三维视频测试序列的第8个参考视点的采用本发明方法得到的深度滤波图像；
图6a为“Bookarrival”三维视频测试序列的第9个参考视点的采用原始深度图像绘制得到的虚拟视点图像；
图6b为“Bookarrival”三维视频测试序列的第9个参考视点的采用解码深度图像绘制得到的虚拟视点图像；
图6c为“Bookarrival”三维视频测试序列的第9个参考视点的采用本发明方法绘制得到的虚拟视点图像；
图7a为“Altmoabit”三维视频测试序列的第9个参考视点的采用原始深度图像绘制得到的虚拟视点图像；
图7b为“Altmoabit”三维视频测试序列的第9个参考视点的采用解码深度图像绘制得到的虚拟视点图像；
图7c为“Altmoabit”三维视频测试序列的第9个参考视点的采用本发明方法绘制得到的虚拟视点图像；
图8a为图6a的局部细节放大图；
图8b为图6b的局部细节放大图；
图8c为图6c的局部细节放大图；
图9a为图7a的局部细节放大图；
图9b为图7b的局部细节放大图；
图9c为图7c的局部细节放大图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种深度图像的后处理方法，它的处理过程为：首先对获取的彩色图像及其对应的深度图像进行编码，得到编码码流；然后获取深度图像的编码失真补偿参数，对深度图像的编码失真补偿参数进行编码，得到参数码流；接着对编码码流和参数码流进行解码，得到解码后的彩色图像和深度图像及深度图像的编码失真补偿参数；再利用深度图像的编码失真补偿参数对解码后的深度图像进行补偿，得到深度补偿图像，对深度补偿图像进行滤波处理，得到深度滤波图像，该深度滤波图像用于虚拟视点图像绘制，即可根据解码后的彩色图像和深度滤波图像，采用基于深度图像的绘制得到虚拟视点图像。本发明方法具体包括以下步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为
Figure BDA00001829844700081
将t时刻的第k个参考视点的深度图像记为
Figure BDA00001829844700082
其中，1≤k≤K，k的初始值为1，i＝1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示彩色图像和深度图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，
Figure BDA00001829844700083
表示t时刻的第k个参考视点的彩色图像
Figure BDA00001829844700084
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00001829844700085
表示t时刻的第k个参考视点的深度图像中坐标位置为(x,y)的像素点的深度值。
在此，采用德国HHI实验室提供的三维视频测试序列“Bookarrival”和“Altmoabit”，这两个三维视频测试序列均包括16个参考视点的16幅彩色图像和对应的16幅深度图像，各幅彩色图像和深度图像的分辨率都为1024×768，帧率为15帧每秒，即15fps，这两个三维视频测试序列是ISO/MPEG所推荐的标准测试序列。图2a和图2b分别给出了“Bookarrival”的第8个和第10个参考视点的一幅彩色图像；图2c和图2d分别给出了“Bookarrival”的第8个和第10个参考视点的彩色图像所对应的深度图像；图3a和图3b分别给出了“Altmoabit”的第8个和第10个参考视点的一幅彩色图像；图3c和图3d分别给出了“Altmoabit”的第8个和第10个参考视点的彩色图像所对应的深度图像。
②根据设定的编码预测结构分别对t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像进行编码，然后逐帧输出彩色图像码流及深度图像码流得到编码码流，再由服务端通过网络将编码码流传输给用户端。
在此，设定的编码预测结构采用公知的HBP编码预测结构。
③由于深度图像的编码会导致解码后的深度图像质量的下降，并必然会导致虚拟视点图像绘制性能的下降，因此本发明根据t时刻的K个参考视点的K幅深度图像和编码后再解码得到的t时刻的K个参考视点的K幅深度图像，采用维纳滤波器预测得到t时刻的K个参考视点的K幅深度图像的编码失真补偿参数，然后采用CABAC（Context-based Adaptive Binary Arithmetic Coding，前文参考之适应性二元算术编码）无损压缩方法分别对t时刻的K个参考视点的K幅深度图像的编码失真补偿参数进行编码，再逐帧输出参数码流，最后由服务端通过网络将参数码流传输给用户端。
在此具体实施例中，步骤③中获取t时刻的K个参考视点的K幅深度图像的编码失真补偿参数的具体过程为：
③-1、将t时刻的K个参考视点的K幅深度图像中当前正在处理的第k个参考视点的深度图像
Figure BDA00001829844700092
定义为当前深度图像。
③-2、对当前深度图像
Figure BDA00001829844700093
实施3级小波变换，得到每级小波变换的3个方向子带的小波系数矩阵，3个方向子带包括水平方向子带、垂直方向子带和对角方向子带，将实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为
Figure BDA00001829844700095
其中，1≤m≤3，1≤n≤3，表示中坐标位置为(x,y)处的小波系数。
③-3、对编码后再解码得到的t时刻的第k个参考视点的深度图像
Figure BDA00001829844700101
实施3级小波变换，得到每级小波变换的3个方向子带的小波系数矩阵，3个方向子带包括水平方向子带、垂直方向子带和对角方向子带，将
Figure BDA00001829844700102
实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为
Figure BDA00001829844700103
其中，1≤m≤3，1≤n≤3，
Figure BDA00001829844700104
表示
Figure BDA00001829844700105
中坐标位置为(x,y)处的小波系数。
③-4、采用维纳滤波器预测得到解码后的t时刻的第k个参考视点的深度图像
Figure BDA00001829844700106
的每级小波变换的各个方向子带的小波系数矩阵的编码失真补偿参数，将
Figure BDA00001829844700107
的编码失真补偿参数记为
Figure BDA00001829844700108
Figure BDA00001829844700109
其中，L表示维纳滤波器的滤波长度范围，
Figure BDA000018298447001010
表示求
Figure BDA000018298447001011
的数学期望值，
Figure BDA000018298447001012
表示
Figure BDA000018298447001013
中坐标位置为(x+p,y+q)处的小波系数，argmin(X)表示使得函数X最小的参数，即表示使得
Figure BDA000018298447001015
最小的参数。
③-5、根据解码后的t时刻的第k个参考视点的深度图像的每级小波变换的各个方向子带的小波系数矩阵的编码失真补偿参数，得到当前深度图像
Figure BDA000018298447001017
的编码失真补偿参数，记为
③-6、令k'=k+1,k=k'，将t时刻的K个参考视点的K幅深度图像中下一个待处理的参考视点的深度图像作为当前深度图像，然后返回步骤③-2继续执行，直至t时刻的K个参考视点的K幅深度图像中的所有参考视点的深度图像处理完毕，其中，k'的初始值为0。
④用户端对服务端发送来的编码码流进行解码，分别获得解码后的t时刻的K个参考视点的K幅彩色图像和对应的K幅深度图像，将解码后的t时刻的第k个参考视点的彩色图像和对应的深度图像分别对应记为和
Figure BDA00001829844700112
其中，
Figure BDA00001829844700113
表示解码后的t时刻的第k个参考视点的彩色图像
Figure BDA00001829844700114
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00001829844700115
表示解码后的t时刻的第k个参考视点的深度图像中坐标位置为(x,y)的像素点的深度值。
⑤用户端对服务端发送来的参数码流进行解码，获得t时刻的K个参考视点的K幅深度图像的编码失真补偿参数，然后利用t时刻的K个参考视点的K幅深度图像的编码失真补偿参数对解码后的t时刻的K个参考视点的K幅深度图像进行补偿，获得解码后的t时刻的K个参考视点的K幅深度补偿图像，将解码后的t时刻的第k个参考视点的深度补偿图像记为
Figure BDA00001829844700117
其中，
Figure BDA00001829844700118
表示解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA00001829844700119
中坐标位置为(x,y)的像素点的深度值。
在此具体实施例中，步骤⑤中获取解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA000018298447001110
的具体过程为：
⑤-1、对解码后的t时刻的第k个参考视点的深度图像
Figure BDA000018298447001111
实施3级小波变换，得到每级小波变换的3个方向子带的小波系数矩阵，3个方向子带包括水平方向子带、垂直方向子带和对角方向子带，将
Figure BDA000018298447001112
实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为
Figure BDA000018298447001113
其中，1≤m≤3，1≤n≤3，
Figure BDA000018298447001114
表示
Figure BDA000018298447001115
中坐标位置为(x,y)处的小波系数。
⑤-2、计算解码后的t时刻的第k个参考视点的深度图像
Figure BDA000018298447001116
的每级小波变换的各个方向子带的小波系数矩阵各自经过补偿后的小波系数矩阵，将
Figure BDA000018298447001117
经过补偿后的小波系数矩阵记为
Figure BDA000018298447001118
Figure BDA000018298447001119
其中，表示
Figure BDA000018298447001121
中坐标位置为(x+p,y+q)处的小波系数。
⑤-3、对解码后的t时刻的第k个参考视点的深度图像
Figure BDA000018298447001122
的每级小波变换的各个方向子带的小波系数矩阵各自经过补偿后的小波系数矩阵实施反小波变换，得到解码后的t时刻的第k个参考视点的深度补偿图像，记为
Figure BDA00001829844700121
其中，
Figure BDA00001829844700122
表示解码后的t时刻的第k个参考视点的深度补偿图像中坐标位置为(x,y)的像素点的深度值。
⑥由于深度图像获取方法的局限，深度图像的边缘区域往往是不连续的，而深度图像与彩色图像之间存在较强的相关性，深度图像与彩色图像的运动对象及运动对象边界应当是一致的，因此，可以利用彩色图像的边缘信息来辅助深度图像的滤波处理，在此本发明采用双向滤波器分别对解码后的t时刻的K个参考视点的K幅深度补偿图像进行双向滤波处理，获得解码后的t时刻的K个参考视点的K幅深度滤波图像，将解码后的t时刻的第k个参考视点的深度滤波图像记为
Figure BDA00001829844700124
其中，
Figure BDA00001829844700125
表示解码后的t时刻的第k个参考视点的深度滤波图像
Figure BDA00001829844700126
中坐标位置为(x,y)的像素点的深度值。在虚拟视点图像绘制时，可根据解码后的t时刻的K个参考视点的K幅彩色图像和解码后的t时刻的K个参考视点的K幅深度滤波图像，采用基于深度图像的绘制得到虚拟视点图像。
在此具体实施例中，步骤⑥中对解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA00001829844700127
进行双向滤波处理的具体过程为：
⑥-1、定义解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA00001829844700128
中当前正在处理的像素点为当前像素点。
⑥-2、将当前像素点的坐标位置记为p'，将当前像素点的邻域像素点的坐标位置记为q'，然后采用梯度模板Gx对当前像素点的深度值进行卷积操作，得到当前像素点的梯度值gx(p')，
Figure BDA000018298447001210
再判断|gx(p')|≥T是否成立，如果成立，
则执行步骤⑥-3，否则，执行步骤⑥-4，其中， G x = - 1 0 1 - 2 0 2 - 1 0 1 , “*”为卷积操作符号，“||”为求绝对值操作符号，T为梯度幅度阈值，在本实施例中，取T=5。
⑥-3、采用标准差为(σs1,σr1)的双向滤波器对当前像素点的邻域像素点的深度值
Figure BDA000018298447001212
进行滤波操作，得到当前像素点滤波后的深度值，记为
Figure BDA000018298447001213
Figure BDA00001829844700131
其中， r s 1 ( p ′ ) = 1 / Σ q ′ ∈ N ( p ′ ) G σs 1 ( | | p ′ - q ′ | | ) G σs 1 ( | I ~ R , t , i k ( p ′ ) - I ~ R , t , i k ( q ′ ) | ) , G σs 1 ( | | p ′ - q ′ | | ) 表示标准差为σs1的高斯函数，
Figure BDA00001829844700133
||p′-q'||表示坐标位置p'和坐标位置q'之间的欧氏距离，“|| ||”为欧氏距离符号，表示标准差为σr1的高斯函数， G σr 1 ( | I ~ R , t , i k ( p ′ ) - I ~ R , t , i k ( q ′ ) | ) = exp ( - | I ~ R , t , i k ( p ′ ) - I ~ R , t , i k ( q ′ ) | 2 2 σ r 1 2 ) , “||”为求绝对值操作符号，
Figure BDA00001829844700136
表示解码后的t时刻的第k个参考视点的彩色图像
Figure BDA00001829844700137
中坐标位置为p'的像素点的第i个分量的值，
Figure BDA00001829844700138
表示解码后的t时刻的第k个参考视点的彩色图像
Figure BDA00001829844700139
中坐标位置为q'的像素点的第i个分量的值，
Figure BDA000018298447001310
表示解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA000018298447001311
中坐标位置为q'的像素点的深度值，exp()表示以e为底的指数函数，e=2.71828183，N(p')表示以坐标位置为p'的像素点为中心的7×7邻域窗口，在实际处理过程中，也可采用其它大小的邻域窗口，但经大量实验，表明采用7×7邻域窗口时能够达到最好的效果；然后执行步骤⑥-5。
在本实施例中，标准差(σs1,σr1)=(5,0.1)。
⑥-4、将当前像素点的深度值
Figure BDA000018298447001312
作为滤波后的深度值
Figure BDA000018298447001313
即其中，“
Figure BDA000018298447001315
”中的“=”为赋值符号；然后执行步骤⑥-5。
⑥-5、将解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA000018298447001316
中下一个待处理的像素点作为当前像素点，然后返回步骤⑥-2继续执行，直至解码后的t时刻的第k个参考视点的深度补偿图像
Figure BDA000018298447001317
中的所有像素点处理完毕，得到滤波后的深度滤波图像，记为
Figure BDA000018298447001318
对“Bookarrival”和“Altmoabit”三维视频测试序列的深度图像进行滤波处理实验，图4a给出了“Bookarrival”的第8个参考视点的解码的深度图像，图4b给出了“Bookarrival”的第8个参考视点的采用本发明方法得到的深度滤波图像，图5a给出了“Altmoabit”的第8个参考视点的解码的深度图像，图5b给出了“Altmoabit”的第8个参考视点的采用本发明方法得到的深度滤波图像，从图4a至图5b可以看出，采用本发明方法得到的滤波处理后的深度图像即深度滤波图像，保持了深度图像的重要的几何特征，产生了令人满意的锐利的边缘和平滑的轮廓。
以下就利用本发明方法对“Bookarrival”和“Altmoabit”三维视频测试序列进行虚拟视点图像绘制的主观性能进行比较。
将采用本发明方法得到的虚拟视点图像，与不采用本发明方法（直接采用解码图像）得到的虚拟视点图像进行比较。图6a给出了“Bookarrival”的第9个参考视点采用原始深度图像绘制得到的虚拟视点图像，图6b给出了“Bookarrival”的第9个参考视点采用解码深度图像绘制得到的虚拟视点图像，图6c给出了“Bookarrival”的第9个参考视点采用本发明方法绘制得到的虚拟视点图像，图7a给出了“Altmoabit”的第9个参考视点采用原始深度图像绘制得到的虚拟视点图像，图7b给出了“Altmoabit”的第9个参考视点采用解码深度图像绘制得到的虚拟视点图像，图7c给出了“Altmoabit”的第9个参考视点采用本发明方法绘制得到的虚拟视点图像，图8a、图8b和图8c分别给出了图6a、图6b和图6c的局部细节放大图，图9a、图9b和图9c分别给出了图7a、图7b和图7c的局部细节放大图。从图6a至图9c可以看出，采用本发明方法绘制得到的虚拟视点图像能够保持更好的对象轮廓信息，从而降低了由于深度图像的失真而引起的映射过程中产生的背景对前景的覆盖，并且根据彩色图像的边缘信息对深度图像的边缘区域进行双向滤波处理，能够有效地消除绘制的虚拟视点图像中的条纹噪声。
将采用本发明方法绘制得到的虚拟视点图像与不采用本发明方法绘制得到的虚拟视点图像的峰值信噪比（PSNR）进行比较，比较结果如表1所列，从表1中可以看出，采用本发明方法绘制得到的虚拟视点图像质量要明显好于不采用本发明方法绘制得到的虚拟视点图像质量，足以说明本方法是有效可行的。
表1利用本发明方法与不采用本发明方法的峰值信噪比比较
Figure BDA00001829844700141

Claims (6)

1.一种深度图像的后处理方法，其特征在于它的处理过程为：首先对获取的彩色图像及其对应的深度图像进行编码，得到编码码流；然后获取深度图像的编码失真补偿参数，对深度图像的编码失真补偿参数进行编码，得到参数码流；接着对编码码流和参数码流进行解码，得到解码后的彩色图像和深度图像及深度图像的编码失真补偿参数；再利用深度图像的编码失真补偿参数对解码后的深度图像进行补偿，得到深度补偿图像，对深度补偿图像进行滤波处理，得到深度滤波图像，该深度滤波图像用于虚拟视点图像绘制。
2.根据权利要求1所述的一种深度图像的后处理方法，其特征在于包括以下具体步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为
Figure FDA00001829844600011
将t时刻的第k个参考视点的深度图像记为
Figure FDA00001829844600012
其中，1≤k≤K，k的初始值为1，i＝1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示彩色图像和深度图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，
Figure FDA00001829844600013
表示t时刻的第k个参考视点的彩色图像
Figure FDA00001829844600014
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA00001829844600015
表示t时刻的第k个参考视点的深度图像
Figure FDA00001829844600016
中坐标位置为(x,y)的像素点的深度值；
②根据设定的编码预测结构分别对t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像进行编码，然后逐帧输出彩色图像码流及深度图像码流得到编码码流，再由服务端通过网络将编码码流传输给用户端；
③根据t时刻的K个参考视点的K幅深度图像和编码后再解码得到的t时刻的K个参考视点的K幅深度图像，采用维纳滤波器预测得到t时刻的K个参考视点的K幅深度图像的编码失真补偿参数，然后采用CABAC无损压缩方法分别对t时刻的K个参考视点的K幅深度图像的编码失真补偿参数进行编码，再逐帧输出参数码流，最后由服务端通过网络将参数码流传输给用户端；
④用户端对服务端发送来的编码码流进行解码，分别获得解码后的t时刻的K个参考视点的K幅彩色图像和对应的K幅深度图像，将解码后的t时刻的第k个参考视点的彩色图像和对应的深度图像分别对应记为
Figure FDA00001829844600021
和
Figure FDA00001829844600022
其中，
Figure FDA00001829844600023
表示解码后的t时刻的第k个参考视点的彩色图像
Figure FDA00001829844600024
中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第k个参考视点的深度图像中坐标位置为(x,y)的像素点的深度值；
⑤用户端对服务端发送来的参数码流进行解码，获得t时刻的K个参考视点的K幅深度图像的编码失真补偿参数，然后利用t时刻的K个参考视点的K幅深度图像的编码失真补偿参数对解码后的t时刻的K个参考视点的K幅深度图像进行补偿，获得解码后的t时刻的K个参考视点的K幅深度补偿图像，将解码后的t时刻的第k个参考视点的深度补偿图像记为
Figure FDA00001829844600027
其中，
Figure FDA00001829844600028
表示解码后的t时刻的第k个参考视点的深度补偿图像
Figure FDA00001829844600029
中坐标位置为(x,y)的像素点的深度值；
⑥采用双向滤波器分别对解码后的t时刻的K个参考视点的K幅深度补偿图像进行双向滤波处理，获得解码后的t时刻的K个参考视点的K幅深度滤波图像，将解码后的t时刻的第k个参考视点的深度滤波图像记为
Figure FDA000018298446000210
其中，
Figure FDA000018298446000211
表示解码后的t时刻的第k个参考视点的深度滤波图像
Figure FDA000018298446000212
中坐标位置为(x,y)的像素点的深度值。
3.根据权利要求2所述的一种深度图像的后处理方法，其特征在于所述的步骤③中获取t时刻的K个参考视点的K幅深度图像的编码失真补偿参数的具体过程为：
③-1、将t时刻的K个参考视点的K幅深度图像中当前正在处理的第k个参考视点的深度图像
Figure FDA000018298446000213
定义为当前深度图像；
③-2、对当前深度图像
Figure FDA000018298446000214
实施3级小波变换，得到每级小波变换的3个方向子带的小波系数矩阵，3个方向子带包括水平方向子带、垂直方向子带和对角方向子带，将实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为其中，1≤m≤3，1≤n≤3，
Figure FDA000018298446000217
表示
Figure FDA000018298446000218
中坐标位置为(x,y)处的小波系数；
③-3、对编码后再解码得到的t时刻的第k个参考视点的深度图像
Figure FDA000018298446000219
实施3级小波变换，得到每级小波变换的3个方向子带的小波系数矩阵，3个方向子带包括水平方向子带、垂直方向子带和对角方向子带，将
Figure FDA00001829844600031
实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为其中，1≤m≤3，1≤n≤3，表示
Figure FDA00001829844600034
中坐标位置为(x,y)处的小波系数；
③-4、采用维纳滤波器预测得到解码后的t时刻的第k个参考视点的深度图像的每级小波变换的各个方向子带的小波系数矩阵的编码失真补偿参数，将
Figure FDA00001829844600036
的编码失真补偿参数记为
Figure FDA00001829844600037
Figure FDA00001829844600038
其中，L表示维纳滤波器的滤波长度范围，表示求
Figure FDA000018298446000310
的数学期望值，表示中坐标位置为(x+p,y+q)处的小波系数，argmin(X)表示使得函数X最小的参数；
③-5、根据解码后的t时刻的第k个参考视点的深度图像
Figure FDA000018298446000313
的每级小波变换的各个方向子带的小波系数矩阵的编码失真补偿参数，得到当前深度图像
Figure FDA000018298446000314
的编码失真补偿参数，记为
Figure FDA000018298446000315
③-6、令k'=k+1,k=k'，将t时刻的K个参考视点的K幅深度图像中下一个待处理的参考视点的深度图像作为当前深度图像，然后返回步骤③-2继续执行，直至t时刻的K个参考视点的K幅深度图像中的所有参考视点的深度图像处理完毕，其中，k'的初始值为0。
4.根据权利要求2或3所述的一种深度图像的后处理方法，其特征在于所述的步骤⑤中获取解码后的t时刻的第k个参考视点的深度补偿图像
Figure FDA000018298446000316
的具体过程为：
⑤-1、对解码后的t时刻的第k个参考视点的深度图像实施3级小波变换，得到每级小波变换的3个方向子带的小波系数矩阵，3个方向子带包括水平方向子带、垂直方向子带和对角方向子带，将
Figure FDA00001829844600041
实施第m级小波变换后得到的第n个方向子带的小波系数矩阵记为
Figure FDA00001829844600042
其中，1≤m≤3，1≤n≤3，
Figure FDA00001829844600043
表示
Figure FDA00001829844600044
中坐标位置为(x,y)处的小波系数；
⑤-2、计算解码后的t时刻的第k个参考视点的深度图像的每级小波变换的各个方向子带的小波系数矩阵各自经过补偿后的小波系数矩阵，将
Figure FDA00001829844600046
经过补偿后的小波系数矩阵记为
Figure FDA00001829844600047
Figure FDA00001829844600048
其中，
Figure FDA00001829844600049
表示
Figure FDA000018298446000410
中坐标位置为(x+p,y+q)处的小波系数；
⑤-3、对解码后的t时刻的第k个参考视点的深度图像
Figure FDA000018298446000411
的每级小波变换的各个方向子带的小波系数矩阵各自经过补偿后的小波系数矩阵实施反小波变换，得到解码后的t时刻的第k个参考视点的深度补偿图像，记为
Figure FDA000018298446000412
其中，
Figure FDA000018298446000413
表示解码后的t时刻的第k个参考视点的深度补偿图像中坐标位置为(x,y)的像素点的深度值。
5.根据权利要求4所述的一种深度图像的后处理方法，其特征在于所述的步骤⑥中对解码后的t时刻的第k个参考视点的深度补偿图像
Figure FDA000018298446000415
进行双向滤波处理的具体过程为：
⑥-1、定义解码后的t时刻的第k个参考视点的深度补偿图像
Figure FDA000018298446000416
中当前正在处理的像素点为当前像素点；
⑥-2、将当前像素点的坐标位置记为p'，将当前像素点的邻域像素点的坐标位置记为q'，然后采用梯度模板Gx对当前像素点的深度值进行卷积操作，得到当前像素点的梯度值gx(p')，
Figure FDA000018298446000418
再判断|gx(p')|≥T是否成立，如果成立，则执行步骤⑥-3，否则，执行步骤⑥-4，其中， G x = - 1 0 1 - 2 0 2 - 1 0 1 , “*”为卷积操作符号，“||”为求绝对值操作符号，T为梯度幅度阈值；
⑥-3、采用标准差为(σs1,σr1)的双向滤波器对当前像素点的邻域像素点的深度值
Figure FDA00001829844600051
进行滤波操作，得到当前像素点滤波后的深度值，记为 其中， r s 1 ( p ′ ) = 1 / Σ q ′ ∈ N ( p ′ ) G σs 1 ( | | p ′ - q ′ | | ) G σs 1 ( | I ~ R , t , i k ( p ′ ) - I ~ R , t , i k ( q ′ ) | ) , Gσs1(||p′-q'||)表示标准差为σs1的高斯函数，
Figure FDA00001829844600055
||p′-q'||表示坐标位置p'和坐标位置q'之间的欧氏距离，“|| ||”为欧氏距离符号，
Figure FDA00001829844600056
表示标准差为σr1的高斯函数， G σr 1 ( | I ~ R , t , i k ( p ′ ) - I ~ R , t , i k ( q ′ ) | ) = exp ( - | I ~ R , t , i k ( p ′ ) - I ~ R , t , i k ( q ′ ) | 2 2 σ r 1 2 ) , “||”为求绝对值操作符号，
Figure FDA00001829844600058
表示解码后的t时刻的第k个参考视点的彩色图像
Figure FDA00001829844600059
中坐标位置为p'的像素点的第i个分量的值，
Figure FDA000018298446000510
表示解码后的t时刻的第k个参考视点的彩色图像
Figure FDA000018298446000511
中坐标位置为q'的像素点的第i个分量的值，表示解码后的t时刻的第k个参考视点的深度补偿图像
Figure FDA000018298446000513
中坐标位置为q'的像素点的深度值，exp()表示以e为底的指数函数，e=2.71828183，N(p')表示以坐标位置为p'的像素点为中心的7×7邻域窗口；然后执行步骤⑥-5；
⑥-4、将当前像素点的深度值
Figure FDA000018298446000514
作为滤波后的深度值即其中，“
Figure FDA000018298446000517
”中的“=”为赋值符号；然后执行步骤⑥-5；
⑥-5、将解码后的t时刻的第k个参考视点的深度补偿图像
Figure FDA000018298446000518
中下一个待处理的像素点作为当前像素点，然后返回步骤⑥-2继续执行，直至解码后的t时刻的第k个参考视点的深度补偿图像中的所有像素点处理完毕，得到滤波后的深度滤波图像，记为
Figure FDA000018298446000520
6.根据权利要求5所述的一种深度图像的后处理方法，其特征在于所述的步骤②中设定的编码预测结构为HBP编码预测结构。
CN201210226018.4A 2012-06-29 2012-06-29 一种深度图像的后处理方法 Active CN102769749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210226018.4A CN102769749B (zh) 2012-06-29 2012-06-29 一种深度图像的后处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210226018.4A CN102769749B (zh) 2012-06-29 2012-06-29 一种深度图像的后处理方法

Publications (2)

Publication Number Publication Date
CN102769749A true CN102769749A (zh) 2012-11-07
CN102769749B CN102769749B (zh) 2015-03-18

Family

ID=47096985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210226018.4A Active CN102769749B (zh) 2012-06-29 2012-06-29 一种深度图像的后处理方法

Country Status (1)

Country Link
CN (1) CN102769749B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177440A (zh) * 2012-12-20 2013-06-26 香港应用科技研究院有限公司 生成图像深度图的系统和方法
CN103369341A (zh) * 2013-07-09 2013-10-23 宁波大学 一种深度图像的后处理方法
CN103391446A (zh) * 2013-06-24 2013-11-13 南京大学 一种基于自然场景统计的深度图优化方法
CN103813149A (zh) * 2012-11-15 2014-05-21 中国科学院深圳先进技术研究院 一种编解码系统的图像与视频重构方法
CN104102068A (zh) * 2013-04-11 2014-10-15 聚晶半导体股份有限公司 自动对焦方法及自动对焦装置
CN109963135A (zh) * 2017-12-22 2019-07-02 宁波盈芯信息科技有限公司 一种基于rgb-d的深度网络摄像装置及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170702A (zh) * 2007-11-23 2008-04-30 四川虹微技术有限公司 多视角视频编码方法
WO2010008134A2 (en) * 2008-07-15 2010-01-21 Samsung Electronics Co., Ltd. Image processing method
CN101888566A (zh) * 2010-06-30 2010-11-17 清华大学 立体视频编码率失真性能估计方法
CN101937578A (zh) * 2010-09-08 2011-01-05 宁波大学 一种虚拟视点彩色图像绘制方法
CN102158712A (zh) * 2011-03-22 2011-08-17 宁波大学 一种基于视觉的多视点视频信号编码方法
CN102271254A (zh) * 2011-07-22 2011-12-07 宁波大学 一种深度图像的预处理方法
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN102523468A (zh) * 2011-12-16 2012-06-27 宁波大学 一种三维立体视频编码的最佳码率比重确立方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170702A (zh) * 2007-11-23 2008-04-30 四川虹微技术有限公司 多视角视频编码方法
WO2010008134A2 (en) * 2008-07-15 2010-01-21 Samsung Electronics Co., Ltd. Image processing method
CN101888566A (zh) * 2010-06-30 2010-11-17 清华大学 立体视频编码率失真性能估计方法
CN101937578A (zh) * 2010-09-08 2011-01-05 宁波大学 一种虚拟视点彩色图像绘制方法
CN102158712A (zh) * 2011-03-22 2011-08-17 宁波大学 一种基于视觉的多视点视频信号编码方法
CN102271254A (zh) * 2011-07-22 2011-12-07 宁波大学 一种深度图像的预处理方法
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN102523468A (zh) * 2011-12-16 2012-06-27 宁波大学 一种三维立体视频编码的最佳码率比重确立方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D. V. S. X. DE SILVA，ET AL: "A Depth Map Post-Processing Technique for 3D-TV Systems based on Compression Artifact Analysis", 《IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》 *
顾珊波，等: "一种基于最小可察觉失真的立体图像质量客观", 《光电子· 激光》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813149A (zh) * 2012-11-15 2014-05-21 中国科学院深圳先进技术研究院 一种编解码系统的图像与视频重构方法
CN103813149B (zh) * 2012-11-15 2016-04-13 中国科学院深圳先进技术研究院 一种编解码系统的图像与视频重构方法
CN103177440A (zh) * 2012-12-20 2013-06-26 香港应用科技研究院有限公司 生成图像深度图的系统和方法
CN103177440B (zh) * 2012-12-20 2015-09-16 香港应用科技研究院有限公司 生成图像深度图的系统和方法
CN104102068A (zh) * 2013-04-11 2014-10-15 聚晶半导体股份有限公司 自动对焦方法及自动对焦装置
CN104102068B (zh) * 2013-04-11 2017-06-30 聚晶半导体股份有限公司 自动对焦方法及自动对焦装置
CN103391446A (zh) * 2013-06-24 2013-11-13 南京大学 一种基于自然场景统计的深度图优化方法
CN103369341A (zh) * 2013-07-09 2013-10-23 宁波大学 一种深度图像的后处理方法
CN109963135A (zh) * 2017-12-22 2019-07-02 宁波盈芯信息科技有限公司 一种基于rgb-d的深度网络摄像装置及方法

Also Published As

Publication number Publication date
CN102769749B (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
CN101937578B (zh) 一种虚拟视点彩色图像绘制方法
CN102769749B (zh) 一种深度图像的后处理方法
US8488870B2 (en) Multi-resolution, multi-window disparity estimation in 3D video processing
CN102271254B (zh) 一种深度图像的预处理方法
CN103002306B (zh) 一种深度图像编码方法
CN101374242A (zh) 一种应用于3dtv与ftv系统的深度图编码压缩方法
Milani et al. Efficient depth map compression exploiting segmented color data
Li et al. A scalable coding approach for high quality depth image compression
CN102438167A (zh) 一种基于深度图像绘制的立体视频编码方法
CN102710949B (zh) 一种基于视觉感知的立体视频编码方法
CN105141967B (zh) 基于恰可觉察失真模型的快速自适应环路滤波方法
Hasan et al. No-reference quality assessment of 3D videos based on human visual perception
De Silva et al. Improved depth map filtering for 3D-TV systems
CN103826135B (zh) 基于恰可识别视差错误估计的三维视频深度图编码方法
CN102523454A (zh) 利用3d字典消除3d播放系统中块效应的方法
CN105915886B (zh) 一种基于视频压缩域的深度图推理算法
CN103997653A (zh) 一种基于边缘的面向虚拟视绘制的深度视频的编码方法
Farid et al. Blind depth quality assessment using histogram shape analysis
Xu et al. Adaptive depth truncation filter for MVC based compressed depth image
CN113411575B (zh) 用于执行质量优化去块的图像处理设备、方法和存储介质
Lim et al. Region-based adaptive bilateral filter in depth map coding
CN103813149B (zh) 一种编解码系统的图像与视频重构方法
CN103957422A (zh) 一种基于边缘的面向虚拟视绘制的深度视频的编码方法
Lim et al. Adaptive nonlocal range filter in depth map coding
Zhang et al. An efficient depth map filtering based on spatial and texture features for 3D video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20191217

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221222

Address after: 276000 NO.119 Jinhu Industrial Park, West Jiefang Road, high tech Zone, Linyi City, Shandong Province

Patentee after: Luyake Fire Vehicle Manufacturing Co.,Ltd.

Address before: Room 1,020, Nanxun Science and Technology Pioneering Park, 666 Chaoyang Road, Nanxun Town, Huzhou City, Zhejiang Province

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.

TR01 Transfer of patent right