CN103179423A - 一种交互式三维视频系统中的信号处理方法 - Google Patents

一种交互式三维视频系统中的信号处理方法 Download PDF

Info

Publication number
CN103179423A
CN103179423A CN2013100889904A CN201310088990A CN103179423A CN 103179423 A CN103179423 A CN 103179423A CN 2013100889904 A CN2013100889904 A CN 2013100889904A CN 201310088990 A CN201310088990 A CN 201310088990A CN 103179423 A CN103179423 A CN 103179423A
Authority
CN
China
Prior art keywords
constantly
reference view
image
pixel
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100889904A
Other languages
English (en)
Other versions
CN103179423B (zh
Inventor
邵枫
蒋刚毅
郁梅
李福翠
彭宗举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feitian Yundong Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201310088990.4A priority Critical patent/CN103179423B/zh
Publication of CN103179423A publication Critical patent/CN103179423A/zh
Application granted granted Critical
Publication of CN103179423B publication Critical patent/CN103179423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种交互式三维视频系统中的信号处理方法，其首先将每相邻的两个参考视点之间的多个虚拟视点作为辅助视点，并获取每个辅助视点的残差图像，然后服务端的三维视频编码模块对各幅彩色图像、深度图像和残差图像进行编码后传输给用户端，接着用户端的视点解码模块对编码后的各幅图像进行解码，最后任意视点绘制模块生成参考视点信号和辅助视点信号传输给视频显示模块进行显示，优点是由于在服务端只需要传输包含较少信息量的残差图像作为辅助视点信息，因此降低了系统服务端的编码复杂程度，由于在用户端只需要简单的三维映射和加法操作就能生成虚拟视点信号，因此降低了对用户端系统的要求，从而降低了交互式三维视频系统的复杂度。

Description

一种交互式三维视频系统中的信号处理方法
技术领域
本发明涉及一种多视点视频系统技术，尤其是涉及一种交互式三维视频系统中的信号处理方法。
背景技术
进入本世纪以来，随着数字2D（二维）视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。交互式三维视频系统由于能够提供立体感、视点交互性的全新视觉体验，因此越来越受到人们的欢迎，其在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。
对于三维视频编码的性能评价，通常有多个技术指标，如率失真性能、时间可分级、视点可分级、随机接入性能、编码复杂度、解码复杂度、存储需求等等，这些技术指标在一定程度上本身就存在着相互制约，因此根据不同的应用环境，需要侧重不同的技术指标来进行性能评价，并且对某些技术指标做适当的修正。面向用户端的交互式三维视频系统的目的是为了满足用户最大限度的自主性，因此，实现用户端与服务端之间的高效交互操作以满足用户的选择需求是面向用户端的交互式三维视频系统最基本也是最主要的任务。基于面向用户端的交互式三维视频系统考虑，实现高效的交互操作应满足：1）合理的带宽代价，以适应网络传输的要求；2）较低的解码复杂度以及虚拟视点绘制复杂度，能够实时解码及绘制虚拟视点，以降低对用户端系统资源的要求。
发明内容
本发明所要解决的技术问题是提供一种交互式三维视频系统中的信号处理方法，其能够有效地降低交互式三维视频系统对网络带宽和用户端资源的要求，能够满足用户最大限度的自主性。
本发明解决上述技术问题所采用的技术方案为：一种交互式三维视频系统中的信号处理方法，该交互式三维视频系统主要由服务端的三维视频编码模块以及用户端的视点解码模块、任意视点绘制模块和视频显示模块构成，其特征在于该设计方法包括以下步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为
Figure BDA00002935964700021
将t时刻的第k个参考视点的深度图像记为
Figure BDA00002935964700022
其中，K≥2，1≤k≤K，k的初始值为1，i=1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示彩色图像和深度图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，
Figure BDA00002935964700023
表示t时刻的第k个参考视点的彩色图像
Figure BDA00002935964700024
中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第k个参考视点的深度图像中坐标位置为(x,y)的像素点的深度值；
②将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，然后采用基于深度图像绘制的方法，获取t时刻的(K-1)×N个辅助视点各自的残差图像，将t时刻的第l个辅助视点的残差图像记为
Figure BDA00002935964700027
其中，N>1，1≤l≤(K-1)×N，l的初始值为1，
Figure BDA00002935964700028
表示t时刻的第l个辅助视点的残差图像中坐标位置为(x,y)的像素点的第i个分量的值；
③服务端的三维视频编码模块根据设定的编码预测结构，对t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像进行编码，再将编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像传输给用户端；
④用户端的视点解码模块对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像进行解码，得到解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像，将解码后的t时刻的第k个参考视点的彩色图像记为将解码后的t时刻的第k个参考视点的深度图像记为将解码后的t时刻的第l个辅助视点的残差图像记为
Figure BDA00002935964700033
其中，表示解码后的t时刻的第k个参考视点的彩色图像
Figure BDA00002935964700035
中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第k个参考视点的深度图像
Figure BDA00002935964700037
中坐标位置为(x,y)的像素点的深度值，
Figure BDA00002935964700038
表示解码后的t时刻的第l个辅助视点的残差图像
Figure BDA00002935964700039
中坐标位置为(x,y)的像素点的第i个分量的值；
⑤根据用户所选择的视点，用户端的任意视点绘制模块根据解码后的t时刻的K个参考视点的K幅彩色图像和t时刻的(K-1)×N个辅助视点各自的残差图像，快速生成相应的参考视点信号和辅助视点信号，再将生成的参考视点信号和辅助视点信号传输给用户端的视频显示模块进行显示。
所述的步骤②的具体过程为：
②-1、将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，共存在(K-1)对关联参考视点，将每对关联参考视点之间的距离归一化表示为1，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，共存在(K-1)×N个辅助视点，其中，N>1；
②-2、将t时刻的(K-1)×N个辅助视点中当前正在处理的辅助视点定义为当前辅助视点；
②-3、假设当前辅助视点为t时刻的第k′个参考视点与t时刻的第k′+1个参考视点构成的一对关联参考视点之间的虚拟视点，并假设当前辅助视点为t时刻的(K-1)×N个辅助视点中的第l′个辅助视点，则将当前辅助视点与t时刻的第k′个参考视点之间的距离表示为α，将当前辅助视点与t时刻的第k′+1个参考视点之间的距离表示为1-α，其中，1≤k′≤K-1，k′的初始值为1，(k′-1)×N+1≤l′≤(k′-1)×N+N，0<α<1；
②-4、将t时刻的第k′个参考视点的彩色图像
Figure BDA000029359647000310
中的每个像素点从第k′个参考视点投影到当前辅助视点，得到t时刻的第k′个参考视点的绘制图像，记为
Figure BDA00002935964700041
将t时刻的第k′个参考视点的绘制图像
Figure BDA00002935964700042
中坐标位置为(x3,y3)的像素点的第i个分量的值记为
Figure BDA00002935964700043
假设t时刻的第k′个参考视点的绘制图像
Figure BDA00002935964700044
中坐标位置为(x3,y3)的像素点为t时刻的第k′个参考视点的彩色图像
Figure BDA00002935964700045
中坐标位置为(x1,y1)的像素点从第k′个参考视点投影到当前辅助视点中的，则令
Figure BDA00002935964700046
其中，
Figure BDA00002935964700047
表示t时刻的第k′个参考视点的绘制图像
Figure BDA00002935964700048
中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第k′个参考视点的彩色图像
Figure BDA000029359647000410
中坐标位置为(x1,y1)的像素点的第i个分量的值，x1∈[1,W]，y1∈[1,H]，x3∈[1,W]，y3∈[1,H]，x3=x′/z′，y3=y′/z′，(x′,y′,z′)T=A2R2 -1(u,v,w)T-A2R2 -1T2，(x′,y′,z′)T为(x′,y′,z′)的转置矩阵，A2为当前辅助视点的内参矩阵，R2 -1为R2的逆矩阵，R2为当前辅助视点的旋转矩阵，
Figure BDA000029359647000411
(u,v,w)T为(u,v,w)的转置矩阵，R1为t时刻的第k′个参考视点的旋转矩阵，A1 -1为A1的逆矩阵，A1为t时刻的第k′个参考视点的内参矩阵，(x1,y1,1)T为(x1,y1,1)的转置矩阵，T1为t时刻的第k′个参考视点的平移矩阵，T2为当前辅助视点的平移矩阵，
Figure BDA000029359647000412
表示t时刻的第k′个参考视点的深度图像
Figure BDA000029359647000413
中坐标位置为(x1,y1)的像素点的场景深度， Z t k &prime; ( x 1 , y 1 ) = ( 1 255 &times; D t k &prime; ( x 1 , y 1 ) &times; ( 1 Z near - 1 Z far ) + 1 Z far ) - 1 , 表示t时刻的第k′个参考视点的深度图像
Figure BDA000029359647000416
中坐标位置为(x1,y1)的像素点的深度值，Znear表示深度图像中最小的场景深度值，Zfar表示深度图像中最大的场景深度值；
②-5、将t时刻的第k′+1个参考视点的彩色图像
Figure BDA000029359647000417
中的每个像素点从第k′+1个参考视点投影到当前辅助视点，得到t时刻的第k′+1个参考视点的绘制图像，记为
Figure BDA000029359647000418
将t时刻的第k′+1个参考视点的绘制图像
Figure BDA000029359647000419
中坐标位置为(x4,y4)的像素点的第i个分量的值记为
Figure BDA00002935964700051
假设t时刻的第k′+1个参考视点的绘制图像
Figure BDA00002935964700052
中坐标位置为(x4,y4)的像素点为t时刻的第k′+1个参考视点的彩色图像
Figure BDA00002935964700053
中坐标位置为(x2,y2)的像素点从第k′+1个参考视点投影到当前辅助视点中的，则令
Figure BDA00002935964700054
其中，
Figure BDA00002935964700055
表示t时刻的第k′+1个参考视点的绘制图像
Figure BDA00002935964700056
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700057
表示t时刻的第k′+1个参考视点的彩色图像
Figure BDA00002935964700058
中坐标位置为(x2,y2)的像素点的第i个分量的值，x2∈[1,W]，y2∈[1,H]，x4∈[1,W]，y4∈[1,H]，x4=x″/z″，y4=y″/z″，(x″,y″,z″)T=A2R2 -1(u′,v′,w′)T-A2R2 -1T2，(x″,y″,z″)T为(x″,y″,z″)的转置矩阵， ( u &prime; , v &prime; , w &prime; ) T = R 3 A 3 - 1 ( x 2 , y 2 , 1 ) T Z t k &prime; + 1 ( x 2 , y 2 ) + T 3 , (u′,v′,w′)T为(u′,v′,w′)的转置矩阵，R3为t时刻的第k′+1个参考视点的旋转矩阵，A3 -1为A3的逆矩阵，A3为t时刻的第k′+1个参考视点的内参矩阵，(x2,y2,1)T为(x2,y2,1)的转置矩阵，T3为t时刻的第k′+1个参考视点的平移矩阵，表示t时刻的第k′+1个参考视点的深度图像
Figure BDA000029359647000511
中坐标位置为(x2,y2)的像素点的场景深度， Z t k &prime; + 1 ( x 2 , y 2 ) = ( 1 255 &times; D t k &prime; + 1 ( x 2 , y 2 ) &times; ( 1 Z near - 1 Z far ) + 1 Z far ) - 1 ,
Figure BDA000029359647000513
表示t时刻的第k′+1个参考视点的深度图像
Figure BDA000029359647000514
中坐标位置为(x2,y2)的像素点的深度值；
②-6、根据t时刻的第k′个参考视点的绘制图像和t时刻的第k′+1个参考视点的绘制图像
Figure BDA000029359647000516
计算当前辅助视点的残差图像，记为
Figure BDA000029359647000517
将
Figure BDA000029359647000518
中坐标位置为(x,y)的像素点的第i个分量的值记为
Figure BDA000029359647000520
其中，
Figure BDA000029359647000521
表示对t时刻的第k′个参考视点的绘制图像
Figure BDA000029359647000522
中坐标位置为(x,y)的像素点和t时刻的第k′+1个参考视点的绘制图像中坐标位置为(x,y)的像素点进行视点融合的操作；
②-7、将t时刻的(K-1)×N个辅助视点中下一个待处理的辅助视点作为当前辅助视点，然后返回步骤②-3继续执行，直至t时刻的(K-1)×N个辅助视点均处理完毕，得到t时刻的(K-1)×N个辅助视点各自的残差图像，将t时刻的第l个辅助视点的残差图像记为
Figure BDA00002935964700062
其中，1≤l≤(K-1)×N，l的初始值为1，
Figure BDA00002935964700063
表示t时刻的第l个辅助视点的残差图像
Figure BDA00002935964700064
中坐标位置为(x,y)的像素点的第i个分量的值。
所述的步骤③中设定的编码预测结构为HBP编码预测结构。
所述的步骤⑤的具体过程为：
⑤-1、假设用户所选择的视点为实际存在的t时刻的第p个参考视点，则用户端的任意视点绘制模块将解码后的t时刻的第p个参考视点的彩色图像中的每个像素点从t时刻的第p个参考视点投影到t时刻的第l″个辅助视点中，得到t时刻的第p个参考视点的绘制图像，记为然后根据解码后的t时刻的第p个参考视点的彩色图像
Figure BDA00002935964700067
快速生成t时刻的第p个参考视点信号，记为
Figure BDA00002935964700068
并根据解码后的t时刻的第l″个辅助视点的残差图像
Figure BDA00002935964700069
和t时刻的第p个参考视点的绘制图像
Figure BDA000029359647000610
快速生成t时刻的第l″个辅助视点信号，记为
Figure BDA000029359647000611
再将生成的t时刻的第p个参考视点信号和t时刻的第l″个辅助视点信号
Figure BDA000029359647000613
传输给用户端的视频显示模块进行显示，其中，此处1≤p≤K-1，此处l″=(p-1)×N+1，
Figure BDA000029359647000614
表示解码后的t时刻的第p个参考视点的彩色图像
Figure BDA000029359647000615
中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第l″个辅助视点的残差图像
Figure BDA000029359647000617
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000618
表示t时刻的第p个参考视点的绘制图像
Figure BDA000029359647000619
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700071
表示生成的t时刻的第p个参考视点信号
Figure BDA00002935964700072
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700073
Figure BDA00002935964700074
表示生成的t时刻的第l″个辅助视点信号
Figure BDA00002935964700075
中坐标位置为(x,y)的像素点的第i个分量的值， I &OverBar; t , i l &prime; &prime; ( x , y ) = E ~ t , i l &prime; &prime; ( x , y ) + I ~ t , i p &RightArrow; l &prime; &prime; ( x , y ) ;
⑤-2、假设用户所选择的视点为实际存在的t时刻的第K个参考视点，则用户端的任意视点绘制模块将解码后的t时刻的第K个参考视点的彩色图像
Figure BDA00002935964700077
中的每个像素点从t时刻的第K个参考视点投影到t时刻的第l″个辅助视点中，得到t时刻的第K个参考视点的绘制图像，记为
Figure BDA00002935964700078
然后根据解码后的t时刻的第K个参考视点的彩色图像
Figure BDA00002935964700079
快速生成t时刻的第K个参考视点信号，记为并根据解码后的t时刻的第l″个辅助视点的残差图像
Figure BDA000029359647000711
和t时刻的第K个参考视点的绘制图像
Figure BDA000029359647000712
快速生成t时刻的第l″个辅助视点信号，记为
Figure BDA000029359647000713
再将生成的t时刻的第K个参考视点信号
Figure BDA000029359647000714
和t时刻的第l″个辅助视点信号
Figure BDA000029359647000715
传输给用户端的视频显示模块进行显示，其中，此处l″=(K-1)×N，表示解码后的t时刻的第K个参考视点的彩色图像
Figure BDA000029359647000717
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000718
表示t时刻的第K个参考视点的绘制图像
Figure BDA000029359647000719
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000720
表示生成的t时刻的第K个参考视点信号
Figure BDA000029359647000721
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000723
表示生成的t时刻的第l″个辅助视点信号
Figure BDA000029359647000724
中坐标位置为(x,y)的像素点的第i个分量的值， I &OverBar; t , i l &prime; &prime; ( x , y ) = E ~ t , i l &prime; &prime; ( x , y ) + I ~ t , i K &RightArrow; l &prime; &prime; ( x , y ) ;
⑤-3-1、假设用户所选择的视点为并不存在的虚拟视点，则选择与该虚拟视点最为邻近的两个辅助视点，假设分别为t时刻的第l″′个辅助视点和t时刻的第l″′+1个辅助视点，并且令与t时刻的第l″′个辅助视点左相邻的参考视点为t时刻的第q1个参考视点，令与t时刻的第l″′+1个辅助视点左相邻的参考视点为t时刻的第q2个参考视点，将t时刻的第l″′个辅助视点与t时刻的第q1个参考视点之间的距离表示为β，将t时刻的第l″′+1个辅助视点与第q2个参考视点之间的距离表示为γ，其中，1≤l″′≤(K-1)×N-1，1≤q1≤K-1，1≤q2≤K-1，0<β<1，0<γ<1；
⑤-3-2、用户端的任意视点绘制模块将解码后的t时刻的第q1个参考视点的彩色图像
Figure BDA00002935964700081
中的每个像素点从t时刻的第q1个参考视点投影到t时刻的第l″′个辅助视点中，得到t时刻的第q1个参考视点的绘制图像，记为
Figure BDA00002935964700082
或者将解码后的t时刻的第q1+1个参考视点的彩色图像
Figure BDA00002935964700083
中的每个像素点从t时刻的第q1+1个参考视点投影到t时刻的第l″′个辅助视点中，得到t时刻的第q1+1个参考视点的绘制图像，记为
Figure BDA00002935964700084
然后根据解码后的t时刻的第l″′个辅助视点的残差图像
Figure BDA00002935964700085
及t时刻的第q1个参考视点的绘制图像
Figure BDA00002935964700086
或t时刻的第q1+1个参考视点的绘制图像
Figure BDA00002935964700087
快速生成t时刻的第l″′个辅助视点信号，记为
Figure BDA00002935964700088
其中，
Figure BDA00002935964700089
表示解码后的t时刻的第q1个参考视点的彩色图像
Figure BDA000029359647000810
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000811
表示t时刻的第q1个参考视点的绘制图像
Figure BDA000029359647000812
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000813
表示解码后的t时刻的第q1+1个参考视点的彩色图像
Figure BDA000029359647000814
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000815
表示t时刻的第q1+1个参考视点的绘制图像
Figure BDA000029359647000816
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000817
表示解码后的t时刻的第l″′个辅助视点的残差图像中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000819
表示生成的t时刻的第l″′个辅助视点信号
Figure BDA000029359647000820
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000821
⑤-3-3、用户端的任意视点绘制模块将解码后的t时刻的第q2个参考视点的彩色图像
Figure BDA00002935964700091
中的每个像素点从t时刻的第q2个参考视点投影到t时刻的第l″′+1个辅助视点中，得到t时刻的第q2个参考视点的绘制图像，记为
Figure BDA00002935964700092
或者将解码后的t时刻的第q2+1个参考视点的彩色图像
Figure BDA00002935964700093
中的每个像素点从t时刻的第q2+1个参考视点投影到t时刻的第l″′+1个辅助视点中，得到t时刻的第q2+1个参考视点的绘制图像，记为
Figure BDA00002935964700094
然后根据解码后的t时刻的第l″′+1个辅助视点的残差图像
Figure BDA00002935964700095
及t时刻的第q2个参考视点的绘制图像或t时刻的第q2+1个参考视点的绘制图像
Figure BDA00002935964700097
快速生成t时刻的第l″′+1个辅助视点信号，记为
Figure BDA00002935964700098
其中，
Figure BDA00002935964700099
表示解码后的t时刻的第q2个参考视点的彩色图像
Figure BDA000029359647000910
中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第q2个参考视点的绘制图像
Figure BDA000029359647000912
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000913
表示解码后的t时刻的第q2+1个参考视点的彩色图像
Figure BDA000029359647000914
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000915
表示t时刻的第q2+1个参考视点的绘制图像
Figure BDA000029359647000916
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000917
表示解码后的t时刻的第l″′+1个辅助视点的残差图像
Figure BDA000029359647000918
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000919
表示生成的t时刻的第l″′+1个辅助视点信号
Figure BDA000029359647000920
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647000921
⑤-3-4、用户端的任意视点绘制模块将生成的t时刻的第l″′个辅助视点信号
Figure BDA000029359647000922
和t时刻的第l″′+1个辅助视点信号传输给用户端的视频显示模块进行显示。
与现有技术相比，本发明的优点在于：
1）本发明方法将复杂度较高的虚拟视点绘制操作从用户端转移到服务端，在用户端只需要简单的三维映射和加法操作就能生成虚拟视点信号，这样就可有效地降低对用户端系统资源的要求，从而有效地降低了交互式三维视频系统的复杂度。
2）本发明方法利用基于深度图像绘制来消除三维视频的冗余信息，只需要传输包含较少信息量的残差图像，这样就能够最大程度地降低辅助视点的传输码率，降低交互式三维视频系统对于网络带宽的要求，从而满足了用户最大限度的自主性。
附图说明
图1为交互式三维视频系统的组成框图；
图2a为“Alt Moabit”三维立体视频测试序列的一个参考视点的一帧彩色图像；
图2b为“Alt Moabit”三维立体视频测试序列的一个参考视点的一帧深度图像；
图3a为“Book Arrival”三维立体视频测试序列的一个参考视点的一帧彩色图像；
图3b为“Book Arrival”三维立体视频测试序列的一个参考视点的一帧深度图像；
图4a为“Dog”三维立体视频测试序列的一个参考视点的一帧彩色图像；
图4b为“Dog”三维立体视频测试序列的一个参考视点的一帧深度图像；
图5a为“Pantomime”三维立体视频测试序列的一个参考视点的一帧彩色图像；
图5b为“Pantomime”三维立体视频测试序列的一个参考视点的一帧深度图像；
图6a为“Alt Moabit”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图6b为“Alt Moabit”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图6c为“Alt Moabit”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图7a为“Book Arrival”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图7b为“Book Arrival”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图7c为“Book Arrival”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图8a为“Dog”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图8b为“Dog”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图8c为“Dog”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图9a为“Pantomime”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图9b为“Pantomime”三维立体视频测试序列的一个辅助视点的一帧残差图像；
图9c为“Pantomime”三维立体视频测试序列的一个辅助视点的一帧残差图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
交互式三维视频系统如图1所示，其主要由服务端的三维视频编码模块以及用户端的视点解码模块、任意视点绘制模块和视频显示模块构成。本发明提出的一种交互式三维视频系统中的信号处理方法，其包括以下步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为
Figure BDA00002935964700111
将t时刻的第k个参考视点的深度图像记为
Figure BDA00002935964700112
其中，K≥2，1≤k≤K，k的初始值为1，i=1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示彩色图像和深度图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，
Figure BDA00002935964700113
表示t时刻的第k个参考视点的彩色图像
Figure BDA00002935964700114
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700115
表示t时刻的第k个参考视点的深度图像
Figure BDA00002935964700116
中坐标位置为(x,y)的像素点的深度值。
在此，截取德国HHI研究所提供的多视点视频序列“Alt Moabit”和“Book Arrival”、日本Nagoya大学提供的多视点视频序列“Dog”和“Pantomime”作为原始三维视频，原始三维视频中各幅立体图像的分辨率都为1024×768，是ISO/MPEG所推荐的标准测试序列，是在三维视频研究领域广泛采用的实验测试序列，图2a和图2b分别给出了三维视频序列“Alt Moabit”的一个参考视点原始视频中的一帧彩色图像和一帧深度图像；图3a和图3b分别给出了三维视频序列“Book Arrival”的一个参考视点原始视频中的一帧彩色图像和一帧深度图像；图4a和图4b分别给出了三维视频序列“Dog”的一个参考视点原始视频中的一帧彩色图像和一帧深度图像；图5a和图5b给出了三维视频序列“Pantomime”的一个参考视点原始视频中的一帧彩色图像和一帧深度图像。
②由于参考视点的数目十分有限，并不直接适合于自由视点交互，必须通过视点绘制技术生成任意虚拟视点位置的视点信息，因此本发明将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，然后采用基于深度图像绘制的方法，获取t时刻的(K-1)×N个辅助视点各自的残差图像，将t时刻的第l个辅助视点的残差图像记为
Figure BDA00002935964700118
其中，N>1，N的值越大，视点交互的能力就越强，但编码效率会降低，同时编码复杂度会增加，在实际处理过程中可取N=3，1≤l≤(K-1)×N，l的初始值为1，
Figure BDA00002935964700117
表示t时刻的第l个辅助视点的残差图像
Figure BDA00002935964700121
中坐标位置为(x,y)的像素点的第i个分量的值。
在此具体实施例中，步骤②的具体过程为：
②-1、将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，共存在(K-1)对关联参考视点，将每对关联参考视点之间的距离归一化表示为1，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，共存在(K-1)×N个辅助视点，其中，N>1。
②-2、将t时刻的(K-1)×N个辅助视点中当前正在处理的辅助视点定义为当前辅助视点。
②-3、假设当前辅助视点为t时刻的第k′个参考视点与t时刻的第k′+1个参考视点构成的一对关联参考视点之间的虚拟视点，并假设当前辅助视点为t时刻的(K-1)×N个辅助视点中的第l′个辅助视点，则将当前辅助视点与t时刻的第k′个参考视点之间的距离表示为α，将当前辅助视点与t时刻的第k′+1个参考视点之间的距离表示为1-α，其中，1≤k′≤K-1，k′的初始值为1，(k′-1)×N+1≤l′≤(k′-1)×N+N，0<α<1。
②-4、将t时刻的第k′个参考视点的彩色图像
Figure BDA00002935964700122
中的每个像素点从第k′个参考视点投影到当前辅助视点，得到t时刻的第k′个参考视点的绘制图像，记为将t时刻的第k′个参考视点的绘制图像
Figure BDA00002935964700124
中坐标位置为(x3,y3)的像素点的第i个分量的值记为
Figure BDA00002935964700125
假设t时刻的第k′个参考视点的绘制图像
Figure BDA00002935964700126
中坐标位置为(x3,y3)的像素点为t时刻的第k′个参考视点的彩色图像中坐标位置为(x1,y1)的像素点从第k′个参考视点投影到当前辅助视点中的，则令
Figure BDA00002935964700128
其中，
Figure BDA00002935964700129
表示t时刻的第k′个参考视点的绘制图像
Figure BDA000029359647001210
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647001211
表示t时刻的第k′个参考视点的彩色图像
Figure BDA000029359647001212
中坐标位置为(x1,y1)的像素点的第i个分量的值，x1∈[1,W]，y1∈[1,H]，x3∈[1,W]，y3∈[1,H]，x3=x′/z′，y3=y′/z′，(x′,y′,z′)T=A2R2 -1(u,v,w)T-A2R2 -1T2，(x′,y′,z′)T为(x′,y′,z′)的转置矩阵，A2为当前辅助视点的内参矩阵，R2 -1为R2的逆矩阵，R2为当前辅助视点的旋转矩阵，
Figure BDA00002935964700131
(u,v,w)T为(u,v,w)的转置矩阵，R1为t时刻的第k′个参考视点的旋转矩阵，A1 -1为A1的逆矩阵，A1为t时刻的第k′个参考视点的内参矩阵，(x1,y1,1)T为(x1,y1,1)的转置矩阵，T1为t时刻的第k′个参考视点的平移矩阵，T2为当前辅助视点的平移矩阵，
Figure BDA00002935964700132
表示t时刻的第k′个参考视点的深度图像
Figure BDA00002935964700133
中坐标位置为(x1,y1)的像素点的场景深度， Z t k &prime; ( x 1 , y 1 ) = ( 1 255 &times; D t k &prime; ( x 1 , y 1 ) &times; ( 1 Z near - 1 Z far ) + 1 Z far ) - 1 ,
Figure BDA00002935964700135
表示t时刻的第k′个参考视点的深度图像
Figure BDA00002935964700136
中坐标位置为(x1,y1)的像素点的深度值，Znear表示深度图像中最小的场景深度值，Zfar表示深度图像中最大的场景深度值。
在本实施例中，“Alt Moabit”三维立体视频测试序列的Znear和Zfar分别为11.83775和189.404006，“Book Arrival”三维立体视频测试序列的Znear和Zfar分别为23.175928和54.077165，“Dog”三维立体视频测试序列的Znear和Zfar分别为3907.725727和8221.650623，“Pantomime”三维立体视频测试序列的Znear和Zfar分别为3907.725727和8221.650623。
②-5、将t时刻的第k′+1个参考视点的彩色图像
Figure BDA00002935964700137
中的每个像素点从第k′+1个参考视点投影到当前辅助视点，得到t时刻的第k′+1个参考视点的绘制图像，记为
Figure BDA00002935964700138
将t时刻的第k′+1个参考视点的绘制图像
Figure BDA00002935964700139
中坐标位置为(x4,y4)的像素点的第i个分量的值记为
Figure BDA000029359647001310
假设t时刻的第k′+1个参考视点的绘制图像
Figure BDA000029359647001311
中坐标位置为(x4,y4)的像素点为t时刻的第k′+1个参考视点的彩色图像
Figure BDA000029359647001312
中坐标位置为(x2,y2)的像素点从第k′+1个参考视点投影到当前辅助视点中的，则令
Figure BDA000029359647001313
其中，
Figure BDA000029359647001314
表示t时刻的第k′+1个参考视点的绘制图像
Figure BDA000029359647001315
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700141
表示t时刻的第k′+1个参考视点的彩色图像
Figure BDA00002935964700142
中坐标位置为(x2,y2)的像素点的第i个分量的值，x2∈[1,W]，y2∈[1,H]，x4∈[1,W]，y4∈[1,H]，x4=x″/z″，y4=y″/z″，(x″,y″,z″)T=A2R2 -1(u′,v′,w′)T-A2R2 -1T2，(x″,y″,z″)T为(x″,y″,z″)的转置矩阵， ( u &prime; , v &prime; , w &prime; ) T = R 3 A 3 - 1 ( x 2 , y 2 , 1 ) T Z t k &prime; + 1 ( x 2 , y 2 ) + T 3 , (u′,v′,w′)T为(u′,v′,w′)的转置矩阵，R3为t时刻的第k′+1个参考视点的旋转矩阵，A3 -1为A3的逆矩阵，A3为t时刻的第k′+1个参考视点的内参矩阵，(x2,y2,1)T为(x2,y2,1)的转置矩阵，T3为t时刻的第k′+1个参考视点的平移矩阵，
Figure BDA00002935964700144
表示t时刻的第k′+1个参考视点的深度图像
Figure BDA00002935964700145
中坐标位置为(x2,y2)的像素点的场景深度， Z t k &prime; + 1 ( x 2 , y 2 ) = ( 1 255 &times; D t k &prime; + 1 ( x 2 , y 2 ) &times; ( 1 Z near - 1 Z far ) + 1 Z far ) - 1 ,
Figure BDA00002935964700147
表示t时刻的第k′+1个参考视点的深度图像
Figure BDA00002935964700148
中坐标位置为(x2,y2)的像素点的深度值。
②-6、根据t时刻的第k′个参考视点的绘制图像
Figure BDA00002935964700149
和t时刻的第k′+1个参考视点的绘制图像
Figure BDA000029359647001410
计算当前辅助视点的残差图像，记为
Figure BDA000029359647001411
将
Figure BDA000029359647001412
中坐标位置为(x,y)的像素点的第i个分量的值记为
Figure BDA000029359647001414
其中，
Figure BDA000029359647001415
表示对t时刻的第k′个参考视点的绘制图像
Figure BDA000029359647001416
中坐标位置为(x,y)的像素点和t时刻的第k′+1个参考视点的绘制图像
Figure BDA000029359647001417
中坐标位置为(x,y)的像素点进行视点融合的操作，在本实施例中，采用与MPEG视点合成参考软件VSRS 3.5相同的视点融合操作。
②-7、将t时刻的(K-1)×N个辅助视点中下一个待处理的辅助视点作为当前辅助视点，然后返回步骤②-3继续执行，直至t时刻的(K-1)×N个辅助视点均处理完毕，得到t时刻的(K-1)×N个辅助视点各自的残差图像，将t时刻的第l个辅助视点的残差图像记为其中，1≤l≤(K-1)×N，l的初始值为1，
Figure BDA00002935964700152
表示t时刻的第l个辅助视点的残差图像
Figure BDA00002935964700153
中坐标位置为(x,y)的像素点的第i个分量的值。
③服务端的三维视频编码模块根据设定的编码预测结构，对t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像进行编码，再将编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像传输给用户端。
在此，设定的编码预测结构为HBP编码预测结构。
④用户端的视点解码模块对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像进行解码，得到解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像，将解码后的t时刻的第k个参考视点的彩色图像记为
Figure BDA00002935964700154
将解码后的t时刻的第k个参考视点的深度图像记为
Figure BDA00002935964700155
将解码后的t时刻的第l个辅助视点的残差图像记为
Figure BDA00002935964700156
其中，
Figure BDA00002935964700157
表示解码后的t时刻的第k个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700159
表示解码后的t时刻的第k个参考视点的深度图像
Figure BDA000029359647001510
中坐标位置为(x,y)的像素点的深度值，
Figure BDA000029359647001511
表示解码后的t时刻的第l个辅助视点的残差图像
Figure BDA000029359647001512
中坐标位置为(x,y)的像素点的第i个分量的值。
⑤根据用户所选择的视点，用户端的任意视点绘制模块根据解码后的t时刻的K个参考视点的K幅彩色图像和t时刻的(K-1)×N个辅助视点各自的残差图像，快速生成相应的参考视点信号和辅助视点信号，再将生成的参考视点信号和辅助视点信号传输给用户端的视频显示模块进行显示。
在此具体实施例中，步骤⑤的具体过程为：
⑤-1、假设用户所选择的视点为实际存在的t时刻的第p个参考视点，则用户端的任意视点绘制模块将解码后的t时刻的第p个参考视点的彩色图像
Figure BDA000029359647001513
中的每个像素点从t时刻的第p个参考视点投影到t时刻的第l″个辅助视点中，得到t时刻的第p个参考视点的绘制图像，记为
Figure BDA00002935964700161
然后根据解码后的t时刻的第p个参考视点的彩色图像快速生成t时刻的第p个参考视点信号，记为并根据解码后的t时刻的第l″个辅助视点的残差图像和t时刻的第p个参考视点的绘制图像
Figure BDA00002935964700165
快速生成t时刻的第l″个辅助视点信号，记为再将生成的t时刻的第p个参考视点信号
Figure BDA00002935964700167
和t时刻的第l″个辅助视点信号
Figure BDA00002935964700168
传输给用户端的视频显示模块进行显示，其中，此处1≤p≤K-1，此处l″=(p-1)×N+1，表示解码后的t时刻的第p个参考视点的彩色图像
Figure BDA000029359647001610
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647001611
表示解码后的t时刻的第l″个辅助视点的残差图像
Figure BDA000029359647001612
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647001613
表示t时刻的第p个参考视点的绘制图像
Figure BDA000029359647001614
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647001615
表示生成的t时刻的第p个参考视点信号
Figure BDA000029359647001616
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647001617
Figure BDA000029359647001618
表示生成的t时刻的第l″个辅助视点信号
Figure BDA000029359647001619
中坐标位置为(x,y)的像素点的第i个分量的值， I &OverBar; t , i l &prime; &prime; ( x , y ) = E ~ t , i l &prime; &prime; ( x , y ) + I ~ t , i p &RightArrow; l &prime; &prime; ( x , y ) .
⑤-2、假设用户所选择的视点为实际存在的t时刻的第K个参考视点，则用户端的任意视点绘制模块将解码后的t时刻的第K个参考视点的彩色图像
Figure BDA000029359647001621
中的每个像素点从t时刻的第K个参考视点投影到t时刻的第l″个辅助视点中，得到t时刻的第K个参考视点的绘制图像，记为
Figure BDA000029359647001622
然后根据解码后的t时刻的第K个参考视点的彩色图像
Figure BDA000029359647001623
快速生成t时刻的第K个参考视点信号，记为
Figure BDA000029359647001624
并根据解码后的t时刻的第l″个辅助视点的残差图像
Figure BDA000029359647001625
和t时刻的第K个参考视点的绘制图像
Figure BDA000029359647001626
快速生成t时刻的第l″个辅助视点信号，记为再将生成的t时刻的第K个参考视点信号
Figure BDA00002935964700171
和t时刻的第l″个辅助视点信号
Figure BDA00002935964700172
传输给用户端的视频显示模块进行显示，其中，此处l″=(K-1)×N，
Figure BDA00002935964700173
表示解码后的t时刻的第K个参考视点的彩色图像
Figure BDA00002935964700174
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700175
表示t时刻的第K个参考视点的绘制图像
Figure BDA00002935964700176
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700177
表示生成的t时刻的第K个参考视点信号
Figure BDA00002935964700178
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647001710
表示生成的t时刻的第l″个辅助视点信号
Figure BDA000029359647001711
中坐标位置为(x,y)的像素点的第i个分量的值， I &OverBar; t , i l &prime; &prime; ( x , y ) = E ~ t , i l &prime; &prime; ( x , y ) + I ~ t , i K &RightArrow; l &prime; &prime; ( x , y ) .
⑤-3-1、假设用户所选择的视点为并不存在的虚拟视点，则选择与该虚拟视点最为邻近的两个辅助视点，假设分别为t时刻的第l″′个辅助视点和t时刻的第l″′+1个辅助视点，并且令与t时刻的第l″′个辅助视点左相邻的参考视点为t时刻的第q1个参考视点，令与t时刻的第l″′+1个辅助视点左相邻的参考视点为t时刻的第q2个参考视点，将t时刻的第l″′个辅助视点与t时刻的第q1个参考视点之间的距离表示为β，将t时刻的第l″′+1个辅助视点与第q2个参考视点之间的距离表示为γ，其中，1≤l″′≤(K-1)×N-1，1≤q1≤K-1，1≤q2≤K-1，0<β<1，0<γ<1。
⑤-3-2、用户端的任意视点绘制模块将解码后的t时刻的第q1个参考视点的彩色图像中的每个像素点从t时刻的第q1个参考视点投影到t时刻的第l″′个辅助视点中，得到t时刻的第q1个参考视点的绘制图像，记为
Figure BDA000029359647001713
或者将解码后的t时刻的第q1+1个参考视点的彩色图像中的每个像素点从t时刻的第q1+1个参考视点投影到t时刻的第l″′个辅助视点中，得到t时刻的第q1+1个参考视点的绘制图像，记为
Figure BDA000029359647001715
然后根据解码后的t时刻的第l″′个辅助视点的残差图像及t时刻的第q1个参考视点的绘制图像
Figure BDA000029359647001717
或t时刻的第q1+1个参考视点的绘制图像
Figure BDA00002935964700181
快速生成t时刻的第l″′个辅助视点信号，记为其中，
Figure BDA00002935964700183
表示解码后的t时刻的第q1个参考视点的彩色图像
Figure BDA00002935964700184
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700185
表示t时刻的第q1个参考视点的绘制图像
Figure BDA00002935964700186
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700187
表示解码后的t时刻的第q1+1个参考视点的彩色图像
Figure BDA00002935964700188
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700189
表示t时刻的第q1+1个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647001811
表示解码后的t时刻的第l″′个辅助视点的残差图像
Figure BDA000029359647001812
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647001813
表示生成的t时刻的第l″′个辅助视点信号
Figure BDA000029359647001814
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647001815
⑤-3-3、用户端的任意视点绘制模块将解码后的t时刻的第q2个参考视点的彩色图像
Figure BDA000029359647001816
中的每个像素点从t时刻的第q2个参考视点投影到t时刻的第l″′+1个辅助视点中，得到t时刻的第q2个参考视点的绘制图像，记为
Figure BDA000029359647001817
或者将解码后的t时刻的第q2+1个参考视点的彩色图像
Figure BDA000029359647001818
中的每个像素点从t时刻的第q2+1个参考视点投影到t时刻的第l″′+1个辅助视点中，得到t时刻的第q2+1个参考视点的绘制图像，记为
Figure BDA000029359647001819
然后根据解码后的t时刻的第l″′+1个辅助视点的残差图像
Figure BDA000029359647001820
及t时刻的第q2个参考视点的绘制图像
Figure BDA000029359647001821
或t时刻的第q2+1个参考视点的绘制图像
Figure BDA000029359647001822
快速生成t时刻的第l″′+1个辅助视点信号，记为
Figure BDA000029359647001823
其中，
Figure BDA000029359647001824
表示解码后的t时刻的第q2个参考视点的彩色图像
Figure BDA000029359647001825
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA000029359647001826
表示t时刻的第q2个参考视点的绘制图像
Figure BDA000029359647001827
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700191
表示解码后的t时刻的第q2+1个参考视点的彩色图像
Figure BDA00002935964700192
中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第q2+1个参考视点的绘制图像
Figure BDA00002935964700194
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700195
表示解码后的t时刻的第l″′+1个辅助视点的残差图像
Figure BDA00002935964700196
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00002935964700197
表示生成的t时刻的第l″′+1个辅助视点信号
Figure BDA00002935964700198
中坐标位置为(x,y)的像素点的第i个分量的值，
⑤-3-4、用户端的任意视点绘制模块将生成的t时刻的第l″′个辅助视点信号和t时刻的第l″′+1个辅助视点信号
Figure BDA000029359647001911
传输给用户端的视频显示模块进行显示。
以下就利用本发明方法对“Alt Moabit”、“Book Arrival”、“Dog”和“Pantomime”三维视频测试序列进行立体视频编码的编码性能、编码复杂度和视点交互复杂度进行比较。
由于本发明方法只需要传输辅助视点的残差图像，与传统的整幅图像传输的编码方法相比，需要编码传输的数据明显下降。表1给出了利用本发明方法与传统编码方法的编码性能比较，从表1中可以看出，采用本发明方法对各个辅助视点进行编码，其编码码率能够节省88.15%～98.58%，能明显降低对网络带宽的要求，这足以说明本发明方法是有效可行的。
图6a、图6b和图6c分别给出了“Alt Moabit”三维立体视频测试序列的三个辅助视点的一帧残差图像；图7a、图7b和图7c分别给出了“Book Arrival”三维立体视频测试序列的三个辅助视点的一帧残差图像；图8a、图8b和图8c分别给出了“Dog”三维立体视频测试序列的三个辅助视点的一帧残差图像；图9a、图9b和图9c分别给出了“Pantomime”三维立体视频测试序列的三个辅助视点的一帧残差图像，其中，白色区域表示的是非编码宏块。表2给出了利用本发明方法的非编码宏块的比重，从表2中可以看出，非编码宏块占的比重平均达到97%以上，这样大大降低了系统服务端的编码复杂程度，有利于视频的实时性传输。
表3给出了利用本发明方法与MPEG视点合成参考软件VSRS 3.5的计算复杂度比较。从表3中可以看出，本发明方法的绘制时间可节省75.31～75.63%，这是因为视点合成参考软件VSRS 3.5需要进行复杂的三维映射和视点融合操作，而本发明方法只需要在用户端进行简单的加法操作就能生成虚拟视点信号，其绘制计算复杂度能够明显下降，这样有效地降低了对用户端系统资源的要求。
表1 利用本发明方法与传统的整幅图像传输的编码方法的编码性能比较
Figure BDA00002935964700201
表2 利用本发明方法的非编码宏块的比重
测试序列 辅助视点1 辅助视点2 辅助视点3 平均
Alt Moabit 98.48% 96.73% 98.28% 97.83%
Bookarrival 98.37% 97.79% 98.29% 98.15%
Dog 98.18% 97.85% 98.11% 98.05%
Pantomime 98.27% 97.70% 98.31% 98.09%
表3 利用本发明方法与MPEG视点合成参考软件VSRS 3.5的绘制复杂度比较
Figure BDA00002935964700202
Figure BDA00002935964700211

Claims (4)

1.一种交互式三维视频系统中的信号处理方法，该交互式三维视频系统主要由服务端的三维视频编码模块以及用户端的视点解码模块、任意视点绘制模块和视频显示模块构成，其特征在于该设计方法包括以下步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为将t时刻的第k个参考视点的深度图像记为
Figure FDA00002935964600012
其中，K≥2，1≤k≤K，k的初始值为1，i=1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示彩色图像和深度图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，
Figure FDA00002935964600013
表示t时刻的第k个参考视点的彩色图像
Figure FDA00002935964600014
中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第k个参考视点的深度图像
Figure FDA00002935964600016
中坐标位置为(x,y)的像素点的深度值；
②将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，然后采用基于深度图像绘制的方法，获取t时刻的(K-1)×N个辅助视点各自的残差图像，将t时刻的第l个辅助视点的残差图像记为
Figure FDA00002935964600017
其中，N>1，1≤l≤(K-1)×N，l的初始值为1，
Figure FDA00002935964600018
表示t时刻的第l个辅助视点的残差图像
Figure FDA00002935964600019
中坐标位置为(x,y)的像素点的第i个分量的值；
③服务端的三维视频编码模块根据设定的编码预测结构，对t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像进行编码，再将编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像传输给用户端；
④用户端的视点解码模块对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像进行解码，得到解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像，将解码后的t时刻的第k个参考视点的彩色图像记为
Figure FDA00002935964600021
将解码后的t时刻的第k个参考视点的深度图像记为
Figure FDA00002935964600022
将解码后的t时刻的第l个辅助视点的残差图像记为
Figure FDA00002935964600023
其中，
Figure FDA00002935964600024
表示解码后的t时刻的第k个参考视点的彩色图像
Figure FDA00002935964600025
中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第k个参考视点的深度图像
Figure FDA00002935964600027
中坐标位置为(x,y)的像素点的深度值，
Figure FDA00002935964600028
表示解码后的t时刻的第l个辅助视点的残差图像
Figure FDA00002935964600029
中坐标位置为(x,y)的像素点的第i个分量的值；
⑤根据用户所选择的视点，用户端的任意视点绘制模块根据解码后的t时刻的K个参考视点的K幅彩色图像和t时刻的(K-1)×N个辅助视点各自的残差图像，快速生成相应的参考视点信号和辅助视点信号，再将生成的参考视点信号和辅助视点信号传输给用户端的视频显示模块进行显示。
2.根据权利要求1所述的一种交互式三维视频系统中的信号处理方法，其特征在于所述的步骤②的具体过程为：
②-1、将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，共存在(K-1)对关联参考视点，将每对关联参考视点之间的距离归一化表示为1，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，共存在(K-1)×N个辅助视点，其中，N>1；
②-2、将t时刻的(K-1)×N个辅助视点中当前正在处理的辅助视点定义为当前辅助视点；
②-3、假设当前辅助视点为t时刻的第k′个参考视点与t时刻的第k′+1个参考视点构成的一对关联参考视点之间的虚拟视点，并假设当前辅助视点为t时刻的(K-1)×N个辅助视点中的第l′个辅助视点，则将当前辅助视点与t时刻的第k′个参考视点之间的距离表示为α，将当前辅助视点与t时刻的第k′+1个参考视点之间的距离表示为1-α，其中，1≤k′≤K-1，k′的初始值为1，(k′-1)×N+1≤l′≤(k′-1)×N+N，0<α<1；
②-4、将t时刻的第k′个参考视点的彩色图像
Figure FDA000029359646000210
中的每个像素点从第k′个参考视点投影到当前辅助视点，得到t时刻的第k′个参考视点的绘制图像，记为
Figure FDA00002935964600031
将t时刻的第k′个参考视点的绘制图像
Figure FDA00002935964600032
中坐标位置为(x3,y3)的像素点的第i个分量的值记为假设t时刻的第k′个参考视点的绘制图像
Figure FDA00002935964600034
中坐标位置为(x3,y3)的像素点为t时刻的第k′个参考视点的彩色图像
Figure FDA00002935964600035
中坐标位置为(x1,y1)的像素点从第k′个参考视点投影到当前辅助视点中的，则令
Figure FDA00002935964600036
其中，
Figure FDA00002935964600037
表示t时刻的第k′个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA00002935964600039
表示t时刻的第k′个参考视点的彩色图像
Figure FDA000029359646000310
中坐标位置为(x1,y1)的像素点的第i个分量的值，x1∈[1,W]，y1∈[1,H]，x3∈[1,W]，y3∈[1,H]，x3=x′/z′，y3=y′/z′，(x′,y′,z′)T=A2R2 -1(u,v,w)T-A2R2 -1T2，(x′,y′,z′)T为(x′,y′,z′)的转置矩阵，A2为当前辅助视点的内参矩阵，R2 -1为R2的逆矩阵，R2为当前辅助视点的旋转矩阵，
Figure FDA000029359646000311
(u,v,w)T为(u,v,w)的转置矩阵，R1为t时刻的第k′个参考视点的旋转矩阵，A1 -1为A1的逆矩阵，A1为t时刻的第k′个参考视点的内参矩阵，(x1,y1,1)T为(x1,y1,1)的转置矩阵，T1为t时刻的第k′个参考视点的平移矩阵，T2为当前辅助视点的平移矩阵，
Figure FDA000029359646000312
表示t时刻的第k′个参考视点的深度图像
Figure FDA000029359646000313
中坐标位置为(x1,y1)的像素点的场景深度， Z t k &prime; ( x 1 , y 1 ) = ( 1 255 &times; D t k &prime; ( x 1 , y 1 ) &times; ( 1 Z near - 1 Z far ) + 1 Z far ) - 1 ,
Figure FDA000029359646000315
表示t时刻的第k′个参考视点的深度图像
Figure FDA000029359646000316
中坐标位置为(x1,y1)的像素点的深度值，Znear表示深度图像中最小的场景深度值，Zfar表示深度图像中最大的场景深度值；
②-5、将t时刻的第k′+1个参考视点的彩色图像
Figure FDA000029359646000317
中的每个像素点从第k′+1个参考视点投影到当前辅助视点，得到t时刻的第k′+1个参考视点的绘制图像，记为
Figure FDA000029359646000318
将t时刻的第k′+1个参考视点的绘制图像
Figure FDA000029359646000319
中坐标位置为(x4,y4)的像素点的第i个分量的值记为
Figure FDA00002935964600041
假设t时刻的第k′+1个参考视点的绘制图像
Figure FDA00002935964600042
中坐标位置为(x4,y4)的像素点为t时刻的第k′+1个参考视点的彩色图像中坐标位置为(x2,y2)的像素点从第k′+1个参考视点投影到当前辅助视点中的，则令
Figure FDA00002935964600044
其中，
Figure FDA00002935964600045
表示t时刻的第k′+1个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第k′+1个参考视点的彩色图像
Figure FDA00002935964600048
中坐标位置为(x2,y2)的像素点的第i个分量的值，x2∈[1,W]，y2∈[1,H]，x4∈[1,W]，y4∈[1,H]，x4=x″/z″，y4=y″/z″，(x″,y″,z″)T=A2R2 -1(u′,v′,w′)T-A2R2 -1T2，(x″,y″,z″)T为(x″,y″,z″)的转置矩阵， ( u &prime; , v &prime; , w &prime; ) T = R 3 A 3 - 1 ( x 2 , y 2 , 1 ) T Z t k &prime; + 1 ( x 2 , y 2 ) + T 3 , (u′,v′,w′)T为(u′,v′,w′)的转置矩阵，R3为t时刻的第k′+1个参考视点的旋转矩阵，A3 -1为A3的逆矩阵，A3为t时刻的第k′+1个参考视点的内参矩阵，(x2,y2,1)T为(x2,y2,1)的转置矩阵，T3为t时刻的第k′+1个参考视点的平移矩阵，
Figure FDA000029359646000410
表示t时刻的第k′+1个参考视点的深度图像
Figure FDA000029359646000411
中坐标位置为(x2,y2)的像素点的场景深度， Z t k &prime; + 1 ( x 2 , y 2 ) = ( 1 255 &times; D t k &prime; + 1 ( x 2 , y 2 ) &times; ( 1 Z near - 1 Z far ) + 1 Z far ) - 1 ,
Figure FDA000029359646000413
表示t时刻的第k′+1个参考视点的深度图像中坐标位置为(x2,y2)的像素点的深度值；
②-6、根据t时刻的第k′个参考视点的绘制图像
Figure FDA000029359646000415
和t时刻的第k′+1个参考视点的绘制图像
Figure FDA000029359646000416
计算当前辅助视点的残差图像，记为
Figure FDA000029359646000417
将
Figure FDA000029359646000418
中坐标位置为(x,y)的像素点的第i个分量的值记为
Figure FDA000029359646000419
Figure FDA000029359646000420
其中，
Figure FDA000029359646000421
表示对t时刻的第k′个参考视点的绘制图像中坐标位置为(x,y)的像素点和t时刻的第k′+1个参考视点的绘制图像
Figure FDA00002935964600051
中坐标位置为(x,y)的像素点进行视点融合的操作；
②-7、将t时刻的(K-1)×N个辅助视点中下一个待处理的辅助视点作为当前辅助视点，然后返回步骤②-3继续执行，直至t时刻的(K-1)×N个辅助视点均处理完毕，得到t时刻的(K-1)×N个辅助视点各自的残差图像，将t时刻的第l个辅助视点的残差图像记为
Figure FDA00002935964600052
其中，1≤l≤(K-1)×N，l的初始值为1，表示t时刻的第l个辅助视点的残差图像
Figure FDA00002935964600054
中坐标位置为(x,y)的像素点的第i个分量的值。
3.根据权利要求1或2所述的一种交互式三维视频系统中的信号处理方法，其特征在于所述的步骤③中设定的编码预测结构为HBP编码预测结构。
4.根据权利要求3所述的一种交互式三维视频系统中的信号处理方法，其特征在于所述的步骤⑤的具体过程为：
⑤-1、假设用户所选择的视点为实际存在的t时刻的第p个参考视点，则用户端的任意视点绘制模块将解码后的t时刻的第p个参考视点的彩色图像中的每个像素点从t时刻的第p个参考视点投影到t时刻的第l″个辅助视点中，得到t时刻的第p个参考视点的绘制图像，记为
Figure FDA00002935964600056
然后根据解码后的t时刻的第p个参考视点的彩色图像
Figure FDA00002935964600057
快速生成t时刻的第p个参考视点信号，记为
Figure FDA00002935964600058
并根据解码后的t时刻的第l″个辅助视点的残差图像
Figure FDA00002935964600059
和t时刻的第p个参考视点的绘制图像
Figure FDA000029359646000510
快速生成t时刻的第l″个辅助视点信号，记为
Figure FDA000029359646000511
再将生成的t时刻的第p个参考视点信号
Figure FDA000029359646000512
和t时刻的第l″个辅助视点信号
Figure FDA000029359646000513
传输给用户端的视频显示模块进行显示，其中，此处1≤p≤K-1，此处l″=(p-1)×N+1，
Figure FDA000029359646000514
表示解码后的t时刻的第p个参考视点的彩色图像
Figure FDA000029359646000515
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000516
表示解码后的t时刻的第l″个辅助视点的残差图像
Figure FDA000029359646000517
中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第p个参考视点的绘制图像
Figure FDA00002935964600061
中坐标位置为(x,y)的像素点的第i个分量的值，表示生成的t时刻的第p个参考视点信号
Figure FDA00002935964600063
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA00002935964600065
表示生成的t时刻的第l″个辅助视点信号
Figure FDA00002935964600066
中坐标位置为(x,y)的像素点的第i个分量的值， I &OverBar; t , i l &prime; &prime; ( x , y ) = E ~ t , i l &prime; &prime; ( x , y ) + I ~ t , i p &RightArrow; l &prime; &prime; ( x , y ) ;
⑤-2、假设用户所选择的视点为实际存在的t时刻的第K个参考视点，则用户端的任意视点绘制模块将解码后的t时刻的第K个参考视点的彩色图像
Figure FDA00002935964600068
中的每个像素点从t时刻的第K个参考视点投影到t时刻的第l″个辅助视点中，得到t时刻的第K个参考视点的绘制图像，记为
Figure FDA00002935964600069
然后根据解码后的t时刻的第K个参考视点的彩色图像
Figure FDA000029359646000610
快速生成t时刻的第K个参考视点信号，记为
Figure FDA000029359646000611
并根据解码后的t时刻的第l″个辅助视点的残差图像
Figure FDA000029359646000612
和t时刻的第K个参考视点的绘制图像
Figure FDA000029359646000613
快速生成t时刻的第l″个辅助视点信号，记为再将生成的t时刻的第K个参考视点信号
Figure FDA000029359646000615
和t时刻的第l″个辅助视点信号
Figure FDA000029359646000616
传输给用户端的视频显示模块进行显示，其中，此处l″=(K-1)×N，
Figure FDA000029359646000617
表示解码后的t时刻的第K个参考视点的彩色图像
Figure FDA000029359646000618
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000619
表示t时刻的第K个参考视点的绘制图像
Figure FDA000029359646000620
中坐标位置为(x,y)的像素点的第i个分量的值，表示生成的t时刻的第K个参考视点信号
Figure FDA000029359646000622
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000623
表示生成的t时刻的第l″个辅助视点信号
Figure FDA000029359646000625
中坐标位置为(x,y)的像素点的第i个分量的值， I &OverBar; t , i l &prime; &prime; ( x , y ) = E ~ t , i l &prime; &prime; ( x , y ) + I ~ t , i K &RightArrow; l &prime; &prime; ( x , y ) ;
⑤-3-1、假设用户所选择的视点为并不存在的虚拟视点，则选择与该虚拟视点最为邻近的两个辅助视点，假设分别为t时刻的第l″′个辅助视点和t时刻的第l″′+1个辅助视点，并且令与t时刻的第l″′个辅助视点左相邻的参考视点为t时刻的第q1个参考视点，令与t时刻的第l″′+1个辅助视点左相邻的参考视点为t时刻的第q2个参考视点，将t时刻的第l″′个辅助视点与t时刻的第q1个参考视点之间的距离表示为β，将t时刻的第l″′+1个辅助视点与第q2个参考视点之间的距离表示为γ，其中，1≤l″′≤(K-1)×N-1，1≤q1≤K-1，1≤q2≤K-1，0<β<1，0<γ<1；
⑤-3-2、用户端的任意视点绘制模块将解码后的t时刻的第q1个参考视点的彩色图像
Figure FDA00002935964600071
中的每个像素点从t时刻的第q1个参考视点投影到t时刻的第l″′个辅助视点中，得到t时刻的第q1个参考视点的绘制图像，记为
Figure FDA00002935964600072
或者将解码后的t时刻的第q1+1个参考视点的彩色图像
Figure FDA00002935964600073
中的每个像素点从t时刻的第q1+1个参考视点投影到t时刻的第l″′个辅助视点中，得到t时刻的第q1+1个参考视点的绘制图像，记为
Figure FDA00002935964600074
然后根据解码后的t时刻的第l″′个辅助视点的残差图像
Figure FDA00002935964600075
及t时刻的第q1个参考视点的绘制图像
Figure FDA00002935964600076
或t时刻的第q1+1个参考视点的绘制图像
Figure FDA00002935964600077
快速生成t时刻的第l″′个辅助视点信号，记为
Figure FDA00002935964600078
其中，表示解码后的t时刻的第q1个参考视点的彩色图像
Figure FDA000029359646000710
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000711
表示t时刻的第q1个参考视点的绘制图像
Figure FDA000029359646000712
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000713
表示解码后的t时刻的第q1+1个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000715
表示t时刻的第q1+1个参考视点的绘制图像
Figure FDA000029359646000716
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000717
表示解码后的t时刻的第l″′个辅助视点的残差图像
Figure FDA000029359646000718
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000719
表示生成的t时刻的第l″′个辅助视点信号
Figure FDA000029359646000720
中坐标位置为(x,y)的像素点的第i个分量的值，
⑤-3-3、用户端的任意视点绘制模块将解码后的t时刻的第q2个参考视点的彩色图像中的每个像素点从t时刻的第q2个参考视点投影到t时刻的第l″′+1个辅助视点中，得到t时刻的第q2个参考视点的绘制图像，记为或者将解码后的t时刻的第q2+1个参考视点的彩色图像
Figure FDA00002935964600083
中的每个像素点从t时刻的第q2+1个参考视点投影到t时刻的第l″′+1个辅助视点中，得到t时刻的第q2+1个参考视点的绘制图像，记为
Figure FDA00002935964600084
然后根据解码后的t时刻的第l″′+1个辅助视点的残差图像及t时刻的第q2个参考视点的绘制图像
Figure FDA00002935964600086
或t时刻的第q2+1个参考视点的绘制图像
Figure FDA00002935964600087
快速生成t时刻的第l″′+1个辅助视点信号，记为
Figure FDA00002935964600088
其中，
Figure FDA00002935964600089
表示解码后的t时刻的第q2个参考视点的彩色图像
Figure FDA000029359646000810
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000811
表示t时刻的第q2个参考视点的绘制图像
Figure FDA000029359646000812
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000813
表示解码后的t时刻的第q2+1个参考视点的彩色图像
Figure FDA000029359646000814
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000815
表示t时刻的第q2+1个参考视点的绘制图像
Figure FDA000029359646000816
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000817
表示解码后的t时刻的第l″′+1个辅助视点的残差图像
Figure FDA000029359646000818
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000819
表示生成的t时刻的第l″′+1个辅助视点信号
Figure FDA000029359646000820
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA000029359646000821
⑤-3-4、用户端的任意视点绘制模块将生成的t时刻的第l″′个辅助视点信号
Figure FDA000029359646000822
和t时刻的第l″′+1个辅助视点信号
Figure FDA000029359646000823
传输给用户端的视频显示模块进行显示。
CN201310088990.4A 2013-03-19 2013-03-19 一种交互式三维视频系统中的信号处理方法 Active CN103179423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310088990.4A CN103179423B (zh) 2013-03-19 2013-03-19 一种交互式三维视频系统中的信号处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310088990.4A CN103179423B (zh) 2013-03-19 2013-03-19 一种交互式三维视频系统中的信号处理方法

Publications (2)

Publication Number Publication Date
CN103179423A true CN103179423A (zh) 2013-06-26
CN103179423B CN103179423B (zh) 2015-01-21

Family

ID=48638994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310088990.4A Active CN103179423B (zh) 2013-03-19 2013-03-19 一种交互式三维视频系统中的信号处理方法

Country Status (1)

Country Link
CN (1) CN103179423B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107037875A (zh) * 2015-10-26 2017-08-11 诺基亚技术有限公司 用于改进的沉浸式内容流化的方法和装置
CN110572631A (zh) * 2019-09-10 2019-12-13 重庆邮电大学 一种基于功率失真的三维视频纹理和深度联合功率分配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244801A (zh) * 2011-07-13 2011-11-16 中国民航大学 一种数字立体电视系统及编解码方法
CN102438167A (zh) * 2011-10-21 2012-05-02 宁波大学 一种基于深度图像绘制的立体视频编码方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244801A (zh) * 2011-07-13 2011-11-16 中国民航大学 一种数字立体电视系统及编解码方法
CN102438167A (zh) * 2011-10-21 2012-05-02 宁波大学 一种基于深度图像绘制的立体视频编码方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107037875A (zh) * 2015-10-26 2017-08-11 诺基亚技术有限公司 用于改进的沉浸式内容流化的方法和装置
CN110572631A (zh) * 2019-09-10 2019-12-13 重庆邮电大学 一种基于功率失真的三维视频纹理和深度联合功率分配方法

Also Published As

Publication number Publication date
CN103179423B (zh) 2015-01-21

Similar Documents

Publication Publication Date Title
CN100496121C (zh) 一种交互式多视点视频系统的图像信号处理方法
CN102438167B (zh) 一种基于深度图像绘制的立体视频编码方法
CN100576934C (zh) 基于深度和遮挡信息的虚拟视点合成方法
CN101986716B (zh) 一种快速深度视频编码方法
CN102065296B (zh) 一种三维立体视频编码方法
CN102685532B (zh) 自由视点四维空间视频编码系统的编码方法
CN103002306B (zh) 一种深度图像编码方法
CN101166282B (zh) 摄像机参数编码传输的方法
CN101729891B (zh) 一种多视点深度视频的编码方法
CN103618907B (zh) 基于压缩感知多视点分布式视频编码及帧排列装置及方法
CN103402097B (zh) 一种自由视点视频深度图编码方法及其失真预测方法
CN108235057A (zh) 一种大规模海洋洋流数据的网络传输及可视化方法
CN103067705B (zh) 一种多视点深度视频预处理方法
CN103338370B (zh) 一种多视点深度视频快速编码方法
CN101710985B (zh) 一种用于图像编码的图像亮度补偿方法
CN102710949B (zh) 一种基于视觉感知的立体视频编码方法
CN103561255B (zh) 一种裸眼立体显示方法
CN103260032B (zh) 一种立体视频深度图序列的帧率提升方法
CN102868899A (zh) 一种三维图像处理方法
CN104159095A (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN103179423B (zh) 一种交互式三维视频系统中的信号处理方法
CN102685531B (zh) 一种三维视频编码的深度和彩色码率分配方法
CN109345444A (zh) 深度感知增强的超分辨率立体图像构建方法
CN102523468B (zh) 一种三维立体视频编码的最佳码率比重确立方法
CN102355582B (zh) 一种三维立体视频编码的率失真模型优化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20191218

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220926

Address after: Room 2021-98, 3rd Floor, Building 3, Yard 1, Dongguantou, Fengtai District, Beijing 100071

Patentee after: Beijing Feitian Yundong Technology Co.,Ltd.

Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang.

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.

TR01 Transfer of patent right