CN100496121C - 一种交互式多视点视频系统的图像信号处理方法 - Google Patents

Abstract

本发明公开了一种交互式多视点视频系统的图像信号处理方法，通过在服务端编码存储不同预测方式下得到的多视点视频信号码流以及关联视点间完整的视差场码流，利用反馈的用户端视点选择信息和显示设备类型信息，从视点可分解的结构式码流中选择合适的1个视点(用于单目显示)或2个视点(用于立体显示)或者最多4个视点(用于2个虚拟视点的立体显示)数据，从而实现多视点视频信号的部分传输，降低系统对传输带宽的要求以及用户端系统复杂度的要求，使得在给定网络带宽的条件下能传输更多的节目，服务更多的用户，使得数字交互式多视点电视接收机的成本更低。

Description

一种交互式多视点视频系统的图像信号处理方法

技术领域

本发明涉及一种多视点视频系统技术，尤其是涉及一种交互式多视点视频系统的图像信号处理方法。

背景技术

交互式多视点视频系统能够给用户提供多个视角的视频内容，用户可以根据个人的喜好选择视角，并在观看过程中随意改变欣赏视角。因此，对于交互式多视点视频系统来说，其基本目标是有效地实现用户与服务端的视点交互。通常，交互式多视点视频系统由以下几个部分组成：视频捕获、预处理、多视点视频编码器、多视点视频解码器、视点绘制和显示部分，如图1所示。由一组相机(或摄像机)捕获的多视点视频序列，会因为各视点的场景光照、相机标定、CCD噪声、快门速度和曝光等要素不一致，导致各视点间可能存在亮度或色度差异。因此，为了得到更加良好的编码性能和虚拟视点绘制效果，需要在进行多视点视频编码前加入预处理过程。此外，一般情况下服务端无法提供给用户足够多视角的视频内容，因而用户端就需要利用解码视点信息绘制出虚拟视点视频内容，以满足用户多变的要求。

对于多视点视频编码的性能评价，通常有多个性能指标，如率失真性能、时间可分级、视点可分级、随机接入性能、编码复杂度、解码复杂度、存储需求等等，这些指标在一定程度上本身就存在着相互制约；因此，根据不同的应用环境，需要侧重不同的技术指标来进行性能评价，并且对某些性能指标做适当的修正。面向用户端的交互式多视点视频系统的目的是为了满足用户最大限度的自主性，因此，实现用户与服务端之间的高效交互操作以满足用户的选择需求是面向用户端的交互式多视点视频系统最基本也是最主要的任务。基于面向用户端的交互式多视点视频系统考虑，实现高效的交互操作应满足：

1)合理的带宽代价，以适应网络传输的要求；

2)较低的解码复杂度以及虚拟视点绘制复杂度，能够实时解码及绘制虚拟视点，以降低对用户端系统(如数字交互式多视点电视接收机)资源的要求，达到降低接收机的成本的目的。

发明内容

本发明所要解决的技术问题是提供一种交互式多视点视频系统的图像信号处理方法，以合理的带宽代价、较低的解码复杂度以及虚拟视点绘制复杂度，降低交互式多视点系统对于网络带宽和用户端资源的要求，满足用户最大限度的自主性，使得在给定网络带宽的条件下能传输更多的节目，服务更多的用户，使得数字交互式多视点电视接收机的成本更低。

本发明解决上述技术问题所采用的技术方案为：一种交互式多视点视频系统的图像信号处理方法，由系统服务端的多视点视频成像模块、集成的多视点视频编码模块和部分码流选择与传输模块以及系统用户端的视点解码模块、任意视点绘制模块和视频显示模块来完成图像信号的采集、编码、传输、解码、绘制与显示，用户端将用户选择的视点和显示设备类型信息传输给服务端的部分码流选择与传输模块，部分码流选择与传输模块根据接收到的信息从集成的多视点视频编码模块生成的视点可分解的结构式码流中分离出绘制用户所选视点图像所需的视频数据和视差场信息并将其通过网络传输给视点解码模块进行解码，在所述的集成的多视点视频编码模块中进行多视点图像色彩校正、关联视点视差场估计与编码、块基多视点视频编码和视点可分解的结构式码流生成，具体步骤为：

(1)由多视点视频成像模块中的多个可同步拍摄的相机获取多个视点的视频信号，并向集成的多视点视频编码模块传输多视点视频信号；

(2)集成的多视点视频编码模块接收多视点视频成像模块采集的多视点视频信号，对多视点视频信号进行多视点图像色彩校正、关联视点视差场估计与编码、块基多视点视频编码，并将生成的关联视点视差场与多视点视频信号的视点可分解的结构式码流存储于服务端的存储器或者传输给用户端的视点解码模块；

(3)部分码流选择与传输模块根据交互反馈的用户端视点选择情况以及用户端显示设备类型信息，从视点可分解的结构式码流中截取绘制用户所选视点图像所需的视点视频信号和关联视点视差场码流通过网络进行传输；

(4)用户端视点解码模块接收到多视点视频信号和关联视点视差场码流，并对该码流进行解码；

(5)若用户所选择的视点为实际存在的视点，则将由视点解码模块解码得到的视点信号直接传输给视频显示模块进行显示；若用户选择的视点为虚拟视点，则由任意视点绘制模块根据视点解码模块解码得到的视点信号和视差场绘制虚拟视点，再传输给视频显示模块进行显示。

所述的多视点图像色彩校正方法为：

(1)分别提取参考视点图像和待校正视点图像的边缘纹理或反映边缘和纹理特征的特征点作为边缘纹理信息；

(2)利用所提取的边缘纹理信息进行参考视点图像和待校正视点图像间的区域匹配，得到参考视点图像和待校正视点图像间的视差信息；

区域匹配通过将图像分割成若干图像块，再以图像块为单位进行匹配来实现，或通过对图像的边缘纹理丰富区域进行匹配，然后采用插值的方法得到非边缘纹理丰富区域的匹配关系来实现；

(3)利用视差信息确定图像的近景区域与远景区域，以远景区域作为参照区域求取待校正视点图像的色度和亮度的校正参数，并用这些校正参数对整幅待校正视点图像进行色度和亮度的校正。

所述的关联视点视差场估计与编码实现步骤为：

(1)将相邻的两两视点作为关联视点；

(2)根据多视点图像间的色彩校正过程中所得到的视差信息计算所有两两关联视点之间的视差场，得到精确的完全像素级分辨率视差场或者较为精细的非完全像素级分辨率视差场，任意两两关联视点视差场的参考方向与块基多视点视频编码所采用的预测编码结构中这两个关联视点的预测参考方向一致；在此，完全像素级分辨率视差场是指根据图像分辨率为W×H的左右视点图像估计得到的相同分辨率W×H的视差场，非完全像素级分辨率视差场是指根据图像分辨率为W×H的左右视点图像估计得到的分辨率低于W×H的视差场，或者以多分辨率块方式构成的视差场；

(3)对关联视点视差场进行编码，生成关联视点视差场的结构式码流并预存储于服务端的存储器。

所述的块基多视点视频编码是根据与显示设备类型对应的预测编码结构，预先对多视点视频信号进行编码，得到多个不同预测编码结构的视点视频信号码流，然后将不同预测编码结构的视点视频信号码流组成多视点视频信号的视点可分解的结构式码流并预存储于服务端的存储器。

所述的块基多视点视频编码的预测编码结构由基本单元结构叠加而成，所述的基本单元结构由位于左右两边的2个时间预测视点和位于中间的1个混合预测视点构成，每个视点由若干个连续时刻的图像帧所组成，所述的时间预测视点的预测方式是对视点内各帧仅在本视点内部进行预测编码，生成由时间预测编码得到的码流，所述的混合预测视点的预测方式是采用时间预测+左视点预测方式、时间预测+右视点预测方式和时间预测方式分别对视点内的图像帧在视点内部及视点间进行预测编码，此处，符号+表示两者的结合，然后对预测的准确度进行判断，若时间预测方式准确度最高，则仅生成由时间预测编码得到的码流，否则生成3个预测方式的码流，所述的由基本单元结构叠加构成预测编码结构的方式如下：将多个基本单元结构在视点轴上并列放置，相邻的2个基本单元结构有1个时间预测视点是重叠的，左右相邻的2个基本单元结构中的左基本单元结构的右边时间预测视点和右基本单元结构的左边时间预测视点为同一个视点，或者并列放置的相邻的2个基本单元结构互不重叠。

所述的视点可分解的结构式码流采用层次结构，由多视点视频序列、图像组、视点和视差场、图像帧、片、宏块及子块七个层次组成，1个多视点视频序列码流以图像组为单位，每个图像组的结构由各视点视频信号码流和相邻关联视点视差场码流交替组成，其码流形式为：

1个图像组内同一视点图像帧的码流按其视点内的预测顺序组织在一起，1个图像帧由若干片组成，1个片由若干宏块组成，对于时间预测视点，其宏块码流形式为：

对于混合预测视点，若1个宏块的时间预测方式准确度最高，则该宏块码流形式为：

其中11为预测方式标志位；否则该宏块码流形式为：

其中预测方式标志位10标识时间预测+左视点预测得到的码流，01标识时间预测+右视点预测得到的码流，00标识由时间预测得到的码流，此处，符号+表示两者的结合，1个宏块由多个子块组成，子块码流根据其预测方式按子块在宏块中的位置顺序嵌入宏块码流对应预测方式下的码流中，子块的码流形式为：

所述的部分码流选择与传输模块根据用户端显示设备的不同通过网络按以下不同的方式进行传输：

(1)若用户端显示设备为单目显示器，或者为多视点视频显示器且用户选择某1个实际存在的单目视点观看，则将用户所需视点的时间预测码流从视点可分解的结构式码流中截取出来并传输给用户端视点解码模块；

(2)若用户端显示设备为立体显示器，则直接截取用户所选择的2个视点的码流进行传输，这2个视点一个为时间预测视点，其时间预测码流将被传输，一个为混合预测视点，若该混合预测视点图像帧的宏块码流的预测方式标志位为11，则选取该码流进行传输，否则，参考要传输的2个视点中的时间预测视点相对于该混合预测视点的位置来决定要传输的码流，若时间预测视点位于该混合预测视点左侧，则选取该宏块的预测方式标志位为10的码流，若时间预测视点位于该混合预测视点右侧，则选取该宏块的预测方式标志位为01的码流；

(3)若用户所选的视点为实际并不存在的虚拟视点，则从视点可分解的结构式码流中截取该虚拟视点左右最为邻近的2个实际存在的视点视频信号码流和它们之间的关联视点视差场码流进行传输，这2个实际存在视点的视点视频信号码流的截取方式与方式(2)相同。

所述的任意视点绘制模块实现步骤为：

(1)若视点解码模块解码得到的是完全像素级分辨率视差场，则直接执行步骤(2)；若视点解码模块解码得到的是非完全像素级分辨率视差场，则以非完全像素级分辨率视差场按其分辨率与完全像素级分辨率视差场分辨率比例关系得到完全像素级分辨率视差场中某像素(x，y)的视差值d作为该像素的初始视差值，然后在小搜索范围[max{0，d-2}，min{max_disp，d+2}]所限定的以像素(x+d，y)为中心的水平5个搜索点内计算完全像素级分辨率视差场(x，y)处的关联视点间的精确视差值，其中max_disp为完全像素级分辨率视差场的最大视差值，对完全像素级分辨率视差场中的所有像素重复上述处理即得到完全像素级分辨率视差场；

(2)令视点n和视点n+1为1对关联视点，它们之间的距离归一化表示为1，虚拟视点位于视点n和视点n+1之间，虚拟视点与视点n之间的距离以α表示，0<α<1，虚拟视点与视点n+1之间的距离为1-α，利用视点解码模块解码得到的视点n和视点n+1的视频信号和这2个视点之间的完全像素级分辨率视差场绘制虚拟视点图像信号：

a、令视点n图像中像素(x，y)相对于视点n+1图像的视差为d，该像素(x，y)在视点n+1图像中的匹配点为(x+d，y)，该像素(x，y)相对于虚拟视点图像的视差为αd，在虚拟视点图像中的匹配点为(x+αd，y)，则虚拟视点图像像素(x+αd，y)的值由视点n中像素(x，y)和视点n+1中像素(x+d，y)线性插值得到，即I_α(x+αd，y)＝(1-α)In(x，y)+αI_n+1(x+d，y)，其中，I_α、I_n和I_n+1分别表示虚拟视点、视点n和视点n+1指定坐标处的像素点的像素值；

b、对于虚拟视点图像I_α中未能在步骤a中确定像素值的坐标为(x′，y′)的右遮挡像素点p，使其像素值I_α(x′，y′)等于视点n+1图像中的点(x′+d_n+1，y′)的像素值或点(x′+d_n+1，y′)周围若干点像素值的加权平均值， $d_{n+1}=\frac{\mathrm{\&alpha;}}{1-\mathrm{\&alpha;}}{d}_n,$ 为p相对于视点n+1的视差， $d_n=\frac{d_b{D}_{\mathrm{pa}}+d_a{D}_{\mathrm{bp}}}{D_{\mathrm{pa}}+D_{\mathrm{bp}}},$ 为p相对于视点n的视差，a、b分别表示虚拟视点图像I_α中与p同一行的左右两边最近的非遮挡像素点，a、b相对于视点n的视差分别表示为d_a和d_b，D_pa、D_bp分别表示点p和a、b和p之间的距离；

c、对于虚拟视点图像I_α中未能在步骤a中确定像素值的左遮挡像素点q采取类似右遮挡点p的处理方法处理，q的像素值由q在视点n图像中的匹配点的像素值或其周围若干点像素值的加权平均值得到。

现有多视点视频系统技术的预测编码结构通常是固定的，且预测编码结构的设计侧重考虑多视点视频信号的压缩效率，而没有充分考虑到传输带宽的需求，视点间的依赖性较强，以致系统对传输带宽的需求较高，而且对于系统用户端的资源需求较大。与现有技术相比，本发明所提供的一种交互式多视点视频系统的图像信号处理方法的优点在于通过在服务端预编码存储不同预测方式下得到的码流以及邻近关联视点间完整的视差场码流，利用反馈的用户端视点选择信息和显示设备类型信息，从视点可分解的结构式码流中选择合适的1个视点(用于单目显示)或2个视点(用于立体显示)或者最多4个视点(用于2个虚拟视点的立体显示)数据，从而实现多视点视频信号数据的部分传输，降低系统对传输带宽的要求以及用户端系统复杂度的要求，使得在给定网络带宽的条件下能传输更多的节目，服务更多的用户，使得数字交互式多视点电视接收机的成本更低。

附图说明

图1为多视点视频系统组成框图；

图2为本发明的一种交互式多视点视频系统的图像信号处理方法框图；

图3a为用图4的基本单元结构进行部分重叠叠加生成块基多视点视频预测编码结构示意图；

图3b为用图4的基本单元结构进行非重叠叠加生成块基多视点视频预测编码结构示意图；

图4为块基多视点视频预测编码结构的基本单元结构示意图；

图5为多视点视频序列1个图像组的预测编码结构示意图；

图6为图5多视点视频序列1个图像组的预测编码结构的基本单元结构示意图；

图7a为图5的预测编码结构中混合预测视点的时间预测+左视点预测方式示意图；

图7b为图5的预测编码结构中混合预测视点的时间预测+右视点预测方式示意图；

图7c为图5的预测编码结构中混合预测视点的时间预测方式示意图；

图8a为混合预测视点中B3帧的时间预测+左视点预测方式第一种参考方式示意图；

图8b为混合预测视点中B3帧的时间预测+右视点预测方式第一种参考方式示意图；

图8c为混合预测视点中B3帧的时间预测方式第一种参考方式示意图；

图9a为混合预测视点中B3帧的时间预测+左视点预测方式第二种参考方式示意图；

图9b为混合预测视点中B3帧的时间预测+右视点预测方式第二种参考方式示意图；

图9c为混合预测视点中B3帧的时间预测方式第二种参考方式示意图；

图10a为混合预测视点中B3帧的时间预测+左视点预测方式第三种参考方式示意图；

图10b为混合预测视点中B3帧的时间预测+右视点预测方式第三种参考方式示意图；

图10c为混合预测视点中B3帧的时间预测方式第三种参考方式示意图；

图11为视点可分解的结构式码流层次结构示意图；

图12为虚拟视点绘制示意图；

图13为虚拟视点绘制时右遮挡区域的绘制示意图；

图14为本发明实施例的传输率失真性能与现有三种多视点视频编码方案传输率失真性能的比较图；

图15为Simulcast多视点视频编码方案的预测编码结构示意图；

图16为HBP多视点视频编码方案的预测编码结构示意图；

图17为IPP多视点视频编码方案的预测编码结构示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图2所示，本发明的一种交互式多视点视频系统的图像信号处理方法由系统服务端的多视点视频成像模块、集成的多视点视频编码模块和部分码流选择与传输模块以及系统用户端的视点解码模块、任意视点绘制模块和视频显示模块来完成图像信号的采集、编码、传输、解码、绘制与显示，在集成的多视点视频编码模块中进行多视点图像色彩校正、关联视点视差场估计与编码、块基多视点视频编码和视点可分解的结构式码流生成，用户端将用户选择的视点和显示设备类型信息传输给服务端的部分码流选择与传输模块，部分码流选择与传输模块根据接收到的信息从集成的多视点视频编码模块生成的视点可分解的结构式码流中分离出绘制用户所选视点图像所需的视频数据和视差场信息并将其通过网络传输给视点解码模块进行解码，然后根据解码得到的信息绘制图像信号并最终由视频显示模块进行显示，具体步骤为：

1、多视点视频成像模块：该模块中的多个相机组成的相机阵列从不同角度同步拍摄同一场景，获取多个视点的视频信号，并向集成的多视点视频编码模块传输多视点视频信号。

2、集成的多视点视频编码模块：该模块接收多视点视频成像模块采集的多视点视频信号，对多视点视频信号进行多视点图像色彩校正、关联视点视差场估计与编码、块基多视点视频编码，并将生成的关联视点视差场与多视点视频信号的视点可分解的结构式码流存储于系统服务端的存储器或者传输给用户端的视点解码模块。

1)多视点图像色彩校正：

在多视点视频成像过程中，由于各视点的场景光照、相机标定、CCD噪声、快门速度和曝光等要素不一致，会导致不同位置采集的图像色彩差别较大，这将对多视点视频视点间预测和任意视点绘制带来不利影响。多视点图像的色彩校正将消除多视点图像间色彩的不一致性，是多视点视频应用的重要预处理步骤。

由于光照的不均匀性以及物体光线反射的角度的不同，近景物体在不同视点中呈现的色彩本身就可能存在一定的差异，此部分由于环境光照所引起的色彩差异并不是要消除的对象，然而相机参数的不一致也会导致近景物体色彩的不一致，这部分差异是需要消除的；远景物体由于远离相机，其由于环境光照原因呈现在不同视点中的差异几乎很小，其色差的出现主要是由于相机参数的不一致所引起的。因此多视点图像色彩校正参数的获取应以远景区域为参照，而不以近景区域为参照。

为获取准确的色彩校正参数，需要确定多视点图像间的区域(物体)对应关系，以计算同一物体在不同视点图像中的色彩差异程度，从而推断出校正参数。视差估计技术可用来获得不同视点图像间的对应关系。然而由于不同视点图像间的色彩差异，会影响到视差估计的准确性，也即影响到所估计的多视点图像区域对应关系的准确性。而图像的边缘信息相对稳定，因此，可以利用图像的边缘纹理特征进行色彩无关的视差估计，以准确确定多视点图像间的区域(物体)对应关系。

本实施例的多视点图像色彩校正步骤如下：首先分别提取参考视点图像和待校正视点图像的边缘纹理或反映边缘和纹理特征的特征点作为边缘纹理信息。然后利用所提取的边缘纹理信息进行参考视点图像和待校正视点图像间的区域匹配，得到参考视点图像和待校正视点图像间的视差信息。上述区域匹配可以通过两种方式实现，一是将图像分割成若干图像块，再以图像块为单位进行匹配；或者对图像的边缘纹理丰富区域进行匹配，然后采用插值的方法得到非边缘纹理丰富区域的匹配关系。最后利用视差信息确定图像的近景区域与远景区域，将视差大的区域作为近景区域，视差小的区域作为远景区域，仅以远景区域作为参照区域求取待校正视点图像的色度和亮度校正参数，并用这些参数对整幅待校正的多视点图像帧进行色度和亮度校正。

2)关联视点视差场估计与编码：

现有典型的采用多参考帧的多视点视频编码方法采用视差估计与补偿技术，但其视差估计只是作为和运动估计一起来提高预测精度以减少预测误差、提高编码率失真性能的一项辅助技术使用，不能提供完整的视差场(即图像部分区域没有视差信息)，也没有对完整的视差场进行编码并传输到用户端。而在交互式多视点视频系统中，完整精确的视差场是用户端快速绘制用户所选择的任意视点图像所需的重要信息。如果由用户端来完成视差场的计算，既要求用户端具有较强的计算能力，增加了数字交互式多视点电视接收机的成本，又影响了用户端实时绘制虚拟视点的速度。

本实施例中，集成的多视点视频编码模块在系统服务端计算邻近关联视点间的完整视差场，并对视差场单独进行编码压缩，生成关联视点视差场的结构式码流并预存储于服务端的存储器。这里，完整视差场可以是邻近关联视点间的“完全像素级分辨率视差场”或者“非完全像素级分辨率视差场”。“完全像素级分辨率视差场”是指根据图像分辨率(即图像尺寸)为W×H(W、H为正整数)的左右视点图像估计得到的相同分辨率W×H的视差场；“非完全像素级分辨率视差场”是指根据图像分辨率为W×H的左右视点图像估计得到的分辨率低于W×H的视差场，例如分辨率为(0.25W)×(0.25H)的视差场，或者以多分辨率块方式构成的视差场。编码压缩后的视差场将根据用户视点选择情况有选择性地通过网络传输给用户端，以便在用户端解码和绘制所选择视点的视频信号。同时，邻近关联视点间的“完全像素级分辨率视差场”或者“非完全像素级分辨率视差场”将传输给块基多视点视频编码部分进行视点间的预测。

由于多视点图像色彩校正中已得到参考视点图像和待校正视点图像间的视差信息，因此完整视差场可以通过对多视点图像间的色彩校正过程中所得到的视差估计结果进行补充并使其在分辨率上更加精细，形成精确的完全像素级分辨率视差场，或者较为精细的非完全像素级分辨率视差场。

关联视点的选取可根据相机阵列的形式以及用户端显示设备类型等信息采取不同的形式。在本实施例中，选取两两相邻视点互为关联视点，即若服务端多视点成像视点数为N，则有(N—1)对的两两视点作为关联视点，也即有(N—1)个相邻两两视点之间的关联视点视差场。如图3a、图3b所示，块基多视点视频预测编码结构中有8个视点S0～S7，它们将形成视点S0和S1之间、S1和S2之间、S2和S3之间等7个相邻两两视点之间的视差场，这些视差场将被完整计算和编码。两两视点之间的关联视点视差场的参考方式与这2个视点预测编码结构中的预测参考方向一致，其中视点S0和S1之间的视差场是以视点S0为参考，由S0来预测S1；视点S2和S1之间的视差场是以S2为参考，由S2来预测S1。在关联视点视差场的计算中可以利用2个相邻视差场中已计算的视差场以及相关视点的位置关系外推出另一尚未计算的视差场中视差矢量的初始值，以减少得到相邻视差场的计算量。例如，利用S0和S1之间的视差场以及视点S0、S1、S2之间的位置关系外推出S1和S2之间视差场中视差矢量的初始值，S1和S2之间视差场中视差矢量的准确值则通过在该初始值周围的小范围内搜索来确定。

3)块基多视点视频编码与视点可分解的结构式码流生成：

块基多视点视频编码根据与显示设备类型对应的预测编码结构，预先对多视点视频信号进行编码，得到多个不同预测编码结构的视点视频信号码流，然后将不同预测编码结构的视点视频信号码流组成多视点视频信号的视点可分解的结构式码流并预存储于服务端的存储器，以便部分码流选择与传输模块根据用户端请求选取合适的码流进行传输。

图4给出了块基多视点视频预测编码结构的基本单元结构，它由位于左右两边的2个时间预测视点和位于中间的1个混合预测视点构成，每个视点由若干个连续时刻的图像帧所组成。其中，时间预测视点是指仅采用时间预测的视点，即这类视点的编解码不依赖于其它视点的信号，视点内各帧只在视点内部进行预测编码，而不进行视点间的预测，生成由时间预测编码得到的码流；混合预测视点是指采用时间预测+左视点预测方式、时间预测+右视点预测方式和时间预测方式分别对视点内的图像帧在视点内部及视点间进行预测编码，这类视点的编解码依赖于其左右相邻的时间预测视点(即参考视点)，然后对预测的准确度进行判断，若时间预测方式准确度最高，则仅生成时间预测方式的码流，否则生成3个预测方式的码流。

图3a、图3b为由图4所示的基本单元结构叠加而成的块基多视点视频编码的预测编码结构，多个基本单元结构在视点轴上并列放置，相邻基本单元结构之间可以如图3a所示有1个时间预测视点重叠，即左右相邻的2个基本单元结构中的左基本单元结构的右边时间预测视点和右基本单元结构的左边时间预测视点为同一个视点，也可以如图3b所示互不重叠。在时间轴上，对于时间预测视点可采取任意的视点内预测方式(即与传统单视点视频编码类似的仅有时间预测的方式)，每个时间预测视点生成1个码流。混合预测视点的时间预测方式与时间预测视点的时间预测方式相同，但增加了左视点预测和右视点预测，这2个视点间预测分别参考该混合预测视点相邻的左右2个时间预测视点中与混合预测视点当前帧同一时刻的帧。如图3a、图3b所示，混合预测视点的预测有三种方式：第一种是水平实线箭头所指示的由其左边的视点进行视点间预测，同时采取垂直实线箭头所指示的时间预测的方式，称为时间预测+左视点预测方式；第二种是水平虚线箭头所指示的由其右边的视点进行视点间预测，同时采取垂直实线箭头所指示的时间预测的方式，称为时间预测+右视点预测方式；第三种是与时间预测视点相同的仅采用时间预测而不进行视点间预测的方式，称为时间预测方式。这三种预测方式将各自以不同的预测方式编码产生1个码流，即每个混合预测视点最多有3个码流；但当时间预测方式的预测结果最为准确时，则仅生成并保留时间预测方式得到的码流，而不生成另外2个预测方式的码流，即此时该混合预测视点仅有唯一的1个以时间预测方式编码得到的码流。

图5为由图6所示的基本单元结构叠加而成的多视点视频序列1个图像组GOP(Group of Pictures)的预测编码结构，图中箭头所指的图像帧为参考图像帧，1个图像组由N个视点M个时刻的共计N×M帧图像构成。该结构通过增加多视点视频节目的存储容量来减少节目网络传输的码率，降低系统对于网络带宽的需求。图5中各个视点在时域上都采用分级编码结构。其中，S0、S2、S4、S6为时间预测视点，仅采用基于时间预测的视点间独立的编码方式，每个时间预测视点仅生成1个码流，这4个视点的解码不依赖于任何其它视点，即观看这4个视点中的任何1个视点仅需要传输该视点自身的码流即可；S1、S3、S5、S7为混合预测视点，这4个视点除时间预测方式外，还有时间预测+左视点预测方式和时间预测+右视点预测方式，其中视点S7是一个特殊情况，它仅有一个参考视点，即视点S6，而S1、S3、S5则分别参考其左右相邻的2个时间预测视点。图5中的混合预测视点的时间预测+左视点预测方式、时间预测+右视点预测方式和时间预测方式分别如图7a、7b、7c所示。其中混合预测视点中的P帧可以按帧内预测编码方式编码，即将该P帧变为I帧；也可以通过采用H.264中的SP帧技术由该混合预测视点的左右2个相邻的时间预测视点中与该P帧同一时刻的2个I帧进行视点间预测来对该P帧进行预测编码。图5中的S1、S3、S5、S7混合预测视点中的B3帧具有时间预测+左视点预测方式、时间预测+右视点预测方式和时间预测方式，针对三种不同的预测方式其参考方式可以采用如图8a、图8b、图8c所示的第一种参考方式。每个混合预测视点的B3帧的如图8a所示的时间预测+左视点预测方式的第一种参考方式和如图8b所示的时间预测+右视点预测方式的第一种参考方式分别有3个参考帧，图8c所示的时间预测方式的第一种参考方式有2个参考帧。以宏块为单位对混合预测视点的B3帧编码，对于平坦区域，宏块即为最小编码单位，对于非平坦区域，宏块可进一步分割成若干子块。对宏块或其子块分别进行以第1和2帧为参考帧的时间预测，以及以第3和4帧为参考帧的视点间预测。如果以第1和第2帧为参考的预测结果最为准确，则生成该宏块或其子块的唯一的以时间预测方式得到的码流，该码流的预测方式标志位为11；如果以第3或第4帧为参考的预测结果最为准确，则生成该宏块或其子块的分别以时间预测+左视点预测、时间预测+右视点预测和时间预测得到的3个码流，其对应的预测方式标志位分别为10、01和00，即由第3帧作为参考帧进行视点间预测生成的码流放入时间预测+左视点预测码流，由第4帧作为参考帧进行视点间预测生成的码流放入时间预测+右视点预测码流，而由第1帧或第2帧作为参考帧进行时间预测生成的码流放入时间预测码流。图5中的S1、S3、S5、S7混合预测视点的B3帧的参考方式也可以采用如图9a、图9b、图9c所示的第二种参考方式或如图10a、图10b、图10c所示的第三种参考方式，此时，每个混合预测视点的B3帧的如图9a、图10a所示的时间预测+左视点预测方式的参考方式和如图9b、图10b所示的时间预测+右视点预测方式的参考方式各自分别只有2个参考帧，图9c和图10c所示的时间预测方式的参考方式与图8c所示的时间预测方式的参考方式一致。

视点可分解的结构式码流采用如图11所示的层次结构，由多视点视频序列、图像组、视点和视差场、图像帧、片、宏块及子块七个层次组成，1个多视点视频序列码流以图像组为单位，多视点视频序列头信息中包含多视点视频格式、图像组等结构标志信息，结构为：

每个图像组由各视点视频信号码流和相邻关联视点视差场码流交替组成，图像组中的头信息包含图像组内预测参考方式等标志信息：

1个图像组内同一视点图像帧的码流以其视点内的预测顺序组织在一起，视点的头信息包含该视点的类型(时间预测视点或混合预测视点)和预测方式信息，各视点码流形式如下：

1个图像帧以片为单位进行组织，图像帧的头信息包含量化步长等信息：

1个片由整数个宏块组成，片的头信息包含片编号等信息：

对于时间预测视点，其宏块码流形式为：

对于混合预测视点，当1个宏块的预测准确度最高的预测为时间预测时，该宏块只有1个预测方式标志位为11的由时间预测得到的码流：

当1个宏块的预测准确度最高的预测不是时间预测时，该宏块有3个码流，分别为预测方式标志位为10的由时间预测+左视点预测得到的码流、预测方式标志位为01的由时间预测+右视点预测得到的码流以及预测方式标志位为00的由时间预测得到的码流：

宏块的头信息包含宏块地址、宏块类型和宏块量化步长等信息。当1个宏块分裂为多个子块时，1个宏块的码流由几个子块的码流组成。子块的码流形式如下：

子块码流根据其预测方式按子块在宏块中的位置顺序嵌入宏块码流对应预测方式下的码流中。

3、部分码流选择与传输模块：该模块根据交互反馈的用户端视点选择情况以及用户端显示设备类型信息，从视点可分解的结构式码流中截取合适的视点视频信号码流和可能需要的视差场码流通过网络进行传输。

当用户端显示设备类型为单目显示器时，如果用户端所选择的视点是实际存在的视点，则按图像组顺序选取各图像组中相应视点码流。对于时间预测视点，该码流是唯一的；对于混合预测视点，在宏块或子块级码流上，选取预测方式标志位为11或00的时间预测方式得到的码流。而如果用户端所选择的视点是虚拟视点时，则按图像组顺序选取各图像组中该虚拟视点左右2侧最为邻近的2个实际存在的视点码流以及这1对视点之间的视差场码流。在混合预测视点的宏块或子块级码流选取上，以这对视点中时间预测视点相对于该混合预测视点的位置来选取码流，即如果对应宏块或子块码流的预测方式标志位为11，表明该宏块或子块只有唯一的1个码流，因此传输该宏块或子块的这个唯一的码流，而如果对应宏块或子块码流的预测方式标志位不是11，则若时间预测视点在该混合预测视点的左边就选预测方式标志位为10的码流，若时间预测视点在其右边就选预测方式标志位为01的码流。

当用户端显示设备类型为立体(双目)显示时，如果用户端所选择的1对视点是实际存在的2个视点，则码流截取与传输方式与上述单目虚拟视点显示时的方式相同。如果用户端所选择的1对视点中2个均是虚拟视点时，则每个视点参照上述单目虚拟视点的方式。如果用户端所选择的1对视点中1个是实际存在的视点，1个是虚拟视点，则实际存在视点的码流截取与传输方式与上述单目实际存在视点的方式相同，虚拟视点的码流截取与传输方式与上述单目虚拟视点的方式相同。

4、视点解码模块：该模块接收到多视点视频信号的结构式码流，并对结构式码流进行解码以获得绘制用户所选择视点视频图像的视频信号和相应的关联视点视差场。

5、任意视点绘制模块：该模块利用解码视频信号和关联视点视差场信息绘制用户所选择视点的视频图像。如果用户所选择的视点为实际存在的视点，则将由视点解码模块解码得到的该视点信号直接提交给视频显示模块进行显示即可；如果用户所选择的视点为虚拟视点，则由视点绘制模块根据解码得到的视点信号和关联视点视差场绘制该虚拟视点信号。

在用户端虚拟视点绘制上，如果解码得到的是完全像素级分辨率视差场，用户端无需进一步对该视差场进行求精，而直接用于快速、低复杂度的任意视点绘制。如果解码得到的是非完全像素级分辨率视差场，则以非完全像素级分辨率视差场按其分辨率与完全像素级分辨率视差场分辨率比例关系得到完全像素级分辨率视差场中某像素(x，y)的视差值d作为该像素的初始视差值，然后在小搜索范围[max{0，d-2}，min{max_disp，d+2}]所限定的以像素(x+d，y)为中心的水平5个搜索点内计算完全像素级分辨率视差场(x，y)处的关联视点间的精确视差值，其中max_disp为完全像素级分辨率视差场的最大视差值，对完全像素级分辨率视差场中的所有像素重复上述处理即得到完全像素级分辨率视差场。

在得到完全像素级分辨率视差场后，虚拟视点的绘制可以按如图12所示的方法进行。图中视点n和视点n+1为1对关联视点，虚拟视点位于视点n和视点n+1之间。设视点n和视点n+1之间的距离归一化表示为1，虚拟视点与视点n之间的距离由α表示，0<α<1，则虚拟视点与视点n+1之间的距离为1-α，利用视点解码模块解码得到的视点n和视点n+1的视频信号和这2个视点之间的完全像素级分辨率视差场绘制虚拟视点图像信号：

a、令视点n图像中像素(x，y)相对于视点n+1图像的视差为d，该像素(x，y)在视点n+1图像中的匹配点为(x+d，y)，该像素(x，y)相对于虚拟视点图像的视差为αd，在虚拟视点图像中的匹配点为(x+αd，y)，则如图12中双箭头所示虚拟视点图像像素(x+αd，y)的值由视点n中像素(x，y)和视点n+1中像素(x+d，y)线性插值得到，即I_α(x+αd，y)＝(1-α)I_n(x，y)+αI_n+1(x+d，y)，其中，I_α、I_n和I_n+1分别表示虚拟视点、视点n和视点n+1指定坐标处的像素点的像素值；

b、经过步骤a计算之后的虚拟视点图像中存在一些空洞，即这些空洞区域内的像素在经过步骤a处理后仍未能得到其像素值，这些区域被认为是遮挡像素，其中右遮挡是指遮挡区域的物体仅在视点n+1中可见，而在视点n中不可见，左遮挡则是指遮挡区域的物体仅在视点n可见，而在视点n+1不可见，如图13所示，对于虚拟视点图像中坐标为(x′，y′)的右遮挡像素点p，在其左右两边查找最近的非遮挡像素点a和b，a和b相对于视点n的视差分别表示为d_a和d_b，则当前遮挡点p相对于视点n的视差d_n通过下式得到 $d_n=\frac{d_b{D}_{\mathrm{pa}}+d_a{D}_{\mathrm{bp}}}{D_{\mathrm{pa}}+D_{\mathrm{bp}}},$ 式中D_pa、D_bp分别表示图13中点p和a、b和p之间的距离，该遮挡点p相对于视点n+1的视差为 $d_{n+1}=\frac{\mathrm{\&alpha;}}{1-\mathrm{\&alpha;}}{d}_n,$ 最后令当前右遮挡点p的像素值等于d_n+1所指示的视点n+1中的坐标为(x′+d_n+1，y′)的点o的像素值或点o周围若干点像素值的加权平均值；

c、对于虚拟视点图像I_α中未能在步骤a中确定像素值的左遮挡像素点q采取类似右遮挡点p的处理方法处理，左遮挡点q的像素值如图12所示由q在视点n图像中的匹配点r的像素值或点r周围若干点像素值的加权平均值得到。

6、视频显示模块：将任意视点绘制模块绘制完成的视频图像直接传输到视频显示模块进行显示，其显示设备包括单目视频(单视点视频)显示设备(如数字电视)、立体视频(双目视频)显示设备和多视点视频显示设备。

为更有效地分析和设计多视点视频编码器，对传统的、源于单视点视频编码器并用于其压缩性能评价的率失真模型进行了修正。传统的视频编码器的率失真模型反映视频编码器的编码失真D(R_coding)与编码码率R_coding的关系，即D(R_coding)～R_coding；该率失真性能模型与交互式多视点传输联系不够密切。而传输率失真性能模型是指在网络无失真传输下，建立用户端解码某个视点平均需要传输视频码流的带宽L_transmit与解码失真D(L_transmit)的关系，即D(L_transmit)～L_transmit。它反映在给定的解码视频信号质量下解码显示多视点视频一个视点视频信号时所需传输的平均码率，或者是在给定的解码显示多视点视频一个视点视频信号时所需传输的平均码率下的解码视频信号的质量。在给定的解码视频信号质量下解码显示多视点视频一个视点视频信号时所需传输的平均码率越低，说明面向用户端的交互式多视点视频系统对于传输带宽的要求越低，在给定网络带宽的条件下系统能传输更多的节目，服务更多的用户；在给定的解码显示多视点视频一个视点视频信号时所需传输的平均码率下的解码视频信号的质量(信噪比)越高，说明面向用户端的交互式多视点视频系统在相同传输带宽下能提供更高质量的多视点视频信号。

以下就本发明的传输率失真性能进行比较说明。

针对面向用户端的交互式多视点立体视频的应用(即用户端显示设备为立体显示方式)，基于H.264平台对现有的Simucast、HBP、IPP多视点视点编码方案的分别如图15、图16和图17所示的预测编码结构与本发明如图5所示的预测编码结构进行了实验，图14为这四种多视点视频编码结构的传输率失真曲线图。实验采用的测试序列为ballroom，量化参数分别为QP＝24、28、32、36，整个序列共有11个GOP，每个GOP有8个视点，时域上有9个时刻，前后2个GOP头尾相接，即前1个GOP的第T8时刻就是后1个GOP的第T0时刻，整个多视点视频序列共有712帧。由图14可见，本发明的传输率失真性能明显优于Simucast、HBP、IPP方案的传输率失真性能，即为获取相同质量的立体视频信号，本发明的一种交互式多视点视频系统的图像信号处理方法所传输的立体视频信号码率明显小于Simucast、HBP、IPP方案下所需传输的码率，或者也可以说在给定传输带宽的前提下本发明所能提供的立体视频信号质量优于Simucast、HBP、IPP方案所能提供的立体视频信号质量。

显而易见，交互式多视点视频系统及其内部各模块不仅限于本实施例的形式，因此在不背离权利要求及同等范围所限定的一般概念的精神和范围的情况下，本发明的一种交互式多视点视频系统的图像信号处理方法并不限于特定的细节和这里示出与描述的示例。

Claims (8)

1、一种交互式多视点视频系统的图像信号处理方法，由系统服务端的多视点视频成像模块、集成的多视点视频编码模块和部分码流选择与传输模块以及系统用户端的视点解码模块、任意视点绘制模块和视频显示模块来完成图像信号的采集、编码、传输、解码、绘制与显示，用户端将用户选择的视点和显示设备类型信息传输给服务端的部分码流选择与传输模块，部分码流选择与传输模块根据接收到的信息从集成的多视点视频编码模块生成的视点可分解的结构式码流中分离出绘制用户所选视点图像所需的视频数据和视差场信息并将其通过网络传输给视点解码模块进行解码，其特征在于在所述的集成的多视点视频编码模块中进行多视点图像色彩校正、关联视点视差场估计与编码、块基多视点视频编码和视点可分解的结构式码流生成，具体步骤为：

(1)由多视点视频成像模块中的多个可同步拍摄的相机获取多个视点的视频信号，并向集成的多视点视频编码模块传输多视点视频信号；

(2)集成的多视点视频编码模块接收多视点视频成像模块采集的多视点视频信号，对多视点视频信号进行多视点图像色彩校正、关联视点视差场估计与编码、块基多视点视频编码，并将生成的关联视点视差场与多视点视频信号的视点可分解的结构式码流存储于服务端的存储器或者传输给用户端的视点解码模块；

(3)部分码流选择与传输模块根据交互反馈的用户端视点选择情况以及用户端显示设备类型信息，从视点可分解的结构式码流中截取绘制用户所选视点图像所需的视点视频信号和关联视点视差场码流通过网络进行传输；

(4)用户端视点解码模块接收到多视点视频信号和关联视点视差场码流，并对该码流进行解码；

(5)若用户所选择的视点为实际存在的视点，则将由视点解码模块解码得到的视点信号直接传输给视频显示模块进行显示；若用户选择的视点为虚拟视点，则由任意视点绘制模块根据视点解码模块解码得到的视点信号和视差场绘制虚拟视点，再传输给视频显示模块进行显示。

2、如权利要求1所述的一种交互式多视点视频系统的图像信号处理方法，其特征在于所述的多视点图像色彩校正方法为：

(1)分别提取参考视点图像和待校正视点图像的边缘纹理或反映边缘和纹理特征的特征点作为边缘纹理信息；

(2)利用所提取的边缘纹理信息进行参考视点图像和待校正视点图像间的区域匹配，得到参考视点图像和待校正视点图像间的视差信息；

区域匹配通过将图像分割成若干图像块，再以图像块为单位进行匹配来实现，或通过对图像的边缘纹理丰富区域进行匹配，然后采用插值的方法得到非边缘纹理丰富区域的匹配关系来实现；

(3)利用视差信息确定图像的近景区域与远景区域，以远景区域作为参照区域求取待校正视点图像的色度和亮度的校正参数，并用这些校正参数对整幅待校正视点图像进行色度和亮度的校正。

3、如权利要求2所述的一种交互式多视点视频系统的图像信号处理方法，其特征在于所述的关联视点视差场估计与编码实现步骤为：

(1)将相邻的两两视点作为关联视点；

(2)根据多视点图像间的色彩校正过程中所得到的视差信息计算所有两两关联视点之间的视差场，得到精确的完全像素级分辨率视差场或者较为精细的非完全像素级分辨率视差场，任意两两关联视点视差场的参考方向与块基多视点视频编码所采用的预测编码结构中这两个关联视点的预测参考方向一致；在此，完全像素级分辨率视差场是指根据图像分辨率为W×H的左右视点图像估计得到的相同分辨率W×H的视差场，非完全像素级分辨率视差场是指根据图像分辨率为W×H的左右视点图像估计得到的分辨率低于W×H的视差场，或者以多分辨率块方式构成的视差场；

(3)对关联视点视差场进行编码，生成关联视点视差场的结构式码流并预存储于服务端的存储器。

4、如权利要求1所述的一种交互式多视点视频系统的图像信号处理方法，其特征在于所述的块基多视点视频编码是根据与显示设备类型对应的预测编码结构，预先对多视点视频信号进行编码，得到多个不同预测编码结构的视点视频信号码流，然后将不同预测编码结构的视点视频信号码流组成多视点视频信号的视点可分解的结构式码流并预存储于服务端的存储器。

5、如权利要求4所述的一种交互式多视点视频系统的图像信号处理方法，其特征在于所述的块基多视点视频编码的预测编码结构由基本单元结构叠加而成，所述的基本单元结构由位于左右两边的2个时间预测视点和位于中间的1个混合预测视点构成，每个视点由若干个连续时刻的图像帧所组成，所述的时间预测视点的预测方式是对视点内各帧仅在本视点内部进行预测编码，生成由时间预测编码得到的码流，所述的混合预测视点的预测方式是采用时间预测+左视点预测方式、时间预测+右视点预测方式和时间预测方式分别对视点内的图像帧在视点内部及视点间进行预测编码，此处，符号+表示两者的结合，然后对预测的准确度进行判断，若时间预测方式准确度最高，则仅生成由时间预测编码得到的码流，否则生成3个预测方式的码流，所述的由基本单元结构叠加构成预测编码结构的方式如下：将多个基本单元结构在视点轴上并列放置，相邻的2个基本单元结构有1个时间预测视点是重叠的，左右相邻的2个基本单元结构中的左基本单元结构的右边时间预测视点和右基本单元结构的左边时间预测视点为同一个视点，或者并列放置的相邻的2个基本单元结构互不重叠。

6、如权利要求1所述的一种交互式多视点视频系统的图像信号处理方法，其特征在于所述的视点可分解的结构式码流采用层次结构，由多视点视频序列、图像组、视点和视差场、图像帧、片、宏块及子块七个层次组成，1个多视点视频序列码流以图像组为单位，每个图像组的结构由各视点视频信号码流和相邻关联视点视差场码流交替组成，其码流形式为：

1个图像组内同一视点图像帧的码流按其视点内的预测顺序组织在一起，1个图像帧由若干片组成，1个片由若干宏块组成，对于时间预测视点，其宏块码流形式为：

对于混合预测视点，若1个宏块的时间预测方式准确度最高，则该宏块码流形式为：

其中11为预测方式标志位；否则该宏块码流形式为：

其中预测方式标志位10标识时间预测+左视点预测得到的码流，01标识时间预测+右视点预测得到的码流，00标识由时间预测得到的码流，此处，符号+表示两者的结合，1个宏块由多个子块组成，子块码流根据其预测方式按子块在宏块中的位置顺序嵌入宏块码流对应预测方式下的码流中，子块的码流形式为：

7、如权利要求1所述的一种交互式多视点视频系统的图像信号处理方法，其特征在于所述的部分码流选择与传输模块根据用户端显示设备的不同通过网络按以下不同的方式进行传输：

(1)若用户端显示设备为单目显示器，或者为多视点视频显示器且用户选择某1个实际存在的单目视点观看，则将用户所需视点的时间预测码流从视点可分解的结构式码流中截取出来并传输给用户端视点解码模块；

(2)若用户端显示设备为立体显示器，则直接截取用户所选择的2个视点的码流进行传输，这2个视点一个为时间预测视点，其时间预测码流将被传输，一个为混合预测视点，若该混合预测视点图像帧的宏块码流的预测方式标志位为11，则选取该码流进行传输，否则，参考要传输的2个视点中的时间预测视点相对于该混合预测视点的位置来决定要传输的码流，若时间预测视点位于该混合预测视点左侧，则选取该宏块的预测方式标志位为10的码流，若时间预测视点位于该混合预测视点右侧，则选取该宏块的预测方式标志位为01的码流；

(3)若用户所选的视点为实际并不存在的虚拟视点，则从视点可分解的结构式码流中截取该虚拟视点左右最为邻近的2个实际存在的视点视频信号码流和它们之间的关联视点视差场码流进行传输，这2个实际存在视点的视点视频信号码流的截取方式与方式(2)相同。

8、如权利要求1所述的一种交互式多视点视频系统的图像信号处理方法，其特征在于所述的任意视点绘制模块实现步骤为：

(1)若视点解码模块解码得到的是完全像素级分辨率视差场，则直接执行步骤(2)；若视点解码模块解码得到的是非完全像素级分辨率视差场，则以非完全像素级分辨率视差场按其分辨率与完全像素级分辨率视差场分辨率比例关系得到完全像素级分辨率视差场中某像素(x，y)的视差值d作为该像素的初始视差值，然后在小搜索范围[max{0，d-2}，min{max_disp，d+2}]所限定的以像素(x+d，y)为中心的水平5个搜索点内计算完全像素级分辨率视差场(x，y)处的关联视点间的精确视差值，其中max_disp为完全像素级分辨率视差场的最大视差值，对完全像素级分辨率视差场中的所有像素重复上述处理即得到完全像素级分辨率视差场；

(2)令视点n和视点n+1为1对关联视点，它们之间的距离归一化表示为1，虚拟视点位于视点n和视点n+1之间，虚拟视点与视点n之间的距离以α表示，0<α<1，虚拟视点与视点n+1之间的距离为1-α，利用视点解码模块解码得到的视点n和视点n+1的视频信号和这2个视点之间的完全像素级分辨率视差场绘制虚拟视点图像信号：

a、令视点n图像中像素(x，y)相对于视点n+1图像的视差为d，该像素(x，y)在视点n+1图像中的匹配点为(x+d，y)，该像素(x，y)相对于虚拟视点图像的视差为αd，在虚拟视点图像中的匹配点为(x+αd，y)，则虚拟视点图像像素(x+αd，y)的值由视点n中像素(x，y)和视点n+1中像素(x+d，y)线性插值得到，即I_α(x+αd，y)＝(1-α)I_n(x，y)+α_In+1(x+d，y)，其中，I_α、I_n和I_n+1分别表示虚拟视点、视点n和视点n+1指定坐标处的像素点的像素值；

b、对于虚拟视点图像I_α中未能在步骤a中确定像素值的坐标为(x′，y′)的右遮挡像素点p，使其像素值I_α(x′，y′)等于视点n+1图像中的点(x′+d_n+1，y′)的像素值或点(x′+d_n+1，y′)周围若干点像素值的加权平均值， $d_{n+1}=\frac{\mathrm{\&alpha;}}{1-\mathrm{\&alpha;}}{d}_n$ ，为p相对于视点n+1的视差， $d_n=\frac{d_b{D}_{\mathrm{pa}}+d_a{D}_{\mathrm{bp}}}{D_{\mathrm{pa}}+D_{\mathrm{bp}}},$ 为p相对于视点n的视差，a、b分别表示虚拟视点图像I_α中与p同一行的左右两边最近的非遮挡像素点，a、b相对于视点n的视差分别表示为d_a和d_b，D_pa、D_bp分别表示点p和a、b和p之间的距离；

c、对于虚拟视点图像I_α中未能在步骤a中确定像素值的左遮挡像素点q采取类似右遮挡点p的处理方法处理，q的像素值由q在视点n图像中的匹配点的像素值或其周围若干点像素值的加权平均值得到。

Images