CN101404765B - 一种交互式多视点视频编码方法 - Google Patents

Abstract

本发明公开了一种交互式多视点视频编码方法，通过在编码过程中抛弃所有P帧的色度分量，提高多视点视频的编码压缩效率和编码速度，降低服务端向用户端传输编码码流的传输量；利用相邻帧的运动矢量信息对所有P帧进行颜色化操作，较为精确地重构出P帧的色度分量信息；在用户端利用视差矢量信息来计算乘性误差和加性误差，从而利用乘性误差和加性误差实现对解码并重构后得到的图像进行颜色校正，既保证了视点间的颜色一致性，又实现了交互式多视点视频应用。

Description

一种交互式多视点视频编码方法 

技术领域

本发明涉及一种视频的处理方法，尤其是涉及一种交互式多视点视频编码方法。 

背景技术

交互式多视点视频系统能够给用户提供多个视角的视频内容，用户可以根据个人的喜好选择视角，并在观看过程中随意改变欣赏视角。因此，对于交互式多视点视频系统来说，其基本目标是有效地实现用户端与服务端的视点交互。通常，交互式多视点视频系统如图1所示，由以下几个部分组成：视频捕获、预处理、多视点视频编码器、多视点视频解码器、视点绘制和显示部分。视频捕获通常由具有n+1个相机(或摄像机)的多视点相机系统实现，图2给出了多视点相机系统成像示意图，n+1个相机(或摄像机)被平行地放置。由于在多视点视频捕获过程中各相机的场景光照、相机标定、CCD噪声、快门速度和曝光等要素不一致，会导致采集的各视点间可能存在亮度或色度差异。因此，为了得到更好的编码性能和虚拟视点绘制效果，需要在进行多视点视频编码前加入颜色校正作为预处理过程。此外，一般情况下服务端无法提供给用户足够多视角的视频内容，因此用户端就需要利用解码视点信息绘制出虚拟视点视频内容，以满足用户多变的要求。 

面向用户端的交互式多视点视频系统的目的是为了满足用户最大限度的自主性，因此，实现用户端与服务端之间的高效交互操作以满足用户的选择需求是面向用户端的交互式多视点视频系统最基本也是最主要的任务，而降低多视点视频的网络传输是实现用户端与服务端高效交互的一个重要因素。针对交互式多视点视频系统中的多视点视频编码，目前除了通过改变预测结构来提高编码效率降低多视点视频的网络传输外，也推荐采用亮度补偿方法。亮度补偿方法通过对编码宏块加权预测来补偿视差估计和补偿预测残差，从而提高编码压缩效率，但是采用这种方法，编码压缩效率的提高被限制在一定的范围内，仍不能较好地实现用户端与服务端的高效交互。 

发明内容

本发明所要解决的技术问题是提供一种能够有效地提高多视点视频的编码效率，较好地实现用户端与服务端的高效交互的交互式多视点视频编码方法。

本发明解决上述技术问题所采用的技术方案为：一种交互式多视点视频编码方法，包括以下步骤：(1)、根据设定的编码预测结构，对由具有n+1个相机的多视点相机系统在同一时刻拍摄得到的颜色空间为YUV的多视点视频，在时域上以具有1个I帧和多个P帧的帧组为编码单元进行编码处理，得到包含有运动矢量的编码码流；(2)、将多视点视频的n+1个视点中任意相邻的两个视点作为两两关联视点，将两两关联视点中的前一个视点图像记为参考图像，将两两关联视点中的后一个视点图像记为源图像，对参考图像和源图像进行视差估计得到两两关联视点间的视差矢量，并对两两关联视点间的视差矢量进行压缩得到视差矢量码流；(3)、服务端根据用户端的任意视点选择，将用户端任意所选视点相应的两两关联视点中各视点的编码码流及两两关联视点间的视差矢量码流通过网络传输给用户端；(4)、用户端接收到服务端发送来的编码码流和视差矢量码流后，对编码码流和视差矢量码流进行解码得到两两关联视点中各视点的包含有运动矢量的视频数据和两两关联视点间的视差矢量；所述的YUV颜色空间的三个分量的第1个分量为亮度分量记为Y、第2个分量为第一色度分量记为U和第3个分量为第二色度分量记为V，所述的步骤(1)中对多视点视频进行编码处理过程中，对I帧的第1个分量Y、第2个分量U、第3个分量V进行编码处理，对所有P帧仅对第1个分量Y进行编码处理；并在所述的步骤(4)处理完毕后，利用解码得到的两两关联视点中各视点的视频数据和两两关联视点间的视差矢量，对两两关联视点中各视点进行包括颜色化操作、颜色传递操作及颜色校正处理的后处理，通过颜色化操作重构出所有P帧的第一色度分量和第二色度分量，然后通过颜色传递操作对重构后的图像进行颜色全局优化，再对颜色传递操作后的图像进行颜色校正处理实现各视点间颜色的一致性。 

所述的后处理包括以下具体步骤： 

①利用相邻帧的运动矢量对两两关联视点中各视点的所有P帧进行颜色化操作，重构得到所有P帧的第2个分量U和第3个分量V； 

②定义两两关联视点中每个视点的一帧组中的I帧为参考帧，利用参考帧对该帧组中重构后的所有P帧进行颜色传递操作；定义当前正在处理的P帧为当前帧，根据参考帧各个分量的均值

和标准差

及当前帧各个分量的均值

和标准差

通过  $I_i^T(x,y)=\frac{{\mathrm{\σ}}_i^R}{{\mathrm{\σ}}_i^C}(I_i^C(x,y)-{\mathrm{\μ}}_i^C)+{\mathrm{\μ}}_i^R$ 对当前帧的第1分量Y、第2个分量U和第3个分量V进行颜色传递操作得到颜色传递后的校正图像，其中，

为当前帧的第i个分量的颜色值，

为颜色传递后的校正图像的第i个分量的颜色值，i＝1，2，3；将下一个P帧作为当前帧，并以前一个P帧的颜色化传递操作方法对该当前帧进行相同的颜色传递操作，直至该帧组中的所有P帧处理完毕； 

③将经过步骤②处理后的两两关联视点中各视点的视频数据从YUV颜色空间转换 到RGB颜色空间，  $\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}1.0& 0.0& 1.402\\ 1.0& -0.34414& -0.71414\\ 1.0& 1.772& 0.0\end{array}\right]\left[\begin{array}{c}Y\\ U\\ V\end{array}\right],$ 其中，R为RGB颜色空间的三个颜色分量的第1个颜色分量，G为第2个颜色分量，B为第3个颜色分量； 

④根据两两关联视点间的视差矢量，通过  $({\mathrm{\α}}_{\mathrm{wj}},{\mathrm{\β}}_w)=\arg \underset{{\mathrm{\α}}_{\mathrm{wj}},{\mathrm{\β}}_w}{\min }\underset{d_x,d_y\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(({\mathrm{\β}}_w+\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{wj}}{I}_j^S(x,y))-I_w^R(x+d_x,y+d_y))}^2$ 对两两关联视点中的源图像和参考图像的第w个颜色分量的均方误差进行最小化处理，计算得到两两关联视点中的源图像的第w个颜色分量的乘性误差α_wj和加性误差β_w，其中，Ω为两两关联视点间的视差矢量(d_x，d_y)的集合，

为源图像第j个颜色分量的颜色值，

为参考图像第w个颜色分量的颜色值，j，w＝1，2，3； 

⑤根据源图像的第w个颜色分量的乘性误差α_wj和加性误差β_w，通过  $I_w^C(x,y)=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{wj}}{I}_j^S(x,y)+{\mathrm{\β}}_w$ 对源图像中每个像素的各个颜色分量进行颜色校正操作得到颜色校正后的校正图像，其中，

为源图像第j个颜色分量的颜色值，

为颜色校正后的校正图像第w个颜色分量的颜色值，j，w＝1，2，3。 

所述的步骤①中的颜色化操作的具体过程为：①-1、定义两两关联视点中每个视点的一帧组中的I帧为初始参考帧，定义该帧组中的第一个P帧为当前P帧，令初始参考帧中包含有对当前P帧进行颜色化操作所需的所有颜色信息；①-2、根据当前P帧到初始参考帧的运动矢量，判断当前P帧中的像素s与初始参考帧中与像素s相对应的像素r的亮度分量是否相同，如果像素s与像素r的亮度分量相同，则确定像素s的第一色度分量和第二色度分量分别与像素r的第一色度分量和第二色度分量相同，否则，假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系，U(s)＝aY(s)+b，V(s)＝cY(s)+d，通过计算当前P帧中的像素s的第一色度分量的最小成本J(U)和第二色度分量的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s)，  $J\left(U\right)=\underset{s}{\mathrm{\Σ}}{(U\left(s\right)-\underset{r\∈N\left(s\right)}{\mathrm{\Σ}}{w}_{\mathrm{sr}}U\left(r\right))}^2,$ $J\left(V\right)=\underset{s}{\mathrm{\Σ}}{(V\left(s\right)-\underset{r\∈N\left(s\right)}{\mathrm{\Σ}}{w}_{\mathrm{sr}}V\left(r\right))}^2,$ 其中，U(r)为像素r的第一色度分量，V(r)为像素r的第二色度分量，a、b和c、d分别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数，w_sr为加权参数，  $w_{\mathrm{sr}}\∝e^{-{(Y\left(s\right)-Y\left(r\right))}^2/2{\mathrm{\σ}}_s^2},$ Y(r)为像素r的亮度分量，N(s)为以像素s为中心的邻域窗口，σ_s为像素s的亮度分量Y(s)在邻域窗口N(s)的标准差；①-3、对于该帧组中的下一个P帧，定义该P帧为当前P帧，定义前一个P帧为初始参考帧，利用步骤①-2相同的方法重构当前P帧的第一色度分量和第二色度分量，直至该帧组中的所有P帧重构完毕。 

所述的步骤(2)中对参考图像和源图像进行视差估计的方法为：a1.将参考图像记为R，将源图像记为S；a2.将源图像S划分成具有相同尺寸大小的第一宏块，定义当前正在处理的第一宏块为当前第一宏块，取当前第一宏块中任意一个像素点作为参考像素点，在参考图像R中以与参考像素点对应的像素点为中心点确定宏块搜索范围；a3.利用参考图像R和源图像S的亮度分量，通过计算均值移除绝对差 

在宏块搜索范围中搜索得到当前第一宏块匹配的最佳匹配宏块，其中，M为当前第一宏块的水平大小，N为当前第一宏块的垂直大小，M×N为当前第一宏块的尺寸大小，(m，n)为当前第一宏块的起始坐标位置，S(p，q)为源图像S中坐标为(p，q)的像素点的亮度分量，R(p，q)为参考图像R中坐标为(p，q)的像素点的亮度分量，μ_s为当前第一宏块的亮度分量的均值，μ_r为最佳匹配宏块的亮度分量的均值，e为最佳匹配宏块到当前第一宏块的水平方向偏移量，f为最佳匹配宏块到当前第一宏块的垂直方向偏移量；a4.以相同的搜索方法利用该最佳匹配宏块在源图像S中进行反向搜索得到最佳匹配宏块匹配的最佳第一宏块；a5.将当前第一宏块到最佳匹配宏块的偏移量和最佳匹配宏块到最佳第一宏块的偏移量分别作为源图像S到参考图像R的视差矢量和参考图像R到源图像S的视差矢量；a6.判断两者的视差矢量偏移是否小于2个像素，如果是，则确定当前第一宏块与最佳匹配宏块为匹配宏块对，并得到两两关联视点间的视差矢量；否则，确定当前第一宏块与最佳匹配宏块为非匹配宏块对，再将当前第一宏块划分成具有相同尺寸大小的第二宏块，定义当前正在处理的第二宏块为当前第二宏块，采用与当前第一宏块相同的匹配方法进行双向匹配操作，获取匹配宏块对，如果为非匹配宏块对，则继续将当前第二宏块划分成具有相同尺寸大小的第三宏块，定义当前正在处理的第三宏块为当前第三宏块，采用与当前第一宏块相同的匹配方法进行双向匹配操作，获取匹配宏块对。 

所述的第一宏块的尺寸大小为16×16，所述的第二宏块的尺寸大小为8×8，所述的第三宏块的尺寸大小为4×4。 

与现有技术相比，本发明的优点在于： 

1)本发明方法通过在编码过程中抛弃所有P帧的色度分量，提高了多视点视频的编码压缩效率和编码速度，降低了服务端向用户端传输编码码流的传输量，从而较好地实现了用户端与服务端的高效交互； 

2)本发明利用相邻帧的运动矢量信息对所有P帧进行颜色化操作，能较为精确地重构出P帧的色度分量信息； 

3)本发明利用颜色传递操作对颜色化操作后得到的重构图像进行颜色全局优化，有效避免了经颜色化操作后得到的重构图像在某些局部区域可能会出现错误的颜色信息的现象； 

4)本发明在用户端利用视差矢量信息来计算乘性误差和加性误差，从而利用乘性误差和加性误差实现对解码并重构后得到的图像进行颜色校正，既保证了视点间的颜色一致性，又实现了交互式多视点视频应用。 

附图说明

图1为交互式多视点视频系统示意图； 

图2为多视点相机系统成像示意图； 

图3为本发明方法的流程示意图； 

图4为本发明采用的Simulcast编码预测结构的框架示意图； 

图5a为“flamencol”多视点测试集的第1个视点的I帧解码图像； 

图5b为“flamencol”多视点测试集的第1个视点的P帧色度分量丢失的解码图像； 

图5c为图5b的解码图像经本发明颜色化操作和颜色传递后得到的重构图像； 

图5d为“flamencol”多视点测试集的第1个视点的P帧真实的色度分量保留的解码图像； 

图6a为“flamencol”多视点测试集的第2个视点的I帧解码图像； 

图6b为“flamencol”多视点测试集的第2个视点的P帧色度分量丢失的解码图像； 

图6c为图6b的解码图像经本发明颜色化操作和颜色传递后得到的重构图像； 

图6d为“flamencol”多视点测试集的第2个视点的P帧真实的色度分量保留的解码图像； 

图7a为“objects2”多视点测试集的第1个视点的I帧解码图像； 

图7b为“objects2”多视点测试集的第1个视点的P帧色度分量丢失的解码图像； 

图7c为图7b的解码图像经本发明颜色化操作和颜色传递后得到的重构图像； 

图7d为“objects2”多视点测试集的第1个视点的P帧真实的色度分量保留的解码图像； 

图8a为“objects2”多视点测试集的第2个视点的I帧解码图像； 

图8b为“objects2”多视点测试集的第2个视点的P帧色度分量丢失的解码图像； 

图8c为图8b的解码图像经本发明颜色化操作和颜色传递后得到的重构图像； 

图8d为“objects2”多视点测试集的第2个视点的P帧真实的色度分量保留的解码图像； 

图9a为图6a的重构图像经本发明的颜色校正处理后得到的校正图像； 

图9b为图6c的解码图像经本发明的颜色校正处理后得到的校正图像； 

图10a为图8a的重构图像经本发明的颜色校正处理后得到的校正图像；

图10b为图8c的解码图像进本发明的颜色校正处理后得到的校正图像。 

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。 

如图3所示，一种交互式多视点视频编码方法，具体步骤如下： 

(1)、首先根据设定的编码预测结构，对由具有n+1个相机的多视点相机系统在同一时刻拍摄得到的多视点视频，在时域上以具有1个I帧和多个P帧的帧组为编码单元进行编码处理，得到包含有运动矢量的编码码流。 

拍摄得到的多视点视频的数据格式为YUV(4:2:0)，即多视点视频数据的颜色空间为YUV，YUV颜色空间的三个分量的第1个分量为亮度分量记为Y、第2个分量为第一色度分量记为U和第3个分量为第二色度分量记为V。在对多视点视频进行编码处理过程中，本发明对I帧的第1个分量Y、第2个分量U、第3个分量V进行编码处理，对所有P帧仅对第1个分量Y进行编码处理，也就是说，只保留一帧组内I帧的色度分量，而抛弃其它剩余帧的色度分量，对这些抛弃的色度分量不进行编码，对所有帧的亮度分量都进行编码。 

在此具体实施例中，设定的编码预测结构采用公知的Simulcast编码预测结构，如图4所示，Simulcast编码预测结构只在时间上进行预测，预测结构为I-P-P-P，即第一帧采用I帧编码，其它P帧都由前一帧时间预测得到，对多视点视频中的每个视点都采用相同的预测结构。 

(2)、将多视点视频的n+1个视点中任意相邻的两个视点作为两两关联视点，将两两关联视点中的前一个视点图像记为参考图像，将两两关联视点中的后一个视点图像记为源图像，对参考图像和源图像进行视差估计得到两两关联视点间的视差矢量，n+1个视点可以形成n个两两关联视点间的视差矢量，并采用现有的CABAC(Context-basedAdaptive Binary Arithmetic Coding，上下文自适应二进制算术编码)无损压缩方法对两两关联视点间的视差矢量进行压缩得到视差矢量码流。 

在此具体实施例中，对参考图像和源图像进行视差估计的方法为：a1.将参考图像记为R，将源图像记为S；a2.将源图像S划分成具有相同尺寸大小的第一宏块，定义当前正在处理的第一宏块为当前第一宏块，取当前第一宏块中任意一个像素点作为参考像素点，在参考图像R中以与参考像素点对应的像素点为中心点确定宏块搜索范围；a3.利用参考图像R和源图像S的亮度分量，通过计算均值移除绝对差  $\mathrm{MRSAD}(e,f)=\underset{p=m}{\overset{m+M-1}{\mathrm{\Σ}}}\underset{q=n}{\overset{n+N-1}{\mathrm{\Σ}}}|(S(p,q)-{\mathrm{\μ}}_s)-(R(p+e,q+f)-{\mathrm{\μ}}_r)|$ 在宏块搜索范围中搜索得到当前第一宏块匹配的最佳匹配宏块，其中，M为当前第一宏块的水平大小，N为当前第一宏块的垂直大小，M×N为当前第一宏块的尺寸大小，(m，n)为当前第一宏块的起始坐标位置，S(p，q)为源图像S中坐标为(p，q)的像素点的亮度分量，R(p，q)为参考图像R中坐标为(p，q)的像素点的亮度分量，μ_s为当前第一宏块的亮度分量的均值，μ_r为最佳匹配宏块的亮度分量的均值，e为最佳匹配宏块到当前第一宏块的水平方向偏移量，f为最佳匹配宏块到当前第一宏块的垂直方向偏移量；a4.以相同的搜索方法利用该最佳匹配宏块在源图像S中进行反向搜索得到最佳匹配宏块匹配的最佳第一宏块；a5.将当前第一宏块到最佳匹配宏块的偏移量和最佳匹配宏块到最佳第一宏块的偏移量分别作为源图像S到参考图像R的视差矢量和参考图像R到源图像S的视差矢量；a6.判断两者的视差矢量偏移是否小于2个像素，如果是，则确定当前第一宏块与最佳匹配宏块为匹配宏块对，并得到两两关联视点间的视差矢量；否则，确定当前第一宏块与最佳匹配宏块为非匹配宏块对，再将当前第一宏块划分成具有相同尺寸大小的第二宏块，定义当前正在处理的第二宏块为当前第二宏块，采用与当前第一宏块相同的匹配方法进行双向匹配操作，获取匹配宏块对，如果为非匹配宏块对，则继续将当前第二宏块划分成具有相同尺寸大小的第三宏块，定义当前正在处理的第三宏块为当前第三宏块，采用与当前第一宏块相同的匹配方法进行双向匹配操作，获取匹配宏块对。

本实施例中，第一宏块的尺寸大小为16×16，第二宏块的尺寸大小为8×8，第三宏块的尺寸大小为4×4。在此各个宏块的尺寸大小最大可以为32×32，最小可以为2×2，但在这两种情况下在宏块搜索范围内可能匹配不到最佳匹配宏块。 

在本实施例中，宏块搜索范围以中心点为中心，水平范围为[-16，16]，垂直范围为[-4，4]。 

(3)、服务端根据用户端的交互的任意视点选择，将用户端任意所选视点相应的两两关联视点中各视点的编码码流及两两关联视点间的视差矢量码流通过网络传输给用户端。 

(4)、用户端接收到服务端发送来的编码码流和视差矢量码流后，对编码码流和视差矢量码流进行解码得到两两关联视点中各视点的包含有运动矢量的视频数据和两两关联视点间的视差矢量。利用解码得到的两两关联视点中各视点的视频数据和两两关联视点间的视差矢量，对两两关联视点中各视点进行包括颜色化操作、颜色传递操作及颜色校正处理的后处理，通过颜色化操作重构出所有P帧的第一色度分量和第二色度分量，然后通过颜色传递操作对重构后的图像进行颜色全局优化，再对颜色传递操作后的图像进行颜色校正处理实现各视点间颜色的一致性。 

上述后处理的具体步骤如下： 

①利用相邻帧的运动矢量对两两关联视点中各视点的所有P帧进行颜色化操作，重构得到所有P帧的第2个分量U和第3个分量V。颜色化操作是计算机视觉中通常采用的一项技术，通常通过人工指定某些颜色线索来实现对灰度图像的颜色化。 

在此具体实施例中，颜色化操作的具体过程为：①-1、定义两两关联视点中每个视点的一帧组中的I帧为初始参考帧，定义该帧组中的第一个P帧为当前P帧，令初始参考帧中包含有对当前P帧进行颜色化操作所需的所有颜色信息；①-2、根据当前P帧到初始参考帧的运动矢量，判断当前P帧中的像素s与初始参考帧中与像素s相对应的像素r的亮度分量是否相同，如果像素s与像素r的亮度分量相同，则确定像素s的第一色度分量和第二色度分量分别与像素r的第一色度分量和第二色度分量相同，否则，假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系，U(s)＝aY(s)+b，V(s)＝cY(s)+d，通过计算当前P帧中的像素s的第一色度分量的最小成本J(U)和第二色度分量的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s)，  $J\left(U\right)=\underset{s}{\mathrm{\Σ}}{(U\left(s\right)-\underset{r\∈N\left(s\right)}{\mathrm{\Σ}}{w}_{\mathrm{sr}}U\left(r\right))}^2,$ $J\left(V\right)=\underset{s}{\mathrm{\Σ}}{(V\left(s\right)-\underset{r\∈N\left(s\right)}{\mathrm{\Σ}}{w}_{\mathrm{sr}}V\left(r\right))}^2,$ 其中，U(r)为像素r的第一色度分量，V(r)为像素r的第二色度分量，a、b和c、d分别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数，w_sr为加权参数，  $w_{\mathrm{sr}}\∝e^{-{(Y\left(s\right)-Y\left(r\right))}^2/2{\mathrm{\σ}}_s^2},$ Y(r)为像素r的亮度分量，N(s)为以像素s为中心的邻域窗口，σ_s为像素s的亮度分量Y(s)在邻域窗口N(s)的标准差；①-3、对于该帧组中的下一个P帧，定义该P帧为当前P帧，定义前一个P帧为初始参考帧，利用步骤①-2相同的方法重构当前P帧的第一色度分量和第二色度分量，直至该帧组中的所有P帧重构完毕。 

②由于颜色化操作通常不能达到全局的最优，在某些局部区域会出现错误的颜色信息，因此需要再进行一次全局的颜色传递。颜色传递过程为：定义两两关联视点中每个视点的一帧组中的I帧为参考帧，利用参考帧对该帧组中重构后的所有P帧进行颜色传递操作；定义当前正在处理的P帧为当前帧，根据参考帧各个分量的均值

和标准差

及当前帧各个分量的均值

和标准差

，通过  $I_i^T(x,y)=\frac{{\mathrm{\σ}}_i^R}{{\mathrm{\σ}}_i^C}(I_i^C(x,y)-{\mathrm{\μ}}_i^C)+{\mathrm{\μ}}_i^R$ 对当前帧的第1分量Y、第2个分量U和第3个分量V进行颜色传递操作得到颜色传递后的校正图像，其中，

为当前帧的第i个分量的颜色值，

为颜色传递后的校正图像的第i个分量的颜色值，i＝1，2，3；将下一个P帧作为当前帧，并以前一个P帧的颜色化传递操作方法对该当前帧进行相同的颜色传递操作，直至该帧组中的所有P帧处理完毕； 

③将经过步骤②处理后的两两关联视点中各视点的视频数据从YUV颜色空间转换到RGB颜色空间，从YUV颜色空间到RGB颜色空间和转换可表示为  $\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}1.0& 0.0& 1.402\\ 1.0& -0.34414& -0.71414\\ 1.0& 1.772& 0.0\end{array}\right]\left[\begin{array}{c}Y\\ U\\ V\end{array}\right],$ 其中，R为RGB颜色空间的三个颜色分量的第1个颜色分量，G为第2个颜色分量，B为第3个颜色分量。

④根据两两关联视点间的视差矢量，通过  $({\mathrm{\α}}_{\mathrm{wj}},{\mathrm{\β}}_w)=\arg \underset{{\mathrm{\α}}_{\mathrm{wj}},{\mathrm{\β}}_w}{\min }\underset{d_x,d_y\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(({\mathrm{\β}}_w+\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{wj}}{I}_j^S(x,y))-I_w^R(x+d_x,y+d_y))}^2$ 对两两关联视点中的源图像和参考图像的第w个颜色分量的均方误差进行最小化处理，计算得到两两关联视点中的源图像的第w个颜色分量的3个乘性误差α_wj和1个加性误差β_w，其中，Ω为两两关联视点间的视差矢量(d_x，d_y)的集合，

为源图像第j个颜色分量的颜色值， 

为参考图像第w个颜色分量的颜色值，j，w＝1，2，3。根据相机成像的原理，相机采集的颜色值是场景中对象的光学特性、场景光照和相机传感器三个因素共同作用的结果，多视点成像与单视点成像的区别在于多视点成像随着视点数目的增加，对三个因素的一致性控制也就越困难，因此视点间的颜色不一致是亟需解决的问题。本发明利用乘性误差和加性误差来描述视点图像间颜色的差异，乘性误差主要由视觉系统的光谱特性引起的，而加性误差由颜色值的漂移引起的。 

⑤根据源图像的第w个颜色分量的乘性误差α_wj和加性误差β_w，通过  $I_w^C(x,y)=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{wj}}{I}_j^S(x,y)+{\mathrm{\β}}_w$ 对源图像中每个像素的各个颜色分量进行颜色校正操作得到颜色校正后的校正图像，其中，

为源图像第j个颜色分量的颜色值，

为颜色校正后的校正图像第w个颜色分量的颜色值，j，w＝1，2，3。 

以下就本发明进行多视点视频编码的编码性能及重构图像的主客观性能进行比较。 

对由KDDI公司提供的“flamencol”，“objects2”两组多视点视频测试集采用本发明的多视点视频编码方法，“flamencol”和“glof2”多视点测试集的视频图像的图像尺寸均为320×240，多视点视频的数据格式为YUV(4:2:0)。图5a、图5b分别给出了“flamencol”多视点测试集的第1个视点的I帧解码图像和P帧色度分量丢失的解码图像，图6a、图6b分别给出了“flamencol”多视点测试集的第2个视点的I帧解码图像和P帧色度分量丢失的解码图像，图7a、图7b分别给出了“objects2”多视点测试集的第1个视点的I帧解码图像和P帧色度分量丢失的解码图像，图8a、图8b分别给出了“objects2”多视点测试集的第2个视点的I帧解码图像和P帧色度分量丢失的解码图像。从图5a和图5b，图6a和图6b，图7a和图7b，及图8a和图8b中可以看出，图5b，图6b，图7b和图8b所示的解码图像的色度分量信息丢失，对其进行色度重构就显得十分必要。 

将采用本发明的颜色化操作和颜色传递后得到的重构图像，与真实的色度保留的解码图像进行比较。图5c、图5d分别给出了“flamencol”多视点测试集的第1个视点的P帧色度分量丢失的解码图像经本发明颜色化操作和颜色传递后得到的重构图像及真实的色度保留的解码图像，图6c、图6d分别给出了“flamencol”多视点测试集的第2个 视点的P帧色度分量丢失的解码图像经本发明颜色化操作和颜色传递后得到的重构图像及真实的色度保留的解码图像，图7c、图7d分别给出了“objects2”多视点测试集的第1个视点的P帧色度分量丢失的解码图像经本发明颜色化操作和颜色传递后得到的重构图像及真实的色度保留的解码图像，图8c、图8d分别给出了“objects2”多视点测试集的第2个视点的P帧色度分量丢失的解码图像经本发明颜色化操作和颜色传递后得到的重构图像及真实的色度保留的解码图像，从图中可以看出，采用本发明的颜色化操作和颜色传递后得到的重构图像的颜色外表与真实的色度保留的解码图像非常接近。以均方根误差(RMSE，Root Mean Squared Errors)来表示图像的差异，计算经本发明得到的重构图像与真实的色度保留的解码图像的均方根误差，图5c和图5d，图6c和图6d，图7c和图7d，及图8c和图8d的均方根误差分别为13.83，14.28，10.77和11.18，从计算结果可看出误差并不是很大，说明采用本发明得到的重构图像基本保留了图像真实的颜色信息。 

将重构图像采用本发明的颜色校正方法得到的校正图像。图9a、图9b分别给出了图6a、图6c的“flamencol”多视点测试集的连续两帧的校正图像，图10a、图10b分别给出了图8a、图8c的“objects2”多视点测试集的连续两帧的校正图像，从图9a、图9b、图10a及图10b中可以看出，采用本发明的颜色校正方法，校正图像的颜色外表与参考图像非常接近，并且连续两帧的校正图像在视觉上没有明显的不一致，所以本发明方法中采用的颜色校正方法是有效的。 

将采用本发明方法的编码性能，与采用色度保留编码方法的编码性能进行比较，比较结果如表1所示。两种方法均采用H.264JM8.6平台，量化步长QP＝32，帧组的尺寸为15，也即时域上需要编码的帧数为15，每个视点总的编码帧数为600帧，编码4个视点。对“flamencol”和“objects2”采用本发明方法处理后，平均的码率节省能分别达到30.16％和23.83％，如表1所示，大大提高多视点视频的编码性能，说明本发明方法是有效可行的。 

表1  本发明方法与色度保留编码方法的编码性能比较 

Claims (4)

1.一种交互式多视点视频编码方法，包括以下步骤：(1)、根据设定的编码预测结构，对由具有n+1个相机的多视点相机系统在同一时刻拍摄得到的颜色空间为YUV的多视点视频，在时域上以具有1个I帧和多个P帧的帧组为编码单元进行编码处理，得到包含有运动矢量的编码码流；(2)、将多视点视频的n+1个视点中任意相邻的两个视点作为两两关联视点，将两两关联视点中的前一个视点图像记为参考图像，将两两关联视点中的后一个视点图像记为源图像，对参考图像和源图像进行视差估计得到两两关联视点间的视差矢量，并对两两关联视点间的视差矢量进行压缩得到视差矢量码流；对参考图像和源图像进行视差估计的方法为：a1.将参考图像记为R，将源图像记为S；a2.将源图像S划分成具有相同尺寸大小的第一宏块，定义当前正在处理的第一宏块为当前第一宏块，取当前第一宏块中任意一个像素点作为参考像素点，在参考图像R中以与参考像素点对应的像素点为中心点确定宏块搜索范围；a3.利用参考图像R和源图像S的亮度分量，通过计算均值移除绝对差 在宏块搜索范围中搜索得到当前第一宏块匹配的最佳匹配宏块，其中，M为当前第一宏块的水平大小，N为当前第一宏块的垂直大小，M×N为当前第一宏块的尺寸大小，(m，n)为当前第一宏块的起始坐标位置，S(p，q)为源图像S中坐标为(p，q)的像素点的亮度分量，R(p，q)为参考图像R中坐标为(p，q)的像素点的亮度分量，μ_s为当前第一宏块的亮度分量的均值，μ_r为最佳匹配宏块的亮度分量的均值，e为最佳匹配宏块到当前第一宏块的水平方向偏移量，f为最佳匹配宏块到当前第一宏块的垂直方向偏移量；a4.以相同的搜索方法利用该最佳匹配宏块在源图像S中进行反向搜索得到最佳匹配宏块匹配的最佳第一宏块；a5.将当前第一宏块到最佳匹配宏块的偏移量和最佳匹配宏块到最佳第一宏块的偏移量分别作为源图像S到参考图像R的视差矢量和参考图像R到源图像S的视差矢量；a6.判断两者的视差矢量偏移是否小于2个像素，如果是，则确定当前第一宏块与最佳匹配宏块为匹配宏块对，并得到两两关联视点间的视差矢量；否则，确定当前第一宏块与最佳匹配宏块为非匹配宏块对，再将当前第一宏块划分成具有相同尺寸大小的第二宏块，定义当前正在处理的第二宏块为当前第二宏块，采用与当前第一宏块相同的匹配方法进行双向匹配操作，获取匹配宏块对，如果为非匹配宏块对，则继续将当前第二宏块划分成具有相同尺寸大小的第三宏块，定义当前正在处理的第三宏块为当前第三宏块，采用与当前第一宏块相同的匹配方法进行双向匹配操作，获取匹配宏块对；(3)、服务端根据用户端的任意视点选择，将用户端任意所选视点相应的两两关联视点中各视点的编码码流及两两关联视点间的视差矢量码流通过网络传输给用户端；(4)、用户端接收到服务端发送来的编码码 流和视差矢量码流后，对编码码流和视差矢量码流进行解码得到两两关联视点中各视点的包含有运动矢量的视频数据和两两关联视点间的视差矢量；所述的YUV颜色空间的三个分量的第1个分量为亮度分量记为Y、第2个分量为第一色度分量记为U和第3个分量为第二色度分量记为V，其特征在于所述的步骤(1)中对多视点视频进行编码处理过程中，对I帧的第1个分量Y、第2个分量U、第3个分量V进行编码处理，对所有P帧仅对第1个分量Y进行编码处理；并在所述的步骤(4)处理完毕后，利用解码得到的两两关联视点中各视点的视频数据和两两关联视点间的视差矢量，对两两关联视点中各视点进行包括颜色化操作、颜色传递操作及颜色校正处理的后处理，通过颜色化操作重构出所有P帧的第一色度分量和第二色度分量，然后通过颜色传递操作对重构后的图像进行颜色全局优化，再对颜色传递操作后的图像进行颜色校正处理实现各视点间颜色的一致性。

2.根据权利要求1所述的一种交互式多视点视频编码方法，其特征在于所述的后处理包括以下具体步骤：

①利用相邻帧的运动矢量对两两关联视点中各视点的所有P帧进行颜色化操作，重构得到所有P帧的第2个分量U和第3个分量V；

②定义两两关联视点中每个视点的一帧组中的I帧为参考帧，利用参考帧对该帧组中重构后的所有P帧进行颜色传递操作；定义当前正在处理的P帧为当前帧，根据参考帧各个分量的均值μ_i ^R和标准差σ_i ^R及当前帧各个分量的均值μ_i ^C和标准差σ_i ^C，通过 

对当前帧的第1分量Y、第2个分量U和第3个分量V进行颜色传递操作得到颜色传递后的校正图像，其中，I_i ^C(x，y)为当前帧的第i个分量的颜色值，I_i ^T(x，y)为颜色传递后的校正图像的第i个分量的颜色值，i＝1，2，3；将下一个P帧作为当前帧，并以前一个P帧的颜色化传递操作方法对该当前帧进行相同的颜色传递操作，直至该帧组中的所有P帧处理完毕；

③将经过步骤②处理后的两两关联视点中各视点的视频数据从YUV颜色空间转换到RGB颜色空间，

其中，R为RGB颜色空间的三个颜色分量的第1个颜色分量，G为第2个颜色分量，B为第3个颜色分量；

④根据两两关联视点间的视差矢量，通过 

对两两关联视点中的源图像和参考图像的第w个颜色分量的均方误差进行最小化处理，计算得到两两关联视点 中的源图像的第w个颜色分量的乘性误差α_wj和加性误差β_w，其中，Ω为两两关联视点间的视差矢量(d_x，d_y)的集合，I_j ^S(x，y)为源图像第j个颜色分量的颜色值，I_w ^R(x，y)为参考图像第w个颜色分量的颜色值，j，w＝1，2，3；

⑤根据源图像的第w个颜色分量的乘性误差α_wj和加性误差β_w，通过 对源图像中每个像素的各个颜色分量进行颜色校正操作得到颜色校正后的校正图像，其中，I_j ^S(x，y)为源图像第j个颜色分量的颜色值，I_w ^C(x，y)为颜色校正后的校正图像第w个颜色分量的颜色值，j，w＝1，2，3。

3.根据权利要求2所述的一种交互式多视点视频编码方法，其特征在于所述的步骤①中的颜色化操作的具体过程为：①-1、定义两两关联视点中每个视点的一帧组中的I帧为初始参考帧，定义该帧组中的第一个P帧为当前P帧，令初始参考帧中包含有对当前P帧进行颜色化操作所需的所有颜色信息；①-2、根据当前P帧到初始参考帧的运动矢量，判断当前P帧中的像素s与初始参考帧中与像素s相对应的像素r的亮度分量是否相同，如果像素s与像素r的亮度分量相同，则确定像素s的第一色度分量和第二色度分量分别与像素r的第一色度分量和第二色度分量相同，否则，假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系，U(s)＝aY(s)+b，V(s)＝cY(s)+d，通过计算当前P帧中的像素s的第一色度分量的最小成本J(U)和第二色度分量的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s)，

其中，U(r)为像素r的第一色度分量，V(r)为像素r的第二色度分量，a、b和c、d分别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数，w_sr为加权参数， 

Y(r)为像素r的亮度分量，N(s)为以像素s为中心的邻域窗口，σ_s为像素s的亮度分量Y(s)在邻域窗口N(s)的标准差；①-3、对于该帧组中的下一个P帧，定义该P帧为当前P帧，定义前一个P帧为初始参考帧，利用步骤①-2相同的方法重构当前P帧的第一色度分量和第二色度分量，直至该帧组中的所有P帧重构完毕。

4.根据权利要求1所述的一种交互式多视点视频编码方法，其特征在于所述的第一宏块的尺寸大小为16×16，所述的第二宏块的尺寸大小为8×8，所述的第三宏块的尺寸大小为4×4。 

Images