CN102223545B - 一种快速多视点视频颜色校正方法 - Google Patents

Abstract

本发明公开了一种快速多视点视频颜色校正方法，本发明方法将所有的多视点视频图像分为关键帧图像和非关键帧图像两类，对于关键帧图像，通过提取主颜色信息来实现精确的颜色校正，而对于非关键帧图像，则通过时域跟踪来实现快速的颜色校正，在保证颜色校正精确性的同时大大降低了颜色校正的计算复杂度；本发明方法根据颜色校正方法对复杂性和实时性的要求，设计了同步跟踪和非同步跟踪两种方式，同步跟踪方式能对实现颜色校正的同步处理但计算复杂度较高，而非同步跟踪方式虽然不能实现颜色校正的同步处理但计算复杂度较低，这样能够实现自适应跟踪，大大提高了颜色校正方法的有效性。

Description

一种快速多视点视频颜色校正方法

技术领域

本发明涉及一种视频的处理方法，尤其是涉及一种快速多视点视频颜色校正方法。

背景技术

进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代数字电视系统的强烈需求，其具有视点交互、立体感等现有数字电视系统所不具备的特征，自由视点电视(FTV，Free ViewpointTelevision)能够让用户从不同的视角欣赏场景，被认为是下一代数字电视系统的发展方向。在FTV系统中，如何提高多个视频信号的视频压缩效率以降低传输带宽资源占用，以及如何在三维视频系统用户端合成高质量的任意视点图像是需要解决的两个核心问题。由于FTV系统在采集图像的过程中各相机的基线不在同一水平轴上，场景光照、相机CCD(Charge-coupled Device，电荷耦合元件)噪声、快门速度和曝光等要素不一致，因此会导致不同相机采集的图像的颜色值差别很大，将给后续的视频编码、虚拟视点绘制和多视点视频三维显示带来极大的困难，可能会使三维视频系统用户端在任意视点图像合成时出现错误。因此，有效的多视点视频颜色校正方法是提高视频压缩效率，特别是改善任意视点图像质量的关键技术。

目前已提出了一些针对多视点图像的颜色校正方法，如动态规划、K-L变换、Retinex颜色恒常性理论、规正参数调节、噪声预处理与主成分分析、区域分割与跟踪等算法。然而，这些颜色校正方法更多地考虑如何提升校正精确性，而对多视点视频的颜色校正应当有别于现有的多视点图像的颜色校正，这是因为：一方面，由于多视点视频在视点间和时间上同时进行参考，如何对多视点视频进行合理的颜色校正，以保证在时间和空间上的颜色一致性是一个亟需解决的问题；另一方面，由于颜色校正方法的复杂度一般都比较高，如何通过利用多视点视频的时域相关性进行快速跟踪、如何根据多视点视频系统对跟踪的不同要求而自适应地选择跟踪的方式，以降低颜色校正计算复杂度、提高颜色校正精确性，都是对多视点视频进行颜色校正的过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种在保证多视点视频颜色校正精确性的同时，能够有效降低颜色校正计算复杂度的快速多视点视频颜色校正方法。

本发明解决上述技术问题所采用的技术方案为：一种快速多视点视频颜色校正方法，其特征在于包括以下步骤：

①将由多视点视频系统拍摄的未经处理的且颜色空间为YUV的多视点视频定义为原始多视点视频，将原始多视点视频中的一个视点定义为目标视点，记为T，将原始多视点视频中的其它视点定义为源视点，记为S；在空域上该原始多视点视频包括目标视点原始视频和源视点原始视频，目标视点原始视频主要由若干个帧组的目标视点图像组成，源视点原始视频主要由若干个帧组的源视点图像组成，其中，YUV颜色空间的三个颜色分量中的第1个颜色分量为亮度分量，记为Y，第2个颜色分量为第一色度分量，记为U，第3个颜色分量为第二色度分量，记为V；

②将目标视点原始视频中第i个帧组第j时刻的目标视点图像记为{^(T)I_i，j，k(x，y)}，将源视点原始视频中第i个帧组第j时刻的源视点图像记为{^(S)I_i，j，k(x，y)}，将目标视点原始视频中每个帧组第1时刻的目标视点图像定义为目标视点关键帧图像，将目标视点原始视频中除每个帧组第1时刻的目标视点图像外的目标视点图像定义为目标视点非关键帧图像，将源视点原始视频中每个帧组第1时刻的源视点图像定义为源视点关键帧图像，将源视点原始视频中除每个帧组第1时刻的源视点图像外的源视点图像定义为源视点非关键帧图像，其中，1≤i≤N，N为目标视点原始视频和源视点原始视频包含的帧组的个数，1≤j≤N_GOP，N_GOP表示帧组的长度，i·N_GOP+j表示第i个帧组第j时刻的目标视点图像或第i个帧组第j时刻的源视点图像的帧号，k＝1，2，3分别表示YUV颜色空间的三个颜色分量，(x，y)表示图像中的像素点的坐标位置，^(T)I_i，j，k(x，y)表示{^(T)I_i，j，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值，^(S)I_i，j，k(x，y)表示{^(S)I_i，j，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；

定义目标视点原始视频和源视点原始视频中当前待处理的第i个帧组为当前帧组；

③通过主颜色提取算法分别估计出目标视点原始视频中当前帧组的目标视点关键帧图像{^(T)I_i，1，k(x，y)}和源视点原始视频中当前帧组的源视点关键帧图像{^(S)I_i，1，k(x，y)}的主颜色信息，分别记为^(T)Θ_i，1和^(S)Θ_i，1，^(T)Θ_i，1＝{^(T)μ′_i，1，k，^(T)σ′_i，1，k}，^(S)Θ_i，1＝{^(S)μ′_i，1，k，^(S)σ′_i，1，k}，其中，^(T)μ′_i，1，k表示{^(T)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的均值，^(T)σ′_i，1，k表示{^(T)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的标准差，^(S)μ′_i，1，k表示{^(S)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的均值，^(S)σ′_i，1，k表示{^(S)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的标准差；

④将{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，1，k(x，y)与{^(S)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，1，k(x，y)的乘性误差记为a_i，1，k，a_i，1，k＝^(T)σ′_i，1，k/^(S)σ′_i，1，k，将{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，1，k(x，y)与{^(S)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，1，k(x，y)的加性误差记为e_i，1，k，e_i，1，k＝^(T)μ′_i，1，k-a_i，1，k·^(S)μ′_i，1，k，然后根据{^(T)I_i，1，k(x，y)}和{^(S)I_i，1，k(x，y)}中各个对应的像素点的各个颜色分量的颜色值的乘性误差和加性误差，对{^(S)I_i，1，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，1，k(x，y)＝a_i，1，k·^(S)I_i，1，k(x，y)+e_i，1，k，其中，^(C)I_i，1，k(x，y)为{^(S)I_i，1，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；

⑤选择跟踪方式对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量进行颜色校正，对于源视点原始视频中当前帧组的第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}，1＜j′≤N_GOP，如果选择的跟踪方式为同步跟踪方式，则执行步骤⑥至⑦，如果选择的跟踪方式为非同步跟踪方式，则执行步骤⑧至⑩；

对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量完成颜色校正后，执行步骤

；

⑥通过区域检测算法分别估计出目标视点原始视频中当前帧组第j′时刻的目标视点非关键帧图像{^(T)I_i，j′，k(x，y)}和第j′-1时刻的目标视点图像{^(T)I_{i，j′-1，k}(x，y)}的背景颜色信息，分别记为^(T)Θ′_i，j′和^(T)Θ′_i，j′-1，^(T)Θ′_i，j′＝{^(T)μ″_i，j′，k，^(T)σ″_i，j′，k}，^(T)Θ′_i，j′-1＝{^(T)μ″_{i，j′-1，k}，^(T)σ″_{i，j′-1，k}}，其中，^(T)μ″_i，j′，k表示{^(T)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(T)σ″_i，j′，k表示{^(T)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，^(T)μ″_{i，j′-1，k}表示{^(T)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(T)σ″_{i，j′-1，k}表示{^(T)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，1＜j′≤N_GOP；

通过区域检查算法分别估计出源视点原始视频中当前帧组第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}和第j′-1时刻的源视点图像{^(S)I_{i，j′-1，k}(x，y)}的背景颜色信息，分别记为^(S)Θ′_i，j′和^(S)Θ′_i，j′-1，^(S)Θ′_i，j′＝{^(S)μ″_i，j′，k，^(S)σ″_i，j′，k}，^(S)Θ′_i，j′-1＝{^(S)μ″_{i，j′-1，k}，^(S)σ″_{i，j′-1，k}}，其中，^(S)μ″_i，j′，k表示{^(S)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(S)σ″_i，j′，k表示{^(S)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，^(S)μ″_{i，j′-1，k}表示{^(S)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(S)σ″_{i，j′-1，k}表示{^(S)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，1＜j′≤N_GOP；

⑦将{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，j′，k(x，y)与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，j′，k(x，y)的乘性误差记为a_i，j′，k，将{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，j′，k(x，y)与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，j′，k(x，y)的加性误差记为e_i，j′，k，然后根据已得到的a_{i，j′-1，k}和e_{i，j′-1，k}，快速估计得到a_i，j′，k和e_i，j′，k，再利用a_i，j′，k和e_i，j′，k对{^(S)I_i，j′，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，j′，k(x，y)＝a_i，j′，k·^(S)I_i，j′，k(x，y)+e_i，j′，k，其中，^(C)I_i，j′，k(x，y)为{^(S)I_i，j′，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；

⑧通过主颜色提取算法分别估计出目标视点原始视频中其余各个帧组的目标视点关键帧图像和源视点原始视频中其余各个帧组的源视点关键帧图像的主颜色信息，得到目标视点原始视频中所有帧组的目标视点关键帧图像和源视点原始视频中所有帧组的源视点关键帧图像的主颜色信息集合，分别记为{^(T)Θ_i，1}和{^(S)Θ_i，1}，将所有目标视点关键帧图像的帧号作为控制顶点，将所有目标视点关键帧图像的主颜色信息集合{^(T)Θ_i，1}作为节点矢量，通过B样条曲线拟合算法分别估计出所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(T)f_u，k(x₁)和y₁＝^(T)f_σ，k(x₁)，将所有源视点关键帧图像的帧号作为控制顶点，将所有源视点关键帧图像的主颜色信息集合{^(S)Θ_i，1}作为节点矢量，通过B样条曲线拟合算法分别估计出所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(S)f_u，k(x₁)和y₁＝^(S)f_σ，k(x₁)，其中，^(T)f_u，k()表示所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，^(T)f_σ，k()表示所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数，^(S)f_u，k()表示所有源视点图像的各个颜色分量的颜色值的均值曲线变化函数，^(S)f_σ，k()表示所有源视点图像的各个颜色分量的颜色值的标准差曲线变化函数，x₁表示均值和标准差曲线变化函数的输入变量，y₁表示均值和标准差曲线变化函数的输出变量；

⑨根据所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到目标视点原始视频中当前帧组第j′时刻的目标视点非关键帧图像{^(T)I_i，j′，k(x，y)}的主颜色信息，记为^(T)Θ_i，j′，^(T)Θ_i，j′＝{^(T)μ′_i，j′，k，^(T)σ′_i，j′，k}，根据所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到源视点原始视频中当前帧组第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}的主颜色信息，记为^(S)Θ_i，j′，^(S)Θ_i，j′＝{^(S)μ′_i，j′，k，^(S)σ′_i，j′，k}，其中，1＜j′≤N_GOP，^(T)μ′_i，j′，k＝^(T)f_u，k(i·N_GOP+j′)，^(T)σ′_i，j′，k＝^(T)f_σ，k(i·N_GOP+j′)，^(S)μ′_i，j′，k＝^(S)f_u，k(i·N_GOP+j′)，^(S)σ′_i，j′，k＝^(S)f_σ，k(i·N_GOP+j′)；

⑩根据已得到的^(T)Θ_i，j′和^(S)Θ_i，j′，计算{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差和加性误差，分别记为a_i，j′，k和e_i，j′，k，a_i，j′，k＝^(T)σ′_i，j′，k/^(S)σ′_i，j′，k，e_i，j′，k＝^(T)μ′_i，j′，k-a_i，j′，k·^(S)μ′_i，j′，k，再利用a_i，j′，k和e_i，j′，k对{^(S)I_i，j′，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，j′，k(x，y)＝a_i，j′，k·^(S)I_i，j′，k(x，y)+e_i，j′，k，其中，^(C)I_i，j′，k(x，y)为{^(S)I_i，j′，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；

将目标视点原始视频和源视点原始视频中下一个待处理的帧组作为当前帧组，然后返回执行步骤③，直至对源视点原始视频中所有帧组的源视点图像完成颜色校正。

所述的步骤③中通过主颜色提取算法估计{^(T)I_i，1，k(x，y)}和{^(S)I_i，1，k(x，y)}的主颜色信息的具体过程为：

③-1、在YUV颜色空间以白、黑、红、黄、绿、蓝、粉红、紫、橙、灰和棕11种基本颜色来表示基本颜色分类的集合Ω，Ω＝{l|1≤l≤11}，其中，l表示基本颜色分类的标记；

③-2、分别计算{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值与11种基本颜色的颜色值之间的欧式距离，然后找出最小的欧式距离代价，记为COST_min，再将COST_min对应的基本颜色分类的标记作为最佳颜色分类的标记，记为m，将{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点属于第m个基本颜色分类的概率设为1，记为P_m(x，y)＝1，将{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点属于其余所有基本颜色分类的概率设为0，记为P_n(x，y)＝0，其中，m∈Ω，n∈Ω，n≠m，P_m()和P_n()表示概率函数；

③-3、分别对{^(T)I_i，1，k(x，y)}中的每个像素点属于11个基本颜色分类的概率集合{P_l(x，y)|1≤l≤11}进行累加操作，得到{^(T)I_i，1，k(x，y)}属于11个基本颜色分类的累计概率集合，记为{p_l|1≤l≤11}，其中， $p_l=\underset{(x,y)\∈\mathrm{\Ψ}}{\mathrm{\Σ}}{P}_l(x,y)/\left(\underset{q=1}{\overset{11}{\mathrm{\Σ}}}\underset{(x,y)\∈\mathrm{\Ψ}}{\mathrm{\Σ}}{P}_q(x,y)\right),$ Ψ表示图像中所有像素点的集合；

③-4、找出{p_l|1≤l≤11}中最大累计概率对应的基本颜色分类的标记作为主颜色的标记，记为h，计算{^(T)I_i，1，k(x，y)}中所有满足P_h(x，y)＝1的像素点的第k个颜色分量的颜色值的均值和标准差，分别记为^(T)μ′_i，1，k和^(T)σ′_i，1，k，将^(T)μ′_i，1，k和^(T)σ′_i，1，k作为{^(T)I_i，1，k(x，y)}的主颜色信息，记为^(T)Θ_i，1，^(T)Θ_i，1＝{^(T)μ′_i，1，k，^(T)σ′_i，1，k}，其中，h∈Ω；

③-5、对{^(S)I_i，1，k(x，y)}采用与步骤③-2至③-4相同的操作，获得{^(S)I_i，1，k(x，y)}的主颜色信息，记为^(S)Θ_i，1，^(S)Θ_i，1＝{^(S)μ′_i，1，k，^(S)σ′_i，1，k}。

所述的步骤⑥中通过区域检测算法估计{^(T)I_i，j′，k(x，y)}和{^(T)I_{i，j′-1，k}(x，y)}的背景颜色信息的具体过程为：

⑥-1、计算{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值的绝对差，记为D_i，j′，1(x，y)，D_i，j′，1(x，y)＝|^(T)I_i，j′，1(x，y)-^(T)I_{i，j′-1，1}(x，y)|，计算{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值的平均绝对方差，记为

其中，“||”为绝对值符号，M表示图像包含的像素点的总个数，Ψ表示图像中所有像素点的集合，^(T)I_i，j′，1(x，y)表示{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值，^(T)I_{i，j′-1，1}(x，y)表示{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值，1＜j′≤N_GOP；

⑥-2、将{^(T)I_i，j′，k(x，y)}中所有满足条件

的像素点作为{^(T)I_i，j′，k(x，y)}和{^(T)I_{i，j′-1，k}(x，y)}的背景像素点，分别计算{^(T)I_i，j′，k(x，y)}的背景像素点的各个颜色分量的颜色值的均值^(T)μ″_i，j′，k和标准差^(T)σ″_i，j′，k，将^(T)μ″_i，j′，k和^(T)σ″_i，j′，k作为{^(T)I_i，j′，k(x，y)}的背景颜色信息，记为^(T)Θ′_i，j′，^(T)Θ′_i，j′＝{^(T)μ″_i，j′，k，^(T)σ″_i，j′，k}，分别计算{^(T)I_{i，j′-1，k}(x，y)}的背景像素点的各个颜色分量的颜色值的均值^(T)μ″_{i，j′-1，k}和标准差^(T)σ″_{i，j′-1，k}，将^(T)μ″_{i，j′-1，k}和^(T)σ″_{i，j′-1，k}作为{^(T)I_{i，j′-1，k}(x，y)}的背景颜色信息，记为^(T)Θ′_i，j′-1，^(T)Θ′_i，j′-1＝{^(T)μ″_{i，j′-1，k}，^(T)σ″_{i，j′-1，k}}，其中，β为大于0的加权参数；

所述的步骤⑥中通过区域检测算法估计{^(S)I_i，j′，k(x，y)}和{^(S)I_{i，j′-1，k}(x，y)}的背景颜色信息的具体过程采用与步骤⑥-1至⑥-2相同的操作，获取{^(S)I_i，j′，k(x，y)}和{^(S)I_{i，j′-1，k}(x，y)}的背景颜色信息，分别记为^(S)Θ′_i，j′和^(S)Θ′_i，j′-1，^(S)Θ′_i，j′＝{^(S)μ″_i，j′，k，^(S)σ″_i，j′，k}，^(S)Θ′_i，j′-1＝{^(S)μ″_{i，j′-1，k}，^(S)σ″_{i，j′-1，k}}。

所述的步骤⑦中获取a_i，j′，k和e_i，j′，k的具体过程为：

⑦-1、将{^(T)I_i，j′，k(x，y)}与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差记为

将{^(T)I_i，j′，k(x，y)}与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的加性误差记为

⑦-2、将{^(S)I_i，j′，k(x，y)}与{^(S)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差记为

将{^(S)I_i，j′，k(x，y)}与{^(S)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的加性误差记为

⑦-3、根据已得到的a_{i，j′-1，k}和e_{i，j′-1，k}，快速估计得到a_i，j′，k和e_i，j′，k， $a_{{i,j}^{\′},k}=a_{{i,j}^{\′}-1,k}\·(a_{i,j^{\′},k}^T/a_{{i,j}^{\′},k}^S),$ $e_{{i,j}^{\′},k}=(a_{{i,j}^{\′}-1,k}\·e_{i,j^{\′},k}^T+e_{{i,j}^{\′}-1,k}-e_{{i,j}^{\′},k}^S)/a_{{i,j}^{\′},k}^S.$

所述的步骤⑧中通过主颜色提取算法分别估计出目标视点原始视频中其余各个帧组的目标视点关键帧图像和源视点原始视频中其余各个帧组的源视点关键帧图像的主颜色信息的过程，采用与所述的步骤③中通过主颜色提取算法估计{^(T)I_i，1，k(x，y)}和{^(S)I_i，1，k(x，y)}的主颜色信息的具体过程相同的操作方法。

所述的步骤⑧中通过B样条曲线拟合算法估计所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数的具体过程为：

⑧-1、将所有目标视点关键帧图像的帧号作为控制顶点，将目标视点原始视频中第i个帧组的目标视点关键帧图像的帧号记为t_i，将目标视点原始视频中第i个帧组的目标视点关键帧图像的正规化的B样条基底函数记为N_i，l(x₁)，其中，x₁表示函数的输入变量，1≤x₁≤N_GOP·N，N_GOP表示帧组的长度，N为目标视点原始视频和源视点原始视频包含的帧组的个数，l表示迭代次数，l≥1；

⑧-2、采用Cox-deBoor递推公式，计算得到N_i，l(x₁)经过l′次迭代的正规化的B样条基底函数，记为N_i，l′(x₁)， $N_{{i,l}^{\′}}\left(x_1\right)=\frac{(x_1-t_i)N_{{i,l}^{\′}-1}\left(x_1\right)}{t_{{i+l}^{\′}-1}-t_i}+\frac{(t_{i+l^{\′}}-x_1)N_{{i+1,l}^{\′}-1}\left(x_1\right)}{t_{i+l^{\′}}-t_{i+1}},$ 其中，l′＞1，N_i，l′-1(x₁)表示N_i，l(x₁)经过l′-1次迭代的正规化的B样条基底函数，t_i+l′-1表示目标视点原始视频中第i+l′-1个帧组的目标视点关键帧图像的帧号，t_i+l′表示目标视点原始视频中第i+l′个帧组的目标视点关键帧图像的帧号，N_i+1，l′-1(x₁)表示目标视点原始视频中第i+1个帧组的目标视点关键帧图像的正规化的B样条基底函数N_i+1，l(x₁)经过l′-1次迭代的正规化的B样条基底函数，t_i+1表示目标视点原始视频中第i+1个帧组的目标视点关键帧图像的帧号，如果t_i≤x₁＜t_i+1，则N_i，1(x₁)＝1，否则，N_i，1(x₁)＝0，N_i，1(x₁)表示N_i，l(x₁)经过1次迭代的正规化的B样条基底函数；

⑧-3、将所有目标视点关键帧图像的主颜色信息集合{^(T)Θ_i，1}作为节点矢量，估计得到所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，记为y₁＝^(T)f_u，k(x₁)，其中，^(T)f_u，k()表示所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，x₁表示函数的输入变量，y₁表示函数的输出变量；

⑧-4、采用与步骤⑧-1至⑧-3相同的操作，估计得到所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数，记为y₁＝^(T)f_σ，k(x₁)，其中，^(T)f_σ，k()表示所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数；

所述的步骤⑧中通过B样条曲线拟合算法估计所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数的具体过程，采用与步骤⑧-1至⑧-4相同的操作，估计得到所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(S)f_u，k(x₁)和y₁＝^(S)f_σ，k(x₁)。

与现有技术相比，本发明的优点在于：

1)本发明方法将所有的多视点视频图像分为关键帧图像和非关键帧图像两类，对于关键帧图像，通过提取主颜色信息来实现精确的颜色校正，而对于非关键帧图像，则通过时域跟踪来实现快速的颜色校正，在保证颜色校正精确性的同时大大降低了颜色校正的计算复杂度。

2)本发明方法根据颜色校正方法对复杂性和实时性的要求，设计了同步跟踪和非同步跟踪两种方式，同步跟踪方式能对实现颜色校正的同步处理但计算复杂度较高，而非同步跟踪方式虽然不能实现颜色校正的同步处理但计算复杂度较低，这样能够实现自适应跟踪，大大提高了颜色校正方法的有效性。

附图说明

图1为本发明方法的流程框图；

图2为“flamenco1”多视点视频测试集的8个视点的原始图像；

图3为“objects2”多视点视频测试集的8个视点的原始图像；

图4a为“flamenco1”多视点视频测试集的目标视点关键帧图像的主颜色标记图像；

图4b为“flamenco1”多视点视频测试集的源视点关键帧图像的主颜色标记图像；

图5a为“objects2”多视点视频测试集的目标视点关键帧图像的主颜色标记图像；

图5b为“objects2”多视点视频测试集的源视点关键帧图像的主颜色标记图像；

图6a为“flamenco1”多视点视频测试集经本发明方法颜色校正后Y分量的均值变化曲线；

图6b为“flamenco1”多视点视频测试集经本发明方法颜色校正后Y分量的标准差变化曲线；

图7a为“objects2”多视点视频测试集经本发明方法颜色校正后Y分量的均值变化曲线；

图7b为“objects2”多视点视频测试集经本发明方法颜色校正后Y分量的标准差变化曲线；

图8为“flamenco1”源视点视频经本发明方法颜色校正后的视频图像；

图9为“objects2”源视点视频经本发明方法颜色校正后的视频图像；

图10为组合视频经本发明方法颜色校正后的视频图像。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种快速多视点视频颜色校正方法，其流程如图1所示，其主要包括以下步骤：

①将由多视点视频系统拍摄的未经处理的且颜色空间为YUV的多视点视频定义为原始多视点视频，将原始多视点视频中的一个视点定义为目标视点，记为T，将原始多视点视频中的其它视点定义为源视点，记为S；在空域上该原始多视点视频包括目标视点原始视频和源视点原始视频，目标视点原始视频主要由若干个帧组的目标视点图像组成，源视点原始视频主要由若干个帧组的源视点图像组成，其中，YUV颜色空间的三个颜色分量中的第1个颜色分量为亮度分量，记为Y，第2个颜色分量为第一色度分量，记为U，第3个颜色分量为第二色度分量，记为V。

在本实施中，采用KDDI公司提供的两组多视点视频测试集“flamenco1”和“objects2”作为原始多视点视频测试集，这两个多视点视频测试集均包含8个视点的视频图像，每幅视频图像的分辨率均为320×240。图2和图3分别给出了“flamenco1”和“objects2”多视点视频测试集的8个视点的原始图像，从图2和图3中可以看出，“flamenco1”和“objects2”的第1、第6和第7个视点图像的颜色外表与其他视点图像的颜色外表明显不一致，对第1、第6和第7个视点图像进行颜色校正十分必要。

②将目标视点原始视频中第i个帧组第j时刻的目标视点图像记为{^(T)I_i，j，k(x，y)}，将源视点原始视频中第i个帧组第j时刻的源视点图像记为{^(S)I_i，j，k(x，y)}，将目标视点原始视频中每个帧组第1时刻(j＝1时)的目标视点图像定义为目标视点关键帧图像，将目标视点原始视频中除每个帧组第1时刻的目标视点图像外的目标视点图像(1＜j≤N_GOP时)定义为目标视点非关键帧图像，将源视点原始视频中每个帧组第1时刻(j＝1时)的源视点图像定义为源视点关键帧图像，将源视点原始视频中除每个帧组第1时刻的源视点图像外的源视点图像(1＜j≤N_GOP时)定义为源视点非关键帧图像，其中，1≤i≤N，N为目标视点原始视频和源视点原始视频包含的帧组的个数，1≤j≤N_GOP，N_GOP表示帧组的长度，即每个帧组包含的图像的总个数，在本实施例中，N_GOP＝15，i·N_GOP+j表示第i个帧组第j时刻的目标视点图像或第i个帧组第j时刻的源视点图像的帧号，k＝1，2，3分别表示YUV颜色空间的三个颜色分量，(x，y)表示图像中的像素点的坐标位置，^(T)I_i，j，k(x，y)表示{^(T)I_i，j，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值，^(S)I_i，j，k(x，y)表示{^(S)I_i，j，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值。

目标视点原始视频和源视点原始视频在时域上以帧组为单元进行处理，定义目标视点原始视频和源视点原始视频中当前待处理的第i个帧组为当前帧组。

③通过主颜色提取算法分别估计出目标视点原始视频中当前帧组的目标视点关键帧图像{^(T)I_i，1，k(x，y)}和源视点原始视频中当前帧组的源视点关键帧图像{^(S)I_i，1，k(x，y)}的主颜色信息，分别记为^(T)Θ_i，1和^(S)Θ_i，1，^(T)Θ_i，1＝{^(T)μ′_i，1，k，^(T)σ′_i，1，k}，^(S)Θ_i，1＝{^(S)μ′_i，1，k，^(S)σ′_i，1，k}，其中，^(T)μ′_i，1，k表示{^(T)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的均值，^(T)σ′_i，1，k表示{^(T)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的标准差，^(S)μ′_i，1，k表示{^(S)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的均值，^(S)σ′_i，1，k表示{^(S)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的标准差。

在此具体实施例中，步骤③中通过主颜色提取算法估计{^(T)I_i，1，k(x，y)}和{^(S)I_i，1，k(x，y)}的主颜色信息的具体过程为：

③-1、在YUV颜色空间以白、黑、红、黄、绿、蓝、粉红、紫、橙、灰和棕11种基本颜色来表示基本颜色分类的集合Ω，Ω＝{l|1≤l≤11}，其中，l表示基本颜色分类的标记；

③-2、分别计算{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值与11种基本颜色的颜色值之间的欧式距离，然后找出最小的欧式距离代价，记为COST_min，再将COST_min对应的基本颜色分类的标记作为最佳颜色分类的标记，记为m，将{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点属于第m个基本颜色分类的概率设为1，记为P_m(x，y)＝1，将{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点属于其余所有基本颜色分类的概率设为0，记为P_n(x，y)＝0，其中，m∈Ω，n∈Ω，n≠m，P_m()和P_n()表示概率函数；

③-3、分别对{^(T)I_i，1，k(x，y)}中的每个像素点属于11个基本颜色分类的概率集合{P_l(x，y)|1≤l≤11}进行累加操作，得到{^(T)I_i，1，k(x，y)}属于11个基本颜色分类的累计概率集合，记为{p_l|1≤l≤11}，其中， $p_l=\underset{(x,y)\∈\mathrm{\Ψ}}{\mathrm{\Σ}}{P}_l(x,y)/\left(\underset{q=1}{\overset{11}{\mathrm{\Σ}}}\underset{(x,y)\∈\mathrm{\Ψ}}{\mathrm{\Σ}}{P}_q(x,y)\right),$ Ψ表示图像中所有像素点的集合；

③-4、找出{p_l|1≤l≤11}中最大累计概率对应的基本颜色分类的标记作为主颜色的标记，记为h，计算{^(T)I_i，1，k(x，y)}中所有满足P_h(x，y)＝1的像素点的第k个颜色分量的颜色值的均值和标准差，分别记为^(T)μ′_i，1，k和^(T)σ′_i，1，k，将^(T)μ′_i，1，k和^(T)σ′_i，1，k作为{^(T)I_i，1，k(x，y)}的主颜色信息，记为^(T)Θ_i，1，^(T)Θ_i，1＝{^(T)μ′_i，1，k，^(T)σ′_i，1，k}，其中，h∈Ω；

③-5、对{^(S)I_i，1，k(x，y)}采用与步骤③-2至③-4相同的操作，获得{^(S)I_i，1，k(x，y)}的主颜色信息，记为^(S)Θ_i，1，^(S)Θ_i，1＝{^(S)μ′_i，1，k，^(S)σ′_i，1，k}。

在本实施例中，图4a和图4b分别给出了“flamenco1”多视点视频测试集的目标视点关键帧图像和源视点关键帧图像的主颜色标记图像，图5a和图5b分别给出了“objects2”多视点视频测试集的的目标视点关键帧图像和源视点关键帧图像的主颜色标记图像，从图4a至图5b可以看出，采用本发明的主颜色提取算法能够得到较为一致的区域信息，有利于实现精确的颜色校正。

④将{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，1，k(x，y)与{^(S)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，1，k(x，y)的乘性误差记为a_i，1，k，a_i，1，k＝^(T)σ′_i，1，k/^(S)σ′_i，1，k，将{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，1，k(x，y)与{^(S)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，1，k(x，y)的加性误差记为e_i，1，k，e_i，1，k＝^(T)μ′_i，1，k-a_i，1，k·^(S)μ′_i，1，k，然后根据{^(T)I_i，1，k(x，y)}和{^(S)I_i，1，k(x，y)}中各个对应的像素点的各个颜色分量的颜色值的乘性误差和加性误差，对{^(S)I_i，1，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，1，k(x，y)＝a_i，1，k·^(S)I_i，1，k(x，y)+e_i，1，k，其中，^(C)I_i，1，k(x，y)为{^(S)I_i，1，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值。

⑤由于多视点视频系统的计算能力十分有限，如果对每帧源视点非关键帧图像都采用上述的方法进行颜色校正，则计算复杂度非常高，为了降低颜色校正的计算复杂度并同时保证校正的精确性，本发明选择跟踪方式对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量进行颜色校正，对于源视点原始视频中当前帧组的第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}，1＜j′≤N_GOP，如果选择的跟踪方式为同步跟踪方式，则执行步骤⑥至⑦，如果选择的跟踪方式为非同步跟踪方式，则执行步骤⑧至⑩。

对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量完成颜色校正后，执行步骤

。

在本实施中，根据多视点视频系统对时域跟踪的不同要求，可以自适应地选择跟踪方式，如果多视点视频系统对同步性要求较高而对复杂度要求较低，则可以选择同步跟踪方式，反之，可以选择非同步跟踪方式。

⑥由于相邻帧图像的场景内容通常会发生变化，为了消除由于场景内容变化而对时域跟踪产生的影响，需要提取出相邻帧图像的一致的区域信息，再根据此区域信息估计出目标视点图像或源视点图像的颜色信息，根据此颜色信息建立时间上的映射关系，这样才能保证跟踪结果的有效性。因此本发明通过区域检测算法分别估计出目标视点原始视频中当前帧组第j′时刻的目标视点非关键帧图像{^(T)I_i，j′，k(x，y)}和第j′-1时刻的目标视点图像{^(T)I_{i，j′-1，k}(x，y)}的背景颜色信息，分别记为^(T)Θ′_i，j′和^(T)Θ′_i，j′-1，^(T)Θ′_i，j′＝{^(T)μ″_i，j′，k，^(T)σ″_i，j′，k}，^(T)Θ′_i，j′-1＝{^(T)μ″_{i，j′-1，k}，^(T)σ″_{i，j′-1，k}}，其中，^(T)μ″_i，j′，k表示{^(T)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(T)σ″_i，j′，k表示{^(T)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，^(T)μ″_{i，j′-1，k}表示{^(T)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(T)σ″_{i，j′-1，k}表示{^(T)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，1＜j′≤N_GOP。

在此具体实施例中，步骤⑥中通过区域检测算法估计{^(T)I_i，j′，k(x，y)}和{^(T)I_{i，j′-1，k}(x，y)}的背景颜色信息的具体过程为：

⑥-1、计算{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值的绝对差，记为D_i，j′，1(x，y)，D_i，j′，1(x，y)＝|^(T)I_i，j′，1(x，y)-^(T)I_{i，j′-1，1}(x，y)|，计算{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值的平均绝对方差，记为

其中，“||”为绝对值符号，M表示图像包含的像素点的总个数，Ψ表示图像中所有像素点的集合，^(T)I_i，j′，1(x，y)表示{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值，^(T)I_{i，j′-1，1}(x，y)表示{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值，1＜j′≤N_GOP；

⑥-2、将{^(T)I_i，j′，k(x，y)}中所有满足条件的像素点作为{^(T)I_i，j′，k(x，y)}和{^(T)I_{i，j′-1，k}(x，y)}的背景像素点，分别计算{^(T)I_i，j′，k(x，y)}的背景像素点的各个颜色分量的颜色值的均值^(T)μ″_i，j′，k和标准差^(T)σ″_i，j′，k，将^(T)μ″_i，j′，k和^(T)σ″_i，j′，k作为{^(T)I_i，j′，k(x，y)}的背景颜色信息，记为^(T)Θ′_i，j′，^(T)Θ′_i，j′＝{^(T)μ″_i，j′，k，^(T)σ″_i，j′，k}，分别计算{^(T)I_{i，j′-1，k}(x，y)}的背景像素点的各个颜色分量的颜色值的均值^(T)μ″_{i，j′-1，k}和标准差^(T)σ″_{i，j′-1，k}，将^(T)μ″_{i，j′-1，k}和^(T)σ″_{i，j′-1，k}作为{^(T)I_{i，j′-1，k}(x，y)}的背景颜色信息，记为^(T)Θ′_i，j′-1，^(T)Θ′_i，j′-1＝{^(T)μ″_{i，j′-1，k}，^(T)σ″_{i，j′-1，k}}，其中，β为大于0的加权参数，在本实施例中，取β＝2。

同理，通过区域检查算法分别估计出源视点原始视频中当前帧组第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}和第j′-1时刻的源视点图像{^(S)I_{i，j′-1，k}(x，y)}的背景颜色信息，分别记为^(S)Θ′_i，j′和^(S)Θ′_i，j′-1，^(S)Θ′_i，j′＝{^(S)μ″_i，j′，k，^(S)σ″_i，j′，k}，^(S)Θ′_i，j′-1＝{^(S)μ″_{i，j′-1，k}，^(S)σ″_{i，j′-1，k}}，其中，^(S)μ″_i，j′，k表示{^(S)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(S)σ″_i，j′，k表示{^(S)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，^(S)μ″_{i，j′-1，k}表示{^(S)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(S)σ″_{i，j′-1，k}表示{^(S)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，1＜j′≤N_GOP。

在此具体实施例中，上述通过区域检测算法估计{^(S)I_i，j′，k(x，y)}和{^(S)I_{i，j′-1，k}(x，y)}的背景颜色信息的具体过程采用与步骤⑥-1至⑥-2相同的操作。

⑦根据{^(T)I_i，j′，k(x，y)}与{^(T)I_{i，j′-1，k}(x，y)}的背景颜色信息及{^(S)I_i，j′，k(x，y)}与{^(S)I_{i，j′-1，k}(x，y)}的背景颜色信息，可以快速估计得到{^(S)I_i，j′，k(x，y)}的颜色校正关系。将{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，j′，k(x，y)与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，j′，k(x，y)的乘性误差记为a_i，j′，k，将{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，j′，k(x，y)与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，j′，k(x，y)的加性误差记为e_i，j′，k，然后根据已得到的a_{i，j′-1，k}和e_{i，j′-1，k}，快速估计得到a_i，j′，k和e_i，j′，k，再利用a_i，j′，k和e_i，j′k对{^(S)I_i，j′，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，j′，k(x，y)＝a_i，j′，k·^(S)I_i，j′，k(x，y)+e_i，j′，k，其中，^(C)I_i，j′，k(x，y)为{^(S)I_i，j′，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值。

在此具体实施例中，步骤⑦中获取a_i，j′，k和e_i，j′，k的具体过程为：

⑦-1、将{^(T)I_i，j′，k(x，y)}与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差记为

将{^(T)I_i，j′，k(x，y)}与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的加性误差记为

⑦-2、将{^(S)I_i，j′，k(x，y)}与{^(S)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差记为

将{^(S)I_i，j′，k(x，y)}与{^(S)I_{i，l′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的加性误差记为

⑦-3、根据已得到的a_{i，j′-1，k}和e_{i，j′-1，k}，快速估计得到a_i，j′，k和e_i，j′，k， $a_{{i,j}^{\′},k}=a_{{i,j}^{\′}-1,k}\·(a_{i,j^{\′},k}^T/a_{{i,j}^{\′},k}^S),$ $e_{{i,j}^{\′},k}=(a_{{i,j}^{\′}-1,k}\·e_{i,j^{\′},k}^T+e_{{i,j}^{\′}-1,k}-e_{{i,j}^{\′},k}^S)/a_{{i,j}^{\′},k}^S.$

⑧通过主颜色提取算法分别估计出目标视点原始视频中其余各个帧组的目标视点关键帧图像和源视点原始视频中其余各个帧组的源视点关键帧图像的主颜色信息，得到目标视点原始视频中所有帧组的目标视点关键帧图像和源视点原始视频中所有帧组的源视点关键帧图像的主颜色信息集合，分别记为{^(T)Θ_i，1}和{^(S)Θ_i，1}，将所有目标视点关键帧图像的帧号作为控制顶点，将所有目标视点关键帧图像的主颜色信息集合{^(T)Θ_i，1}作为节点矢量，通过B样条曲线拟合算法分别估计出所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(T)f_u，k(x₁)和y₁＝^(T)f_σ，k(x₁)，将所有源视点关键帧图像的帧号作为控制顶点，将所有源视点关键帧图像的主颜色信息集合{^(S)Θ_i，1}作为节点矢量，通过B样条曲线拟合算法分别估计出所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(S)f_u，k(x₁)和y₁＝^(S)f_σ，k(x₁)，其中，^(T)f_u，k()表示所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，^(T)f_σ，k()表示所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数，^(S)f_u，k()表示所有源视点图像的各个颜色分量的颜色值的均值曲线变化函数，^(S)f_σ，k()表示所有源视点图像的各个颜色分量的颜色值的标准差曲线变化函数，x₁表示均值和标准差曲线变化函数的输入变量，y₁表示均值和标准差曲线变化函数的输出变量。

在此具体实施例中，步骤⑧中通过主颜色提取算法分别估计出目标视点原始视频中其余各个帧组的目标视点关键帧图像和源视点原始视频中其余各个帧组的源视点关键帧图像的主颜色信息的过程，采用与步骤③中通过主颜色提取算法估计{^(T)I_i，1，k(x，y)}和{^(S)I_i，1，k(x，y)}的主颜色信息的具体过程相同的操作方法。

在此具体实施例中，步骤⑧中通过B样条曲线拟合算法估计所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数的具体过程为：

⑧-1、将所有目标视点关键帧图像的帧号作为控制顶点，将目标视点原始视频中第i个帧组的目标视点关键帧图像的帧号记为t_i，将目标视点原始视频中第i个帧组的目标视点关键帧图像的正规化的B样条基底函数记为N_i，l(x₁)，其中，x₁表示函数的输入变量，1≤x₁≤N_GOP·N，N_GOP表示帧组的长度，N为目标视点原始视频和源视点原始视频包含的帧组的个数，l表示迭代次数，l≥1；

⑧-2、采用Cox-deBoor递推公式，计算得到N_i，l(x₁)经过l′次迭代的正规化的B样条基底函数，记为N_i，l′(x₁)， $N_{{i,l}^{\′}}\left(x_1\right)=\frac{(x_1-t_i)N_{{i,l}^{\′}-1}\left(x_1\right)}{t_{{i+l}^{\′}-1}-t_i}+\frac{(t_{i+l^{\′}}-x_1)N_{{i+1,l}^{\′}-1}\left(x_1\right)}{t_{i+l^{\′}}-t_{i+1}},$ 其中，l′＞1，在本实施例中，l′＝10，N_i，l′-1(x₁)表示N_i，l(x₁)经过l′-1次迭代的正规化的B样条基底函数，t_i+l′-1表示目标视点原始视频中第i+l′-1个帧组的目标视点关键帧图像的帧号，t_i+l′表示目标视点原始视频中第i+l′个帧组的目标视点关键帧图像的帧号，N_i+1，l′-1(x₁)表示目标视点原始视频中第i+1个帧组的目标视点关键帧图像的正规化的B样条基底函数N_i+1，l(x₁)经过l′-1次迭代的正规化的B样条基底函数，t_i+1表示目标视点原始视频中第i+1个帧组的目标视点关键帧图像的帧号，如果t_i≤x₁＜t_i+1，则N_i，1(x₁)＝1，否则，N_i，1(x₁)＝0，N_i，1(x₁)表示N_i，l(x₁)经过1次迭代的正规化的B样条基底函数；

⑧-3、将所有目标视点关键帧图像的主颜色信息集合{^(T)Θ_i，1}作为节点矢量，估计得到所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，记为y₁＝^(T)f_u，k(x₁)，

其中，^(T)f_u，k()表示所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，x₁表示函数的输入变量，y₁表示函数的输出变量；

⑧-4、采用与步骤⑧-1至⑧-3相同的操作，估计得到所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数，记为y₁＝^(T)f_σ，k(x₁)，其中，^(T)f_σ，k()表示所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数。

同理，步骤⑧中通过B样条曲线拟合算法估计所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数的具体过程，采用与步骤⑧-1至⑧-4相同的操作，估计得到所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(S)f_u，k(x₁)和y₁＝^(S)f_σ，k(x₁)。

⑨根据所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到目标视点原始视频中当前帧组第j′时刻的目标视点非关键帧图像{^(T)I_i，j′，k(x，y)}的主颜色信息，记为^(T)Θ_i，j′，^(T)Θ_i，j′＝{^(T)μ′_i，j′，k，^(T)σ′_i，j′，k}，根据所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到源视点原始视频中当前帧组第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}的主颜色信息，记为^(S)Θ_i，j′，^(S)Θ_i，j′＝{^(S)μ′_i，j′，k，^(S)σ′_i，j′，k}，其中，1＜j′≤N_GOP，^(T)μ′_i，j′，k＝^(T)f_u，k(i·N_GOP+j′)，^(T)σ′_i，j′，k＝^(T)f_σ，k(i·N_GOP+j′)，^(S)μ′_i，j′，k＝^(S)f_u，k(i·N_GOP+j′)，^(S)σ′_i，j′，k＝^(S)f_σ，k(i·N_GOP+j′)。

⑩根据已得到的^(T)Θ_i，j′和^(S)Θ_i，j′，计算{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差和加性误差，分别记为a_i，j′，k和e_i，j′，k，a_i，j′，k＝^(T)σ′_i，j′，k/^(S)σ′_i，j′，k，e_i，j′，k＝^(T)μ′_i，j′，k-a_i，j′，k·^(S)μ′_i，j′，k，再利用a_i，j′，k和e_i，j′，k对{^(S)I_i，j′，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，j′，k(x，y)＝a_i，j′，k·^(S)I_i，j′，k(x，y)+e_i，j′，k，其中，^(C)I_i，j′，k(x，y)为{^(S)I_i，j′，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值。

将目标视点原始视频和源视点原始视频中下一个待处理的帧组作为当前帧组，然后返回执行步骤③，直至对源视点原始视频中所有帧组的源视点图像完成颜色校正。

以下就利用本发明颜色校正方法对“flamenco1”和“objects2”多视点视频测试集进行快速颜色校正的主观和客观性能进行比较。

将分别采用本发明同步跟踪方式与非同步跟踪方式对多视点视频进行颜色校正，与不采用本发明方法对多视点视频进行颜色校正的时间进行比较，比较结果如表1所示，从表1中可以看出，采用本发明同步跟踪方式和非同步跟踪方式都能够大大节省颜色校正的时间，并且本发明非同步跟踪方式的计算复杂度比同步跟踪方式的计算复杂度更低，而本发明非同步跟踪方式的同步性要比同步跟踪方式的同步性要差，这样，可以根据多视点视频系统的性能来自适应地选择跟踪方式，足以说明本发明方法是有效可行的。

将采用本发明方法的同步跟踪方式和非同步跟踪方式的颜色变化曲线进行比较，图6a和图6b分别给出了“flamenco1”多视点视频测试集经本发明方法颜色校正后Y分量的均值和标准差变化曲线，图7a和图7b分别给出了“objects2”多视点视频测试集经本发明方法颜色校正后Y分量的均值和标准差变化曲线，从图6a至图7b可以看出，采用本发明方法的同步跟踪方式与非同步跟踪方式得到的变化曲线基本上重合，但采用非同步跟踪方式得到的变化曲线更加平滑。

图8给出了“flamenco1”源视点视频经本发明方法颜色校正后的视频图像，图9给出了“objects2”源视点视频经本发明方法颜色校正后的视频图像，图10给出了组合视频经本发明方法颜色校正后的视频图像，从图像的主观效果可以看出，对于“flamenco1”和“objects2”，采用本发明颜色校正后的图像其颜色外表与关键帧图像非常接近，对于组合视频，能够得到更加平滑的颜色变化趋势，说明本发明方法的时域跟踪方式是有效的。

表1利用本发明方法与原始方法对多视点视频进行颜色校正的时间比较

Claims (4)

1.一种快速多视点视频颜色校正方法，其特征在于包括以下步骤：

①将由多视点视频系统拍摄的未经处理的且颜色空间为YUV的多视点视频定义为原始多视点视频，将原始多视点视频中的一个视点定义为目标视点，记为T，将原始多视点视频中的其它视点定义为源视点，记为S；在空域上该原始多视点视频包括目标视点原始视频和源视点原始视频，目标视点原始视频主要由若干个帧组的目标视点图像组成，源视点原始视频主要由若干个帧组的源视点图像组成，其中，YUV颜色空间的三个颜色分量中的第1个颜色分量为亮度分量，记为Y，第2个颜色分量为第一色度分量，记为U，第3个颜色分量为第二色度分量，记为V；

②将目标视点原始视频中第i个帧组第j时刻的目标视点图像记为{^(T)I_i，j，k(x，y)}，将源视点原始视频中第i个帧组第j时刻的源视点图像记为{^(S)I_i，j，k(x，y)}，将目标视点原始视频中每个帧组第1时刻的目标视点图像定义为目标视点关键帧图像，将目标视点原始视频中除每个帧组第1时刻的目标视点图像外的目标视点图像定义为目标视点非关键帧图像，将源视点原始视频中每个帧组第1时刻的源视点图像定义为源视点关键帧图像，将源视点原始视频中除每个帧组第1时刻的源视点图像外的源视点图像定义为源视点非关键帧图像，其中，1≤i≤N，N为目标视点原始视频和源视点原始视频包含的帧组的个数，1≤j≤N_GOP，N_GOP表示帧组的长度，i·N_GOP+j表示第i个帧组第j时刻的目标视点图像或第i个帧组第j时刻的源视点图像的帧号，k＝1，2，3分别表示YUV颜色空间的三个颜色分量，(x，y)表示图像中的像素点的坐标位置，^（T)I_i，j，k(x，y)表示{^(T)I_i，j，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值，^(S)I_i，j，k(x，y)表示{^(S)I_i，j，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；

定义目标视点原始视频和源视点原始视频中当前待处理的第i个帧组为当前帧组；

③通过主颜色提取算法分别估计出目标视点原始视频中当前帧组的目标视点关键帧图像{^(T) _Ii，l，k(x，y)}和源视点原始视频中当前帧组的源视点关键帧图像{^(S)I_i，l，k(x，y)}的主颜色信息，分别记为^(T)Θ_i，1和^(S)Θ_i，l，^（T)Θ_i，l＝{^（T)μ′_i，l，k，^（T)σ′_i，l，k}，^（S)Θ_i，l＝{^(S)μ′_i，l，k，^（S)σ′_i，l，k}，其中，^（T)μ′_i，l，k表示{^（T)I_i，l，k(x，y)}的主颜色的第k个颜色分量的颜色值的均值，^(T)σ′_i，l，k表示{^(T)I_i，l，k(x，y)}的主颜色的第k个颜色分量的颜色值的标准差，^（S)μ′_i，l，k表示{^（S)I_i，l，k(x，y)}的主颜色的第k个颜色分量的颜色值的均值，^(S)σ′_i，l，k表示{^(S)I_i，l，k(x，y)}的主颜色的第k个颜色分量的颜色值的标准差；

④将{^(T)I_i，l，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，l，k(x，y)与{^(S)I_i，l，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，l,k(x，y)的乘性误差记为a_i，l，k，a_i，l，k＝^(T)σ′_i，l，k/^(s)σ′_i，l，k，将{^(T)I_i，l，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，l，k(x，y)与{^(S)I_i，l，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，l，k(x，y)的加性误差记为e_i，l，k，e_i，l，k＝^(T)μ′_i，l，k-a_i，j，k·^(S)μ′_i，j，k，然后根据{^(T)I_i，l，k(x，y)}和{^(S)I_i，l，k(x，y)}中各个对应的像素点的各个颜色分量的颜色值的乘性误差和加性误差，对{^(S)I_i，l，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，l，k(x，y)＝a_i，l，k·^(S)I_i，l，k(x，y)+e_i，l，k，其中，^(C)I_i，l，k(x，y)为{^(S)I_i，l，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；

⑤选择跟踪方式对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量进行颜色校正，对于源视点原始视频中当前帧组的第j′时刻的源视点非关键帧图像{^(S)I_i，l，k(x，y)}，1＜j′≤N_GOP，如果选择的跟踪方式为同步跟踪方式，则执行步骤⑥至⑦，如果选择的跟踪方式为非同步跟踪方式，则执行步骤⑧至⑩；

对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量完成颜色校正后，执行步骤

；

⑥通过区域检测算法分别估计出目标视点原始视频中当前帧组第j′时刻的目标视点非关键帧图像{^(T)I_i，j′，k(x，y)}和第j′-1时刻的目标视点图像{^(T)I_{i，j′-1，k}(x，y)}的背景颜色信息，分别记为^(T)Θ′_i，j′和^（T)Θ′_i，j′-1 ^（T)Θ′_i，j′＝{^(T)μ″_i，j′，k，^（T)σ″_i，j′，k}，^(T)Θ′_i，j′-1＝{^(T)μ″_{i，j′-1，k}，^(T)σ″_{i，j′-1，k}}，其中，^(T)μ″_i，j′，k表示{^(T)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^（T)σ″_i，j′，k表示{^(T)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，^(T)μ″_{i，j′-1，k}表示{^(T)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^（T)σ″_{i，j′-1，k}表示{^(T)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，1＜j′≤N_GOP；

通过区域检测算法分别估计出源视点原始视频中当前帧组第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}和第j′-1时刻的源视点图像{^(S)I_{i，j′-1，k}(x，y)}的背景颜色信息，分别记为^(S)Θ′_i，j′和^(S)Θ′_i，j′-1，^(S)Θ′_i，j′＝{^(S)μ″_i，j′，k，^(S)σ″_i，j′，k}，^(S)Θ′_i，j′-1＝{^(S)μ″_{i，j′-1，k}，^(S)σ″_{i，j′-1，k}}，其中，^(S)μ″_i，j′，k表示{^(S)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^（S)σ″_i，j′，k表示{^(S)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，^(S)μ″_{i，j′-1，k}表示{^(S)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^（S)σ″_{i，j′-1，k}表示{^(S)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，1＜j′≤N_GOP；

所述的步骤⑥中通过区域检测算法估计{^(T)I_i，j′，k(x，y)}和{^(T)I_{i，j′-1，k}(x，y)}的背景颜色信息的具体过程为：

⑥-1、计算{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值的绝对差，记为D_i，j′，l(x，y)，D_i，j′，l(x，y)＝|^(T)I_i，j′，l(x，y)-^(T)I_{i，j′-1，l}(x，y)|，计算{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点与{^(T)I_{i，j′-l，k}(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值的平均绝对方差，记为

其中，“||”为绝对值符号，M表示图像包含的像素点的总个数，Ψ表示图像中所有像素点的集合，^(T)I_i，j′，l(x，y)表示{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值，^(T)I_{i，j′-1，l}(x，y)表示{^(T)I_{i，j′-l，k}(x，y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值，1＜j′≤N_GOP；

⑥-2、将{^(T)I_i，j′，k(x，y)}中所有满足条件

的像素点作为{^(T)I_i，j′,k(x，y)}和{^(T)I_{i，j′-1，k}(x，y)}的背景像素点，分别计算{^(T)I_i，j′，k(x，y)}的背景像素点的各个颜色分量的颜色值的均值^(T)μ″_i，j′，k和标准差^（T)σ″_i，j′，k，将^(T)μ″_i，j′，k和^（T)σ″_i，j′，k作为{^(T)I_i，j′，k(x，y)}的背景颜色信息，记为^（T)Θ′_i，j′，^（T)Θ′_i，j′＝{^(T)μ″_i，j′k，^（T)σ″_i，j′，k}，分别计算{^(T)I_{i，j′-1，k}(x，y)}的背景像素点的各个颜色分量的颜色值的均值^(T)μ″_{i，j′-1，k}和标准差^(T)σ″_{i，j′-1，k}，将^(T)μ″_{i，j′-1，k}和^(T)σ″_{i，j′-1，k}作为{^(T)I_{i，j′-1，k}(x，y)}的背景颜色信息，记为^(T)Θ′_i，j′-1，^(T)Θ′_i，j′-1＝{^(T)μ″_{i，j′-1，k}，^(T)σ″_{i，j′-1，k}}，其中，β为大于0的加权参数；

所述的步骤⑥中通过区域检测算法估计{^(S)I_i，j′，k(x，y)}和{^(S)I_{i，j′-1，k}(x，y)}的背景颜色信息的具体过程采用与步骤⑥-1至⑥-2相同的操作，获取{^(S)I_i，j′，k(x，y)}和{^(S)I_{i，j′-1，k}(x，y)}的背景颜色信息，分别记为^(S)Θ′_i，j′和^(S)Θ′_i，j′-1，^(S)Θ′_i，j′＝{^(S)μ″_i，j′，k，^(S)σ″_i，j′，k}，^(S)Θ′_i，j′-1＝{^(S)μ″_{i，j′-1，k}，^(S)σ″_{i，j′-1，k}}；

⑦将{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，j′，k(x，y)与{^(S)I_i，j′，k}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，j′，k(x，y)的乘性误差记为a_i，j′，k，将{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，j′，k(x，y)与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，j′，k(x，y)的加性误差记为e_i，j′，k，然后根据已得到的a_{i，j′-1，k}和e_{i，j′-1，k}，快速估计得到a_i，j′，k和e_i，j′，k，再利用a_i，j′，k和e_i，j′，k对{^(S)I_i，j′，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，j′，k(x，y)＝a_i，j′，k·^(S)I_i，j′，k(x，y)+e_i，j′，k，其中，^(C)I_i，j′，k(x，y)为{^(S)I_i，j′，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；

所述的步骤⑦中获取a_i，j′，k和e_i，j′，k的具体过程为：

⑦-1、将{^(T)I_i，j′，k(x，y)}与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差记为

将{^(T)I_i，j′，k(x，y)}与{^(T)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的加性误差记为

⑦-2、将{^(S)I_i，j′，k(x，y)}与{^(S)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差记为

，将{^(S)I_i，j′，k(x，y)}与{^(S)I_{i，j′-1，k}(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的加性误差记为

，

⑦-3、根据已得到的a_{i，j′-1，k}和e_{i，j′-1，k}，快速估计得到a_i，j′，k和e_i，j′，k， $a_{i,j^{\′},k}=a_{i,j^{\′}-1,k}\·(a_{i,j^{\′},k}^T/a_{i,j^{\′},k}^S),$ $e_{i,j^{\′},k}=(a_{i,j^{\′}-1,k}\·e_{i,j^{\′},k}^T+e_{i,j^{\′}-1,k}-e_{i,j^{\′},k}^S)/a_{i,j^{\′},k}^S;$

⑧通过主颜色提取算法分别估计出目标视点原始视频中其余各个帧组的目标视点关键帧图像和源视点原始视频中其余各个帧组的源视点关键帧图像的主颜色信息，得到目标视点原始视频中所有帧组的目标视点关键帧图像和源视点原始视频中所有帧组的源视点关键帧图像的主颜色信息集合，分别记为{^(T)Θ_i，1}和{^(S)Θ_i，1}，将所有目标视点关键帧图像的帧号作为控制顶点，将所有目标视点关键帧图像的主颜色信息集合{^(T)Θ_i，1}作为节点矢量，通过B样条曲线拟合算法分别估计出所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(T)f_u，k(x₁)和y₁＝^(T)f_σ，k(x₁)，将所有源视点关键帧图像的帧号作为控制顶点，将所有源视点关键帧图像的主颜色信息集合{^(S)Θ_i，1}作为节点矢量，通过B样条曲线拟合算法分别估计出所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(S)f_u，k(x₁)和y₁＝^(S)f_σ，k(x₁)，其中，^(T)f_u，k()表示所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，^(T)f_σ，k()表示所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数，^(S)f_u，k()表示所有源视点图像的各个颜色分量的颜色值的均值曲线变化函数，^(S)f_σ，k()表示所有源视点图像的各个颜色分量的颜色值的标准差曲线变化函数，x₁表示均值和标准差曲线变化函数的输入变量，y₁表示均值和标准差曲线变化函数的输出变量；

⑨根据所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到目标视点原始视频中当前帧组第j′时刻的目标视点非关键帧图像{^(T)I_i，j′k(x，y)}的主颜色信息，记为^(T)Θ_i，j′，^(T)Θ_i，j′＝{^(T)μ′_i，j′k，^(T)σ′_i，j′k}，根据所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到源视点原始视频中当前帧组第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}的主颜色信息，记为^(S)Θ_i，j′，^(S)Θ_i，j′＝{^(S)μ′_i，j′k，^(S)σ′_i，j′，k}，其中，1＜j′≤N_GOP，^(T)μ′_i，j′，k＝^(T)f_u，k(i·N_GOP+j′)，^(T)σ′_i，j′，k＝^(T)f_σ，k(i·N_GOP+j′)，^(S)μ′_i，j′，k＝^(S)f_u，k(i·N_GOP+j′)，^(S)σ′_i，j′，k＝^(S)f_σ，k(i·N_GOP+j′)；

⑩根据已得到的^(T)Θ_i，j′和^(S)Θ_i，j′，计算{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差和加性误差，分别记为a_i，j′，k和e_i，j′，k，a_i，j′，k＝^(T)σ′_i，j′，k/^(S)σ′_i，j′，k，e_i，j′k＝^(T)μ′_i，j′，k-a_i，j′，k·^(S)μ′_i，j′，k，再利用a_i，j′，k和e_i，j′，k对{^(S)I_i，j′，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，j′，k(x，y)＝a_i，j′，k·^(S)I_i，j′，k(x，y)+e_i，j′，k，其中，^(C)I_i，j′k(x，y)为{^(S)I_i，j′，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；

将目标视点原始视频和源视点原始视频中下一个待处理的帧组作为当前帧组，然后返回执行步骤③，直至对源视点原始视频中所有帧组的源视点图像完成颜色校正。

2.根据权利要求1所述的一种快速多视点视频颜色校正方法，其特征在于所述的步骤③中通过主颜色提取算法估计{^(T)I_i，l，k(x，y)}和{^(S)I_i，l，k(x，y)}的主颜色信息的具体过程为：

③-1、在YUV颜色空间以白、黑、红、黄、绿、蓝、粉红、紫、橙、灰和棕11种基本颜色来表示基本颜色分类的集合Ω，

，其中，表示基本颜色分类的标记；

③-2、分别计算{^(T)I_i，l，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值与11种基本颜色的颜色值之间的欧式距离，然后找出最小的欧式距离代价，记为COST_min，再将COST_min对应的基本颜色分类的标记作为最佳颜色分类的标记，记为m，将{^(T)I_i，l，k(x，y)}中坐标位置为(x，y)的像素点属于第m个基本颜色分类的概率设为1，记为P_m(x，y)＝1，将{^(T)I_i，l，k(x，y)}中坐标位置为(x，y)的像素点属于其余所有基本颜色分类的概率设为0，记为P_n(x，y)＝0，其中，m∈Ω，n∈Ω，n≠m，P_m()和P_n()表示概率函数；

③-3、分别对{^(T)I_i，l，k(x，y)}中的每个像素点属于11个基本颜色分类的概率集合

进行累加操作，得到{^(T)I_i，l，k(x，y)}属于11个基本颜色分类的累计概率集合，记为

，其中， $p_l=\underset{(x,y)\∈\mathrm{\Ψ}}{\mathrm{\Σ}}{P}_l(x,y)/\left(\underset{q=1}{\overset{11}{\mathrm{\Σ}}}\underset{(x,y)\∈\mathrm{\Ψ}}{\mathrm{\Σ}}{P}_q(x,y)\right)$ ，Ψ表示图像中所有像素点的集合；

③-4、找出

中最大累计概率对应的基本颜色分类的标记作为主颜色的标记，记为h，计算{^(T) _Ii，l，k(x，y)}中所有满足P_h(x，y)＝1的像素点的第k个颜色分量的颜色值的均值和标准差，分别记为^(T)μ′_i，l，k和^(T)σ′_i，l，k，将^(T)μ′_i，l，k和^(T)σ′_i，l，k作为{^(T)I_i，l，k(x，y)}的主颜色信息，记为^(T)Θ_i，l，^(T)Θ_i，l＝{^(T)μ′_i，l，k，^(T)σ′_i，l，k}，其中，h∈Ω；

③-5、对{^(S)I_i，l，k(x，y)}采用与步骤③-2至③-4相同的操作，获得{^(S)I_i，l，k(x，y)}的主颜色信息，记为^(S)Θ_i，l，^(S)Θ_i，l{^(S)μ′_i，l，k，^(S)σ′_i，l，k}。

3.根据权利要求1所述的一种快速多视点视频颜色校正方法，其特征在于所述的步骤⑧中通过主颜色提取算法分别估计出目标视点原始视频中其余各个帧组的目标视点关键帧图像和源视点原始视频中其余各个帧组的源视点关键帧图像的主颜色信息的过程，采用与所述的步骤③中通过主颜色提取算法估计{^(T)I_i，l，k(x，y)}和{^(S)I_i，l，k(x，y)}的主颜色信息的具体过程相同的操作方法。

4.根据权利要求3所述的一种快速多视点视频颜色校正方法，其特征在于所述的步骤⑧中通过B样条曲线拟合算法估计所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数的具体过程为：

⑧-1、将所有目标视点关键帧图像的帧号作为控制顶点，将目标视点原始视频中第i个帧组的目标视点关键帧图像的帧号记为t_i，将目标视点原始视频中第i个帧组的目标视点关键帧图像的正规化的B样条基底函数记为

(x₁)，其中，x₁表示函数的输入变量，1≤x₁≤N_GOP·N，N_GOP表示帧组的长度，N为目标视点原始视频和源视点原始视频包含的帧组的个数，

表示迭代次数，

；

⑧-2、采用Cox-deBoor递推公式，计算得到

(x₁)经过

次迭代的正规化的B样条基底函数，记为

(x₁)， $N_{i,l^{\′}}\left(x_1\right)=\frac{(x_1-t_i)N_{i,l^{\′}-1}\left(x_1\right)}{t_{i+l^{\′}-1}-t_i}+\frac{(t_{i+l^{\′}}-x_1)N_{i+1,l^{\′}-1}\left(x_1\right)}{t_{i+l^{\′}}-t_{i+1}},$ 其中，

，

(x₁)表示(x₁)经过次迭代的正规化的B样条基底函数，表示目标视点原始视频中第

个帧组的目标视点关键帧图像的帧号，

表示目标视点原始视频中第个帧组的目标视点关键帧图像的帧号，

(x₁)表示目标视点原始视频中第i+1个帧组的目标视点关键帧图像的正规化的B样条基底函数

(x₁)经过

次迭代的正规化的B样条基底函数，t_i+1表示目标视点原始视频中第i+1个帧组的目标视点关键帧图像的帧号，如果t_i≤x₁＜t_i+1，则N_i，1(x₁)＝1，否则，N_i，1(x₁)＝0，N_i，1(x₁)表示

(x₁)经过1次迭代的正规化的B样条基底函数；

⑧-3、将所有目标视点关键帧图像的主颜色信息集合{^(T)Θ_i，1}作为节点矢量，估计得到所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，记为y₁＝^(T)f_u，k(x₁)，

，其中，^(T)f_u，k()表示所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，x₁表示函数的输入变量，y₁表示函数的输出变量；

⑧-4、采用与步骤⑧-1至⑧-3相同的操作，估计得到所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数，记为y₁＝^(T)f_σ，k(x₁)，其中，^(T)f_σ，k()表示所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数；

所述的步骤⑧中通过B样条曲线拟合算法估计所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数的具体过程，采用与步骤⑧-1至⑧-4相同的操作，估计得到所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(S)f_u，k(x₁)和y₁＝^(S)f_σ，k(x₁)。

Images