CN109672874B - 一种时空一致的立体视频颜色校正方法 - Google Patents

Abstract

本发明涉及一种时空一致的立体视频颜色校正方法，首先从参考视频帧和目标视频帧中每隔a帧选出一对关键帧，在每个时间滑动窗口内选取k对；接着对于每一对关键帧，采用图像颜色校正算法获得目标视频关键帧的初始颜色校正结果帧，然后利用引导滤波计算得到和输入的目标视频关键帧结构更加一致的颜色校正结果视频帧；然后在时间滑动窗口内，利用改进的直方图匹配求出目标视频关键帧和颜色校正后的目标视频关键帧之间的颜色映射函数；最后用该颜色映射函数校正位于时间滑动窗口中心的a帧目标视频帧，得到a帧颜色校正后的最终目标视频帧。本发明对于立体视频颜色差异能够起到很好的校正效果。

Description

一种时空一致的立体视频颜色校正方法

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是一种时空一致的立体视频颜色校正方法。

背景技术

图像和视频中颜色和亮度差异通常是由各种因素引起的，例如强度变化、光源位置、孔径尺寸差异、拍摄角度、拍摄时间等。立体显示中左右视图之间的颜色差异将增加立体图像融合的负担，从而导致人的视觉疲劳。已经有一些颜色校正算法被提出用来减少颜色差异，提高立体图像或视频的质量。

基于颜色映射函数的数量，可以将颜色校正算法分类为全局颜色校正算法和局部颜色校正算法。但是全局颜色校正算法对图像中的局部颜色差异的校正效果较差，并且只利用了统计信息，例如均值和标准差，颜色校正的结果往往不自然。为了解决全局颜色校正算法的不足，许多局部颜色校正算法也被不断提出。但是基于稀疏特征匹配的局部颜色校正算法的特征点少，因此颜色校正结果非常依赖于特征点匹配的准确度，一旦出现误匹配和没有特征点匹配的区域，就会出现错误的颜色校正结果。

颜色校正按照应用的类型也可以分为图像颜色校正算法和视频颜色校正算法。图像颜色校正算法使用参考图像对存在颜色差异的目标图像进行颜色校正，使目标图像的颜色特征尽可能的与参考图像保持一致。Reinhard等人提出了利用参考和目标图像的均值和方差的图像颜色转换。图像颜色校正算法需要在不相关的颜色空间中执行，以避免某个颜色通道在被修改时影响到其它通道颜色。Xiao等人通过使用协方差矩阵，在相关色彩空间中进行全局颜色转换。Yan等人提出基于尺度不变特征变换的局部图像颜色校正算法，利用稀疏特征点匹配参考图像和目标图像，对每个区域进行颜色校正。Panetta等人利用K均值算法来分割图像参考图像和目标图像，求出参考图像和目标图像的匹配区域，对每个匹配区域进行颜色校正。

迄今为止，提出的视频颜色校正的算法较少。Fecker等人提出了一个针对图像和多视角视频的累积直方图映射颜色校正算法，算法根据参考图像和目标图像颜色值出现次数来得到颜色值映射，从匹配到的参考图像颜色值中选取最大的颜色值作为目标图像中该颜色值的匹配。在视频颜色校正上，Fecker等人将所有的参考视频帧和目标视频帧的颜色信息都考虑进去，求出一个颜色映射函数来校正所有的目标视频帧，以此提高视频颜色的时间连续性。但是这种方法求解的颜色映射函数会产生部分颜色跳跃性大即匹配错误的情况，从而导致结果图像的某些区域和参考图像有较大的颜色差异，并且考虑所有图像的颜色信息进行映射函数求解非常耗时。Yao和Chang等人的梯度保留颜色转换算法是使用直方图匹配和拉普拉斯金字塔来获得和参考图像颜色一致的结果图像，然后利用块匹配将该方法拓展到视频颜色校正上，以此来提高视频颜色的时间一致性。Fezza等人提出了一个基于特征匹配的颜色校正算法来增强视频的编码性能和质量。他们使用SIFT特征点来找到视角间的公共区域，然后将目标视频序列分成多组，计算多组图片的公共区域的颜色直方图来求出多个颜色映射函数，再应用到对应组的目标视频帧上。Lu等人提出的基于时空一致和结构优化的视频颜色校正算法，利用前一帧的目标视频帧、前一帧的结果视频帧、当前的目标视频帧、当前的参考视频帧以及纹理信息来构建一个拉普拉斯矩阵优化问题，最后逐帧进行颜色校正。

发明内容

有鉴于此，本发明的目的是提出一种时空一致的立体视频颜色校正方法，先利用改进的直方图匹配来提高颜色映射的准确性，然后通过时间滑动窗口来维持校正后的目标视频帧的时间连续性。本发明对于立体视频颜色差异能够起到很好的校正效果。

本发明采用以下方案实现：一种时空一致的立体视频颜色校正方法，包括以下步骤：

步骤S1：从参考视频帧I_r和目标视频帧I_t中每隔a帧选出一对关键帧，在每个时间滑动窗口内选取k对；

步骤S2：对于每一对关键帧，采用图像颜色校正算法获得目标视频关键帧的初始颜色校正结果帧I_d，然后利用引导滤波计算得到和输入的目标视频关键帧I_t结构更加一致的颜色校正结果视频帧I_f；

步骤S3：在时间滑动窗口内，利用改进的直方图匹配求出目标视频关键帧和颜色校正后的目标视频关键帧之间的颜色映射函数；

步骤S4：用该颜色映射函数校正位于时间滑动窗口中心的a帧目标视频帧，得到a帧颜色校正后的最终目标视频帧I_v；其中第一个和最后一个颜色映射函数校正的目标视频数目是2.5a帧。

进一步地，步骤S2中，所述引导滤波采用局部线性模型；该模型认为某函数上一点与其邻近部分的点成线性关系，一个复杂的函数可以用很多局部的线性函数来表示，当需要求该函数上某一点的值时，只需计算所有包含该点的线性函数的值并计算平均值。同理，可以认为图像是一个二维函数，无法直接写出解析表达式，因此假设该函数的输出与输入在一个二维窗口内满足线性关系。引导图像就是输入的目标视频关键帧I_t，需要被滤波的是目标视频关键帧的初始颜色校正结果帧I_d，滤波之后的结果为颜色校正后的目标视频关键帧I_f。

所述使用引导滤波改进初始颜色校正目标视频关键帧与输入的目标视频关键帧的结构一致性，得到颜色校正后的目标视频关键帧I_f包括以下步骤：

步骤S21：在引导滤波中，假设输出像素p是以像素q为中心的窗口ω_q中的某个像素，它的值是索引图像中以像素q为中心的对应窗口中的像素的线性变换：

式中，p和q是像素索引，

表示颜色校正后的结果视频帧中的第p个像素的颜色值，

表示目标视频帧中第p个像素的颜色值，a_q和b_q是线性系数，并且在窗口ω_q中是常数；

步骤S22：最小化以下成本函数，使得最终的颜色校正结果视频帧I_f和初始颜色校正结果视频帧I_d之间的差异最小：

式中，

表示初始颜色校正结果帧中第p个像素的颜色值；通过最小二乘法，得到线性系数a_q和b_q的值：

式中，ε是正则化系数用于防止求得的a_q过大；u_q和

是目标视频帧I_t的窗口ω_q中的均值和方差；|ω|是窗口ω_q中像素的数量，

是初始颜色校正结果帧I_d在窗口ω_q中的均值；引导滤波器可以作为边缘保持平滑算子，因为

一个像素会被多个窗口包含，因此每个像素都由多个线性函数所描述；当要求某一个像素的输出值时，需计算所有包含该像素的线性函数值平均

通过让

并且

将上式写成如下表达式：

由此，可以得到和目标视频关键帧保持结构一致的颜色校正结果视频关键帧。

进一步地，传统的颜色直方图是根据参考图像和目标图像颜色值出现次数来得到颜色值映射，从匹配到的参考图像颜色值中选取最大的颜色值作为目标图像中该颜色值的匹配。这种匹配方式容易导致结果图像的某些区域出现较大的颜色差异。步骤S3中，所述改进的直方图匹配算法为：首先将参考图像和目标图像从RGB颜色空间转换为HSV颜色空间，然后对于每个颜色通道单独计算其颜色直方图；例如对H通道来说，它的颜色值v的范围为[0,1,…,359]，参考图像中被匹配到的颜色值可以用两个数组[s,…,e]和说[n_s,…,n_e]来表示，其中s和e是参考图像中被匹配到的最大颜色值和最小颜色值，n_s和n_e分别是颜色值为s和e的像素数目；

则所述颜色映射函数M[v]为：

式中，v表示颜色值，s和e是参考图像中被匹配到的最大颜色值和最小颜色值，i∈v，n_i表示颜色值为i时的像素数目。

进一步地，步骤S4具体为：将在每个时间滑动窗口中求出的颜色映射函数应用到位于该窗口中心的a个目标视频帧，得到a个颜色校正后的最终目标视频帧，然后时间滑动窗口向前移动a帧，直至校正完所有的目标视频帧。考虑到视频序列的前1.5a个视频帧和最后1.5a个视频帧不处于任何一个时间滑动窗口的中心，因此，使用离它们最近的一个时间滑动窗口的颜色映射函数来进行颜色校正。所以对于第一个和最后一个颜色映射函数校正的目标视频帧个数为2.5a个。

使用本发明的视频颜色校正算法求得的目标视频帧不仅在空间上和参考视频帧的颜色保持一致，在时间连续性上也保持颜色一致性，能够有效解决立体视频的颜色差异问题。

与现有技术相比，本发明有以下有益效果：本发明适用于立体视频颜色校正，校正后的结果视频帧能够很好的消除颜色差异并且和参考视频帧的颜色特征保持一致。本发明的方法分别从参考视频帧和目标视频帧中每隔a帧选出一对关键帧，在每个时间滑动窗口内选取k对。然后，利用图像颜色校正算法从k对关键帧中求出k个颜色校正后的目标视频关键帧，在时间滑动窗口内，利用改进的直方图匹配求出目标视频关键帧和颜色校正后的目标视频关键帧的颜色映射函数。最后，将该颜色映射函数用来校正位于时间滑动窗口中心的a帧目标视频帧，特别地第一个和最后一个颜色映射函数校正的目标视频数目是2.5a帧。本发明能够很好的消除立体视频的颜色差异，可用于视频质量增强等领域。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的方法详细流程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示以及图2所示，本实施例提供了一种时空一致的立体视频颜色校正方法，包括以下步骤：

步骤S1：从参考视频帧I_r和目标视频帧I_t中每隔a帧选出一对关键帧，在每个时间滑动窗口内选取k对；

步骤S2：对于每一对关键帧，采用图像颜色校正算法获得目标视频关键帧的初始颜色校正结果帧I_d，然后利用引导滤波计算得到和输入的目标视频关键帧I_t结构更加一致的颜色校正结果视频帧I_f；

步骤S3：在时间滑动窗口内，利用改进的直方图匹配求出目标视频关键帧和颜色校正后的目标视频关键帧之间的颜色映射函数；

步骤S4：用该颜色映射函数校正位于时间滑动窗口中心的a帧目标视频帧，得到a帧颜色校正后的最终目标视频帧I_v；其中第一个和最后一个颜色映射函数校正的目标视频数目是2.5a帧。

在本实施例中，步骤S2中，所述引导滤波采用局部线性模型；该模型认为某函数上一点与其邻近部分的点成线性关系，一个复杂的函数可以用很多局部的线性函数来表示，当需要求该函数上某一点的值时，只需计算所有包含该点的线性函数的值并计算平均值。同理，可以认为图像是一个二维函数，无法直接写出解析表达式，因此假设该函数的输出与输入在一个二维窗口内满足线性关系。引导图像就是输入的目标视频关键帧I_t，需要被滤波的是目标视频关键帧的初始颜色校正结果帧I_d，滤波之后的结果为颜色校正后的目标视频关键帧I_f。

所述使用引导滤波改进初始颜色校正目标视频关键帧与输入的目标视频关键帧的结构一致性，得到颜色校正后的目标视频关键帧I_f包括以下步骤：

步骤S21：在引导滤波中，假设输出像素p是以像素q为中心的窗口ω_q中的某个像素，它的值是索引图像中以像素q为中心的对应窗口中的像素的线性变换：

式中，p和q是像素索引，

表示颜色校正后的结果视频帧中的第p个像素的颜色值，

表示目标视频帧中第p个像素的颜色值，a_q和b_q是线性系数，并且在窗口ω_q中是常数；

步骤S22：最小化以下成本函数，使得最终的颜色校正结果视频帧I_f和初始颜色校正结果视频帧I_d之间的差异最小：

式中，

表示初始颜色校正结果帧中第p个像素的颜色值；通过最小二乘法，得到线性系数a_q和b_q的值：

式中，ε是正则化系数用于防止求得的a_q过大；u_q和

是目标视频帧I_t的窗口ω_q中的均值和方差；|ω|是窗口ω_q中像素的数量，

是初始颜色校正结果帧I_d在窗口ω_q中的均值；引导滤波器可以作为边缘保持平滑算子，因为

一个像素会被多个窗口包含，因此每个像素都由多个线性函数所描述；当要求某一个像素的输出值时，需计算所有包含该像素的线性函数值平均

通过让

并且

将上式写成如下表达式：

由此，可以得到和目标视频关键帧保持结构一致的颜色校正结果视频关键帧。

在本实施例中，传统的颜色直方图是根据参考图像和目标图像颜色值出现次数来得到颜色值映射，从匹配到的参考图像颜色值中选取最大的颜色值作为目标图像中该颜色值的匹配。这种匹配方式容易导致结果图像的某些区域出现较大的颜色差异。步骤S3中，所述改进的直方图匹配算法为：首先将参考图像和目标图像从RGB颜色空间转换为HSV颜色空间，然后对于每个颜色通道单独计算其颜色直方图；例如对H通道来说，它的颜色值v的范围为[0,1,…,359]，参考图像中被匹配到的颜色值可以用两个数组[s,…,e]和说[n_s,…,n_e]来表示，其中s和e是参考图像中被匹配到的最大颜色值和最小颜色值，n_s和n_e分别是颜色值为s和e的像素数目；

则所述颜色映射函数M[v]为：

式中，v表示颜色值，s和e是参考图像中被匹配到的最大颜色值和最小颜色值，i∈v，n_i表示颜色值为i时的像素数目。

在本实施例中，步骤S4具体为：将在每个时间滑动窗口中求出的颜色映射函数应用到位于该窗口中心的a个目标视频帧，得到a个颜色校正后的最终目标视频帧，然后时间滑动窗口向前移动a帧，直至校正完所有的目标视频帧。考虑到视频序列的前1.5a个视频帧和最后1.5a个视频帧不处于任何一个时间滑动窗口的中心，因此，使用离它们最近的一个时间滑动窗口的颜色映射函数来进行颜色校正。所以对于第一个和最后一个颜色映射函数校正的目标视频帧个数为2.5a个。

使用本实施例的视频颜色校正算法求得的目标视频帧不仅在空间上和参考视频帧的颜色保持一致，在时间连续性上也保持颜色一致性，能够有效解决立体视频的颜色差异问题。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.一种时空一致的立体视频颜色校正方法，其特征在于：包括以下步骤：

步骤S1：从参考视频帧I_r和目标视频帧I_t中每隔a帧选出一对关键帧，在每个时间滑动窗口内选取k对；

步骤S2：对于每一对关键帧，采用图像颜色校正算法获得目标视频关键帧的初始颜色校正结果帧I_d，然后利用引导滤波计算得到和输入的目标视频关键帧I_t结构更加一致的颜色校正结果视频帧I_f；

步骤S3：在时间滑动窗口内，利用改进的直方图匹配算法求出目标视频关键帧和颜色校正后的目标视频关键帧之间的颜色映射函数；

步骤S4：用该颜色映射函数校正位于时间滑动窗口中心的a帧目标视频帧，得到a帧颜色校正后的最终目标视频帧I_v；其中第一个和最后一个颜色映射函数校正的目标视频数目是2.5a帧；

其中，步骤S2中，所述引导滤波采用局部线性模型；所述利用引导滤波计算得到和输入的目标视频关键帧I_t结构更加一致的颜色校正结果视频帧I_f包括以下步骤：

步骤S21：在引导滤波中，假设输出像素p是以像素q为中心的窗口ω_q中的某个像素，它的值是索引图像中以像素q为中心的对应窗口中的像素的线性变换：

式中，p和q是像素索引，

表示颜色校正后的结果视频帧中的第p个像素的颜色值，

表示目标视频帧中第p个像素的颜色值，a_q和b_q是线性系数，并且在窗口ω_q中是常数；

步骤S22：最小化以下成本函数，使得最终的颜色校正结果视频帧I_f和初始颜色校正结果视频帧I_d之间的差异最小：

式中，

表示初始颜色校正结果帧中第p个像素的颜色值；通过最小二乘法，得到线性系数a_q和b_q的值：

式中，ε是正则化系数用于防止求得的a_q过大；u_q和

是目标视频帧I_t的窗口ω_q中的均值和方差；|ω|是窗口ω_q中像素的数量，

是初始颜色校正结果帧I_d在窗口ω_q中的均值；

一个像素会被多个窗口包含，因此每个像素都由多个线性函数所描述；当要求某一个像素的输出值时，需计算所有包含该像素的线性函数值平均

通过让

并且

将上式写成如下表达式：

由此，得到和目标视频关键帧保持结构一致的颜色校正结果视频关键帧。

2.根据权利要求1所述的一种时空一致的立体视频颜色校正方法，其特征在于：步骤S3中，所述改进的直方图匹配算法为：首先将参考图像和目标图像从RGB颜色空间转换为HSV颜色空间，然后对于每个颜色通道单独计算其颜色直方图；所述颜色映射函数为：

式中，v表示颜色值，s和e是参考图像中被匹配到的最大颜色值和最小颜色值，i∈v，n_i表示颜色值为i时的像素数目。

3.根据权利要求1所述的一种时空一致的立体视频颜色校正方法，其特征在于：步骤S4具体为：将在每个时间滑动窗口中求出的颜色映射函数应用到位于该窗口中心的a个目标视频帧，得到a个颜色校正后的最终目标视频帧，然后时间滑动窗口向前移动a帧，直至校正完所有的目标视频帧。

Images