CN105809639A - 一种老电影褪色闪烁的修复方法 - Google Patents

Abstract

本发明涉及一种老电影褪色闪烁的修复方法，该方法包括：（1）导入待处理序列，然后对待处理序列分镜，对每一组分镜序列通过RGB通道均值统计曲线判断序列是否存在闪烁；（2）在存在闪烁的分镜中挑选合适的参考帧，若无参考帧，则通过色彩校正产生参考帧，若有参考帧，则直接选定参考帧；（3）使用颜色传递算法进行闪烁修复直至该组分镜处理完成；（4）对下一组分镜序列重新筛选参考帧进行上述处理，直至所有分组序列全部处理完成。本方法交互简单，处理速度较快，能适用于大部分的全局褪色闪烁的修复。

Description

一种老电影褪色闪烁的修复方法

技术领域

本发明涉及计算机图像修复领域，具体涉及一种老电影褪色闪烁的修复方法。

背景技术

老电影是历史文化的缩影，也是一份极为珍贵的可视化资料。然而由于我国早期电影保存条件有限，再加上转印、播放次数过多等人为因素，现存的老电影基本受到了一定程度的损伤，直接影响了观看效果。随着数字图像处理技术的发展，修复老电影的损伤成为了可能。

闪烁是老电影损伤中一种最为常见的问题，现有的研究主要集中在亮度闪烁上，主要的修复方法都需要对图像序列中的闪烁进行建模，然后估计该模型的闪烁参数。周磊等设计了一种基于块的局部区域参数估计和补偿方法，通过对图像序列进行基于块的闪烁模型参数估计和当前帧补偿模型的设计，实现了参照模型下的受损图像亮度修复。谌安军等通过对图像序列中的局部闪烁进行基于余弦基的建模和逐次超松弛迭代的方法，实现了对严重局部亮度闪烁的电影的修复。JulieDelon基于尺度空间理论使用尺度时间均衡的方法实现了全局亮度闪烁的修复。

然而，经典老电影不仅有黑白老电影，还有诸多彩色老电影，此类电影同样存在闪烁现象，统称为褪色闪烁。在老电影修复中，相对于亮度闪烁修复，褪色闪烁的研究较少。

发明内容

针对现有技术中存在的问题，本发明提出了一种老电影的褪色闪烁修复方法。本方法基于颜色传递算法和色彩校正算法，首先对序列采用均值比较的方法进行闪烁判断，对判定闪烁的序列进行参考帧选取，若闪烁序列无参考帧，则采用色彩校正来产生参考帧，最后通过颜色传递进行全局褪色闪烁修复。

为达到上述目的，本发明才有如下技术方案：

一种老电影褪色闪烁的修复方法，包括如下步骤：

101：记整个待处理的序列为P，对序列P进行分镜处理，记分镜个数为n，分镜序列为P_i；

由于后期处理闪烁使用的颜色传递算法对图像的结构有一定要求，只有在参考图像帧与待处理帧之间的布局结构相似时，处理结果最为理想，故分镜是必须的步骤；

102：对分镜序列P_i进行RGB均值统计，判断是否存在闪烁；闪烁具有单帧不易观测的特点，只有连续放映时，才能明显发现，利用RGB均值统计，能客观判断P_i是否存在闪烁；

103：若判定P_i序列存在闪烁，则在P_i序列中筛选出一帧适合的参考帧；若无参考帧，则使用色彩校正算法产生参考帧；对于参考帧的选取具有主观因素影响，主要是通过修复人员判定是否在P_i序列存在褪色不明显的图像帧，在无法确定合适参考帧的情况下，在P_i序列中选择褪色现象较轻的一帧进行色彩校正；

104：使用颜色传递算法，对P_i序列的每一帧待修复图像进行处理；

105：在P_i序列处理完成后，对下一组分镜序列P_(i+1)重复步骤102-104处理过程，直至P_i＝P_n。

所述步骤103中的色彩校正算法的主要过程为：

1)将待处理帧的原始像素值范围映射到[0,1]，并使用公式(1)将其从RGB空间转换到lαβ空间；

$\left[\begin{array}{c}1\\ \mathrm{\α}\\ \mathrm{\β}\end{array}\right]=\left[\begin{array}{ccc}0.5774& 0.5774& 0.5774\\ 0.4082& 0.4082& -0.8165\\ 0.7071& -0.7071& 0\end{array}\right]\left[\begin{array}{ccc}0.3811& 0.5783& 0.0402\\ 0.1967& 0.7244& 0.0782\\ 0.0241& 0.1288& 0.8444\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

2)使用公式(2)在lαβ空间进行色彩校正处理：

$\{\begin{array}{c}{\mathrm{\α}}^{\′}=\mathrm{\α}-m_{\mathrm{\α}}-\frac{C_{\mathrm{\α}}}{N}\\ {\mathrm{\β}}^{\′}=\mathrm{\β}-m_{\mathrm{\β}}-\frac{C_{\mathrm{\β}}}{N}\end{array}---\left(2\right)$

其中，α，β表示lαβ颜色空间通道内所有像素的原始值；α′，β′表示处理好之后的所有像素值；m_α，m_β表示α与β通道均值；C_α，C_β表示实际需求的通道均值，若图像仅需要色彩校正，则C_α，C_β均为0；

3)使用公式(3)将处理好的参考帧转回RGB空间，并将其像素值映射到原始值范围：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}4.4679& -3.5873& 0.1193\\ -1.2186& 2.3809& -0.1624\\ 0.0497& -0.2439& 1.2045\end{array}\right]\left[\begin{array}{ccc}0.5774& 0.4082& 0.7071\\ 0.5774& 0.4082& -0.7071\\ 0.5774& -0.8165& 1\end{array}\right]\left[\begin{array}{c}1\\ \mathrm{\α}\\ \mathrm{\β}\end{array}\right]---\left(3\right)$

在进行映射前，利用公式(4)修正参考帧像素值的溢出，

$I\left(s\right)\{\begin{array}{c}s=1,s>\\ s=0,s<0\end{array}---\left(4\right)$

其中，I表示参考帧图像，s表示其各通道像素值。

所述步骤104中的颜色传递算法，具体如下：

1)将参考帧与待修复帧转到lαβ颜色空间，计算参考帧的平均值参考帧的方差待修复帧的平均值待修复帧的方差

2)使用公式(5)弱化待修复帧的整体色彩信息；

$\left\{\begin{array}{c}{l}_S^{\&prime;}=l_S-m_S^l\\ {\mathrm{\&alpha;}}_S^{\&prime;}={\mathrm{\&alpha;}}_S-m_S^{\mathrm{\&alpha;}}\\ {\mathrm{\&beta;}}_S^{\&prime;}={\mathrm{\&beta;}}_S-m_S^{\mathrm{\&beta;}}\end{array}\right.---\left(5\right)$

其中，l_S，α_S，β_S是待修复帧三通道的所有像素值，l_S′，α′_S，β_S′是待修复帧三通道弱化后的像素值；

3)使用公式(6)将待修复帧与参考帧标准差之比作为通道值偏移量的系数，将参考帧的细节信息映射到待修复帧中；

$\left\{\begin{array}{c}{l}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_R^l}{{\mathrm{\&sigma;}}_S^l}\&times;l_S^{\&prime;}\\ {\mathrm{\&alpha;}}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_R^{\mathrm{\&alpha;}}}{{\mathrm{\&sigma;}}_S^{\mathrm{\&alpha;}}}\&times;{\mathrm{\&alpha;}}_S^{\&prime;}\\ {\mathrm{\&beta;}}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_R^{\mathrm{\&beta;}}}{{\mathrm{\&sigma;}}_S^{\mathrm{\&beta;}}}\&times;{\mathrm{\&beta;}}_S^{\&prime;}\end{array}\right.---\left(6\right)$

4)使用公式(7)将参考帧的整体信息添加到处理后的待修复帧中；

$\left\{\begin{array}{c}l=l^{\&prime;}+m_R^l\\ \mathrm{\&alpha;}={\mathrm{\&alpha;}}^{\&prime;}+m_R^{\mathrm{\&alpha;}}\\ \mathrm{\&beta;}={\mathrm{\&beta;}}^{\&prime;}+m_R^{\mathrm{\&beta;}}\end{array}\right.---\left(7\right)$

5)将处理好的图像帧转回RGB颜色空间。

本发明与现有技术相比的优点在于：

(1)、本发明提供了一种彩色老电影闪烁的修复方案，其交互简单，公式简洁，效率较高，为修复褪色闪烁提供了可能；

(2)、采用了色彩校正的方案，在没有参考帧的情况下仍然可以进行修复，扩宽了可修复范围；

(3)、在有合适参考帧的前提下，忽略图像颜色空间的变换，本发明同样适用于全局亮度闪烁的修复。

附图说明

图1为一种彩色老电影闪烁修复方案的流程图。

图2为色彩校正对比图，其中(a)为色彩校正处理前图像，(b)为处理后图像。

图3为动画老电影序列《没头脑和不高兴》处理效果对比图，其中(a)为原始图像序列帧，(b)为修复后序列帧。

图4为动画老电影序列《没头脑和不高兴》的50帧RGB通道均值统计对比图，其中(a)为处理前统计图，(b)为处理后统计图。

具体实施方式

下面结合附图以及具体实施方式进一步说明本发明。

如图1所示，一种老电影褪色闪烁的修复方法，包括如下步骤：

101：记整个待处理的序列为P，对序列P进行分镜处理，记分镜个数为n，分镜序列为P_i；

由于后期处理闪烁使用的颜色传递算法对图像的结构有一定要求，只有在参考图像帧与待处理帧之间的布局结构相似时，处理结果最为理想，故分镜是必须的步骤；

102：对分镜序列P_i进行RGB均值统计，判断是否存在闪烁；闪烁具有单帧不易观测的特点，只有连续放映时，才能明显发现，利用RGB均值统计，能客观判断P_i是否存在闪烁；

103：若判定P_i序列存在闪烁，则在P_i序列中筛选出一帧适合的参考帧；若无参考帧，则使用色彩校正算法产生参考帧；对于参考帧的选取具有主观因素影响，主要是通过修复人员判定是否在P_i序列存在褪色不明显的图像帧，在无法确定合适参考帧的情况下，在P_i序列中选择褪色现象较轻的一帧进行色彩校正；具体步骤为：

1)将待处理帧的原始像素值范围映射到[0,1]，并使用公式(1)将其从RGB空间转换到lαβ空间；

$\left[\begin{array}{c}1\\ \mathrm{\&alpha;}\\ \mathrm{\&beta;}\end{array}\right]=\left[\begin{array}{ccc}0.5774& 0.5774& 0.5774\\ 0.4082& 0.4082& -0.8165\\ 0.7071& -0.7071& 0\end{array}\right]\left[\begin{array}{ccc}0.3811& 0.5783& 0.0402\\ 0.1967& 0.7244& 0.0782\\ 0.0241& 0.1288& 0.8444\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

2)使用公式(2)在lαβ空间进行色彩校正处理：

$\{\begin{array}{c}{\mathrm{\&alpha;}}^{\&prime;}=\mathrm{\&alpha;}-m_{\mathrm{\&alpha;}}-\frac{C_{\mathrm{\&alpha;}}}{N}\\ {\mathrm{\&beta;}}^{\&prime;}=\mathrm{\&beta;}-m_{\mathrm{\&beta;}}-\frac{C_{\mathrm{\&beta;}}}{N}\end{array}---\left(2\right)$

其中，α，β表示lαβ颜色空间通道内所有像素的原始值；α′，β′表示处理好之后的所有像素值；m_α，m_β表示α与β通道均值；C_α，C_β表示实际需求的通道均值，若图像仅需要色彩校正，则C_α，C_β均为0；

3)使用公式(3)将处理好的参考帧转回RGB空间，并将其像素值映射到原始值范围：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}4.4679& -3.5873& 0.1193\\ -1.2186& 2.3809& -0.1624\\ 0.0497& -0.2439& 1.2045\end{array}\right]\left[\begin{array}{ccc}0.5774& 0.4082& 0.7071\\ 0.5774& 0.4082& -0.7071\\ 0.5774& -0.8165& 0\end{array}\right]\left[\begin{array}{c}1\\ \mathrm{\&alpha;}\\ \mathrm{\&beta;}\end{array}\right]---\left(3\right)$

在进行映射前，利用公式(4)修正参考帧像素值的溢出，

$I\left(s\right)\{\begin{array}{c}s=1,s>1\\ s=0,s<0\end{array}---\left(4\right)$

其中，I表示参考帧图像，s表示其各通道像素值。

104：使用颜色传递算法，对P_i序列的每一帧待修复图像进行处理；具体如下：

1)将参考帧与待修复帧转到lαβ颜色空间，计算参考帧的平均值参考帧的方差待修复帧的平均值待修复帧的方差

2)使用公式(5)弱化待修复帧的整体色彩信息；

$\left\{\begin{array}{c}{l}_S^{\&prime;}=l_S-m_S^l\\ {\mathrm{\&alpha;}}_S^{\&prime;}={\mathrm{\&alpha;}}_S-m_S^{\mathrm{\&alpha;}}\\ {\mathrm{\&beta;}}_S^{\&prime;}={\mathrm{\&beta;}}_S-m_S^{\mathrm{\&beta;}}\end{array}\right.---\left(5\right)$

其中，l_S，α_S，β_S是待修复帧三通道的所有像素值，l_S′，α′_S，β_S′是待修复帧三通道弱化后的像素值；

3)使用公式(6)将待修复帧与参考帧标准差之比作为通道值偏移量的系数，将参考帧的细节信息映射到待修复帧中；

$\left\{\begin{array}{c}{l}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_R^l}{{\mathrm{\&sigma;}}_S^l}\&times;l_S^{\&prime;}\\ {\mathrm{\&alpha;}}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_R^{\mathrm{\&alpha;}}}{{\mathrm{\&sigma;}}_S^{\mathrm{\&alpha;}}}\&times;{\mathrm{\&alpha;}}_S^{\&prime;}\\ {\mathrm{\&beta;}}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_R^{\mathrm{\&beta;}}}{{\mathrm{\&sigma;}}_S^{\mathrm{\&beta;}}}\&times;{\mathrm{\&beta;}}_S^{\&prime;}\end{array}\right.---\left(6\right)$

4)使用公式(7)将参考帧的整体信息添加到处理后的待修复帧中；

$\left\{\begin{array}{c}l=l^{\&prime;}+m_R^l\\ \mathrm{\&alpha;}={\mathrm{\&alpha;}}^{\&prime;}+m_R^{\mathrm{\&alpha;}}\\ \mathrm{\&beta;}={\mathrm{\&beta;}}^{\&prime;}+m_R^{\mathrm{\&beta;}}\end{array}\right.---\left(7\right)$

5)将处理好的图像帧转回RGB颜色空间。

105：在P_i序列处理完成后，对下一组分镜序列P_(i+1)重复步骤102-104处理过程，直至P_i＝P_n。

下面结合具体的实例证明本发明提供的一种老电影闪烁修复方法的可行性，详见下文描述：

本发明截取动画老电影《没头脑和不高兴》部分序列进行实验，每帧图像大小为2048×1556，分为4组镜头共578张图片。图2(a)取自第二组分镜序列第33帧，该序列共50帧图像，由于闪烁严重无法筛选出恰当参考帧，利用色彩校正算法对其进行校正，处理结果如图2(b)所示。对比原始图像，图2(a)的偏色现象得到明显改善。图3(a)取自第二组分镜序列第30帧至35帧，经过颜色传递算法处理后，效果如图3(b)所示，图3(a)中序列主色调逐渐变红的情况得到了极大改善，基本保持在同一色调上。图4是第二组序列的RGB均值统计，从处理前后对比来看，图4(b)的统计曲线趋近平滑，客观说明本发明的有效性。

Claims (3)

1.一种老电影褪色闪烁的修复方法，其特征在于，包括如下步骤：

101：记整个待处理的序列为P，对序列P进行分镜处理，记分镜个数为n，分镜序列为P_i；

由于后期处理闪烁使用的颜色传递算法对图像的结构有一定要求，只有在参考图像帧与待处理帧之间的布局结构相似时，处理结果最为理想，故分镜是必须的步骤；

102：对分镜序列P_i进行RGB均值统计，判断是否存在闪烁；闪烁具有单帧不易观测的特点，只有连续放映时，才能明显发现，利用RGB均值统计，能客观判断P_i是否存在闪烁；

103：若判定P_i序列存在闪烁，则在P_i序列中筛选出一帧适合的参考帧；若无参考帧，则使用色彩校正算法产生参考帧；对于参考帧的选取具有主观因素影响，主要是通过修复人员判定是否在P_i序列存在褪色不明显的图像帧，在无法确定合适参考帧的情况下，在P_i序列中选择褪色现象较轻的一帧进行色彩校正；

104：使用颜色传递算法，对P_i序列的每一帧待修复图像进行处理；

105：在P_i序列处理完成后，对下一组分镜序列P_(i+1)重复步骤102-104处理过程，直至P_i＝P_n。

2.根据权利要求1所述的老电影褪色闪烁的修复方法，其特征在于，所述步骤103中的色彩校正算法的主要过程为：

1)将待处理帧的原始像素值范围映射到[0,1]，并使用公式(1)将其从RGB空间转换到lαβ空间；

$\left[\begin{array}{c}1\\ \mathrm{\&alpha;}\\ \mathrm{\&beta;}\end{array}\right]=\left[\begin{array}{ccc}0.5774& 0.5774& 0.5774\\ 0.4082& 0.4082& -0.8165\\ 0.7071& -0.7071& 0\end{array}\right]\left[\begin{array}{ccc}0.3811& 0.5783& 0.0402\\ 0.1967& 0.7244& 0.0782\\ 0.0241& 0.1288& 0.8444\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

2)使用公式(2)在lαβ空间进行色彩校正处理：

$\left\{\begin{array}{c}{\mathrm{\&alpha;}}^{\&prime;}=\mathrm{\&alpha;}-m_{\mathrm{\&alpha;}}-\frac{C_{\mathrm{\&alpha;}}}{N}\\ {\mathrm{\&beta;}}^{\&prime;}=\mathrm{\&beta;}-m_{\mathrm{\&beta;}}-\frac{C_{\mathrm{\&beta;}}}{N}\end{array}\right.---\left(2\right)$

其中，α，β表示lαβ颜色空间通道内所有像素的原始值；α′，β′表示处理好之后的所有像素值；m_α，m_β表示α与β通道均值；C_α，C_β表示实际需求的通道均值，若图像仅需要色彩校正，则C_α，C_β均为0；

3)使用公式(3)将处理好的参考帧转回RGB空间，并将其像素值映射到原始值范围：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}4.4679& -3.5873& 0.1193\\ -1.2186& 2.3809& -0.1624\\ 0.0497& -0.2439& 1.2045\end{array}\right]\left[\begin{array}{ccc}0.5774& 0.4082& 0.7071\\ 0.5774& 0.4082& -0.7071\\ 0.5774& -0.8165& 0\end{array}\right]\left[\begin{array}{c}1\\ \mathrm{\&alpha;}\\ \mathrm{\&beta;}\end{array}\right]---\left(3\right)$

在进行映射前，利用公式(4)修正参考帧像素值的溢出，

$I\left(s\right)\left\{\begin{array}{c}s=1,s>1\\ s=0,s<0\end{array}\right.---\left(4\right)$

其中，I表示参考帧图像，s表示其各通道像素值。

3.根据权利要求1所述的老电影褪色闪烁的修复方法，其特征在于，所述步骤104中的颜色传递算法，具体如下：

1)将参考帧与待修复帧转到lαβ颜色空间，计算参考帧的平均值参考帧的方差待修复帧的平均值待修复帧的方差

2)使用公式(5)弱化待修复帧的整体色彩信息；

$\left\{\begin{array}{c}{l}_S^{\&prime;}=l_S-m_S^l\\ {\mathrm{\&alpha;}}_S^{\&prime;}={\mathrm{\&alpha;}}_S-m_S^{\mathrm{\&alpha;}}\\ {\mathrm{\&beta;}}_S^{\&prime;}={\mathrm{\&beta;}}_S-m_S^{\mathrm{\&beta;}}\end{array}\right.---\left(5\right)$

其中，l_S，α_S，β_S是待修复帧三通道的所有像素值，l′_S，α′_S，β′_S是待修复帧三通道弱化后的像素值；

3)使用公式(6)将待修复帧与参考帧标准差之比作为通道值偏移量的系数，将参考帧的细节信息映射到待修复帧中；

$\left\{\begin{array}{c}{l}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_R^l}{{\mathrm{\&sigma;}}_S^l}\&times;l_S^{\&prime;}\\ {\mathrm{\&alpha;}}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_R^{\mathrm{\&alpha;}}}{{\mathrm{\&sigma;}}_S^{\mathrm{\&alpha;}}}\&times;{\mathrm{\&alpha;}}_S^{\&prime;}\\ {\mathrm{\&beta;}}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_R^{\mathrm{\&beta;}}}{{\mathrm{\&sigma;}}_S^{\mathrm{\&beta;}}}\&times;{\mathrm{\&beta;}}_S^{\&prime;}\end{array}\right.---\left(6\right)$

4)使用公式(7)将参考帧的整体信息添加到处理后的待修复帧中；

$\left\{\begin{array}{c}l=l^{\&prime;}+m_R^l\\ \mathrm{\&alpha;}={\mathrm{\&alpha;}}^{\&prime;}+m_R^{\mathrm{\&alpha;}}\\ \mathrm{\&beta;}={\mathrm{\&beta;}}^{\&prime;}+m_R^{\mathrm{\&beta;}}\end{array}\right.---\left(7\right)$

5)将处理好的图像帧转回RGB颜色空间。