CN102427538B - 电影对比度色度自动增强方法 - Google Patents

Abstract

本发明公开一种电影对比度色度自动增强方法，步骤为：读取视频中同一场景的帧图像序列

，计算每一帧的明通道图像和暗通道图像；对暗通道图像进行直方图分析，判断是否需要进行对比度增强；对明通道图像进行来源分析，判断是否需要进行色度增强；若需要进行对比度色度增强，则通过原始图像和明、暗通道图像进行透射率估计；根据明通道和暗通道确定透射率的阈值；进行对比度色度增强。本发明根据电影胶片的退化原理，可用于自动判别电影是否需要进行对比度、色度增强并对需要增强的图像进行自动增强。

Description

电影对比度色度自动增强方法

技术领域

本发明涉及的是一种图像和视频处理技术领域的系统，具体是一种基于胶片退化原理的电影对比度色度自动增强方法。

背景技术

电影艺术是人类文化的重要体现和人类文明的宝贵财富。我们有义务尽力去保护并传承优秀的电影作品。电影的数字化就是其中最主要的保护方式。传统电影以胶片的形式保存，对保存环境的要求较苛刻。随着环境的温度和湿度变化，胶片上的化学涂层会出现氧化现象，导致亮度和色彩失真，严重的还会出现霉斑。此外，胶片电影会随着播放次数的增长出现划痕，色彩退化的现象。相比传统的电影胶片，数字化的电影作品，具有便于携带，便于网络传播，存储方式对环境变化不明感，可大量反复播放等优点，极大地延长了电影的寿命。但是对于年代久远的电影作品，其胶片上已经出现了上述退化现象。所以在数字化之后，我们还要对其进行进一步修复。

经过对现有技术的文献检索发现，现有的方法有两大类：一种是简单的直方图均衡、校正。例如Yeong-Taeg Kim在《IEEE Transactions on Consumer Electronics》（电气与电子工程师协会消费电子类期刊）第43卷第1期的第1页至第8页发表的“Contrastenhancement using brightness preserving bi-histogram equalization”就是这种方法的代表。这种方法的自动化程度高，但是在增强时缺乏理论依据，实际结果往往无法符合主观感受。更糟糕的是对于不同帧直方图均衡的结果不同会导致生成的视频序列会有帧间闪烁，严重降低视频质量。另一种方法是在RGB三通道上由人工进行校正。这种方法得到的结果符合人的主观感受，效果好，但是劳动力成本很高。目前，老电影的对比度和色度增强基本由人工完成，采用一种自动化程度更高但是效果不逊色于人工增强的系统将极大地减少人工的工作量，节约成本。上述的两种方法都存在缺乏理论依据，没有良好模型作为基础的缺点。

Kaiming He等人在《IEEE Conference on Computer Vision and PatternRecognition2009》（电气与电子工程师协会2009年度计算机视觉与模式识别大会）的第1956页至第1963页发表的“Single image haze removel using dark channel prior”中提出了一种基于图像暗通道的去雾方法，有效的去除了图像中多余的白光成分。考虑到电影胶片退化的特性之一就是胶片涂层脱落、变性导致对不同通道的色光吸收能力变弱，使得多余的白光分量通过胶片造成对比度下降。此外，由于胶片的最表层的涂层对应图像的蓝色通道。随着时间推移，这个通道的退化较另外两个更加严重，造成图像整体因白光渗入变灰的同时整体变红。根据上述胶片退化原理，本发明设计一种自适应的方法去除电影中多余的白光分量同时进行色度增强。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于胶片退化原理和暗通道模型的电影对比度色度自动增强方法。本发明根据电影胶片的退化原理，结合暗通道模型将胶片中多余的白光成分有效地去除，并提出了基于明暗通道的参数自适应选择，实现了电影对比度色度的自动增强，克服了直方图自动增强造成的帧间闪烁问题。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、读取视频中同一场景的N帧图像序列I。计算每一帧帧I^t的明通道图像B和暗通道图像D。

第二步、对暗通道图像进行直方图分析，判断是否需要进行对比度增强。

第三步、对明通道图像进行来源分析，判断是否需要进行色度增强。

第四步、若需要进行对比度色度增强，则通过原始图像和明、暗通道图像进行透射率估计。

第五步、根据明通道和暗通道确定透射率的阈值。

第六步、进行对比度色度增强。

本发明考虑到电影胶片退化的特性之一就是胶片涂层脱落、变性导致对不同通道的色光吸收能力变弱，使得多余的白光分量通过胶片造成对比度下降。此外，由于胶片的最表层的涂层对应图像的蓝色通道。随着时间推移，这个通道的退化较另外两个更加严重，造成图像整体因白光渗入变灰的同时整体变红。根据上述胶片退化原理，结合暗通道模型将胶片中多余的白光成分有效地去除，并提出了基于明暗通道的参数自适应选择，实现了电影对比度色度的自动增强。

附图说明

图1是本发明实施例流程图；

图2是本发明实施例暗通道图像的示意图；其中：图a为原图，图b为暗通道图像；

图3是本发明实施例明通道图像的示意图；其中：图a为原图，图b为明通道图像；

图4是本发明实施例暗通道直方图分析示意图；其中：图a为对应暗通道图像，图b为暗通道图像直方图示意图；

图5是本发明实施例明通道来源通道分析示意图；其中：图a为原图，图b不同灰度代表不同RGB通道；

图6是本发明实施例灰度图像增强结果的比较图；其中：图a为原图，图b为黑白图像增强效果示意图；

图7是本发明实施例彩色图像增强结果的比较图；其中：图a为原图，图b为彩色图像增强效果示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例：

第一步、读取视频中同一场景的N帧图像序列I。计算每一帧帧I^t的明通道图像B^t和暗通道图像D^t。I^t表示第t帧图像。

所述的明通道图像，是将I^t分割成3乘3乘3的块对每一块的RGB三通道求最大值，再从这三个值中求得最大值，记录它来自哪个通道，并将其赋值给中心位置的元素。

所述的暗通道，是将I^t分割成3乘3乘3的块，对每一块的RGB三通道求最小值，再从这三个值中求最小值，记录下它来自哪个通道，并将其赋值给中心位置的元素。t表示图像帧序号，t={1,2,...,N}，(x,y)为中心像素位置。

明、暗通道图B^t，D^t中(x,y)位置处的像素值表示为

则 $B_{(x,y)}^t=\underset{z}{\max }\left\{\begin{array}{c}\underset{x,y}{\max }\end{array}{I}_{(x,y,z)}^t\right\},$ $D_{(x,y)}^t=\underset{z}{\min }\left\{\begin{array}{c}\underset{x,y}{\min }\end{array}{I}_{(x,y,z)}^t\right\}.$ min（·）表示最小化操作符。max（·）表示最大化操作符。

明、暗通道图详见图2、3。

第二步、对t帧图像生成的t张暗通道图进行直方图分析，得到t张直方图。若t张直方图的平均方差σ>T，则判为需要进行对比度增强。

所述直方图为统计图像中各像素值出现次数的统计图像。

所述T为判别是否需要进行对比度增强的阈值。

所述平均方差为

$\mathrm{\σ}=\frac{{\mathrm{\Σ}}_{i=1}^t{\mathrm{\σ}}_i}{t}.$

若需要进行对比度增强，则生成与I^t同一尺寸的背景光源图像A。当前所述背景光源图像为白光图像。

直方图分析示意详见图4。

第三步、对明通道图像中各像素值的来源通道进行统计。记所占比例值为{ρ_R,ρ_G,ρ_B}。若来源于某个通道的比例ρ_i很低，则判为需要进行色度增强。且按如下规则修改A

$A_j=\left\{\begin{array}{cc}(1-{\mathrm{\ρ}}_i)A_j,& i=j\\ A_j,& i\≠j.\end{array}\right.$

所述i，j=R，G，B对应RGB三通道。A_j表示对应A某一通道的值。来源通道统计图如图5所示

第四步、根据原始图像和明、暗通道图像进行透射率估计。所述透射率p由如下胶片退化模型定义：

I^t=pJ^t+(1-p)A

其中I^t为实际观测到的退化后的图像，J^t为理想的未退化的图像。若图像需要进行对比度增强则A为多余的白光；若图像需要进行色度增强则A为多余的白光分量加上某一色光分量的偏置。透射率p用于控制A进入J^t的比例。p越小，说明图像退化的越厉害。

所述透射率估计分为如下两个步骤：（1）透射率初步估计

$\left[\begin{array}{c}{I}^t={\mathrm{pJ}}^t+(1-p)A\\ \⇒\min I_{(x,y,z)}^t=p_{(x,y)}\min J_{(x,y,z)}^t+(1-p_{(x,y)})A\\ \⇒\min \frac{I_{(x,y,z)}^t}{A}{p}_{(x,y)}\min \frac{J_{(x,y,z)}^t}{A}+1-p_{(x,y)}\\ \⇒\frac{D_{(x,y)}^t}{A}=p_{(x,y)}\frac{d_{(x,y)}^t}{A}+1-p_{(x,y)}\≈1-p_{(x,y)}\\ \⇒p_{(x,y)}=1-\frac{D_{(x,y)}^t}{A}\end{array}\right]$

其中p_(x,y)表示（x，y）位置处的透射率。

表示第t帧退化图像中中心位置为（x，y）的3乘3乘3的图像块。表示第t帧理想图像中中心位置为（x，y）的3乘3乘3的图像块。

表示退化图像的暗通道图像对应（x，y）位置处的值。

表示理想图像的暗通道图像对应（x，y）位置处的值。因为理想图像的色彩饱和度高，

的值趋近于零。

（2）透射率下限估计:

明通道图像与暗通道图像的平均绝对误差e决定透射率的下限p_min

e=E(|B^t-D^t|)

p_min=1-e/max(|B^t-D^t|)。

其中|·|为绝对值操作符。

第五步、按如下公式估计理想图像，得到增强后的结果：

$J_{(x,y,z)}^t=\frac{I_{(x,y,z)}^t-A_{(x,y,z)}}{\max ({\mathrm{\ρ}}_{(x,y)},{\mathrm{\ρ}}_{\min })}+A_{(x,y,z)}.$

所述A_(x,y,z)为背景光源图像A在z通道（x，y）位置处的像素值。所述

为第t帧图像在z通道（x，y）位置处的像素值。

为第t帧增强图像在z通道（x，y）位置处的像素值。ρ_(x,y)为对应（x，y）位置处的透射率。增强结果详见图6、7。

实施效果

依据上述步骤，对中国电影档案馆的4部电影，16个片段序列进行修复实验。图像尺寸为1536乘2048。所有实验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Core^TM2Duo CPU E66002.40GHz,内存3GB。软件平台：MATLAB。

增强结果为：

平均用时143.273秒每帧（彩色图像）。

系统流程如图1所示。

本实施例获得的增强结果为：

平均修复用时148.301秒每帧。

其中，生成暗通道图像用时为21.447秒每帧；

生成明通道图像用时为19.289秒每帧；

用于直方图分析的时间为9.721秒每帧；

用于来源通道的时间为5.129秒每帧；

用于透射率估计的用时为63.562秒每帧；

用于对比度色度增强的用时为29.153秒每帧。

增强结果如图6、7所示。

与现有技术相比，本发明不同于简单的直方图均衡，从胶片退化的原理出发，使得对比度和色度增强的结果更为符合人的主观感受，且避免了帧间闪烁。更重要的是，系统的参数不需要人工调节，使得系统实现了电影的自动化对比度和色度增强。

Claims (2)

1.一种电影对比度色度自动增强方法，其特征在于，包括以下步骤：

第一步、读取视频中同一场景的N帧图像序列I，计算每一帧I^t的明通道图像B和暗通道图像D；I^t表示第t帧图像；

所述的明通道图像，是将I^t分割成3乘3乘3的块

对每一块的RGB三通道求最大值，再从这三个值中求得最大值，记录它来自哪个通道，并将其赋值给中心位置的元素；

所述的暗通道，是将I^t分割成3乘3乘3的块，对每一块的RGB三通道求最小值，再从这三个值中求最小值，记录下它来自哪个通道，并将其赋值给中心位置的元素，t表示图像帧序号，t={1,2,…,N}，(x,y)为中心像素位置；z为RGB三通道的序号；

第二步、对暗通道图像进行直方图分析，判断是否需要进行对比度增强；

第二步中：对t帧图像生成的t张暗通道图进行直方图分析，得到t张直方图，若t张直方图的平均方差σ>T，则判为需要进行对比度增强；

所述直方图为统计图像中各像素值出现次数的统计图像；所述T为判别是否需要进行对比度增强的阈值；

所述平均方差为

若需要进行对比度增强，则生成与I^t同一尺寸的背景光源图像A，当前所述背景光源图像为白光图像；

第三步、对明通道图像进行来源分析，判断是否需要进行色度增强；

第三步中：对明通道图像中各像素值的来源通道进行统计，记所占比例值为{ρ_R,ρ_G,ρ_B}，若来源于某个通道的比例ρ_i很低，则判为需要进行色度增强，且按如下规则修改A：

$A_j=\left\{\begin{array}{cc}(1-{\mathrm{\ρ}}_i)A_j,& i=j\\ A_j,& i\≠j\end{array};\right.$

所述i，j=R，G，B对应RGB三通道，A_j表示对应A某一通道的值；

第四步、若需要进行对比度色度增强，则通过原始图像和明、暗通道图像进行透射率估计；

第四步中：所述透射率初步估计为：

$I^t=p{J}^t+(1-p)A$

$\⇒\min I_{(x,y,z)}^t=p_{(x.y)}\min J_{(x,y,z)}^t+(1-p_{(x,y)})A$

$\⇒\min \frac{I_{(x,y,z)}^t}{A}=p_{(x,y)}\min \frac{J_{(x,y,z)}^t}{A}+1-p_{(x,y)}$

$\⇒\frac{D_{(x,y)}^t}{A}=p_{(x,y)}\frac{d_{(x,y)}^t}{A}+1-p_{(x,y)}\≈1-p_{(x,y)}$

$\⇒p_{(x,y)}=1-\frac{D_{(x,y)}^t}{A}$

其中p_(x,y)表示（x，y）位置处的透射率，

表示第t帧退化图像中中心位置为（x，y）的5乘5乘3的图像块，

表示第t帧理想图像中中心位置为（x，y）的5乘5乘3的图像块，

表示退化图像的暗通道图像对应（x，y）位置处的值，

表示理想图像的暗通道图像对应（x，y）位置处的值，因为理想图像的色彩饱和度高，

的值趋近于零；

第五步、根据明通道和暗通道确定透射率的阈值；

第五步中：透射率下限估计为:

明通道图像与暗通道图像的平均绝对误差e决定透射率的下限p_min

e=E(|B^t-D^t|)

p_min=1-e/max(|B^t-D^t|)；

其中|·|为绝对值操作符；

第六步、进行对比度色度增强；

第六步中：按如下公式估计理想图像，得到增强后的结果：

$J_{(x,y,z)}^t=\frac{I_{(x,y,z)}^t-A_{(x,y,z)}}{\max ({\mathrm{\ρ}}_{(x,y)},{\mathrm{\ρ}}_{\min })}+A_{(x,y,z)}$

所述A_(x,y,z)为背景光源图像A在z通道（x，y）位置处的像素值，所述为第t帧图像在z通道（x，y）位置处的像素值，为第t帧增强图像在z通道（x，y）位置处的像素值，ρ_(x,y)为对应（x，y）位置处的透射率。

2.根据权利要求1所述的电影对比度色度自动增强方法，其特征是，第四步中：所述透射率p由如下胶片退化模型定义：

$I^t=p{J}^t+(1-p)A$

其中I^t为实际观测到的退化后的图像，J^t为理想的未退化的图像，若图像需要进行对比度增强则A为多余的白光；若图像需要进行色度增强则A为多余的白光分量加上某一色光分量的偏置，透射率p用于控制A进入J^t的比例，p越小，说明图像退化的越厉害。

Images