CN102542536B - 基于广义均衡模型的画质增强方法 - Google Patents

Abstract

本发明公开一种基于广义均衡模型的画质增强方法，步骤：第一步、读取一幅图像或视频中的某一帧，记为I，计算I的直方图H。第二步、对直方图H进行预处理，得到新的直方图H′。第三步、对直方图H′进行基于广义均衡模型的最优化，得到优化后的直方图

第四步、验证色调失真的非线性度，若非线性程度过高，调整参数后返回第三步。否则进行第五步。第五步、完成

到图像的映射，得到增强后的图像本发明采用了更加合理的广义均衡模型，给出了更加灵活和严格的对比度增强的目标函数。并通过约束对比度增强造成的色调失真的非线性度，使得对比度增强的同时，色调得到了均衡。本发明增加了画质增强的适用范围和灵活度，得到了更好的画质增强效果。

Description

基于广义均衡模型的画质增强方法

技术领域

本发明涉及的是一种图像和视频处理技术领域的画质增强方法，具体是一种基于广义均衡模型的画质增强方法。

背景技术

电影艺术是人类文化的重要体现和人类文明的宝贵财富。有义务尽力去保护并传承优秀的电影作品。电影的数字化就是其中最主要的保护方式。传统电影以胶片的形式保存，对保存环境的要求较苛刻。随着环境的温度和湿度变化，胶片上的化学涂层会出现氧化现象，导致亮度和色彩失真，严重的还会出现霉斑。此外，胶片电影会随着播放次数的增长出现划痕，色彩退化的现象。相比传统的电影胶片，数字化的电影作品，具有便于携带，便于网络传播，存储方式对环境变化不明感，可大量反复播放等优点，极大地延长了电影的寿命。但是对于年代久远的电影作品，其胶片上已经出现了上述退化现象。所以在数字化之后，还要对其进行进一步修复。

在所有的修复工作中，对于退化图像的画质增强一直是一个难点。画质增强包括图像对比度的增强与色调的均衡两个方面。目前常用的方法是采用简单的直方图均衡算法对图像的RGB三通道或者亮度通道进行校正。例如Yeong-Taeg Kim在《IEEETransactions on Consumer Electronics》(电气与电子工程师协会消费电子类期刊)第43卷第1期的第1页至第8页发表的“Contrast enhancement using brightness preservingbi-histogram equalization”就是这种方法的代表。这种方法的自动化程度高，但是由于缺乏严格的对比度定义，造成这种方法在实际过程中往往造成调制过度。更糟糕的是，直方图均衡方法本质上是针对对比度增强的方法，在调整对比度的同时往往不能很好的兼顾色调的均衡。另一种方法是在RGB三通道上由人工进行校正。这种方法得到的结果符合人的主观感受，效果好，但是劳动力成本很高。目前，老电影的对比度和色度增强基本由人工完成，采用一种自动化程度更高但是效果不逊色于人工增强的系统将极大地减少人工的工作量，节约成本。

上述的两种方法都存在缺乏理论依据，没有良好模型作为基础的缺点。为了更好的进行图像画质增强，本发明提出一种广义均衡模型。在模型中，针对对比度，色调失真以及色调失真的非线性度建立了严格的数学定义。以此为依据，将画质增强问题划归为一个对比度最优化问题。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于广义均衡模型的画质增强方法，该方法根据广义均衡模型中对对比度，色调失真以及色调失真的非线性度的定义，以最优化为基础进行画质增强。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、读取一幅图像或视频中的某一帧，记为I。计算I的直方图H。

第二步、对直方图H进行预处理，得到新的直方图H′。

第三步、对直方图H′进行基于广义均衡模型的最优化，得到优化后的直方图

第四步、验证色调失真的非线性度，若非线性程度过高，调整参数后返回第三步。否则进行第五步。

第五步、完成到图像的映射，得到增强后的图像

所述预处理，是指如下过程。对于直方图H＝[p₁，p₂，...，p_n]，将其划分为H_L＝[p₁，p₂，...，p_n/2]和H_H＝[p_n/2+1，p_n/2+2，...，p_n]两部分。其中H_L对应低亮度区，H_H对应高亮度区。对于H_L中元素，按顺序进行如下操作：如果p_i＜T₁，p_i+1＝p_i+1+p_i，p_i＝0。对于H_H中元素，按逆序进行如下操作：如果p_i＜T₁，p_i-1＝p_i-1+p_i，p_i＝0。经过上述运算，得到新的直方图H′。所述参数T₁是一个自适应阈值。

所述广义均衡模型，是指，对于直方图H′对应的向量，找出非零元素[p₁，p₂，...，p_K]，K表示非零元素的个数，以及非零元素对应的灰度级向量[x₁，x₂，...，x_K]。对于此灰度级向量，定义直方图向量非零元素的间距向量为S＝[s₁，s₂，...，s_K]。其中

s₁＝x₁，

s_i＝x_i-x_i-1，i＝2，...，K

然后根据上述向量，定义图像的对比度为如下函数

$C\left(H^{\′}\right)=\frac{1}{\left|\right|\frac{S}{H^{\′q}}\left|\right|}.$

表示一个K维向量，第i个元素为

其中||·||表示任意范数。此实施例中采用2范数。参数q控制对比度函数的平滑程度，一般选取q＜1。

所述最优化调整，是指通过求解如下凸优化问题，得到一个的间距向量

$\tilde{S}=\arg \max C\left(H^{\′}\right)$

s.t.    s_i≥d，

$L_{\min }\≤\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{s}_i\≤L_{\max }$

其中参数d表示相邻灰度级间的最小间距。L_min和L_max确定了进行对比度调整后最大亮度的下界和上界。

本发明考虑到原有直方图均衡方法中没有明确的关于对比度以及色调失真的定义，提出了一种广义的图像对比度的定义，并以此作为画质增强的目标函数。通过求解一个凸优化问题，使得图像的对比度最优。这种方法的另一个作用是可以约束对比度增强造成的色调失真。根据本发明的定义，本发明提出的方法可以有效地降低色调失真的非线性度，使得本发明还可以用于色调均衡。

与现有技术相比，本发明不同于简单的直方图均衡，采用了更加合理的广义均衡模型，给出了更加灵活和严格的对比度增强的目标函数。并通过约束对比度增强造成的色调失真的非线性度，使得对比度增强的同时，色调得到了均衡。本发明增加了画质增强的适用范围和灵活度，得到了更好的画质增强效果。

附图说明

图1是本发明实施例的流程图；

图2是原始图像、实施例预处理结果、实施例最终处理结果及对应直方图示意图；

图3是本发明实施例灰度图像增强结果的比较图；

图4是本发明实施例彩色图像增强结果的比较图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例：

如图1所示，为本实施例的流程图，具体步骤如下：

第一步、读取一幅图像或视频中的某一帧，记为I。计算I的直方图H。

所述的计算直方图，是指计算I中对应灰度级的像素出现的次数，形成I中像素值在整个亮度动态范围内的分布。其中直方图可以记为一个向量H＝[p₁，p₂，...，p_n]。该向量满足

p_i＝#{(x，y)|I_(x，y)＝x_i}。

其中x_i表示任意灰度级。#{(x，y)|I_(x，y)＝x_i}表示I中亮度等于x_i的像素所组成的集合中元素的个数。I_(x，y)表示位于坐标(x，y)处像素的亮度值。将此集合记为X_i＝{(x，y)|I_(x，y)＝x_i}。所述亮度动态范围是指由I中像素值的比特位数确定的所有可能的亮度值出现的范围。若像素值为一个k比特数，则动态范围为0到2^k-1。

对于灰度图，只需对I的亮度通道计算直方图H。对于彩色图，需要分别对RGB三个通道计算出三个直方图H_c，c＝R，G，B。

第二步、对直方图H进行预处理，得到新的直方图H′。

所述预处理，是指如下过程：对于直方图H＝[p₁，p₂，...，p_n]，将其划分为H_L＝[p₁，p₂，...，p_n/2]和H_H＝[p_n/2+1，p_n/2+2，...，p_n]两部分。其中H_L对应低亮度区，H_H对应高亮度区。对于H_L中元素，按顺序进行如下操作：如果p_i＜T₁，p_i+1＝p_i+1+p_i，p_i＝0。对于H_H中元素，按逆序进行如下操作：如果p_i＜T₁，p_i-1＝p_i-1+p_i，p_i＝0。经过上述运算，得到新的直方图H′。

所述参数T₁是一个自适应阈值。本实施例中采用I中像素点个数的0.1％来计算T₁。

对直方图进行预处理的示例详见图2。

第三步、对直方图H′进行基于广义均衡模型的最优化调整，得到优化后的直方图

所述广义均衡模型，是指：对于直方图H′对应的向量，找出非零元素[p₁，p₂，...，p_K]，K表示非零元素的个数，以及非零元素对应的灰度级向量[x₁，x₂，...，x_K]。对于此灰度级向量，定义直方图向量非零元素的间距向量为S＝[s₁，s₂，...，s_K]。其中

s₁＝x₁，

s_i＝x_i-x_i-1，i＝2，...，K

然后根据上述向量，定义图像的对比度为如下函数

$C\left(H^{\′}\right)=\frac{1}{\left|\right|\frac{S}{H^{\′q}}\left|\right|}.$

表示一个K维向量，第i个元素为

其中||·||表示任意范数。此实施例中采用2范数。参数q控制对比度函数的平滑程度，一般选取q＜1，此实施例中采用0.25。

所述最优化调整，是指通过求解如下凸优化问题，得到一个的间距向量

$\tilde{S}=\arg \max C\left(H^{\′}\right)$

s.t.    s_i≥d，

$L_{\min }\≤\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{s}_i\≤L_{\max }$

其中参数d表示相邻灰度级间的最小间距。L_min和L_max确定了进行对比度调整后最大亮度的下界和上界。此实施例中采用d＝1，L_min＝L_max＝255。

第四步、验证色调失真的非线性度，若非线性程度过高，调整参数后返回第三步。否则进行第五步。

所述色调失真是指如下定义：对于调整后得到的间距向量

计算它与原有间距向量S之间的残差向量。定义其绝对值的加权平均值为色调失真

$D(\tilde{S},S)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i^q|{\tilde{s}}_i-s_i|.$

其中|·|表示绝对值运算符。

所述色调失真非线性度是指如下定义：对于残差向量

其加权形式为

则色调失真的非线性度定义为

$\mathrm{NL}=\frac{\mathrm{Var}\left(R_w\right)}{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i^{2q}}$

所述若非线性程度过高，则调整参数后返回第三步是指如下过程。若NL＞T₂，则对参数q进行衰减，使得q_new＝Δq。用q_new替换q，再次对第三步所述凸优化问题进行求解，得到新的间距向量

所述T₂为判断非线性度是否过高的阈值。所述Δ为衰减因子，本实施例中使用0.9。

第五步、完成

到图像的映射，得到增强后的图像

所述

到图像的映射是指如下过程：对于直方图H′对应的向量，找出非零元素[p₁，p₂，...，p_K]，K表示非零元素的个数，以及非零元素对应的灰度级向量[x₁，x₂，...，x_K]，可以得到K个集合，记为X_i＝{(x，y)|I_(x，y)＝x_i}，i＝1，...，K。得到新的间距向量

可以构造如下新的映射关系：对于原始图像I中任意一点(x，y)，如果(x，y)∈X_i，则增强结果中

${\tilde{I}}_{(x,y)}=\underset{j=1}{\overset{i}{\mathrm{\Σ}}}{\tilde{s}}_j.$

实施例中的画质增强效果如图3、图4所示，使得对比度增强的同时，色调得到了均衡。

实施效果

依据上述步骤，对中国电影栏案馆的4部电影(图像尺寸为1536乘2048)。，以及日本长崎大学网络图书馆开放资源中的10幅老照片(图像尺寸400乘300)进行画质增强实验。所有实验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器

Core^TM 2Duo CPU E66002.40GHz，内存3GB。软件平台：MATLAB。

增强结果为：

平均用时13.932秒每帧(彩色图像1536乘2048)；1.876秒每帧(彩色图像400乘300)；4.746秒每帧(灰度图像1536乘2048)。

方法流程如图1所示。本实施例获得的增强结果如图3、4所示。

通过以上实施例可以看出，本发明不同于简单的直方图均衡，采用了更加合理的广义均衡模型，给出了更加灵活和严格的对比度增强的目标函数。并通过约束对比度增强造成的色调失真的非线性度，使得对比度增强的同时，色调得到了均衡。本发明增加了画质增强的适用范围和灵活度，得到了更好的画质增强效果。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种基于广义均衡模型的画质增强方法，其特征在于，包括以下步骤：

第一步、读取一幅图像或视频中的某一帧，记为I，计算I的直方图H；

第二步、对直方图H进行预处理，得到新的直方图H'；

第三步、对直方图H'进行基于广义均衡模型的最优化，得到优化后的直方图

第四步、验证色调失真的非线性度，若非线性程度过高，调整参数后返回第三步，否则进行第五步；

第五步、完成到图像的映射，得到增强后的图像

；

以上第二步中，所述预处理，是指如下过程：

对于直方图H＝[p₁,p₂,...,p_n]，将其划分为H_L＝[p₁,p₂,...,p_n/2]和H_H＝[p_n/2+1,p_n/2+2,...,p_n]两部分，其中H_L对应低亮度区，H_H对应高亮度区；对于H_L中元素，按顺序进行如下操作：如果p_i＜T₁，p_i+1＝p_i+1+p_i，p_i＝0；对于H_H中元素，按逆序进行如下操作：如果p_i＜T₁，p_i-1＝p_i-1+p_i，p_i＝0；经过上述运算，得到新的直方图H'；所述参数T₁是一个自适应阈值，采用I中像素点个数的0.1%来计算T₁；

以上第三步中，所述广义均衡模型，是指：对于直方图H'对应的向量，找出非零元素[p₁,p₂,...,p_K]，K表示非零元素的个数，以及非零元素对应的灰度级向量[x₁,x₂,...,x_K]；对于此灰度级向量，定义直方图向量非零元素的间距向量为S＝[s₁,s₂,...,s_K]；其中

s₁＝x₁,

s_i＝x_i-x_i-1,i＝2,...,K

然后根据上述向量，定义图像的对比度为如下函数

$C\left(H^{\′}\right)=\frac{1}{\left|\right|\frac{S}{H^{\′q}}\left|\right|};$

表示一个K维向量，第i个元素为

其中||·||表示任意范数；参数q控制对比度函数的平滑程度。

2.根据权利要求1所述的基于广义均衡模型的画质增强方法，其特征是，第一步中，所述的计算I的直方图H，是指计算I中对应灰度级的像素出现的次数，形成I中像素值在整个亮度动态范围内的分布；其中直方图记为一个向量H＝[p₁,p₂,...,p_n]；该向量满足

p_i＝#{(x,y)|I_(x,y)＝x_i}；

其中x_i表示任意灰度级；#{(x,y)|I_(x,y)＝x_i}表示I中亮度等于x_i的像素所组成的集合中元素的个数；I_(x,y)表示位于坐标（x，y）处像素的亮度值；将此集合记为X_i＝{(x,y)|I_(x,y)＝x_i}；所述亮度动态范围是指由I中像素值的比特位数确定的所有可能的亮度值出现的范围；若像素值为一个k比特数，则动态范围为0到2^k-1；

对于灰度图，只需对I的亮度通道计算直方图H；对于彩色图，需要分别对RGB三个通道计算出三个直方图H_c，c＝R,G,B。

3.根据权利要求1-2任一项所述的基于广义均衡模型的画质增强方法，其特征是，第三步中，所述最优化调整，是指通过求解如下凸优化问题，得到一个间距向量

$\tilde{S}=\arg \max C\left(H^{\′}\right)$

s.t.s_i≥d,

$L_{\min }\≤\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{s}_i\≤L_{\max }$

其中参数d表示相邻灰度级间的最小间距；L_min和L_max确定了进行对比度调整后最大亮度的下界和上界。

4.根据权利要求3所述的基于广义均衡模型的画质增强方法，其特征是，第四步中，所述色调失真是指如下定义：对于调整后得到的间距向量

，计算它与原有间距向量S之间的残差向量；定义其绝对值的加权平均值为色调失真

$D(\tilde{S},S)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i^q|{\tilde{s}}_i-s_i|;$

其中|·|表示绝对值运算符。

5.根据权利要求1或4所述的基于广义均衡模型的画质增强方法，其特征是，第四步中，所述色调失真非线性度是指如下定义：对于残差向量 $R=[{\tilde{s}}_1-s_1,{\tilde{s}}_2-s_2,...,{\tilde{s}}_K-s_K],$ 其加权形式为则色调失真的非线性度定义为

$\mathrm{NL}=\frac{\mathrm{Var}\left(R_w\right)}{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i^{2q}}.$

6.根据权利要求4所述的基于广义均衡模型的画质增强方法，其特征是，第四步中，所述若非线性程度过高，则调整参数后返回第三步是指如下过程：若色调失真的非线性度NL＞T₂，则对参数q进行衰减，用衰减后的q_new替换q，再次对第三步所述凸优化问题进行求解，得到新的间距向量

；所述T₂为判断非线性度是否过高的阈值。

7.根据权利要求1所述的基于广义均衡模型的画质增强方法，其特征是，第五步中，所述

到图像的映射是指如下过程：

对于直方图H'对应的向量，找出非零元素[p₁,p₂,...,p_K]，K表示非零元素的个数，以及非零元素对应的灰度级向量[x₁,x₂,...,x_K]，得到K个集合，记为X_i＝{(x,y)|I_(x,y)＝x_i}，i＝1,...,K；得到新的间距向量

，构造如下新的映射关系：

对于原始图像I中任意一点(x,y)，如果(x,y)∈X_i，则增强结果

中

${\tilde{I}}_{(x,y)}=\underset{j=1}{\overset{i}{\mathrm{\Σ}}}{\tilde{s}}_j.$

Images