CN102289795B - 基于融合思想的视频时空联合增强方法 - Google Patents

Abstract

本发明提供一种基于融合思想的视频时空联合增强方法，首先通过学习的方法得到理想图像的特征信息，再利用融合的思想，结合分段拟合、最优化等方法，将原本针对不同方面增强的多个映射函数融合为一个全局映射函数，从而对原视频序列在空域和时域两方面同时进行增强。通过调查打分的试验方式得到，本发明对视频序列的增强效果要优于现有的增强方法。

Description

基于融合思想的视频时空联合增强方法

技术领域

    本发明涉及图像处理技术领域的方法，具体地涉及一种基于融合思想的视频时空联合增强方法。    

背景技术

    随着互联网和多媒体通信设备的快速发展，视频服务的应用越来越广泛。在实际应用中，一方面视频本身受光照条件、曝光程度等条件的影响，其质量难以保证；另一方面视频在传输、存储过程中受传输带宽、存储容量等方面的限制，其质量还可能会下降。因此，视频增强是保证高质量视频服务的主要方法，在实际应用中至关重要。视频增强的方法可以从多个不同的角度对视频质量予以提高。这些方法大致可以分为两类：空域增强和时域增强。空域增强是针对视频序列的每一帧分别进行增强，而时域增强是在不同帧之间进行增强，主要目的是使帧与帧之间具有较强的连续性。现有方法主要针对上述两种增强类型中的一种，很难使视频的空域质量和时域连续性同时得到增强。有些方法在对某一领域进行增强时，还可能破坏视频在另一领域的质量。在这种情况下，如果能够结合视频序列在空域和时域中的不同特征，从而对两个领域同时增强，则可以使视频增强方法的效果显著提高。

    经过对现有技术的文献检索发现，Z. Liu等人在2007年“IEEE International Conference on Multimedia and Expo”（国际电子电气工程师协会国际多媒体会议暨博览会）第1035至第1038页上发表的“Learning-Based Perceptual Image Quality Improvement for Video Conferencing”（用于视频会议的基于学习的图像增强）文章中提出了一种基于学习的空域图像增强方法。该方法先利用一组已有的图像事先训练出质量较好的视频的特征信息，然后再待增强的视频中选定人脸区域，针对该区域，Liu建立了一种映射关系使待增强的视频的特征信息尽可能地接近训练得到的特征信息，并将这种映射关系作用于全局，从而达到增强效果。该方法仅能针对图像中的某一特定兴趣区域的特征进行增强，可能会使图像中其它一些兴趣区域的质量下降。基于一种融合的思想，可以提出一种针对两个兴趣区域的空域增强方法。同时将这一思想扩展到时域上，可以得到一种时空联合增强的视频增强方法。   

发明内容

         本发明针对现有方法存在的上述不足，提出了一种基于融合思想的视频时空联合增强方法。所述方法可以同时对视频序列的空域质量和时域连续性进行增强，在选定兴趣区域时可以处理两个兴趣区域的情况。

根据本发明的一个方面，提供一种基于融合思想的视频时空联合增强方法，其特征在于，包括如下步骤：第一步：选定视频中的兴趣区域，对各所述兴趣区域分别进行训练，得到各个兴趣区域理想图像的特征，其中，所述兴趣区域是指：在特定的场景下，图像中包含关键信息的区域；第二步：对当前帧图像进行预处理，通过映射函数f(x)使当前帧图像的像素平均值与前一帧图像的像素平均值相一致；第三步：对当前帧图像中各所述兴趣区域的像素平均值进行比较，若满足选择标准，就利用基于分段的融合方法得到相应的空域增强映射关系；若不满足选择标准，则利用基于参数的融合方法得到相应的空域增强映射关系；第四步：对当前帧的空域增强映射关系和前一帧的空域增强映射关系进行融合，通过比较两帧图像的熵值来确定两种映射关系在融合过程中的权重。

优选地，在所述第一步中，对各所述兴趣区域分别进行训练的方法，是以图像三个颜色通道的直方图的均值m和方差σ作为特征进行类聚，将类聚得到的特征向量作为理想的特征。

优选地，在所述第二步中，所述映射函数f(x)是指：

                                                                       

其中，a和b可由f(L)=L^’及f(255)=255两式联合求得，L指代原图像的像素平均值，L ^’ 指代期望的像素平均值，L ^’ 可由下式求得：

其中，L_{avg_past}指代前一帧平均的像素平均值，β用来平衡L和L_{avg_past}的权重。

优选地，在所述第三步中，所述选择标准是指：两个所述兴趣区域的像素平均值之差若在一给定范围内，即认为满足标准，在范围之外即不满足标准。

优选地，在所述第三步中，所述基于分段的融合方法是指：构造一个函数f_fuse,j(x)，根据两个所述兴趣区域的像素平均值，将所述函数f_fuse,j(x)分为两段，使其在第一段中的直方图更接近第一个所述兴趣区域的理想直方图，在第二段中的直方图更接近第二个所述兴趣区域的理想直方图，同时保证所述函数f_fuse,j(x)的平滑性。

优选地，所述函数f_fuse,j(x)由下式表示：

其中，P _c 可由下式求得：

其中，m_RA,j 和m_RB,j 分别指代两个所述兴趣区域的像素平均值，σ_RA,j和σ_RB,j分别指代两个所述兴趣区域的像素方差,n_A和n_B分别指代两个所述兴趣区域像素值重叠的部分相对于其像素方差的比值，

为使f_fuse,j(x)满足上述特性，需要添加以下几个限制条件：

为使所述函数f_fuse,j(x)满足上述特性，需要添加以下几个限制条件：

_条件1：

其中，f_A,j(x)和f_B,j(x)是两个所述兴趣区域待融合的映射函数；

_条件2：

K₃的值取决于f_A,j(P_c)和 f_B,j(P_c)的大小；

_{条件3： 。}

优选地，参数α=3，k₁=0.9,k₂=0.5；如果f_A,j(P_c)> f_B,j(P_c)，k₃=0.5，如果f_A,j(P_c)<f_B,j(P_c),k₃=1.5；k₄=0.1。

优选地，在所述第三步中，所述基于参数的融合方法是指：

，其中，λ_j可以通过解下述的最优化方程得到：

优选地，在所述第四步中，所述融合的方法如下式所示：

其中f_pre(x)是前一帧图像对应的融合后的映射函数。λ_EA可由下式得到：

，其中E即为所述熵值，E(t)即第t帧图像的熵值，LB为一下限值。图像的熵值可由下式求得：

其中，p(k)是图像直方图中灰度值为k所对应的值。

优选地，在所述第二步中，β=1.5。

与现有技术相比，本发明的优点主要体现在三个方面：

1、    本发明将视频的空域增强和时域增强结合在一起，同时对两方面予以增强；

2、    本发明是对Liu的方法的一个重要扩展。本方法可以处理图像中包含两个兴趣区域的情景，应用的范围较为广泛；

3、    现有的一些方法将图像分割为多个区域分别增强，已达到更好的效果，但现有的分割方法分割的精确度有限，往往会产生虚假的边缘。本发明最终对图像进行变换的操作是一个针对全局图像的变换，不会产生虚假边缘，更具实用性。

附图说明

图1是本发明方法的流程图；

图2是基于分段的融合方法对映射函数融合的示意图。 

具体实施方式

下面对本发明的实施例作详细说明，各实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

在本发明的一个实施例中，如图1所示，所述时空联合进行视频增强的方法包括如下步骤：

第一步：选定视频中的兴趣区域，对各所述兴趣区域分别进行训练，从而得到各个兴趣区域理想图像的特征，其中，所述兴趣区域是指：在特定的场景下，图像中包含关键信息的区域，例如在视频会议中，所述兴趣区域往往是指人脸部分和用于讲解的屏幕等。

用于训练的图像集须事先手动选定。对各所述兴趣区域分别进行训练的方法，是以图像三个颜色通道的直方图的均值m和方差σ作为特征进行类聚，将类聚得到的特征向量作为理想的特征。

第二步：对当前帧图像进行预处理，通过映射函数f(x)使当前帧图像的像素平均值与前一帧图像的像素平均值相一致，其中，所述映射函数f(x)是指：

                                                                       

其中，a和b可由f(L)=L^’及f(255)=255两式联合求得，L指代原图像的像素平均值，L ^’ 指代期望的像素平均值，L ^’ 可由下式求得：

其中，L_{avg_past}指代前一帧平均的像素平均值，β用来平衡L和L_{avg_past}的权重。

在本实施例的一个优选例中，β=1.5。所述第二步使得当前帧图像在平均意义上与之前的一帧图像相接近，便于接下来进一步增强视频的时间连续性。

第三步：对当前帧图像中各所述兴趣区域的像素平均值进行比较，若满足选择标准，就利用基于分段的融合方法得到相应的空域增强映射关系；若不满足选择标准，则利用基于参数的融合方法得到相应的空域增强映射关系。

其中，所述选择标准是指：两个所述兴趣区域的像素平均值之差若在一给定范围内，即认为满足标准，在范围之外即不满足标准。

所述基于分段的融合方法是指：构造一个函数f_fuse,j(x)，根据两个所述兴趣区域的像素平均值，将所述函数f_fuse,j(x)分为两段，使其在第一段中的直方图更接近第一个所述兴趣区域的理想直方图，在第二段中的直方图更接近第二个所述兴趣区域的理想直方图，同时保证所述函数f_fuse,j(x)的平滑性。具体可由下式表示：

其中，P _c 可由下式求得：

其中，m_RA,j 和m_RB,j 分别指代两个所述兴趣区域的像素平均值，σ_RA,j和σ_RB,j分别指代两个所述兴趣区域的像素方差,n_A和n_B分别指代两个所述兴趣区域像素值重叠的部分相对于其像素方差的比值。参数α在本实施例的一个优选例中取值为3。

为使所述函数f_fuse,j(x)满足上述特性，需要添加以下几个限制条件：

_条件1：

其中，f_A,j(x)和f_B,j(x)是两个所述兴趣区域待融合的映射函数。在本实施例的一个优选例中，k₁=0.9,k₂=0.5。

_条件2：

K₃的值取决于f_A,j(P_c)和 f_B,j(P_c)的大小。在本实施例的一个优选例中，如果f_A,j(P_c)> f_B,j(P_c)，k₃=0.5，如果f_A,j(P_c)<f_B,j(P_c),k₃=1.5。

_条件3：

在本实施例的一个优选例中，k₄=0.1。

所述基于参数的融合方法是指：

，即所述函数f_fuse,j(x)不再分段，仅由一个参数λ_j来平衡两个映射函数的权重。λ_j可以通过解下述的最优化方程得到：

  基于分段的融合方法的增强效果略好于基于参数的融合方法，但有一定的限制条件。因此，满足所述选择标准的帧图像由基于分段的融合方法来增强，剩下的帧图像由基于参数的融合方法来增强。

第四步：对当前帧的空域增强映射关系和前一帧的空域增强映射关系进行融合，通过比较两帧图像的熵值来确定两种映射关系在融合过程中的权重。

所述融合的方法如下式所示：

其中f_pre(x)是前一帧图像对应的融合后的映射函数。λ_EA可由下式得到：

，其中E即为所述熵值，E(t)即第t帧图像的熵值，LB为一下限值。图像的熵值可由下式求得：

其中，p(k)是图像直方图中灰度值为k所对应的值。

该方法以图像熵值的变化来衡量视频时域的特征，熵值变化越大说明时域上的变化越大，因此在融合函数中时域增强的权重也会相应增大。

实施效果

依据上述步骤，对实验室自行拍摄的几组视频进行了增强处理。待增强的视频序列都存在光照不足、光线忽明忽暗等问题。我们将实验结果与Liu等人的方法进行了比较，所有试验均在PC计算机上实现。

由于图像视觉效果的评价倾向于一种主观的感受，我们通过调查打分的方法对实验结果进行评价。下述的实验结果是由二十个志愿者对两种不同的方法所得结果的打分组成的。

原始视频：2.38

经Liu的方法增强后：3.02

经本发明的方法增强后：3.86

实验表明，较之于现有的视频增强方法，本实施例的增强效果更加明显。

Claims (2)

1.一种基于融合思想的视频时空联合增强方法，其特征在于，包括如下步骤：

第一步：选定视频中的兴趣区域，对各所述兴趣区域分别进行训练，得到各个兴趣区域理想图像的特征，其中，所述兴趣区域是指：在特定的场景下，图像中包含关键信息的区域；

第二步：对当前帧图像进行预处理，通过映射函数f(x)使当前帧图像的像素平均值与前一帧图像的像素平均值相一致；

第三步：对当前帧图像中各所述兴趣区域的像素平均值进行比较，若满足选择标准，就利用基于分段的融合方法得到相应的空域增强映射关系；若不满足选择标准，则利用基于参数的融合方法得到相应的空域增强映射关系；

第四步：对当前帧的空域增强映射关系和前一帧的空域增强映射关系进行融合，通过比较两帧图像的熵值来确定两种映射关系在融合过程中的权重;

其中，在所述第一步中，对各所述兴趣区域分别进行训练的方法，是以图像三个颜色通道的直方图的均值m和方差σ作为特征进行类聚，将类聚得到的特征向量作为理想图像的特征，

在所述第二步中，所述映射函数f(x)是指：

$f\left(x\right)=\left\{\begin{array}{cc}0& x\&le;0\\ {\mathrm{ax}}^2+\mathrm{bx}& 0<x<255\\ 255& x\&GreaterEqual;255\end{array}\right.$

其中，x为像素平均值，常数a和常数b可由f(L)=L’及f(255)=255两式联合求得，L指代原图像的像素平均值，L’指代期望的像素平均值，L’可由下式求得：

$L^{\&prime;}=\left(\frac{1}{1+\mathrm{\&beta;}}\right)\&CenterDot;L+\left(\frac{\mathrm{\&beta;}}{1+\mathrm{\&beta;}}\right)\&CenterDot;L_{\mathrm{avg}\_\mathrm{past}}$

其中，L_{avg_past}指代前一帧平均的像素平均值，β用来平衡L和L_{avg_past}的权重，

在所述第三步中，所述选择标准是指：两个所述兴趣区域的像素平均值之差若在一给定范围内，即认为满足标准，在范围之外即不满足标准，

在所述第三步中，所述基于分段的融合方法是指：构造一个函数f_fuse,j(x)，根据两个所述兴趣区域的像素平均值，将所述函数f_fuse,j(x)分为两段，使其在第一段中的直方图更接近第一个所述兴趣区域的理想直方图，在第二段中的直方图更接近第二个所述兴趣区域的理想直方图，同时保证所述函数f_fuse,j(x)的平滑性，

所述函数f_fuse，j(x)由下式表示：

$f_{\mathrm{fuse},j}\left(x\right)=\left\{\begin{array}{cc}{f}_{\mathrm{PA},j}\left(x\right)& \mathrm{ifx}\&Element;[0,P_C]\\ f_{\mathrm{PB},j}\left(x\right)& \mathrm{ifx}\&Element;(P_C,255]\end{array}\right.$

其中，f_PA，j(x)和f_PB，j(x)分别指代函数f_use，j(x)的不同段的代式，P_c可由下式求得：

$P_c=\left\{\begin{array}{c}\frac{(m_{\mathrm{RA},j}+\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j})+[m_{\mathrm{RB},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RB},j}+(n_A-n_B)\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j}]}{2}\\ {\frac{[m_{\mathrm{RA},j}+\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j}-(n_B-n_A)\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RB},j}]+(m_{\mathrm{RB},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RB},j})}{2}}_{n_A<n_B}^{n_A\&GreaterEqual;n_B}\end{array}\right.$

其中，α为参数，m_RA,j和m_RB,j分别指代两个所述兴趣区域的像素平均值，σ_RA,j和σR_B,j分别指代两个所述兴趣区域的像素方差,n_A和n_B分别指代两个所述兴趣区域的像素值重叠部分相对于该兴趣区域的像素方差的比值，其中，像素值重叠部分,即两个区域的像素值分布所对应的区间的交集，，

为使所述函数f_fuse,j(x)满足上述特性，需要添加以下几个限制条件：

条件1： $\left\{\begin{array}{c}{f}_{\mathrm{PA},j}\left(0\right)=0\\ f_{\mathrm{PA},j}(m_{\mathrm{RA},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j})=k_1\&CenterDot;f_{A,j}(m_{\mathrm{RA},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j})+(1-k_1)\&CenterDot;f_{B,j}(m_{\mathrm{RA}j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j})\\ f_{\mathrm{PA},j}\left(P_c\right)=k_2\&CenterDot;f_{A,j}\left(P_c\right)+(1-k_2)\&CenterDot;f_{B,j}\left(P_c\right)\end{array}\right.$

其中，f_A,j(x)和f_B，j(x)是两个所述兴趣区域待融合的映射函数，α为参数；

条件2： $\left\{\begin{array}{c}{f}_{\mathrm{PA},j}^{\&prime;}\left(0\right)=0.5\&CenterDot;\frac{f_{\mathrm{PA},j}(m_{\mathrm{RA},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j})}{m_{\mathrm{RA},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j}}\\ f_{\mathrm{PA},j}^{\&prime;}(m_{\mathrm{RA},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j})=k_1\&CenterDot;f_{A,j}^{\&prime;}(m_{\mathrm{RA},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j})+(1-k_1)\&CenterDot;f_{B,j}^{\&prime;}(m_{\mathrm{RA},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j})\\ f_{\mathrm{PA},j}^{\&prime;}\left(P_c\right)=k_3\&CenterDot;\frac{f_{\mathrm{PA},j}\left(P_c\right)-f_{\mathrm{PA},j}(m_{\mathrm{RA},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j})}{P_c-(m_{\mathrm{RA},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j})}\end{array}\right.$

其中，f'_PA，j(x)和f'_PB，j(x)分别指代，参数α=3，k₁=0.9,k₂=0.5时的代式f_PA，j(x)和f_PB，j(x)，f'_A，j(x)和f'_B，j(x)分别指代，参数α=3，k₁＝0.9,k₂=0.5时的映射函数f_A，j(x)和f_B，j(x)，

参数α=3，k₁=0.9,k₂=0.5，k3的值取决于f_A，j(P_c)和f_B,j(P_c)的大小；

条件3：

其中，α，k₁，k₂，k₃，k₄均为参数，

如果f_A,j(Pc)>f_B,j(Pc)，k₃=0.5，如果f_A,j(Pc)<f_B,j(Pc),k₃=1.5；k₄=0.1，

在所述第三步中，所述基于参数的融合方法是指：

f_fuse,j(x)＝λ_j·f_A,j(x)+(1-λ_j)·f_B,j(x)，其中，λ_j可以通过解下述的最优化方程得到：

$\underset{{\mathrm{\&lambda;}}_j}{\min }\{{\left|\right|f_{\mathrm{fuse},j}\left(x\right)-f_{A,j}\left(x\right)\left|\right|}_{x\&Element;[m_{\mathrm{RA},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j},m_{\mathrm{RA},j}+\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RA},j}]}+{\left|\right|f_{\mathrm{fuse},j}\left(x\right)-f_{B,j}\left(x\right)\left|\right|}_{x\&Element;[m_{\mathrm{RB},j}-\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RB},j},m_{\mathrm{RB},j}+\mathrm{\&alpha;}\&CenterDot;{\mathrm{\&sigma;}}_{\mathrm{RB},j}]}\}$ 其中，λ_j为常数，

在所述第四步中，所述融合的方法如下式所示：

$f_{\mathrm{fuse}}\left(x\right)=\left(\frac{1}{1+{\mathrm{\&lambda;}}_{\mathrm{EA}}}\right)\&CenterDot;f_{\mathrm{fuse},j}\left(x\right)+\left(\frac{{\mathrm{\&lambda;}}_{\mathrm{EA}}}{1+{\mathrm{\&lambda;}}_{\mathrm{EA}}}\right)\&CenterDot;f_{\mathrm{pre}}\left(x\right)$

其中f_pre(x)是前一帧图像对应的融合后的映射函数，f_fuse(x)指代融合函数，常数λ_EA可由下式得到：

λ_EA＝max(arg(min|E(t)-E(t-1)|),LB)，其中E即为所述熵值，E(t)即第t帧图像的熵值，LB为一下限值，图像的熵值可由下式求得：

$E=\underset{k}{\mathrm{\&Sigma;}}-p\left(k\right)\&CenterDot;\log p\left(k\right)$

其中，p(k)是图像直方图中灰度值为k所对应的值。

2.根据权利要求1所述的基于融合思想的视频时空联合增强方法，其特征在于，在所述第二步中，β=1.5。

Images