CN102625030B - 视频增强方法和系统 - Google Patents

Abstract

一种视频增强方法和系统。该方法包括：在视频中检测感兴趣对象；计算所述视频中每帧图像的显著度图；构建亮度和显著度自适应的时域滤波器过滤所述视频中的每帧图像以消除噪声；以及输出增强的视频。所述视频增强方法和系统，以视频内容的重要性为依据进行视频增强，因此不会导致视频中重要信息的模糊。其综合地考虑了视频中连续多帧图像的关联性，保证了增强效果的稳定性。

Description

视频增强方法和系统

技术领域

本申请一般地涉及图像和视频处理，具体地，涉及视频增强方法和系统。 

背景技术

对于数码相机、数字摄像头等，主要的视频质量增强方式是图像增强方法。该类方法没有考虑多帧图像之间的关联关系。使用它们来提升视频质量，往往导致增强的视频有颗粒现象和闪烁，并且增强的效果不稳定。 

发明内容

本申请致力于提供一种能根据视频内容重要性进行动态调整的视频增强方法。视频内容重要性可通过计算视频中的每帧图像的所有像素的显著度来体现。 

根据本发明的第一方面，提供一种视频增强方法，包括：在视频中检测感兴趣对象；计算所述视频中每帧图像的显著度图；构建亮度和显著度自适应的时域滤波器过滤所述视频中的每帧图像以消除噪声；以及输出增强的视频。 

根据本发明的第二方面，提供一种视频增强方法，包括：在视频中检测感兴趣对象；计算所述视频中每帧图像的显著度图；对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度；以及输出增强的视频。 

根据本发明的第三方面，提供一种视频增强系统，包括：感兴趣对象检测模块，用于在视频中检测感兴趣对象；显著度计算模块，用于计算所述视频中每帧图像的显著度图；显著度自适应时域滤波模块，用于构建亮度和显著度自适应的时域滤波器过滤所述视频中的每帧图像以消除噪声；以及输出模块，用于输出增强的视频。 

根据本发明的第四方面，提供一种视频增强系统，包括：感兴趣对象检测模块，用于在视频中检测感兴趣对象；显著度计算模块，用于计算所述视 频中每帧图像的显著度图；显著度自适应曝光修正模块，用于对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度；以及输出模块，用于输出增强的视频。 

本申请提出的视频增强方法和系统，以视频内容的重要性为依据进行视频增强，因此不会导致视频中重要信息的模糊。另外，根据本发明的方法和系统综合地考虑了视频中连续多帧图像的关联性，保证了增强效果的稳定性。本发明不需要直接控制硬件(例如，相机，摄像头等)参数，其适用范围更为广泛。 

根据本发明的第一方面和第三方面，滤除了噪声的影响，从而有效地降低增强后视频的颗粒现象和闪烁。根据本发明的第二方面和第四方面，考虑了视频内容的重要性，因此有效地提升了重要性高的内容的亮度和对比度。 

附图说明

图1是根据本发明一个实施例的视频增强方法的流程图； 

图2是根据本发明一个实施例的计算视频中图像显著度图的流程图； 

图3是根据本发明一个实施例的办公场景的显著度图的示意图； 

图4是根据本发明一个实施例的户外场景的显著度图的示意图； 

图5是根据本发明一个实施例的显著度自适应局部对比度增强的流程图；以及 

图6是根据本发明一个实施例的视频增强系统的示意方框图。 

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。 

图1是根据本发明一个实施例的视频增强方法的流程图。 

如图1所示，根据本发明一个实施例的视频增强方法包括感兴趣对象检测步骤S110、显著度图计算步骤S120、显著度自适应时域滤波步骤S130、显著度自适应曝光修正步骤S140、显著度自适应局部对比度增强步骤S150和输出增强的视频步骤S160。下面对各步骤进行具体说明。 

在步骤S110，在视频中检测感兴趣对象。多种现有的方法可以用于感兴趣对象的检测。例如，基于混合高斯模式的对象检测、基于形状模板的对象 检测、对象跟踪方法等。如果应用有明确的对象类型，一些专门的对象检测方法可以被采用。例如，会议场景中，感兴趣对象通常是说话人和参会者。正脸检测、侧脸检测、多视角人脸检测、头检测、基于HOG(Histogram oforiented gradient，方向梯度的直方图，一种特征描述子，其多用于对象检测，特别是人的检测)的人检测都可以是备选方法。步骤S110的目标是在像素层面上区分不同的感兴趣对象和背景。 

在步骤S120，计算视频中每帧图像的显著度图。图2是根据本发明一个实施例的计算视频中图像显著度图的流程图。 

参见图2，在步骤S121，从视频中获取每帧图像，将其转换到合适的颜色空间。例如，从RGB到灰度空间、LUV/LAB或者HSV空间，然后得到其亮度图像。 

在步骤S122，计算一帧图像中感兴趣对象的显著度值。这里，显著度值是对视频的一帧图像中单个像素或者一组像素(对象)的重要性的一种度量。感兴趣对象来自步骤S110的输出。考虑到对象不同或者对象的状态不同，其在视觉表现上的重要性也不同，因此，对于不同的感兴趣对象，其显著度值应该有所差别。下述感兴趣对象的因素在计算显著度值时需要被考虑。这些因素包括但不局限于：感兴趣对象的类型、大小、对象到图像中心的距离。 

例如，在会议场景中，主要的感兴趣对象是说话人和参会者。他们的大小、到图像中心的距离、脸的角度等均需要考虑。使用公式(1)计算感兴趣对象的显著度值。 

Saliency_Obj(k)＝F(size(k)，dist(k)，pose(k))            (1) 

其中，k表示第k个感兴趣对象，size(k)表示第k个感兴趣对象的大小，dist(k)表示第k个感兴趣对象到图像中心的距离，pose(k)表示第k个感兴趣对象的脸的角度，Saliency_Obj(k)表示计算得到的第k个感兴趣对象的显著度值。这里，F可以是线性函数也可以是非线性函数。 

如果图像中的像素满足公式(2)，那么该像素的显著度值即等于该感兴趣对象的显著度值，如公式(3)所示。 

pixel(x，y)∈k                           (2) 

Saliency_pixel(x，y)＝Saliency_Obj(k)    (3) 

其中，除了公式(1)中出现的符号以外，pixel(x，y)表示坐标为(x，y)的像 素，Saliency_pixel(x，y)表示像素pixel(x，y)的显著度值。 

在步骤S123，计算每帧图像中背景区域中像素的显著度值。如果背景像素没有运动，则背景像素的显著度值为0。如果背景像素有运动，则背景像素的显著度值与像素的运动频度相关。背景像素的运动频度可通过如下方法计算获得。 

首先，获取在自当前时间向回算的指定持续时间内的运动对象检测的结果，从而获得了多个运动对象，该预定持续时间可以是0.5秒、1.0秒、2秒或者其他的时间间隔值。 

其次，计算该指定持续时间内每个像素点属于运动对象的次数times(x，y)，计算公式如公式(4)和(5)所示。 

$f_k(x,y)=\left\{\begin{array}{c}0,\mathrm{pixel}(x,y)\∈\mathrm{others}\\ 1,\mathrm{pixel}(x,y)\∈\mathrm{foreground}\end{array}\right.---\left(4\right)$

$\mathrm{times}(x,y)=\underset{k=1}{\overset{N\left(t\right)}{\mathrm{\Σ}}}{f}_k(x,y)---5$

其中，考虑到计算机环境的变化，指定持续时间t内视频的帧数是动态变化的，引入N(t)表示指定持续时间内的帧数；pixel(x，y)表示坐标为(x，y)的像素，pixel(x，y)∈foreground，表示像素pixel(x，y)属于运动对象即所谓的前景，而pixel(x，y)∈others表示像素pixel(x，y)属于除前景外的区域，即不属于运动对象，f_k(x，y)表示在第k帧中该像素pixel(x，y)是否属于运动对象。 

归一化处理每个像素属于运动对象的次数Nor_Times(x，y)，以消除视频帧数动态变化的影响。归一化处理公式如公式(6)所示，相同符号含义同公式(4)和(5)。 

Nor_Times(x，y)＝times(x，y)/N(t)                 (6) 

归一化后，Nor_Times(x，y)为[0，1]之间的数值，表征像素pixel(x，y)的运动频度。 

最后，基于公式(7)计算得到背景像素的显著度值。其中，G可以是简单的线性函数也可以是非线性函数，其可以通过试验确定；其它符号含义同前。 

Saliency_pixel(x，y)＝G(Nor_Times(x，y))          (7) 

在步骤S124，合并感兴趣对象的像素的显著度值和背景的像素的显著度值，得到当前帧图像的显著度图(所有像素的显著度值的集合)；然后， 存储该显著度图到历史显著度图库125。 

在步骤S126，判定当前帧图像是否是第一帧图像。如果是第一帧图像，直接进行到步骤S128。如果不是第一帧图像，则进行到步骤S127。 

在步骤S127，综合考虑历史显著度图和当前帧的显著度图，使用公式(8)更新当前帧的显著度图。即以某个给定的更新速率来累加当前显著度图和历史显著度图。 

$S_i=\left\{\begin{array}{cc}\mathrm{Saliency}\_\mathrm{pixel}{(x,y)}_i& S_i=\mathrm{empty}\\ S_{i-1}+\mathrm{\ω}\×\mathrm{Saliency}\_\mathrm{pixel}{(x,y)}_i& S_i\≠\mathrm{empty}\end{array}\right.---\left(8\right)$

其中，S_i表示第i帧图像的显著度图，即当前显著度图，S_i-1表示第i-1帧图像的显著度图，即历史显著度图；ω是更新速率，其范围为ω∈(0，1)，默认值可以设为0.3。 

基于上述显著度图的计算，可以获得相对稳定和平滑的连续帧图像的显著度图。 

在步骤S128，输出每帧图像的显著度图。 

图3是根据本发明一个实施例的在办公场景中计算得到的显著度图的示意图。该场景中，背景像素没有运动，感兴趣对象被很好地检测出，其显著度值高且明显有别于背景。 

图4是根据本发明一个实施例的在户外场景中计算得到的显著度图的示意图。该场景中，感兴趣对象没有被很好地完整地检测出，但它们的显著度值较高且有别于背景；部分背景像素有运动，它们有自己的显著度值。 

在图3和图4中，灰度值表示显著度值，越亮表明越大的显著度值。 

在步骤S130，构建亮度和显著度自适应的时域滤波器以消除噪声。采用中值滤波器以保证去噪的鲁棒性。 

基于感兴趣对象和运动像素不宜过分平滑以及低亮度下噪声出现的概率升高的原则，根据每个像素的显著度值和亮度值(灰度值)计算中值滤波器的权值。然后，使用中值滤波器处理每帧图像。 

使用公式(9)计算每帧图像的平滑结果。即基于中值滤波器的权值，计算中值滤波后每个像素的值(灰度值，或RGB值)和滤波前每个像素的值(灰度值，或RGB值)的加权和，得到平滑结果。 

smooth_pixel(x，y，k)＝(1-a)×pixel(x，y，k)+    (9) 

a×Med(pixel(x，y，k-N)，pixel(x，y，k-N-1)，...，pixel(x，y，k)) 

其中，pixel(x，y，k)表示第k帧图像中像素pixel(x，y)的值(灰度值，或RGB值)，Med(pixel(x，y，k-N)，pixel(x，y，k-N-1)，...，pixel(x，y，k))表示对从第k-N帧图像到第k帧图像对同一位置的像素pixel(x，y)做中值滤波；N为设定的做中值滤波的图像的帧数，默认值为6；smooth_pixel(x，y，k)表示平滑处理后得到的第k帧图像的像素pixel(x，y)的值(灰度值，或RGB值)；a为权值，使用公式(10)计算得到中值滤波器的权值a。 

a＝T(l(x，y)，Saliency_pixel(x，y))            (10) 

其中，Saliency_pixel(x，y)表示像素pixel(x，y)的显著度值；l(x，y)表示像素pixel(x，y)的亮度值；T可以是简单的线性函数也可以是非线性函数，并且T需要满足两个条件：1)当光照弱并且显著度值小时，权值α→1；2)当光照充足并且显著度值大时，权值α→0。 

在步骤S140，对所述视频中的每一帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度。 

曝光密度函数定义如公式(11)所示。它给出了进入的光强度S(即曝光)被摄像机传感器转换为像素值的转换关系。其中，A为一个控制常数(后面详述)，I为转换后的像素值(灰度值或RGB值)，f为转换关系函数。 

I＝f(S)＝255/1+e^-A×S        (11) 

曝光修正的关键包括两点：调整感兴趣对象区域的平均亮度(灰度值或RGB值)到理想的曝光，即感兴趣区域的平均亮度水平调整到128附近；使用修正后的光强度S(即理想曝光)，基于曝光密度函数重新计算所有像素的像素值。 

基于每帧图像的显著度图，显著度自适应的曝光修正方法主要包括2个步骤： 

1)使用公式(12)、(13)和(14)计算实际曝光和理想曝光之间的差值Diff 

Diff＝f^-1(OptBright)-f^-1(WeightedBright)            (12) 

$\mathrm{OptBright}=128\×\frac{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{Saliency}\_\mathrm{Obj}\left(k\right)}{C}---\left(13\right)$

$\mathrm{WeightedBright}=\frac{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{Saliency}\_\mathrm{Obj}\left(k\right)\×\mathrm{Avg}\_\mathrm{Bright}\left(k\right)}{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{Saliency}\_\mathrm{Obj}\left(k\right)}---\left(14\right)$

其中，K为当前帧图像中感兴趣对象的个数；Saliency_Obj(k)表示计算得到的第k个感兴趣对象的显著度值；OptBright是多个感兴趣对象所要调整到的目标亮度；C是常量，用于调整感兴趣对象的亮度期望，其范围为(0.4，10)，默认值是感兴趣对象的个数K，具体值可通过试验观察确定；Avg_Bright(k)表示第k个感兴趣对象的平均亮度；WeightedBright表示多个感兴趣对象的平均亮度的加权和；Diff是计算得到的实际曝光和理想曝光之间的差值。 

2)对于该帧图像中的每个像素，使用公式(15)和(16)重新曝光 

S＝f^-1(I)+Diff                (15) 

I′＝f(S)                     (16) 

其中，I为当前的像素值(灰度值或RGB值)，f^-1是曝光密度函数的逆函数，Diff是公式(12)计算得到的实际曝光和理想曝光之间的差值，S是计算得到的期望光强度，I′是重新曝光后计算得到的像素值(灰度值或RGB值)。 

不好的光照通常会引发模糊。在曝光密度函数(参见公式(11))中A控制对比度水平。为减小模糊，可使用不同的A值来扩大亮度尺度达到增强对比度的效果。为此，新的重新曝光公式为(17)和(18)。 

S＝f_low ^-1(I)+Diff                    (17) 

I′＝f_high(S)                        (18) 

其中，f_low ^-1和f_high分别是曝光密度函数的逆函数和曝光密度函数；并且f_low ^-1和f_high分别使用A1和A2作为它们的控制参数A，A1要小于A2。例如，A1的范围可以是[0.75- 1]，A2的范围可以是[1.0，1.35]。 

经过显著度自适应的曝光修正后，对于过曝的视频图像，其感兴趣对象的大多数灰度值将向中间移动，其整个图像区域的大多数灰度值也将向中间移动。这样，感兴趣对象和整个图像的亮度状况和对比度状况均得到改善。 

在步骤S150，对视频图像中的亮度图像进行显著度自适应的局部对比度增强。在完成视频图像的曝光修正后，图像的局部对比度会减弱；原因在于曝光修正是非线性变换，而非线性变换本身会导致局部变化的减弱。同时，通常的局部对比度增强算法比较耗时。为了增强曝光修正后的图像的局部对比度并且减少处理时间，本申请提出了显著度自适应的局部对比度增强算法，详见图5。 

该算法的基本思想是仅对重要的像素做局部对比度增强。使用公式(19)来判断是否进行局部对比度的处理，即通过视频图像的显著度图来确定每个像素是否需要进行局部对比度的增强处理，即选择需要进行局部对比度的增强处理的像素。如果像素被保留(kept)就做局部对比度增强，否则跳过它们。 

pixel(x，y)＝kept；Salicency_pixel(x，y)≥Saliency_Thresh_Keep  (19) 

其中，pixel(x，y)表示坐标为(x，y)的像素，Saliency_pixel(x，y)表示像素pixel(x，y)的显著度值，Saliency_Thresh_Keep表示像素的显著度值的设定阈值，达到该阈值的像素可以被保留进行对比度增强处理。该阈值可以设定得大些，这样仅少量重要性高的区域进行了对比度增强；该阈值也可以设定得小些，这样有一定重要性的区域均会进行对比度增强处理。该阈值可以通过试验确定，其默认值为图像中最大显著度值的一半。kept表示该像素将被保留下来，进行后续的局部对比度增强处理。因为仅仅对选择的部分像素进行后续的局部对比度增强处理，所以可减少处理时间。 

图5是根据本发明一个实施例的显著度自适应局部对比度增强的流程图。在步骤S151，获取单个通道的图像数据，例如，将彩色图像转换到HSV或者LUV空间，得到HSV的V通道图像或者LUV的L通道图像。在步骤S152，使用公式(19)，基于显著度图，过滤图像中的像素；如果像素被保留则标记它们(表示被选择保留)。在步骤S153，使用高斯核或其他核做二维卷积得到平均图像。在步骤S154，使用公式(20)计算局部变化图像。 

$I_{\mathrm{diff}}=\frac{I_{x,y}-I_{\mathrm{avg}}}{255}---\left(20\right)$

其中，I_x,y和I_avg分别是原始图像(灰度值矩阵)和其低通滤波的平均图像(灰度值矩阵)，I_avg可使用高斯核进行二维卷积得到，I_diff是原始图像I_x，y和平均图像I_avg的局部变化图像(归一化矩阵)。局部变化图像中各个像素点的值可能是正的、也可能是负的，表示该像素相较于其周围像素是更亮些、还是更暗些。 

I_diff的幅值，即绝对值，决定了图像的局部对比度。大的幅值表明局部对比度强，小的幅值表明局部对比度弱。因此，增加局部变化图像中各个像素的幅值，即可增加图像的局部对比度。 

在步骤S155，通过公式(21)计算局部变化图像的增强的幅值(公式 左边)，它通过使用幂律运算来增强I_diff的幅值。 

|I_diff，en|＝|I_diff|^β                    (21) 

β是可调的，通常取0＜β＜1，默认值可采用0.75。 

在步骤S156，计算增强的局部变化图像。基于结果|I_diff，en|和I_diff的正负号，计算得到增强的局部变化图像I_diff，en，详见公式(22)。 

I_diff，en＝|I_diff，en|·sign(I_diff)       (22) 

这里，符号运算sign(I_diff)定义为： 

$\mathrm{sign}\left(I_{\mathrm{diff}}\right)=\left\{\begin{array}{cc}+& I_{\mathrm{diff}}>0\\ 0& I_{\mathrm{diff}}=0\\ -& I_{\mathrm{diff}}<0\end{array}\right.---\left(23\right)$

在步骤S157，计算增强的图像。将增强的局部变化图像I_diff，en和平均图像I_avg进行叠加运算(合并)，得到增强的图像I_en，详见公式(24)。 

$I_{\mathrm{en}}=\frac{I_{\mathrm{diff},\mathrm{en}}\&times;255+I_{\mathrm{avg}}}{\max (I_{\mathrm{diff},\mathrm{en}}\&times;255+I_{\mathrm{avg}})}---\left(24\right)$

这里，(I_diff，en×255+I_avg)的最大值(max)用来归一化处理(I_diff，en×255+I_avg)，因为(I_diff，en×255+I_avg)有可能是大于255的。 

在步骤S158，线性比例拉伸增强的图像到[0，255]，详见公式(25)。 

$I_{\mathrm{final}}=\frac{(I_{\mathrm{en}}-\mathrm{dMin})}{\mathrm{dMax}-\mathrm{dMin}}\&times;255---\left(25\right)$

这里dMin是增强图像I_en的最小值，dMax是增强图像I_en的最大值，I_final为比例拉伸处理后的增强图像。 

在步骤S159，得到增强的单通道视频图像I_final，复合后输出增强的视频图像。 

回到图1的步骤S160，输出增强的视频图像。然后所述视频增强方法的流程结束。 

需要注意的是，上述仅仅是本发明的一个实施例，本领域技术人员能够根据需要进行各种变化。例如，参见图1，根据本发明的视频增强方法不必包括图1所示的所有步骤。 

根据本发明的另一个实施例，本发明的视频增强方法可仅仅包括感兴趣对象检测步骤S110、显著度图计算步骤S120、显著度自适应的时域滤波步骤S130和增强视频输出步骤S160。该方法可滤除噪声的影响，从而有效地降低增强后视频的颗粒现象和闪烁。该方法可进一步包括显著度自适应的曝 光修正步骤S140。 

根据本发明的再一个实施例，本发明的视频增强方法可仅仅包括感兴趣对象检测步骤S110、显著度图计算步骤S120、显著度自适应的曝光修正步骤S140和增强视频输出步骤S160。该方法考虑了视频内容的重要性，因此有效地提升了重要性高的内容的亮度和对比度。该方法可进一步包括显著度自适应的局部对比度增强步骤S150，从而进一步有效地提升重要性高的内容的局部对比度。 

上述各方法中的各个步骤还可进一步采用本申请说明书中在前面所述的详细步骤来完成，此处不再赘述。 

图6是根据本发明一个实施例的视频增强系统的示意方框图。 

如图6所示，根据本发明一个实施例的视频增强系统，包括：感兴趣对象检测模块610，用于在视频中检测感兴趣对象；显著度计算模块620，计算视频中每帧图像的显著度图；显著度自适应时域滤波模块630，构建亮度和显著度自适应的时域滤波器过滤视频中的每帧图像以消除噪声；显著度自适应曝光修正模块640，对视频中的每帧图像进行显著度自适应的曝光修正，提升视频的亮度和对比度；显著度自适应局部对比度增强模块650，计算视频中每帧图像的亮度的局部变化，对每帧图像进行显著度自适应的局部对比度增强；输出模块660，输出增强后的视频。上述各模块可进一步包括与本申请说明书中在前面所述的详细步骤对应的模块，此处不再赘述。 

与根据本发明上述实施例的视频增强方法类似，本领域技术人员能够理解，根据本发明的视频增强系统也不必包括图6所示的所有模块。例如，与根据本发明上述实施例的视频增强方法对应，根据本发明的另一个实施例，本发明的视频增强系统可仅仅包括感兴趣对象检测模块610、显著度计算模块620、显著度自适应时域滤波模块630和输出模块660；而根据本发明的再一个实施例，本发明的视频增强系统可仅仅包括感兴趣对象检测模块610、显著度计算模块620、显著度自适应曝光修正模块640和输出模块660。 

与上述方法类似，所述系统还可进一步包括其它模块，而且各模块还可进一步包括更精细的模块。例如，显著度计算模块620可进一步包括：图像获取模块626，用于从所述视频中获取每帧图像，将其转换到合适的颜色空间，然后得到其亮度图像；感兴趣对象显著度值计算模块621，用于计算每帧图像中感兴趣对象的像素的显著度值；背景区域显著度值计算模块622， 用于计算每帧图像中背景区域中的像素的显著度值；图像显著度图计算模块623，用于合并所述感兴趣对象和所述背景区域的像素的显著度值，得到当前帧图像的显著度图，并且存储该显著度图到历史显著度图库；显著度图更新模块624，用于综合考虑历史显著度图库中的历史显著度图和当前帧的显著度图，更新当前帧的显著度图；以及显著度图输出模块627，用于输出计算的每帧图像的显著度图。 

需要指出的是，上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。 

Claims (20)

1.一种视频增强方法，包括：

在视频中检测感兴趣对象；

计算所述视频中每帧图像的显著度图；

构建亮度和显著度自适应的时域滤波器过滤所述视频中的每帧图像以消除噪声；以及

输出增强的视频，

其中所述的计算所述视频中每帧图像的显著度图包括：

从所述视频中获取每帧图像，将其转换到合适的颜色空间，然后得到其亮度图像；

计算每帧图像中感兴趣对象的像素的显著度值；

计算每帧图像中背景区域中的像素的显著度值；

合并所述感兴趣对象和所述背景区域的像素的显著度值，得到当前帧图像的显著度图，并且存储该显著度图到历史显著度图库；

综合考虑历史显著度图库中的历史显著度图和当前帧的显著度图，更新当前帧的显著度图；以及

输出计算的每帧图像的显著度图。

2.根据权利要求1所述的视频增强方法，还包括：对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度。

3.根据权利要求2所述的视频增强方法，还包括：在进行曝光修正后，计算所述视频中每帧图像的亮度的局部变化，对所述每帧图像进行显著度自适应的局部对比度增强。

4.根据权利要求1至3的任何一个所述的视频增强方法，其中所述的构建亮度和显著度自适应的时域滤波器包括：

采用中值滤波器，基于感兴趣对象和运动像素不宜过分平滑以及低亮度下噪声出现的概率升高的原则，根据每个像素的显著度值和亮度值计算中值滤波器的权值；以及

使用中值滤波器处理所述视频的每帧图像，即，基于中值滤波器的权值，计算中值滤波后每个像素的亮度值和滤波前每个像素的亮度值的加权和，得到该图像的中值滤波器处理后的平滑结果。

5.根据权利要求2或3所述的视频增强方法，其中所述的显著度自适应的曝光修正包括：

基于所述视频的每帧图像的显著度图，根据曝光密度函数计算理想曝光和实际曝光的差值；以及

对于所述视频的每帧图像的每个像素，基于计算得到的差值进行重新曝光计算，

其中在重新曝光计算中使用双对比度控制参数增强对比度。

6.根据权利要求3所述的视频增强方法，其中所述的显著度自适应的局部对比度增强包括：

从所述视频的每帧图像中获取单个通道的图像；

计算所述单个通道的图像的平均图像；

基于所述显著度图过滤所述单个通道的图像中的每个像素，选择需要进行局部对比度增强处理的像素；

基于所有选择的像素，计算局部变化图像并且计算增强的局部变化图像；以及

合并增强的局部变化图像和平均图像，并且通过线性比例拉伸得到所述单个通道的图像的增强图像，然后通过复合输出增强的视频图像。

7.一种视频增强方法，包括：

在视频中检测感兴趣对象；

计算所述视频中每帧图像的显著度图；

对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度；以及

输出增强的视频，

其中所述的计算所述视频中每帧图像的显著度图包括：

从所述视频中获取每帧图像，将其转换到合适的颜色空间，然后得到其亮度图像；

计算每帧图像中感兴趣对象的像素的显著度值；

计算每帧图像中背景区域中的像素的显著度值；

合并所述感兴趣对象和所述背景区域的像素的显著度值，得到当前帧图像的显著度图，并且存储该显著度图到历史显著度图库；

综合考虑历史显著度图库中的历史显著度图和当前帧的显著度图，更新当前帧的显著度图；以及

输出计算的每帧图像的显著度图。。

8.根据权利要求7所述的视频增强方法，还包括：在进行曝光修正后，计算所述视频中每帧图像的亮度的局部变化，对所述每帧图像进行显著度自适应的局部对比度增强。

9.根据权利要求7或8所述的视频增强方法，其中所述的显著度自适应的曝光修正包括：

基于所述视频的每帧图像的显著度图，根据曝光密度函数计算理想曝光和实际曝光的差值；以及

对于所述视频的每帧图像的每个像素，基于计算得到的差值进行重新曝光计算，

其中在重新曝光计算中使用双对比度控制参数增强对比度。

10.根据权利要求8所述的视频增强方法，其中所述的显著度自适应的局部对比度增强包括：

从所述视频的每帧图像中获取单个通道的图像；

计算所述单个通道的图像的平均图像；

基于所述显著度图过滤所述单个通道的图像中的每个像素，选择需要进行局部对比度增强处理的像素；

基于所有选择的像素，计算局部变化图像并且计算增强的局部变化图像；以及

合并增强的局部变化图像和平均图像，并且通过线性比例拉伸得到所述单个通道的图像的增强图像，然后通过复合输出增强的视频图像。

11.一种视频增强系统，包括：

感兴趣对象检测模块，用于在视频中检测感兴趣对象；

显著度计算模块，用于计算所述视频中每帧图像的显著度图；

显著度自适应时域滤波模块，用于构建亮度和显著度自适应的时域滤波器过滤所述视频中的每帧图像以消除噪声；以及

输出模块，用于输出增强的视频，

其中所述显著度计算模块包括：

图像获取模块，用于从所述视频中获取每帧图像，将其转换到合适的颜色空间，然后得到其亮度图像；

感兴趣对象显著度值计算模块，用于计算每帧图像中感兴趣对象的像素的显著度值；

背景区域显著度值计算模块，用于计算每帧图像中背景区域中的像素的显著度值；

图像显著度图计算模块，用于合并所述感兴趣对象和所述背景区域的像素的显著度值，得到当前帧图像的显著度图，并且存储该显著度图到历史显著度图库；

显著度图更新模块，用于综合考虑历史显著度图库中的历史显著度图和当前帧的显著度图，更新当前帧的显著度图；以及

显著度图输出模块，用于输出计算的每帧图像的显著度图。

12.根据权利要求11所述的视频增强系统，还包括：显著度自适应曝光修正模块，用于对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度。

13.根据权利要求12所述的视频增强系统，还包括：显著度自适应局部对比度增强模块，用于在进行曝光修正后，计算所述视频中每帧图像的亮度的局部变化，对所述每帧图像进行显著度自适应的局部对比度增强。

14.根据权利要求11至13的任何一个所述的视频增强系统，其中所述显著度自适应时域滤波模块包括：

用于采用中值滤波器、基于感兴趣对象和运动像素不宜过分平滑以及低亮度下噪声出现的概率升高的原则、根据每个像素的显著度值和亮度值计算中值滤波器的权值的模块；

用于使用中值滤波器处理所述视频的每帧图像的模块，其基于中值滤波器的权值，计算中值滤波后每个像素的亮度值和滤波前每个像素的亮度值的加权和，得到该图像的中值滤波器处理后的平滑结果。

15.根据权利要求12或13所述的视频增强系统，其中所述显著度自适应曝光修正模块包括：

用于基于所述视频的每帧图像的显著度图、根据曝光密度函数计算理想曝光和实际曝光的差值的模块；以及

用于对于所述视频的每帧图像的每个像素、基于计算得到的差值进行重新曝光计算的模块，

其中在重新曝光计算中使用双对比度控制参数增强对比度。

16.根据权利要求13所述的视频增强系统，其中所述的显著度自适应局部对比度增强模块包括：

用于从所述视频的每帧图像中获取单个通道的图像的模块；

用于计算所述单个通道的图像的平均图像的模块；

用于基于所述显著度图过滤所述单个通道的图像中的每个像素、选择需要进行局部对比度增强处理的像素的模块；

用于基于所有选择的像素、计算局部变化图像并且计算增强的局部变化图像的模块；以及

用于合并增强的局部变化图像和平均图像的模块，其还通过线性比例拉伸得到所述单个通道的图像的增强图像，然后通过复合输出增强的视频图像。

17.一种视频增强系统，包括：

感兴趣对象检测模块，用于在视频中检测感兴趣对象；

显著度计算模块，用于计算所述视频中每帧图像的显著度图；

显著度自适应曝光修正模块，用于对所述视频中的每帧图像进行显著度自适应的曝光修正，提升所述视频的亮度和对比度；以及

输出模块，用于输出增强的视频，

其中所述显著度计算模块包括：

图像获取模块，用于从所述视频中获取每帧图像，将其转换到合适的颜色空间，然后得到其亮度图像；

感兴趣对象显著度值计算模块，用于计算每帧图像中感兴趣对象的像素的显著度值；

背景区域显著度值计算模块，用于计算每帧图像中背景区域中的像素的显著度值；

图像显著度图计算模块，用于合并所述感兴趣对象和所述背景区域的像素的显著度值，得到当前帧图像的显著度图，并且存储该显著度图到历史显著度图库；

显著度图更新模块，用于综合考虑历史显著度图库中的历史显著度图和当前帧的显著度图，更新当前帧的显著度图；以及

显著度图输出模块，用于输出计算的每帧图像的显著度图。

18.根据权利要求17所述的视频增强系统，还包括：显著度自适应局部对比度增强模块，用于在进行曝光修正后，计算所述视频中每帧图像的亮度的局部变化，对所述每帧图像进行显著度自适应的局部对比度增强。

19.根据权利要求17或18所述的视频增强系统，其中所述显著度自适应曝光修正模块包括：

用于基于所述视频的每帧图像的显著度图、根据曝光密度函数计算理想曝光和实际曝光的差值的模块；以及

用于对于所述视频的每帧图像的每个像素、基于计算得到的差值进行重新曝光计算的模块，

其中在重新曝光计算中使用双对比度控制参数增强对比度。

20.根据权利要求18所述的视频增强系统，其中所述的显著度自适应局部对比度增强模块包括：

用于从所述视频的每帧图像中获取单个通道的图像的模块；

用于计算所述单个通道的图像的平均图像的模块；

用于基于所述显著度图过滤所述单个通道的图像中的每个像素、选择需要进行局部对比度增强处理的像素的模块；

用于基于所有选择的像素、计算局部变化图像并且计算增强的局部变化图像的模块；以及

用于合并增强的局部变化图像和平均图像的模块，其还通过线性比例拉伸得到所述单个通道的图像的增强图像，然后通过复合输出增强的视频图像。