CN102348048A - 一种自适应时空域累积滤波和色调映射的视频增强方法 - Google Patents

Abstract

本发明公开了一种自适应时空域累积滤波和色调映射的视频增强方法。针对低照度视频噪声大、灰度值偏低的问题，提出了一种改进的自适应时空域累积滤波方法。对滤波后的视频，采用一种改进的分段色调映射函数进行亮度调整，改进后的方法对低照度视频增强效果比较明显。本发明不仅兼顾了图像去噪平滑效果、图像清晰程度和算法时间复杂度，而且由于此方法算法简单，不需要繁杂的迭代，用VC可以轻松实现，在视频监控中有较大的推广应用价值。

Description

一种自适应时空域累积滤波和色调映射的视频增强方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种自适应时空域累积滤波和色调映射的视频增强方法。

背景技术

视频监控在获取图像过程中会系统地引入噪声，特别是高斯加性噪声。同时由于低照度视频曝光不足，当客观环境亮度降低时读出噪声会随之增大。因此快速有效地滤除这些噪声，将图像中不易察觉的细节实时呈现出来，对视频监控尤为重要。

Eric P.Bennett基于一种虚拟曝光相机概念模型，首先采用自适应时空域累积滤波方法去噪，然后采用一种色调映射函数进行亮度调整。这种自适应时空域累积滤波方法，在对每一当前帧处理时，充分利用时域上相邻帧的信息，采用一个动态函数进行自适应滤波。并且针对图像中可能存在的散粒噪声，EricP.Bennett提出了一种改进的灰度差计算方法，它在一定程度上克服了散粒噪声的影响。使用上述方法在处理低照度视频时，虽然能自适应滤波，但其具体增强效果不易控制。

发明内容

为克服现有技术的缺陷，本发明提供了一种自适应时空域累积滤波和色调映射的视频增强方法。

针对低照度视频噪声大、灰度值偏低的问题，提出了一种改进的自适应时空域累积滤波方法。对滤波后的视频，采用一种改进的分段色调映射函数进行亮度调整，改进后的方法对低照度视频增强效果比较明显。

一种自适应时空域累积滤波和色调映射的视频增强方法，首先对视频提取出亮度，对亮度进行自适应时空域累积滤波；其次是对视频的色度进行提取，然后通过分段色调映射，最后再将亮度和色度两部分合成。

自适应时空域累积滤波的操作过程如下：

自适应时空域累积滤波方法是基于经典的双边滤波而设计的，对当前像素点s，计算双边滤波中的亮度相似度因子g2的灰度差D(p，s)，表示为：

这里的标准差σ_e可根据不同的噪声程度取值；

视频在滤波前，先定义了一个带有增益因子λ的全局阈值ω＝λ*(g(0，σ_h)*g(0，σ_i))，这里的因子g(0，σ_h)*g(0，σ_i)可以看做是对一个像素点的定义，ω用以决定所需像素点的数量。接着对当前像素点(x，y，t)分别在时间域、空间域上进行双边滤波；

设t为当前待处理帧，(x，y，t)表示第t帧中的某一像素点，F0为点(x，y，t)的灰度值；改进后的算法流程如下：

Step1：计算当前帧t的均值E(t)、标准差STD(t)，并定义一个阈值λ，记作：λ＝(E(t)-STD(t)/n₁)*n₂；

Step2：对像素点(x，y，t)，分别在时间域、空间域上作双边滤波，所得结果分别记为：FTB、FSB；并求出其时间域上亮度的最大值，记为：FMAX；

如果像素点(x，y，t)在时间域上亮度的最大值满足FMAX＜λ，可认为当前点曝光程度非常低；在低照度视频中，曝光程度较低的局部小区域，往往像素值为0或者接近0；因此将时间域上当前亮度最大值FMAX加权计入时间域滤波结果；新的时间域滤波结果更新为FTB＝(FMAX*FTB+(λ-FMAX)*FMAX)/λ；

Step3：求出像素点(x，y，t)在时间域上相邻的前、后几帧的均值，所得结果分别记为：FA1、FA2；并定义点(x，y，t)在时间域上的相似度s，记为s＝|FA1-F0|+|FA2-F0|；

若当前点或其邻域为散粒噪声，则s值都会较大，说明当前像素点与其邻域相似度较小，从而为判别散粒噪声提供了一种简单有效的方法；

Step4：对每一像素点(x，y，t)，滤波后的结果为：

$\mathrm{ASTA}(x,y,t,k_1,k_2)=$

$\left\{\begin{array}{cc}\mathrm{FTB}& s<m_1\mathrm{\&lambda;}\\ (k_2*\mathrm{FSB}+(k_1-k_2)*\mathrm{FTB})/k_1& m_1\mathrm{\&lambda;}\&le;s\&le;m_2\mathrm{\&lambda;}\\ \mathrm{FSB}& s\&GreaterEqual;m_2\mathrm{\&lambda;}\end{array}\right.$

其中：k₁＝m₂λ，k₂＝s-m₁λ，m₁，m₂∈[0，1]，其值可根据当前视频照度情况进行设置；

当s较小，则说明相似度大，时间域滤波结果接近真实值的可能性较大，则只采用时间域滤波结果；当s较大，则说明相似度小，时间域滤波结果的置信度非常小转而采用空间域滤波结果；否则，结果为两者的线性组合。

Step1中λ近似反映当前帧照度情况，并且由经验知，参数n₁取4、n₂取1.2。

Step4中根据经验取值，m₁、m₂分别取0.2、0.4。

色调映射方法的过程如下：

由于滤波后的视频灰度值仍然偏低，所以采用一种色调映射函数为

$m(x,\mathrm{\&Psi;})=\frac{\log (\frac{x}{x_{\max }}(\mathrm{\&Psi;}-1)+1)}{\log \left(\mathrm{\&Psi;}\right)}$

其中xmax为输入亮度的极大值，参数控制着曲线衰减外形；它与传统伽马函数相比，在亮度值较低的原点附近，拉伸效果比较明显而不会导致图像阴影区域的细节严重丢失。

在低照度环境，既存在曝光不足的区域也存在曝光过度的区域，同时它们的直方图峰值都近似接近于原点；这时需要针对像素值集中的区域进行拉伸以提高对比度，得到分段色调映射函数为：

$m(x,\mathrm{\&Psi;})=$

$\left\{\begin{array}{cc}{x}_0-x_0\frac{\log (\frac{x_0-x}{x_0-x_{\min }}(\mathrm{\&Psi;}-1)+1)}{\log \left(\mathrm{\&Psi;}\right)},& x<x_0\\ x_0+(255-x_0)\frac{\log (\frac{x-x_0}{x_{\max }-x_0}(\mathrm{\&Psi;}-1)+1)}{\log \left(\mathrm{\&Psi;}\right)},& x\&GreaterEqual;x_0\end{array}\right.$

其中xmax、xmin分别为输入亮度的最大、最小值；x₀是当前帧的直方图峰值对应的横坐标。对灰度值比较集中的区域，即处于x₀两侧的灰度值拉伸比较明显。

本发明技术方案带来的有益效果：本发明不仅兼顾了图像去噪平滑效果、图像清晰程度和算法时间复杂度，而且由于此方法算法简单，不需要繁杂的迭代，用VC可以轻松实现，在视频监控中有较大的推广应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明的视频处理过程流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对低照度视频噪声大、灰度值偏低的问题，提出了一种基于自适应时空域累积滤波和色调映射的视频增强方法，对滤波后的视频，采用一种改进的分段色调映射函数进行亮度调整，改进后的方法对低照度视频增强效果比较明显。

本发明主要分为两个部分，第一部分是对视频提取出亮度，对亮度进行自适应时空域累积滤波；第二部分是对视频的色度进行提取，然后通过分段色调映射，最后再将亮度和色度两部分合成。流程图如图1所示：

其中，自适应时空域累积滤波的操作过程如下：

自适应时空域累积滤波方法是基于经典的双边滤波而设计的。对当前像素点s，计算双边滤波中的亮度相似度因子g2的灰度差D(p，s)，表示为：

这里的标准差σ_e可根据不同的噪声程度取值。

视频在滤波前，先定义了一个带有增益因子λ的全局阈值ω＝λ*(g(0，σ_h)*g(0，σ_i))，这里的因子g(0，σ_h)*g(0，σ_i)可以看做是对一个像素点的定义，ω用以决定所需像素点的数量。接着对当前像素点(x，y，t)分别在时间域、空间域上进行双边滤波。

设t为当前待处理帧，(x，y，t)表示第t帧中的某一像素点，F0为点(x，y，t)的灰度值。改进后的算法流程如下：

Step1：计算当前帧t的均值E(t)、标准差STD(t)，并定义一个阈值λ，记作：λ＝(E(t)-STD(t)/n₁)*n₂。λ近似反映当前帧照度情况，并且由经验知，参数n₁取4、n₂取1.2比较合适。

这种改进后的阈值受当前帧噪声水平影响，因此能够自适应地刻画不同场景下当前帧的曝光程度，从而避免了在处理整个视频时采用一个固定的阈值。

Step2：对像素点(x，y，t)，分别在时间域、空间域上作双边滤波，所得结果分别记为：FTB、FSB。并求出其时间域上亮度的最大值，记为：FMAX。

如果像素点(x，y，t)在时间域上亮度的最大值满足FMAX＜λ，可认为当前点曝光程度非常低。在低照度视频中，曝光程度较低的局部小区域，往往像素值为0或者接近0。因此将时间域上当前亮度最大值FMAX加权计入时间域滤波结果。新的时间域滤波结果更新为FTB＝(FMAX*FTB+(λ-FMAX)*FMAX)/λ。

这种改进后的时间域滤波结果，对于灰度值较低的当前像素点(x，y，t)有一定的改善，起到曝光补偿的作用。

Step3：求出像素点(x，y，t)在时间域上相邻的前、后几帧的均值，所得结果分别记为：FA1、FA2。并定义点(x，y，t)在时间域上的相似度s，记为s＝|FA1-F0|+|FA2-F0|

若当前点或其邻域为散粒噪声，则s值都会较大，说明当前像素点与其邻域相似度较小，从而为判别散粒噪声提供了一种简单有效的方法。

Step4：对每一像素点(x，y，t)，滤波后的结果为：

$\mathrm{ASTA}(x,y,t,k_1,k_2)=$

$\left\{\begin{array}{cc}\mathrm{FTB}& s<m_1\mathrm{\&lambda;}\\ (k_2*\mathrm{FSB}+(k_1-k_2)*\mathrm{FTB})/k_1& m_1\mathrm{\&lambda;}\&le;s\&le;m_2\mathrm{\&lambda;}\\ \mathrm{FSB}& s\&GreaterEqual;m_2\mathrm{\&lambda;}\end{array}\right.$

其中：k₁＝m₂λ，k₂＝s-m₁λ，m₁，m₂∈[0，1]，其值可根据当前视频照度情况进行设置。经验取值中，m₁、m₂分别取0.2、0.4。

当s较小，则说明相似度大，时间域滤波结果接近真实值的可能性较大，则只采用时间域滤波结果；当s较大，则说明相似度小，时间域滤波结果的置信度非常小转而采用空间域滤波结果；否则，结果为两者的线性组合。

第二部分，低动态范围色调映射方法的过程如下：

由于滤波后的视频灰度值仍然偏低，所以采用一种色调映射函数为

$m(x,\mathrm{\&Psi;})=\frac{\log (\frac{x}{x_{\max }}(\mathrm{\&Psi;}-1)+1)}{\log \left(\mathrm{\&Psi;}\right)}.$

其中xmax为输入亮度的极大值，参数控制着曲线衰减外形。它与传统伽马函数相比，在亮度值较低的原点附近，拉伸效果比较明显而不会导致图像阴影区域的细节严重丢失。

但是通过分析一些低照度视频直方图，发现直方图峰值大都集中在原点附近。因此采用上面的色调映射函数虽然兼顾了局部灰度值偏低的像素点，但是拉伸后整体对比度不够明显。

在一些实际应用场景，比如停车场、舞台等低照度环境，既存在曝光不足的区域也存在曝光过度的区域，同时它们的直方图峰值都近似接近于原点。这时需要针对像素值集中的区域进行拉伸以提高对比度，可以得到分段色调映射函数为

$m(x,\mathrm{\&Psi;})=$

$\left\{\begin{array}{cc}{x}_0-x_0\frac{\log (\frac{x_0-x}{x_0-x_{\min }}(\mathrm{\&Psi;}-1)+1)}{\log \left(\mathrm{\&Psi;}\right)},& x<x_0\\ x_0+(255-x_0)\frac{\log (\frac{x-x_0}{x_{\max }-x_0}(\mathrm{\&Psi;}-1)+1)}{\log \left(\mathrm{\&Psi;}\right)},& x\&GreaterEqual;x_0\end{array}\right.$

其中xmax、xmin分别为输入亮度的最大、最小值；x₀是当前帧的直方图峰值对应的横坐标。对灰度值比较集中的区域，即处于x₀两侧的灰度值拉伸比较明显。

本发明技术方案带来的有益效果：本发明不仅兼顾了图像去噪平滑效果、图像清晰程度和算法时间复杂度，而且由于此方法算法简单，不需要繁杂的迭代，用VC可以轻松实现，在视频监控中有较大的推广应用价值。

以上对本发明实施例所提供的一种自适应时空域累积滤波和色调映射的视频增强方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种自适应时空域累积滤波和色调映射的视频增强方法，其特征在于，首先对视频提取出亮度，对亮度进行自适应时空域累积滤波；其次是对视频的色度进行提取，然后通过分段色调映射，最后再将亮度和色度两部分合成。

2.如权利要求1所述的方法，其特征在于，自适应时空域累积滤波的操作过程如下：

自适应时空域累积滤波方法是基于经典的双边滤波而设计的，对当前像素点s，计算双边滤波中的亮度相似度因子g2的灰度差D(p，s)，表示为：

这里的标准差σ_e可根据不同的噪声程度取值；

视频在滤波前，先定义了一个带有增益因子λ的全局阈值ω＝λ*(g(0，σ_h)*g(0，σ_i))，这里的因子g(0，σ_h)*g(0，σ_i)可以看做是对一个像素点的定义，ω用以决定所需像素点的数量。接着对当前像素点(x，y，t)分别在时间域、空间域上进行双边滤波；

设t为当前待处理帧，(x，y，t)表示第t帧中的某一像素点，F0为点(x，y，t)的灰度值；改进后的算法流程如下：

Step1：计算当前帧t的均值E(t)、标准差STD(t)，并定义一个阈值λ，记作：λ＝(E(t)-STD(t)/n₁)*n₂；

Step2：对像素点(x，y，t)，分别在时间域、空间域上作双边滤波，所得结果分别记为：FTB、FSB；并求出其时间域上亮度的最大值，记为：FMAX；

如果像素点(x，y，t)在时间域上亮度的最大值满足FMAX＜λ，可认为当前点曝光程度非常低；在低照度视频中，曝光程度较低的局部小区域，往往像素值为0或者接近0；因此将时间域上当前亮度最大值FMAX加权计入时间域滤波结果；新的时间域滤波结果更新为FTB＝(FMAX*FTB+(λ-FMAX)*FMAX)/λ；

Step3：求出像素点(x，y，t)在时间域上相邻的前、后几帧的均值，所得结果分别记为：FA1、FA2；并定义点(x，y，t)在时间域上的相似度s，记为s＝|FA1-F0|+|FA2-F0|；

若当前点或其邻域为散粒噪声，则s值都会较大，说明当前像素点与其邻域相似度较小，从而为判别散粒噪声提供了一种简单有效的方法；

Step4：对每一像素点(x，y，t)，滤波后的结果为：

$\mathrm{ASTA}(x,y,t,k_1,k_2)=$

$\left\{\begin{array}{cc}\mathrm{FTB}& s<m_1\mathrm{\&lambda;}\\ (k_2*\mathrm{FSB}+(k_1-k_2)*\mathrm{FTB})/k_1& m_1\mathrm{\&lambda;}\&le;s\&le;m_2\mathrm{\&lambda;}\\ \mathrm{FSB}& s\&GreaterEqual;m_2\mathrm{\&lambda;}\end{array}\right.$

其中：k₁＝m₂λ，k₂＝s-m₁λ，m₁，m₂∈[0，1]，其值可根据当前视频照度情况进行设置；

当s较小，则说明相似度大，时间域滤波结果接近真实值的可能性较大，则只采用时间域滤波结果；当s较大，则说明相似度小，时间域滤波结果的置信度非常小转而采用空间域滤波结果；否则，结果为两者的线性组合。

3.如权利要求2所述的方法，其特征在于，Step1中λ近似反映当前帧照度情况，并且由经验知，参数n₁取4、n₂取1.2。

4.如权利要求2所述的方法，其特征在于，Step4中根据经验取值，m₁、m₂分别取0.2、0.4。

5.如权利要求1所述的方法，其特征在于，色调映射方法的过程如下：

由于滤波后的视频灰度值仍然偏低，所以采用一种色调映射函数为

$m(x,\mathrm{\&Psi;})=\frac{\log (\frac{x}{x_{\max }}(\mathrm{\&Psi;}-1)+1)}{\log \left(\mathrm{\&Psi;}\right)}$

其中xmax为输入亮度的极大值，参数控制着曲线衰减外形；它与传统伽马函数相比，在亮度值较低的原点附近，拉伸效果比较明显而不会导致图像阴影区域的细节严重丢失。

6.如权利要求1或5所述的方法，其特征在于，在低照度环境，既存在曝光不足的区域也存在曝光过度的区域，同时它们的直方图峰值都近似接近于原点；这时需要针对像素值集中的区域进行拉伸以提高对比度，得到分段色调映射函数为：

$m(x,\mathrm{\&Psi;})=$

$\left\{\begin{array}{cc}{x}_0-x_0\frac{\log (\frac{x_0-x}{x_0-x_{\min }}(\mathrm{\&Psi;}-1)+1)}{\log \left(\mathrm{\&Psi;}\right)},& x<x_0\\ x_0+(255-x_0)\frac{\log (\frac{x-x_0}{x_{\max }-x_0}(\mathrm{\&Psi;}-1)+1)}{\log \left(\mathrm{\&Psi;}\right)},& x\&GreaterEqual;x_0\end{array}\right.$

其中xmax、xmin分别为输入亮度的最大、最小值；x₀是当前帧的直方图峰值对应的横坐标；对灰度值比较集中的区域，即处于x₀两侧的灰度值拉伸比较明显。

Images