CN105550999A - 一种基于背景复用的视频图像增强处理方法 - Google Patents

Abstract

本发明提出了一种基于背景复用的视频图像增强处理方法，通过观察、比较得知在固定摄像头拍摄的视频中，一般背景具有不变性，根据这一特性进行背景复用，本发明先用帧间差分算法将视频中的运动目标识别出来，通过不断的与阈值比较找出运动目标的最小坐标和最大坐标，标记出运动目标矩形框。之后利用简化的连续帧差法进行背景提取和刷新。再利用暗原色先验法分别对运动目标和背景去雾，运动目标为逐帧去雾，而背景只需要定时处理，再将去雾后的背景和运动目标合并，完成视频的去雾，本方优点在于在固定背景的视频中能大大提高运算速度，实现高质量的视频去雾效果。

Description

一种基于背景复用的视频图像增强处理方法

技术领域

本发明属于图像处理技术领域，涉及一种图像增强处理方法，尤其是一种基于背景复用的视频图像增强处理方法。

背景技术

视频图像已成为当今获取信息的主要途径和手段了，也是最直观最客观最有效的了解事物的方法。获得视频图像的方法有很多种，如照相机，摄像机，监控摄像头，手机等摄影设备，制作视频图像的软件也形形色色，有会声会影，数码大师，Effects等。视频图像的质量直接决定了后续的判别，分析，识别，计算等工作，所以在对视频图像判别分析计算前，对通过摄像设备直接拍取的视频图像进行加工操作以提高视频图像质量是必不可少的，这也是就是广义上说的图像处理。

对视频进行去雾操作就是图像处理的一种。通过运用科学的方法去除视频图像中雾对于图像的干扰，以便得到更好的视觉效果，并且为之后的识别计算等工作，提供了保障。图像去雾技术具有很强的实用性同时具有广泛的应用价值，已变成了专家学者们的热门研究对象。虽然图像去雾技术的历史只有短短的二十多年，但是已经有了较好的成效，现今也不断的涌现出新的方法，但是多少都存在一些局限性、运行速度慢等，有一定的弊端。因为图像去雾技术横跨物理学，大气学，数学，探测学等多门学科同时因为天气条件的不确定性与复杂性，使得去雾的研究变的困难。

对雾天图像的处理已基本成熟而且不断的有完善，但现今在视频图像去雾这一领域，研究依然很少。本文的研究重点在于通过背景的复用提高视频图像的去雾速度。难点在于如何高效的进行背景复用，以及对运动物体的精确提取。提高对视频的去雾速度，达到对视频的时时处理，对于交通监控视频，探测系统等都有着重大意义。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种基于背景复用的视频图像增强处理方法。

本方法利用视频中在很短时间内各帧图像的背景的相对不变性，对于背景相对不变的各帧图像，只处理一帧图像的背景区域并保存处理结果，然后逐帧处理运动目标的区域，最后把处理后的背景区域与每一帧处理后的运动目标区域进行合并，复用背景增强处理的结果，从而可以显著降低视频图像增强处理的运算量。

本发明的目的是通过以下技术方案来实现的：

这种基于背景复用的视频图像增强处理方法，包括以下步骤：

1)读入视频数据，做去噪等预处理操作；

2)然后利用帧间差分算法，进行背景和前景的分离，提取出背景区域和运动目标；

3)利用图像增强方法对开始帧图像的背景区域和运动目标区域进行图像增强处理，并保存背景区域增强处理后的结果；

4)此后提取每一帧图像的运动目标区域并进行图像增强处理，最后把处理后的结果与保存的背景区域增强处理后的结果进行合并，得到背景复用的增强处理后的视频图像；

5)背景区域每隔一段时间会更新一次，并且对更新后的背景进行增强处理，然后再与其后的各帧的运动目标区域增强处理后的结果合并，得到背景复用的增强处理后的视频图像。

进一步，以上步骤2)中，所述帧间差分算法具体按照以下步骤进行：

(1)输入所需处理的视频，计算得出视频帧数；

(2)将彩色视频图像序列变化为灰度图像；

(3)灰度化后的图像前后两帧做差，将做差结果二值化；

(4)二值化的结果与阈值进行比较，标记出运动目标；

(5)还原出彩色图像。

上述帧间差分算法中，将彩色视频图像变换为灰度图像的公式如下：

Y＝0.212671×R+0.715160×G+0.07216×B

(2-1)

式(2-1)中：Y为灰度值，R、G、B分别表示为彩色视频图像的三个通道；

由于彩色视频图像为三维矩阵，因而按照下式将彩色视频图像转为灰度图像二维矩阵(x,y)以便于做差：

$(2-2)$

公式(2-2)中(x,y)为像素坐标，D_L为(x,y)像素坐标点上二值化后的灰度值；T为阈值，阈值的选取是基于反复实验以及经验得出，由于每帧图像光照的不同，以及成像系统的随机误差，阈值的选取不可为0，阈值对于帧间差分法的效果有着直接的影响，所以需要经过多次反复试验比较结果得出。

本发明具有以下有益效果：

本发明基于背景复用的视频图像增强处理方法在背景分离过程中，用帧间差分算法，将图像灰度化后二值化，再两者做差与阈值比较，找出运动目标。在实现背景复用的过程中，通过找到运动目标的四点坐标，利用简化的连续帧差法完成背景的提取，更新以及运动目标与背景的叠加工作。在去雾过程中，通过改进暗原色先验理论对图像进行去雾，通过大气退化模型，估计出大气光成分A和透射率t。在细化透射率的过程中这里采用了灰度图引导滤波，同时将窗口大小改为33，对大气光成分A的估计采用暗原色求最大值，然后对估计值过大时做修正，通过这些改进使得去雾效果更快更好。

本发明的方法通过现有去雾算法与基于背景复用的视频去雾算法进行运行时间，算法的复杂度以及运行效果的比较。得出用背影复用算法去雾能大大减少去雾时间，提高效率。

附图说明

图1为本发明发明的流程框图。

具体实施方式

参见图1：本发明提出一种基于背景复用的视频图像增强处理方法，包括以下步骤：

1)读入视频数据，做去噪等预处理操作；

2)然后利用帧间差分算法，进行背景和前景的分离，提取出背景区域和运动目标；所述帧间差分算法具体按照以下步骤进行：

(1)输入所需处理的视频，计算得出视频帧数；

(2)将彩色视频图像序列变化为灰度图像；

(3)灰度化后的图像前后两帧做差，将做差结果二值化；

(4)二值化的结果与阈值进行比较，标记出运动目标；

(5)还原出彩色图像。

所述帧间差分算法中，将彩色视频图像变换为灰度图像的公式如下：

Y＝0.212671×R+0.715160×G+0.07216×B

(2-1)

式(2-1)中：Y为灰度值，R、G、B分别表示为彩色视频图像的三个通道；

由于彩色视频图像为三维矩阵，因而按照下式将彩色视频图像转为灰度图像二维矩阵(x,y)以便于做差：

公式(2-2)中(x,y)为像素坐标，D_L为(x,y)像素坐标点上二值化后的灰度值；T为阈值，阈值的选取是基于反复实验以及经验得出，由于每帧图像光照的不同，以及成像系统的随机误差，阈值的选取不可为0，阈值对于帧间差分法的效果有着直接的影响，所以需要经过多次反复试验比较结果得出。

3)利用图像增强方法对开始帧图像的背景区域和运动目标区域进行图像增强处理，并保存背景区域增强处理后的结果；

4)此后提取每一帧图像的运动目标区域并进行图像增强处理，最后把处理后的结果与保存的背景区域增强处理后的结果进行合并，得到背景复用的增强处理后的视频图像；

5)背景区域每隔一段时间会更新一次，并且对更新后的背景进行增强处理，然后再与其后的各帧的运动目标区域增强处理后的结果合并，得到背景复用的增强处理后的视频图像。

以下对本发明进行详细的描述：

图像去雾算法综述

对一张图像的去雾算法近两年已较为成熟。图像去雾的方法，大体上可以分为基于雾天图像处理的增强法^[5]和基于物理模型的雾天图像复原法两大类。

基于图像增强的方法实际上并没有去雾，因此不需要图像退化模型，只需要按照需求，突出感兴趣的那部分成分然后将那些不需要的图像信息删除即可，使视觉上满足人类视觉特性就可以，以直方图均衡化和基于Retinex理论去雾为例。直方图均衡化是以概率理论作为基础，将已知图像灰度化转化为均衡直方图，也就是在每个灰度级上都有相同的像素点，从而实现图像增强。该算法能有效的增加细节处的信息，适用于低对比度的图像，但是其运算量较大，局部块效应明显。Retinex是基于颜色值恒定的一种计算理论，它具有颜色不变性和动态范围压缩的特点，也就是将边缘增强，灰度的动态范围压缩以及颜色恒常这三方面达到平衡，对由于光照的原因而引起的对比度度低的彩色图像具有显著的增强效果，但是计算复杂，也会产生光晕现象，同时颜色失真较为严重，会明显偏亮。

基于物理模型的雾天图像方法中实际上是从还原图片角度出发，通过不断的考察和统计，找出图像退化的原因，对大气散射的特点进行分析，建立出物理模型，通过逆运算，从而还原出无雾图像。基于物理模型的去雾算法是从本质上进行了去雾处理，该模型是将一个像素点的色彩和强度看作由雾的大气光产生的色彩和在没雾的天气下大气光产生的色彩的线性组合，一般有基于中值滤波的去雾算法，基于均值滤波的实时去雾算法，暗原色先验去雾算法。

暗原色先验算法原理及改进：

暗原色先验理论是何凯明等人的重要发现，通过一个全新的角度研究去雾这个问题，发现的图像特性使去雾技术走上了一个新的发展道路。在2009年一经发布，便引起了社会的广泛关注。

暗原色先验是在户外没有雾的情况下，得出的一种统计规律。以前的去雾算法，大家都关注在于如何能高效的增强图像的对比度，而何凯明提出的算法是着眼于研究无雾图像中存在的规律。通过大量收集在无雾的图像中发现任何一个局部都有存在有最少一个像素，它的某几个颜色通道强度值接近于零，这些颜色通道即称之为暗原色。在雾天的图像中发现，大气中的白光把这些暗像素的强度值充斥变高。暗原色先验理论也就是基于图像阴影的物体如生活中的玻璃阴影；色彩亮丽的物体如绿色植物，鲜艳的花朵；亮度较低的物体如石头；黑色物体或物体的投影如阳光照射下的树荫，这些存在着有暗原色。暗原色的求取有三种方法，分别为方形结构元素的灰度腐蚀，最小值滤波和排序滤波，前两种效率较高，最后一种效率低。暗原色先验去雾的优点在于去雾效果比较好并且可以得到景物深度图，同时不需要额外的信息辅助去雾也不用人工的参与可以自动去雾。但是缺点在于处理时间较长，效率不高。所以在暗原色去雾算法中进行了改进。在何凯文介绍的是用软抠图方法细化透过率，这里改进为引导图像滤波。在求取暗原色的窗口大小这里选择自适应，同时对大气光成分A的估计采用暗原色求最大值，然后对估计值过大时做修正，并且这里为了改进运行速度用灰度图作引导滤波，而不是用彩色图作引导滤波，因为灰度图只有二维，而彩色图有RGB三个通道。软抠图算法涉及了大规模稀疏矩阵的求解，使得本来就复杂的去雾公式变得更为繁琐，大大影响了图像去雾的速度，而采用引导滤波不仅能大大提高运行效率，而且可以获得引导图像上的细节信息。引导滤波其实是一种平滑处理的滤波器，它可以实现多个功能如边缘的平滑，细节处的增强，还可以去除图像融合出的噪声。其原理是通过一幅已知的图像作为引导图，对输入的图像进行滤波操作，在输出的图像上保留输入图像原有的特征外还能得出已知作为引导图的细节的变化。它的作用在于搜索出线性因素的最佳答案，让输入和输出图像之间的差的值取最小。对暗原色的窗口大小选择自适应，何凯明文章中提到的窗口大小为15×15，而这里是采用3×3，加快运算速度。这里对大气光成分A的估计采用暗原色求最大值，然后对估计值过大时做修正。

暗原色先验算法公式

I(x)＝J(x)t(x)+A(1-t(x))(2-3)

公式(2-3)就是雾天形成模型，I为输入图像，J为光线强度，A为全球大气光成分，t为透射率，通过估计A和t，得出去雾图J。

t(x)＝e^-βd(x)(2-4)

公式(2-4)为透射率的表达公式，β为大气的散射系数，d为深度，由公式可知景物光线的透射率是随着景物深度成指数衰减的。

公式(2-5)为透射率估计公式，是规格化后的雾天图像的暗原色，它的强度值很低趋近于0。因为存在空间透视现象，所以彻底把雾去除会使图像看起来有明显的处理痕迹同时图像也会丧失深度感，所以公式(2-5)中引入一个常数，保留一部分的雾，的选取取决于雾气的浓度以及大气参数等实际情况而定，经过大量实验得知，一般在雾气浓度较大时的取值也会越大，在雾气浓度较低时的取值也较低。通过这个公式可以大致估算出透射率的值，但是由于透射率并不是始终恒定的，会包含有光环效应和块效应，对于避免这些的产生就需要寻找出景深突变的地方，然后对这些地方进行细致的处理，所以为了要解决这个问题，需要引导滤波对透射率进行细化。

公式(2-6)就是暗原色去雾公式。由估计出的大气光成分A值求出的透射率t值得出复原图J。

暗原色先验算法流程：

1.将输入图像分为33的块。

2.求出局部和全局的暗原色，通过假设的大气光成分A。求出透射率t。

3.利用引导滤波方法细化透射率图。

4.利用暗原色求出大气光成分A。

5.根据公式(2-6)物理模型，求出复原图J。

为了证明本发明的方法的可行性及有效性将基于背景复用的视频图像去雾算法与直接对图像序列进行暗原色先验去雾的算法和Treal算法相比较。

从算法速度上比较，三种算法在东芝电脑L600-35R上的Matlab2010a平台上的运行分辨率为360240大小80帧的视频图像平均时间分别为本算法：4.737859秒，暗原色先验算法：162.42704秒，Treal算法：1121.6372秒。三种方法运行分辨率为640480大小50帧的图片所用时间分别为本算法：5.341638秒，暗原色先验算法：180.36802秒，Treal算法：1641.6613秒。并且由三种方法的前三帧比较可看出三种方法对视频的去雾效果此文提出的基于背景复用概念去雾和基于暗原色先验去雾效果差不多都比Treal算法效果显著，还原度更好。而且本发明提出的算法在运行速度上有了显著的提高。

从算法复杂度上比较，基于背景复用的视频去雾算法比利用暗原色直接去雾多了运动目标检测以及背景复用这两个算法。运动目标检测算法利用的是典型的帧间差分算法，运算并不复杂，在背景复用算法这里采用的是简化的连续帧差法，算法也并不复杂。所以算法虽然比暗原色先验去雾算法多了两大块，但是在算法上的难度并没有增加很大。Treal算法复比引导滤波简单，所以也并不复杂。

以上证明出本发明的方法是具有一定的可行性以及通过与基于暗原色去雾的算法比较得出本文提出的新算法确实在运行速度上有了大大的提高。

Claims (3)

1.一种基于背景复用的视频图像增强处理方法，其特征在于，包括以下步骤：

1)读入视频数据，做去噪预处理操作；

2)然后利用帧间差分算法，进行背景和前景的分离，提取出背景区域和运动目标；

3)利用图像增强方法对开始帧图像的背景区域和运动目标区域进行图像增强处理，并保存背景区域增强处理后的结果；

4)此后提取每一帧图像的运动目标区域并进行图像增强处理，最后把处理后的结果与保存的背景区域增强处理后的结果进行合并，得到背景复用的增强处理后的视频图像；

5)背景区域每隔一段时间会更新一次，并且对更新后的背景进行增强处理，然后再与其后的各帧的运动目标区域增强处理后的结果合并，得到背景复用的增强处理后的视频图像。

2.根据权利要求1所述的基于背景复用的视频图像增强处理方法，其特征在于，步骤2)中，所述帧间差分算法具体按照以下步骤进行：

(1)输入所需处理的视频，计算得出视频帧数；

(2)将彩色视频图像序列变化为灰度图像；

(3)灰度化后的图像前后两帧做差，将做差结果二值化；

(4)二值化的结果与阈值进行比较，标记出运动目标；

(5)还原出彩色图像。

3.根据权利要求2所述的基于背景复用的视频图像增强处理方法，其特征在于，所述帧间差分算法中，将彩色视频图像变换为灰度图像的公式如下：

Y＝0.212671×R+0.715160×G+0.07216×B(2-1)

式(2-1)中：Y为灰度值，R、G、B分别表示为彩色视频图像的三个通道；

由于彩色视频图像为三维矩阵，因而按照下式将彩色视频图像转为灰度图像二维矩阵(x,y)以便于做差：

$D_L(x,y)=\left\{\begin{array}{cc}0& |M_{j+1(x,y)}-M_j(x,y)|\&GreaterEqual;T\\ M_{j+1}(x,y)& |M_{j+1(x,y)}-M_j(x,y)|<T\end{array}\right.---(2-2)$

公式(2-2)中(x,y)为像素坐标，D_L为(x,y)像素坐标点上二值化后的灰度值；T为阈值，阈值的选取是基于反复实验以及经验得出，由于每帧图像光照的不同，以及成像系统的随机误差，阈值的选取不可为0，阈值对于帧间差分法的效果有着直接的影响，所以需要经过多次反复试验比较结果得出。