CN107644431A - 一种低照度情况下视频监控的有效浓缩方法 - Google Patents

Abstract

本发明提供一种低照度情况下监控视频的有效浓缩方法，主要包括以下部分：对视频图像实施反转操作，将低暗的背景转化为类似雾天的场景；构建大气散射模型，根据暗通道理论和导向滤波求取并优化透射率；设计一种基于哈希值的选择策略，判断是否需要重新计算透射率，以提高处理速度；进行去雾处理和反转操作，重构出增强后的低照度图像；利用Vibe算法，进行背景建模并提取前景物体；根据前景物体占整幅图像的比例，判断是否有运动物体，保留并组合有运动物体的图像帧，生成浓缩视频。本发明的优点在于，利用哈希值判据，设计了一种透射率计算的选择策略，提出了一种基于导向滤波图像去雾算法的低照度图像增强方法，有效提高了视频浓缩的鲁棒性和准确率。

Description

一种低照度情况下视频监控的有效浓缩方法

技术领域

本发明涉及模式识别、图像处理领域，尤其涉及一种低照度情况下视频监控的有效浓缩方法。

技术背景

城市公共场所往往有成千上万路监控摄像头遍布街头，昼夜不停地监视和录像，在改善社会治安的同时，也产生出海量的视频需要监控管理平台处理。要对这些海量视频通过人工进行重点图像的抓拍，困难很大。首先，需要对所有的视频录像进行诸秒浏览，才能发现重点图像，这无疑工作量巨大，甚至犹如大海捞针。其次，即使找到了重点图像，人工抓拍，并且要记录下对应的原始视频图像的时间点等，也是工作量很大，效率很低。由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。

理想情况是一旦有重要事件发生，系统就可在事后能快速查找到线索。针对上述海量监控视频录像的事后分析，传统以人海战术为主的视频线索查找，显然不能满足高效查找，正面临巨大挑战，急需一种更为高效的、自动的、智能的系统实现上述需求。目前，视频浓缩摘要技术和视频分类检索技术可以解决这一问题。通过视频浓缩摘要，缩短视频事件的播放时间，通过目标分类筛查等实现快速查找事件线索，缩小查看范围的功能，这些都极大地减轻专业巡控队伍和系统维护人员的工作负荷，这些视频分析功能的实现和应用将大大提高监控效率。同时，由于夜晚可见度低，监控录像相对模糊，增加了视频浓缩的技术难度，严重影响浓缩的准确率，所以浓缩前对监控视频预处理，增强其可见度是一个亟待解决的问题。

发明内容

本发明提供了一种低照度情况下视频监控的有效浓缩方法，采用基于关键帧的视频浓缩。对监控视频提取关键帧的目的是希望通过较少的视频帧表示出相关视频流的主要内容，展示有益信息即人、车等运动物体。算法的难点一个是如何在保留尽量少冗余信息的情况下，描述出监控视频的全部内容；另一个是如何在夜晚可见度低的情况下，捕捉到运动物体。本发明针对夜晚监控视频可见度低提出图像像素反转并结合暗通道去雾的策略增强图像，从而大大提升Vibe算法提取前景的准确率。所述技术方案如下：

一种低照度情况下视频监控的有效浓缩方法，包括以下步骤：

步骤1：对输入监控视频的每一帧图像，进行每个像素点RGB三个通道的像素值反转，将低暗的背景转化为类似雾天的场景；

步骤2：构建大气散射模型，根据暗通道先验理论，初步求出模型的透射率t；

步骤3：用导向滤波对图像进行进一步处理，消除光环效应，求出精准的透射率

步骤4：对视频第2帧以后的各帧图像，根据感知哈希算法判断是否需要重新计算透射率，保证本文算法对视频的实时处理；

步骤5：对输入的每一帧图像进行基于暗通道先验理论的去雾处理，对去雾处理后的图像进行每个像素点RGB三个通道的像素值反转，重构出增强的低照度图像；

步骤6：对增强后的低照度图像进行基于Vibe算法的背景建模并提取前景物体，并将图像二值化处理，获得二值化图像，更新背景模型；

步骤7：计算前景物体像素占整幅图像的比例，如果比例足够大，则判定有运动物体，保留当前帧，循环处理每一帧，将保留下来的帧重新组合生成浓缩视频。

在一些实施方案中，其中步骤1对输入视频的每一帧图像的像素点按照如下公式进行反转：

R^c(x)＝255-I^c(x)

其中I^c(x)表示输入低照度图像的一个像素点x的一个RGB颜色通道的像素值，R^c(x)表示相应的输出图像的一个像素点x的一个RGB颜色通道的像素值，c表示RGB颜色通道的其中一个。

其有益效果是：将低照度图像转化为类似雾天的场景，从而可以用图像去雾的思想去增强图像。

在一些实施方案中，其步骤2中暗通道先验理论指的是在绝大多数非天空的局部区域中，某一些像素总会有至少一个颜色通道具有很低的值。也就是说该区域光强度的最小值是个很小的数。

暗通道先验理论指出：

J^dark(x)→0

其有益效果是：利用暗通道先验理论，可以推导出透射率的预估值。

在一些实施方案中，其步骤2中，大气散射模型公式如下：

I(x)＝J(x)t(x)+A(1-t(x))

其中I(x)表示需要去雾的图像，J(x)是去雾后的无雾图像，A是大气光成分，t(x)为透射率。

由于现实环境中，空气总是存在着一些颗粒物，因此或多或少会存在一些雾。所以有必要在去雾的时候保留一定程度的雾，引入限制因子ω。由暗通道先验理论，推导出透射率的预估值：

其中ω＝0.85，c为RGB通道的一个。

其有益效果是：求出透射率，便可以根据大气散射模型还原出去雾后的图像。

在一些实施方案中，其步骤3中利用导向滤波来精确求取透射率，我们用输入的需要去雾的图像I为导向图，可得到代价函数：

其中t为透射率的粗略估计值，I为导向图，ε为正则化参数，ω_k为导向图中像素点k为中心的领域，(a_k,b_k)在领域ω_k中是常数。

经过导向滤波优化处理过的传输图可以表示为：

其中|ω|为ω_k邻域内像素点数。

其有益效果是：通过导向滤波优化透射率，减弱光环效应，进一步增强图像。

在一些实施方案中，其步骤4中先将各帧图像均匀分成8*8小块，根据感知哈希算法判断相邻两帧图片各个小块的相似度，如果当前帧某小块跟上一帧对应位置小块相似度很高，则用上一帧此小块的透射率来代替当前帧此小块的透射率，并每隔15帧强制更新一次透射率。

其有益效果是：简化透射率的计算，大大增加算法的执行效率，保证对视频图像的实时处理。

在一些实施方案中，其步骤5中重构的去雾后图像的数学公式如下：

其有益效果是：重构出增强的低照度图像，以保证后续视频浓缩的准确率。

在一些实施方案中，其中提取运动物体并生成浓缩视频，主要包括以下步骤：

将图像二值化，用第一帧图像初始化Vibe模型；

对比构建的模型，提取前景物体；

通过腐蚀、膨胀操作消除部分噪声干扰；

为了适应环境的变化，更新背景模型；

根据前景物体像素占整张图片的比例，判断是否保留当前帧，重复步骤0041-0044；

8.6将保留下来的帧组合起来，生成浓缩视频。

本发明的有益效果在于：巧妙地抓住反转后的低照度图像背景跟雾天场景相似的特点，采用基于暗通道去雾算法增强低照度图像，并引入导向滤波来改进增强效果。同时判断相邻两帧图像哈希值来简化透射率的计算，从而加速算法。结合Vibe算法构建背景模型、提取前景物体，在保证视频有益信息的情况下，尽可能多的剔除没有运动物体的帧，减少视频的冗余，从而达到在时间上浓缩视频的效果，压缩程度较好，且准确率较高。使用户可以短时间内阅读监控视频内容，快速定位有益信息。

附图说明

图1是本发明的算法步骤流程图；

图2是本发明的图像增强策略流程图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此：

实施例如附图所示,一种低照度情况下视频监控的有效浓缩方法, 其包括以下步骤：

(1)低照度图像增强：

输入待处理的监控视频，对其每一帧图像，将每个像素点RGB三个通道的像素值反转，计算公式如下：

R^c(x)＝255-I^c(x)

其中I^c(x)表示输入低照度图像的一个像素点x的一个RGB颜色通道的像素值，R^c(x)表示相应的输出图像的一个像素点x的一个RGB颜色通道的像素值，c表示RGB颜色通道中的一个。

反转后的图像天空和背景区域RGB通道都会有很高的亮度，非天空区域比如建筑、车辆至少有一个通道亮度很低，跟有雾的图像十分相似，所以可以用去雾算法来处理反转后的图像。

对反转后的图像进行去雾处理，首先构建大气散射模型：

I(x)＝J(x)t(x)+A(1-t(x))

其中I(x)表示需要去雾的图像，J(x)是去雾后的无雾图像，A是大气光成分，t(x)为透射率。

利用暗通道先验理论求透射率，暗通道先验理论指的是在绝大多数非天空的局部区域中，某一些像素总会有至少一个颜色通道具有很低的值。也就是说该区域光强度的最小值是个很小的数。对于任意输入图像J，其暗通道可以用下式表示：

其中J^c(y)表示彩色图像的每个通道，Ω(x)表示以像素x为中心的一个窗口。

暗通道先验理论指出：

J^dark(x)→0

实际生活中造成暗原色中低通道值主要有三个因素：

1.汽车、建筑物和城市中玻璃窗户的阴影，或者是树叶、树与岩石等自然景观的投影；

2.色彩鲜艳的物体或表面，在RGB的三个通道中有些通道的值很低 (比如绿色的草地、树、植物，红色或黄色的花朵、叶子，或者蓝色的水面)；

3.颜色较暗的物体或者表面，例如灰暗色的树干和石头。

总之，自然景物中到处都是阴影或者彩色，这些景物的图像的暗原色总是很灰暗的。

求导透射率之前，还需要求取大气光值A，其具体求法是：对输入图像求暗通道图像J^dark，取N个最亮的像素点，记录(x,y)坐标。根据这些点的坐标分别在原图像I的三个通道(r,g,b)内找到这些像素点，并加和得到 (sum_r,sum_g,sum_b)。

A的计算公式如下：

其中W、H分别表示输入图片的宽和高。

对上述大气散射模型公式稍作处理，可推导出下式：

其中c代表RGB通道中的一个。

对上式两边分别求两次最小值运算，得到：

其中I是输入图像，J是待求无雾图像。

根据暗通道先验理论得到：

由于现实环境中，空气总是存在着一些颗粒物，因此或多或少会存在一些雾。所以有必要在去雾的时候保留一定程度的雾，引入限制因子ω。可以推导出透射率的预估值：

其中ω＝0.85。

利用导向滤波来精确求取透射率，消除光环效应，我们用输入的需要去雾的图像I为导向图，可得到代价函数：

其中t为透射率的粗略估计值，I为导向图，ε为正则化参数，ω_k为导向图中像素点k为中心的领域，(a_k,b_k)在领域ω_k中是常数。

经过导向滤波优化处理过的传输图t(x)可以表示为：

根据视频前后两帧相似度很高的特性，设计一种基于哈希值判据的选择是否重新计算透射率的策略，可以加速透射率的计算，保证算法的实时性，具体做法如下：

每一帧分成N个8*8的小块，分别计算相邻两帧各小块64个像素的灰度平均值，将每个像素的灰度，与平均值进行比较。大于或等于平均值，记为1；小于平均值，记为0。将比较结果组合在一起，就构成了一个64位的整数，这就是这个小块的指纹。然后计算前后两帧对应位置小块指纹不同位的个数(汉明距离)。如果汉明距离小于5，则表示这两个小块相似度高，则此8*8小块的透视率用上一帧中对应小块的透视率来代替。

由上述计算出的透射率t和大气光值A，可重构出去雾后的图像，数学公式如下：

将去雾后的图像每个像素的RGB通道像素值反转，得到增强的低照度图像，计算公式如下：

R^c(x)＝255-I^c(x)

(2)背景建模和前景提取

用增强的低照度图像进行Vibe背景模型初始化，对于第一帧图像的一个像素点，结合相邻像素点拥有相似像素值的空间分布特性，随机的选择其邻域点的像素值作为它的模型样本值，数学表达式如下：

M⁰(x)＝{v⁰(y|y∈N_G(x))}

其中N_G(x)表示相邻像素点，y表示随机选择相邻像素点作为模型样本值。

背景模型为每个背景点存储一个样本值，每一个新的像素值跟样本值比较判断是否属于背景。同时计算新像素值和样本集中每个样本值的距离，如果距离小于阈值，则近似样本点数目增加。如果近似样本点数目大于阈值，则认为新的像素点为背景。其中样本集数目N＝20，阈值min＝2，判定距离相近的阈值R＝20。

(3)背景模型的更新：

每一个背景点有的概率去更新自己的模型样本值，与此同时也有的概率去更新它的邻域点的模型样本值。更新领域样本值利用了像素值的空间传播特性，背景模型逐渐向外扩散，这也有利于ghost区域的识别。当前景点计数达到临界值时将其变为背景，并有的概率去更新自己的模型样本值。

在选择要替换的样本集中的样本值时候，我们是随机选取一个样本值进行更新，这样可以保证样本值的平滑的生命周期由于是随机的更新，这样一个样本值在时刻t不被更新的概率是假设时间是连续的，那么在dt的时间过去后，样本值仍然保留的概率是：

表明一个样本值在模型中是否被替换与t无关，随机策略是合适的。并不是每处理一帧数据，都需要更新处理，而是按一定的更新率更新背景模型。当一个像素点被判定为背景时，它有1/rate的概率更新背景模型。rate是时间采样因子，一般取值为16。

(4)生成浓缩视频

将每一帧相应的前景物体区域和背景物体区域进行二值化处理，建立区分前景背景的二值图。

对生成的二值图像进行腐蚀、膨胀处理，消除部分微小噪声的干扰。

提取的前景物体像素占整幅图像的比例，如果比例大于阈值T，则判定有运动物体，保留当前帧。

其中T为事先设定，我们取T＝0.1。

循环处理每一帧，将保留下来的帧生成浓缩视频。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种低照度情况下视频监控的有效浓缩方法，其特征在于包括以下步骤：

步骤1：对输入监控视频的每一帧图像，进行每个像素点RGB三个通道的像素值反转，将低暗的背景转化为类似雾天的场景；

步骤2：构建大气散射模型，根据暗通道先验理论，初步求出模型的透射率t；

步骤3：用导向滤波对图像进行进一步处理，消除光环效应，求出精准的透射率

步骤4：对视频第2帧以后的各帧图像，根据感知哈希算法判断是否需要重新计算透射率，保证本文算法对视频的实时处理；

步骤5：对输入的每一帧图像进行基于暗通道先验理论的去雾处理，对去雾处理后的图像进行每个像素点RGB三个通道的像素值反转，重构出增强的低照度图像；

步骤6：对增强后的低照度图像进行基于Vibe(Visual Background Extractor)算法的背景建模并提取前景物体，并将图像二值化处理，获得二值化图像，更新背景模型；

步骤7：计算前景物体像素占整幅图像的比例，如果比例足够大，则判定有运动物体，保留当前帧，循环处理每一帧，将保留下来的帧重新组合生成浓缩视频。

2.根据权利要求1所述的一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于，所述步骤1中，输入视频的每一帧图像的像素点按照如下公式进行反转：

R^c(x)＝255-I^c(x)

其中I^c(x)表示输入低照度图像的一个像素点x的一个RGB颜色通道的像素值，R^c(x)表示相应的输出图像的一个像素点x的一个RGB颜色通道的像素值，c表示RGB颜色通道的其中一个。

3.根据权利要求1所述的一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于，所述步骤2中，暗通道先验理论指的是在绝大多数非天空的局部区域中，某一些像素总会有至少一个颜色通道具有很低的值。也就是说该区域光强度的最小值是个很小的数,即:

J^dark(x)→0 。

4.根据权利要求1所述的一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于，所述步骤2中，大气散射模型公式如下：

I(x)＝J(x)t(x)+A(1-t(x))

其中I(x)表示需要去雾的图像，J(x)是去雾后的无雾图像，A是大气光成分，t(x)为透射率。

由于现实环境中，空气总是存在着一些颗粒物，因此或多或少会存在一些雾。所以有必要在去雾的时候保留一定程度的雾，引入限制因子ω。由暗通道先验理论，可以推导出透射率的预估值：

其中ω＝0.85，c为RGB通道中的一个。

5.根据权利要求1所述的一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于，所述步骤3中利用导向滤波来精确求取透射率，消除光环效应，我们用输入的需要去雾的图像I为导向图，可得到代价函数：

其中k为像素点，t为透射率的粗略估计值，I为导向图，ε为正则化参数，ω_k为导向图中像素点k为中心的领域，(a_k,b_k)在领域ω_k中是常数。

经过导向滤波优化处理过的传输图可以表示为：

其中|ω|为ω_k邻域内像素点数。

6.根据权利要求1所述的一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于，所述步骤4中先将各帧图像均匀分成8*8小块，根据感知哈希算法判断相邻两帧图片各个小块的相似度，如果当前帧某小块跟上一帧对应位置小块相似度很高，则用上一帧此小块的透射率来代替当前帧此小块的透射率，并每隔15帧强制更新一次透射率。

7.根据权利要求1所述的一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于，步骤5中重构的去雾后图像的数学公式如下：

8.根据权利要求1所述的一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于提取运动物体并生成浓缩视频，主要包括以下步骤：

8.1将图像二值化，用第一帧图像初始化Vibe模型；

8.2对比构建的模型，提取前景物体；

8.3通过腐蚀、膨胀操作消除部分噪声干扰；

8.4为了适应环境的变化，更新背景模型；

8.5根据前景物体像素占整张图片的比例，判断是否保留当前帧，重复步骤8.2-8.5；

8.6将保留下来的帧组合起来，生成浓缩视频。