CN107659754B - 一种树叶扰动情况下监控视频的有效浓缩方法 - Google Patents

Abstract

本发明提供一种树叶扰动情况下监控视频的有效浓缩方法，主要包括以下部分：对输入视频进行基于混合高斯模型的背景建模，获得背景模型，分离出运动物体；对混合高斯建模后的每一帧，通过腐蚀、膨胀操作，消除部分噪声；根据前景物体占整幅图像的比例，初步判断是否保留当前帧；将背景图像和当前帧图像分块，计算并比较背景帧和当前帧图像每一块的颜色直方图差异，判断运动物体是树叶扰动还是前景目标；保留非树叶扰动的前景帧，并组合这些帧生成浓缩视频。本发明的优点在于，针对树叶扰动情况下的监控视频，提出了一种基于分块直方图对比的策略，有效提高了视频浓缩的鲁棒性和准确率。

Description

一种树叶扰动情况下监控视频的有效浓缩方法

技术领域

本发明涉及模式识别、图像处理领域，尤其涉及一种树叶扰动情况下监控视频的有效浓缩方法。

技术背景

随着平安城市、智能交通的快速推进，智能化、高清化、网络化的数字视频监控得到前所未有的重视，海量视频信息的浓缩摘要、基于视频内容分析后的系统决策将成为视频监控行业不可阻挡的发展趋势。如何在短时间内浏览海量视频数据库中视频信息，快速检索所需要的视频资料成为当前视频领域最为重要的研究内容，尤其是在交通和安防视频应用中显得尤为重要。例如2012年1月6日在南京发生的重大持枪抢劫案，公安部门花了巨大的警力查看南京各十字路口的视频信息，希望通过视频获取犯罪嫌疑人的蛛丝马迹。如能够采用信息处理技术快速浏览这些交通视频的视频浓缩信息，检索出犯罪嫌疑人曾出现过的视频图像，将会大大提高应急事件的处理能力，使得视频信息能发挥最大程度的利用效率。

目前，应用于城市安防和城市交通的视频摄像机、照相机已经十分普遍，而且数据十分惊人，如在车站、地铁站、高速公路、十字路口、隧道、办公楼等地方都布置有用于监控的图像或视频采集设备。但是绝大多数摄像机采集的图像都是在中心监视器上显示并保存在硬盘阵列中。据统计，人观看视频画面的注意力通常只能保持在二十分钟左右。由此可见，目前绝大多数的视频采集只能起到事后查证的作用。而事后查证又是播放视频通过人来逐帧查看，一个没有情节的视频序列是很难让人集中注意力的，海量视频的事后查看是一件非常困难的事情。又如，在夜间及城交结合区域，经常会出现不遵守交通规则行驶的渣土车，超速超载、随意变道、抢闯红灯，尽管有大量的路口摄像机时刻记录着渣土车的视频信息，但是交警仍然很难做到视频成为其执法的依据，主要是交警由于需要大量的人力在查看、搜索渣土车的不规范行为，这是一个工作量巨大的任务，视频信息的利用率很低，没有发挥出其应有的作用。如何快速浏览海量安防监控视频，搜索所需信息，已成为安防领域急切需要解决的问题，并且具有广阔的市场应用前景和理论价值。街道监控视频，由于两旁绿化带，树叶扰动普遍存在，严重影响浓缩准确率。

发明内容

本发明提供了一种树叶扰动情况下监控视频的有效浓缩方法，采用基于关键帧的视频浓缩。对视频提取关键帧的目的是希望通过若干较少的静态视频帧表示相关视频流的主要内容。关键帧提取的难点在于如何在较少冗余数据的情况下，描述出视频的全部主要内容。本发明针对监控视频中经常出现的树叶扰动提出基于直方图变化的算法结合混合高斯模型进行判定，极大的减少了噪声的干扰。所述技术方案如下：

一种树叶扰动情况下监控视频的有效浓缩方法，包括：

对输入视频的每一帧进行基于混合高斯模型的背景建模，分离出前景物体和背景物体的区域。

场景中的每一个像素的值可以由K个高斯成分组成的混合分布来表示，图像中像素j在时刻t的值为X_j的概率为：

其中

表示t时刻像素j的混合高斯模型中第i个高斯分量的权重，满足：

这里

和

分别表示第i个高斯成分的均值及协方差，η表示高斯概率密度函数：

其中d是x_j的维数。对于RGB颜色空间而言，可视为相互独立，则协方差矩阵定义为

其中σ表示标准差，I代表单位矩阵。

初始化阶段，对K个高斯分布直接初始化较大的σ_init ²，对每个高斯分布的权重取ω_init＝1/K，取第一帧图像的每个像素的值来对混合高斯模型中的K个高斯分布的均值进行初始化。

将混合高斯模型中的每个高斯分布按照

由大到小排序，检验新获取的图像帧的像素与混合高斯模型中的每个高斯分布按照

由大到小排序，检验新获取的图像帧的像素与混合高斯模型中的K个高斯分布是否匹配，假如新获取的像素和混合高斯分布的某个成分满足下式就认为该像素与高斯分布相匹配：

其中δ为匹配阈值，

为第i个高斯成分的均值，

为第i个高斯成分的标准差。

若x_jt+1与第i个高斯成分匹配，则该高斯成分被x_jt+1更新。

更新的方程如下：

其中α是模型的学习率，ρ是参数的学习率，反映高斯分布参数的收敛速度。

如果χ_j与像素的K个高斯分布都不匹配，那么混合高斯模型中排在最后面的那几个高斯分布将被新的高斯成分所替代，新成分的均值为χ_j，标准差和权值被初始化为σ_init和ω_init。剩余的高斯成分保持相同的均值和方差，它们的权重按照以下公式来更新：

完成更新操作后，将高斯分布的权重归一化。参数更新完成之后，为了确定这些像素的高斯模型中哪些成分是背景产生，根据每个高斯分布按照

由大到小排序，再取前B_j个高斯成分作为背景，B_j根据以下公式来确定：

其中T为事先预定义的阈值，表示作为背景的高斯成分在整个概率分布中所占的最小比例。

取值较大者表示像素值具有较大的方程，出现的概率比较大。

将每一帧相应的前景物体区域和背景物体区域进行二值化处理，建立区分前景背景的二值图。

对生成的二值图像进行腐蚀、膨胀处理，消除部分微小噪声的干扰。

遍历生成的二值图像的每一个像素，得到前景像素占整幅图像的比例V，若比例大于阈值T1，我们则第一步认定有运动物体，权重系数S1加5，再进行下一步判断。T1事先设定。

具体计算公式如下：

若比例V大于阈值T2，则令标志X置1，表示有大块运动物体，T2事先设定。此步骤用于防止判断直方图差异错误，如果有大块运动物体，则可以不进行直方图差异判断，直接保留此帧。

若比例小于阈值T1，我们则认定没有运动物体，则舍弃此帧进行下一帧的处理。

对当前帧和背景帧分别进行均匀分块，计算每个小块的颜色直方图。

颜色直方图为HSV颜色空间直方图。

首先需要将RGB颜色空间转换为HSV颜色空间。

具体做法是设(r,g,b)分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数。设max等价于r,g和b中的最大者。设min等于这些值中的最小者。要找到在HSL空间中的(h,s,v)值。

这里的h∈[0,360)是角度的色相角，而s,v∈[0,1]是饱和度和亮度，计算公式为：

v＝max

比较两帧对应位置小块的直方图差异，即Bhattacharyya距离，计算公式如下：

其中H₁、H₂分别表示需要比较的两幅图像。

如果当前帧和背景帧某个位置小块的直方图差异d大于阈值T3，则给计数标志flag加一，如果flag大于阈值T4，即认定运动物体并非树叶扰动，将权重系数S2加5。

如果直方图变化过小，即flag标记数量过少，则认定没有运动物体，进行下一步判定。

上述0034中X若为1，则判定有运动物体。若为0，则舍弃此帧，处理下一帧。

权重系数S1和权重系数S2共同判定是否保留帧。

如果两个权重系数合成的新的权重系数S3大于阈值T，则认定此帧有运动物体，而且此运动物体并非树叶扰动。S3计算公式如下：

保留此帧，用于生成浓缩视频。

如果权重系数小于阈值T，则认定此运动物体为树叶扰动。

丢弃此帧。

将所有保留下来的帧重新组合，生成浓缩后的视频。

本发明的有益效果在于：在传统混合高斯模型的基础上，提出基于直方图变化的算法，来辅助判断，从而消除树叶扰动造成的运动物体误判。在保证视频有益信息的情况下，尽可能多的剔除没有运动物体的帧，减少视频的冗余，从而达到在时间上浓缩视频的效果，压缩程度较好，且准确率较高。使用户可以短时间内阅读监控视频内容，快速定位有益信息。

附图说明

图1是本发明的算法步骤流程图；

图2是本发明的直方图变化检测树叶扰动策略流程图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此：

实施例如附图所示,一种树叶扰动情况下监控视频的有效浓缩方法,其包括以下步骤：

(1)背景建模与前景提取：

对输入视频的每一帧进行基于混合高斯模型的背景建模，分离出前景物体和背景物体的区域。

对于多峰高斯分布模型，图像的每一个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新。

当处理彩色图像时，假定图像像素点R、G、B三色通道相互独立并具有相同的方差。

对于随机变量X的观测数据集{x1,x2,…,xN}，xt＝(rt,gt,bt)为t时刻像素的样本，则单个采样点xt其服从的混合高斯分布概率密度函数：

其中k为分布模式总数，η(x_t,μ_i,t,τ_i,t)为t时刻第i个高斯分布，μ_i,t为其均值，τ_i,t为其协方差矩阵，δ_i,t为方差，I为三维单位矩阵，w_i,t为t时刻第i个高斯分布的权重。

取第一帧图像的每个像素的值来对混合高斯模型中的K个高斯分布的均值进行初始化。

对于每个新像素值X_t，跟当前K个模型按下式进行比较，直到找到匹配新像素值的分布模型，即同该模型的均值偏差在2.5σ内。

|X_t-μ_i,t-1|≤2.5σ_i,t-1

如果所匹配的模式符合背景要求，则该像素属于背景，否则属于前景。

将相应的前景物体区域和背景物体区域进行二值化处理，建立区分前景背景的二值图。

对二值图像进行腐蚀、膨胀形态学处理，消除部分微小噪声的干扰。

遍历生成的二值图像，得到前景像素占整幅图像的比例，若比例大于阈值T1，我们认定可能有运动物体，将权重系数S1加5。再进行下一步判断。

T1为事先设定的阈值。

若比例大于阈值T2，则令标志X置1，表示有大块运动物体。

T2为事先设定的阈值。

若比例小于阈值T1，我们则认定没有运动物体，则舍弃此帧进行下一帧的处理。

(2)背景更新：

由于实际情形下，监控视频的背景是会有变化的，所以我们要及时更新背景模型。以保证得到的背景模型跟得上实际的变化。

将混合高斯模型中的每个高斯分布按照

由大到小排序，检验新获取的图像帧的像素与混合高斯模型中的每个高斯分布按照

由大到小排序，检验新获取的图像帧的像素与混合高斯模型中的K个高斯分布是否匹配，假如新获取的像素和混合高斯分布的某个成分满足下式就认为该像素与高斯分布相匹配：

其中δ为匹配阈值，

为第i个高斯成分的均值，

为第i个高斯成分的标准差。

若x_jt+1与第i个高斯成分匹配，则该高斯成分被x_jt+1更新。

更新的方程如下：

其中α是模型的学习率，ρ是参数的学习率，反映高斯分布参数的收敛速度。

如果χ_j与像素的K个高斯分布都不匹配，那么混合高斯模型中排在最后面的那几个高斯分布将被新的高斯成分所替代，新成分的均值为χ_j，标准差和权值被初始化为σ_init和ω_init。剩余的高斯成分保持相同的均值和方差，它们的权重按照以下公式来更新：

完成更新操作后，将高斯分布的权重归一化。

参数更新完成之后，为了确定这些像素的高斯模型中哪些成分是背景产生，根据每个高斯分布按照

由大到小排序，再取前B_j个高斯成分作为背景，B_j根据以下公式来确定：

其中T为事先预定义的阈值，表示作为背景的高斯成分在整个概率分布中所占的最小比例。

取值较大者表示像素值具有较大的方程，出现的概率比较大。

(3)比较直方图差距差异：

对输入视频的当前帧进行均匀分块。

将RGB颜色空间转换为HSV颜色空间。

设(r,g,b)分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数。设max等价于r,g和b中的最大者。设min等于这些值中的最小者。要找到在HSL空间中的(h,s,v)值，这里的h∈[0,360)是角度的色相角，而s,v∈[0,1]是饱和度和亮度，计算为：

v＝max

计算当前帧图像各个小块的颜色直方图。

对构建的背景帧进行均匀分块。

将背景帧图像转换到HSV颜色空间。

计算背景帧图像各个小块的颜色直方图。

比较当前帧和背景帧对应小块的直方图差异。

直方图差异采用Bhattacharyya距离表示，公式如下：

其中H₁、H₂分别表示需要比较的两幅图像。

如果某个小块的直方图差异大于阈值T3，则给计数标志flag加一。

如果flag大于阈值T4，即认定运动物体并非树叶扰动，将权重系数S2加5。

如果直方图变化过小，即flag标记数量过少，则认定没有运动物体，进行下一步判定。

上述0079中标志X若为1，则判定有运动物体。

若为0，则舍弃此帧，处理下一帧。

权重系数S1和权重系数S2共同判定是否保留帧。

如果两个权重系数合成的新的权重系数S3大于阈值T，则认定此帧有运动物体，而且此运动物体并非树叶扰动。S3计算公式如下：

保留此帧，用于生成浓缩视频。

如果权重系数小于阈值T，则认定此运动物体为树叶扰动。

丢弃此帧。

将所有保留下来的帧重新组合，生成浓缩后的视频。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于包括以下步骤：

步骤1：对输入视频中的每一帧图像，计算像素大量样本值的概率密度统计信息，使用统计差分进行目标像素判断，对复杂动态的背景进行建模；

步骤2：利用已建立的背景模型，提取前景目标，即运动物体，并将图像进行二值化处理，获得二值化图像；

步骤3：通过腐蚀膨胀这种形态学操作，消除部分微小噪声的干扰；

步骤4：计算前景物体像素占整幅图像的比例，若比例大于阈值T1，将权重系数S1加5，若比例小于阈值T1，则进行下一步运算；

步骤5：随着场景的不断变化，每个像素的混合高斯模型会被不断地学习更新，构建出的背景模型相应的被更新，以保证背景模型的准确性；

步骤6：将视频的每一帧分为N个小块，分别计算每个小块的颜色直方图，以及跟背景模型相对应位置小块的颜色直方图差异，如果某个小块的直方图差异大于阈值T2，则假定有运动物体，如果大于T2的小块数量大于阈值T3，即认定有运动物体而并非树叶扰动，将权重系数S2加5，如果单纯比较相邻两帧会出现前景部分直方图差异不明显，导致误判，如果不分块直接比较直方图则无法精确地区别出树叶和其他运动物体，其中颜色直方图为HSV颜色空间直方图，首先需要将RGB颜色空间转换为HSV颜色空间，设(r,g,b)分别是一个颜色的红、绿和蓝像素值，设max为r,g和b中的最大者，设min为r,g和b中的最小者，要找到在HSV空间中的(h,s,v)值，这里的h∈[0,360)是角度的色相角，而s,v∈[0,1]是饱和度和亮度，计算公式为：

v＝max

直方图差异采用Bhattacharyya距离来计算；

步骤7：S1+S2大于阈值T，则保留此帧，循环处理每一帧，将保留下来的帧生成浓缩视频。

2.根据权利要求1所述的一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于，所述步骤2中，场景中的每一个像素的值可以由K个高斯成分组成的混合分布来表示，图像中像素j在时刻t的值为x_j的概率为：

其中

表示t时刻像素j的混合高斯模型中第i个高斯分量的权重，满足：

这里

和

分别表示第i个高斯成分的均值及协方差，η表示高斯概率密度函数，计算公式如下：

其中d是x_j的维数，对于RGB颜色空间而言，x_j的各维可视为相互独立，则协方差矩阵定义为

其中

表示标准差，I代表单位矩阵。

3.根据权利要求1所述的一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于，所述步骤2中，初始化阶段，对K个高斯分布直接初始化较大的标准差σ_init ²，对每个高斯分布的权重取ω_init＝1/K，取第一帧图像的每个像素的值来对混合高斯模型中的K个高斯分布的均值进行初始化。

4.根据权利要求1所述的一种树叶扰动情况下监控视频的有效浓缩方法，其特征在于，所述步骤5中，将混合高斯模型中的每个高斯分布按照

由大到小排序，检验新获取的图像帧的像素与混合高斯模型中的K个高斯分布是否匹配，假如新获取的像素和混合高斯分布的某个成分满足下式，则该像素与高斯分布相匹配：

其中δ为匹配阈值，

表示t时刻像素j的混合高斯模型中第i个高斯成分的均值，

表示t时刻像素j的混合高斯模型中第i个高斯成分的标准差，

表示t时刻像素j的混合高斯模型中第i个高斯分量的权重，若x_jt+1与第i个高斯成分匹配，则该高斯成分被x_jt+1更新。

Images