CN112312087A - 一种在长时监控视频中快速定位事件发生时刻的方法及其系统 - Google Patents

Abstract

本发明公开了一种在长时监控视频中快速定位事件发生时刻的方法及其系统，属于数字图像处理领域和安防监控视频处理分析领域。包括：步骤1、通过监控装置获得并读取监控区域的历史视频数据；步骤2、用户通过鼠标点击响应事件，确定感兴趣区域的左上角的坐标和右下角的坐标，并将保存至本地；步骤3、逐帧分析感兴趣区域，通过高斯背景建模对其视频流进行前景运动目标提取；步骤4、将通过步骤3获取的当前帧的前景模型，与原始背景计算比较，获取当前帧的信息变化情况，计算信息差熵，绘制可视化信息差熵曲线图。发明通过简单的可视化操作，可快速切换到嫌疑人出现或者离开的视频帧监控画面，可方便辅助安防监控视频回查，且速度快。

Description

一种在长时监控视频中快速定位事件发生时刻的方法及其 系统

技术领域

本发明属于数字图像处理领域和安防监控视频处理分析领域，特别是涉及一种在长时监控视频中快速定位事件发生时刻的方法及其系统。

背景技术

摄像头监控是国内安防系统中最为重要和普遍的信息获取手段，随着“智慧城市”的蓬勃建设，中国各省市县乡的摄像头数目呈现井喷式增长，大量企业，部门几乎实现了摄像头的全面覆盖，利用大范围的监控视频的信息，应对安防等领域存在的隐患问题。

但是，在目前的安防视频监控系统中，当有查询历史视频的诉求时，视频回放技术人员需要目不转睛的盯着视频去从头到尾观看，从而定位关键时间点，比如，在盗窃案中，需要查看可疑人员出现的时间点，由于历史视频时间长，冗余无用信息多，容易造成视觉疲劳，工作效率低下，若采用鼠标快速拖拽快进，又会可能导致关键帧错失。

监控视频的特点是，画面背景长期没有变化，而用户常常只关注监控视频中的重点区域，如门窗、通道、卡口等位置，人或物出现的事件对应时刻的录像，因此可采用重点感兴趣区域异常帧动监测的思路，使用一些数字图像处理技术，在视频回放的过程中快速定位这些事件发生的时刻，从而提高视频回查效率。

发明内容

本发明为解决上述背景技术中存在的技术问题，本发明提出了一种在长时监控视频中快速定位事件发生时刻的方法，本发明通过数字图像处理算法，计算帧间的信息差熵，判定该视频是否有信息突变，从而达到可疑人员的出现检测和离开检测。

本发明通过以下技术方案来实现：一种在长时监控视频中快速定位事件发生时刻的方法，包括以下步骤：

步骤1、通过监控装置获得并读取监控区域的历史视频数据，如读取失败则提示并直接退出程序；如读取成功则执行步骤2；

步骤2、用户通过鼠标点击响应事件，确定感兴趣区域的左上角的坐标和右下角的坐标，生成子窗口显示播放，并将保存至本地；

步骤3、逐帧分析感兴趣区域，通过高斯背景建模对其视频流进行前景运动目标提取；

步骤4、将通过步骤3获取的当前帧的前景模型，与原始背景计算比较，获取当前帧的信息变化情况，计算信息差熵，绘制可视化信息差熵曲线图，并保存关键帧，视频读取结束。

在进一步的实施例中，所述步骤2是通过鼠标响应自定义感兴趣区域，对其进行分析并保存，去掉视频中无关的信息。

在进一步的实施例中，在步骤3中使用的监控装置为固定摄像头，因此背景是保持不变的，为了能够提取感兴趣区域中的前景物体，对背景进行建模，然后将当前帧的模型与背景模型进行比较，以获取前景物体信息突变帧节点。

在进一步的实施例中，对于监控视频来说，假设视频图像中背景像素点的特征在一段时间内变化不大，则认为在这一段时间内，背景像素点服从高斯分布；但在实际情况下，存在树枝晃动，水波干扰，背景像素点会呈现出双峰或者多峰，采取多个高斯分布组成的高斯模型来描述背景像素点的特征。

在进一步的实施例中，在混合高斯模型中，像素之间的颜色信息互不相关，对各像素点的处理都是像素都是相互独立的，对于视频图像中的每一个像素点，其值在序列图像中的变化看作是不断产生像素值的随机过程，对于多模态高斯分布模型，每一个像素点按照不同的权值的多个高斯分布叠加来建模。

在进一步的实施例中，所述步骤3具体包括以下流程：

步骤301、建立多个高斯分布组成的高斯模型：假设t时刻，像素点(x₀,y₀)取值集合为{X₁,X₂,…X_t}＝{I(x₀,y₀,t_i)|1≤t_i≤t}，其中i为视频帧；

建立一个K个高斯分布组成的高斯模型，K的取值范围为3～5，来近似像素点的所有已出现值，便可得到图像当前像素值出现的概率，即混合高斯模型的概率密度函数：

其中，X_t是t时刻该点的像素值，w_i,t是t时刻混合高斯模型中第k个模型中所占的比重，它代表了由第i个高斯分布产生的采样值在总采样值中的比例；u_i,t是第i个高斯分布的均值向量；∑_i,t表示第i个高斯分布的协方差矩阵；则t时刻第i个高斯分布的定义如下：

其中，n是X_t的维度，此处取值为2；T为矩阵转置；

步骤302、进行初始化：当读入一帧图像后，先给每个位置建立一个高斯分布，均值为第一帧对应位置的像素值，方差去

此时权重取1，处理新的一帧图像时，如果新读入的像素值能与仅有的那个高斯分布相匹配，则仅更新那个高斯分布，否则以新读入的像素值为均值，

为方差，w_init为权重；建立一个新的高斯分布，然后进行权重归一化处理，如此进行，直到高斯分布的个数达到k为止；

步骤303、更新算法：对读入图像的每个像素，与它对应的k个高斯分布进行比较，若满足：|X_t-μ_i,t|≤D×σ_i，D取2.5～3.5之间，则认为该像素点与高斯分布匹配，按照如下公式更新参数(M_i,t＝1)：w_i,t＝(1-α)w_i,t-1+α(M_i,t)，μ_i,t＝(1-ρ)μ_i,t+X_i,t，

其中，α表示学习率，取0.001～0.01，ρ＝α·η(X_t,μ_i,t,σ_i,t)表示参数更新速率；如果不匹配，则该高斯分布的均值，方差都不变，只需要修改w_i,t(M_i,t＝0)；如果该像素点与K个高斯分布都不匹配，则创建新的高斯分布，其均值为对应位置的像素值，方差为

权重为w_init，替换掉权重最小的高斯分布，上述过程之后，各高斯分布的权重进行归一化处理，按照公式λ_i,t＝w_i,t/σ_i,t(i＝1,2,...,k)计算各个高斯分布的优先级，并按从大到小的顺序排序；σ_i表示第i个高斯分布的标准差，σ_i，t表示第i个高斯分布在t时刻的标准差；M_i，t表示flag，即该像素点是否与高斯分布匹配；

步骤304、选择B个高斯分布作为背景模型，

参数r表示背景所占比例，其中r＞0.7；在前景检测时候，如果当前像素与B个高斯分布中任意一个匹配，则认为该像素点属于背景，否则认为该像素点属于前景；

步骤305、优化，由于在每帧中对所有像素的高斯模型都保持相同固定不变的高斯模型个数的话，则会造成系统运算资源的浪费，故在每q个帧，对高斯分布模型进行一次过滤筛选，检查所有高斯分布的权重，如果某个高斯分布满足w_i,t＜w_init&&(w_i,t/σ_i,t)＜(w_init/σ_init)，则将该高斯分布判断为多余的高斯分布，并删除该高斯分布。

在进一步的实施例中，所述步骤4具体包括以下流程：提取镜头的首帧构建一个参考图片，逐帧提取视频帧中的内容，其中白色为前景内容，黑色区域为背景内容，将前景与初始构建的参考背景做差定义为差熵，以差熵为纵轴，时间为横轴，绘制可视化曲线图，通过差熵可获取前景信息突变时间点，并将该时间点的图像作为关键帧进行保存，从而完成可疑人员或车辆的出现和离开检测。

一种在长时监控视频中快速定位事件发生时刻的系统，用于实现上述方法，包括：

用于从监控装置获得并读取监控区域的历史视频数据的第一模块；

用于存储鼠标获取的感兴趣区域的第二模块；

用于分析感兴趣区域，并通过高斯背景建模对其视频流进行前景运动目标提取的第三模块；

以及，用于获取当前帧的信息变化情况，计算信息差熵，绘制可视化信息差熵曲线图，并保存关键帧的第四模块。

在进一步的实施例中，所述第一模块具体为通过监控装置获得并读取监控区域的历史视频数据，如读取失败则提示并直接退出程序；如读取成功则转移到第二模块中；

所述第二模块具体为用户通过鼠标点击响应事件，确定感兴趣区域的左上角的坐标和右下角的坐标，可缩小区域范围，生成子窗口显示播放，并将保存至本地；

所述第三模块具体为步骤301、建立多个高斯分布组成的高斯模型：假设t时刻，像素点(x₀,y₀)取值集合为{X₁,X₂,…X_t}＝{I(x₀,y₀,t_i)|1≤t_i≤t}，其中i为视频帧；

建立一个K个高斯分布组成的高斯模型，K的取值范围为3～5，来近似像素点的所有已出现值，便可得到图像当前像素值出现的概率，即混合高斯模型的概率密度函数：

其中，X_t是t时刻该点的像素值，w_i,t是t时刻混合高斯模型中第k个模型中所占的比重，它代表了由第i个高斯分布产生的采样值在总采样值中的比例；u_i,t是第i个高斯分布的均值向量；∑_i,t表示第i个高斯分布的协方差矩阵；则t时刻第i个高斯分布的定义如下：

其中，n是X_t的维度，此处取值为2；T为矩阵转置；

步骤302、进行初始化：当读入一帧图像后，先给每个位置建立一个高斯分布，均值为第一帧对应位置的像素值，方差去

此时权重取1，处理新的一帧图像时，如果新读入的像素值能与仅有的那个高斯分布相匹配，则仅更新那个高斯分布，否则以新读入的像素值为均值，

为方差，w_init为权重；建立一个新的高斯分布，然后进行权重归一化处理，如此进行，直到高斯分布的个数达到k为止；

步骤303、更新算法：对读入图像的每个像素，与它对应的k个高斯分布进行比较，若满足：|X_t-μ_i,t|≤D×σ_i，D取2.5～3.5之间，则认为该像素点与高斯分布匹配，按照如下公式更新参数(M_i,t＝1)：w_i,t＝(1-α)w_i,t-1+α(M_i,t)，μ_i,t＝(1-ρ)μ_i,t+X_i,t，

其中，α表示学习率，取0.001～0.01，ρ＝α·η(X_t,μ_i,t,σ_i,t)表示参数更新速率；如果不匹配，则该高斯分布的均值，方差都不变，只需要修改w_i,t(M_i,t＝0)；如果该像素点与K个高斯分布都不匹配，则创建新的高斯分布，其均值为对应位置的像素值，方差为

权重为w_init，替换掉权重最小的高斯分布，上述过程之后，各高斯分布的权重进行归一化处理，按照公式λ_i,t＝w_i,t/σ_i,t(i＝1,2,...,k)计算各个高斯分布的优先级，并按从大到小的顺序排序；σ_i表示第i个高斯分布的标准差，σ_i，t表示第i个高斯分布在t时刻的标准差；M_i，_t表示flag，即该像素点是否与高斯分布匹配；

步骤304、选择B个高斯分布作为背景模型，

参数r表示背景所占比例，其中r＞0.7；在前景检测时候，如果当前像素与B个高斯分布中任意一个匹配，则认为该像素点属于背景，否则认为该像素点属于前景；

步骤305、优化，由于在每帧中对所有像素的高斯模型都保持相同固定不变的高斯模型个数的话，则会造成系统运算资源的浪费，故在每q个帧，对高斯分布模型进行一次过滤筛选，检查所有高斯分布的权重，如果某个高斯分布满足w_i,t＜w_init&&(w_i,t/σ_i,t)＜(w_init/σ_init)，则将该高斯分布判断为多余的高斯分布，并删除该高斯分布；

所述第四模块具体为提取后的每帧是一张二值图像，白色为前景运动的物体，背景为黑色，前景与视频开始帧的纯背景做差，当出现运动的人或物时，会出现明显的信息差熵，从而完成可疑人员或车辆的出现和离开检测。

在进一步的实施例中，所述监控装置为为固定摄像头，因此背景是保持不变的，为了能够提取感兴趣区域中的前景物体，对背景进行建模，然后将当前帧的模型与背景模型进行比较，以获取前景物体信息突变帧节点；

对于监控视频来说，假设视频图像中背景像素点的特征在一段时间内变化不大，则认为在这一段时间内，背景像素点服从高斯分布；但在实际情况下，存在树枝晃动，水波干扰，背景像素点会呈现出双峰或者多峰，采取多个高斯分布组成的高斯模型来描述背景像素点的特征；

在混合高斯模型中，像素之间的颜色信息互不相关，对各像素点的处理都是像素都是相互独立的，对于视频图像中的每一个像素点，其值在序列图像中的变化看作是不断产生像素值的随机过程，对于多模态高斯分布模型，每一个像素点按照不同的权值的多个高斯分布叠加来建模。

本发明的有益效果：本发明通过简单的可视化操作，可快速切换到嫌疑人出现或者离开的视频帧监控画面，可方便辅助安防监控视频回查，且速度快，实现简单；采取多个高斯分布的方式来描述背景像素点的特征，以降低干扰。

附图说明

图1为本发明的算法程序流程图。

图2为人员进入画面帧的前景提取结果。

图3为本发明的生成的可视化信息差熵的曲线结果图。

具体实施方式

下面结合附图并举实施例，对本发明技术方案的具体实施过程加以说明。

本发明的流程具体如图1所示，包括：步骤1、通过监控装置获得并读取监控区域的历史视频数据，如读取失败则提示并直接退出程序；如读取成功则执行步骤2；

步骤2、读取成功后，用户通过鼠标点击响应事件，确定感兴趣区域(Region OfInterest)的左上角的坐标和右下角的坐标，自动生成子窗口在主画面周围以小画面的形式显示，结束后并单独保存ROI区域(Region Of Interest)视频至本地位置；

步骤3、逐帧分析感兴趣区域，通过高斯背景建模对其视频流进行前景运动目标提取；

步骤4、将通过步骤3获取的当前帧的前景模型，与原始背景计算比较，获取当前帧的信息变化情况，计算信息差熵，绘制可视化信息差熵曲线图，并保存关键帧，视频读取结束。

进一步的，所述步骤2是通过鼠标自定义感兴趣区域，因此并不是对全场景进行分析，而是对选取的区域进行分析并保存，故去掉视频中无关的信息能大大节省计算量，提高分析和计算速度。

进一步的，考虑到监控装置为固定摄像头，因此在摄取的图像中，背景是保持不变的，在这种情况下，感兴趣区域中的感兴趣的元素是场景中运动的物体，为了提取这些前景物体，用户需要对背景建模，然后将当前帧的模型与背景模型进行比较，以获取前景物体信息突变帧节点。

同时，对于监控装置而言，视频图像背景像素点在一段时间内变化不大，则可认为服从高斯分布，但是实际过程中，可能存在树枝晃动，水波等干扰，背景像素点会呈现出双峰或者多峰的现象，因此本发明采取自适应混合高斯背景建模分离提取运动的物体，通过计算前景信息熵的突变可快速进行嫌疑人出现的视频帧定位，以降低干扰。

则所述步骤3具体包括以下步骤：步骤301、建立多个高斯分布组成的高斯模型：假设t时刻，像素点(x₀,y₀)取值集合为{X₁,X₂,…X_t}＝{I(x₀,y₀,t_i)|1≤t_i≤t}，其中i为视频帧；

建立一个K个高斯分布组成的高斯模型，K的取值范围为3～5，来近似像素点的所有已出现值，便可得到图像当前像素值出现的概率，即混合高斯模型的概率密度函数：

其中，X_t是t时刻该点的像素值，w_i,t是t时刻混合高斯模型中第k个模型中所占的比重，它代表了由第i个高斯分布产生的采样值在总采样值中的比例；u_i,t是第i个高斯分布的均值向量；∑_i,t表示第i个高斯分布的协方差矩阵；则t时刻第i个高斯分布的定义如下：

其中，n是X_t的维度，此处取值为2；T为矩阵转置；

步骤302、进行初始化：当读入一帧图像后，先给每个位置建立一个高斯分布，均值为第一帧对应位置的像素值，方差去

此时权重取1，处理新的一帧图像时，如果新读入的像素值能与仅有的那个高斯分布相匹配，则仅更新那个高斯分布，否则以新读入的像素值为均值，

为方差，w_init为权重；建立一个新的高斯分布，然后进行权重归一化处理，如此进行，直到高斯分布的个数达到k为止；

步骤303、更新算法：对读入图像的每个像素，与它对应的k个高斯分布进行比较，若满足：|X_t-μ_i,t|≤D×σ_i，D取2.5～3.5之间，则认为该像素点与高斯分布匹配，按照如下公式更新参数(M_i,t＝1)：w_i,t＝(1-α)w_i,t-1+α(M_i,t)，μ_i,t＝(1-ρ)μ_i,t+X_i,t，

其中，α表示学习率，取0.001～0.01，ρ＝α·η(X_t,μ_i,t,σ_i,t)表示参数更新速率；如果不匹配，则该高斯分布的均值，方差都不变，只需要修改w_i,t(M_i,t＝0)；如果该像素点与K个高斯分布都不匹配，则创建新的高斯分布，其均值为对应位置的像素值，方差为

权重为w_init，替换掉权重最小的高斯分布，上述过程之后，各高斯分布的权重进行归一化处理，按照公式λ_i,t＝w_i,t/σ_i,t(i＝1,2,...,k)计算各个高斯分布的优先级，并按从大到小的顺序排序；σ_i表示第i个高斯分布的标准差，σ_i，t表示第i个高斯分布在t时刻的标准差；M_i，t表示flag，即该像素点是否与高斯分布匹配；

步骤304、选择B个高斯分布作为背景模型，

参数r表示背景所占比例，其中r＞0.7；在前景检测时候，如果当前像素与B个高斯分布中任意一个匹配，则认为该像素点属于背景，否则认为该像素点属于前景；

即对K个高斯分布排序，选择排序后的前B个高斯分布作为背景像素模型，检验每个像素与其得到的前B个高斯分布的匹配关系，如果该像素值与该B个高斯分布之一匹配，则判定该像素为背景点，否则认定该像素点被分为前景。

步骤305、优化，由于在每帧中对所有像素的高斯模型都保持相同固定不变的高斯模型个数的话，则会造成系统运算资源的浪费，故在每q个帧，对高斯分布模型进行一次过滤筛选，检查所有高斯分布的权重，如果某个高斯分布满足w_i,t＜w_init&&(w_i,t/σ_i,t)＜(w_init/σ_init)，则将该高斯分布判断为多余的高斯分布，并删除该高斯分布。

其中，在混合高斯模型中，像素之间的颜色信息互不相关，对各像素点的处理都是像素都是相互独立的，对于视频图像中的每一个像素点，其值在序列图像中的变化看作是不断产生像素值的随机过程，对于多模态高斯分布模型，每一个像素点按照不同的权值的多个高斯分布叠加来建模。

进一步的，所述步骤4具体包括以下流程：提取镜头的首帧构建一个参考图片(纯背景)，逐帧提取视频帧中的内容，其中白色为前景内容，黑色区域为背景内容，将前景与初始构建的参考背景做差定义为差熵，以差熵为纵轴，时间为横轴，绘制可视化曲线图，通过差熵可获取前景信息突变时间点，并将该时间点的图像作为关键帧进行保存，从而完成可疑人员或车辆的出现和离开检测。

基于上述所述的一种在长时监控视频中快速定位事件发生时刻的方法，构建用于实现上述方法的一种在长时监控视频中快速定位事件发生时刻的系统，具体包括：用于从监控装置获得并读取监控区域的历史视频数据的第一模块；用于存储鼠标获取的感兴趣区域的第二模块；用于分析感兴趣区域，并通过高斯背景建模对其视频流进行前景运动目标提取的第三模块；以及，用于获取当前帧的信息变化情况，计算信息差熵，绘制可视化信息差熵曲线图，并保存关键帧的第四模块。

其中，第一模块进一步为通过监控装置获得并读取监控区域的历史视频数据，如读取失败则提示并直接退出程序；如读取成功则转移到第二模块中；

所述第二模块具体为用户通过鼠标点击响应事件，确定感兴趣区域的左上角的坐标和右下角的坐标，可缩小区域范围，生成子窗口显示播放，并将保存至本地；

所述第三模块具体为步骤301、建立多个高斯分布组成的高斯模型：假设t时刻，像素点(x₀,y₀)取值集合为{X₁,X₂,…X_t}＝{I(x₀,y₀,t_i)|1≤t_i≤t}，其中i为视频帧；

建立一个K个高斯分布组成的高斯模型，K的取值范围为3～5，来近似像素点的所有已出现值，便可得到图像当前像素值出现的概率，即混合高斯模型的概率密度函数：

其中，X_t是t时刻该点的像素值，w_i,t是t时刻混合高斯模型中第k个模型中所占的比重，它代表了由第i个高斯分布产生的采样值在总采样值中的比例；u_i,t是第i个高斯分布的均值向量；∑_i,t表示第i个高斯分布的协方差矩阵；则t时刻第i个高斯分布的定义如下：

其中，n是X_t的维度，此处取值为2；T为矩阵转置；

步骤302、进行初始化：当读入一帧图像后，先给每个位置建立一个高斯分布，均值为第一帧对应位置的像素值，方差去

此时权重取1，处理新的一帧图像时，如果新读入的像素值能与仅有的那个高斯分布相匹配，则仅更新那个高斯分布，否则以新读入的像素值为均值，

为方差，w_init为权重；建立一个新的高斯分布，然后进行权重归一化处理，如此进行，直到高斯分布的个数达到k为止；

步骤303、更新算法：对读入图像的每个像素，与它对应的k个高斯分布进行比较，若满足：|X_t-μ_i,t|≤D×σ_i，D取2.5～3.5之间，则认为该像素点与高斯分布匹配，按照如下公式更新参数(M_i,t＝1)：w_i,t＝(1-α)w_i,t-1+α(M_i,t)，μ_i,t＝(1-ρ)μ_i,t+X_i,t，

其中，α表示学习率，取0.001～0.01，ρ＝α·η(X_t,μ_i,t,σ_i,t)表示参数更新速率；如果不匹配，则该高斯分布的均值，方差都不变，只需要修改w_i,t(M_i,t＝0)；如果该像素点与K个高斯分布都不匹配，则创建新的高斯分布，其均值为对应位置的像素值，方差为

权重为w_init，替换掉权重最小的高斯分布，上述过程之后，各高斯分布的权重进行归一化处理，按照公式λ_i,t＝w_i,t/σ_i,t(i＝1,2,...,k)计算各个高斯分布的优先级，并按从大到小的顺序排序；σ_i表示第i个高斯分布的标准差，σ_i，t表示第i个高斯分布在t时刻的标准差；M_i，t表示flag，即该像素点是否与高斯分布匹配；

步骤304、选择B个高斯分布作为背景模型，

参数r表示背景所占比例，其中r＞0.7；在前景检测时候，如果当前像素与B个高斯分布中任意一个匹配，则认为该像素点属于背景，否则认为该像素点属于前景；

步骤305、优化，由于在每帧中对所有像素的高斯模型都保持相同固定不变的高斯模型个数的话，则会造成系统运算资源的浪费，故在每q个帧，对高斯分布模型进行一次过滤筛选，检查所有高斯分布的权重，如果某个高斯分布满足w_i,t＜w_init&&(w_i,t/σ_i,t)＜(w_init/σ_init)，则将该高斯分布判断为多余的高斯分布，并删除该高斯分布；

所述第四模块具体为提取后的每帧是一张二值图像，白色为前景运动的物体，背景为黑色，前景与视频开始帧的纯背景做差，当出现运动的人或物时，会出现明显的信息差熵，从而完成可疑人员或车辆的出现和离开检测。

其中，所述监控装置为为固定摄像头，因此背景是保持不变的，为了能够提取感兴趣区域中的前景物体，对背景进行建模，然后将当前帧的模型与背景模型进行比较，以获取前景物体信息突变帧节点；

对于监控视频来说，假设视频图像中背景像素点的特征在一段时间内变化不大，则认为在这一段时间内，背景像素点服从高斯分布；但在实际情况下，存在树枝晃动，水波干扰，背景像素点会呈现出双峰或者多峰，采取多个高斯分布组成的高斯模型来描述背景像素点的特征；

在混合高斯模型中，像素之间的颜色信息互不相关，对各像素点的处理都是像素都是相互独立的，对于视频图像中的每一个像素点，其值在序列图像中的变化看作是不断产生像素值的随机过程，对于多模态高斯分布模型，每一个像素点按照不同的权值的多个高斯分布叠加来建模。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (10)

1.一种在长时监控视频中快速定位事件发生时刻的方法，其特征在于，包括以下步骤：

步骤1、通过监控装置获得并读取监控区域的历史视频数据，如读取失败则提示并直接退出程序；如读取成功则执行步骤2；

步骤2、用户通过鼠标点击响应事件，确定感兴趣区域的左上角的坐标和右下角的坐标，生成子窗口显示播放，并将保存至本地；

步骤3、逐帧分析感兴趣区域，通过高斯背景建模对其视频流进行前景运动目标提取；

步骤4、将通过步骤3获取的当前帧的前景模型，与原始背景计算比较，获取当前帧的信息变化情况，计算信息差熵，绘制可视化信息差熵曲线图，并保存关键帧，视频读取结束。

2.根据权利要求1所述的一种在长时监控视频中快速定位事件发生时刻的方法，其特征在于，所述步骤2是通过鼠标响应自定义感兴趣区域，对其进行分析并保存，去掉视频中无关的信息。

3.根据权利要求1所述的一种在长时监控视频中快速定位事件发生时刻的方法，其特征在于，在步骤3中使用的监控装置为固定摄像头，背景是保持不变的，为了能够提取感兴趣区域中的前景物体，对背景进行建模，然后将当前帧的模型与背景模型进行比较，以获取前景物体信息突变帧节点。

4.根据权利要求1所述的一种在长时监控视频中快速定位事件发生时刻的方法，其特征在于，对于监控装置来说，假设视频图像中背景像素点的特征在一段时间内变化不大，则认为在这一段时间内，背景像素点服从高斯分布；但在实际情况下，存在树枝晃动，水波干扰，背景像素点会呈现出双峰或者多峰，采取多个高斯分布组成的高斯模型来描述背景像素点的特征。

5.根据权利要求4所述的一种在长时监控视频中快速定位事件发生时刻的方法，其特征在于，在混合高斯模型中，像素之间的颜色信息互不相关，对各像素点的处理都是像素都是相互独立的，对于视频图像中的每一个像素点，其值在序列图像中的变化看作是不断产生像素值的随机过程，对于多模态高斯分布模型，每一个像素点按照不同的权值的多个高斯分布叠加来建模。

6.根据权利要求4所述的一种在长时监控视频中快速定位事件发生时刻的方法，其特征在于，所述步骤3具体包括以下流程：

步骤301、建立多个高斯分布组成的高斯模型：假设t时刻，像素点(x₀，y₀)取值集合为{X₁，X₂，…X_t}＝{I(x₀，y₀，t_i)|1≤t_i≤t}，其中i为视频帧；

建立一个K个高斯分布组成的高斯模型，K的取值范围为3～5，来近似像素点的所有已出现值，便可得到图像当前像素值出现的概率，即混合高斯模型的概率密度函数：

其中，X_t是t时刻该点的像素值，w_i，t是t时刻混合高斯模型中第k个模型中所占的比重，它代表了由第i个高斯分布产生的采样值在总采样值中的比例；u_i，t是第i个高斯分布的均值向量；∑_i，t表示第i个高斯分布的协方差矩阵；则t时刻第i个高斯分布的定义如下：；

其中，n是X_t的维度，此处取值为2；T为矩阵转置；

步骤302、进行初始化：当读入一帧图像后，先给每个位置建立一个高斯分布，均值为第一帧对应位置的像素值，方差去

此时权重取1，处理新的一帧图像时，如果新读入的像素值能与仅有的那个高斯分布相匹配，则仅更新那个高斯分布，否则以新读入的像素值为均值，

为方差，w_init为权重；建立一个新的高斯分布，然后进行权重归一化处理，如此进行，直到高斯分布的个数达到k为止；

步骤303、更新算法：对读入图像的每个像素，与它对应的k个高斯分布进行比较，若满足：|X_t-μ_i，t|≤D×σ_i，D取2.5～3.5之间，则认为该像素点与高斯分布匹配，按照如下公式更新参数(M_i，t＝1)：w_i，t＝(1-α)w_i，t-1+α(M_i，t)，μ_i，t＝(1-ρ)μ_i，t+X_i，t，

其中，α表示学习率，取0.001～0.01，ρ＝α·η(X_t，μ_i，t，σ_i，t)表示参数更新速率；如果不匹配，则该高斯分布的均值，方差都不变，只需要修改w_i，t(M_i，t＝0)；如果该像素点与K个高斯分布都不匹配，则创建新的高斯分布，其均值为对应位置的像素值，方差为

权重为w_init，替换掉权重最小的高斯分布，上述过程之后，各高斯分布的权重进行归一化处理，按照公式λ_i，t＝w_i，t/σ_i，t(i＝1，2，...，k)计算各个高斯分布的优先级，并按从大到小的顺序排序；σ_i表示第i个高斯分布的标准差，σ_i，t表示第i个高斯分布在t时刻的标准差；M_i，t表示flag，即该像素点是否与高斯分布匹配；

步骤304、选择B个高斯分布作为背景模型，

参数r表示背景所占比例，其中r＞0.7；在前景检测时候，如果当前像素与B个高斯分布中任意一个匹配，则认为该像素点属于背景，否则认为该像素点属于前景；

步骤305、优化，由于在每帧中对所有像素的高斯模型都保持相同固定不变的高斯模型个数的话，则会造成系统运算资源的浪费，故在每q个帧，对高斯分布模型进行一次过滤筛选，检查所有高斯分布的权重，如果某个高斯分布满足w_i，t＜w_init&&(w_i，t/σ_i，t)＜(w_init/σ_init)，则将该高斯分布判断为多余的高斯分布，并删除该高斯分布。

7.根据权利要求1所述的一种在长时监控视频中快速定位事件发生时刻的方法，其特征在于，所述步骤4具体包括以下流程：提取镜头的首帧构建一个参考图片，逐帧提取视频帧中的内容，其中白色为前景内容，黑色区域为背景内容，将前景与初始构建的参考背景做差定义为差熵，以差熵为纵轴，时间为横轴，绘制可视化曲线图，通过差熵可获取前景信息突变时间点，并将该时间点的图像作为关键帧进行保存，从而完成可疑人员或车辆的出现和离开检测。

8.一种在长时监控视频中快速定位事件发生时刻的系统，用于实现上述权利要求1至7中任意一项方法，其特征在于，包括：

用于从监控装置获得并读取监控区域的历史视频数据的第一模块；

用于存储鼠标获取的感兴趣区域的第二模块；

用于分析感兴趣区域，并通过高斯背景建模对其视频流进行前景运动目标提取的第三模块；

以及，用于获取当前帧的信息变化情况，计算信息差熵，绘制可视化信息差熵曲线图，并保存关键帧的第四模块。

9.根据权利要求8所述的一种在长时监控视频中快速定位事件发生时刻的系统，其特征在于，所述第一模块具体为通过监控装置获得并读取监控区域的历史视频数据，如读取失败则提示并直接退出程序；如读取成功则转移到第二模块中；

所述第二模块具体为用户通过鼠标点击响应事件，确定感兴趣区域的左上角的坐标和右下角的坐标，可缩小区域范围，生成子窗口显示播放，并将保存至本地；

所述第三模块具体为步骤301、建立多个高斯分布组成的高斯模型：假设t时刻，像素点(x₀，y₀)取值集合为{X₁，X₂，…X_t}＝{I(x₀，y₀，t_i)|1≤t_i≤t}，其中i为视频帧；

建立一个K个高斯分布组成的高斯模型，K的取值范围为3～5，来近似像素点的所有已出现值，便可得到图像当前像素值出现的概率，即混合高斯模型的概率密度函数：

其中，X_t是t时刻该点的像素值，w_i，t是t时刻混合高斯模型中第k个模型中所占的比重，它代表了由第i个高斯分布产生的采样值在总采样值中的比例；u_i，t是第i个高斯分布的均值向量；Σ_i，t表示第i个高斯分布的协方差矩阵；则t时刻第i个高斯分布的定义如下：

其中，n是X_t的维度，此处取值为2；T为矩阵转置；

步骤302、进行初始化：当读入一帧图像后，先给每个位置建立一个高斯分布，均值为第一帧对应位置的像素值，方差去

此时权重取1，处理新的一帧图像时，如果新读入的像素值能与仅有的那个高斯分布相匹配，则仅更新那个高斯分布，否则以新读入的像素值为均值，

为方差，w_init为权重；建立一个新的高斯分布，然后进行权重归一化处理，如此进行，直到高斯分布的个数达到k为止；

步骤303、更新算法：对读入图像的每个像素，与它对应的k个高斯分布进行比较，若满足：|X_t-μ_i，t|≤D×σ_i，D取2.5～3.5之间，则认为该像素点与高斯分布匹配，按照如下公式更新参数(M_i，t＝1)：w_i，t＝(1-α)w_i，t-1+α(M_i，t)，μ_i，t＝(1-ρ)μ_i，t+X_i，t，

其中，α表示学习率，取0.001～0.01，ρ＝α·η(X_t，μ_i，t，σ_i，t)表示参数更新速率；如果不匹配，则该高斯分布的均值，方差都不变，只需要修改w_i，t(M_i，t＝0)；如果该像素点与K个高斯分布都不匹配，则创建新的高斯分布，其均值为对应位置的像素值，方差为

权重为w_init，替换掉权重最小的高斯分布，上述过程之后，各高斯分布的权重进行归一化处理，按照公式λ_i，t＝w_i，t/σ_i，t(i＝1，2，...，k)计算各个高斯分布的优先级，并按从大到小的顺序排序；σ_i表示第i个高斯分布的标准差，σ_i，t表示第i个高斯分布在t时刻的标准差；M_i，t表示flag，即该像素点是否与高斯分布匹配；

步骤304、选择B个高斯分布作为背景模型，

参数T₂表示背景所占比例，其中T₂＞0.7；在前景检测时候，如果当前像素与B个高斯分布中任意一个匹配，则认为该像素点属于背景，否则认为该像素点属于前景；

步骤305、优化，由于在每帧中对所有像素的高斯模型都保持相同固定不变的高斯模型个数的话，则会造成系统运算资源的浪费，故在每q个帧，对高斯分布模型进行一次过滤筛选，检查所有高斯分布的权重，如果某个高斯分布满足w_i，t＜w_init&&(w_i，t/σ_i，t)＜(w_init/σ_init)，则将该高斯分布判断为多余的高斯分布，并删除该高斯分布；

所述第四模块具体为提取后的每帧是一张二值图像，白色为前景运动的物体，背景为黑色，前景与视频开始帧的纯背景做差，当出现运动的人或物时，会出现明显的信息差熵，从而完成可疑人员或车辆的出现和离开检测。

10.根据权利要求8所述的一种在长时监控视频中快速定位事件发生时刻的系统，其特征在于，所述监控装置为为固定摄像头，因此背景是保持不变的，为了能够提取感兴趣区域中的前景物体，对背景进行建模，然后将当前帧的模型与背景模型进行比较，以获取前景物体信息突变帧节点；

对于监控视频来说，假设视频图像中背景像素点的特征在一段时间内变化不大，则认为在这一段时间内，背景像素点服从高斯分布；但在实际情况下，存在树枝晃动，水波干扰，背景像素点会呈现出双峰或者多峰，采取多个高斯分布组成的高斯模型来描述背景像素点的特征；

在混合高斯模型中，像素之间的颜色信息互不相关，对各像素点的处理都是像素都是相互独立的，对于视频图像中的每一个像素点，其值在序列图像中的变化看作是不断产生像素值的随机过程，对于多模态高斯分布模型，每一个像素点按照不同的权值的多个高斯分布叠加来建模。

Images