CN101635833B - 一种视频监控方法、装置及系统 - Google Patents

Abstract

本发明适用于监控技术领域，提供了一种监控方法、装置及系统，所述方法包括：根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像；根据获取的时空累计帧差图像提取目标区域；对目标区域进行处理，获取目标点。本发明实施例在监控场景受外界环境影响的情况下，仍然能够准确地检测到遗留物等物体，提高了监控系统的准确度，方便了用户的使用。

Description

一种视频监控方法、装置及系统

技术领域

本发明属于监控技术领域，尤其涉及一种视频监控方法、装置及系统。

背景技术

智能视频监控是计算机视觉领域中的一个重要方面，它能够分析并理解监控场景中的物体以及事件。

现有技术中，视频监控一般是利用摄象机获取监控场景的视频图像，由监控人员进行监视，或者在事后进行调查取证时使用。但是研究表明，肉眼在连续注视20分钟后，注意力会下降95％，因此很容易丢失一些重要信息。

实际应用中的智能视频监控系统往往需要对可疑遗留物品进行检测，这些可疑遗留物如：袋子、背包、包裹等物品，被遗留或丢弃在重要区域内，这些遗留物有可能是无意遗留，也有可能是被不法分子为了搞破坏而恶意放置的爆炸物、易燃物、生化污染物。如果是后者，将对公共安全造成极大的危害，因此智能监控系统应当能及时检测到遗留物体的出现并实时向安全人员报警。

从目前的研究成果看，目标检测是个相当重要但又比较困难的问题。原因是在动态场景中捕获的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的运动干扰、运动目标造成的阴影等等因素都给准确有效的目标检测带来困难。尤其对于遗留物来讲，运动的行人、飘动的树叶等对这些静止的遗留物的部分或全部特征造成的遮挡或其他影响，都会对物体检测造成一定的困难。

综上所述，由于外部环境的变化影响，监控系统不能准确的检测到监控场景中的遗留物。

发明内容

本发明实施例的目的在于提供一种视频监控方法，旨在解决外部环境的变化影响，监控系统不能准确的检测到监控场景中的遗留物的问题。

本发明实施例是这样实现的，一种视频监控方法，所述方法包括：

根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像；

根据获取的时空累计帧差图像提取目标区域；

对目标区域中的噪声点或者干扰物区域进行处理，获取目标点；

在对目标区域进行处理，获取目标点时，包括以下准则：

区域的面积在系统设定的阈值范围内；

区域的质心在系统设定的范围内；以及

区域的宽高比符合系统设定的比例。

本发明实施例的另一目的在于提供一种视频监控装置，所述装置包括：

时空累计帧差图像获取模块，用于根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像；

目标区域获取模块，用于根据获取的时空累计帧差图像提取目标区域；

目标点获取模块，用于对目标区域中的噪声点或者干扰物区域进行处理，获取目标点；

其中，目标点获取模块在对目标区域进行处理，获取目标点时，包括以下准则：

区域的面积在系统设定的阈值范围内；

区域的质心在系统设定的范围内；以及

区域的宽高比符合系统设定的比例。

本发明实施例的另一目的在于提供一种视频监控系统，所述系统包括一视频监控装置，所述装置包括：

时空累计帧差图像获取模块，用于根据所述获取的视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像；

目标区域获取模块，用于根据获取的时空累计帧差图像提取目标区域；

目标点获取模块，用于对目标区域中的噪声点或者干扰物区域进行处理，获取目标点；

其中，目标点获取模块在对目标区域进行处理，获取目标点时，包括以下准则：

区域的面积在系统设定的阈值范围内；

区域的质心在系统设定的范围内；以及

区域的宽高比符合系统设定的比例。

本发明实施例根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像，根据获取的时空累计帧差图像提取目标区域，对目标区域进行处理，获取目标点。本发明实施例在监控场景受影响的情况下，仍然能够准确地检测遗留物等，方便了用户的使用。

附图说明

图1是本发明实施例提供的视频监控方法的流程图；

图2是本发明实施例提供的视频监控装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像，根据获取的时空累计帧差图像提取目标区域，对目标区域进行处理，获取目标点。

图1示出了本发明实施例提供的视频监控方法的流程。

在步骤S101中，获取视频序列，并对获取的视频序列进行系统噪声滤除处理。

由于在背景完全静止的情况下，开始输入的视频序列由于各种原因，图像容易出现噪声，因此，首先需要对输入的视频序列进行预处理，滤除图像中的尖锐噪声。优选的，采用平滑滤波的方式对图像来进行处理。

在步骤S102中，计算累计时空帧差图像并融合邻域背景差分变化检测进行目标区域的提取。

其中，根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像。

在具体实施过程中，累计一定数量帧数的视频序列的图像与背景图像的差图像以及视频序列相邻帧差图像，获取两幅累计时空帧差图像，并分别对两幅累计时空帧差图像进行二值化。

在摄象机保持不动的视频监控序列中，遗留物体对象主要表现出以下几个特点：(1)出现的遗留物不是背景，一定与原始的背景图像有所区别。(2)遗留物体在一段连续序列中位置保持不变，且其内部象素点变化比较少。(3)遗留物体在图像序列中应连续出现足够长一段时间。

根据遗留物体的上述特点，算法选择由图像与背景图像之间的差图像以及输入视频序列帧间差图像两方面的变化信息来制定判断规则进行遗留物体的提取和检测。因为背景差可以直接给出相对背景发生变化区域的位置、大小、形状等信息，反映的是图像在空间方面的变化，因此被称为空域帧差；而帧间差分则是图像象素的是对相邻图像帧的比较，反映出图像中象素的随时间变化变化信息，因此被称为时域帧差。

由于遗留物体在图像序列中会保持一定长的时间，因此，在获取的视频序列图像与背景图像的差图像中遗留物体所在位置的象素点的值比别的象素点的值要高，在累计差图像中则表现更为明显。因此，可累积M帧的背景差分图像，对最后的累计差分图像进行二值化处理。

在对目标区域进行处理时，根据累计帧背景差目标检测、累计帧间差目标检测和邻域背景差分运动检测获取目标区域。

其中，累计空域差分图像中的目标检测描述如下：

假定背景重建算法为每个象素构建了n个背景图像，只要输入象素值和其中的任何一幅背景匹配，则认为该象素为背景；而输入象素值与该象素点的所有背景都不匹配，则被认为是目标。

累计帧背景差分公式为：

$D_b(i,j)=\underset{t-M}{\overset{t}{\mathrm{\Σ}}}\underset{k}{\min }|I_t(i,j)-B^k(i,j)|,$

$\∀k\∈(\mathrm{1,2},\mathrm{\Λ},n)---\left(1\right)$

其中，I_t(i，j)为t时刻的输入图像在坐标为(i，j)处的灰度值，B^k(i，j)为第k幅背景图像在坐标为(i，j)处的灰度值；

基于累计帧背景差的目标提取公式为：

其中σ_b为门限值。

累计时域差分图像中的目标检测描述如下：

由于遗留物体在视频序列中一般保持静止不动，其区域内部象素在一定时间段内的变化较小。因此，在存在干扰物运动的视频序列中，相邻两帧的差图像中遗留物体象素点的值应比其余象素点的值要低，在累计差图像中则表现更为明显。因此，可累积M帧的帧间差分图像，对最后的累计差分图像进行二值化处理并提取候选目标区域。这个规则可以消除经过的行人等干扰物的影响。

帧差法根据视频序列中相邻帧或隔帧图像间灰度变化的大小来检测目标，能实时处理且对光线变化不敏感。

累计帧间差分公式为：

$D_f(i,j)=\underset{t-M}{\overset{t}{\mathrm{\Σ}}}\underset{k}{\min }|I_{t+1}(i,j)-I_t(i,j)|---\left(3\right)$

为避免重复计算，基于累计帧差的目标提取只针对这里少了个M_b中的候选目标区域进行。

其中σ_f为门限值。

邻域背景差分变化检测描述如下：

在室外的复杂场景中，场景本身常常表现为邻域运动，如飘动的旗帜、晃动的树叶等。因而在进行目标检测时，考虑象素的邻域信息可以避免将场景本身的运动检测为变化区域，基于邻域的背景差分：

$D_n(i,j)=\underset{k}{\min }\left(\underset{\mathrm{ni},\mathrm{nj}}{\min }\left(\right|I_t(i,j)-B^k(i+\mathrm{ni},j+\mathrm{nj})\left|\right)\right),---\left(5\right)$

ni，nj∈{-1，0，1}， $\∀k\∈(\mathrm{1,2},...,n)$

通常，考虑3×3或5×5的小邻域。

类似地，邻域背景差分运动检测只对M_f的目标区域进行。邻域背景差分运动检测：

其中，σ_n为门限值，M_n为所提取出的候选目标点，即累计帧背景差目标检测、累计帧间差目标检测和邻域背景差分运动检测同时判断为目标的象素点。

在步骤S103中，对获取的目标区域进行处理，获取目标点。

在具体实施过程中，在获取目标区域后，图像中还存在一些噪声点或干扰物区域，在目标对象内部也可能存在许多小洞，有时甚至造成目标对象分为几个小的区域，因此并不能准确地确定对象的边界。常用的解决方法是利用形态学中的开闭算子进行图像后处理，这种方法能在一定程度上去除噪声点，填补目标对象内部的空洞，但是无法去除变化剧烈的噪声带和较大的阴影区域。

作为本发明的实施例，通过判断准则去除一些细长条形的噪声带及部分阴影区域，这些判断准则包括：

(1)区域的面积是否在系统设定的阈值范围内，其中，该准则可以消除小的噪声区域。

(2)区域的质心是否在系统设定的范围内，其中，该准则可以首先设置感兴趣区域，在这个区域以外的目标不认为是感兴趣目标。

(3)区域的宽高比是否符合系统设定的比例，其中，通过该准则可以消除中途进入场景后静止站立的人等干扰目标及细长条噪声等。

如果以上的3个条件都满足，系统就判定为出现了目标点并报警。

本发明实施例还提供一种监控系统，该监控系统包括一视频监控装置，请参阅图2。

视频列处理模块21获取视频序列，并对获取的视频序列进行系统噪声滤除处理。

时空累计帧差图像获取模块22根据所述获取的视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像。

作为本发明的实施例，时空累计帧差图像获取模块22具体包括：

空域累计帧差图像获取模块221，用于计算并累计多个帧图像与背景图像的差图像以及相邻帧差图像，获取空域累计帧差图像；

时域累计帧差图像获取模块222，用于计算并累计多个帧图像与背景图像的差图像以及相邻帧差图像，获取时域累计帧差图像；以及

二值化处理模块223，用于分别对获取的空域累计帧差图像和时域累计帧差图像进行二值化处理获取时空累计帧差图像。

目标区域获取模块23根据获取的时空累计帧差图像提取目标区域。

其中，目标区域获取模块23根据累计时空帧差图像并融合邻域背景差分变化检测进行目标区域的提取。

在对目标区域进行处理时，目标区域获取模块23根据累计帧背景差目标检测、累计帧间差目标检测和邻域背景差分运动检测获取目标点。

目标点获取模块24对目标区域进行处理，获取目标点，其中，目标点获取模块24通过以下准则提取目标点：

区域的面积在系统设定的阈值范围内；区域的质心在系统设定的范围内；以及，区域的宽高比符合设定的比例。

本发明实施例根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像，根据获取的时空累计帧差图像提取目标区域，对目标区域进行处理，获取目标点。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种视频监控方法，其特征在于，所述方法包括：

根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像；

根据获取的时空累计帧差图像提取目标区域；

对目标区域中的噪声点或者干扰物区域进行处理，获取目标点；

在对目标区域进行处理，获取目标点时，包括以下准则：

区域的面积在系统设定的阈值范围内；

区域的质心在系统设定的范围内；以及

区域的宽高比符合系统设定的比例。

2.如权利要求1所述的视频监控方法，其特征在于，在根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像的步骤之前，所述方法还包括：

获取视频序列，并对获取的视频序列进行系统噪声滤除处理。

3.如权利要求1所述的视频监控方法，其特征在于，所述根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像的步骤具体包括：

分别计算并累计多个帧图像与背景图像的差图像以及相邻帧差图像，获取空域累计帧差图像和时域累计帧差图像；

并分别对获取的空域累计帧差图像和时域累计帧差图像进行二值化处理获取时空累计帧差图像。

4.一种视频监控装置，其特征在于，所述装置包括：

时空累计帧差图像获取模块，用于根据视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像；

目标区域获取模块，用于根据获取的时空累计帧差图像提取目标区域；

目标点获取模块，用于对目标区域中的噪声点或者干扰物区域进行处理，获取目标点；

其中，目标点获取模块在对目标区域进行处理，获取目标点时，包括以下准则：

区域的面积在系统设定的阈值范围内；

区域的质心在系统设定的范围内；以及

区域的宽高比符合系统设定的比例。

5.如权利要求4所述的视频监控装置，其特征在于，所述装置还包括：

视频序列处理模块，用于获取视频序列，并对获取的视频序列进行系统噪声滤除处理。

6.如权利要求4所述的视频监控装置，其特征在于，所述时空累计帧差图像获取模块具体包括：

空域累计帧差图像获取模块，用于计算并累计多个帧图像与背景图像的差图像以及相邻帧差图像，获取空域累计帧差图像；

时域累计帧差图像获取模块，用于计算并累计多个帧图像与背景图像的差图像以及相邻帧差图像，获取时域累计帧差图像；以及

二值化处理模块，用于分别对获取的空域累计帧差图像和时域累计帧差图像进行二值化处理获取时空累计帧差图像。

7.一种视频监控系统，其特征在于，所述系统包括一视频监控装置，所述装置包括：

时空累计帧差图像获取模块，用于根据所述获取的视频序列的图像与系统背景图像的差分图像以及该视频序列相邻帧差图像获取时空累计帧差图像；

目标区域获取模块，用于根据获取的时空累计帧差图像提取目标区域；

目标点获取模块，用于对目标区域中的噪声点或者干扰物区域进行处理，获取目标点；

其中，目标点获取模块在对目标区域进行处理，获取目标点时，包括以下准则：

区域的面积在系统设定的阈值范围内；

区域的质心在系统设定的范围内；以及

区域的宽高比符合系统设定的比例。

8.如权利要求7所述的视频监控系统，其特征在于，所述视频监控装置还包括：

视频序列处理模，用于获取视频序列，并对获取的视频序列进行系统噪声滤除处理；

9.如权利要求7所述的视频监控系统，其特征在于，所述时空累计帧差图像获取模块具体包括：

空域累计帧差图像获取模块，用于计算并累计多个帧图像与背景图像的差图像以及相邻帧差图像，获取空域累计帧差图像；

时域累计帧差图像获取模块，用于计算并累计多个帧图像与背景图像的差图像以及相邻帧差图像，获取时域累计帧差图像；以及

二值化处理模，用于分别对获取的空域累计帧差图像和时域累计帧差图像进行二值化处理获取时空累计帧差图像。

Images