CN106683086B - 一种智能视频监控的背景建模方法和装置 - Google Patents

Abstract

本发明属于视频监控领域，提供一种智能视频监控的背景建模方法和装置，以动态地调节背景的更新速度，实现实时准确的背景建模和前景分割。所述方法包括：对高斯混合背景模型进行初始化；读取用于建立非参数背景模型的N帧图像；从N帧图像的第二帧开始，使用高斯混合背景模型进行前景检测并进行背景更新；从第N+1帧图像开始，使用非参数背景模型进行前景检测并进行背景更新。本发明提供的技术方案一方面提高了单纯使用高斯混合背景模型进行前景检测的计算速度；另一方面，能够将前景分割的大部分误差(即将背景误判为前景)降低，提高了前景分割的精度，如此，减轻了后续图像处理的计算时效性要求，使得对高清视频能够进行实时分析。

Description

一种智能视频监控的背景建模方法和装置

技术领域

本发明属于视频监控领域，尤其涉及一种智能视频监控的背景建模方法和装置。

背景技术

随着经济社会的发展和人们生活水平的提高，安防技术得到人们越来越多的关注与重视，并逐渐上升到了国家的战略发展层面，而在安防技术中通常包含人防、物防和技防三种手段。人防最大的优点就是主动性、实时性，但其非常明显的缺点是受到人的生理限制而无法长时间、不间断地处于工作状态，并且随着人工成本的逐渐升高以及安防项目的规模化和复杂化加大，人防的方式越来越显露其不足；物防就是通过各种物理手段对被保护对象进行封闭、隔离等使其处于安全状态，物防非常明显的缺点是只是被动的防御手段，且效果都相对有限，易破解；技防即技术防范，在很长时间内都是作为人防和物防的补充方式，但是近些年随着技术的进步，尤其计算机软硬件技术的飞速发展、大数据、云计算等技术的兴起、神经网络等理论算法在实际应用中的遍地开花结果，技防已逐渐成为了安防领域的新宠儿。

在技术防范中，视频监控以其直观、实时、有效和部署方便等诸多优点成为了其主要方式，全世界各个地区每年投入数以千万计的硬件监控设备，并且每年都维持在15％以上的复合增长率。据有关机构的调查，保守估计目前全世界有至少2亿部摄像机在静静地观察着我们。虽然这些设施在威慑犯罪、为人们的安全保驾护航及社会稳定等方面起到了很大作用，但也引出了其他问题，主要包括：1)部署了大量的监控设备但是没有相应的人员来维护、使用、监视这些设备，使其成为了摆设，往往只有除了发生异常事件时才会查看相应的设备，往往这个时候又发现摄像机等设备其实已经坏了很久；2)海量的摄像机产生了海量的视频数据，却对这些数据无法有效地处理，这进一步说明了大量的投资都被浪费了。如今随着信息技术的发展，尤其是计算机视觉技术的发展，使得上述问题解的决成为了现实。

这方面又以欧美起步较早且技术较为成熟，美国政府于1997～1999年启动的VSAM项目拉开了自动视频监控技术的序幕，从此经过15年多的发展，自动视频监控技术不断成熟与发展，如今已在各个国家、行业得到了广泛的应用。从边境线、机场、港口、码头，到医院、学校、酒店、写字楼等，有数不清的成功案例。我国从2012年提出智慧城市概念起，如今已到了蓬勃发展的时期，而智慧城市概念中核心组成部分又包括智慧医疗、智慧交通、智慧建筑、智慧校园等概念，而实现这些美好愿景的最有效的技术手段就是自动视频监控技术。自动视频监控技术就是使用先进的计算机算法，对前端采集设备的视频流进行实时计算分析，从而第一时间发现异常事件并产生告警，使被动的监控系统成为主动的防御系统，而不再是录像机和取证工具。

而背景建模技术既是自动视频监控技术中首要环节，又是其核心环节，因为只有对监控场景中的感兴趣的运动目标快速有效地检测出来，后续的识别和分类等工作才有意义，否则，在错误的目标上做任何分析都是毫无意义的。现有的基于移动侦测技术的运动目标检测过于简单，无法在复杂环境下应用，且误报多，使得安保人员往往将其关闭而不启用。

发明内容

本发明的目的在于提供一种智能视频监控的背景建模方法和装置，以动态地调节背景的更新速度，实现实时准确的背景建模和前景分割。

本发明第一方面提供一种智能视频监控的背景建模方法，所述方法包括：

对高斯混合背景模型进行初始化；

读取用于建立非参数背景模型的N帧图像，所述N为大于10的整数；

从所述N帧图像的第二帧开始，使用高斯混合背景模型进行前景检测并进行背景更新；

从第N+1帧图像开始，使用非参数背景模型进行前景检测并进行背景更新。

本发明第二方面提供一种智能视频监控的背景建模装置，所述装置包括：

初始化模块，用于对高斯混合背景模型进行初始化；

读取模块，用于读取用于建立非参数背景模型的N帧图像，所述N为大于10的整数；

第一背景建模模块，用于从所述N帧图像的第二帧开始，使用高斯混合背景模型进行前景检测并进行背景更新；

第二背景建模模块，用于从第N+1帧图像开始，使用非参数背景模型进行前景检测并进行背景更新。

从上述本发明技术方案可知，使用了高斯混合背景模型和非参数背景模型进行前景检测和进行背景更新，一方面，由于非参数背景模型计算出的更新速率通常动态变化较小，提高了单纯使用高斯混合背景模型进行前景检测的计算速度；另一方面，将非参数背景模型和高斯混合背景模型相结合，能够将前景分割的大部分误差(即将背景误判为前景)降低，提高了前景分割的精度，如此，减轻了后续图像处理的计算时效性要求，使得对高清视频能够进行实时分析。

附图说明

图1是本发明实施例一提供的智能视频监控的背景建模方法的实现流程示意图；

图2是本发明实施例二提供的智能视频监控的背景建模装置的结构示意图；

图3是本发明实施例三提供的智能视频监控的背景建模装置的结构示意图；

图4是本发明实施例四提供的智能视频监控的背景建模装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种智能视频监控的背景建模方法，所述方法包括：对高斯混合背景模型进行初始化；读取用于建立非参数背景模型的N帧图像，所述N为大于10的整数；从所述N帧图像的第二帧开始，使用高斯混合背景模型进行前景检测并进行背景更新；从第N+1帧图像开始，使用非参数背景模型进行前景检测并进行背景更新。本发明实施例还提供相应的智能视频监控的背景建模装置。以下分别进行详细说明。

请参阅附图1，是本发明实施例一提供的智能视频监控的背景建模方法的实现流程示意图，主要包括以下步骤S101至步骤S104，详细说明如下：

S101，对高斯混合背景模型进行初始化。

在本发明实施例中，对高斯混合背景模型进行初始化可以是使用智能视频监控的第一帧图像对高斯混合背景模型的方差、背景更新参数等进行初始化，具体地，令μ₀(x,y)＝I(x,y,0)，其中，I(x,y,0)为0时刻的图像位于(x，y)处像素的像素值，μ₀(x,y)为其初始期望值，为其初始方差，sd为其初始标准差，其值可以设为25，背景更新参数α可以设置为α＝3.0，初始前景图像可设置为空。

S102，读取用于建立非参数背景模型的N帧图像。

其中，N为大于10的整数，例如，N可以取为[15，30]之间的任意整数。N帧图像建立非参数背景模型，其过程是对每帧图像的每个像素都进行背景建模，具体过程可表示为：

B(x_i)＝{B₁(x_i),B₂(x_i),...,B_k(x_i),...,B_N(x_i)}，其中，B_k(x_i)表示所建立的非参数背景模型对应于第k帧图像位于x_i处像素像素的像素值。

S103，从N帧图像的第二帧开始，使用高斯混合背景模型进行前景检测并进行背景更新。

作为本发明一个实施例，从N帧图像的第二帧开始，使用高斯混合背景模型进行前景检测并进行背景更新可通过如下步骤S1031至S1033实现：

S1031，比较|I(x,y,t)-μ_t-1(x,y)|与λσ_t-1的大小。

上述表达式中，I(x,y,t)为t时刻位于(x，y)处像素的像素值，μ_t-1(x,y)为t-1时刻位于(x，y)处像素的期望值，λ为任意t’时刻位于(x’，y’)处像素的像素值与高斯混合背景模型中任意t’时刻位于(x’，y’)处像素的像素值的均值偏差范围，σ_t-1为t-1时刻位于(x，y)处像素的像素值的标准差。

S1032，若经比较，|I(x,y,t)-μ_t-1(x,y)|小于λσ_t-1，则判断t时刻位于(x，y)处像素为背景点，否则，判断t时刻位于(x，y)处像素为前景点。

S1033，按照公式μ_t(x,y)＝(1-α)*μ_t-1(x,y)+α*I(x,y,t)和公式对t时刻位于(x，y)处像素的期望值μ_t(x,y)和t-1时刻方差进行更新。

即，将(1-α)*μ_t-1(x,y)+α*I(x,y,t)取代t时刻位于(x，y)处像素的期望值μ_t(x,y)，使得μ_t(x,y)更新为(1-α)*μ_t-1(x,y)+α*I(x,y,t)，将取代t-1时刻方差使得更新为此处，α为背景更新参数。

S104，从第N+1帧图像开始，使用非参数背景模型进行前景检测并进行背景更新。

作为本发明一个实施例，从第N+1帧图像开始，使用非参数背景模型进行前景检测并进行背景更新可通过如下步骤S1041至S1043实现：

S1041，比较num与min的大小。

此处，num为从第N+1帧开始的图像并位于x_i处像素的像素值与非参数背景模型中x_i处像素的像素值之间的距离均小于相似度阈值R(x_i)时的像素个数，min为预设全局参数。在本发明实施例中，相似度阈值R(x_i)用于从第N+1帧开始的图像并位于x_i处像素与非参数背景模型中x_i处像素的相似程度，对每个不同的像素，该值不同。

S1042，若num不小于min，则判断位于x_i处像素为背景点，否则，判断位于x_i处像素为前景点。

结合对num的定义以及像素是背景点还是前景点的判定原则可知，当位于x_i处像素的像素值与非参数背景模型中同一位置即x_i处像素的像素值之间的距离足够小，即小于相似度阈值R(x_i)，并位于x_i处的此类像素至少有min个，则认为位于x_i处的此类像素与非参数背景模型中同一位置即x_i处像素足够接近，因此，位于x_i处的像素被判定为背景点，否则，位于x_i处的像素就是前景点。至于min的值，可通过实验确定，通常可取为[3，6]之间的任意整数。

对每个像素进行前景分割即判断每个像素是前景点还是背景点后，进一步可计算其动态信息。由于在动态变化范围较大的背景下，每个像素的相似度阈值R(x_i)应该大一些，如此才不会将一些运动的干扰信息误判为前景点，相反在动态范围较小的静态场景中，每个像素的相似度阈值R(x_i)应该小一些，如此才会保证真正的前景点不会被漏检，而像素的动态信息可以通过其历史像素值的方差来近似表示，因此，对每个像素可维护一个其象素值与其历史像素值的方差队列，通过这些方差的均值可计算出每个像素的相似度阈值R(x_i)的大小。在本发明实施例中，相似度阈值R(x_i)可按照如下方式更新：

其中，R'(x_i)为前一时刻即前一帧图像位于x_i处像素的相似度阈值，d_min(x_i)为位于x_i处像素历史动态变化的像素值的均值，β为修正参数。

S1043，将当前时刻的非参数背景模型替换当前时刻之前时刻的非参数背景模型。

将当前时刻的非参数背景模型替换当前时刻之前时刻的非参数背景模型，即实现对非参数背景模型的更新。

在上述本发明实施例中，使用高斯混合背景模型进行背景更新或使用非参数背景模型进行背景更新的背景更新参数α为1/T(x_i)，其中，T(x_i)为每个像素的背景学习率，其计算式为：T^f和T^b分别为适用于前景点和背景点的预设参数，d_min(x_i)为位于x_i处像素历史动态变化的像素值的均值，T'(x_i)为前一时刻相应的T(x_i)。

需要说明的是，之所以将前景点和背景点的预设参数设置为不同的参数T^f和T^b，主要是考虑到由于图像中大部分像素都是背景点，如果预设参数T^f和T^b设置相同值，则导致归一化不平衡问题。

另需说明的是，由于在实际应用中，智能视频监控的图像中大部分像素为背景区域，因此，由非参数背景模型的建模引起的累积错误大部分是将背景点误判为前景点。为了修正上述缺陷，在本发明实施例中，若使用非参数背景模型进行前景检测，判断位于x_i'处像素为前景点，则还可以使用高斯混合背景模型对位于x_i'处像素进行前景检测，若使用高斯混合背景模型判断位于x_i'处像素仍然为前景点，则判断位于x_i'处像素为前景点，否则，判断位于x_i'处像素为背景点。

从上述附图1示例的智能视频监控的背景建模方法可知，使用了高斯混合背景模型和非参数背景模型进行前景检测和进行背景更新，一方面，由于非参数背景模型计算出的更新速率通常动态变化较小，提高了单纯使用高斯混合背景模型进行前景检测的计算速度；另一方面，将非参数背景模型和高斯混合背景模型相结合，能够将前景分割的大部分误差(即将背景误判为前景)降低，提高了前景分割的精度，如此，减轻了后续图像处理的计算时效性要求，使得对高清视频能够进行实时分析。

请参阅附图2，是本发明实施例二提供的智能视频监控的背景建模装置的结构示意图。为了便于说明，附图2仅示出了与本发明实施例相关的部分。附图2示例的智能视频监控的背景建模装置主要包括初始化模块201、读取模块202、第一背景建模模块203和第二背景建模模块204，详细说明如下：

初始化模块201，用于对高斯混合背景模型进行初始化；

读取模块202，用于读取用于建立非参数背景模型的N帧图像，其中，N为大于10的整数；

第一背景建模模块203，用于从N帧图像的第二帧开始，使用高斯混合背景模型进行前景检测并进行背景更新；

第二背景建模模块204，用于从第N+1帧图像开始，使用非参数背景模型进行前景检测并进行背景更新。

附图2示例的第一背景建模模块203可以包括第一比较单元301、第一判断单元302和第一更新单元303，如附图3所示本发明实施例三提供的智能视频监控的背景建模装置，其中：

第一比较单元301，用于比较|I(x,y,t)-μ_t-1(x,y)|与λσ_t-1的大小，其中，I(x,y,t)为t时刻位于(x，y)处像素的像素值，μ_t-1(x,y)为t-1时刻位于(x，y)处像素的期望值，λ为任意t’时刻位于(x’，y’)处像素的像素值与高斯混合背景模型中任意t’时刻位于(x’，y’)处像素的像素值的均值偏差范围，σ_t-1为t-1时刻位于(x，y)处像素的像素值的标准差；

第一判断单元302，用于若第一比较单元301的比较结果为|I(x,y,t)-μ_t-1(x,y)|小于λσ_t-1，则判断t时刻位于(x，y)处像素为背景点，否则，判断t时刻位于(x，y)处像素为前景点；

第一更新单元303，用于按照公式μ_t(x,y)＝(1-α)*μ_t-1(x,y)+α*I(x,y,t)和公式对t时刻位于(x，y)处像素的期望值μ_t(x,y)和t-1时刻方差进行更新，其中，α为背景更新参数。

附图2示例的第二背景建模模块204可以包括第二比较单元401、第二判断单元402和第二更新单元403，如附图4所示本发明实施例四提供的智能视频监控的背景建模装置，其中：

第二比较单元401，用于比较num与min的大小，其中，num为从第N+1帧开始的图像并位于x_i处像素的像素值与非参数背景模型中x_i处像素的像素值之间的距离均小于相似度阈值R(x_i)时的像素个数，min为预设全局参数；

第二判断单元402，用于若第二比较单元401的比较结果为num不小于min，则判断位于x_i处像素为背景点，否则，判断位于x_i处像素为前景点；

第二更新单元403，用于将当前时刻的非参数背景模型替换当前时刻之前时刻的非参数背景模型。

在附图4示例的装置中，R(x_i)按照如下方式更新：

R'(x_i)为前一时刻的相似度阈值，d_min(x_i)为位于x_i处像素历史动态变化的像素值的均值，β为修正参数。

在上述本发明示例的装置中，使用高斯混合背景模型进行背景更新或使用非参数背景模型进行背景更新的背景更新参数为1/T(x_i)，T(x_i)的计算式为

T^f和T^b分别为适用于前景点和背景点的预设参数，d_min(x_i)为位于x_i处像素历史动态变化的像素值的均值。

在上述本发明示例的装置中，若第一背景建模模块203使用非参数背景模型进行前景检测，判断位于x_i'处像素为前景点，则第二背景建模模块204使用高斯混合背景模型对位于x_i'处像素进行前景检测，若第二背景建模模块204使用高斯混合背景模型判断位于x_i'处像素仍然为前景点，则判断位于x_i'处像素为前景点，否则，判断位于x_i'处像素为背景点。

需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上对本发明实施例所提供的智能视频监控的背景建模方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种智能视频监控的背景建模方法，其特征在于，所述方法包括：

对高斯混合背景模型进行初始化；

读取用于建立非参数背景模型的N帧图像，所述N为大于10的整数；

从所述N帧图像的第二帧开始，使用高斯混合背景模型进行前景检测并进行背景更新；

从第N+1帧图像开始，使用非参数背景模型进行前景检测并进行背景更新；

使用高斯混合背景模型进行背景更新或使用非参数背景模型进行背景更新的背景更新参数为1/T(x_i)，所述T(x_i)的计算式为所述T^f和T^b分别为适用于前景点和背景点的预设参数，所述d_min(x_i)为位于x_i处像素历史动态变化的像素值的均值；

若使用所述非参数背景模型进行前景检测，判断位于x_i'处像素为前景点，则所述方法还包括：

使用所述高斯混合背景模型对位于x_i'处像素进行前景检测，若使用所述高斯混合背景模型判断所述位于x_i'处像素为前景点，则判断所述位于x_i'处像素为前景点，否则，判断所述位于x_i'处像素为背景点；

所述从第N+1帧图像开始，使用非参数背景模型进行前景检测并进行背景更新，包括：

比较num与min的大小，所述num为所述从第N+1帧开始的图像并位于x_i处像素的像素值与所述非参数背景模型中x_i处像素的像素值之间的距离均小于相似度阈值R(x_i)时的像素个数，所述min为预设全局参数；

若所述num不小于所述min，则判断所述位于x_i处像素为背景点，否则，判断所述位于x_i处像素为前景点；

将当前时刻的非参数背景模型替换当前时刻之前时刻的非参数背景模型；

所述R(x_i)按照如下方式更新：

所述R'(x_i)为前一时刻的相似度阈值，所述d_min(x_i)为位于x_i处像素历史动态变化的像素值的均值，所述β为修正参数。

2.如权利要求1所述的方法，其特征在于，所述从所述N帧图像的第二帧开始，使用高斯混合背景模型进行前景检测并进行背景更新，包括：

比较|I(x,y,t)-μ_t-1(x,y)|与λσ_t-1的大小，所述I(x,y,t)为t时刻位于(x，y)处像素的像素值，所述μ_t-1(x,y)为t-1时刻位于(x，y)处像素的期望值，所述λ为任意t’时刻位于(x’，y’)处像素的像素值与所述高斯混合背景模型中任意t’时刻位于(x’，y’)处像素的像素值的均值偏差范围，所述σ_t-1为t-1时刻位于(x，y)处像素的像素值的标准差；

若所述|I(x,y,t)-μ_t-1(x,y)|小于所述λσ_t-1，则判断所述t时刻位于(x，y)处像素为背景点，否则，所述判断t时刻位于(x，y)处像素为前景点；

按照公式μ_t(x,y)＝(1-α)*μ_t-1(x,y)+α*I(x,y,t)和公式对t时刻位于(x，y)处像素的期望值μ_t(x,y)和t-1时刻方差进行更新，所述α为背景更新参数。

3.一种智能视频监控的背景建模装置，其特征在于，所述装置包括：

初始化模块，用于对高斯混合背景模型进行初始化；

读取模块，用于读取用于建立非参数背景模型的N帧图像，所述N为大于10的整数；

第一背景建模模块，用于从所述N帧图像的第二帧开始，使用高斯混合背景模型进行前景检测并进行背景更新；

第二背景建模模块，用于从第N+1帧图像开始，使用非参数背景模型进行前景检测并进行背景更新；

所述使用高斯混合背景模型进行背景更新或使用非参数背景模型进行背景更新的背景更新参数为：1/T(x_i)；

所述T(x_i)的计算式为所述T^f和T^b分别为适用于前景点和背景点的预设参数，所述d_min(x_i)为位于x_i处像素历史动态变化的像素值的均值；

若使用所述非参数背景模型进行前景检测，判断位于x_i'处像素为前景点，则所述装置还包括：

使用所述高斯混合背景模型对位于x_i'处像素进行前景检测，若使用所述高斯混合背景模型判断所述位于x_i'处像素为前景点，则判断所述位于x_i'处像素为前景点，否则，判断所述位于x_i'处像素为背景点；

所述第二背景建模模块包括：

第二比较单元，用于比较num与min的大小，所述num为所述从第N+1帧开始的图像并位于x_i处像素的像素值与所述非参数背景模型中x_i处像素的像素值之间的距离均小于相似度阈值R(x_i)时的像素个数，所述min为预设全局参数；

第二判断单元，用于若所述第二比较单元的比较结果为所述num不小于所述min，则判断所述位于x_i处像素为背景点，否则，判断所述位于x_i处像素为前景点；

第二更新单元，用于将当前时刻的非参数背景模型替换当前时刻之前时刻的非参数背景模型；

所述R(x_i)按照如下方式更新：

所述R'(x_i)为前一时刻的相似度阈值，所述d_min(x_i)为位于x_i处像素历史动态变化的像素值的均值，所述β为修正参数。

4.如权利要求3所述的装置，其特征在于，所述第一背景建模模块包括：

第一比较单元，用于比较|I(x,y,t)-μ_t-1(x,y)|与λσ_t-1的大小，所述I(x,y,t)为t时刻位于(x，y)处像素的像素值，所述μ_t-1(x,y)为t-1时刻位于(x，y)处像素的期望值，所述λ为任意t’时刻位于(x’，y’)处像素的像素值与所述高斯混合背景模型中任意t’时刻位于(x’，y’)处像素的像素值的均值偏差范围，所述σ_t-1为t-1时刻位于(x，y)处像素的像素值的标准差；

第一判断单元，用于若所述第一比较单元的比较结果为所述|I(x,y,t)-μ_t-1(x,y)|小于所述λσ_t-1，则判断所述t时刻位于(x，y)处像素为背景点，否则，所述判断t时刻位于(x，y)处像素为前景点；

第一更新单元，用于按照公式μ_t(x,y)＝(1-α)*μ_t-1(x,y)+α*I(x,y,t)和公式对t时刻位于(x，y)处像素的期望值μt(x,y)和t-1时刻方差进行更新，所述α为背景更新参数。