CN110135224A - 一种监控视频的前景目标提取方法及系统、存储介质及终端 - Google Patents

Abstract

本发明提供一种监控视频的前景目标提取方法及系统、存储介质及终端，包括以下步骤：基于监控视频流中起始的预设数量的图像帧构建混合高斯模型；基于所述监控视频流的所有图像帧预设次数优化所述混合高斯模型；根据所述优化后的混合高斯模型提取监控视频流中的前景目标。本发明的监控视频的前景目标提取方法及系统、存储介质及终端在保持算法较低的复杂度的同时，提高了视频监控任务中的前景目标提取效果。

Description

一种监控视频的前景目标提取方法及系统、存储介质及终端

技术领域

本发明涉及图像处理的技术领域，特别是涉及一种监控视频的前景目标提取方法及系统、存储介质及终端。

背景技术

视觉是人类获取外界信息最重要的方式，也是最便捷直观的方式。而通过采集视觉信息的视频监控对于安防领域具有重要的意义。随着“平安城市”理念的日益深入人心，各个城市普遍安装监控摄像头，广泛地采集视觉信息，保障人民生产生活的安全。近年来，全国各大城市安装的监控摄像头数量急剧增长，各大企业、重要公共场所等地方甚至实现了监控视频的全方位覆盖，如北京、上海、杭州监控摄像头分布密度分别约为71、158、130个/平方公里，摄像头数量分别达到115万、100万、40万，从而为人们提供了丰富、海量的监控视频信息，有效地保障了人民生产和生活安全。

一直以来，监控视频信息的自动化处理与信息提取在计算机视觉、人工智能、模式识别等领域受到了广泛地关注。高效、快速地从监控视频中提取前景目标信息是基于监控视频信息处理任务的基础。前景目标提取技术对于后续任务具有十分重要的辅佐作用。前景目标提取能够事先提取视频中的运动信息，排除背景的干扰，对比度明显，人眼识别难度降低，大大提高了安全部门人员的工作效率。因此，这一技术已被广泛应用于视频目标追踪、城市交通检测、长时场景监测、视频动作捕捉、视频压缩等应用中。

监控视频的前景目标提取的难点在于监控视频的背景往往复杂、多变和动态。目前景目标的提取方法主要包括帧间差分模型、背景减除模型和神经网络模型。然而，帧间差分模型提取方法提取的前景目标存在空洞，对目标不同运动速度的适应性差；神经网络模型把前景提取问题看作机器学习领域中的回归问题，训练出一个神经元网络模型，对未知像素进行分类，从而进行前景的判断，但是计算量大，样本需求高、提取时间长。背景减除模型的难点在于对视频的背景进行建模，然后将背景从视频帧图像中减去，这样便将前景目标提取出来。背景模型建立的效果直接影响前景目标提取的效果。现有技术中常用的背景建模方法有平均背景法、高斯模型法等。这些背景建模方法的优势在于原理简单、算法计算复杂度低；缺点在于不能对图像背景的变化具有良好的适应性。当视频背景发生变化时，前景目标提取的效果会显著降低。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种监控视频的前景目标提取方法及系统、存储介质及终端，在保持算法较低的复杂度的同时，提高了视频监控任务中的前景目标提取效果。

为实现上述目的及其他相关目的，本发明提供一种监控视频的前景目标提取方法，包括以下步骤：基于监控视频流中起始的预设数量的图像帧构建混合高斯模型；基于所述监控视频流的所有图像帧预设次数优化所述混合高斯模型；根据所述优化后的混合高斯模型提取监控视频流中的前景目标。

于本发明一实施例中，基于所述监控视频流的所有图像帧优化所述混合高斯模型时，对于所述监控视频流的每一图像帧依次执行以下步骤：

对于所述图像帧中的某一像素，判断所述混合高斯模型中是否存在与所述像素匹配的单高斯模型；若是，判定所述像素为背景；若否，则判定所述像素为前景；

当所述像素为背景时，修正与所述像素匹配的所述单高斯模型的权重、均值和方差，并对所述混合高斯模型中各个单高斯模型的模型权重进行归一化；

当所述像素为前景时，调整所述混合高斯模型中单高斯模型的数量。

于本发明一实施例中，还包括每隔某一数量的图像帧，删除所述混合高斯模型中的权重低于预设阈值的单高斯模型。

于本发明一实施例中，当|I(x,y,t)-u_i(x,y,t)|≤λ·σ_i(x,y,t)时，判定所述混合高斯模型中存在与所述像素匹配的单高斯模型，其中i＝1,2,...K，K为单高斯模型的个数，x,y为所述像素的坐标，t表示当前时刻，I(x,y,t)为所述混合高斯模型，u_i(x,y,t)第i个单高斯模型的均值，σ_i(x,y,t)为第i个单高斯模型的标准差，λ为预设常数。

于本发明一实施例中，对于第i个单高斯模型，修正后的权重、均值和方差分别为：

w_i(x,y,t)＝w_i(x,y,t-1)+α·(1-w_i(x,y,t-1))；

u_i(x,y,t)＝(1-α)·u_i(x,y,t-1)+α·p(x,y,t)；

σ_i ²(x,y,t)＝(1-α)·σ_i ²(x,y,t-1)+α·[p(x,y,t)-u_i(x,y,t)]²；

其中，x,y为所述像素的坐标，t表示当前时刻，t-1表示上一时刻，α表示更新率，p(x,y,t)表示动态背景模型，w_i表示第i个单高斯模型的权重，u_i表示第i个单高斯模型的均值，σ_i ²表示第i个单高斯模型的方差。

于本发明一实施例中，调整所述混合高斯模型中单高斯模型的数量时，若所述混合高斯模型中的单高斯模型的数目已经达到最大允许数目，则删除重要性最小的单高斯模型，其中单高斯模型的重要性为单高斯模型的权重与标准差之比；同时增加一个单高斯模型，增加的单高斯模型的权重和方差均为预设经验值，均值为下一时刻的像素值。

对应地，本发明提供一种监控视频的前景目标提取系统，包括构建模块、优化模块和提取模块；

所述构建模块用于基于监控视频流中起始的预设数量的图像帧构建混合高斯模型；

所述优化模块用于基于所述监控视频流的所有图像帧预设次数优化所述混合高斯模型；

所述提取模块用于根据所述优化后的混合高斯模型提取监控视频流中的前景目标。

本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的监控视频的前景目标提取方法。

本发明提供一种终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的监控视频的前景目标提取方法。

最后，本发明提供一种监控视频的前景目标提取系统，包括上述的终端和监控端；

所述监控端用于生成监控视频流，并发送至所述终端。

如上所述，本发明的监控视频的前景目标提取方法及系统、存储介质及终端，具有以下

有益效果：

(1)在保持算法较低的复杂度的同时，提高了视频监控任务中的前景目标提取效果；

(2)有效地降低了背景噪声，对于运动背景具有很好的适应性。

附图说明

图1显示为本发明的监控视频的前景目标提取方法于一实施例中的流程图；

图2显示为本发明的监控视频的前景目标提取系统于一实施例中的结构示意图；

图3显示为本发明的终端于一实施例中的结构示意图；

图4显示为本发明的监控视频的前景目标提取系统于另一实施例中的结构示意图。

元件标号说明

21 构建模块

22 优化模块

23 提取模块

31 处理器

32 存储器

41 终端

42 监控端

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，于一实施例中，本发明的监控视频的前景目标提取方法包括以下步骤：

步骤S1、基于监控视频流中起始的预设数量的图像帧构建混合高斯模型。

混合高斯模型是单高斯模型的推广，其基本思想是用多个单高斯模型作为一个像素位置的模型，从而在多模态背景中具有鲁棒性。具体地，单高斯模型假设图像的每个像素点的灰度值出现的概率服从高斯分布。对每一个像素点建立一个高斯模型，模型中保存该处像素的均值和方差。对于在t时刻的图像帧，若坐标为(x,y)处像素的亮度值I(x,y)满足高斯分布则被判定该像素为背景，u(x,y)为灰度均值，σ²(x,y)和σ(x,y)为分布的方差和标准差，I(x,y,t)为t时刻标为(x,y)处像素的亮度值。因此，单高斯模型参数可以表示为三个变量x,y,t的函数，即均值u(x,y)，方差σ²(x,y)和标准差σ(x,y)。混合高斯模型可由多个单高斯模型描述为I(i)＝{w_i(x,y,t),u_i(x,y,t),σ_i(x,y,t)}，i＝1,2…K。其中，K为混合高斯模型包含单高斯模型的个数。w_i表示每个单高斯模型的权重，满足优选地，K取值为8。

步骤S2、基于所述监控视频流的所有图像帧预设次数优化所述混合高斯模型。

在视频前期由于背景模型更新不及时，混合高斯模型准确度大大降低，前景提取画面中会出现大量的噪点。混合高斯模型中的动态背景模型p(i)的参数需要不断的迭代更新以更加准确。因此，需要对动态背景模型进行了多样本学习优化。优选地，预设次数为5次。

具体地，将所述监控视频流按照预设次数输入所述混合高斯模型来实现对混合高斯模型的优化，使之能够建立更好表示图像背景的混合高斯模型。

于本发明一实施例中，基于所述监控视频流的所有图像帧优化所述混合高斯模型时，对于所述监控视频流的每一图像帧依次执行以下步骤：

21)对于所述图像帧中的某一像素，判断所述混合高斯模型中是否存在与所述像素匹配的单高斯模型；若是，判定所述像素为背景；若否，则判定所述像素为前景。

具体地，对于某一像素，当|I(x,y,t)-u_i(x,y,t)|≤λ·σ_i(x,y,t)时，判定所述混合高斯模型中存在与所述像素匹配的单高斯模型，其中i＝1,2,...K，K为单高斯模型的个数，x,y为所述像素的坐标，t表示当前时刻，I(x,y,t)为所述混合高斯模型，u_i(x,y,t)第i个单高斯模型的均值，σ_i(x,y,t)为第i个单高斯模型的标准差，λ为预设常数。优选地，λ取值为3。

22)当所述像素为背景时，修正与所述像素匹配的所述单高斯模型的权重、均值和方差，并对所述混合高斯模型中各个单高斯模型的模型权重进行归一化。

具体地，对于第i个单高斯模型进行修正时，修正后的权重、均值和方差分别为：

w_i(x,y,t)＝w_i(x,y,t-1)+α·(1-w_i(x,y,t-1))；

u_i(x,y,t)＝(1-α)·u_i(x,y,t-1)+α·p(x,y,t)；

σ_i ²(x,y,t)＝(1-α)·σ_i ²(x,y,t-1)+α·[p(x,y,t)-u_i(x,y,t)]²；

其中，x,y为所述像素的坐标，t表示当前时刻，t-1表示上一时刻，α表示更新，即迭代更新的速度，p(x,y,t)表示动态背景模型即t时刻位置(x,y)处的像素值，w_i表示第i个单高斯模型的权重，u_i表示第i个单高斯模型的均值，σ_i ²表示第i个单高斯模型的方差。优选地，α取值为0.05。

根据进行权重归一化。

23)当所述像素为前景时，调整所述混合高斯模型中单高斯模型的数量。

具体地，调整所述混合高斯模型中单高斯模型的数量时，若所述混合高斯模型中的单高斯模型的数目已经达到最大允许数目，则删除重要性最小的单高斯模型，其中单高斯模型的重要性为单高斯模型的权重与标准差之比；同时增加一个单高斯模型，增加的单高斯模型的权重和方差均为预设经验值，均值为下一时刻的像素值。其中，增加的单高斯模型的权重为给定的较小的值，方差为给定的较大的值。

假设混合高斯模型中的背景模型具有以下特点：

a)权重大：背景出现的频率高；

b)方差小：像素亮度值变化不大。

因此，设定单高斯模型的重要性为计算每个单高斯模型的重要性，然后将各个单高斯模型的重要性按照从大到小的顺序排列，从而删除重要性最小的单高斯模型。

在建立或更新背景模型时，若前N个单高斯模型的权重满足则仅用这N个单高斯模型作为背景模型，删除其他单高斯模型。优选地，T取值为0.7。

于本发明一实施例中，基于所述监控视频流的所有图像帧优化所述混合高斯模型还包括每隔某一数量的图像帧，删除所述混合高斯模型中的权重低于预设阈值的单高斯模型。

具体地，在混合高斯模型当中，每个像素点会建立相同数量的高斯模型对像素特征进行描述。但是，每个像素需要的高斯模型数量是不一样的。因此，提出了混合高斯模型数量自适的解决方案，动态调整每个像素点对应的高斯模型数量。每隔某一数量的图像帧，对高斯分布进行一次扫描。检查所有高斯分布的权重，如果某个高斯分布过低，满足某一区间，则将该高斯分布判定为多余的高斯分布，并删除该高斯分布。

步骤S3、根据所述优化后的混合高斯模型提取监控视频流中的前景目标。

具体地，将监控视频流中的每个图像帧输入所述优化后的混合高斯模型，判断每个像素点为前景还是背景，从而将所有作为前景的像素组合起来便得到该图像帧的前景目标。

如图2所示，于一实施例中，本发明的监控视频的前景目标提取系统包括依次相连的构建模块21、优化模块22和提取模块23。

所述构建模块21用于基于监控视频流中起始的预设数量的图像帧构建混合高斯模型。

所述优化模块22用于基于所述监控视频流的所有图像帧预设次数优化所述混合高斯模型。

所述提取模块23用于根据所述优化后的混合高斯模型提取监控视频流中的前景目标。

需要说明的是，构建模块21、优化模块22和提取模块23的结构和原理与上述监控视频的前景目标提取方法中的步骤一一对应，故在此不再赘述。

需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器(digitalsingnalprocessor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的监控视频的前景目标提取方法。所述存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

如图3示，于一实施例中，本发明的终端包括处理器31存储器32

所述存储器32于存储计算机程序。

所述存储器32括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

所述处理器31与所述存储器32相连，用于执行所述存储器32存储的计算机程序，以使所述终端执行上述的监控视频的前景目标提取方法。

优选地，所述处理器31可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessor，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

如图4所示，于一实施例中，本发明的监控视频的前景目标提取系统包括上述的终端41和监控端42。

所述监控端42用于生成监控视频流，并发送至所述终端41。

综上所述，本发明的监控视频的前景目标提取方法及系统、存储介质及终端在保持算法较低的复杂度的同时，提高了视频监控任务中的前景目标提取效果；有效地降低了背景噪声，对于运动背景具有很好的适应性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种监控视频的前景目标提取方法，其特征在于，包括以下步骤：

基于监控视频流中起始的预设数量的图像帧构建混合高斯模型；

基于所述监控视频流的所有图像帧预设次数优化所述混合高斯模型；

根据所述优化后的混合高斯模型提取监控视频流中的前景目标。

2.根据权利要求1所述的监控视频的前景目标提取方法，其特征在于，基于所述监控视频流的所有图像帧优化所述混合高斯模型时，对于所述监控视频流的每一图像帧依次执行以下步骤：

对于所述图像帧中的某一像素，判断所述混合高斯模型中是否存在与所述像素匹配的单高斯模型；若是，判定所述像素为背景；若否，则判定所述像素为前景；

当所述像素为背景时，修正与所述像素匹配的所述单高斯模型的权重、均值和方差，并对所述混合高斯模型中各个单高斯模型的模型权重进行归一化；

当所述像素为前景时，调整所述混合高斯模型中单高斯模型的数量。

3.根据权利要求2所述的监控视频的前景目标提取方法，其特征在于，还包括每隔某一数量的图像帧，删除所述混合高斯模型中的权重低于预设阈值的单高斯模型。

4.根据权利要求2所述的监控视频的前景目标提取方法，其特征在于，当|I(x,y,t)-u_i(x,y,t)|≤λ·σ_i(x,y,t)时，判定所述混合高斯模型中存在与所述像素匹配的单高斯模型，其中i＝1,2,...K，K为单高斯模型的个数，x,y为所述像素的坐标，t表示当前时刻，I(x,y,t)为所述混合高斯模型，u_i(x,y,t)第i个单高斯模型的均值，σ_i(x,y,t)为第i个单高斯模型的标准差，λ为预设常数。

5.根据权利要求2所述的监控视频的前景目标提取方法，其特征在于，对于第i个单高斯模型，修正后的权重、均值和方差分别为：

w_i(x,y,t)＝w_i(x,y,t-1)+α·(1-w_i(x,y,t-1))；

u_i(x,y,t)＝(1-α)·u_i(x,y,t-1)+α·p(x,y,t)；

σ_i ²(x,y,t)＝(1-α)·σ_i ²(x,y,t-1)+α·[p(x,y,t)-u_i(x,y,t)]²；

其中，x,y为所述像素的坐标，t表示当前时刻，t-1表示上一时刻，α表示更新率，p(x,y,t)表示动态背景模型，w_i表示第i个单高斯模型的权重，u_i表示第i个单高斯模型的均值，σ_i ²表示第i个单高斯模型的方差。

6.根据权利要求2所述的监控视频的前景目标提取方法，其特征在于，调整所述混合高斯模型中单高斯模型的数量时，若所述混合高斯模型中的单高斯模型的数目已经达到最大允许数目，则删除重要性最小的单高斯模型，其中单高斯模型的重要性为单高斯模型的权重与标准差之比；同时增加一个单高斯模型，增加的单高斯模型的权重和方差均为预设经验值，均值为下一时刻的像素值。

7.一种监控视频的前景目标提取系统，其特征在于，包括构建模块、优化模块和提取模块；

所述构建模块用于基于监控视频流中起始的预设数量的图像帧构建混合高斯模型；

所述优化模块用于基于所述监控视频流的所有图像帧预设次数优化所述混合高斯模型；

所述提取模块用于根据所述优化后的混合高斯模型提取监控视频流中的前景目标。

8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6中任一项所述的监控视频的前景目标提取方法。

9.一种终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至6中任一项所述的监控视频的前景目标提取方法。

10.一种监控视频的前景目标提取系统，其特征在于，包括权利要求9所述的终端和监控端；

所述监控端用于生成监控视频流，并发送至所述终端。