CN106056626B - 一种基于前景背景模型交互的运动目标检测方法 - Google Patents

Abstract

本发明公开一种基于前景背景模型交互的运动目标检测方法，以前景模型对目标的表征状态进行拟合建模；以背景模型对场景中背景状态进行拟合建模。引入上一时刻背景模型的决策作为先验估计当前时刻前景模型参数；引入上一时刻前景模型的决策作为先验估计得到当前时刻背景模型参数；融合当前时刻前景及背景模型的决策得到对当前时刻运动目标的检测结果。前景、背景模型交互方法包括：①利用上一时刻前景、背景模型决策作为先验经验相互指导当前时刻背景、前景模型中样本加权、选择及更新，②贝叶斯框架下的前景背景模型决策融合。该方法能够准确地拟合场景中的稳定信息，并适应场景及目标表征的变化，抑制复杂动态场景中动态背景噪声，准确检测出运动目标。

Description

一种基于前景背景模型交互的运动目标检测方法

技术领域

本发明涉及一种图像运动目标检测的方法，具体是利用前景、背景模型交互实现复杂动态场景中运动目标检测的方法，属于图像处理技术领域。

背景技术

在复杂、动态场景中的运动目标检测所常遇到的问题主要包括：①光照变化，②杂乱场景及运动场景所形成的杂乱、动态噪声，③目标同背景相似。对于这些问题的解决，目前的方法主要依赖于两种策略。一是通过对长时间背景状态进行拟合建模，并通过比较运算，能够检测到场景中的变化信息，以检测出运动目标，该类策略对运动信息较为敏感。二是通过对运动目标的表征状态进行拟合建模，通过模型匹配的策略检测出场景中的运动目标，该类策略有助于对场景杂乱、动态背景噪声的抑制。孤立的考虑前景及背景模型，难以同时解决场景杂乱、变化、运动噪声以及目标-背景相似所导致检测率较低的问题。其次，目标在运动过程中表征状态的变化导致难以采用常用的图像特征建立稳定、鲁棒的前景模型。此外，模型对场景稳定状态的拟合程度及对场景状态变化的适应性，是较为矛盾的问题，影响到对模型中拟合数据时长的选择。最后，在背景模型及前景模型的建模和计算过程中均包含有大量的参数估计过程，参数估计结果的优劣直接影响到模型的性能，先验知识的准确引入有利于参数估计准确性的提高。目前尚未有一种技术能够综合解决上述问题。

发明内容

发明目的：针对现有方法在复杂、动态场景中应用时，所存在的光照变化适应、杂乱背景噪声抑制、动态背景噪声抑制、目标表征建模等问题，并综合考虑到基于先验经验的模型参数估计策略、模型融合策略及前景目标显著性检测策略，本发明提供了一种基于加权样本采样及显著性检测的前景模型建模及基于加权样本采样及核密度估计的背景模型建模，利用前景、背景模型交互实现模型参数估计(主要包括样本加权、选择及更新)及贝叶斯框架下的前景背景模型决策融合方法。

技术方案：一种基于前景背景模型交互的运动目标检测方法，包括以下几个方面：

(1)建立贝叶斯框架下前景、背景模型决策的融合方法。建立图像中的点属于背景和前景的概率P(B_t|X_t)，P(F_t|X_t)，及最终决策δ(x_t)似然比的解析表达。

(2)建立一种基于改进核密度估计背景模型的建模计算方法。

(3)建立一种基于显著性概率密度估计前景模型的建模及计算方法。

P(x_t|F_t)＝S_t

(4)设计前景、背景模型中样本选择的时间窗长。

(5)分别估计前景、背景模型中样本的权重。

w′_i∝1-P(x′_i|F_t-1)、w″_i∝P(x″_i|B_t-1)

(6)在权重估计的基础上，根据权重的大小排列并选择样本。

X′_t＝{x′_i}w′_i＞w′_n+1,X″_t＝{x_t,x″_i}w″_i＞w″_K+1

(7)根据样本的衰减程度及“先进先出”原则，重采样样本。

有益效果：与现有技术相比，本发明提供的基于前景背景模型交互的运动目标检测方法，首先，建立贝叶斯框架下的前景、背景模型融合及计算方法，融合两种模型的决策形成最终的对运动目标检测的决策结果。其次，分别建立基于加权样本的前景及背景模型建模及计算方法。最后，对模型中样本加权、选择及更新采用模型交互式的估计和计算方法。上述三个关键技术共同组成了前景、背景模型的交互方法。该方法能够描述长时场景的稳定信息，又能够适应场景的变换，并且通过对背景及前景状态的拟合，能够解决复杂、动态场景中的光照变化及杂乱、动态背景噪声，并能够准确的拟合场景稳定状态，适应场景的变化状态，以实现高准确性的运动目标检测。如图2所示，本发明所公开的方法获得了准确度最高的运动目标检测结果。

附图说明

图1为本发明方法总体的流程图；

图2为本发明方法所实现的图像运动目标检测结果以及同其它方法的比较示例，以说明本发明方法的有益效果，其中，a为视频帧图像，b为真实的目标区域，c为时间-空间高斯模型所得到的结果，d为时间残余谱方法所得到的结果，e为前景-背景核密度估计模型所得到的结果，f为本发明方法所得到的结果；

图3为运动目标的运动显著性示例，其中，a为视频帧图像及场景的运动显著性图像，b为目标的运动显著性，c为运动显著性的分布图；

图4为前景背景模型交互示意框图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

基于前景背景模型交互的运动目标检测方法，如图1所示，包括：基于加权样本采样及显著性检测的前景模型建模及基于加权样本采样及核密度估计的背景模型建模，利用前景、背景模型交互实现模型参数估计(主要包括样本加权、选择及更新)及贝叶斯框架下的前景背景模型决策融合方法。

一，基于改进核密度估计的背景模型

经典的核密度估计背景模型能够采用样本及核密度函数估计实现背景建模，计算图像中点属于背景的概率。在理论上，样本属于背景的概率越高，模型对目标运动过程中发生的变化越敏感，运动目标检测正确率越高。但是在经典的核密度估计背景模型中，样本的选择通常采用“盲”采样的方式，即在没有先验经验指导的情况下随机地选择样本。这种方式并不能保证样本以较高的概率来源于背景，当其来源于目标本身时，模型就会出现误判。

在本发明所公开的方法中，首先根据先验知识对候选样本进行加权(权重值正比于样本属于背景的概率)，其次根据权重值从大到小排列候选样本，选择那些权重较大的候选样本作为模型所需要的样本输入到模型中并结合其权重进行计算，具体如下：

对于t时刻的点x_t，相应的样本x′_i采样于该点相同位置处在{1,2,…,t-1}时间区间内的值，并对其进行加权，得到矢量{x′_i,w′_i}，其中权重w′_i用于估计该样本属于背景的置信度。选择n个权重值最大的样本(属于背景的概率最高)引入到模型计算中，最终考虑样本权重而建立的改进核密度估计模型可以表示为：

其中，x_t为t时刻的点，B_t为t时刻背景状态，P(x_t|B_t)为t时刻的点x_t属于背景B_t的概率，κ()为核函数，n为样本个数。

通过这种改进，背景模型在核密度估计过程中通过样本地加权、选择，并将样本权重引入到模型计算中，使得模型更加依赖于那些以较高概率属于背景的样本，能够更加准确的提取出当前点同样本点之间的差异，反映出该点位置上图像信息的变化。最终，更加准确的检测出目标运动所造成的变化及运动目标区域。

二，基于显著性概率密度估计的前景模型

在目标运动的过程中，它们的外观表征通常会发生高频率的变化。这种问题受到光照和遮挡的影响而越发变的严重，如图3(a)所示。在这种情况下难以采用常用的图像强度特征(例如灰度和色彩特征)，亦或者形态学特征(例如轮廓和骨架特征)稳定地实现前景目标建模。相比较，运动显著性具有能够抑制场景变化的不变性特征。如图3(b)所示，尽管目标的图像特征在运动过程中发生剧烈变化，它的运动显著性仍保持平稳，如图3(c)。此外，这种显著性的值同目标和背景间的对比度密切相关，较强的对比度对应着幅度值较高的显著性的值。上述因素意味着这种运动显著性值与相应点属于前景的概率密切正相关。加之运动显著性的变化范围为0～1。因而这种运动显著性可以直接转换为目标属于前景的概率，即前景模型。

鉴于此，对于前景模型在本发明中建立一种显著性概率密度估计模型。对于t时刻的点x_t，相应的样本x″_i采样于该点相同位置处在{1,2,…,t-1}区间内的值，并对其进行加权，得到矢量{x″_i,w″_i}，其中权重w″_i用于估计该样本属于背景的概率。在理论上，样本属于背景的概率越高，模型对运动中发生的变化越敏感，运动目标检测正确率越高。选择K个权重值最大的样本(属于背景的概率最高)引入到模型中，并同t时刻的点x_t组成时间序列X″_t。对于时间序列X″_t计算其相位谱，得：

其中，为傅里叶变换。p_t为时间序列X″_t的相位谱。时间t时刻的运动显著性可以通过反傅里叶变换计算得到：

其中，为反傅里叶变换，g_t为一维高斯滤波器(其方差典型值通常设置为：σ＝5)。相应t时刻的运动显著性可以通过阈值滤波计算得到：

τ为阈值(其典型值通常设置为0.5)将该显著性值归一化到0到1之间，t时刻显著性图像可以描述t时刻像素x_t属于前景的概率。因此前景模型可以建模为：

P(x_t|F_t)＝S_t

其中，F_t为t时刻前景状态，P(x_t|F_t)为t时刻的点x_t属于前景F_t的概率。

三，前景、背景模型中样本采样时间窗的选择

在采样时间窗的设计中，考虑到本发明中背景模型及前景模型交互过程中，两种模型的互补性，两种模型分别设计不同的性能。背景模型主要用于拟合场景中长时的稳定状态，对t时刻的点x_t其样本采样的时间窗长尽可能长，设计为t-1，即{1,2,…,t-1}，如图4所示。

对于前景模型，考虑其主要用于拟合前景目标的表征状态及场景中状态的变化，使得本发明所公开的方法能够适应场景的动态变化，选择相对较小的时间窗长，如图4所示，设计为υ×K。其中υ为比例系数(典型值通常设置为υ＝2)。

通过这种前景、背景模型的分工设计，本发明所公开的方法即能够稳定地拟合场景的长时稳定状态，又能够适应场景的变化。

四，前景背景模型交互式样本权重估计及选择

本发明公开了一种通过前景、背景模型交互式实现样本权重估计方法，如图4所示。

在前景模型中，样本权重估计是通过引入上一时刻(t-1时刻)背景模型决策判断该样本属于背景的概率P(x″_i|B_t-1)作为先验，权重值w″_i正比于该概率P(x″_i|B_t-1)，以此估计得到当前时刻t前景模型中样本的权重：

w″_i∝P(x″_i|B_t-1)

在具体应用中，w″_i＝β×P(x″_i|B_t-1)，其中β为比例系数值，典型β＝1。

在前景模型中，对于t时刻的点x_t，共有t-1个候选样本。根据其权重从大到小的顺序，对样本进行排列，并选择权重最大的前K个样本同t时刻的点x_t共同组成用于傅里叶变换的矢量X″_t＝{x_t,x″_i}w″_i＞w″_K+1。其中K参数的估计：

其中，α(α＞K)为采样的时间窗宽度，T₁为预设的权重，典型值T₁＝0.72。

在背景模型中，样本权重估计是通过引入上一时刻(t-1时刻)前景模型的决策判断该样本属于前景的概率P(x″_i|B_t-1)作为先验，权重值w′_i反比于该概率P(x″_i|B_t-1)，以此估计得到当前时刻t前景模型中样本的权重：

w′_i∝1-P(x′_i|F_t-1)

在具体应用中，w′_i＝ν×(1-P(x′_i|F_t-1))，其中ν为比例系数值，典型ν＝1。

在背景模型中，对于t时刻的点x_t，共有t-1个候选样本。根据其权重从大到小的顺序对样本进行排列，并选择权重最大的前n个样本X′_t＝{x′_i}w′_i＞w′_n+1。其中：

其中，T₂为预设的权重，典型值T₂＝0.8。

这种方法通过选择那些属于背景概率较高的样本及其权重用于模型计算，一方面能够增强背景模型对场景的拟合能力，另一方面能够防止前景模型进入死循环，即选择的样本为目标本身。

这种方式有助于提高本发明方法防止模型进入死循环并提高模型的适应性。一方面，对于短时前景模型，以长时背景模型的决策给权重加权能够加强那些以较高概率属于背景的样本的重要性。能够减小模型进入死循环的可能性，即前景模型中的样本变成了目标本身。另一方面，长时背景模型中的样本以短时前景模型的决策为依据进行加权可以增强那些近期样本对背景模型的重要性。以此能够增强背景模型的适应性。

五，样本重采样

对于以样本为基础的模型，样本的衰减是一个重要的问题，即在多次循环后样本的权重值变小。这种权重值较小的样本一方面会降低模型对场景的拟合能力另一方面会消耗计算资源，从而降低模型的性能。

为了防止样本本身的衰减，采用重采样的方式更新样本。首先，采用衰减因子N′、N″度量样本集合的衰减程度：

N′和N″的值越小表示样本集合的衰减程度越大。重采样方法删除那些权值较小的样本，并补充新的样本。在本发明所公开的方法中，这种重采样的方法同样本“先进先出”的策略相结合，即在一定次数的循环后，忽视权重值大小而舍弃那些较老的样本，同时补充新的样本。这种方法能够防止样本过于集中而导致样本表征缺少多样性的问题。

六，贝叶斯框架下前景背景模型决策融合

本发明公开了一种基于贝叶斯框架下将前景与背景模型的决策融合于统一的概率密度模型的方法，如图1，图4所示。前者用于计算图像点属于前景的概率，后者用于计算图像点属于背景的概率。

对于图像运动目标检测，需要判断当前时刻图像中每一点属于前景和背景的概率。假定对于t时刻的点x_t，对其判决的形式化表示为D_t

在贝叶斯框架下，x_t属于背景的概率可以表示为：

其中，X_t X_t-1为时间矢量，表示为X_t＝{x₁,x₂,…,x_t}和X_t-1＝{x₁,x₂,…,x_t-1}。其中，由于背景模型B_t是由矢量X_t-1估计得到，P(x_t|B_t,X_t-1)＝P(x_t|B_t)。

其中，P(B_t-1|B_t-1)是背景状态保持稳定的概率，P(F_t-1|B_t-1)是背景变化为前景的概率，P(B_t-1|X_t-1)是上一时刻t-1X_t-1属于背景的概率，通过上一时刻的背景模型计算，并迭代到当前时刻得到。

同理，在贝叶斯框架下，x_t属于前景的概率可以表示为：

其中，X_t X_t-1为时间矢量，表示为X_t＝{x₁,x₂,…,x_t}和X_t-1＝{x₁,x₂,…,x_t-1}。其中，由于前景模型F_t是由矢量X_t-1估计得到，P(x_t|F_t,X_t-1)＝P(x_t|F_t)。

其中，P(F_t-1|F_t-1)是前景状态保持稳定的概率，P(B_t-1|F_t-1)是前景变化为背景的概率，P(F_t-1|X_t-1)是上一时刻t-1，X_t-1属于前景的概率，通过上一时刻的前景模型计算，并迭代到当前时刻得到。

分母项可以计算为：

最终，通过前景、背景模型交互，运动目标检测结果可以计算为：

其中θ为阈值，典型值θ＝0.7。

Claims (4)

1.一种基于前景背景模型交互的运动目标检测方法，其特征在于：首先，通过引入上一时刻背景模型的决策作为先验估计当前时刻前景模型参数，包括对前景模型中样本地加权、选择及更新；通过引入上一时刻前景模型的决策作为先验估计得到当前时刻背景模型参数，包括对背景模型中样本地加权、选择及更新，形成了一种前景、背景模型相互指导以实现模型中样本加权、选择及更新方法；其次，在贝叶斯框架下，建立了一种前景、背景模型决策融合方法；上述前景及背景模型的相互指导建模及模型决策融合技术共同构成前景、背景模型交互方法；该方法通过同时对场景中背景、前景状态的建模能够准确地拟合场景中的稳定信息，并适应场景中的变化，抑制复杂、动态场景中的杂乱噪声及动态背景噪声，准确检测出运动目标；此外，这种前景、背景交互方法还有助于防止模型陷入死循环和衰弱，并提高模型的鲁棒性和稳定性；

建立了利用有限个加权样本实现前景及背景模型建模：

对于背景模型，引入了核密度估计模型并对其进行了改进；对于t时刻的点x_t，相应的样本x′_i采样于该点相同位置处在{1,2,…,t-1}时间区间内的值，并对其进行加权，得到矢量{x′_i,w′_i}，其中权重w′_i用于估计该样本属于背景的置信度；选择n个权重值最大的样本引入到模型计算中，最终考虑样本权重而建立改进的核密度估计模型可以表示为：

其中，x_t为t时刻的点，B_t为t时刻背景状态，P(x_t|B_t)为t时刻的点x_t属于背景B_t的概率，κ()为核函数，n为样本个数。

2.如权利要求1所述的基于前景背景模型交互的运动目标检测方法，其特征在于，对于前景，建立一种显著性概率密度估计模型；对于t时刻的点x_t，相应的样本x″_i采样于该点相同位置处在{1,2,…,t-1}时间区间内的值，并对其进行加权，得到矢量{x″_i,w″_i}，其中权重w″_i用于估计该样本属于背景的置信度；选择K个权重值最大的样本引入到模型中，并同t时刻的点x_t组成时间序列X″_t；对于时间序列X″_t计算其相位谱，得：

其中，为傅里叶变换；p_t为时间序列X″_t的相位谱；时间t时刻的运动显著性可以通过反傅里叶变换计算得到：

其中，为反傅里叶变换，g_t为一维高斯滤波器；相应t时刻的运动显著性可以通过阈值滤波计算得到：

将该显著性值归一化到0到1之间，t时刻显著性图像可以描述t时刻像素x_t属于前景的概率；因此前景模型可以建模为：

P(x_t|F_t)＝S_t

其中，F_t为t时刻前景状态，P(x_t|F_t)为t时刻的点x_t属于前景F_t的概率。

3.如权利要求1所述的基于前景背景模型交互的运动目标检测方法，其特征在于，以模型交互方式实现模型中样本地加权、选择及更新方法；

对于背景模型中样本x′_i、前景模型中样本x″_i的处理涉及：①采样时间窗，②权重计算，③样本更新；针对这三点，采用前景、背景模型交互的方式予以实现；

(1)采样时间窗的选择

背景模型主要用于拟合场景中长时的稳定状态，对t时刻的点x_t其样本采样的时间窗长，设计为t-1，即{1,2,…,t-1}；

对于前景模型，选择相对较小的时间窗长，设计为υ×K；

(2)样本权重估计及选择

在前景模型中，样本权重估计是通过引入上一时刻背景模型的决策判断该样本属于背景的概率P(x″_i|B_t-1)作为先验，权重值w″_i正比于该概率P(x″_i|B_t-1)，以此估计得到当前时刻t前景模型中样本的权重：

w″_i∝P(x″_i|B_t-1)

在前景模型中，对于t时刻的点x_t，共有α个候选样本；根据其权重从大到小的顺序对样本进行排列，并选择权重最大的前K个样本同t时刻的点x_t共同组成用于傅里叶变换的矢量X″_t＝{x_t,x″_i}w″_i＞w″_K+1；其中K参数的估计：

其中，α(α＞K)为候选样本的数量，T₁为预设的权重；

在背景模型中，样本权重估计是通过引入t-1时刻前景模型的决策判断该样本属于前景的概率P(x′_i|F_t-1)作为先验，权重值w′_i反比于该概率P(x′_i|F_t-1)，以此估计得到当前时刻t前景模型中样本的权重：

w′_i∝1-P(x′_i|F_t-1)

在背景模型中，对于t时刻的点x_t，共有t-1个候选样本；根据其权重从大到小的顺序对样本进行排列，并选择权重最大的前n个样本X′_t＝{x′_i}w′_i＞w′_n+1输入到背景模型中；其中：

其中，T₂为预设的权重；

这种方法一方面能够增强背景模型对场景的拟合能力，另一方面能够防止前景模型进入死循环，即选择的样本为目标本身；

(3)样本重采样

为了防止样本本身的衰减，采用重采样的方式更新样本；首先，采用衰减因子N′、N″度量样本集合的衰减程度：

N′和N″的值越小表示样本集合的衰减程度越大；重采样方法删除那些权值较小的样本，并补充新的样本；采用“先进先出”的策略相结合，即在数次的循环后，忽视权重值大小而舍弃那些较老的样本，同时补充新的样本。

4.如权利要求1所述的基于前景背景模型交互的运动目标检测方法，其特征在于，建立了一种贝叶斯框架下前景、背景模型决策融合方法，输出最终的运动目标检测结果；

假定对于t时刻的点x_t，对其判决的形式化表示为D_t

在贝叶斯框架下，x_t属于背景的概率可以表示为：

其中，X_t、X_t-1为时间矢量，表示为X_t＝{x₁,x₂,…,x_t}和X_t-1＝{x₁,x₂,…,x_t-1}；其中，由于背景模型B_t是由矢量X_t-1估计得到，P(x_t|B_t,X_t-1)＝P(x_t|B_t)；

其中，P(B_t|B_t-1)是背景状态保持稳定的概率，P(B_t|F_t-1)是前景变化为背景的概率，P(B_t-1|X_t-1)是X_t-1属于背景的概率，P(F_t-1|X_t-1)是X_t-1属于前景的概率，通过上一时刻的背景模型计算，并迭代到当前时刻得到；

同理，在贝叶斯框架下，x_t属于前景的概率可以表示为：

其中，X_t X_t-1为时间矢量，表示为X_t＝{x₁,x₂,…,x_t}和X_t-1＝{x₁,x₂,…,x_t-1}；其中，由于前景模型F_t是由矢量X_t-1估计得到，P(x_t|F_t,X_t-1)＝P(x_t|F_t)；

其中，P(F_t|F_t-1)是前景状态保持稳定的概率，P(F_t|B_t-1)是背景变化为前景的概率，P(B_t-1|X_t-1)是X_t-1属于背景的概率，P(F_t-1|X_t-1)是X_t-1属于前景的概率，通过上一时刻的前景模型计算，并迭代到当前时刻得到；

分母项可以计算为：

最终，通过前景、背景模型交互，运动目标检测结果可以计算为：

其中θ为阈值。