CN109903266A - 一种基于样本窗的双核密度估计实时背景建模方法及装置 - Google Patents

Abstract

本发明公开了一种基于样本窗的双核密度估计实时背景建模方法及装置。方法包括以下步骤：S1、加工机械及工件定位系统开始工作后，从第N+1帧起，开始实际的工件操作、背景建模和工件定位；S2、取前N帧图像上对应像素点的亮度值x₁，x₂，...，x_N作为计算该像素点的概率密度估计的样本，采用长期核计算概率密度模型；S3、从第N+2帧开始，根据所计算的长期核概率密度P_l(x_t)，选择高于设定阈值T_bf的像素计算短期核计算概率密度模型；将短期核计算概率密度模型合并到长期核计算概率密度模型上，以得到最终的概率密度模型。本发明能够消除震动引起的图像平移影响。

Description

一种基于样本窗的双核密度估计实时背景建模方法及装置

技术领域

本发明涉及视觉伺服控制技术领域，更具体地说，特别涉及一种基于样本窗的双核密度估计实时背景建模方法及装置。

背景技术

视觉伺服控制是机器人应用，特别是各种加工行业中机械手控制的重要研究方向，主要任务是利用视觉信息控制机械手末端执行器与目标物体之间的相对位姿，实现快速准确地自动操作加工。为实现上述目标，首先必须从摄像头监视视频(图像序列)中检测出待操作的目标物体，即工件定位。

常见的目标检测方法主要有帧间差分法和背景差分法[别礼.一种基于核密度的快速背景差分法[J].工程技术,2015,(5):296.]。帧间差分法的特点是通过计算相邻图像帧之间的像素变化情况，来对前景目标进行检测。其优点是算法简单，检测速度快；缺点是对摄像机要求高，且检测精度低。背景差分法的特点是根据当前帧和背景帧的区别来检测目标，对场景适应性好。其优点是检测速度快，精度高；缺点是背景状况一般较为复杂，需要配有相应的背景建模及更新算法，否则会导致检测失效。实际应用中，背景差分法以其检测精度高、环境适应性强、对动静态目标都有效等特点，在各类视频监控系统中得到广泛使用。

背景差分法的研究重点就是背景的建模与更新算法。目前主要有三类背景建模方法：基于特征重构的方法、基于统计模型的方法和基于背景提取的方法[朱振峰,赤诚,赵耀.基于多尺度的增强ViBe背景建模[J].北京交通大学学报,2015,39(2):1-6.]。基于特征重构的方法主要利用在线学习获得一定数量的基向量，通过这些基向量对当前帧进行重构，重构误差即可视作前景目标。该方法的不足在于在线学习需要足够多的样本(图像帧)用于学习基向量，导致其适应性较差。基于统计模型的方法主要包括参数估计模型(如单高斯、混合高斯(Gaussian mixed model,GMM)与增强混合高斯)和非参数估计模型(如核密度估计(kernel density estimation,KDE))。该类方法主要是根据每个像素在时间域上的分布信息构造其背景模型，因此需要一定长度的视频图像序列进行学习。GMM将背景像素在时间域上的分布假设为混合高斯模型，通过对多个高斯模型的选择及模型参数的更新加强模型的鲁棒性。不同于GMM，KDE利用基于核函数的非参数密度估计方法对背景进行建模，更好的适应复杂背景的变化，在处理阴影、风吹树叶的抖动现象等场景方面取得了较好的效果[Elgammal A，Duraiswami R，Harwood D，et a1.Background and foreground modelingusing nonparametric kernel density estimation for visual surveillance[J].Proceedings of the IEEE，2002，90(7)：1151—1163.]。其缺点是，基于统计模型的方法在模型初始化阶段需要足够多的图像帧作为样本，且计算量大、模型更新速度较慢，导致检测效率不高。近年来若干研究针对其精度和计算效率进行了改进[乔俊锋，朱虹，史静等.一种快速核密度估计背景建模方法[J].计算机工程与应用,2012，48(5):192-193(203).]，但尚未有针对工厂环境的改进措施。为更好满足实时性要求，Bamich等人提出了视觉背景提取(VisualBackground extractor，ViBe)算法。不同于统计背景建模方法，视觉背景提取在本质上是一种联合时-空模型，通过随机选取邻域内若干背景像素值作为背景模型，并结合无记忆性模型更新的方式，取得了很好的实时性能。但其对于光照变化、阴影和多模态背景等复杂背景变化的鲁棒性不足。而以背景分割为代表的一些改进措施提高了ViBe模型的鲁棒性，但也导致算法复杂度不同程度的提高，大大降低了算法的实时性。

加工机械的监控摄像头一般处于固定静止状态，适合采用差分法检测目标。但加工机械在加工过程中往往存在机床本身的震动，从而造成摄像头拍摄图像的平移变化。此外，工厂环境中还存在较明显的光照变化干扰。为适应和解决上述实际工况问题，以非参数估计的背景建模方法为研究基础，并针对其大样本需求和计算量大的不足，提出一种新的基于样本窗的双核密度估计背景建模和更新方法，并针对实时性要求给出了优化的算法实现。

经典KDE方法是马里兰大学帕克学院的Elgammal等人于2002年前后提出的[Elgammal A，Duraiswami R，Harwood D，et a1.Background and foreground modelingusing nonparametric kernel density estimation for visual surveillance[J].Proceedings of the IEEE，2002，90(7)：1151—1163.]，通过核密度估计建立了一种非参数化的背景模型。这种模型具有鲁棒性，能够适应混乱及不完全静止但包含小扰动场合下的背景，例如摆动的树枝和灌木。其主要原理包括以下三个方面：

(1)密度估计：令x₁，x₂，...，x_N是一个像素的最近采样值，利用这些采样值和核估计器K，这个像素在t时刻的灰度值为x_t的概率密度函数可以非参地估计为：

如果我们选择的核函数K为正态分布N(0，∑)，其中Σ表示核函数的带宽，那么密度函数可以估计为：

利用概率密度估计，如果P_r(x_t)＜th，这个像素就被认为是前景像素，其中阈值th的设定能够确保误判为前景的像素比例在允许范围以内。

(2)核带宽估计：取相邻帧样本的绝对差中位数(median absolute deviation,MAD)来计算核带宽参数σ。计算两个连续样本的差值|x_i-x_i+1|，并取若干差值的中位数，即绝对差中位数m。据此，核带宽参数估计为：

(3)模型更新：主要是更新用于背景估计的N个样本x₁，x₂，...，x_N，更新方式采用先进先出模式。即设计一个队列保存N个样本，新样本到来时加入到队列的末尾，并将队首的样本删除。为减小更新计算量，设计了选择性更新原则。新样本帧到来后，首先判断是否背景，若是背景，则加入到队列中用于背景建模，否则不更新队列。

经典KDE方法的缺点是：

(1)高斯核函数的计算量大，经典KDE方法采用正态分布的高斯核函数，需要指数运算，因此计算量非常大。

(2)不能处理震动引起的平移现象，经典KDE方法设计的初衷主要解决风吹树叶的抖动现象，进行的若干处理主要是为消除其引起的误判(树叶抖动被误判为前景)，而对震动等问题没有关注。

(3)模型更新计算效率低，虽然设计了选择性更新方法，但增加了背景识别的计算，仍需要较高的计算开销。

发明内容

本发明的目的在于提供一种基于样本窗的双核密度估计实时背景建模方法，以解决背景技术中所存在的问题。

为了达到上述目的，本发明采用的技术方案如下：

一种基于样本窗的双核密度估计实时背景建模方法，包括以下步骤：

S1、加工机械及工件定位系统开始工作后，从第N+1帧起，开始实际的工件操作、背景建模和工件定位；

S2、取前N帧图像上对应像素点的亮度值x₁，x₂，...，x_N作为计算该像素点的概率密度估计的样本，采用长期核计算概率密度模型：

其中，x_t是第t帧图像的样本像素点，x′_i是进行抵消震动处理之后的第i帧样本像素点，σ₂是长期核带宽参数，σ₂＝2σ；

S3、从第N+2帧开始，根据所计算的长期核概率密度P_l(x_t)，选择高于设定阈值T_bf的像素计算短期核计算概率密度模型：

其中，σ₁是短期核带宽参数，σ₁＝σ；

S4、将短期核计算概率密度模型合并到长期核计算概率密度模型上，以得到最终的概率密度模型：

进一步地，还包括对步骤S2中的样本进行更新的方法，该更新方法包括：设定一先进先出的样本队列，将刚计算完概率密度值的帧加入到样本队列的末尾，且从样本队列的队首删除较早样本，以计算新采样帧的概率密度值。

进一步地，当前帧的某像素点x_t的核密度估计值采用长期核计算概率密度模型和短期核计算概率密度模型计算，可按照以下方法进行优化：

当前帧的某像素点x_t的核密度估计值采用迭代方法进行计算：

首先、保存当前计算的x′_i和，设为SUM_t，设定当前计算的是t时刻的核密度估计，所用到的样本集是：x′₁，x′₂，...，x′_N；

然后、根据背景更新方法，当计算第t+1时刻的核密度估计时，需要用t时刻的帧替换掉最早的帧，即样本集为：x′₂，...，x′_N，x′_t，则：

SUM_t+1＝SUM_t+x′_t-x′₁。

进一步地，在步骤S4中将短期核计算概率密度模型中高于设定阀值T_bf的像素点合并到长期核计算概率密度模型上。

本发明还提供一种基于样本窗的双核密度估计实时背景建模装置，包括：

准备模块，用于加工机械及工件定位系统开始工作后，从第N+1帧起，开始实际的工件操作、背景建模和工件定位；

第一计算模块，用于取前N帧图像上对应像素点的亮度值x₁，x₂，...，x_N作为计算该像素点的概率密度估计的样本，采用长期核计算概率密度模型；

第二计算模块，用于从第N+2帧开始，根据所计算的长期核概率密度P_l(x_t)，选择高于设定阈值T_bf的像素计算短期核计算概率密度模型；

合并模块，用于将短期核计算概率密度模型合并到长期核计算概率密度模型上，以得到最终的概率密度模型。

与现有技术相比，本发明的优点在于：

1、本发明通过样本窗设计，能够消除震动引起的图像平移影响。

2、本发明通过双核长短期模型建模方法，能够消除光照、震动等干扰引起的短时前景目标的误判，从而使背景建模更加准确，前景目标的提取更加可靠。

3、本发明通过采用三角核、迭代去冗余和部分更新策略，降低了整个算法的计算量，使算法能够应用于视觉伺服的实时系统中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于样本窗的双核密度估计实时背景建模方法的流程图。

图2是本发明基于样本窗的双核密度估计实时背景建模装置的框架图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

本发明提供基于样本窗的双核密度估计实时背景建模方法的设计要点主要在于针对震动问题的样本窗设计和双核函数选择，下面分别作介绍。

针对震动问题的样本窗设计。Elgammal的经典KDE方法，直接取视频序列的N帧构成样本。针对某一像素点，取N帧图像上对应像素点的亮度值x₁，x₂，...，x_N作为计算该像素点的概率密度估计的样本。则，该像素点x在t时刻的核密度估计P(x_t)为：

其中，K为核函数。

由于震动，在N帧图像上实际上存在随机的平移，而采用对应像素点计算对当前像素点的贡献，存在一定的误差。为克服这种情况，本设计以N帧图像上对应像素点为中心，构造一个宽度为W_s的样本方窗，从中取与相邻帧对应像素值差异最小的值作为后续核密度估计的样本x′₁，x′₂，...，x′_N，即：

其中，k∈[1，N]，第N+1帧即当前帧x_t。

至于样本窗宽度W_s，可以根据震动情况，设为1、3或5。

双核函数选择(带宽参数设计)。在基于核函数的概率密度估计方法中，核函数K实际是一个权函数。利用核函数的形状和值域，可以调节样本对当前观测的贡献程度，进而估计该观测数据的使用程度(即概率密度)。Elgammal的经典KDE方法采用高斯核函数进行密度估计。由于涉及指数运算，在计算效率方面受到明显诟病。而鉴于核密度估计结果对核函数形式并不敏感，对同样一组样本，采用高斯核函数和三角核函数估计出来的概率密度分布非常相似。因此，本本发明首先选择计算更简便的三角核函数进行密度估计。

具体选择的三角核函数如下：

其中，σ是核函数带宽参数，可以按照经典KDE方法，取相邻帧样本的绝对差中位数(median absolute deviation,MAD)来计算。令绝对差中位数为m，则：

此外，由于机械震动以及工厂环境的光照变化影响，在背景建模过程中可能会出现虚假目标，例如：某些像素具有较高的概率密度值(视为前景目标)，但可能是由于图像发生平移或者光照引起的。并且这种虚假目标存在的时间较短，经过若干帧后又消失了。

为避免产生虚假目标，提高建模精度，本本发明提出使用两个核进行密度估计，即短期核(short-term kernel)、长期核(long-term kernel)，相应的背景模型称为短期模型和长期模型。短期核采用标准三角核函数带宽，即σ₁＝σ，用于建模短时出现的前景目标；长期核采用标准三角核函数带宽σ的2倍，即σ₂＝2σ，用于建模长期稳定的背景图像。

基于以上两点设计，参阅图1所示，本发明提供一种基于样本窗的双核密度估计实时背景建模方法，按照以下步骤执行：

步骤S1、加工机械及工件定位系统开始工作后，前N帧图像期间不进行实际的工件操作，不进行背景建模和工件定位。从第N+1帧起，开始实际的工件操作，背景建模和工件定位系统正式开始运行。

步骤S2、根据前述样本窗方法，从前N帧图像准备x₁，x₂，...，x_N的样本。首先使用长期核计算概率密度P_l(x_t)，即：

其中，x_t是第t帧图像的样本像素点(或称为t时刻)，x′_i是按照公式(5)进行抵消震动处理之后的第i帧样本像素点，σ₂是长期核带宽参数。针对计算得到的概率密度值(值越小表示作为背景的可能性越高)，根据设置的阈值T_bf进行判断，小于阈值的认为是背景，高于阈值的认为是前景目标。阈值T_bf可根据实际图像进行手动设置和调节，保证误判为背景的前景像素点比例最小或5％以内即可。

步骤S3、从第N+2帧开始，根据前帧计算的长期概率密度P_l(x_t)，选择高于阈值T_bf的像素计算短期背景模型P_s(x_t)，即：

其中，x_t是第t帧图像的样本像素点(或称为t时刻)，x′_i是按照公式(5)进行抵消震动处理之后的第i帧样本像素点，σ₁是短期核带宽参数。

步骤S4、将短期模型合并到长期模型上(针对高于阈值T_bf的像素点)，从而得到最终的概率密度估计模型：

其中，x_t是第t帧图像的样本像素点(或称为t时刻)，P_r(x_t)为该像素点的最终概率密度估计。通过取均值，若某像素值为虚假目标，则经过几帧的均值后，逐渐降低概率密度值，从而归类到背景模型上。

根据本发明的一优选实施例，由于计算背景模型需要使用前N帧图像序列构成的样本。而随着加工机械和工件定位系统的自动连续运行，不断有新的图像帧被采样。因此，必须针对每个新帧更新背景模型并分析前景目标，计算过程依据前述，则主要更新体现在计算依据的更新，即样本更新上。本申请实施例主要还对步骤S2中的样本进行更新的方法，即：设定一先进先出的样本队列，将刚计算完概率密度值的帧加入到样本队列的末尾，且从样本队列的队首删除较早样本，以计算新采样帧的概率密度值。

根据本发明的一优选实施例，由于视觉伺服的实时处理一般要求1秒处理20帧以上(单帧处理时间50ms以下)，为将上述算法实际运用到视觉伺服系统，本发明对算法实现进行了多方面的优化。

1、三角核函数的采用：首先，经典KDE方法使用的是高斯核函数，计算中需要用到指数运算，而本发明中采用的三角核函数，只需要线性运算，大大降低了运算量。从实际效果上看，采用三角核函数后，密度估计的效果与高斯核函数相比并没有明显下降。特别是，本发明中设计了多尺度双核密度估计函数，分别对前景核背景建模，克服了震动引起的虚假前景目标问题，其建模效果比经典KDE方法更好，前景目标更真实，轮廓更清晰。而从计算角度，虽然本发明设计了双核，但根据阈值T_bf的调节，长期核计算背景，短期核计算前景，实际上仍然只针对一帧图像数据而没有增加重复计算。

2、迭代处理冗余计算：采用三角核函数后，当前帧的某像素点x_t的核密度估计值计算公式可以优化为：

考察上式，计算量主要体现在x′_i的求和计算上。为此，通过迭代设计可以降低这部分计算量。具体步骤如下：

首先，保存当前计算的x′_i和，设为SUM_t。假设当前计算的是t时刻的核密度估计，所用到的样本集是：x′₁，x′₂，...，x′_N，即从当前时刻的前N帧图像数据。

根据背景更新方法，当计算第t+1时刻的核密度估计时，需要用t时刻的帧替换掉最早的帧，即样本集为：x′₂，...，x′_N，x′_t，则：

SUM_t+1＝SUM_t+x′_t-x′₁ (12)

如此，每次背景模型计算时，不需要计算所有样本求和，而只需要在保存SUM_t的基础上增加一次加核一次减运算即可，从而减少了冗余计算，提高了模型更新的速度。

3、部分更新：在机械加工的视觉伺服监控中，由于加工环境比较固定，实际上背景变化较小，主要受震动和光照影响。在采用本发明的双核分别建模后，震动和光照影响作为短期影响，主要体现在短期背景模型上，因此长期背景模型在经过若干帧的背景建模学习后，基本上处于比较稳定的状态。为此，根据实际场景手动设定一个针对长期背景模型的阈值T_lb。对于长期模型上低于此阈值的像素，认为是稳定的背景(例如：监控图像的边缘部分，主要是机床的床身部分。)，则在模型更新时不再计算。因此，长期模型的更新也只需要部分更新。根据实验表明，一般经过200帧(10秒后)后，长期背景模型的计算量下降70％以上。

参阅图2所示，本申请实施例还提供一种基于样本窗的双核密度估计实时背景建模装置，包括：准备模块201，用于加工机械及工件定位系统开始工作后，从第N+1帧起，开始实际的工件操作、背景建模和工件定位；第一计算模块202，用于取前N帧图像上对应像素点的亮度值x₁，x₂，...，x_N作为计算该像素点的概率密度估计的样本，采用长期核计算概率密度模型；第二计算模块203，用于从第N+2帧开始，根据所计算的长期核概率密度P_l(x_t)，选择高于设定阈值T_bf的像素计算短期核计算概率密度模型；合并模块204，用于将短期核计算概率密度模型合并到长期核计算概率密度模型上，以得到最终的概率密度模型。

本发明通过样本窗设计，能够消除震动引起的图像平移影响。本发明通过双核长短期模型建模方法，能够消除光照、震动等干扰引起的短时前景目标的误判，从而使背景建模更加准确，前景目标的提取更加可靠。本发明通过采用三角核、迭代去冗余和部分更新策略，降低了整个算法的计算量，使算法能够应用于视觉伺服的实时系统中。

虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (5)

1.一种基于样本窗的双核密度估计实时背景建模方法，其特征在于：包括以下步骤，

S1、加工机械及工件定位系统开始工作后，从第N+1帧起，开始实际的工件操作、背景建模和工件定位；

S2、取前N帧图像上对应像素点的亮度值x₁，x₂，...，x_N作为计算该像素点的概率密度估计的样本，采用长期核计算概率密度模型：

其中，x_t是第t帧图像的样本像素点，x′_i是进行抵消震动处理之后的第i帧样本像素点，σ₂是长期核带宽参数，σ₂＝2σ；

S3、从第N+2帧开始，根据所计算的长期核概率密度P_l(x_t)，选择高于设定阈值T_bf的像素计算短期核计算概率密度模型：

其中，σ₁是短期核带宽参数，σ₁＝σ；

S4、将短期核计算概率密度模型合并到长期核计算概率密度模型上，以得到最终的概率密度模型：

2.根据权利要求1所述的基于样本窗的双核密度估计实时背景建模方法，其特征在于：还包括对步骤S2中的样本进行更新的方法，该更新方法包括：设定一先进先出的样本队列，将刚计算完概率密度值的帧加入到样本队列的末尾，且从样本队列的队首删除较早样本，以计算新采样帧的概率密度值。

3.根据权利要求1所述的基于样本窗的双核密度估计实时背景建模方法，其特征在于：当前帧的某像素点x_t的核密度估计值采用长期核计算概率密度模型和短期核计算概率密度模型计算，可按照以下方法进行优化：

当前帧的某像素点x_t的核密度估计值采用迭代方法进行计算：

首先、保存当前计算的x′_i和，设为SUM_t，设定当前计算的是t时刻的核密度估计，所用到的样本集是：x′₁，x′₂，...，x′_N；

然后、根据背景更新方法，当计算第t+1时刻的核密度估计时，需要用t时刻的帧替换掉最早的帧，即样本集为：x′₂，...，x′_N，x′_t，则：

SUM_t+1＝SUM_t+x′_t-x′₁。

4.根据权利要求1所述的基于样本窗的双核密度估计实时背景建模方法，其特征在于：在步骤S4中将短期核计算概率密度模型中高于设定阀值T_bf的像素点合并到长期核计算概率密度模型上。

5.一种基于样本窗的双核密度估计实时背景建模装置，其特征在于，包括：

准备模块，用于加工机械及工件定位系统开始工作后，从第N+1帧起，开始实际的工件操作、背景建模和工件定位；

第一计算模块，用于取前N帧图像上对应像素点的亮度值x₁，x₂，...，x_N作为计算该像素点的概率密度估计的样本，采用长期核计算概率密度模型；

第二计算模块，用于从第N+2帧开始，根据所计算的长期核概率密度P_l(x_t)，选择高于设定阈值T_bf的像素计算短期核计算概率密度模型；

合并模块，用于将短期核计算概率密度模型合并到长期核计算概率密度模型上，以得到最终的概率密度模型。