CN103034991A - 前景对象检测方法与装置及背景检测方法与装置 - Google Patents

Abstract

本发明提供一种前景对象检测方法与装置及背景检测方法与装置。其中，前景对象检测方法用于检测深度图像中的像素，前景对象检测方法包括：从该多个深度图像中接收该像素的深度值；如果该像素可以第一背景分布模型表示，根据该深度值更新该第一背景分布模型，且将该像素的代表值标记为第一背景；如果该像素位于该第一背景之后，处理备用背景模型；如果该像素位于该第一背景之前，将该像素的该代表值标记为前景；以及提供该像素的该代表值。本发明提供的前景对象检测方法可实现简单而实用的基于深度图像的前景对象检测。

Description

前景对象检测方法与装置及背景检测方法与装置

技术领域

本发明有关于一种前景对象检测方法，更具体地，有关于一种前景对象检测方法和装置以及背景检测方法和装置。

背景技术

前景对象检测是将从相机撷取(capture)图像中的前景对象与背景分离的过程。前景对象具有各种应用，例如视频监视(video surveillance)或基于对象的视频编码。实际应用中的前景对象检测方法通常基于背景相减法(backgroundsubtraction)，背景相减法假设随时间推移相机为固定(stationary)且可创建并更新背景模型(background model)。本领域存在若干实际应用的流行技术，包括调适性高斯集合法(adaptive Mixture ofGaussian，MOG)、核心密度估计法(KernelDensity Estimation，KDE)以及编码本(Codebook)。所有上述前景/背景检测方法采用图像处理技术来处理相机撷取的色彩/强度图像，而其中所撷取图像不包括深度信息。一种基于混合高斯模型(Mixture of Gaussian)的方法已应用于具有混合的深度和色彩信息的图像。然而，基于MOG的方法简单地将深度信息看作色彩信息的组成并因此产生更高的计算复杂度。因此，需要提出低复杂度前景对象检测方法和装置，采用深度图像中的深度信息来检测深度图像的场景中所对应的前景对象。

发明内容

有鉴于此，本发明提供一种前景对象检测方法与装置及背景检测方法与装置。

本发明提供一种前景对象检测方法，用于检测多个深度图像中的像素，该前景对象检测方法包括：从该多个深度图像中接收该像素的深度值；如果该像素可以第一背景分布模型表示，根据该深度值更新该第一背景分布模型，且将该像素的代表值标记为第一背景；如果该像素位于该第一背景之后，处理备用背景模型；如果该像素位于该第一背景之前，将该像素的该代表值标记为前景；以及提供该像素的该代表值。

本发明再提供一种背景检测方法，用于多个深度图像中多个对象边沿周围的像素，其中，该多个深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，该背景检测方法包括：从该多个深度图像中接收该像素的深度值；如果该像素以该第一背景分布模型表示，根据该深度值更新该第一背景分布模型；如果该像素在对应于该第一背景分布模型的背景之前，跳过更新该第一背景分布模型；如果该像素在对应于该第一背景分布模型的该背景之后，建立候选背景分布模型并估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率对应于由该第一背景分布模型或该候选背景分布模型分别表示的该像素；如果该第一发生频率与该第二发生频率表示高发生频率，从该候选背景分布模型中建立该第二背景分布模型；如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，丢弃该候选背景分布模型；如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，以该候选背景分布模型替换该第一背景分布模型；以及如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。

本发明另提供一种前景对象检测装置，用于多个深度图像中像素，该前景对象检测装置包括：接收模块，用于从该多个深度图像中接收该像素的深度值；判定模块，耦接于该接收模块，用于判定是否该像素可以第一背景分布模型表示；更新模块，耦接于该判定模块，如果该像素可以该第一背景分布模型表示，则根据该像素的该深度值更新该第一背景分布模型；标记模块，耦接于该判定模块，如果该像素可以该第一背景分布模型表示，则将该像素的代表值标记为第一背景；而如果该像素位于该第一背景之前，则将该像素的该代表值标记为前景，且该标记模块输出提供该像素的该代表值；以及处理模块，耦接于该判定模块，如果该像素位于该第一背景之后，则该处理模块处理备用背景模型。

本发明还提供一种背景检测装置，用于多个深度图像中多个对象边沿周围的像素，其中，该多个深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，该背景检测装置包括：接收模块，用于从该多个深度图像中接收该像素的深度值；判定模块，耦接于该接收模块，用于判定是否该像素可以第一背景分布模型表示；更新模块，耦接于该判定模块，如果该像素可以该第一背景分布模型表示，根据该深度值更新该第一背景分布模型；而如果该像素在对应于该第一背景分布模型的背景之前，跳过更新该第一背景分布模型；处理模块，耦接于该判定模块，该处理模块包括创建模块、频率估计模块、丢弃模块以及替换模块；其中，如果该像素在对应于该第一背景分布模型的该背景之后，创建模块建立候选背景分布模型，且该频率估计模块估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率分别对应于由该第一背景分布模型或该候选背景分布模型表示该像素的发生频率；如果该第一发生频率与该第二发生频率表示高发生频率，该创建模块从该候选背景分布模型中建立该第二背景分布模型的模块；如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，该丢弃模块丢弃该候选背景分布模型；如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，该替换模块以该候选背景分布模型替换该第一背景分布模型；以及如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。

本发明提供的前景对象检测方法可实现简单而实用的基于深度图像的前景对象检测。

附图说明

图1为通过减去已知背景基于色彩/强度图像的简单前景检测示意图；

图2为使用三种高斯分布的MOG方法的实例示意图；

图3为前景中对应两个人物主体的深度图像示意图；

图4为使用深度相机撷取深度图像的方案示意图；

图5为对应上述过程的流程图；

图6为根据本发明一个实施例基于深度信息的背景确定示意图；

图7为根据本发明一个实施例的高斯模型更新过程的流程图；

图8为根据本发明一个实施例包括改进的背景更新过程且同时处理无意义像素的系统流程图；

图9为基于具有混合的两个高斯模型的深度信息的背景确定示意图；

图10为根据本发明一个实施例基于深度信息的前景对象检测结果示意图；

图11A为根据本发明的一个实施例的前景对象检测装置的方块示意图；

图11B为图11A中处理模块的方块示意图；

图12为根据本发明的一个实施例的背景对象检测装置的方块示意图。

具体实施方式

在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求项中所提及的「包含」为一开放式的用语，故应解释成「包含但不限定于」。此外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。

前景对象检测是将自相机撷取的图像中的前景对象与背景分离的过程。前景对象具有各种应用，例如视频监视或基于对象的视频编码。前景对象检测方法通常基于背景相减法，该背景相减法假设随时间推移相机为固定的且可创建并更新背景模型，当接收到新视频帧时，从新视频帧中减去背景模型来获取前景对象，且同时使用新视频帧更新背景模型。图1为通过减去已知背景基于色彩/强度图像的简单前景检测示意图。图1所示方法为常规方法的关键概念，常规方法假设可建立图像100中的背景110。当接收包括前景对象120的新图像100’时，通过从新图像100’中减去背景图像110获取前景对象120。

基于背景相减法的许多前景对象检测方法已在文献中有所描述，其中，主要使用强度显像相机(intensity camera)(简称强度相机)或热显像相机(thermalcamera)撷取图像。上述前景对象检测方法的主要概念为假设可事先建立背景模型。并且假设相机为固定且最初场景为空白。然而，最初场景为空白的需求限制性极大从而无法满足真实环境的需求。本领域存在若干实际应用的流行技术，包括MOG法、KDE法以及编码本法。上述方法的主要区别在于如何表示前景或背景、如何确定背景以及如何更新模型。

MOG法由Stauffer和Grimson在题为“实时追踪的调适性背景混合模型”的论文中所揭示(IEEE计算机视觉与模式识别国际会议，卷2，第246-252页，1999年8月)。MOG法将前景和背景中的每个像素表示为混合的高斯分布。如果像素的降序排列高斯分布(decreasingly sorted Gaussian distribution)的加权和值大于预定义阈值，则将该像素看作背景。根据MOG法，每个像素的最近历史{X₁，...，X_t}是由K个高斯分布的集合建立模型。观察到当前像素值的概率为：

其中，K为高斯分布数目，

为时间t时集合中的第i个高斯分布的估计权重，μ_i，t为时间t时集合中的第i个高斯分布的平均值，∑_i，t为时间t时集合中的第i个高斯分布的协方差矩阵，且η为高斯分布概率密度函数。图2为使用210、220、230三种高斯分布的MOG方法的实例示意图。模型更新规则也在Stauffer和Grimson的论文中有所描述。如果像素的新值可以高斯分布表示，对应的高斯分布得到更新且其他分布的权重减少。如果新值不可以高斯分布表示，且高斯分布的现存数目少于预定义数目，则增加新的高斯分布。否则，标记并替换现存高斯分布中的一个。Stauffer和Grimson也揭示一种背景模型估计方法，其中高斯分布以ω/δ的值排序，ω为权重且δ为对应高斯分布的标准差。将最前面的B个高斯分布选作背景模型，其中

其中，T为背景在数据中应占据的最小部分的测量值。根据MOG法，必须维持和更新K高斯分布模型，因此将导致计算复杂度高。

KDE法由Elgammal在题为“背景相减法的非参数模型”的论文中所揭示(ECCV′00第六次计算机视觉欧洲会议记录-第三部分，第751-767页，2000年)。在KDE方法中，将每个像素的前景和背景表示为核心密度。{x₁，x₂，...，x_N}为像素的最近样本的强度值(intensity value)。基于上述样本，使用核估计G可估计像素的概率密度函数：

$\mathrm{Pr}\left(x_t\right)=\frac{1}{n}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}G(x_t-x_i).---\left(3\right)$

其中，核估计G可为高斯函数。使用此概率估计，如果像素的核心密度值少于阈值，例如Pr(x_t)＜th，其中th为可调整以实现期望误测百分比的所有图像的全域阈值，则可将此像素看作前景像素。Elgammal也提出一种模型更新规则，即只有将新样本看作背景样本时，才将此新样本加入模型。以先进先出(first-infirst-out，FIFO)方式执行此更新。即，丢弃最早样本并将新的样本加入模型。由于需要对数目可观的样本进行缓冲，KDE法同样将导致计算复杂度高。

编码本法由Kim在题为“使用编码本模型的实时前景-背景分割”的论文中所揭示(实时成像，卷2，第3期，第172-185页，2005年6月)。在编码本方法中，将每个像素的背景表示为若干代码，这些代码具有例如出现频率的统计信息。如果像素的亮度在预定义范围内且该像素的色距(color distance)小于阈值，则将此像素看作背景。编码本方法具有建立编码本的训练阶段。如果找不到像素的匹配(match)，则建立新的码字。如果找到像素的匹配，则更新对应的码字。对应的背景相减法尝试寻找匹配码字。如果找不到像素的匹配，则将该像素当作前景像素；否则，将该像素当作背景像素并更新对应码字。同样地，由于码字训练和更新，编码本方法也将导致计算复杂度高。

上述的基于强度的(色彩或灰度)前景对象检测方法主要被设计用于处理复杂情况，例如背景移动并改变照度。上述方法的一个共同特征为，除去系统中允许的组成数量限制，例如高斯分布数目、KDE方法中缓冲区数目或编码书的数目，通常尽可能多地保持像素的历史。例如，在MOG方法中，如果像素的新值不属于现存高斯分布，除非已达到集合的预规定数目，则将建立新的高斯分布以表示该新值且将该新的高斯分布加入高斯分布的集合。当不再允许新的分布时，将根据一些规则标记一个最不利的分布并以该新建立的分布进行替换。

深度相机(Depth camera)为另一种类型的相机，深度相机提供相机与场景中一点之间的距离信息，而非强度或色彩等信息。由于人-机交互中潜在宽度的使用，深度相机在游戏中变得越来越流行。而且，深度相机的成本不断降低。图3为前景中对应两个人物主体310和320的深度图像示意图。以深度图像的灰度表示深度。较高级别(较亮的强度)表示较近的距离而较低级别(较暗的强度)表示较远的距离。为检测深度相机所产生深度图像中的前景对象，现有方法简单地使用为强度相机所设计的背景相减法。因此，深度信息被看作色彩信息以外的另一维度。例如，Harville在题为“色彩及深度中应用适应性混合模型的前景分割”(IEEE视频事件的检测和识别研讨会，第3-11页，2001年7月)提出同时基于色彩和深度信息的前景对象检测方法。此方法同时利用色彩和深度信息，因而计算成本通常较高。而在场景为暗的时候，色彩信息为无帮助的。深度相机与强度相机(色彩或灰度级别)之间的区别说明简单地应用为强度相机设计的方法可能无法达成预期效果。例如，在强度图像中亮度的改变是难以处理的问题；而在深度图像的图像处理中并不存在此问题。如果直接将现存技术运用于深度图像，前景/背景检测结果可能并不令人满意。因此，需要发展一种可靠而实用的基于深度图像的前景对象检测方法和系统。

在深度图像中，以单一高斯分布可建立距离模型。该距离模型表示在不同时间点(time instance)背景与深度相机之间的距离。其中，深度相机对应于深度图像中的像素。此外，真实背景总是深度相机所感知(perceive)的最远点。图4为使用深度相机410撷取深度图像的方案示意图，其中前景对象420位于背景430的前端。其中，441、443为深度相机410在前景对象420上的投影点，而442为深度相机410在背景430上的投影点。在时间点T1，前景对象在深度相机前方距离d1处。对应像素产生对应于距离d1的距离信息。在时间点T2，前景对象420向左移动且对应像素产生对应于距离d2的距离信息。由于新的距离更远，根据本发明，更新当前背景和属于背景的像素。在时间点T3，前景对象420向距离深度相机更近的地方移动且对应像素产生对应于距离d3的距离信息。然而，根据本发明的一个实施例，基于深度信息的背景确定是假设背景总具有更远的距离，因此在时间点T3不会为背景更新像素。相应地，根据本发明一个实施例的方法提供在时间点T3正确的背景确定方法。像素的背景深度值的更新规则为如果深度值可以现有高斯背景分布表示，则使用该深度值更新当前高斯分布；否则，如果该深度值小于可以现有高斯背景分布表示的深度值，不对当前背景模型进行更新，即该像素位于前景中；而如果该深度值大于可以现有高斯背景分布表示的深度值，即该像素在当前背景之后，以一个新的高斯分布替换当前高斯分布，其中，该新的高斯分布的平均值为该新的深度值。上述论述中将高斯分布作为实现本发明的一个实例。然而，也可使用其他分布函数。

根据所述，根据本发明实施例的过程描述如下：

步骤1读取像素的深度值

步骤2如果此像素的背景模型(m，μ)不存在，建立一个新的高斯分布以表示此像素的背景

a.设置m＝d，μ＝μ1(μ1为预定义值)，且

b.将当前像素标记为背景像素。

步骤2中也可根据先前帧中对应像素的先前深度值建立一个新的高斯分布以表示此像素的背景，其中该新的高斯分布模型的平均值对应于先前帧中对应像素的先前深度值。

步骤3如果背景模型(m，μ)存在：

a.如果d可以高斯背景分布表示(例如，|d-m|＜2μ)，更新当前高斯分布并将当前像素标记为背景像素。

b.否则，

i如果d＜m，不进行更新。将当前像素标记为前景像素。

ii如果d＞m，设置m＝d，μ＝μ1(即以新的高斯分布替换当前高斯分布)，将当前像素标记为背景像素。

步骤4回至步骤1进行重复。

图5为对应上述过程的流程图。一旦开始，在步骤S510中，接收像素的深度值d。在步骤S515中，判断是否存在该像素的背景模型(m，μ)。如果背景模型不存在，在步骤S520中，通过设置m＝d，μ＝μ1建立新的高斯分布以表示该像素的背景，且然后将步骤S510中接收的像素标记为背景像素。如果背景模型存在，则在步骤S525中，进一步确认深度值d是否可以背景模型表示。如果深度值d与高斯分布模型平均值m的距离在既定范围之内，例如|d-m|＜λμ，其中λ为预定义值，则认为深度值d可以背景模型表示。除在上述实例中使用与高斯分布模型平均值m的距离以确定是否可以背景模型表示像素之外，也可使用覆盖平均值m的其他范围以进行确定。例如，可以范围m-λ₁μ＜d＜m+λ₂μ确定是否可以背景分布模型表示该像素，其中，λ₁和λ₂为正数。如果深度值d可以背景模型表示，在此情况下，在步骤S530中，更新背景模型，且将该像素标记为背景像素。如果深度值d不能以背景模型表示，在步骤S535中，确认是否d＜m。如果d＞m，在步骤S540中，通过设置m＝d及μ＝μ1替换当前背景模型。而在步骤S550中，将该像素标记为背景像素。如果d＜m，则表示新的像素比背景更近，则在步骤S560中，将该像素标记为前景像素。在步骤S565中，在标记过该像素之后，确认是否已处理该帧中的所有像素。如果仍然存在未被处理的像素。则回至步骤S510以处理剩余像素。否则，结束该过程。可由对应像素的表示数据(indication data)表示像素被标记作前景像素或背景像素。仍然地，上述论述中将高斯分布作为实现本发明的一个实例。然而，也可使用其他分布函数。当像素不可以背景分布模型表示且深度值在背景之后，根据像素的深度值，如图5中流程图的步骤S540所述替换背景分布模型。然而，也可使用备用背景模型处理规则(routine)。例如，在充满噪声的环境中，可使用临时缓冲暂定(tentative)分布模型且仅当确定暂定分布模型出自真实背景时，才发生背景分布模型的替换。

尽管市面上的深度相机，例如Prime Sense^TM深度相机或Microsoft Kinect^TM感应器(sensor)并不能提供完善的品质。在许多简单且噪声较少的环境中，例如在空荡的白墙小房间中上述前景对象检测算法可良好运作。然而，由于当前深度相机的一些限制，上述前景对象检测演算法在实际生活环境中无法良好运作。当前深度相机可能遇到无意义(non-meaningful)像素和噪声问题。无意义像素指的是由于深度相机的限制从深度相机输出的深度值无意义的像素。产生无意义像素的主要情况包括深度相机的深度范围限制、对象或背景对红外线的吸收以及阴影(shadow)等。在这些情况下，深度相机无法可靠地确定深度值。例如，Prime Sense^TM深度相机的深度范围为从约50cm至10m。如果深度值在此范围之外，深度值被指定为零。黑色对象可吸收红外线以致深度感应器无法测量对应这些黑色对象的距离。如果对应对象或背景的像素在阴影或红外线(大多数深度相机中所使用的光源)之中，则不能测量深度值。在Prime Sense^TM深度相机中，所有不具有有意义深度值的这些像素将被指定为零值而不区分情况。如果用无意义深度值更新背景模型，可能会减少背景模型的准确度。因此，需要提出一种背景模型更新机制以改进背景模型的准确度。相应地，本发明的一个实施例提出处理无意义像素的前景对象检测方法。根据本发明，如果确定深度值为无意义的，则将该像素指定为背景像素但并不更新背景模型。

深度相机产生的深度图像中总是存在噪声。噪声的主要影响在于像素的深度值将随着时间推移从一个值域波动至另一个值域。噪声可导致前景对象检测的一些问题，例如，由于使用包括噪声的深度值更新背景模型，噪声可导致伪背景模型(false background model)。例如，由于噪声，一个像素的深度值可能大于当前背景模型可表示的深度值。然后以包括噪声的深度值(m2，μ2)为中心的新的高斯分布更新背景模型。在随后图像中，此像素的深度值可能无噪声(noisefree)的或噪声极低且深度值可再次以先前的高斯分布(m，μ)表示。根据对应图5的方法，当深度相机从具有噪声的高斯分布(m2，μ2)转变至无噪声的高斯分布(m，μ)时，可将像素看作为前景像素。而在对象的边沿周围，边沿像素的深度值可能在边沿四周来回跳跃，因而噪声问题可能更为突出。因此单一的高斯分布可能不足以表示这些像素处的背景模型。

处理此噪声问题的一种方法为使用既定像素深度值的若干历史有条件地更新背景高斯分布。根据本发明一个实施例的背景高斯分布更新过程如下。如果深度值d不可以当前背景高斯分布(m，μ)表示且深度值表示距离为更远，则建立新的背景高斯分布(m2，μ2)。然而，新的背景高斯分布并不适用于替换背景高斯分布。相反地，将新的背景高斯分布放入缓冲区中作为替换当前背景高斯分布的候选。仅当固定时间间隔的计数超过阈值时，以候选背景高斯分布(m2，μ2)替换当前背景高斯分布(m，μ)，其中，该计数为对应于新的深度值可以此候选背景高斯分布(m2，μ2)表示的事件。否则，由于可能是由噪声导致此情况，将丢弃此候选背景分布。图6为根据本发明一个实施例基于深度信息的背景确定示意图，其中像素的深度值历史用于克服噪声问题。在时间点T，深度相机610正确地检测背景620的距离为d，将背景高斯分布存储在背景缓冲区630中。在时间点T+1，深度相机610检测伪背景625具有更远的距离d’且将新的背景高斯分布存储在候选缓冲区640中。而在时间点T+2，深度相机610再次正确地检测背景620的距离为d。如果使用对应图5的方法，将把像素确定为前景像素650。然而，根据改进的使用历史信息的背景更新过程，将忽略例如在时间点T+1的偶然噪声。因此，在时间点T+2将正确地检测背景。

基于上述揭示的方法，为克服噪声问题，将相应修改图5步骤S540中的更新规则。图7为根据本发明一个实施例的高斯模型更新过程700的流程图。步骤S705，从图5中步骤S535中“否”的分支处开始，即“d＜m”＝“否”处。在步骤S710中执行的检验。如果并不存在用于新深度值的背景模型(m2，μ2)，如步骤S720所示，通过设置m2＝d、μ2＝μ1(预定义值)，且计数器值count＝1建立候选背景分布(m2，μ2)。在步骤S730中，如果存在用于新深度值的背景模型(m2，μ2)，进一步检验是否新像素深度值d可以背景分布(m2，μ2)表示。如果步骤S730中的检验结果为“是”，在步骤S740中，则更新背景分布(m2，μ2)并递增计数器。如果递增之后计数器值count大于阈值，则通过设置m＝m2和μ＝μ2以候选背景模型替换当前背景模型。如果检验结果为“否”，在步骤S750中，则递减计数器值count，且如果count＝0，移除候选分布。

图8为根据本发明一个实施例包括改进的背景更新过程且同时处理无意义像素的系统流程图。除去包括对无意义像素的检验和新背景的更新过程，此流程图实质上与图5的流程图相同。在图8中与图5中相同的步骤将使用相同的标号。在图8中，在步骤S510中接收新深度值d之后，执行深度值是否有意义的检验。如果像素无意义，如步骤S550所示，将该像素标记为背景像素。如果像素有意义，则如步骤S515所示，判断是否存在该像素的背景模型。图8中以改进的背景模型更新规则700替换图5中的背景模型更新规则。改进的背景模型更新规则700的细节如图7所示。图5、图7及图8的流程图用于说明本发明的实施例。其中的特定安排与步骤不应作为本发明的限制。

如前所述，对象边沿周围的噪声可能更突出且单一的高斯分布可能不足以表示深度值。通过对对象边沿中的像素使用两个背景分布模型的混合可缓解对象边沿周围的噪声。由于噪声，边沿位置的深度值将来回跳跃，即在第一背深度度值和第二背深度值之间振荡。在边沿像素处两个混合的背景分布模型将良好运作。对象边沿处处理噪声的过程描述如下。首先，类似于前述的深度相机噪声的情况，在缓冲区中存储候选背景高斯分布。(通过与预定义阈值相比较)如果候选背景高斯分布与当前背景高斯分布两者的频率皆高，则将此情况看作在两个背景模型之间振荡。因此，加入候选深度值作为第二背景高斯分布。图9为基于具有混合的两个高斯模型的深度信息的背景确定示意图。对象边沿920位于深度相机910之前。有时深度相机910感知以d_A为中心的深度值，而其他时候深度相机910感知以d_B为中心的深度值。如果深度值可以高斯模型(d_A，μ_A)表示，在背景缓冲区A中存储深度值。如果深度值可以高斯模型(d_B，μ_B)表示，在背景缓冲区B中存储深度值。如果候选背景模型A及候选背景模型B两者的频率皆大于各自的阈值，则使用两个候选背景模型。使用两个高斯分布的混合将提供具有优势的前景对象检测，该前景对象检测以较高计算复杂度为代价导致更清晰的边沿。由于在本领域中边沿像素通常聚集(cluster)在非常小的区域内且已知后处理(post processing)技术中可移除边沿像素，如果不希望出现混合高斯分布所对应的较高计算复杂度，可使用计算成本更低的基于后处理的备用方法。

由于高斯分布用于对深度值的统计特征建立模型，因而也可使用其他分布模型。此外，使用其他简化参数方法来描述深度值也是可行的。例如，实际中可将高斯分布模型退化为一个代表值(representative value)和一个错误容忍度。当使用高斯分布模型η(m，μ)时，根据“如果|d-m|＜λμ”而确定是否深度值d可以模型表示，其中，λ为预定义值。如果该像素可以高斯分布模型表示，则根据深度值更新高斯分布模型。高斯分布模型的更新涉及可观的计算。然而，当使用简化模型时，可使用代表值替换m时则不涉及模型更新。例如，根据在像素处所见的最远深度值可选择代表值。可使用错误容忍度以等同μ或λμ。因此，无需建立和维持背景分布模型。此为使用背景分布模型的备用方法。

图10为根据本发明一个实施例基于深度信息的前景对象检测结果示意图。如第10图所示，根据本发明一个实施例，该方法对前景中两个人物主体1010和1020提供非常清晰的前景对象检测。

根据本发明的实施例，前景对象检测方法基于深度信息，所述方法也可采用色彩/强度信息。用于前景对象检测的联合深度和色彩/强度信息的使用可能产生很高的计算成本。因此，应选择性使用色彩/强度信息以避免高的计算成本。例如，对于一些区域深度信息可能不可用，其中，这些区域吸收从深度相机辐射的红外线。因此，这些区域将导致无意义像素。根据本发明的一个实施例，通过将无意义像素标记为背景像素而不更新背景分布模型以解决此情况。为减轻基于色彩/强度信息的前景检测方法所对应的高计算成本，仅在深度信息为不可用的这些像素处使用色彩/强度信息。色彩/强度信息为有用的另一种情况为对象边沿，此时对象边沿周围的深度信息可能不可靠。本发明的一个实施例采用两种高斯分布的混合以克服对象边沿问题。另外，可在对象边沿周围区域使用基于常规色彩/强度信息的方法以增强前景对象检测效能。

而在根据本发明一个实施例的另一种前景对象检测方法中，提供每个像素处的背景置信度(background confidence，BC)。BC提供关于背景值有多可靠的置信指示。在一个实施例中，根据公式BC＝(a-z)/t确定BC，其中，a为确定当前深度值为背景的时间次数，z为确定像素具有零值的时间次数，而t为确定像素为背景像素的总时间次数。也可使用其他形式来衡量BC。在一个像素BC较低的情况下，可使用其他方式以增强BC。例如，对于BC低于阈值的像素，可使用基于色彩/强度信息的常规前景对象检测方法。

图11A为根据本发明的一个实施例的前景对象检测装置1100的方块示意图。如图11A所示，前景对象检测装置1100包括：接收模块1101、判定模块1102、更新模块1103、标记模块1104以及处理模块1105。接收模块1101用于从深度图像I中接收像素P的深度值D。判定模块1102耦接于接收模块1101，且判定模块1102接收由接收模块1101所输出的像素P的深度值D以判定是否该像素P可以第一背景分布模型表示。更新模块1103耦接于该判定模块1102，如果该像素P可以该第一背景分布模型表示(即深度值D小于可以第一背景分布模型表示的深度值)，则更新模块1103根据该像素P的该深度值D更新该第一背景分布模型。且标记模块1104耦接于该判定模块1102，如果该像素P可以该第一背景分布模型表示，则将该像素P的代表值R标记为第一背景；而如果该像素P位于第一背景之前，则将该像素P的该代表值R标记为前景，且该标记模块1104输出提供该像素P的该代表值R。而处理模块1105也耦接于判定模块1102，如果该像素P位于该第一背景之后(即深度值D大于可以第一背景分布模型表示的深度值)，则该处理模块1105处理备用背景模型。

图11B为图11A中处理模块1105的方块示意图。如图11B所示，处理模块1105进一步包括创建模块1106、噪声估计模块1107、替换模块1108以及丢弃模块1109。当确定该像素P位于该第一背景之后，处理模块1105处理备用背景模型的过程如下：如果第二背景分布模型不存在，则创建模块1106根据该深度值D建立第二背景分布模型；且噪声估计模块1107接收像素P的深度值D，并进行噪声估计；替换模块1108耦接于噪声估计模块1107，如果该噪声估计表示对应于该第二背景分布模型的第二背景为真实背景，替换模块1108以第二背景分布模型替换该第一背景分布模型；以及丢弃模块1109耦接于该噪声估计模块1107，如果噪声估计表示第二背景为噪声，该丢弃模块1109丢弃该第二背景分布模型。

图12为根据本发明的一个实施例的背景检测装置1200的方块示意图。其中，深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，如第12图所示，背景对象检测装置1200包括：接收模块1201、判定模块1202、更新模块1203以及处理模块1204。接收模块1201用于从深度图像I’中接收像素P’的深度值D’。判定模块1202耦接于该接收模块1201，且判定模块1202接收接收模块1201所输出的像素P’的深度值D’以判定是否该像素P’可以第一背景分布模型表示。更新模块1203耦接于判定模块1202，如果该像素P’可以该第一背景分布模型表示(即深度值D’小于可以第一背景分布模型表示的深度值)，则更新模块1203根据深度值D’更新该第一背景分布模型；而如果该像素P’在对应于该第一背景分布模型的背景之前，则跳过更新该第一背景分布模型。而处理模块1204也耦接于判定模块1202，且处理模块1204进一步包括创建模块1205、频率估计模块1206、丢弃模块1207以及替换模块1208；其中，如果该像素P’在对应于该第一背景分布模型的该背景之后，创建模块1205建立候选背景分布模型，且该频率估计模块1206估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率分别对应于由该第一背景分布模型或该候选背景分布模型表示该像素的发生频率；如果该第一发生频率与该第二发生频率表示高发生频率，该创建模块1205从该候选背景分布模型中建立该第二背景分布模型的模块；如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，该丢弃模块1207丢弃该候选背景分布模型；如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，该替换模块1208以该候选背景分布模型替换该第一背景分布模型；由前述的背景更新过程可知，如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。

上述的根据本发明的前景对象检测实施例可在不同硬件、软件或二者的组合中实现。例如，本发明的一个实施例可为集成在视频压缩芯片中的电路或集成在视频压缩软件中的程序代码以执行实施例中所述的处理。本发明的一个实施例也可为数字信号处理机(DSP)上执行的程序代码以执行实施例中所述的处理。本发明也关于由计算机处理器、DSP、微处理器或FPGA执行的多个功能。根据本发明，通过执行定义本发明所包括的特定方法的机器可读软件代码或固件代码，可配置这些处理机来执行特定任务。可在不同程式语言和不同格式或风格中开发软体代码或韧体代码。也可对不同目标平台编译软体代码。然而，根据本发明，用于执行任务的不同编码格式、风格和软件代码语言以及其他方式的配置代码都不得脱离本发明的精神与范围。

上述的实施例仅用来例举本发明的实施态样，以及阐释本发明的技术特征，并非用来限制本发明的范畴。任何所属领域的技术人员可依据本发明的精神轻易完成的改变或均等性安排均属于本发明所主张范围，本发明的权利范围应以权利要求为准。

Claims (24)

1.一种前景对象检测方法，用于检测多个深度图像中的像素，该前景对象检测方法包括：

从该多个深度图像中接收该像素的深度值；

如果该像素以第一背景分布模型表示，根据该深度值更新该第一背景分布模型，且将该像素的代表值标记为第一背景；

如果该像素位于该第一背景之后，处理备用背景模型；

如果该像素位于该第一背景之前，将该像素的该代表值标记为前景；以及

提供该像素的该代表值。

2.如权利要求1所述的前景对象检测方法，其特征在于，如果该像素的深度值在一个范围之内，该范围覆盖对应于该第一背景分布模型的第一值，则该像素以该第一背景分布模型表示。

3.如权利要求2所述的前景对象检测方法，其特征在于，该第一背景分布模型符合高斯分布模型，该高斯分布模型具有平均值或标准差，其中，该第一值与该平均值相关且该范围与该标准差相关。

4.如权利要求2所述的前景对象检测方法，其特征在于，如果该深度值大于该第一值，该像素位于该第一背景之后。

5.如权利要求2所述的前景对象检测方法，其特征在于，如果该深度值小于该第一值，该像素位于该第一背景之前。

6.如权利要求1所述的前景对象检测方法，其特征在于，更包括，如果该第一背景分布模型不存在，建立新的第一背景分布模型。

7.如权利要求6所述的前景对象检测方法，其特征在于，根据先前帧中的对应像素的先前深度值，建立该新的第一背景分布模型。

8.如权利要求6所述的前景对象检测方法，其特征在于，该新的第一背景分布模型的平均值对应于该像素值或先前帧中对应像素的先前深度值。

9.如权利要求1所述的前景对象检测方法，其特征在于，更包括检查是否该深度值为有意义的，且如果该深度值为无意义的，在所述的接收该深度值之后，将该像素的该指示标记为该第一背景。

10.如权利要求1所述的前景对象检测方法，其特征在于，根据该深度值或先前帧中对应像素的先前深度值，所述的处理备用背景模型以新的第一背景分布模型替换该第一背景分布模型。

11.如权利要求10所述的前景对象检测方法，其特征在于，该第一背景分布模型符合第一高斯分布，该第一高斯分布具有第一平均值和第一标准差，其中，该深度值用作该第一平均值且预定义值用作该第一标准差。

12.如权利要求1所述的前景对象检测方法，其特征在于，所述的处理备用背景模型包括：

如果第二背景分布模型不存在，根据该深度值建立该第二背景分布模型；

如果噪声估计表示对应于该第二背景分布模型的第二背景为真实背景，则以该第二背景分布模型替换该第一背景分布模型；以及

如果该噪声估计表示该第二背景为噪声，则丢弃该第二背景分布模型。

13.如权利要求12所述的前景对象检测方法，其特征在于，该噪声估计基于该像素以该第二背景分布模型表示的发生频率。

14.如权利要求13所述的前景对象检测方法，其特征在于，如果该第二背景分布模型代表该像素则增加该发生频率，否则减少该发生频率。

15.如权利要求14所述的前景对象检测方法，其特征在于，如果该发生频率大于高的阈值，则表示该第二背景为该真实背景。

16.如权利要求14所述的前景对象检测方法，其特征在于，如果该发生频率小于低的阈值，则表示该第二背景为该噪声。

17.如权利要求1所述的前景对象检测方法，其特征在于，更包括提供对应于该像素的该代表值的背景置信度。

18.如权利要求17所述的前景对象检测方法，其特征在于，该背景置信度与第一计数a相关、第二计数z相关以及第三计数t相关，其中，该第一计数a对由该第一背景分布模型表示的该像素进行计数，该第二计数z对无意义的该像素进行计数，该第三计数t对作为该第一背景的该像素进行计数。

19.如权利要求1所述的前景对象检测方法，其特征在于，该第一背景分布模型符合固定背景分布模型，该固定背景分布模型具有第一值和第二值，其中，如果该深度值与该第一值之间的差值在误差容忍度之内，则该像素以该第一背景分布模型表示，其中，该误差容忍度对应于该第二值，该第一值与该第二值为不可更新的。

20.如权利要求19所述的前景对象检测方法，其特征在于，将在该像素处所观察的最大深度值选作该第一值。

21.一种背景检测方法，用于多个深度图像中多个对象边沿周围的像素，其中，该多个深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，该背景检测方法包括：

从该多个深度图像中接收该像素的深度值；

如果该像素以该第一背景分布模型表示，根据该深度值更新该第一背景分布模型；

如果该像素在对应于该第一背景分布模型的背景之前，跳过更新该第一背景分布模型；

如果该像素在对应于该第一背景分布模型的该背景之后，建立候选背景分布模型并估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率对应于由该第一背景分布模型或该候选背景分布模型分别表示的该像素；

如果该第一发生频率与该第二发生频率表示高发生频率，从该候选背景分布模型中建立该第二背景分布模型；

如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，丢弃该候选背景分布模型；

如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，以该候选背景分布模型替换该第一背景分布模型；以及

如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。

22.一种前景对象检测装置，用于多个深度图像中像素，该前景对象检测装置包括：

接收模块，用于从该多个深度图像中接收该像素的深度值；

判定模块，耦接于该接收模块，用于判定是否该像素以第一背景分布模型表示；

更新模块，耦接于该判定模块，如果该像素以该第一背景分布模型表示，则根据该像素的该深度值更新该第一背景分布模型；

标记模块，耦接于该判定模块，如果该像素以该第一背景分布模型表示，则将该像素的代表值标记为第一背景；而如果该像素位于该第一背景之前，则将该像素的该代表值标记为前景，且该标记模块输出提供该像素的该代表值；以及

处理模块，耦接于该判定模块，如果该像素位于该第一背景之后，则该处理模块处理备用背景模型。

23.如权利要求22所述的前景对象检测装置，其特征在于，该处理模块包括：

创建模块，如果第二背景分布模型不存在，该创建模块根据该深度值建立该第二背景分布模型；

噪声估计模块，用于对该像素的该深度值进行噪声估计；

替换模块，耦接于该噪声估计模块，如果该噪声估计表示对应于该第二背景分布模型的第二背景为真实背景，该替换模块以该第二背景分布模型替换该第一背景分布模型；以及

丢弃模块，耦接于该噪声估计模块，如果该噪声估计表示该第二背景为噪声，该丢弃模块丢弃该第二背景分布模型。

24.一种背景检测装置，用于多个深度图像中多个对象边沿周围的像素，其中，该多个深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，该背景检测装置包括：

接收模块，用于从该多个深度图像中接收该像素的深度值；

判定模块，耦接于该接收模块，用于判定是否该像素以第一背景分布模型表示；

更新模块，耦接于该判定模块，如果该像素以该第一背景分布模型表示，根据该深度值更新该第一背景分布模型；而如果该像素在对应于该第一背景分布模型的背景之前，跳过更新该第一背景分布模型；

处理模块，耦接于该判定模块，该处理模块包括创建模块、频率估计模块、丢弃模块以及替换模块；其中，如果该像素在对应于该第一背景分布模型的该背景之后，创建模块建立候选背景分布模型，且该频率估计模块估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率分别对应于由该第一背景分布模型或该候选背景分布模型表示该像素的发生频率；如果该第一发生频率与该第二发生频率表示高发生频率，该创建模块从该候选背景分布模型中建立该第二背景分布模型的模块；如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，该丢弃模块丢弃该候选背景分布模型；如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，该替换模块以该候选背景分布模型替换该第一背景分布模型；以及

如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。

Images