CN102737370A - 检测图像前景的方法及设备 - Google Patents

Abstract

提供了一种图像前景检测方法及设备，该图像前景检测方法，包括：提取所述图像的亮度分量并获得亮度参数；对所述图像进行运动检测以检测出第一前景区域；从与所述图像相关联的深度图像中检测出第二前景区域；以及基于所述亮度参数，对所述第一前景区域与所述第二前景区域进行组合。通过基于输入图像的亮度参数将基于输入图像的运动检测而获得的前景检测结果与基于深度图像的前景检测而获得的前景检测结果组合，可以在任何条件下提供良好的前景区域检测结果。

Description

检测图像前景的方法及设备

技术领域

本发明涉及图像处理方法及设备，并且更具体地涉及一种图像前景检测方法及设备。

背景技术

目前，前景物体检测方法在例如监控系统、视频会议系统、人机交互系统等系统中存在广泛应用。已知的前景物体检测方法根据输入信号的不同，大致可以被划分为两类：第一类方法(也即主流的方式)是基于输入图像的运动检测；第二类方法是基于通过红外装置、雷达装置或者多摄像头装置获取的3D信息的前景检测。

基于输入图像的运动检测方法相对成熟并且处理速度相对较快，并且被广泛应用于网络摄像头中。典型的基于输入图像的运动检测方法例如有基于帧间差的运动检测方法或者基于混合高斯模型(GMM)的运动检测方法。但是，该类运动检测存在其自身的缺点：对快速亮度变化敏感、在低光照条件下检测精度恶化、以及很难区分物体在光下投射的影子。

基于3D信息的前景检测方法可以在低光照条件下工作，典型地为例如基于深度图像的前景检测方法，其可以包括利用深度检测的前景检测、以及利用运动检测的前景检测。随着3D技术的不断发展，用于获得3D信息的装置造价变得越来越便宜，该类前景检测方法也越来越多地被用来检测图像前景。例如，在专利文献US7308112B2中提出了一种用于人机交互系统的检测并识别用户指令的方法。其中，通过硬件传感器以某一帧速率拍摄连续的深度图像，并且利用所拍摄的连续深度图像来进行人的检测、人的身体组件的检测、手的形状分析、轨迹分析、身体方向确定、姿势匹配等。但是，该类前景物体检测方法也存在其自身的缺点：有效工作距离的限制、以及较强光照也会影响检测结果。

鉴于基于输入图像的运动检测方法与基于3D信息的前景检测方法受环境影响的特性有所不同，因此希望将这两种方法融合在一起以便获得良好的前景检测结果。

在专利文献US7317830B1中提出一种结合深度图像的深度信息和输入图像的彩色信息进行前景和背景分割的方法。具体地，首先使用深度信息和彩色信息建立一个多维背景模型，然后将深度图像中每一像素的深度值与背景模型中对应像素的深度值进行比较，如果比较结果表明这两个深度值不相同，则将该像素标记为前景，并且将输入图像中每一像素的灰度值与背景模型中对应像素的灰度值进行比较，如果比较结果表明这两个灰度值不相同，则将该像素标记为前景。其中，深度信息独立于彩色图像信息并不受阴影和相似颜色的影响。然而，该专利文献中使用深度信息和彩色信息建立多维背景模型的算法相当复杂，并且在无背景模型的情况下前景分割精度较低。

因此，存在对于一种简单的在任何环境下都能获得良好的前景检测精度的前景检测方法及设备的需要。

发明内容

考虑到上述问题而提出了本发明。本发明的一个目的是提供一种图像前景检测方法及设备，其通过基于输入图像的亮度参数将基于输入图像的运动检测结果与基于深度图像的前景检测结果组合，有利地利用基于输入图像的运动检测方法和基于深度图像的前景检测方法两者各自的优点，从而在任何环境下都能提供良好的前景检测精度。

根据本发明的一方面，提供了一种图像前景检测方法，包括：提取所述图像的亮度分量并获得亮度参数；对所述图像进行运动检测以检测出第一前景区域；从与所述图像相关联的深度图像中检测出第二前景区域；以及基于所述亮度参数，对所述第一前景区域与所述第二前景区域进行组合。

优选地，在该图像前景检测方法中，所述亮度参数包括像素的亮度值和/或表示帧间亮度变化的像素的亮度差值。

进一步，在该图像前景检测方法中，作为像素的亮度值和/或亮度差值的函数，来确定所述第一前景区域的置信度，使得其随着亮度值降低而下降和/或随着亮度差值增加而下降；作为像素的亮度值的函数，来确定所述第二前景区域的置信度，使得其随着亮度值增加而下降；将所述第一前景区域和所述第二前景区域分别利用相应置信度加权并相加；以及对于每个像素，当相加后的置信度高于预定置信度阈值时，将该像素确定为最终前景区域。

优选地，在该图像前景检测方法中，所述亮度参数包括像素的亮度值。

进一步，在该图像前景检测方法中，对所述图像进行运动检测包括：提取所述图像的反射分量；以及利用混合高斯运动检测方法对所述图像的亮度分量进行运动检测，以便获得所述图像的第一前景区域，其中，将混合高斯运动检测模型中的决策参数T设置为亮度值的函数，在亮度值高于预定亮度值阈值时，将决策参数T设置为预定最大值，而在亮度值低于所述预定亮度值阈值时，将决策参数T设置为从所述预定值逐渐减小。

进一步，在该图像前景检测方法中，从与所述图像相关联的深度图像中检测出第二前景区域包括：基于深度图像的分辨率以及用于测量深度图像的深度传感器的以下参数：高度、水平角度范围和垂直角度范围，来计算水平面模板图像；以及从所述深度图像中提取与所述水平面模板图像具有不同深度的图像区域作为前景区域。

进一步，在该图像前景检测方法中，从所述深度图像中提取与所述水平面模板图像具有不同深度的图像区域作为前景区域包括：对于每个像素，当所述深度图像的深度值与所述水平面模板图像的深度值之间的差值小于预定深度差阈值时，将该像素标记为处于水平平面位置；获得所述深度图像中的水平平面区域；以及从所述深度图像中去除所检测到的水平平面区域，以获得前景区域。

进一步，在该图像前景检测方法中，还包括：在所述第二前景区域中，计算每个像素处的深度梯度值；当该深度梯度值大于预定梯度值阈值时，确定该像素处于前景对象的遮挡边缘，并将该像素处的深度值设置为预定深度值；以及进行连通域分析，从所述第二前景区域中分离出前景对象。

根据本发明的另一方面，提供了一种图像前景检测设备，包括：亮度参数计算装置，用于提取所述图像的亮度分量并获得亮度参数；第一前景区域检测装置，用于对所述图像进行运动检测以检测出第一前景区域；第二前景区域检测装置，用于从与所述图像相关联的深度图像中检测出第二前景区域；以及前景区域组合装置，用于基于所述亮度参数对所述第一前景区域与所述第二前景区域进行组合。

优选地，在该图像前景检测设备中，所述亮度参数包括像素的亮度值和/或表示帧间亮度变化的像素的亮度差值。

进一步，在该图像前景检测设备中，所述前景区域组合装置包括：第一置信度确定装置，用于作为像素的亮度值和/或亮度差值的函数，来确定所述第一前景区域的置信度；第二置信度确定装置，用于作为像素的亮度值的函数，来确定所述第二前景区域的置信度；最终前景区域确定装置，用于将所述第一前景区域和所述第二前景区域分别利用相应置信度加权并相加，并且对于每个像素当相加后的置信度高于预定置信度阈值时，将该像素确定为最终前景区域。

优选地，在该图像前景检测设备中，所述亮度参数包括像素的亮度值。

进一步，在该图像前景检测设备中，所述对所述图像进行运动检测包括：提取所述图像的反射分量；以及利用混合高斯运动检测方法对所述图像的亮度分量进行运动检测，以便获得所述图像的第一前景区域，其中，将混合高斯运动检测模型中的决策参数T设置为亮度值的函数，在亮度值高于预定亮度值阈值时，将决策参数T设置为预定最大值，而在亮度值低于所述预定亮度值阈值时，将决策参数T设置为从所述预定最大值逐渐减小。

进一步，在该图像前景检测设备中，所述第二前景区域检测装置还包括：水平面模板图像计算装置，用于基于深度图像的分辨率以及用于测量深度图像的深度传感器的以下参数：高度、水平角度范围和垂直角度范围，来计算水平面模板图像；以及第二前景区域提取装置，用于从所述深度图像中提取与所述水平面模板图像具有不同深度的图像区域作为所述第二前景区域。

附图说明

通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚，其中：

图1图示了根据本发明实施例的图像前景检测方法的流程图。

图2图示了图1中的亮度参数提取步骤S12的详细示意图。

图3A图示了图2中的亮度分量提取步骤S121的详细示意图。

图3B图示了图3A中的输入图像的示例。

图3C图示了图3A中的亮度分量的示例。

图3D图示了图3A中的反射分量的示例。

图4图示了图2中的参数提取步骤S122的详细流程图。

图5图示了根据本发明实施例的亮度自适应的混合高斯运动检测方法的流程图。

图6图示了根据本发明实施例的亮度自适应的混合高斯运动检测方法中的决策参数T与亮度值i之间的关系的示例示意图。

图7图示了根据本发明实施例的基于水平面模板的前景检测方法的流程图。

图8表示从无限大的水平面上的任一点到深度传感器的距离的示意图。

图9表示基于水平面模板的前景检测方法的检测结果的示例。

图10图示了图1中的前景区域组合步骤S15的详细流程图。

图11A图示了基于输入图像的运动检测所获得的前景检测结果的置信度与亮度值i的相互关系。

图11B图示了基于输入图像的运动检测所获得的前景检测结果的置信度与亮度差Δi的相互关系。

图11C图示了基于深度图像的前景检测所获得的前景检测结果的置信度与亮度值i的相互关系。

图12图示了根据本发明实施例的图像前景检测设备的框图。

具体实施方式

下面将参照附图来描述根据本发明实施例的图像前景检测方法及设备。

首先，将参考图1来说明根据本发明实施例的图像前景检测方法。

根据本发明实施例的图像前景检测方法在步骤S11开始。

在步骤S12，提取输入图像的亮度分量并获得亮度参数。所述输入图像可以是通过网络摄像头按照一定帧速率实时拍摄的图像或者是从已有视频中获得的帧图像。此外，所述输入图像既可以是彩色图像也可以是灰度图像。输入图像的亮度参数包括以下至少一项：像素的亮度值、以及表示帧间亮度变化的像素的亮度差值。稍后，将参考图2来详细解释从输入图像中提取亮度分量并获得亮度参数的示例方法。

在步骤S13，对输入图像进行运动检测以检测出第一前景区域。如前所述，典型的基于输入图像的运动检测方法包括但不限于基于帧间差的运动检测方法或者基于混合高斯模型(GMM)的运动检测方法。可以利用这些运动检测方法来对输入图像进行运动检测，以便从输入图像中检测出第一前景区域。典型的基于输入图像的运动检测方法通常不使用输入图像的亮度参数。如后面所述的，本发明还提供了一种亮度自适应的混合高斯运动检测方法，其中，需要利用在步骤S12中所计算的亮度参数，如图1中虚线所示。然而，本发明的图像前景检测方法中的基于输入图像的运动检测方法并不仅限于利用本发明提出的亮度自适应的混合高斯运动检测方法，而是可以应用已知的其它基于输入图像的运动检测方法。

在步骤S14，从与所述图像相关联的深度图像中检测出第二前景区域。可以通过将红外设备、雷达设备等与摄像头组合来同时拍摄图像并获得与所拍摄图像对应的/相关联的深度图像。此外，可以通过利用多摄像头拍摄同一场景，从而经过对各摄像头拍摄的图像进行后处理，来获得拍摄图像及其对应的/相关联的深度图像。如前所述，基于深度图像的前景检测方法可以包括利用深度检测的前景检测、以及利用运动检测的前景检测。同理，可以利用这些前景检测方法来从深度图像中检测出第二前景区域。

在步骤S15，基于所述亮度参数，对所述第一前景区域与所述第二前景区域进行组合。基于输入图像的运动检测方法与基于深度图像的前景检测方法针对不同环境表现出不同的前景检测精度，具体地，如前所述，基于输入图像的运动检测方法在较强光照条件下检测精度高，但对快速亮度变化敏感、在低光照条件下检测精度恶化、以及很难区分物体在光下投射的影子；而基于深度图像的前景检测方法可以在低光照条件下检测精度高、对快速亮度变化不敏感、不受物体在光下投影的影子的影响、不受相似颜色的影响，但在较强光照条件下由于此时在光线中含有红外线成分而使得检测精度劣化。因此，考虑到基于输入图像的运动检测方法与基于深度图像的前景检测方法针对不同环境的不同表现，利用所述输入图像的亮度参数，对所述第一前景区域与所述第二前景区域进行组合，从而获得基本不受光照影响的高检测精度的图像前景。

在步骤S16，根据本发明实施例的图像前景检测方法结束。

如前所述，可以利用包括但不限于基于帧间差或者基于混合高斯模型(GMM)的运动检测方法来对输入图像进行运动检测。

接下来，将参考图2来说明图1中的步骤S12从输入图像中提取亮度分量并获得亮度参数的示例方法。

根据同态滤波理论，一幅图像可以被表示为亮度-反射模型。图像的亮度-反射模型中的亮度分量与光照条件(即，亮度条件)有关并且实质上由亮度条件决定，图像的亮度-反射模型中的反射分量由被成像的场景的表面的反射特征决定，而与亮度条件无关并且理论上不受亮度条件的影响。

在步骤S121，从输入图像中提取出亮度分量。作为示例，对输入图像进行同态滤波，以便将输入图像分解为亮度分量和反射分量。

具体地，在输入图像为灰度图像的情况下，直接利用该灰度图像进行同态滤波，以便获得该灰度图像的亮度分量和反射分量。在输入图像为彩色图像的情况下，首先获得该彩色图像所对应的灰度图像，然后再获得该对应灰度图像的亮度分量和反射分量。

更具体地，在彩色图像为RGB格式的情况下，首先可以将RGB格式转换为LUV格式，然后使用LUV格式中的L通道(即，亮度通道)作为其对应灰度图像。

结合图3A来描述亮度分量提取步骤S121的示意图。

在图像的亮度-反射模型中，图像的每个像素的灰度值可以用以下公式表示：

G(m，n)＝i(m，n)*r(m，n)                   (1)

其中，G(m，n)表示图像中的像素P(m，n)处的灰度值，i(m，n)和r(m，n)分别表示该灰度值的亮度值分量和反射值分量，所述亮度值分量表示图像场景的亮度条件，而所述反射值分量表示场景表面的反射特性。

对公式(1)两边同时取对数，得到以下公式：

log(G(m，n))＝log(i(m，n))+log(r(m，n))    (2)

理论上，一个图像的大部分高频和中频属于该图像的反射分量而低频部分则属于该图像的亮度分量。

在输入灰度图像之后，在步骤S1211，对所输入的灰度图像进行对数转换。具体地，对所输入的灰度图像中的每个像素的灰度值G(m，n)取对数。

在步骤S1212，对取对数操作后的结果值进行低通滤波或高通滤波，从而分离出低频分量和高频分量。尽管在图3A中示出了对取对数操作后的结果值进行低通滤波，并从取对数操作后的结果值中减去低频分量以得到高频分量；然而本领域技术人员很容易想到对取对数操作后的结果值进行高通滤波，并从取对数操作后的结果值中减去高频分量以得到低频分量。

在采用低通滤波的情况下，可以采用高斯低通滤波器、巴特沃兹低通滤波器等等，但本发明不限于此，而是可以使用其它类型的低通滤波器。

在步骤S1213，分别对所获得的低通分量和高通分量进行指数转换，以便分别将所获得的低通分量和高通分量转换为所输入的灰度图像的亮度分量和反射分量。所述指数转换为所述取对数运算的逆运算。在图3B中图示了图3A中的输入图像，在图3C图示了图3A中的亮度分量，而图3D图示了图3A中的反射分量。所述亮度分量和反射分量都是灰度图像。

返回图2，在步骤S122，从所获得的亮度分量中提取亮度参数，所述亮度参数包括以下至少一项：表示亮度状态的亮度参数，即像素的亮度值i；以及表示帧间亮度变化的亮度参数，即像素的亮度差值Δi。

下面参考图4来描述参数提取步骤S122的详细流程图。

首先，在步骤S1221，设置亮度参数计算窗口的大小M*N，其中，M为该窗口的横向像素数目，N为该窗口的纵向像素数目，M可以等于或不等于N。

然后，在步骤S1222，逐像素地选择整个亮度分量灰度图像上的每个像素作为目标像素，并以该目标像素为中心地移动该亮度参数计算窗口，以选定一个具体的亮度参数计算范围。

在步骤S1223，利用在该窗口所选定的亮度参数计算范围内每个像素的亮度值来计算目标像素的亮度值。

作为示例，可以根据以下公式(3)对在该窗口所选定的亮度参数计算范围内每个像素的亮度值求平均来计算目标像素的亮度值i，并将值保存在该目标像素对应的位置。

$i(m,n)=\frac{\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}i(u,v)}{(M*N)}---\left(3\right)$

作为另一示例，可以根据以下公式(4)对所在该窗口所选定的亮度参数计算范围内每个像素的亮度值加权后再求平均来计算目标像素的亮度值i，并将值保存在该目标像素对应的位置。

$i(m,n)=\frac{\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}W(u,v)i(u,v)}{\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}W(u,v)}---\left(4\right)$

其中，0≤W(u，v)＜1。

对于亮度分量灰度图像上的、以其为中心的亮度参数计算窗口超出了整个亮度分量灰度图像的那些像素，可以简单地保留所述像素处的亮度值，或者可以采用像素镜像方法填充超出整个亮度分量灰度图像的窗口的像素值来计算该像素的亮度参数，或者可以简单地将超出整个亮度分量灰度图像的窗口的像素值设置为0来计算该像素的亮度参数。本发明不限于上述的这些方法。

在步骤S1224，计算该目标像素的当前亮度值与该目标像素的前一亮度值之间的差值，作为该目标像素的亮度差值。亮度差Δi由以下公式(5)给出：

Δi(m，n)＝Abs(i_t(m，n)-i_t-1(m，n))       (5)

其中Δi(m，n)表示像素P(m，n)当前帧的亮度差值，i_t(m，n)表示当前帧中像素P(m，n)的亮度值，i_t-1(m，n)表示前一帧中像素P(m，n)的亮度值，Abs是取绝对值操作。

接下来，在步骤S1225，判断是否对于整个亮度分量灰度图像上的每个像素计算了亮度值和亮度差值。

如果在步骤S1225的判断结果为否，则返回步骤S1222，以便计算下一像素的亮度参数。

如果在步骤S1225的判断结果为是，则前进到步骤S15，以便用于将基于输入图像的运动检测的前景检测结果与基于深度图像的前景检测的前景检测结果组合。

此外，如下所述，在根据本发明实施例的亮度自适应的混合高斯运动检测方法中，也需要使用输入图像的亮度参数，因此，如果在步骤S1225的判断结果为是，还将所获得的输入图像的亮度参数提供给步骤S13。

下面以一个3×3的窗口举例说明像素的亮度参数计算。以目标像素作为亮度参数计算窗口的中心点，当前的亮度参数计算窗口覆盖的区域如下图所示：

其中，该窗口覆盖9个像素点，中心点的像素值是150，其余点的像素值是100。根据公式(3)，计算目标像素的亮度值i_t(m，n)＝950/9＝106。

假设前一个时刻t-1，相同区域的像素值如下所示：

其中，所有像素的亮度值均为100。根据公式(3)，计算目标像素在t-1时刻的亮度值i_t-1(m，n)＝100。由此，根据公式(5)可得出对应的亮度差Δi(m，n)＝Abs(106-100)＝6。

接下来，将参考图5来阐述根据本发明实施例的亮度自适应的运动检测方法的流程图。

该亮度自适应的运动检测方法基于混合高斯运动检测方法。首先，在步骤S131，取得输入图像。这里的输入图像可以包括但不限于彩色图像、灰度图像、彩色图像或灰度图像中的反射分量等。优选地，使用图2和图3中所示的反射分量作为输入图像代替输入图像，使得检测结果对光照变化具有鲁棒性。

然后，利用亮度自适应的混合高斯运动检测模型对所述输入图像进行运动检测，以便获得所述图像的第一前景区域。

具体地，在步骤S132，对于当前图像帧更新混合高斯运动检测模型中的各个高斯。在步骤S133，将混合高斯运动检测模型中的决策参数T设置为亮度值的函数，并利用该决策参数T分割图像的前景和背景。

如本领域已知的，公式(6)是混合高斯运动检测方法中核心算法之一。

$B={\arg \min }_b(\underset{k=1}{\overset{b}{\mathrm{\Σ}}}{w}_k>T)---\left(6\right)$

其中，w_k表示各个高斯的权重，对于k＝1，...，b，w_k依次减小。在对各个高斯的权重进行排序后，背景估计即要找到最少的b个高斯，它们权重之和大于给定的阈值T。所找到的b个高斯表示的是背景，而剩余的高斯则表示前景。

阈值T的大小决定了被认定为背景的高斯的个数，进而决定背景的组成。较小的T值得到的是单一模式的背景，即背景是稳定不变化的区域；而较大的T会得到多模分布的背景，即轻微变化的区域也被划分为背景区域。一般根据场景不同，可以将阈值T设定为某个固定值，该固定值可以通过实验获得。

为使混合高斯运动检测方法能够在低光照仍能取得好的效果，根据本发明实施例的亮度自适应的混合高斯运动检测方法，在阈值T的设定过程中考虑了亮度参数值，从而对基本的混合高斯运动检测方法的决策规则做出进一步改进。

具体地，在确定阈值T时，使用亮度自适应的变量T＝T(i)来代替固定值。

图7图示了变量T和像素P(m，n)的亮度值i(m，n)的关系：当光照条件好时，T的值设定为较大的值；而当光照变暗时，由于前景和背景变得更难分割，所以T的值更小，这样同时也使得得到的前景区域中含有更多的噪声。

作为示例，可以如以下公式(7)所示地表达变量T和i(m，n)之间的相互关系：

$T\left(i\right)=\left\{\begin{array}{c}{T}_{\mathrm{high}},i(m,n)>i_{\mathrm{good}}\\ T_{\mathrm{low}}+\frac{T_{\mathrm{high}}-T_{\mathrm{low}}}{i_{\mathrm{good}}}*i(m,n),i(m,n)\≤i_{\mathrm{good}}\end{array}\right.---\left(7\right)$

其中，i_good为预定亮度值阈值，T_high为T的最高值，而T_low为T的最低值。即，在像素P(m，n)的亮度值i(m，n)高于预定亮度值阈值i_good时，将T设置为最高值T_high，而在亮度值i(m，n)低于所述预定亮度值阈值i_good时，将T设置为从所述最高值T_high逐渐减小，并且在亮度值为零时具有最低值T_low。

在步骤S133之后，基于输入图像获得了第一前景区域。然后，返回到图1中的前景区域组合步骤S15，以便与基于深度图像获得的第二前景区域进行组合。

接下来，将参照图7-10来描述图1中的步骤S14从深度图像中检测第二前景区域的具体流程图。

针对视频会议的应用场合，鉴于会议桌是必备的物体而且其表面是水平的，因此本发明中考虑利用会议场景中具有桌平面区域这一特点，来使得基于深度图像的前景分割结果更加准确。

图7图示了根据本发明实施例的基于水平面模板的前景检测方法的流程图。

首先，在步骤S141，基于深度图像的分辨率W×H以及用于测量深度图像的深度传感器的以下参数：高度L、水平角度范围[-αn_max，αp_max]和垂直角度范围[-βn_max，βp_max]，来计算水平面模板图像。水平面模板图像是假设深度传感器放置在某个无限大的水平面时所获得的深度图像。

W表示深度图像的横向分辨率，即横向像素数目；而H表示深度图像的纵向分辨率，即纵向像素数目。所述深度传感器的高度L表示所述深度传感器与会议桌所在平面的垂直距离，所述深度传感器的水平角度范围[-αn_max，αp_max]表示所述深度传感器的横向拍摄范围，而所述深度传感器的垂直角度范围[-βn_max，βp_max]表示所述深度传感器的纵向拍摄范围。其中，根据实际情况，αn_max可以等于或不等于αp_max，βn_max可以等于或不等于βp_max。

结合图8来描述水平面模板图像计算方法。图8表示从无限大的水平面上的任一点到深度传感器的距离的示意图。

如图8所示，XZ表示水平面，X轴表示所述深度传感器的法线方向，即所述深度传感器的横向零度所沿的方向，Y轴表示高度方向，Z轴表示水平面上与X轴垂直的轴。

从无限大的水平面上的任一点Q到传感器的距离计算方法如下公式(8A)所示：

$d=L\sqrt{1+\frac{{\mathrm{ctg}}^2\mathrm{\β}}{{\cos }^2\mathrm{\α}}}---\left(8A\right)$

其中，所述深度传感器位于空间上的点B，点A为所述深度传感器B在XZ平面上的投影点，L是所述深度传感器到XZ平面的垂直高度，d是水平面上的点Q到所述深度传感器的距离，角度α为从点A起沿与X轴方向平行的方向延伸所形成的第一射线与射线AQ之间的夹角(即，水平角度)，以及角度β为从点B起沿与X轴方向平行的方向延伸所形成的射线与所述第一射线之间的夹角(即，垂直角度)。

进一步，结合深度图像中的像素位置表示方法，即对于像素P(m，n)，可以将公式(8A)改写为：

$d(m,n)=L\sqrt{1+\frac{{\mathrm{ctg}}^2\mathrm{\β}(m,n)}{{\cos }^2\mathrm{\α}(m,n)}}---\left(8B\right)$

更具体地，在αn_max等于αp_max和βn_max等于βp_max的情况下，对于具有分辨率W×H的深度图像，可以如公式(8C)所示地计算像素P(m，n)的水平角度α和垂直角度β。

$\left.\begin{array}{c}\mathrm{\β}(m,n)={\mathrm{\β}}_{\max }*\frac{2n-H}{H},n>\frac{H}{2}\\ \mathrm{\α}(m,n)={\mathrm{\α}}_{\max }*\frac{|2m-W|}{W}\end{array}\right\}---\left(8C\right)$

接下来，在步骤S142，从所述深度图像中提取与所述水平面模板图像具有不同深度的图像区域作为第二前景区域。

作为示例，首先，对于每个像素，当所述深度图像的深度值与所述水平面模板图像的深度值之间的差值小于预定深度差阈值时，将该像素标记为处于水平平面位置。

具体地，对于输入图像img_R中的像素P(m，n)，在该输入图像img_R的相关联的深度图像中对应于像素P(m，n)的深度值与水平面模板图像img_T中的对应深度值之间的差值低于给定阈值Th_D时，将该像素标记为处于水平平面位置，如以下公式(9)所示。

$\left\{\begin{array}{c}\mathrm{if}|{\mathrm{img}}_T(m,n)-{\mathrm{img}}_R(m,n)|<{\mathrm{Th}}_D,\mathrm{surface}(m,n)=1\\ \mathrm{else},\mathrm{surface}(m,n)=0\end{array}\right.---\left(9\right)$

然后，获得所述深度图像中的水平平面区域，并从所述深度图像中去除所检测到的水平平面区域以获得第二前景区域。

然而，本发明不限于此，对于每个像素，当所述深度图像的深度值与所述水平面模板图像的深度值之间的差值不小于预定深度差阈值时，直接将该像素确定为前景像素，由此获得第二前景区域。

然后，可选地，在步骤S143，在所确定的前景区域中对遮挡物体进行分割，以便将一些互相遮挡的物体分开。

鉴于在基于输入图像的运动检测中，分割遮挡的前景物体一直都是一个未解决的问题。在本发明实施例中，通过采用深度图像，可以利用深度图像的边缘信息来容易地标记出遮挡的边缘，由此将互相遮挡的对象彼此分割开。

作为示例，首先，在所述第二前景区域中，计算每个像素处的深度梯度值，当该深度梯度值大于预定梯度值阈值时，确定该像素处于前景对象的遮挡边缘，并将该像素处的深度值设置为预定深度值(例如0)，如以下公式(10)所示，从而将各遮挡对象分割开。

gradient(img_O(m，n))＞th_E，depth(m，n)＝0       (10)

其中，th_E是预定义的边缘梯度值的阈值。

然后，在步骤S144，对修改后的深度图像进行深度连通域分析(DepthConnected Component Analysis(DCCA))，由此从所述第二前景区域中分离出前景对象。

优选的，在获得所述深度图像中的水平平面区域并产生水平平面检测结果的情况下，可以对所获得的水平平面区域进行滤波去噪处理，诸如，对所获得的第二前景区域进行形态学操作。此外，也可以对所获得的水平平面区域进行连通域分析。

形态学操作步骤S143和连通域分析(CCA)步骤S144属于基本的图像处理操作，在此不对其进行赘述。

在图9中示出了基于水平面模板的前景检测方法的检测结果的示例，其中，示出了输入图像img_R、水平平面区域(即，桌面区域)table、去除水平平面后的前景区域img_O、以及进行遮挡对象分割后的图像。

接下来，参考图10描述根据本发明实施例的将基于输入图像的前景检测所检测的第一前景区域与基于深度图像的前景检测所检测的第二前景区域进行组合的方法。

基于输入图像的前景检测对光照条件和光照变化敏感，同时基于深度图像的前景检测也受到强光照的影响。结合步骤S15的目的就是利用两个方法各自的优势减少噪声。

结合步骤S15将运动检测步骤S13所获得的第一前景区域和前景物体检测步骤S14所获得的第二前景区域结合并决定最终的前景区域。

利用所述输入图像的亮度参数，即像素的亮度值和表示帧间亮度变化的像素的亮度差值中的至少一个，来计算所述第一前景区域和第二前景区域的置信度。

在步骤S151，作为像素的亮度值和/或亮度差值的函数，来确定所述第一前景区域的置信度，使得其随着亮度值降低而下降和/或随着亮度差值增加而下降。如图11A和11B所示，可以看出当光照变暗时第一前景区域的置信度快速下降，并且当光照突变时第一前景区域的置信度快速下降。

在步骤S152，作为像素的亮度值的函数，来确定所述第二前景区域的置信度，使得其随着亮度值增加而下降。如图11C所示。可以看出当光照变强时第二前景区域的置信度有所下降，这是因为普通光中也含有部分红外线从而对检测结果造成影响。

步骤S151和S152可以同时执行，或者可以先后执行。在本发明中，不对其进行限制。

然后，在步骤S153，将所述第一前景区域和所述第二前景区域分别利用相应置信度加权并相加。

例如，将基于输入图像的运动检测所获得的检测结果，即第一前景区域定义为mask_color，将该检测结果对于亮度值i的置信度定义为α(i)，将该检测结果对于亮度差Δi的置信度定义为β(Δi)，则对于任一个像素点P(m，n)，其第一置信度可由公式(11)得出：

P_color(m，n)＝α(i(m，n))*β(Δi(m，n))*mask_color(m，n)    (11)

其中，在该检测结果中，在像素点P(m，n)被确定为处于前景区域时，mask_color(m，n)＝1，否则mask_color(m，n)＝0。

此外，将基于深度图像的前景检测所获得的检测结果，即第二前景区域定义为mask_depth，将该检测结果对于亮度值i的置信度定义为σ(i)，则对于任一个像素点P(m，n)，其第二置信度可由公式(12)得出：

P_depth(m，n)＝σ(i(m，n))*mask_depth(m，n)                  (12)

其中，在该检测结果中，在像素点P(m，n)被确定为处于前景区域时，mask_depth(m，n)＝1，否则mask_depth(m，n)＝0。

然后，对于每个像素，将第一置信度与第二置信度相加，如公式(13)所示。

P_fore(m.n)＝α(i(m.n))*β(Δi(m.n))*mask_color(m.n)+σ(i(m.n))*mask_depth(m.n) (13)

最后，在步骤S154，对于每个像素，当相加后的置信度高于预定置信度阈值Th_fore时，将该像素确定为最终前景区域，如公式(14)所示，其中。

如果P_fore(m，n)＞Th_fore，则P(m，n)为前景区域            (14)

否则，P(m，n)为背景区域。

根据本发明实施例的图像前景检测方法通过将基于输入图像的运动检测而获得的第一前景区域与基于深度图像的前景检测而获得的第二前景区域组合，而减少了前景区域确定的噪声，提高了前景区域检测的精确度。

接下来，将参照图12描述根据本发明的图像前景检测设备120。

图像前景检测设备120包括亮度参数计算装置121、第一前景区域检测装置122、第二前景区域检测装置123、以及前景区域组合装置124。

所述亮度参数计算装置121接收输入图像，并提取所述输入图像的亮度分量并获得亮度参数。所述输入图像既可以是彩色图像或灰度图像，也可以是与彩色图像所对应的灰度图像。

作为示例，所述亮度参数计算装置121先获得彩色图像中的亮度通道，并利用同态滤波提取出亮度通道中的亮度分量和反射分量。

然后，所述亮度参数计算装置121从所提取的亮度分量中计算出输入图像的以下至少一个亮度参数：表示亮度状态的亮度参数，即像素的亮度值i；以及表示帧间亮度变化的亮度参数，即像素的亮度差值Δi。

所述第一前景区域检测装置122对所述输入图像进行运动检测以检测出第一前景区域。

优选地，所述第一前景区域检测装置122对所述输入图像的反射分量进行运动检测，其中，针对所述输入图像的反射分量建立混合高斯运动检测模型，并且作为像素的亮度值参数的函数来设置混合高斯运动检测模型中的决策参数T，即，在光照条件较好时，将T设定为较大的值，由此得到多模分布的背景，即轻微变化的区域也被划分为背景区域；而在光照变暗时，将T设置为较小的值，由此得到单一模式的背景，即背景是稳定不变化的区域。

所述第二前景区域检测装置123从与所述输入图像相关联的深度图像中检测出第二前景区域。

优选地，所述第二前景区域检测装置123通过计算水平面模板图像而从深度图像中提取出前景区域。

在此情况下，所述第二前景区域检测装置123包括水平面模板图像计算装置1231和第二前景区域提取装置1232。所述水平面模板图像计算装置1231基于深度图像的分辨率以及用于测量深度图像的深度传感器的以下参数：高度、水平角度范围和垂直角度范围，来计算水平面模板图像。所述第二前景区域提取装置1232从所述深度图像中提取与所述水平面模板图像具有不同深度的图像区域作为所述第二前景区域。

优选地，对于每个像素，所述第二前景区域提取装置1232计算所述深度图像的深度值与所述水平面模板图像的深度值之间的差值，并且在该差值小于预定深度差阈值时，将该像素标记为处于水平平面位置。然后，所述第二前景区域提取装置1232获得所述深度图像中的水平平面区域，并从所述深度图像中去除所检测到的水平平面区域以获得前景区域。

所述前景区域组合装置124基于所述亮度参数对所述第一前景区域与所述第二前景区域进行组合，并且包括：第一置信度确定装置1241、第二置信度确定装置1242、以及最终前景区域确定装置1243。

第一置信度确定装置1241作为像素的亮度值和/或亮度差值的函数，来确定所述第一前景区域的置信度。第二置信度确定装置1242作为像素的亮度值的函数，来确定所述第二前景区域的置信度。最终前景区域确定装置1243将所述第一前景区域和所述第二前景区域分别利用相应置信度加权并相加，并且对于每个像素当相加后的置信度高于预定置信度阈值时，将该像素确定为最终前景区域。

根据本发明实施例的图像前景检测方法及设备通过基于输入图像的亮度参数将基于输入图像的运动检测而获得的前景检测结果与基于深度图像的前景检测而获得的前景检测结果组合，可以在任何条件下提供良好的前景区域检测结果。

应当理解，可以以硬件、软件、固件、专用处理器或它们的组合的各种形式来实现根据本发明的图像前景检测方法及设备。

还应当理解，优选地用软件来实现在附图中示出的一些组成系统组件和方法，因此这些系统组件或处理功能块之间的实际连接可以根据本发明被编程的方式而不同。给出这里的描述，相关领域的普通技术人员将能够想到本发明的这些和类似的实现或配置。

尽管在这里参照附图描述了本发明的一些实施例，但是应当理解，所述实施例仅是示例性的，而非限制性的。本领域技术人员应当理解，在不背离权利要求及其等价物中限定的本发明的范围和精神的情况下，可以对这些示例性实施例做出各种形式和细节上的变化。

Claims (10)

1.一种图像前景检测方法，包括：

提取所述图像的亮度分量并获得亮度参数；

对所述图像进行运动检测以检测出第一前景区域；

从与所述图像相关联的深度图像中检测出第二前景区域；以及

基于所述亮度参数，对所述第一前景区域与所述第二前景区域进行组合。

2.如权利要求1所述的方法，其中，所述亮度参数包括像素的亮度值和/或表示帧间亮度变化的像素的亮度差值，

作为像素的亮度值和/或亮度差值的函数，来确定所述第一前景区域的置信度，使得其随着亮度值降低而下降和/或随着亮度差值增加而下降；

作为像素的亮度值的函数，来确定所述第二前景区域的置信度，使得其随着亮度值增加而下降；

将所述第一前景区域和所述第二前景区域分别利用相应置信度加权并相加；以及

对于每个像素，当相加后的置信度高于预定置信度阈值时，将该像素确定为最终前景区域。

3.如权利要求1所述的方法，其中，所述亮度参数包括像素的亮度值，并且对所述图像进行运动检测包括：

提取所述图像的反射分量；以及

利用混合高斯运动检测方法对所述图像的反射分量进行运动检测，以便获得所述图像的第一前景区域，

其中，将混合高斯运动检测模型中的决策参数T设置为亮度值的函数，在亮度值高于预定亮度值阈值时，将决策参数T设置为预定最大值，而在亮度值低于所述预定亮度值阈值时，将决策参数T设置为从所述预定最大值逐渐减小。

4.如权利要求1所述的方法，其中，从与所述图像相关联的深度图像中检测出第二前景区域进一步包括：

基于深度图像的分辨率以及用于测量深度图像的深度传感器的以下参数：高度、水平角度范围和垂直角度范围，来计算水平面模板图像；以及

从所述深度图像中提取与所述水平面模板图像具有不同深度的图像区域作为前景区域。

5.如权利要求4所述的方法，其中，从所述深度图像中提取与所述水平面模板图像具有不同深度的图像区域作为前景区域进一步包括：

对于每个像素，当所述深度图像的深度值与所述水平面模板图像的深度值之间的差值小于预定深度差阈值时，将该像素标记为处于水平平面位置；

获得所述深度图像中的水平平面区域；以及

从所述深度图像中去除所检测到的水平平面区域，以获得前景区域。

6.如权利要求1所述的方法，进一步包括：

在所述第二前景区域中，计算每个像素处的深度梯度值；

当该深度梯度值大于预定梯度值阈值时，确定该像素处于前景对象的遮挡边缘，并将该像素处的深度值设置为预定深度值；以及

进行连通域分析，从所述第二前景区域中分离出前景对象。

7.一种图像前景检测设备，包括：

亮度参数计算装置，用于提取所述图像的亮度分量并获得亮度参数；

第一前景区域检测装置，用于对所述图像进行运动检测以检测出第一前景区域；

第二前景区域检测装置，用于从与所述图像相关联的深度图像中检测出第二前景区域；以及

前景区域组合装置，用于基于所述亮度参数对所述第一前景区域与所述第二前景区域进行组合。

8.如权利要求7所述的设备，其中，所述亮度参数包括像素的亮度值和/或表示帧间亮度变化的像素的亮度差值，并且

所述前景区域组合装置进一步包括：

第一置信度确定装置，用于作为像素的亮度值和/或亮度差值的函数，来确定所述第一前景区域的置信度；

第二置信度确定装置，用于作为像素的亮度值的函数，来确定所述第二前景区域的置信度；

最终前景区域确定装置，用于将所述第一前景区域和所述第二前景区域分别利用相应置信度加权并相加，并且对于每个像素当相加后的置信度高于预定置信度阈值时，将该像素确定为最终前景区域。

9.如权利要求7所述的设备，其中，所述亮度参数包括像素的亮度值，并且所述对所述图像进行运动检测包括：

提取所述图像的反射分量；以及

利用混合高斯运动检测方法对所述图像的亮度分量进行运动检测，以便获得所述图像的第一前景区域，其中

将混合高斯运动检测模型中的决策参数T设置为亮度值的函数，在亮度值高于预定亮度值阈值时，将决策参数T设置为预定最大值，而在亮度值低于所述预定亮度值阈值时，将决策参数T设置为从所述预定最大值逐渐减小。

10.如权利要求7所述的设备，其中，所述第二前景区域检测装置进一步包括：

水平面模板图像计算装置，用于基于深度图像的分辨率以及用于测量深度图像的深度传感器的以下参数：高度、水平角度范围和垂直角度范围，来计算水平面模板图像；以及

第二前景区域提取装置，用于从所述深度图像中提取与所述水平面模板图像具有不同深度的图像区域作为所述第二前景区域。

Images