CN106251348A - 一种面向深度相机的自适应多线索融合背景减除方法 - Google Patents

Abstract

本发明公开了一种面向深度相机的自适应多线索融合背景减除方法，步骤包括：A、输入深度相机采集的若干颜色图像帧和深度图像帧，分别利用基础背景建模方法进行初始化，建立颜色背景模型和深度背景模型；B、输入新一帧，通过背景减除分别得到颜色图像和深度图像各自的前景图像；C、利用加权融合方法把颜色图像和深度图像的前景图像融合为新的前景图像，并通过阈值选择技术将其二值化；D、使用多线索时空一致性策略，以当前颜色图像、深度图像及上一帧的检测结果对前景图像进行自适应改良，得到最终结果；E、更新背景模型。F、重复执行步骤B至步骤E，直至处理完所有图像帧。该方法能有效检测前景，取得较高的召回率和准确率。

Description

一种面向深度相机的自适应多线索融合背景减除方法

技术领域

本发明涉及计算机视觉技术领域，更为具体地，涉及一种面向深度相机的自适应多线索融合背景减除方法。

背景技术

背景减除是计算机视觉领域的一个基础任务，其主要目的是将前景目标从背景场景中检测出来，在近几年得到了广泛的关注。它服务于大量的视频处理应用，如智能视频监控、目标追踪、动作识别还有人机交互等。背景减除的输出结果通常是更高层次计算机视觉任务的输入信息，所以它的执行直接影响到这些任务接下来的执行结果。虽然近年来有了较大进展，但对于一些包含复杂因素的场景，例如包含剧烈光照变化、阴影以及动态背景(如自动扶梯、晃动的窗帘、闪烁的显示器)等，背景减除仍然是一项比较困难的任务。

最近技术的发展，使得能够获取一些场景的深度信息。这些深度信息可以利用飞行时间(ToF)相机、华硕的Xtion PRO或者是微软的Kinect等设备获得。使用这些设备，可以得到包含颜色图像和深度图像信息的RGB-D视频集。本发明里，把能够获得颜色图像和深度图像的相机和设备称为深度相机。这些颜色和深度信息的有效结合将会得到更好的背景减除的结果。因此，本发明提出一种面向深度相机的自适应多线索融合背景减除方法。

发明内容

本发明公开一种面向深度相机的自适应多线索融合背景减除方法。该方法提出颜色图像与深度图像的信息相结合策略，可以有效抑制噪声点的出现；提出多线索改良策略，使得检测得到的前景图像更加精确完整。

本发明所解决的技术问题可采用如下技术解决方案来实现：

本发明需要以一种可分别单独用于颜色图像和深度图像的背景建模方法作为基础，以下将这一方法称为基础背景建模方法。

本发明提供了一种面向深度相机的自适应多线索融合背景减除方法，包括以下步骤：

A、输入深度相机采集的若干颜色图像帧和深度图像帧，并分别利用基础背景建模方法进行初始化，建立颜色背景模型和深度背景模型；

B、输入新一帧，通过背景减除分别得到颜色图像和深度图像各自的前景图像；

C、利用加权融合的方法，把颜色图像和深度图像的前景图像融合为新的前景图像，并通过阈值选择技术将融合的前景图像二值化；

D、使用多线索时空一致性策略，以当前颜色图像、深度图像以及上一帧的检测结果来对前景图像进行自适应改良，得到最终结果；

具体的，改良的对象是上一步执行得到的二值化融合结果，参照的线索包括当前帧的颜色图像和深度图像、使用边缘检测器检测得到的边缘图像、上一帧最后输出的前景图像。以表示步骤C所输出的二值化前景图像，其中像素点x为前景时否则把E^t定义为对当前帧彩色图像使用边缘检测器得到的边缘图像。E^t是一幅二值化图像，当像素x是边缘像素时E^t(x)＝255，否则E^t(x)＝0。把定义为在t时刻最终输出的前景图像。

自适应改良方法的步骤如下：

1)对图像内的前景像素点x(也就是说，)采用迭代的方式。在第一次迭代，像素x的8连通区域邻近集被处理。具体地，如果像素在中是一个背景像素点，当满足以下条件时，它会被转换为前景点：

$\left\{\begin{array}{c}D({\hat{y}}^c,{\hat{x}}^c)<{\mathrm{\&kappa;}}_c\\ D({\hat{y}}^d,{\hat{x}}^d)<{\mathrm{\&kappa;}}_d\\ E^t\left(y\right)\&NotEqual;255\end{array}\right.---\left(5\right)$

其中函数D(·,·)用于计算两个特征向量的欧氏距离，κ_c和κ_d为预设定的常量。

2)第二次迭代中，对于集中的像素采取同样的处理方法。集定义为

其中∪操作符表示集合的并运算。同样地，将在第T次迭代中处理集中的像素，直至迭代终止执行。

3)当像素x在前一帧被判定为背景像素时，其迭代的次数T(x)不能超过预先定义的常量值γ：

$\begin{array}{ccc}T\left(x\right)\&le;\mathrm{\&gamma;}& w.r.t& F_o^{t-1}\left(x\right)=0\end{array}---\left(7\right)$

本方法使用这种时间一致性策略，以一种保守的方式抑制噪声点的不正确扩张。

在这个自适应改良步骤中，遍历中的每个前景像素并利用以上所描述的多线索时空一致性策略来处理，然后产生最终的前景检测结果图像

E、更新背景模型。

具体的，更新背景模型是根据所选取的基础背景建模方法对应的更新策略来对背景模型进行更新。

F、重复执行步骤B至步骤E，直至处理完所有图像帧。

本发明旨在提出一种面向深度相机的自适应多线索融合背景减除方法。在初始阶段，通过选择一种基础背景建模方法分别为视频的颜色图像和深度图像进行背景建模，从而得到颜色背景模型和深度背景模型。在前景检测阶段，通过两个连续的步骤得到最终的结果。首先，通过加权融合前景检测输出的信息得到一个粗糙的结果，融合的双方由分别将彩色图像和深度图像用于与之相关的背景模型检测得到。之后，利用多线索时空一致性策略，本发明采用一种有效提高精确度的方法来获得最终的检测结果。在前景检测完成之后，背景模型将会更新以适应随时间产生的场景变化。其特点和优点为：

1.针对已有的背景减除方法容易产生较多噪声的缺陷，提出一种面向深度相机的自适应多线索融合背景减除方法。

2.本方法将颜色图像和深度图像的信息有效结合，排除掉建模和检测过程中误判为前景点的像素点，从而有效提高检测结果的准确率。

3.本方法是利用多线索对前景图像进行改良，改良的过程中利用了时空一致性，得到的前景目标更加完整，准确性更高。

4.本发明提供的背景减除方法可以利用多种不同的基础背景建模方法，通用性强。

附图说明

图1是本发明公开的一种面向深度相机的自适应多线索融合背景减除方法的流程图；

图2是使用多线索时空一致性策略改良的步骤流程图；

图3是本发明以ViBe作为基础背景建模方法的框架示例图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

本发明的基本思想如下：首先，选择一种基础背景建模方法。在初始化阶段，以该基础背景建模方法分别为视频的颜色图像和深度图像进行背景建模。在前景检测阶段，通过加权融合前景检测输出的信息得到一个粗糙的结果，融合的双方由分别将彩色图像和深度图像用于与之相关的背景模型检测得到。之后，利用多线索时空一致性策略，采用一种有效提高精确度的方法来获得最终的检测结果。在前景检测完成之后，背景模型将会更新以适应随时间产生的场景变化。

在以下实施例说明中，将采用ViBe方法作为基础背景建模方法。ViBe方法具体可参照以下论文文献ViBe:A Universal Background Subtraction Algorithm for VideoSequences.IEEE Transactions Image Processing 20(6):1709-1724(2011)。图3展示了本发明以ViBe方法作为基础背景建模方法的框架示例图。

参见图1所示的流程图，本发明公开一种面向深度相机的自适应多线索融合背景减除方法，具体步骤如下：

A、输入深度相机采集的若干颜色图像帧和深度图像帧，并分别利用基础背景建模方法进行初始化，建立颜色背景模型和深度背景模型；

具体地，本步骤以ViBe方法进行背景建模。

背景模型的初始化在第一帧图像中完成。对于单个像素x，ViBe方法通过在其邻域随机采样产生一个像素值集合的方式来建立模型。把和分别定义为颜色和深度图像的第一帧图像信息。通过ViBe方法，从中建立一个逐像素的基于颜色图像的颜色背景模型

$M_c^1\left(x\right)=\left\{{\hat{y}}_i^c\right|i=1,...,N\}---\left(1\right)$

还有从中建立一个逐像素的基于深度图像的深度背景模型

$M_d^1\left(x\right)=\left\{{\hat{z}}_j^d\right|j=1,...,N\}---\left(2\right)$

其中代表从像素提取的三维RGB颜色特征向量，代表从像素中提取的一维的深度图像的值。

B、输入新一帧，通过背景减除分别得到颜色图像和深度图像各自的前景图像；

在t时刻，基于ViBe方法，利用颜色背景模型对当前输入的颜色图像进行背景减除，可以获得一个前景图像 是一个二值图像，当像素x被判定为前景像素时否则同样地，利用深度背景模型可以从当前输入的深度图像中获得二值前景图像

C、利用加权融合的方法，把颜色图像和深度图像的前景图像融合为新的前景图像，并通过阈值选择技术将融合的前景图像二值化；

具体地，使用加权融合的方法，将前景图像和融合得到前景图像用公式可以表示为

$F_w^t\left(x\right)={\mathrm{\&alpha;F}}_c^t\left(x\right)+(1-\mathrm{\&alpha;})F_d^t\left(x\right)---\left(3\right)$

其中[·]用来定义Iverson bracket操作符(如果声明O正确，则[O]＝1，否则[O]＝0)。α为设定的常量。然后利用阈值选择的技术将二值化，同时把可能为背景的噪声点排除：

$F_w^t\left(x\right)=255\&lsqb;F_w^t\left(x\right)>\mathrm{\&delta;}\&rsqb;---\left(4\right)$

D、使用多线索时空一致性策略，以当前颜色图像、深度图像以及上一帧的检测结果来对前景图像进行自适应改良，得到最终结果；

在这一个自适应改良的步骤上，本发明利用多线索时空一致性策略来产生更加准确的前景检测结果。这种改良策略是基于如下观察，当前景物体出现在场景时，相邻的前景像素通常会展现出一种外观上的强烈时空关系。

本方法为每个像素勘察了颜色、深度以及边缘的特征线索。具体来说，把E^t定义为对彩色图像使用Canny边缘检测器检测得到的边缘图像。E^t是一幅二值化图像，当像素x是边缘像素时E^t(x)＝255，否则E^t(x)＝0。把定义为在t时刻最终输出的前景图像。

如图2所示，这种自适应改良方法的步骤如下。

对图像内的前景像素点x(也就是说，)采用迭代的方式。在第一次迭代，像素x的8连通区域邻近集被处理。具体地，如果像素在中是一个背景像素点，当满足以下条件时，它会被转换为前景点(即令)：

$\left\{\begin{array}{c}D({\hat{y}}^c,{\hat{x}}^c)<{\mathrm{\&kappa;}}_c\\ D({\hat{y}}^d,{\hat{x}}^d)<{\mathrm{\&kappa;}}_d\\ E^t\left(y\right)\&NotEqual;255\end{array}\right.---\left(5\right)$

其中函数D(·,·)用于计算两个特征向量的欧氏距离，κ_c和κ_d为预设定的常量。

第二次迭代中，对于集中的像素采取同样的处理方法。集定义为

其中∪操作符表示集合的并运算。同样地，将在第T次迭代中处理集中的像素，直至迭代终止执行。

根据公式(5)的空间一致性，对于在F_w ^t的一个前景像素的迭代改良步骤会在没有相关背景像素被转换成前景时停止。然而，为了避免错误的前景点(被误判为前景的背景像素点)的扩展，自适应改良过程添加了时间一致性。具体来说，当像素x在前一帧被判定为背景像素时，其迭代的次数T(x)不能超过预先定义的常量值γ：

$\begin{array}{ccc}T\left(x\right)\&le;\mathrm{\&gamma;}& w.r.t& F_o^{t-1}\left(x\right)=0\end{array}---\left(7\right)$

本方法使用这种时间一致性策略，以一种保守的方式抑制噪声点的不正确扩张。

在这个自适应改良步骤中，遍历中的每个前景像素并利用以上所描述的多线索时空一致性策略来处理，然后产生最终的前景检测结果图像

E、更新背景模型。

在完成前景检测之后，将会更新背景模型使其能够适应随时间产生的场景变化。基于ViBe方法，对于一个在t时刻被判定为背景的像素x，它的模型被更新为：

$\begin{array}{c}{M}_c^t\left(x\right)=U_{\mathrm{\&Phi;}}\left(M_c^{t-1}\right(x),{\hat{x}}^c)\\ M_c^t\left(y\right)=U_{\mathrm{\&Phi;}}\left(M_c^{t-1}\right(y),{\hat{x}}^c)\end{array}---\left(8\right)$

$\begin{array}{c}{M}_d^t\left(x\right)=U_{\mathrm{\&Phi;}}\left(M_d^{t-1}\right(x),{\hat{x}}^d)\\ M_d^t\left(z\right)=U_{\mathrm{\&Phi;}}\left(M_d^{t-1}\right(z),{\hat{x}}^d)\end{array}---\left(9\right)$

其中算符定义为集合M随机抽取的一个元素有1/Φ的概率被所取代。和都是随机选取的像素点。

F、重复执行步骤B至步骤E，直至处理完所有图像帧。

此处对本发明方法实施例进行实验设置说明。N设定为20，α设定为0.5，δ设定为127，γ设定为4，Φ设定为16。

以上对本发明实施例所提供的面向深度相机的自适应多线索融合背景减除方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种面向深度相机的自适应多线索融合背景减除方法，其特征在于，所述方法包括以下步骤：

A、输入深度相机采集的若干颜色图像帧和深度图像帧，并分别利用基础背景建模方法进行初始化，建立颜色背景模型和深度背景模型；

B、输入新一帧，通过背景减除分别得到颜色图像和深度图像各自的前景图像；

C、利用加权融合的方法，把颜色图像和深度图像的前景图像融合为新的前景图像，并通过阈值选择技术将融合的前景图像二值化；

D、使用多线索时空一致性策略，以当前颜色图像、深度图像以及上一帧的检测结果来对前景图像进行自适应改良，得到最终结果；

E、更新背景模型；

F、重复执行步骤B至步骤E，直至处理完所有图像帧。

2.根据权利要求1所述的方法，其特征在于，步骤A所述的基础背景建模方法是一种可分别单独用于颜色图像和深度图像的背景建模方法。

3.根据权利要求1所述的方法，其特征在于，步骤D使用时空一致性策略进行自适应改良的步骤如下：

以和分别表示t时刻的当前帧彩色图像和深度图像，以表示步骤C所输出的二值化前景图像，其中像素点x为前景时否则把E^t定义为对彩色图像使用边缘检测器得到的边缘图像；E^t是一幅二值化图像，当像素x是边缘像素时E^t(x)＝255，否则E^t(x)＝0；把定义为在t时刻最终输出的前景图像；

1)对图像内的前景像素点x(即)采用迭代的方式；在第一次迭代，像素x的8连通区域邻近集被处理；具体地，如果像素在中是一个背景像素点，当满足以下条件时，它会被转换为前景点：

$\left\{\begin{array}{c}D({\hat{y}}^c,{\hat{x}}^c)<{\mathrm{\&kappa;}}_c\\ D({\hat{y}}^d,{\hat{x}}^d)<{\mathrm{\&kappa;}}_d\\ E^t\left(y\right)\&NotEqual;255\end{array}\right.---\left(5\right)$

其中函数D(·,·)用于计算两个特征向量的欧氏距离，κ_c和κ_d为预设定的常量；

2)第二次迭代中，对于集中的像素采取同样的处理方法；集定义为

其中∪操作符表示集合的并运算；同样地，将在第T次迭代中处理集中的像素，直至迭代终止执行；

3)当像素x在前一帧被判定为背景像素时，其迭代的次数T(x)不能超过预先定义的常量值γ：

$\begin{array}{ccc}T\left(x\right)\&le;\mathrm{\&gamma;}& w.r.t& F_o^{t-1}\left(x\right)=0\end{array}---\left(7\right)$

遍历中的每个前景像素并利用以上所述的多线索时空一致性策略来处理，产生最终的前景检测结果图像

4.根据权利要求1所述的方法，其特征在于，步骤E所述的更新背景模型是使用基础背景建模方法的更新策略来对背景模型进行更新。