CN103996199A - 一种基于深度信息的运动检测方法 - Google Patents

Abstract

本发明公开了一种基于深度信息的运动检测方法。本方法为：1)对当前帧的深度图像进行一次运动目标分割，获取粗糙运动目标点集；2)采用深度无关密度恒定的投影方法将该粗糙运动目标点集投影至俯视平面xoz，得到一个二维的xoz平面统计直方图；3)对该xoz平面统计直方图进行二次运动目标分割，获取最终的精确运动目标点集；4)周期性地利用当前帧的精确运动目标点集更新当前帧的粗糙运动目标点集；5)根据所采集深度图像序列的精确运动目标点集进行运动检测。本发明可以克服深度摄像头区域探测不稳定、图像孔洞等缺陷，可进行更准确、稳定的实时运动检测。

Description

一种基于深度信息的运动检测方法

技术领域

本发明涉及计算机视觉领域，特别是一种基于深度信息的运动检测方法。

背景技术

视频序列的运动检测一直是计算机视觉领域的一个重要研究课题，是目标跟踪、行为分析等后续处理的基础，在智能机器人、智能视频监控、军事侦察等诸多领域有着重要的应用价值。运动检测是指计算机将摄像头采集得到的视频图像序列按照一定的算法进行计算和比较，判断是否有运动目标进入到监控场景中，并将其提取出来的一类方法。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。

目前采用RGB信息进行运动检测的方法主要有：背景减除法、时间差分法、光流法等。背景减除法采用合适的算法对背景建立模型，然后对当前帧图像和背景模型进行比较，提取出运动目标。时间差分方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。基于光流方法的运动检测采用了运动目标随时间变化的光流特性来提取和跟踪运动目标。

随着深度摄像头的出现，如何利用深度信息进行运动检测也已成为人们研究的热点，目前主要有结合深度和RGB信息进行运动检测和单独采用深度信息进行运动检测两类方法。结合深度和RGB信息进行运动检测的方法不仅需要深度摄像头，还需要与深度摄像头统一标定的RGB摄像头，而且往往计算量较大，这些局限性大大限制了这类方法的应用。单独采用深度信息进行运动检测的方法目前大都是借鉴以前采用RGB信息进行运动检测的方法，如时间差分法、运动历史图像法等。

然而，由于硬件上固有的缺陷，深度摄像头所采集的数据具有区域探测不稳定、图像孔洞等缺陷，引入了大量噪声，传统的单独采用深度信息进行运动检测的方法无法很准确、稳定地进行运动检测。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提出一种基于深度信息的新型运动检测方法，用于克服深度摄像头区域探测不稳定、图像孔洞等缺陷，进行更准确、稳定的实时运动检测。

本发明所采用的技术方案在于：首先采用RS触发时间逻辑对深度图像序列进行一次运动目标分割，获取粗糙运动目标点集；然后运用一定的过滤机制将粗糙运动目标点集中由于深度摄像头缺陷所引入的噪声点滤除，并采用一定的投影机制将过滤后的运动目标点集投影至xoz俯视平面，得到一个二维的xoz平面统计直方图；最后对xoz平面统计直方图进行二次运动目标分割，获取最终的精确运动目标点集，实现运动检测，具体步骤如下：

本发明的基于深度信息的新型运动检测方法包括以下步骤：

A、采用RS触发时间逻辑对当前帧的深度图像进行一次运动目标分割，获取粗糙运动目标点集；

B、采用频繁跳变过滤器将粗糙运动目标点集中由区域探测不稳定造成的频繁跳变的噪声点滤除；

C、采用深度无关密度恒定的投影将粗糙运动目标点集投影至xoz俯视平面，得到一个二维的xoz平面统计直方图；

D、对xoz平面统计直方图进行二次运动目标分割，获取最终的精确运动目标点集；

E、周期性地利用当前帧的精确运动目标点集更新当前帧的粗糙运动目标点集；然后根据所采集深度图像序列的精确运动目标点集进行运动检测。

所述步骤A中，采用RS触发时间逻辑对深度图像序列进行一次运动目标分割具体步骤如下：

A1、对t时刻当前帧深度图像D(t)构建对应运动目标图像G(t)，其中一个像素点表示为p_i(t)：

p_i(t)：＝{u_i，v_i，d_i(t)，s_i(t)}

G(t)＝{p_i(t)}

其中u_i表示p_i对应D(t)中点的横坐标，v_i表示p_i对应D(t)中点的纵坐标，d_i(t)表示p_i对应D(t)中点的深度值，s_i(t)表示p_i的状态。p_i有两种状态，s_i(t)＝1表示p_i(t)属于运动目标，s_i(t)＝0表示p_i(t)属于背景。

A2、对于当前帧运动目标图像的每一像素点p_i(t)都进行的计算:

其中表示当前帧深度图像第i像素的正跳变状态，表示发生正跳变，即当前时刻该像素离深度摄像头的距离比前一时刻更近，则表示未发生正跳变；表示当前帧深度图像第i像素的负跳变状态，表示发生负跳变，即当前时刻该像素离深度摄像头的距离比前一时刻更远，则表示未发生负跳变；d_i(t-1)是上一帧深度图像第i个像素的深度值，τ_i(t)是用于判定当前帧深度图像第i像素是否跳变的自适应阈值：

τ_i(t)＝min(τ_pm，α₀·(d_max-d_i(t-1)))

其中d_max是深度图像中深度的最大取值，τ_pm则是用于限制τ_i(t)的最大值，而α₀则是尺度因子。自适应阈值τ_i可以用于克服深度摄像头对远距离区域探测不稳定的缺陷，也能提升深度摄像头对近距离区域运动检测的灵敏度。

A3、采用RS触发时间逻辑，依据和的值对当前帧运动目标图像的p_i(t)的s_i(t)进行更新，具体步骤如下：

1)初始时刻t＝1运动目标图像的p_i(t)的状态为属于背景，即s_i(0)＝0；

2)对于非初始时刻t＞1，则先对进行判断，若则s_i(t)＝1，否则再

对进行判断，若则s_i(t)=0，否贝s_i(t)=S_i(t-1)；

A4、依据p_i(t)的状态，筛选出属于粗糙运动目标的点集M(t)：

M(t)：＝{p_i(t)|s_i(t)＝1，p_i(t)∈D(t)}

所述步骤B中，采用频繁跳变过滤器将粗糙运动目标点集中由区域探测不稳定造成的频繁跳变的噪声点滤除的具体步骤如下：

B1、根据当前帧以及之前T₀-1帧和的值进行计算得到由于深度摄像头缺陷所引入的噪声点集N(t)：

$N\left(t\right):=\left\{p_i\left(t\right)\right|\underset{k=T-T_0}{\overset{T}{\mathrm{\Σ}}}\left(\right|T_{\mathrm{pm}}^i\left(k\right)|+|T_{\mathrm{nm}}^i\left(k\right)\left|\right)>\frac{T_0}{{\mathrm{\α}}_f}\}$

其中α_f是用于控制跳变频率阈值的尺度因子。

B2、将粗糙运动目标点集M(t)进行噪声点滤除，获得滤除后的点集

$\hat{M}\left(t\right)=M\left(t\right)-N\left(t\right)$

所述步骤C中，采用深度无关密度恒定的投影将粗糙运动目标点集投影至xoz俯视平面，得到一个二维的xoz平面统计直方图的具体步骤如下：

C1、将图像坐标系中运动目标点集的坐标p_i＝(u_i，v_i，d_i)映射到摄像机坐标p′_j＝(u′_j，v′_j，d′_j)，以避免由于深度改变所导致的噪声区域和运动目标尺度放缩问题:

$P:\hat{M}\→C\⇒\left\{p_i\stackrel{p}{\→}{p}_j^{\′}\right\}$

$u_j^{\′}={\mathrm{\α}}_u\·\frac{u_i-u_0}{f_u}\·d_i$

d′_j＝α_d·d_i

其中C表示摄像机坐标系中的点集，P表示从图像坐标系到摄像机坐标系的映射，α_u和α_d表示映射的尺度因子，而f_u和u₀是深度摄像机的内参。

C2、依据摄像机坐标系下点的横坐标u′_j与深度坐标d′_i建立xoz平面的二维直方图，以避免由于深度摄像机对远近物体采样不均匀所导致的点集采样密度变化问题：

$c_j^{\′}=d_i\underset{i}{\mathrm{\Σ}}{l}_p(p_i,p_j^{\′})$

其中l_p(p_i，p′_j)表示原图像坐标系中的点p_i与摄像机坐标系中的点p′_j是否存在映射关系。c′_j表示xoz平面二维直方图中点(u′_j，d′_j)的值，c′_j通过乘以深度值d_i来保持不同深度下的采样密度恒定。

所述步骤D中，对xoz平面统计直方图进行二次运动目标分割，获取最终的精确运动目标点集的具体步骤如下：

D1、对xoz平面二维统计直方图进行高斯平滑滤波。

D2、对xoz平面二维统计直方图进行峰值点检测，得到峰值点坐标(u′_k，d′_k)。

D3、在xoz平面二维统计直方图中，对每个峰值点进行连通域统计，得到每个峰值点的连通子区域，并根据该子区域拟合一个目标区域b_k。

D4、依据xoz平面二维统计直方图中的目标区域b_k得到图像坐标系中精确的运动目标f_k：

f_k＝{p_i|p′_j∈b_k，p_i∈G(t)，l_p(p_i，p′_j)＝1}

F(t)＝{f_k}

其中F为最终精确运动目标点集。

所述步骤E中，周期性地利用当前帧的精确运动目标点集更新当前帧的粗糙运动目标点集的具体步骤如下：

E1、每隔T_α帧，就将当前帧的精确运动目标点集F(t)赋给当前帧的粗糙运动目标点集M(t)，可以克服运动目标图像噪声累积的问题。

与现有技术相比，本发明的优点在于：

1)采用RS触发时间逻辑进行运动目标分割，相比于背景减除的方法可以有效去除历史时间运动检测残留的鬼影。

2)在对运动目标图像的点p_i进行跳变检测时，采用自适应阈值τ_i，改善了深度摄像头对远距离区域探测不稳定的问题，也能提升深度摄像头对近距离区域运动检测的灵敏度。

3)采用频繁跳变过滤器将粗糙运动目标点集中由区域探测不稳定造成的频繁跳变的噪声点滤除，改善了深度摄像头区域探测不稳定的问题。

4)采用深度无关密度恒定的投影，克服了由于深度改变所导致的噪声区域和运动目标尺度放缩问题。

5)对xoz平面统计直方图进行二次运动目标分割，有效去除了噪声干扰，提高了检测的准确性。

6)周期性地利用当前帧的精确运动目标点集更新当前帧的粗糙运动目标点集，可以克服运动目标图像噪声累积的问题。

附图说明

图1是本发明的运动检测方法流程示意图。

图2是本发明所述的RS触发时间逻辑的状态转换示意图。

图3是采用本发明图2所述的RS触发时间逻辑得到的跳变点的示意图。

图4是采用本发明所述的RS触发时间逻辑进行粗检测得到的结果示意图。

图5是本发明所述的峰值检测示意图。

图6原始深度图像及其检测结果图。

(a)、原始深度图像，(b)、峰值检测结果示意图，(c)、精确运动检测结果示意图。

具体实施方法

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明首先采用RS触发时间逻辑对深度图像序列进行一次运动目标分割，获取粗糙运动目标点集；然后运用一定的过滤机制将粗糙运动目标点集中由于深度摄像头缺陷所引入的噪声点滤除，并采用一定的投影机制将过滤后的运动目标点集投影至xoz俯视平面，得到一个二维的xoz平面统计直方图；最后对xoz平面统计直方图进行二次运动目标分割，获取最终的精确运动目标点集，实现运动检测，具体步骤如下：

本发明的基于深度信息的新型运动检测方法包括以下步骤：

步骤1：采用如图2所示的RS触发时间逻辑对当前帧的深度图像进行一次运动目标分割，获取粗糙运动目标点集，具体步骤为：

(1)对当前帧深度图像D(t)构建对应运动目标图像G(t)，其中一个点表示为p_i(t)：

p_i(t)：＝{u_i，v_i，d_i(t)，s_i(t)}

G(t)＝{p_i(t)}

其中u_i表示p_i对应D(t)中点的横坐标，v_i表示p_i对应D(t)中点的纵坐标，d_i(t)表示p_i对应D(t)中点的深度值，s_i(t)表示p_i的状态。p_i有两种状态，s_i(t)＝1表示p_i(t)属于运动目标，s_i(t)＝0表示p_i(t)属于背景。该实例中d_i取值为0-255。

(2)如图3所示，目标运动会产生正跳变点与负跳变点，对于当前帧运动目标图像的每一点p_i(t)都进行的计算，以确定p_i(t)是正跳变点，还是负跳变点，还是无跳变点:

其中表示当前帧深度图像第i像素的正跳变状态，表示发生正跳变，即当前时刻该像素离深度摄像头的距离比前一时刻更近，则表示未发生正跳变；表示当前帧深度图像第i像素的负跳变状态，表示发生负跳变，即当前时刻该像素离深度摄像头的距离比前一时刻更远，则表示未发生负跳变；d_i(t-1)是上一帧深度图像第i个像素的深度值，τ_i(t)是用于判定当前帧深度图像第i像素是否跳变的自适应阈值：

τ_i(t)＝min(τ_pm，α₀·(d_max-d_i(t-1)))

其中d_max是深度图像中深度的最大取值，τ_pm则是用于限制τ_i(t)的最大值，而α₀则是尺度因子。自适应阈值τ_i可以用于克服深度摄像头对远距离区域探测不稳定的缺陷，也能提升深度摄像头对近距离区域运动检测的灵敏度。该实例中α₀＝0.15,τ_pm＝20，d_max＝255。

(3)采用RS触发时间逻辑，依据和的值对当前帧运动目标图像的p_i(t)的s_i(t)进行更新，具体步骤如下：

1)初始时刻t＝1运动目标图像的p_i(t)的状态为属于背景，即s_i(0)＝0；

2)对于非初始时刻t＞1，则先对进行判断，若则s_i(t)＝1，否则再

对进行判断，若则s_i(t)＝0，否则s_i(t)＝s_i(t-1)；

伪代码如下：

(4)依据p_i(t)的状态，筛选出属于粗糙运动目标的点集M(t)：

M(t):＝{p_i(t)|s_i(t)＝1，p_i(t)∈D(t)}；检测结果如图4所示。

步骤2：采用频繁跳变过滤器将粗糙运动目标点集中由区域探测不稳定造成的频繁跳变的噪声点滤除，具体步骤如下：

(1)根据当前帧以及之前T₀-1帧和的值进行计算得到由于深度摄像头缺陷所引入的噪声点集N(t)：

$N\left(t\right):=\left\{p_i\left(t\right)\right|{\mathrm{\Σ}}_{k=t-T_0}^t\left(\right|T_{\mathrm{pm}}^i\left(k\right)|+|T_{\mathrm{nm}}^i\left(k\right)\left|\right)>\frac{T_0}{{\mathrm{\α}}_f}\}$

其中α_f是用于控制跳变频率阈值的尺度因子。该实例中α_f＝5。

(2)将粗糙运动目标点集M(t)进行噪声点滤除，获得滤除后的点集

$\hat{M}\left(t\right)=M\left(t\right)-N\left(t\right)$

步骤3：采用深度无关密度恒定的投影将粗糙运动目标点集投影至xoz俯视平面，得到一个二维的xoz平面统计直方图，具体步骤如下：

(1)将图像坐标系中运动目标点集(即第二步进行噪声点滤除后得到的点集)的坐标p_i＝(u_i，v_i，d_i)映射到摄像机坐标p′_j＝(u′_j，v′_j，d′_j)，以避免由于深度改变所导致的噪声区域和运动目标尺度放缩问题

$P:\hat{M}\→C\⇒\left\{p_i\stackrel{p}{\→}{p}_j^{\′}\right\}$

$u_j^{\′}={\mathrm{\α}}_u\·\frac{u_i-u_0}{f_u}\·d_i$

d′_j＝α_d·d_i

其中C表示摄像机坐标系中的点集，P表示从图像坐标系到摄像机坐标系的映射，α_u和α_d表示映射的尺度因子，而f_u和u₀是深度摄像机的内参。该实例中α_u＝0.25，α_d＝0.5。

(2)依据摄像机坐标系下点的横坐标u′_i与深度坐标d′_i建立xoz平面的二维直方图，以避免由于深度摄像机对远近物体采样不均匀所导致的点集采样密度变化问题：

$c_j^{\′}=d_i\underset{i}{\mathrm{\Σ}}{l}_p(p_i,p_j^{\′})$

其中l_p(p_i，p′_j)表示原图像坐标系中的点p_i与摄像机坐标系中的点p′_j是否存在一一映射关系。c′_j表示xoz平面二维直方图中点(u′_j，d′_j)的值，c′_j通过乘以深度值d_i来保持不同深度下的采样密度恒定。

步骤4：对xoz平面统计直方图进行二次运动目标分割，获取最终的精确运动目标点集，具体步骤如下：

(1)对xoz平面二维统计直方图进行高斯平滑滤波，以去除噪声，该实例中选取各项同性的高斯平滑模板，参数选择(20,10)。

(2)筛选出xoz平面二维统计直方图中值大于8邻域值的点，定义为峰值点，再在峰值点中筛选出值大于阈值T_peak的峰值点，得到峰值点坐标(u′_k，d′_k)，如图5所示。该实例中T_peak＝5。

(3)在xoz平面二维统计直方图中，对每个峰值点进行8连通域连通域区域增长，得到每个峰值点的连通子区域，并根据该子区域拟合一个目标区域b_k。如图6(b)所示，该实例中采用矩形目标区域b_k来拟合每个峰值点的连通子区域，对于某个峰值点的连通子区域A中的点，先筛选出峰值大于阈值T_border的的点集A′，该实例中T_border＝1然后进行矩形拟合，得到目标区域b_k：

d′_max＝max(d′_i(t))

d′_min＝min(d′_i(t))

u′_max＝max(u′_i(t))

u′_min＝min(u′_i(t))

b_k＝{p′_j(t)|d′_j(t)＜d′_max，d′_j(t)＞d′_min，u′_j(t)＜u′_max，u′_j(t)＞u′_min}

(4)依据xoz平面二维统计直方图中的目标区域b_k得到图像坐标系中精确的运动目标f_k：

f_k＝{p_i|p′_j∈b_k，p_i∈G(t)，l_p(p_i，p′_j)＝1}

F(t)＝{f_k}

其中F为最终精确运动目标点集，精确运动目标的检测结果如图6(c)所示。

步骤5：周期性地利用当前帧的精确运动目标点集更新当前帧的粗糙运动目标点集，具体步骤如下：

(1)每隔T_α帧，就将当前帧的精确运动目标点集F(t)赋给当前帧的粗糙运动目标点集M(t)，可以克服运动目标图像噪声累积的问题。在该实例中，T_α＝10。

上述实例只是本发明的举例，尽管为说明目的公开了本发明的实例，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于该实例的内容。

Claims (10)

1.一种基于深度信息的运动检测方法，其步骤为：

1)对当前帧的深度图像进行一次运动目标分割，获取粗糙运动目标点集；

2)采用深度无关密度恒定的投影方法将该粗糙运动目标点集投影至俯视平面xoz，得到一个二维的xoz平面统计直方图；

3)对该xoz平面统计直方图进行二次运动目标分割，获取最终的精确运动目标点集；

4)周期性地利用当前帧的精确运动目标点集更新当前帧的粗糙运动目标点集；

5)根据所采集深度图像序列的精确运动目标点集进行运动检测。

2.如权利要求1所述的方法，其特征在于获取所述粗糙运动目标点集的方法为：

21)构建t时刻当前帧深度图像D(t)对应的运动目标图像G(t):

22)对于当前帧运动目标图像G(t)中的每一点P_i(t)，计算其正跳变状态和负跳变状态

23)采用RS触发时间逻辑，依据和的值对当前帧运动目标图像每一点p_i(t)的状态s_i(t)进行更新，然后依据p_i(t)的状态s_i(t)筛选出属于粗糙运动目标的点集M(t)，得到所述粗糙运动目标点集。

3.如权利要求2所述的方法，其特征在于所述运动目标图像G(t)为：G(t)＝{p_i(t)},其中，p_i(t)＝{u_i，v_i，d_i(t)，s_i(t)},u_i表示p_i(t)对应D(t)中点的横坐标，v_i表示p_i(t)对应D(t)中点的纵坐标，d_i(t)表示p_i(t)对应D(t)中点的深度值，s_i(t)表示p_i(t)的状态，s_i(t)＝1表示p_i(t)属于运动目标，S_i(t)＝0表示p_i(t)属于背景。

4.如权利要求2所述的方法，其特征在于利用下列公式计算所述正跳变状态和负跳变状态

其中，表示发生正跳变，则表示未发生正跳变，表示发生负跳变，则表示未发生负跳变，d_i(t-1)是上一帧深度图像D(t)第i个像素的深度值，τ_i(t)是用于判定当前帧深度图像D(t)第i像素是否跳变的自适应阈值。

5.如权利要求4所述的方法，其特征在于所述自适应阈值为τ_i(t)＝min(τ_pm，α₀·(d_max-d_i(t-1)))；其中，d_max是深度图像D(t)中深度的最大取值，τ_pm是用于限制τ_i(t)的最大值，α₀是尺度因子。

6.如权利要求2～5任一所述的方法，其特征在于所述采用RS触发时间逻辑，依据和的值对当前帧运动目标图像的p_i(t)的s_i(t)进行更新的方法为：将初始时刻运动目标图像的p_i(t)的状态作为背景，即s_i(0)＝0；对于非初始时刻，先对进行判断，若则s_i(t)＝1，否则再对进行判断，若则s_i(t)＝0，否则s_i(t)＝s_i(t-1)；然后依据p_i(t)的状态筛选出点集M(t)：=｛p_i(t)|s_i(t)＝1，p_i(t)∈D(t)}。

7.如权利要求1或2所述的方法，其特征在于在步骤2)之前，采用频繁跳变过滤器滤除该粗糙运动目标点集中的频繁跳变的噪声点。

8.如权利要求7所述的方法，其特征在于滤除所述噪声点的方法为：

81)根据当前帧以及前一帧的和值计算得到所述噪声点的集合N(t)

82)将粗糙运动目标点集M(t)进行噪声点滤除，获得滤除后的点集

9.如权利要求1所述的方法，其特征在于所述xoz平面统计直方图的建立方法为：

91)将该粗糙运动目标点的坐标映射到摄像机坐标；

92)依据摄像机坐标系下点的横坐标与深度坐标建立xoz平面的二维直方图。

10.如权利要求1所述方法，其特征在于获取所述精确运动目标点集的方法为：

11)对xoz平面二维统计直方图进行高斯平滑滤波；

12)对xoz平面二维统计直方图进行峰值点检测，得到峰值点坐标；

13)在xoz平面二维统计直方图中，对每一峰值点进行连通域统计，得到每个峰值点的连通子区域，并根据该连通子区域拟合一个目标区域b_k；

14)依据xoz平面二维统计直方图中的目标区域b_k得到该粗糙运动目标点所在的图像坐标系中精确的运动目标f_k，由f_k构成的精确运动目标点集即所述精确运动目标点集。