CN106952292B - 基于6自由度场景流聚类的3d运动目标检测方法 - Google Patents

Abstract

本发明提供的是一种基于6自由度场景流聚类的3D运动目标检测方法。利用深度相机获取场景的对齐的彩色图像和深度图像；构建6自由度场景流估计能量泛函；能量泛函的最优求解；根据场景流的定义，利用旋转向量和平移向量计算出场景流；根据场景流信息进行初步分析，确定移动目标的大体数目；根据场景流提取运动特征信息，获取每个点的特征向量；利用ISODATA算法对特征向量进行聚类分析，提取出运动目标。本发明利用邻域约束结合亮度恒常、深度恒常约束构建数据项；利用全变分平滑对旋转向量和平移向量进行平滑约束。完成场景流求解后，利用ISODATA算法对场景流进行聚类分析，提取出3D运动目标。

Description

基于6自由度场景流聚类的3D运动目标检测方法

技术领域

本发明涉及的是一种3D运动目标检测方法。

背景技术

机器视觉中的一项重要目标是实现运动目标检测，乃至实现图像或者视频的分析与理解。运动目标检测是机器视觉领域的重要方向，有着广泛的应用范围，比视频监控、人机交互、场景分析等涉及图像或者视频分析理解方向的基础技术。静态背景运动目标检测的经典方法有减除背景法、帧间差分法和光流法。背静减除法通过背景建模的方式提取出运动目标，但是这种方法对环境变化特别敏感。帧间差分法是对相邻的两帧或者三帧作差的到运动目标，但是这种方法要求物体运动时，有明显的像素变化，否则会产生漏检等现象。光流法是一种目标检测的重要工具，该方法计算光流矢量，根据运动目和背景运动矢量的差别来检测运动目标，在动态背景下，该方法也能取得较好的效果，但是当物体运动是朝着摄相机方向的运动时，而从造成目标检测错误。上述的这些方法都没有场景的深度信息的二维检测方法，3D运动目标检测能够更准确检测出运动目标，在车辆辅助驾驶等领域有重要应用。

光流在三维空间中的扩展，以场景流(Scene Flow)来表示，其表示场景中真实的运动速度，相对于光流，更能真实描述物体运动。场景流描述3维运动估计，是3维稠密运动场，表示场景中每个表面点的真实运动。场景流表示场景的真实运动场，包含场景的深度信息。因此通过对场景流的分析可得到3维场景的真实运动信息，因此场景流在3D运动目标检测领域具有广泛的应用前景

为使场景流能够很好的运动到3D运动目标检测中，准确估计场景流是一个至关重要的问题。场景流求解是一个病态问题，需要附加多种假设约束才能求解。场景流估计主要分为：基于双目立体视觉的场景流估计和深度传感器的场景流估计。随着深度传感器技术的发展和广泛应用，基于彩色图和深度图(RGB-D)的场景流估计，引起了研究者越来越多的关注。已知场景深度信息的情况下，可结合对齐的可见光图像与深度图施加约束进行场景流的求解。准确的深度信息可直接通过深度传感器获得，节省计算深度信息的时间的同时，还有利于提高场景流计算精度。

发明内容

本发明的目的在于提供一种场景流求解更加精确的基于6自由度场景流聚类的3D运动目标检测方法。

本发明的目的是这样实现的：

步骤一.利用深度相机获取场景的对齐的彩色图像和深度图像；

步骤二.构建6自由度场景流估计能量泛函；绕坐标轴的旋转运动定义为ω(ω_X,ω_Y,ω_Z)，沿着坐标轴的平移动定义为τ(τ_X,τ_Y,τ_Z)，运动用6自由度κ(ω,τ)描述，所述能量泛函由数据项E_D(κ)和平滑项E_S(κ)组成，表达式为E(κ)＝E_D(κ)+αE_S(κ)，α为平衡因子；

步骤三.能量泛函的最优求解；

步骤四.根据场景流的定义，利用旋转向量和平移向量计算出场景流；

步骤五.根据场景流信息进行初步分析，确定移动目标的大体数目；

步骤六.根据场景流提取运动特征信息，获取每个点的特征向量；

步骤七.利用ISODATA算法对特征向量进行聚类分析，提取出运动目标。

本发明还可以包括：

1、所述构建6自由度场景流估计能量泛函具体包括：

(1)构建能量泛函数据项

在图像域约束求解6自由度κ(ω,τ)，2维空间点x(x,y)和3维空间点X(X,Y,Z)，把三维点X投影到二维空间，通过定义函数

实现，同样二维点到三维点的转换通过定义函数实现，设X_t(X,Y,Z)为3维空间中的一点，运动后在第二帧点的位置为X_t+1，则

其中

是一种指数形式，

令W(x,κ)表示x₁(x,y)点在第2帧估算的位置，则：

利用亮度恒常和深度恒常假设构建能量泛函数据项：

ρ_I(x,κ)＝I₂(W(x,κ))-I₁(x)

其中：D＝(0,0,1,0)^T，为抑制光流数据项中的集外点，同时保证能量泛函的凸性与可微性引入形如公式

的鲁棒惩罚函数；

对数据项进行局部约束，将约束方程设定在x的邻域N(x)内成立：

(2)构建能量泛函平滑项

κ包括旋转向量和平移向量，首先是对平移向量的平滑，定义自适应的全变分平滑项为：

其中τ_d,d＝1,2,3对应于旋转向量的三个分量：τ_x,τ_y,τ_z，P(x)为全变分自适应系数，定义：

其中Z(x)为深度图,x为深度像素点，

定义旋转向量的平滑项为：

总平滑项为：E_S(κ)＝E_{S_τ}(τ)+E_{S_ω}(ω)。

2、所述能量泛函的最优求解具体包括：

引入辅助变量κ'(ω'_X,ω'_Y,ω'_Z,τ'_X,τ'_Y,τ'_Z)，固定κ'求解κ，则对应于基于数据项的能量泛函求解，利用高斯牛顿法迭代进行求解；固定κ求解κ'，则对应于基于平滑项的求解，而平滑项包括旋转向量能量泛函和平移向量能量泛函，基于平滑项的能量泛函求解时，对旋转向量和平移向量分别极小化；旋转向量能量泛函的极小化利用矢量全变分去噪模型进行求解；平移向量能量泛函的极小化符合ROF去噪模型，利用映射梯度下降法进行求解。

基于数据项的求解和基于平滑项的求解都是迭代求解过程，两者交替迭代求解完成场景流的求解过程。

3、场景流v通过下式得到：

4、所述确定移动目标的大体数目具体包括：首先确定背景区域的场景流，得到场景流设为v_back，利用v_back与所有点的场景流相减，把|v(x)-v_back|＞μ₁的点在图像中的像素值设为255，否则设为0，得到二值图后，再利用blob分析，得到团块信息，团块的数目作为目标数目的粗略估计，随后在知道运动目标大致数目的情况下，利用动态聚类的方式进行准确分类。

5、所述获取每个点的特征向量具体包括：

假设场景流为v(v_x,v_y,v_z)，场景流的特征信息具体包括：每个点场景流的x、y、z三个方向的分量v_x,v_y,v_z；每个点场景流的模值；每个点场景流与xoy平面、xoz平面、yoz平面的夹角；每个点都用一个7维特征向量来表示：x_n＝(v_x,v_y,v_z,|v|,θ_x,θ_y,θ_z)，对于未计算场景流的点和场景流值为零的点，定义这些点的特征向量为：x_n＝(0,0,0,0,0,0,0)。

本发明利用深度传感器获取对齐的彩色图和深度图，提出一种基于6自由度的RGB-D场景流估计方法，对场景中点的旋转和平移进行精确建模，使场景流求解更加精确，也为基于场景流分析的3D运动目标检测提供更真实的底层信息。

本发明提供了一种基于6自由度场景流聚类的3D运动目标检测新方法。所谓6自由度场景流估计，即利用变分法求解运动的旋转向量和平移向量，然后根据场景流的定义，计算出场景流。本发明利用邻域约束结合亮度恒常、深度恒常约束构建数据项；利用全变分平滑对旋转向量和平移向量进行平滑约束。完成场景流求解后，利用ISODATA算法对场景流进行聚类分析，提取出3D运动目标。

附图说明

图1是本发明的流程图。

图2是金字塔结构图。

图3是ISODATA算法的流程图。

具体实施方式

下面结合附图举例对本发明进行更详尽的描述。

结合图1，本发明包括如下基本步骤：

S1.在t时刻和t+1时刻，利用经过配准的深度传感器与彩色图像传感器获取对齐的纹理图像和深度图像。

S2.构建能量泛函求解场景流，通过求解能量函数的极小值来估计场景流。本发明通过施加多种约束条件进行求解，点的运动包括平移和旋转，绕坐标轴的旋转运动定义为ω(ω_X,ω_Y,ω_Z)，沿着坐标轴的平移动定义为τ(τ_X,τ_Y,τ_Z)，点的运动可用6自由度κ(ω,τ)描述，能量泛函的表达式：

E(κ)＝E_D(κ)+αE_S(κ) (1)

由数据项E_D(κ)和平滑项E_S(κ)组成，α为平衡因子。求出κ(ω,τ)后根据公式(2)即可完成场景流的求解。

X_t+1＝X_t+v (2)

能量泛函数据项设计。亮度恒常假设和深度恒常假设共同构建数据项。恒常假设是在图像域，为在图像中约束三维流场，数据项需要表示成ω(ω_X,ω_Y,ω_Z)与深度Z的函数。需要将场景流通过透视投影变换映射到二维空间已知2维空间点x(x,y)和3维空间点X(X,Y,Z)的转换关系为：

M为摄像机内参数矩阵，把三维点X投影到二维空间，可通过定义函数

实现：

同样二维点到三维点的转换可通过定义函数

实现：

设X_t(X,Y,Z)为3维空间中的一点，运动后在第二帧点的位置为X_t+1，则有

其中:

令W(x,κ)表示x₁(x,y)点在第2帧估算的位置，则有：

根据亮度恒常假设得到：

I₂(W(x,κ))＝I₁(x) (9)

其中：I₁(x)为x点在第1帧图像的亮度，I₂(W(x,κ))为W(x,κ)点在第2帧图像的亮度。

根据深度恒常假设得到：

Z₂(W(x,κ))＝Z₁(x)+v_z(x) (10)

其中：Z₁(x)为x点深度值，Z₂(W(x,κ))为W(x,κ)点的深度值，v_z(x)为场景流v在Z方向分量，因此根据公式(13)和公式(14)可推出残余项分别为：

ρ_I(x,κ)＝I₂(W(x,κ))-I₁(x) (11)

其中：D＝(0,0,1,0)^T，为抑制光流数据项中的集外点，同时保证能量泛函的凸性与可微性引入形如的公式(13)的鲁棒惩罚函数，取ε＝0.001。

进一步推出数据项：

对数据项进行局部约束，将约束方程设定在x的邻域N(x)内成立：

能量泛函平滑项设计。κ包括旋转向量和平移向量，旋转向量是定义在李群空间的，平移向量定义在实数空间，因此两者的平滑是有些差别的。首先讨论平移向量的平滑，全变分正则化是非常有效的正则化方法，本发明定义自适应的全变分平滑项为：

其中τ_d(d＝1,2,3)对应于旋转向量的三个分量：τ_x,τ_y,τ_z，P(x)为全变分自适应系数，可定义：

其中Z(x)为深度图,x为深度像素点，深度图边界往往与运动边界重合，通过引入深度图梯度的自适应因子，达到保持运动边缘的目的。

对于在李群空间的旋转向量ω(ω_X,ω_Y,ω_Z)的平滑可近似为在3D空间的一种矢量差分形式，因此定义旋转向量的平滑项为：

因此总平滑项为：

E_S(κ)＝E_{S_τ}(τ)+E_{S_ω}(ω) (19)

S3.6自由度场景流估计能量泛函的最优求解。为解决大位移问题，构建5层图像金字塔求解。对能量泛函在由粗到精的不同分辨率的图像上进行求解，并把该层金字塔求解的值作为下一层的求解初值，金字塔结构图，如图2所示。

利用分步求解策略，引入辅助变量分步求解。将能量函数数据项和平滑项分离开来，进行分步交替求解，交替求解不仅可以降低计算难度，还有助于将不同的算法整合到一个算法框架中。最后得到能量函数的表达式：

引入辅助变量κ'(ω'_X,ω'_Y,ω'_Z,τ'_X,τ'_Y,τ'_Z)则:

固定κ求解κ':

利用高斯牛顿法进行求解，假设κ'＝κ'+Δκ',其中Δκ'＝(Δω'_X,Δω'_Y,Δω'_Z,Δτ'_X,Δτ'_Y,Δτ'_Z)^T即假设κ'初始值已知，求Δκ'，即通过求其增量的形式求解。

则上式变为:

进行泰勒展开并略去二次及其高次项得：

其中K为

对κ'的偏导数，J为雅可比矩阵。

对于每一个点x对上式求Δκ'的导数，经整理可得：

其中H为Hessian的高斯牛顿近似。

其中：E为6×6的单位阵。

固定κ求解κ'，则对应于式(29)能量泛函极小化，

其中

公式(29)的极小化可以分解成ω和τ分开进行极小化，经过变形，式(29)的极小化等价于极小化：

类似ROF去噪模型的求解，利用映射梯度下降法求解：

公式(31)相当于向量全变分去噪模型，求解方法与映射梯度下降类似：

Π_K定义为：

r的奇异值分解为UΣV，其中Σ为对角阵，Σ+为对角阵的伪逆阵，

为Σ的映射矩阵单位矩阵。

基于数据项的求解和基于平滑项的求解都是迭代求解过程，两者交替迭代求解即可完成场景流的求解过程。

S4.根据场景流的定义，利用旋转向量和平移向量计算出场景流。

场景流v通过下式得到：

S5.根据场景流信息进行初步分析，确定移动目标的大体数目。首先确定背景区域的场景流，由于摄像机视角较大，因此背景区域在图像中的面积也是最大的，可以得到背景区域，得到场景流设为v_back，利用v_back与所有点的场景流相减，把|v(x)-v_back|＞μ₁的点在图像中的像素值设为255，否则设为0。得到二值图后，再利用blob分析，得到团块信息，团块的数目可初步看作运动目标的数目。随后就可以在知道运动目标大致数目的情况下，利用聚类的方式进行准确分类。

S6.根据场景流提取运动特征信息，获取每个点的特征向量。场景中每个表面点对应于图像中的像素点，假设场景流为v(v_x,v_y,v_z)，场景流的特征信息具体包括：每个点场景流的x、y、z三个方向的分量v_x,v_y,v_z；每个点场景流的模值

每个点场景流与xoy平面、xoz平面、yoz平面的夹角。

场景流与xoy面的夹角可表示为：

场景流与xoz面的夹角可表示为：

场景流与xoy面的夹角可表示为：

因此每个点都用来一个七维特征向量来表示：

对于未计算场景流得点和场景流值为零的点，定义这些点的特征向量为：x_n＝(0,0,0,0,0,0,0)。

S7.基于6自由度场景流得聚类分析。根据场景流提取运动特征信息，获取每个点的特征向量，特征向量为其7维特征向量，具体包括场景流的模值，场景流x、y、z三个方向的分量，以及场景流与3个坐标平面的角度。利用ISODATA算法对特征向量进行聚类分析，提取出运动目标。

ISODATA(Iterative Self Organizing Data Analysis Technique)算法是聚类分析中的一种常用算法，称为动态聚类或迭代自组织数据分析。ISODATA算法是是一种无监督分类的方法，其与在K均值算法有些类似，但是K均值算法适合必须事先设置聚类数目，而ISODATA算法，事先设置预期聚类数目，但可以自动调节聚类数目。能够对聚类域，根据条件进行分列、合并直至满足要求为止。ISODATA算法的流程图如图3所示。

ISODATA算法工作原理和基本流程：

步骤1：输入N个模式样本{x_i,i＝1,2,...N}确定N_c个初始聚类中心

和6个初始参数(K,θ_N,θ_C,θ_S,L,I)，其中K为预期的聚类中心数目，θ_N为每一聚类域中最少的样本数，θ_S为一个聚类域中样本距离分布的标准差，θ_C为聚类中心间的最小距离，L为在一次迭代运算中可以合并的聚类中心的最多对数，I为迭代运算的次数。

步骤2：对N个样本进行类别划分，如果D_j＝min{||x-z_i||,i＝1,2,...N_c}，即||x-z_j||值最小，若用S_j表示聚类域，则样本x属于S_j。

步骤3：若聚类域S_j中的样本数量小于设定的阈值θ_N，那么取消聚类域S_j，此时N_c减去1。

步骤4：修正各聚类中心：

步骤5：计算每个聚类域S_j的z_j与聚类域内的样本之间的平均距离：

步骤6：计算所有聚类中心与其对应样本之间的平均距离：

步骤7：根据条件判断是否分裂或者合并，以及是否达到迭代次数。

若迭代次数已达到设置的最大迭代次数I次，则令θ_C等于0，转至步骤11。

若N_c≤0.5K，即聚类域的数目不大于设定值K的二分之一，则跳至步骤8。

若N_c≥2K，或者运行次数为偶数次，则不进行分裂操作，转至步骤11；否则转至步骤8。

步骤8：计算每个聚类中样本距离的标准差向量：

σ_j＝(σ_1j,σ_2j,...,σ_nj)^T (43)

其中向量的各个分量为：

式中，i＝1,2,...,n，为特征向量维数，j＝1,2,...,N_c为聚类域的数量，N_j为S_j中的样本数量。

步骤9：求{σ_j,j＝1,2,...,N_c}的最大值，以{σ_jmax,j＝1,2,...,N_c}表示。

步骤10：在{σ_jmax,j＝1,2,...,N_c}中，如果有σ_jmax＞θ_S，又满足和N_j>2(θ_N+1)，N_c≤0.5K，则将聚类域进行分裂，对应的聚类中心z_j为两个新的聚类中心

和

并且N_c加1，

对应的σ_jmax变为σ_jmax+kσ_jmax，

对应的σ_jmax变为σ_jmax-kσ_jmax，其中0＜k＜1。如果本步骤完成了分裂运算，则跳至步骤二，否则继续。

步骤11：分别计算聚类中心之间距离：

D_ij＝||z_i-z_j||，i＝1,2,...,N_c-1，j＝i+1,...,N_c (45)

步骤12：对聚类中心间的距离D_ij与设定阈值θ_C进行比较，将D_ij≤θ_C值按增序排列，

步骤13：对D_ij≤θ_C的聚类域，进行合并操作，距离为

的两个聚类中心

按照下面公式合并为一个聚类中心：

步骤14：若是迭代次数达到最大迭代次数，则算法停止运行，输出结果；否则，若用户改变参数设置，跳至步骤1，重新聚类，若输入参数不变，转至步骤2。运行本步骤时，迭代次数加1。

介绍完ISODATA的算法的步骤和基本流程之后，需要将场景中每个表面点表示成一个多维特征向量，然后才能利用ISODATA对所有点的特征向量进行聚类分析。

计算的场景流包括背景区域的场景流和运动目标的场景流，两者的场景流是有明显差别的。每个点的场景流在幅值和方向上均会有所不同。故算法将每个点的场景流方向信息和幅值信息作为该点的特征，组成该点的特征向量，输入ISODATA框架进行分类。

对具有7维特征向量的点进行聚类，得到的聚类区域包括背景区域和运动区域，一般情况下，由于摄像机视角较大，可以判定聚类结果中，面积最大的区域且分布范围较广的区域属于背景区域，其他聚类区域为移动目标。

利用本发明提出的场景流估计算法计算场景流，然后利用ISODATA进行场景流聚类分析，提取出运动目标，并将运动目标在彩色图像上标记出来。

Claims (5)

1.一种基于6自由度场景流聚类的3D运动目标检测方法，其特征是：

步骤一.利用深度相机获取场景的对齐的彩色图像和深度图像；

步骤二.构建6自由度场景流估计能量泛函；绕坐标轴的旋转运动定义为ω(ω_X,ω_Y,ω_Z)，沿着坐标轴的平移动定义为τ(τ_X,τ_Y,τ_Z)，运动用6自由度κ(ω,τ)描述，所述能量泛函由数据项E_D(κ)和平滑项E_S(κ)组成，表达式为E(κ)＝E_D(κ)+αE_S(κ)，α为平衡因子；

步骤三.能量泛函的最优求解；

步骤四.根据场景流的定义，利用旋转向量和平移向量计算出场景流；

步骤五.根据场景流信息进行初步分析，确定移动目标的数目；

步骤六.根据场景流提取运动特征信息，获取每个点的特征向量；

步骤七.利用ISODATA算法对特征向量进行聚类分析，提取出运动目标；

所述构建6自由度场景流估计能量泛函具体包括：

(1)构建能量泛函数据项

在图像域约束求解6自由度κ(ω,τ)，2维空间点x(x,y)和3维空间点X(X,Y,Z)，把三维点X投影到二维空间，通过定义函数Υ(X)实现，同样二维点到三维点的转换通过定义函数Υ^-1(x,Z)实现，设X_t(X,Y,Z)为3维空间中的一点，运动后在第二帧点的位置为X_t+1，则

其中

是一种指数形式，

令W(x,κ)表示x₁(x,y)点在第2帧估算的位置，则：

利用亮度恒常和深度恒常假设构建能量泛函数据项：

ρ_I(x,κ)＝I₂(W(x,κ))-I₁(x)

其中：D＝(0,0,1,0)^T，为抑制光流数据项中的集外点，同时保证能量泛函的凸性与可微性引入形如公式

的鲁棒惩罚函数；

对数据项进行局部约束，将约束方程设定在x的邻域N(x)内成立：

(2)构建能量泛函平滑项

κ包括旋转向量和平移向量，首先是对平移向量的平滑，定义自适应的全变分平滑项为：

其中τ_d,d＝1,2,3对应于旋转向量的三个分量：τ_x,τ_y,τ_z，Ρ(x)为全变分自适应系数，定义：

Ρ(x)＝exp(-μ|▽Z(x)|^η)

其中Z(x)为深度图,x为深度像素点，

定义旋转向量的平滑项为：

总平滑项为：E_S(κ)＝E_{S_τ}(τ)+E_{S_ω}(ω)。

2.根据权利要求1所述的基于6自由度场景流聚类的3D运动目标检测方法，其特征是所述能量泛函的最优求解具体包括：

引入辅助变量κ'(ω'_X,ω'_Y,ω'_Z,τ'_X,τ'_Y,τ'_Z)，固定κ'求解κ，则对应于基于数据项的能量泛函求解，利用高斯牛顿法迭代进行求解；固定κ求解κ'，则对应于基于平滑项的求解，而平滑项包括旋转向量能量泛函和平移向量能量泛函，基于平滑项的能量泛函求解时，对旋转向量和平移向量分别极小化；旋转向量能量泛函的极小化利用矢量全变分去噪模型进行求解；平移向量能量泛函的极小化符合ROF去噪模型，利用映射梯度下降法进行求解；

基于数据项的求解和基于平滑项的求解都是迭代求解过程，两者交替迭代求解完成场景流的求解过程。

3.根据权利要求2所述的基于6自由度场景流聚类的3D运动目标检测方法，其特征是场景流v通过下式得到：

4.根据权利要求3所述的基于6自由度场景流聚类的3D运动目标检测方法，其特征是所述确定移动目标的数目具体包括：首先确定背景区域的场景流，得到场景流设为v_back，利用v_back与所有点的场景流相减，把|v(x)-v_back|＞μ₁的点在图像中的像素值设为255，否则设为0，得到二值图后，再利用blob分析，得到团块信息，团块的数目作为目标数目的粗略估计，随后在知道运动目标数目的情况下，利用动态聚类的方式进行准确分类。

5.根据权利要求4所述的基于6自由度场景流聚类的3D运动目标检测方法，其特征是所述获取每个点的特征向量具体包括：

假设场景流为v(v_x,v_y,v_z)，场景流的特征信息具体包括：每个点场景流的x、y、z三个方向的分量v_x,v_y,v_z；每个点场景流的模值；每个点场景流与xoy平面、xoz平面、yoz平面的夹角；每个点都用一个7维特征向量来表示：x_n＝(v_x,v_y,v_z,|v|,θ_x,θ_y,θ_z)，对于未计算场景流的点和场景流值为零的点，定义这些点的特征向量为：x_n＝(0,0,0,0,0,0,0)。

Images