CN100394446C - 基于直线对应的动态场景多体运动分割方法 - Google Patents

Abstract

本发明涉及一种基于直线对应的动态场景多体运动分割方法，对于给定包含多个运动物体的三幅视图，首先利用多项式嵌入技术，得到运动物体上的直线之间存在的多体三线性约束，然后利用多体三线性约束的线性方程组，计算包含多个运动物体运动特征的多体三焦点张量，并利用三视图几何中外极点，外极线相关定理求出每个单体运动对应的外极点与外极线，最后对此多体三焦点张量进行二次微分，得到表示单个运动物体运动特征的单体三焦点张量，完成多体运动分割。本发明使用三幅视图中的直线对应来估计多个刚体3D运动模型，不会产生特征点数量不够或对应点被遮挡等问题，能精确高效的完成动态场景中的多体运动分割。

Description

基于直线对应的动态场景多体运动分割方法

技术领域

本发明涉及一种基于直线对应的动态场景多体运动分割方法，可广泛应用于计算机三维视觉测量、视觉伺服等方面。属于先进制造与自动化领域。

背景技术

动态场景中的多体运动分割是计算机立体视觉中一个基本问题。在动态场景中，3D世界中的相机和多个物体都是运动的，多体运动分割的目的就是在不知具体的图像特征属于哪个运动物体的情况下，恢复运动模型。

针对这一问题，有许多解决方法。Vidal和Ma(R.Vidal and Y.Ma.“Aunified algebraic approach to 2-D and 3-D motion segmentation”.In ECCV，2004)将多个运动模型的估计看作一个单独的多体运动模型，提出了一个统一的代数方法，通过两幅视图对应，或者光流来解决2D和3D的运动分割。这个方法可以应用于计算机视觉中大多数的两视图运动模型。但是包括Vidal和Ma的方法在内的所有的方法都是使用点对应来解决3D运动分割的，当不能得到足够数量的特征点对应数据时，或由于物体的运动致使特征点被遮挡时，以上的所有方法都会遇到问题。

图像中的直线也是一个经常用于计算机视觉中的特征，并从1980年开始已经开始用于3D运动估计。直线的位置和方向比点更容易判别，并可以达到子像素级的精确度。所以，可以考虑使用直线对应来解决3D运动分割问题。Shi等(FanhuaiShi，Jianhua Wang，Jing Zhang，Yuncai Liu.“Motion Segmentation ofMultiple Translating Objects Using Line Correspondences”，In CVPR 2005)提出了一种使用直线对应和三焦点张量来分割物体的代数方法，但是只能处理平移运动，不能解决一般的3D运动。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于直线对应的动态场景多体运动分割方法，使用3幅视图中的直线对应来估计多个刚体3D运动模型，不会产生特征点数量不够或对应点被遮挡等问题，能精确高效的完成动态场景中的多体运动分割。

为实现这一目的，本发明的技术方案是：对于给定包含多个运动物体的三幅视图，首先利用多项式嵌入技术，得到运动物体上的直线之间存在的多体三线性约束，然后利用多体三线性约束的线性方程组，计算包含多个运动物体运动特征的多体三焦点张量，并利用三视图几何中外极点，外极线相关定理求出每个单体运动对应的外极点与外极线，最后对此多体三焦点张量进行二次微分，得到表示单个运动物体运动特征的单体三焦点张量，完成多体运动分割。

本发明的基于直线对应的多体运动分割方法主要包括以下几个步骤：

1、利用多项式嵌入技术，得到运动物体上直线之间存在的多体三线性约束：

对于给定包含多个运动物体的三幅视图，根据三焦点张量定理，得到被多个运动所满足的线性约束方程组。对方程组中的每一个分量进行多项式嵌入，得到多个运动物体上的直线之间存在的多体三线性约束，即由多体三焦点张量τ满足的三个线性方程。

2、利用多体三线性约束的线性方程组，计算包含多个运动物体运动特征的多体三焦点张量：

利用多体三线性约束的线性方程组中第一和第二个方程(方程组中方程排列顺序无固定要求)，求解包含多体三焦点张量的一部分分量的一个矢量τ₁，利用多体三线性约束的线性方程组中第一和第三个方程计算包含多体三焦点张量的另一部分分量的另一个矢量τ₂。若运动物体个数等于2个，则多体三焦点张量可由τ₁和τ₂去掉重合部分合成得到，否则，将线-线-线对应转换为点-线-线对应，计算包含多体三焦点张量τ中剩余分量的第三个矢量 ${\mathrm{\τ}}_3\∈\frac{(n-1)(n-2)}{2}\×M_n\×M_n,$ 则多体三焦点张量由三个矢量τ₁，τ₂，τ₃通过去掉重合部分合成得到；其中，n为运动物体个数，M_n＝(n+1)(n+2)/2。

3、利用三视图几何中外极点、外极线相关定理求出每个单体运动对应的外极线与外极点：

将线线-线对应转换为点-线-线对应，利用三视图几何中外极点、外极线相关定理可以求出与第一幅视图中的所有特征点对应的第二、三视图中的外极线；利用任意两条外极线的交点来得到候选的外极点，根据每一个候选外极点在所有线对应中的支持度得到优选的外极点。最后，利用与优选的外极点对应的数据来重新估计外极点。

4、对多体三焦点张量进行二次微分，得到表示单个运动物体运动特征的单体三焦点张量，达到运动分割的目的：

利用步骤3中得到的重新估计的外极点，计算第二、三幅视图中对应于随机选择的点的外极线；利用此外极线和步骤2中计算的多体三焦点张量，得到单体三焦点张量，最后将每一组直线特征聚类到与其误差最小的一个单体三焦点张量表示的运动中，完成多体运动分割。

本发明的方法使用三幅视图中的直线对应来估计多个刚体3D运动模型，不会产生特征点数量不够或对应点被遮挡等问题，能精确高效的完成动态场景中的多体运动分割。

具体实施方式

为了更好地理解本发明的技术方案，以下结合实施例作进一步的详细描述。

1、利用多项式嵌入技术，得到运动物体上的直线之间存在的多体三线性约束：对应多个运动中任意一个运动上的一组线-线-线对应 $l\↔l^{\′}\↔l^{\′\′},$ 存在由单体三焦点张量T满足的三线性约束：

[l]_xl′l″T  ＝0(1)

则对于多个独立的运动，可得到被多个运动所满足的线性约束方程组：

$\underset{i=1}{\overset{n}{\mathrm{\Π}}}\left({\left[l\right]}_x{l}^{\′}{l}^{\′\′}{T}_i\right)=0---\left(2\right)$

假设l＝(l₁，l₂，l₃)，l′＝(l′₁，l′₂，l′₃)，l″＝(l″₁，l″₂，l″₃)，上式可表示为：

$\underset{i=1}{\overset{n}{\mathrm{\Π}}}=\left[\begin{array}{ccc}0& {-l}_3& l_2\\ l_3& 0& l_2\\ {-l}_2& l_1& 0\end{array}\right]\·l^{\′}\·l^{\′\′}\·T_i=0---\left(3\right)$

令L1＝(0，-l₃，l₂)^T，L2＝(l₃，0，-l₂)^T，L3＝(-l₂，l₁，0)^T，可得到方程组：

$\underset{i=1}{\overset{n}{\mathrm{\Π}}}(L1\·l^{\′}\·l^{\′\′}\·T_i)=0---\left(4\right)$

$\underset{i=1}{\overset{n}{\mathrm{\Π}}}(L2\·l^{\′}\·l^{\′\′}\·T_i)=0---\left(5\right)$

$\underset{i=1}{\overset{n}{\mathrm{\Π}}}(L3\·l^{\′}\·l^{\′\′}\·T_i)=0---\left(6\right)$

对方程组中的每一个分量L1，L2，L3，l′，l″进行多项式嵌入，将它们按选定的顺序各写为一个维数为M_n＝(n+1)(n+2)/2向量，分别表示为

和定义一个3维的张量τ∈R^M _n ^×M _n ^×M _n，则得到多个运动物体上的直线之间存在的多体三线性约束，即由多体三焦点张量τ满足的三个线性方程：

$\tilde{L}1\·\widetilde{l^{\′}}\·\widetilde{l^{\′\′}}\·\mathrm{\τ}=0---\left(7\right)$

$\tilde{L}2\·\widetilde{l^{\′}}\·\widetilde{l^{\′\′}}\·\mathrm{\τ}=0---\left(8\right)$

$\tilde{L}3\·\widetilde{l^{\′}}\·\widetilde{l^{\′\′}}\·\mathrm{\τ}=0---\left(9\right)$

2、利用多体三线性约束的线性方程组，计算包含多个运动物体运动特征的多体三焦点张量：令 $N=[\frac{(n+1)(n+2)}{2}-(n-1)-\frac{(n-1)(n-2)}{2}\×M_n\×M_n],$ n＝2，3，..。给定N_l≥N/2组线-线-线对应，去掉向量和

中对应元素同时等于0的 $(n-1)+\frac{(n-1)(n-2)}{2}$ 个元素，利用多体三线性约束的线性方程组中前两个方程(7)(8)，求解包含τ的一部分分量的一个矢量τ₁∈R^N(τ₁为矩阵A∈R^2N _l ^×N的零矢量，此矩阵的行由 $\tilde{L}1\⊗\widetilde{l^{\′}}\⊗\widetilde{l^{\′\′}}\∈R^N$ 和 $\tilde{L}2\⊗\widetilde{l^{\′}}\⊗\widetilde{l^{\′\′}}{\∈R}^N$ 计算得到，其中为Kronecker积)；利用多体三线性约束的线性方程组中第一和第三个方程(7)(9)，用与计算τ₁相似的方法计算包含τ的另一部分分量的另一个矢量τ₂。若运动物体个数等于2个，则多体三焦点张量 $\mathrm{\τ}\⊆{\mathrm{\τ}}_1\∪{\mathrm{\τ}}_2;$ 否则，任取l上一点x＝(x₁，x₂，x₃)，将线-线-线对应 $l\↔l^{\′}\↔l^{\′\′}$ 转换为点-线-线对应 $x\↔l^{\′}\↔l^{\′\′},$ 解线性方程Bτ₃＝-bτ得到τ₃，其中B由 $x_1{x}_2{x}_3\⊗\widetilde{l^{\′}}\⊗\widetilde{l^{\′\′}}$ 计算得到；b由 $((x_1^3,x_1^2{x}_2,x_1^2{x}_3,x_1{x}_2^2,x_1{x}_3^2,x_2^3,x_2^2{x}_3,x_2{x}_3^2,x_3^3)\⊗\widetilde{l^{\′}}\⊗\widetilde{l^{\′\′}})\·\mathrm{\τ}$ 计算得到。则多体三焦点张量 $\mathrm{\τ}\⊆{\mathrm{\τ}}_1\∪{\mathrm{\τ}}_2\∪{\mathrm{\τ}}_3$ 由τ₁，τ₂，τ₃通过去掉重合部分合并得到。

3、利用三视图几何中外极点、外极线相关定理求出每个单体运动对应的外极线与外极点：对于点-线-线对应 $x\↔l^{\′}\↔l^{\′\′},$ 利用三视图几何中外极点，外极线相关定理(Richard Hartley，Andrew Zisserman，《计算机视觉中的多视图几何》，第三篇，2002年8月第一版)可以求出与第一幅视图中的所有特征点x_i对应的第二、三幅视图中的各N_l条外极线；利用任意两条外极线的交点来得到候选的外极点，计算每一个候选外极点在所有线对应中的支持度。当有n个运动时，将有n个候选外极点有着比其他候选外极点大得多的支持度。所以可根据每一个候选外极点在所有对应中的支持度，选择此队列中的前n个外极点得到优选的外极点。最后，利用与优选的外极点对应的数据来重新估计外极点。

4、对多体三焦点张量进行二次微分，得到表示单个运动物体运动特征的单体三焦点张量，达到运动分割的目的：利用步骤3中得到的在第2幅视图上的外极点(e′₁，e′₂，...，e′_n)和在第3幅视图上的外极点(e″₁，e″₂，...，e″_n)，得到n！组外极点组合E_i＝{(e′₁，e″_i1)，(e′₂，e″_i2)，...，(e′_n，e″_in)}，i＝1，...，n！。令{x_j}_j＝1 ^N _x为N_x≥4个随机选择的点，在E_i中选择一个外极点组合(e′，e″)，利用e′和e″来计算第2，3幅视图中对应于随机选择的点x_j的外极线l′_xj和l″_xj；利用此外极线，对步骤2中计算得到的多体三焦点张量τ的表达式：

${\frac{{\∂}^2\left(\tilde{x}\widetilde{l^{\′}}\widetilde{l^{\′\′}}\mathrm{\τ}\right)}{{\∂l}^{\′}{\∂l}^{\′\′}}|}_{(x,l_{\mathrm{ix}}^{\′},l_{\mathrm{jx}}^{\′\′})}=M_x~\mathrm{xT}\∈R^{3\×3}---\left(10\right)$

进行二次微分计算单体三焦点张量T_1Ei，T_2Ei，...，E_nEi。令{num_Ei＝0}_i＝1 ^n!并设定阈值t。计算每一组特征数据与T_1Ei，T_2Ei，..，T_nEi的Sampson误差δ。对每一个满足δ＜t的误差，令num_Ei＝num_Ei+1。选择使num_Ei最大的E_i作为正确的外极点组合，则T_1Ei，T_2Ei，...，T_nEi为正确的单体三角点张量。最后利用正确的单体三焦点张量，计算每一组直线特征与三焦点张量{T}_i＝1 ⁿ的Sampson误差并将每一组直线特征聚类到与其误差最小的一个单体三焦点张量T_i表示的运动中，达到运动分割的目的。

Claims (1)

1.一种基于直线对应的动态场景多体运动分割方法，其特征在于包括如下具体步骤：

1)对于给定包含多个运动物体的三幅视图，根据三焦点张量定理，得到被多个运动所满足的线性约束方程组，对方程组中的每一个分量进行多项式嵌入，得到多个运动物体上的直线之间存在的多体三线性约束，即由多体三焦点张量τ满足的三个线性方程；

2)利用多体三线性约束的线性方程组中第一和第二个方程，求解包含多体三焦点张量的一部分分量的一个矢量τ₁，利用多体三线性约束的线性方程组中第一和第三个方程计算包含多体三焦点张量的另一部分分量的另一个矢量τ₂；若运动物体个数等于2个，则多体三焦点张量由τ₁和τ₂去掉重合部分合成得到，否则，将线-线-线对应转换为点-线-线对应，计算包含多体三焦点张量τ中剩余分量的第三个矢量 ${\mathrm{\τ}}_3\∈\frac{(n-1)(n-2)}{2}\×M_n\×M_n$ ，则多体三焦点张量

由三个矢量τ₁，τ₂，τ₃通过去掉重合部分合成得到；其中，n为运动物体个数，

M_n＝(n+1)(n+2)/2；

3)将线-线-线对应转换为点-线-线对应，利用三视图几何中外极点、外极线相关定理求出与第一幅视图中的所有特征点对应的第二、三视图中的外极线；

利用任意两条外极线的交点来得到候选的外极点，根据每一个候选外极点在所有外极线对应中的支持度得到优选的外极点，最后，利用与优选的外极点对应的数据来重新估计外极点；

4)利用步骤3)中得到的重新估计的外极点，计算第二、三幅视图中对应于随机选择的点的外极线；利用此外极线和步骤2)中计算的多体三焦点张量，得到单体三焦点张量，最后将每一组直线特征聚类到与其误差最小的一个单体三焦点张量表示的运动中，完成多体运动分割。