CN104680544B - 基于3维流场正则化的变分场景流估计方法 - Google Patents

Abstract

本发明公开了一种基于3维流场正则化的变分场景流估计方法。包括以下步骤：利用已经标定好的左右摄像机获取左右图像序列；将3维流场进行正则化得到场景流数据项；将2维光流平滑项向3维空间扩展，得到场景流驱动各向异性的场景流平滑项；根据方向信息设计扩散张量并进行本征分解，得到每个方向上的扩散强度，从而进行各向异性平滑，得到深度平滑项；将场景流数据项、场景流平滑项和深度平滑项合并，构建能量泛函；使用变分极小化的方法，得到能量泛函对应的Euler方程的解；利用超松弛迭代对Euler方程进行迭代求解，得到优化后的场景流和深度信息。本发明具有鲁棒性高，场景流精确的优点。

Description

基于3维流场正则化的变分场景流估计方法

技术领域

本发明属于一种场景流估计方法，尤其涉及一种基于场景流驱动各向异性平滑和各向异性深度图平滑的，基于3维流场正则化的变分场景流估计方法。

背景技术

真实世界是3维的，传统的数字视频记录的是3维动态场景在2维平面上的投影，表现为2维图像序列，丢失了深度信息，不利于科学研究应用。场景流是光流由2维平面向3维空间的扩展，可在3维空间中描述场景点的运动。光流可看作是场景流在2维图像平面上的投影，是对真实运动场的近似，相对于光流，场景流更符合3维真实运动。

在基于2维光流正则化的场景流估计中，近期的方法多采用流驱动各向同性平滑假设而忽略了流场方向性信息，从而导致在运动不连续处及遮挡位置场景流估计误差大，且针对2维光流进行平滑求解场景流不符合实际运动模型。本发明方法直接对3维流场施加平滑假设约束，则可令运动模型更符合实际情况，提高估计精度。INRIA的Basha等人提出了使用多视及3维流场平滑假设的场景流估计方法，Quiroga等则在已知深度图的情况下利用3维流场平滑假设求解场景流。也有人提出将2维平滑约束进行3维扩展，但使用的仍是各向同性场景流驱动方法，在遮挡或运动不连续区域场景流估计误差显著增加的问题依然存在，而各向异性平滑假设对克服此类问题有着重要意义。

发明内容

本发明的目的是提供一种具有高鲁棒性的基于3维流场正则化的变分场景流估计方法。

本发明是通过以下技术方案实现的：

基于3维流场正则化的变分场景流估计方法，包括以下几个步骤：

步骤一：将左右摄像机光轴平行摆放，利用标定板进行标定，获得摄像机内外参数；

步骤二：利用已经标定好的左右摄像机获取左右图像序列；

步骤三：利用获得的左右立体图像序列计算视差图，由视差图转换得到深度图；

步骤四：将3维流场进行正则化得到场景流数据项；

步骤五：将2维光流平滑项向3维空间扩展，得到场景流驱动各向异性的场景流平滑项；

步骤六：根据方向信息设计扩散张量并进行本征分解，得到每个方向上的扩散强度，从而进行各向异性平滑，得到深度平滑项；

步骤七：将场景流数据项、场景流平滑项和深度平滑项合并，构建能量泛函；

步骤八：使用变分极小化的方法，得到能量泛函对应的Euler方程的解；

步骤九：利用超松弛迭代对Euler方程进行迭代求解，得到优化后的场景流和深度信息。

本发明基于3维流场正则化的变分场景流估计方法，还可以包括：

1、场景流数据项为：

E_data＝∫_Ω(E_l+E_r+E_Z+E_Z')dx

其中，场景流W＝(v_X,v_Y,v_Z)^T，Z为t时刻场景点深度，Z'为t+1时刻场景点深度，且Z＝Z+v_Z，E_l(W,Z)为左图像序列的能量函数，E_r(W,Z)右图像序列的能量函数，E_Z(W,Z)为t时刻深度图序列的能量函数，E_Z′(W,Z)为t+1时刻深度图序列的能量函数，

E_l(W,Z)＝ψ(G_σ*(I_l(x+w,t+1)-I_l(x,t))²)

E_r(W,Z)＝y(G_s*(I_l(x+w+d',t+1)-I_r(x+d,t))²)

E_Z(W,Z)＝ψ(G_σ*(I_r(x+d,t)-I_l(x,t))²)

E_Z′(W,Z)＝ψ(G_σ*(I_r(x+w+d',t+1)-I_l(x+w,t+1))²)

其中，t时刻距离d＝(fb/Z,0)^T,t+1时刻距离d'＝(fb/(Z+v_Z),0)^T，f为摄像机焦距，b为基线长度，光流w为：

2、场景流平滑项为：

其中，为场景流结构张量，可以分解为3个正交的特征矢量v₁，v₂，v₃，对应的特征值分别为μ₁，μ₂，μ₃。

3、深度平滑项为：

其中，扩散张量J′(S_σ)＝λ₁v₁v₁ ^T+λ₂v₂v₂ ^T，λ₁，λ₂为两个特征值，

4、能量泛函为：

E_sf＝E_data+αE_smooth+βE_depth，

其中，α和β为系数。

有益效果：

本发明提供一种基于场景流驱动各向异性平滑和各向异性深度图平滑项的场景估计新方法，以解决现有技术中在遮挡或运动不连续区域场景流估计误差显著增加的问题，提高场景流估计的鲁棒性和精度。

附图说明

图1为本发明的设计流程图。

具体实施方式

下面将结合附图1对本发明做进一步详细说明。

S1.此步骤为对双目立体系统进行标定。将两个相同的摄像机平行放置(基本平行即可)，使用棋盘标定法进行标定，使用数学方法计算得到摄像机的内外部参数，经双目校正后，左右图像是极线对齐的，左右摄像机获取的相应图像特征点在同一极线上，即对应的像素点在同一水平线上。

S2.利用已经标定好的双目立体系统获取左右立体图像序列。

S3.基于获取的左右图像序列计算视差图，获取空间中同一点在左右图像上的水平位置差，即视差。将空间中所有点的视差全部获取得到视差图，并由视差图转换得到深度图。此视差图也可以由任意视觉系统获取。

S4.设计基于3维流场正则化的场景流数据项。对双目立体摄像机进行标定，得到摄像机的内参数。对3维流场进行平滑时，流场和对应的数据项均采用摄像机坐标系进行表示，3维数据项使用彩色恒常假设及局部邻域约束。为约束3维流场，数据项利用摄像机内参数进行透视投影变换以表示为场景流W＝(v_X,v_Y,v_Z)^T与深度Z的函数，不失一般性，设立体摄像机具有单位焦距，光心位于图像原点，则场景流数据项一般形式在参考摄像机坐标系下可表示为

E_data＝∫_Ω(E_l+E_r+E_Z+E_Z')dx (1)

其中，Z为t时刻场景点深度，Z'为t+1时刻场景点深度，且Z＝Z+v_Z。上式中各分量能量函数表示为

E_l(W,Z)＝ψ(G_σ*(I_l(x+w,t+1)-I_l(x,t))²) (2)

E_r(W,Z)＝y(G_s*(I_l(x+w+d',t+1)-I_r(x+d,t))²) (3)

E_Z(W,Z)＝ψ(G_σ*(I_r(x+d,t)-I_l(x,t))²) (4)

E_Z′(W,Z)＝ψ(G_σ*(I_r(x+w+d',t+1)-I_l(x+w,t+1))²) (5)

其中，d＝(fb/Z,0)^T,d'＝(fb/(Z+v_Z),0)^T，f为摄像机焦距，b为基线长度。且利用透视投影关系，光流w可用场景流W及深度Z表示为

利用以上关系即可将数据项表示为场景流与深度的函数，以直接对3维流场施加约束。式中G_σ代表方差为σ的高斯平滑，标量函数ψ(s²)是一个可微函数，且是凸性的，这是为了保证其收敛性。

S5.设计3维流场平滑项。此部分直接对3维流场进行正则化，流场在3维空间具有光滑性，设计一种场景流驱动非线性各向异性平滑假设，从而在保证场景流光滑性的同时保持流场在3维空间中的运动不连续，形式如下。

上式中为场景流结构张量，可以分解为3个正交的特征矢量v₁，v₂，v₃，对应的特征值分别为μ₁，μ₂，μ₃，这3个特征值反应场景流在这3个特征矢量v₁，v₂，v₃方向上的变化，这个张量反应的是场景流的局部变化信息。使用式(7)所示的平滑项，经过最速下降法，能够得到扩散项，

式(8)中的扩散矩阵，其特征值ψ'(u₁)，ψ'(u₂)，ψ'(u₃)是不同的，从而实现场景流的各项异性扩散。

S6.设计深度平滑项。此部分的深度平滑项仅包含对深度图的平滑，相应的非线性各向异性深度图扩散项为，

通过设计扩散张量并进行本征分解，以得到不同方向上的扩散强度，从而进行各向异性平滑。

对扩散张量J(S_σ)进行设计，首先假设v₁，v₂已知，分别为平行于图像梯度方向和垂直于梯度方向，根据本征分解定理，J′(S_σ)＝λ₁v₁v₁ ^T+λ₂v₂v₂ ^T，只需要设计特征值λ₁，λ₂就可以了，可以将其设计为，

这样在梯度|▽Z|→0的平坦区域，λ₁→0.5，λ₂→0.5，上述扩散变为各项同性扩散。在灰度边缘区域|▽Z|→∞，λ₁→0，λ₁→1，这样就增大了v₂方向，即垂直方向的扩散，并且减小了v₁方向，即平行梯度方向上的扩散。

S7.将数据项，

E_data＝∫_Ω(E_l+E_r+E_Z+E_Z')dx (12)

场景流平滑项，

深度平滑项E_depth合并，构建场景流能量泛函，

E_sf＝E_data+αE_smooth+βE_depth (14)

S8.根据能量泛函，使用变分极小化的方法，得到能量泛函对应Euler方程的解，其通用形式为，

S9.利用超松弛迭代求解。此部分的算法需要深度初值，可以使用立体视差匹配算法得到的视差图，转换为深度图后作为初值代入算法进行迭代运算，场景流初值可设置为0。本方案采用的计算策略为，采用基于中值滤波的金字塔分级计算策略，按照一定的采样标准，将前后两帧图像分成n层，形成金字塔结构，原始图像为最高分辨率，越向上分辨率越低，采用这种方法，可以消除场景流估计的大位移问题。使用嵌套固定点迭代进行偏微分方程组的线性化，消除彩色恒常假设及鲁棒惩罚函数带来的非线性，使用超松弛迭代计算金字塔每一层中的场景流变化增量。

Claims (5)

1.基于3维流场正则化的变分场景流估计方法，其特征在于，包括以下几个步骤：

步骤一：将左右摄像机光轴平行摆放，利用标定板进行标定，获得摄像机内外参数；

步骤二：利用已经标定好的左右摄像机获取左右图像序列；

步骤三：利用获得的左右立体图像序列计算视差图，由视差图转换得到深度图；

步骤四：将3维流场进行正则化得到场景流数据项；

步骤五：将2维光流平滑项向3维空间扩展，得到场景流驱动各向异性的场景流平滑项；

步骤六：根据方向信息设计扩散张量并进行本征分解，得到每个方向上的扩散强度，从而进行各向异性平滑，得到深度平滑项；

步骤七：将场景流数据项、场景流平滑项和深度平滑项合并，构建能量泛函；

步骤八：使用变分极小化的方法，得到能量泛函对应的Euler方程的解；

步骤九：利用超松弛迭代对Euler方程进行迭代求解，得到优化后的场景流和深度信息。

2.根据权利要求1所述的基于3维流场正则化的变分场景流估计方法，其特征在于：所述的场景流数据项为：

E_data＝∫_Ω(E_l+E_r+E_Z+E_Z')dx

其中，场景流W＝(v_X,v_Y,v_Z)^T，Z为t时刻场景点深度，Z'为t+1时刻场景点深度，且Z＝Z+v_Z，E_l(W,Z)为左图像序列的能量函数，E_r(W,Z)右图像序列的能量函数，E_Z(W,Z)为t时刻深度图序列的能量函数，E_Z′(W,Z)为t+1时刻深度图序列的能量函数，

E_l(W,Z)＝ψ(G_σ*(I_l(x+w,t+1)-I_l(x,t))²)

E_r(W,Z)＝y(G_s*(I_l(x+w+d',t+1)-I_r(x+d,t))²)

E_Z(W,Z)＝ψ(G_σ*(I_r(x+d,t)-I_l(x,t))²)

E_Z′(W,Z)＝ψ(G_σ*(I_r(x+w+d',t+1)-I_l(x+w,t+1))²)

其中，t时刻距离d＝(fb/Z,0)^T,t+1时刻距离d'＝(fb/(Z+v_Z),0)^T，f为摄像机焦距，b为基线长度，光流w为：

G_σ代表方差为σ的高斯平滑。

3.根据权利要求2所述的基于3维流场正则化的变分场景流估计方法，其特征在于：所述的场景流平滑项为：

其中，为场景流结构张量，可以分解为3个正交的特征矢量v₁，v₂，v₃，对应的特征值分别为μ₁，μ₂，μ₃。

4.根据权利要求3所述的基于3维流场正则化的变分场景流估计方法，其特征在于：所述的深度平滑项为：

其中，扩散张量J′(S_σ)＝λ₁v₁v₁ ^T+λ₂v₂v₂ ^T，λ₁，λ₂为两个特征值，

5.根据权利要求1所述的基于3维流场正则化的变分场景流估计方法，其特征在于：所述的能量泛函为：

E_sf＝E_data+αE_smooth+βE_depth，

其中，α和β为系数。