CN106504202B - 一种基于自适应非局部平滑的3d场景流估计方法 - Google Patents

Abstract

本发明属于机器视觉领域，具体涉及一种基于自适应非局部平滑的3D场景流估计方法。本发明包括：根据双目摄像机获取的立体图像序列之间的对应关系，将局部约束方法与全局平滑相结合，并引入自适应非局部平滑；参考Lucas模型，设计局部邻域约束的场景流数据项；平滑项采用鲁棒函数，构造近似于L1范数的全变分平滑；使用去对偶的方式求解能量泛函。本发明能够有效地去除图像序列中噪声产生的异质点，保持运动场的边缘信息，能有效地传递给低纹理区域。

Description

一种基于自适应非局部平滑的3D场景流估计方法

技术领域

本发明属于机器视觉领域，具体涉及一种基于自适应非局部平滑的3D场景流估计方法。

背景技术

我们所处的世界是复杂多变的，而人类认识世界的过程中，绝大多部分信息是来自于视觉。随着计算机技术和传感器的快速发展，机器视觉成为人类实现自动数据采集的重要组成部分，它被广泛应用在军事，医疗和民用等领域。而在视觉领域，相比于静止的物体，运动的物体包含了更多的信息，运动流场搭建了从底层信息到高层图像分析的桥梁。

光流场通过结合物体亮度与运动场，巧妙地实现了对物体运动的估计，但是它丢失了深度方向的信息，不利于3维场景的科学研究应用。相比于光流，场景流在这方面更具优势，能够提供更真实的底层信息。

传统的场景流主要是基于全变分和L1范数的TV-L1模型，由于它模型简单易于计算得到了广泛应用，但是它存在着大量的不足，主要有：1.不能有效地去除图像序列中噪声产生的异质点，2.由于是对流场的全局平滑，无法保持运动场的边缘信息，模糊掉了有用的运动特征，3.速度信息不能有效地传递给低纹理区域。

发明内容

本发明的目的在于通过计算流场点邻域内所有相似点欧式距离的平均值，在迭代的每一层对流场进行平滑处理，以解决现有场景流模型中的缺点的基于自适应非局部平滑的3D场景流估计方法。

本发明的目的是这样实现的：

S1根据双目摄像机获取的立体图像序列之间的对应关系，将局部约束方法与全局平滑相结合，并引入自适应非局部平滑，构建场景流能量泛函：

S2参考Lucas模型，设计局部邻域约束的场景流数据项：

其中，region为像素点的邻域范围，ω为像素点在计算流场时的权重系数，像素点离中心越近，权重系数ω越大。由于数据项的邻域约束是相同像素点在时刻t和时刻t+1的左右图像对的邻域之和，可以有效地低噪声带来的估计误差，数据项满足亮度不变性假设，并引入鲁棒性惩罚函数ψ(s²)去除集外点的影响；

S3平滑项采用鲁棒函数ψ(s²)，构造近似于L1范数的全变分平滑：

S_TV＝ψ(|▽u|²+|▽v|²+|▽w|²)，

在原有全变分平滑项S_TV的基础上，引入自适应非局部平滑S_MF，通过计算速度邻域内所有相似点欧式距离的平均值，在迭代的每一层对流场进行自适应平滑处理，消除图像噪声，环境噪声，通过滤波的方式将有效的运动信息投射给低纹理等无法获取有效运动信息的区域：

其中，η_i,j,i',j'为自适应权重因子，它代表了像素点(i',j')与(i,j)处的流场的相似程度；

在每一次迭代中平滑场景流，引入辅助变量(u',v',w')，在迭代计算中通过去耦合加速模型的计算，辅助平滑项定义如下：

S_DU＝(||u-u'||²+||v-v'||²+||w-w'||²)；

S4使用去对偶的方式求解能量泛函，将能量泛函分解成相互对偶的两个方程：

E(u',v',w')＝∫_Ω(λ₂S_DU+λ₃S_MF)dx

采用交替迭代求全局最优解的方式，分别求得3D场景流和辅助流场。

步骤S3包括：

S_MF中自适应权重因子定义如下：

I(i,j)为(i,j)处的亮度值，α₁＝α₂＝7，o(i,j)为遮挡函数，使用以下等式进行计算：

等式中α_d＝0.3,α_e＝20,d(i,j)是散度公式，定义为：

步骤S4包括：

S4.1.方程E(u,v,w)满足TV-L1-Duality形式，将方程进一步分解为两个部分交替迭代：

1)固定辅助变量(u',v',w')，得到：

使用全变分去噪ROF模型求解；

2)将(u,v,w)固定，求解方程：

令并将数据项简写作ρ(w)，即：

采用将N维优化问题转化为1维逐点阈值求解的方案处理，

S4.2求解E(u',v',w')使用收缩算子的优化方案，迭代方式如下：

以u'为例，选择5x5的矩形区域N_i,j，固定(u,v,w):

u'^(k+1)＝median(Heighbors^(k)∪Data)_i,j；

u'^(k+1)的初始值取上一步的结果，即：

u'⁰＝u；

Heighbors^(k)为u'的邻域集合：

Heighbors^(k)＝{u'^(k) _i',j'}，(i',j')∈N_i,j；

Data通过以下的形式表示，

v'，w'具有相同的求解方式。

本发明的有益效果在于：本发明能够有效地去除图像序列中噪声产生的异质点，保持运动场的边缘信息，能有效地传递给低纹理区域。

附图说明

图1为本发明的设计流程图。

图2为双目摄像机采集到图像序列的立体对应关系。

图3为本发明收缩算子模型。

具体实施方式

下面结合附图对本发明进行更详尽的描述。

本发明包括以下几个步骤：

S1.根据双目摄像机获取的立体图像序列之间的对应关系，将局部约束方法与全局平滑相结合，并引入自适应非局部平滑，构建场景流能量泛函。

S2.参考Lucas模型，设计局部邻域约束的场景流数据项,数据项满足亮度不变性假设，并引入鲁棒性惩罚函数去掉集外点的影响。

S3.平滑项采用鲁棒函数，构造近似于L1范数的全变分平滑，并引入自适应非局部平滑S_MF，在迭代的每一层对流场进行平滑处理，消除图像噪声，环境噪声，还能通过滤波的方式将有效的运动信息投射给低纹理等无法获取有效运动信息的区域，引入辅助变量(u',v',w')，在迭代计算中通过去耦合加速模型的计算，获得更好的全局最优性。

S4.使用去对偶的方式求解能量泛函，将能量泛函分解成相互对偶的两个方程E(u,v,w)和E(u',v',w')，采用交替迭代求全局最优解的方式，分别求得3D场景流和辅助流场。

其中在求解E(u,v,w)的过程中，由于满足TV-L1-Duality形式，将其进一步分解为两部分：

方程(1)使用全变分去噪ROF(Rudin,Osher and Fatemi)模型求解，方程(2)采用逐点阈值求解的方案，将N维优化问题减少到1维。

求解E(u',v',w')的迭代方法为收缩算子的优化方案，最终得到平滑的场景流。

S1.如附图2所示，利用已经标定好的双目立体系统获取左右立体图像序列。

真实场景中的点在短时间内由P₀位置移动到了P_t位置，相对应的，在左右摄像机成像平面中分别为点p_l和点p_r，由于视角的不同，p_l和p_r存在一个位置上的差异，用d表示，W＝(U,V,W)为真实世界中点P的速度矢量，w＝(u,v,w)为映射到成像平面的速度矢量。

根据双目摄像机获取的立体图像序列之间的对应关系，将局部约束方法与全局平滑相结合，并引入自适应非局部平滑，构建场景流能量泛函：

S2.参考Lucas模型，设计局部约束的场景流数据项。

其中，region为像素点的邻域范围，ω为像素点在计算流场时的权重系数，像素点离中心越近，权重系数ω越大。由于数据项的邻域约束综合了时刻t和时刻t+1的左右图像对，可以有效的降低噪声带来的估计误差，数据项满足亮度不变性假设。引入如下定义：

Δ(I,x；I',x+dx)＝|I'(x+dx)-I(x)| (5)

根据附图2所示的立体对应关系，各项分别定义为：

C_ml＝ψ(Δ(I_l,x；I_l,x+w))， (6)

C_mr＝ψ(Δ(I_r,x；I_r,x+w))， (7)

C_st＝ψ(Δ(I_l,x；I_r,x+d))， (8)

C_st'＝ψ(Δ(I_l,x+w；I_r,x+w+d'))， (9)

ψ(s²)＝(s²+ε²)^α为鲁棒性惩罚函数，α被证明在小于0.5的时候，性能达到最优，取α＝0.45。在变分极小化的过程中，数据项采用一阶泰勒展开近似表示：

S3.平滑项采用鲁棒函数ψ(s²)，构造近似于L1范数的全变分平滑，相比于L2范数，它对偏差的处罚小，能够减少对流场边缘的模糊，具有更优的间断处理能力，定义如下：

S_TV＝ψ(|▽u|²+|▽v|²+|▽w|²), (11)

在原有全变分平滑项S_TV的基础上，引入自适应非局部平滑S_MF，通过计算领域内所有相似点的平均值，在迭代的每一层对流场进行平滑处理，消除图像噪声，环境噪声，还能通过滤波的方式将有效的运动信息投射给低纹理等无法获取有效运动信息的区域，S_MF定义如下：

其中，η_i,j,i',j'为自适应权重因子，它代表了像素点(i',j')与(i,j)处的流场的相似程度，定义如下：

I(i,j)为(i,j)处的亮度值，α₁＝α₂＝7，o(i,j)为遮挡函数，使用以下等式进行计算：

等式中α_d＝0.3,α_e＝20,d(i,j)是散度公式，定义为：

为加速场景流计算，在每一次迭代中平滑场景流，并引入辅助变量(u',v',w')，在迭代计算中通过去耦合加速模型的计算，获得更好的全局最优性，

S_DU＝(||u-u'||²+||v-v'||²+||w-w'||²)， (16)

S4.使用去对偶的方式求解能量泛函，将能量泛函(3)分解成相互对偶的两个方程：

E(u',v',w')＝∫_Ω(λ₂S_DU+λ₃S_MF)dx, (18)

采用交替迭代求全局最优解的方式，分别求得3D场景流和辅助流场。

S4.1方程E(u,v,w)满足TV-L1-Duality形式。将方程进一步分解为两个部分交替迭代：

1>.固定辅助变量(u',v',w')，求解方程：

方程(19)满足全变分去噪ROF(Rudin,Osher and Fatemi)模型，利用梯度下降法，得到TV平滑模型，即：

将上述方程的变换为离散迭代的形式：

首次迭代将(u',v',w')设置为0，之后的迭代中(u',v',w')取交替迭代的上一步中得到的(u,v,w)。

2>.将(u,v,w)固定，求解方程：

令并将数据项简写作ρ(w)，即：

方程(27)不依赖于辅助变量(u',v',w')的导数，采用将N维优化问题转化为使用1维逐点阈值求解的方案处理，

S4.2.求解E(u',v',w')使用收缩算子的优化方案，迭代方式如下：

基于总变分的TV-L1去噪模型为：

将其离散化：

仅考虑一个邻接点，并令之为0：

推导出它的解：

shrink为收缩算子，它的模型如图3：

由此推出一般模型：

其中w_i＞0，u_i按升序排列，即u₁≤u₂≤...u_i，S(u)是严格的凸函数，上式的解为：

u＝median{u₁,u₂...u_n,p₁,p₂...p_n}， (33)

其中，p_i＝(S')^-1(∑w_i)。

根据以上理论，以u'为例，我们选择5x5的矩形区域N_i,j，固定(u,v,w)利用以下的迭代方式进行求解：

u'^(k+1)＝median(Heighbors^(k)∪Data)_i,j， (34)

这里u'^(k+1)的初始值取上一步的结果，即：

u'⁰＝u， (35)

Heighbors^(k)为u'的邻域集合，形式如下：

Heighbors^(k)＝{u'^(k) _i',j'}，(i',j')∈N_i,j， (36)

Data通过以下的形式表示，

v'，w'具有相同的求解方式。最终得到平滑的场景流。

以上实施方式仅用于说明本发明的技术方案，而非对其的限制，本领域的科研人员在不使相应的技术方案脱离本发明的精神和范围的情况下，还可以做出各种变化与变型，所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

本发明涉及一种基于自适应非局部平滑的3D场景流估计方法，包括：S1.根据双目摄像机获取的立体图像序列之间的对应关系，将局部约束方法与全局平滑相结合，并引入自适应非局部平滑，构建场景流能量泛函。S2.参考Lucas光流模型，设计局部邻域约束的场景流数据项,数据项满足亮度不变性假设，并引入鲁棒性惩罚函数去掉集外点的影响。S3.平滑项采用L1范数的全变分TV-L1平滑，并引入自适应非局部平滑S_MF，在迭代的每一层对流场进行平滑处理，消除图像噪声，环境噪声，将有效的运动信息投射给低纹理等无法获取有效运动信息的区域，引入辅助变量(u',v',w')，在迭代计算中通过去耦合加速模型的计算，获得更好的全局最优性。S4.使用去对偶的方式求解能量泛函，将能量泛函分解成相互对偶的两个方程E(u,v,w)和E(u',v',w')，采用交替迭代求全局最优解的方式，分别求得3D场景流和辅助流场。其中在求解E(u,v,w)的过程中，由于满足TV-L1-Duality形式将其进一步分解为两部分，第一部分使用全变分去噪ROF(Rudin,Osher and Fatemi)模型求解，第二部分采用逐点阈值求解的方案，将N维优化问题使用1维阈值处理。求解E(u',v',w')的迭代方法为收缩算子的优化方案，最终得到平滑的场景流。

Claims (3)

1.一种基于自适应非局部平滑的3D场景流估计方法，其特征在于，包括以下步骤：

S1根据双目摄像机获取的立体图像序列之间的对应关系，将局部约束方法与全局平滑相结合，并引入自适应非局部平滑，构建场景流能量泛函：

S2参考Lucas模型，设计局部邻域约束的场景流数据项：

其中，region为像素点的邻域范围，ω为像素点在计算流场时的权重系数，像素点离中心越近，权重系数ω越大；由于数据项的邻域约束是相同像素点在时刻t和时刻t+1的左右图像对的邻域之和，可以有效降低噪声带来的估计误差，数据项满足亮度不变性假设,并引入鲁棒性惩罚函数ψ(s²)去除集外点的影响；

S3平滑项采用鲁棒函数ψ(s²)来构造全变分平滑：

S_TV＝ψ(|▽u|²+|▽v|²+|▽w|²),

在原有全变分平滑项S_TV的基础上，引入自适应非局部平滑S_MF，通过计算速度邻域内所有相似点欧式距离的平均值，在迭代的每一层对流场进行自适应平滑处理，消除图像噪声与环境噪声，通过滤波的方式将有效的运动信息投射给无法获取有效运动信息的低纹理区域：

其中，η_i,j,i',j'为自适应权重因子，它代表了像素点(i',j')与(i,j)处的流场的相似程度；

在每一次迭代中平滑场景流，引入辅助变量(u',v',w')，在迭代计算中通过去耦合加速模型的计算，辅助平滑项定义如下：

S_DU＝(||u-u'||²+||v-v'||²+||w-w'||²)；

S4使用去对偶的方式求解能量泛函，将能量泛函分解成相互对偶的两个方程：

E(u',v',w')＝∫_Ω(λ₂S_DU+λ₃S_MF)dx,

采用交替迭代求全局最优解的方式，分别求得3D场景流和辅助流场。

2.根据权利要求1所述的一种基于自适应非局部平滑的3D场景流估计方法，其特征在于，步骤S3包括：

S_MF中自适应权重因子定义如下：

I(i,j)为(i,j)处的亮度值，α₁＝α₂＝7，o(i,j)为遮挡函数，使用以下等式进行计算：

等式中α_d＝0.3,α_e＝20,d(i,j)是散度公式，定义为：

3.根据权利要求1所述的一种基于自适应非局部平滑的3D场景流估计方法，其特征在于，步骤S4包括：

S4.1.方程E(u,v,w)满足TV-L1-Duality形式，将方程进一步分解为两个部分交替迭代：

1)固定辅助变量(u',v',w')，得到：

使用全变分去噪ROF模型求解；

2)将(u,v,w)固定，求解方程：

令并将数据项简写作ρ(w)，即：

采用将N维优化问题转化为1维逐点阈值求解的方案处理，

S4.2.求解E(u',v',w')使用收缩算子的优化方案，迭代方式如下：

选择5x5的矩形区域N_i,j，固定(u,v,w):

u'^(k+1)＝median(Heighbors^(k)∪Data)_i,j，

u'^(k+1)的初始值取上一步的结果，即：

u'⁰＝u；

Heighbors^(k)为u'的邻域集合：

Heighbors^(k)＝{u'^(k) _i',j'}，(i',j')∈N_i,j；

Data通过以下的形式表示：

v'，w'具有相同的求解方式。