CN104318569B - 基于深度变分模型的空间显著性区域提取方法 - Google Patents

Abstract

本发明属于计算机视觉领域，涉及基于深度变分模型的空间显著性区域提取方法。首先，对相机进行校正，选取图像中关键帧图像序列，运用离散空间采样法获取初始深度图，构造变分模式下深度估计模型的能量函数；然后，借助于原始对偶算法求解能量函数，实现深度模型优化；利用显著性滤波器算法对优化后的深度图进行显著性区域粗提取，进一步利用改进脉冲耦合神经网络对显著性区域进行优化，实现深度显著性区域准确提取；最后对三维显著性区域进行重建。本发明基于特定视角下不同坐标系间关联性，以及摄像机透视投影变换关系，使得该能量函数模型蕴含了多视成像约束，降低了算法模型求解的计算复杂度，提高了深度图估计质量。

Description

基于深度变分模型的空间显著性区域提取方法

技术领域

本发明属于计算机视觉领域，涉及一种基于深度变分模型的空间显著性区域提取方法。

背景技术

在日常生活中，我们观察图像时，通常只对整幅图像或整段视频中很小的较为显著的一部分感兴趣。因此，计算机模拟人类视觉系统时，主要通过检测图像中显著性区域进行模拟。显著性检测已逐渐成为计算机视觉领域非常重要的一门技术。在这个领域中，如何运用高效的方法从大场景中准确地检测、重构出空间显著性区域，是一个非常关键的技术。传统的显著性检测方法有多种，但对于某些图像，如图像中存在近景和远景，且远景距离观察者较远的图像，对于这类图像的显著性检测，结果不太符合人类视觉系统，检测结果还不太准确，也无法快速、准确建立目标物体的空间几何信息。申请号为201310658853.X的专利提出了一种基于显著性的快速场景分析方法，借鉴人类视觉系统神经机制来设计计算机视觉模型，提出了自底而上、各个特征图可并行的机制，并且将多个特征在多尺度下进行融合，最后合成一张综合的视觉显著性图。通过两层的胜者为王神经网络得到显著性区域，最后通过禁止返回机制，抑制当前显著性区域，转而寻找下一个显著性区域，直到遍历所有显著性区域。在一幅图像中快速提取人眼所能观察到的引人注意的区域。该方法只是针对二维场景的显著性区域提取，不能够提供空间显著性区域深度信息。因此，如何在整体场景深度图中自动提取显著性区域，并重建出三维显著性区域，仍存在很大的技术问题。

三维重建技术是当今视觉方面十分重要的一项应用，但是现有技术大多侧重于整体场景重建。为了更加真实模拟人眼视觉对空间显著性区域的感知，对空间显著性区域的三维重建技术逐渐成为新的关键性技术。

发明内容

针对现有技术中存在的上述问题，本发明中提出了一种基于深度变分模型的空间显著性区域提取方法。该方法利用并行跟踪与地图创建(Parallel Tracking andMapping，PTAM)算法作为相机位姿估计手段，在关键帧处选取图像序列构造基于变分模型的深度图能量估计函数。由于本发明所述方法基于特定视角下不同坐标系间关联性，以及摄像机透视投影变换关系，使得该能量函数模型蕴含了多视成像约束，降低了算法模型求解的计算复杂度，提高了深度图估计质量。运用离散空间采样法获取初始深度图，基于TV-L¹模型建立能量函数，对函数求解，以实现对初始深度图的优化。通过改进显著性区域提取方法(Improved Salient Region Extraction，ISRE)实现对深度图显著性区域的准确提取，并结合相机投影模型实现当前环境下显著性区域三维重建，该方法对于解决空间显著性区域重建问题具有重大意义。

本发明采用如下的技术方案：

首先，对相机进行校正，选取图像中关键帧图像序列，运用离散空间采样法获取初始深度图，构造变分模式下深度估计模型的能量函数；然后，借助于原始对偶算法求解能量函数，实现深度模型优化；利用显著性滤波器算法(SaliencyFilters，SF)对优化后的深度图进行显著性区域粗提取，进一步利用改进脉冲耦合神经网络(Pulse CoupledNeuralNetwork,PCNN)对显著性区域进行优化，实现深度显著性区域准确提取；最后对三维显著性区域进行重建。具体包括以下步骤：

步骤1，进行相机校正。

在世界坐标系中，相机位姿T_cw可以表示为如下矩阵：

T_cw＝[R_cw,t_cw] (1)

式中，下标cw表示从世界坐标系到当前相机坐标系,T_cw∈SE(3)，且SE(3)：＝{[R，t]|R∈SO(3)，t∈R³}。t_cw、R_cw可由六元组ξ＝(μ₁，μ₂，μ₃，μ₄，μ₅，μ₆)表示，即：

式中，μ₁，μ₂，μ₃为相机在世界坐标系下的坐标，μ₄，μ₅，μ₆分别为世界坐标系下相机沿x,y,z方向上的旋转向量，ξ的数学表达式如下：

相机的位姿T_cw建立了相机坐标系下点P_c到世界坐标系下点P_w的变换关系，即：

P_c＝T_cwP_w (4)

在相机坐标系下，三维空间点到像平面上的投影定义为：

π(p)＝K(x/z,y/z,1)^T (5)

式中，P∈R³的三维空间点，x,y,z为该点的坐标值，K为相机的内参矩阵，f_u,f_v为相机焦距，u₀,v₀为像平面中心坐标。根据当前坐标的深度值d，利用逆向投影法确定当前空间三维点坐标p，其坐标关系可表示为：

式中，为u的齐次表达式。

为有效建立上述相机投影模型，本发明采用FOV模型实现对单目相机的矫正，其数学描述如下：

式中，x_u为像素归一化坐标，u_d为畸变后像素坐标，ω为畸变系数，r_d,r_u分别为矫正前后归一化坐标到坐标系中心的距离。

利用上述相机模型，将图像像素坐标映射到归一化坐标平面，同时结合相机内参数矩阵K，实现图像畸变矫正，即：

u＝Kx_n (9)

步骤2，基于变分模型的深度图的建立与求解。

在PTAM精确位姿估计前提下，选取关键帧处图像序列，获取初步深度图，采用基于变分模型的深度图估计方法，实现对当前环境的三维信息的获取。所述方法在变分光流估计算法的基础上，结合相机投影模型与环境深度值，根据光照不变性与深度图平滑性假设，建立基于L¹型数据惩罚项与变分规则项的深度能量函数模型。通过深度离散空间采样的方式获取全局最优深度图，当达到一定图像帧数后，运用原始对偶算法求解能量函数实现该深度图的优化。

步骤2.1，建立基于深度模型的能量函数。其表达式如下：

式中，λ为数据惩罚项E_data和变分规则项E_reg间的权重系数，Ω∈R²为深度图的取值范围。能量函数的求解：

步骤2.2，计算数据惩罚项。

在相机精确定位的基础上，根据极线几何关系可获取当前环境的稠密深度信息。鉴于此，利用关键帧I_r及其邻近图像序列I＝{I₁，I₂，…I_n}，结合投影模型建立数据项E_data：

式中，I_r为当前图像序列中与参考帧具有重合信息的图像帧数量，x'是在深度值为d时，图像I_i中参考帧I_r中x对应的像素坐标，即：

步骤2.3，计算变分规则项。

在深度图平滑性假设前提下，为确保场景中界处的不连续性，引入加权Hubert算子作为变分规则项。Hubert算子定义如下：

式中,α为常量。

此时，基于加权的Hubert算子的变分规则项为：

E_reg＝g(u)||▽d(u)|| (14)

式中，▽d为深度图的梯度，g(u)＝exp[-α||I_r(u)||]为像素梯度权重系数，用以抑制规则项的过平滑作用。

步骤2.4，求解能量函数。

通过引入变量h来求解能量函数(10)，此时能量函数可以化简为：

式中，θ为常量。

引入变量h后，能量函数的求解过程转化为凸优化问题，随着能量函数的不断优化，使h≈d。

根据Legendre-Fenchel变换，Huber算子可等效为：

式中，

将(16)式带入能量方程，此时深度优化函数可以表示为：

采用交替下降法实现对上述能量函数的最小化，具体过程如下：

(1)固定h求解：

式中，

根据拉格朗日极值法，该能量函数达到最小值的条件为：

式中，div(q)为q的散度。

结合偏导数离散化描述，上述极值条件可表示为：

式中，div(p)为p的散度。

可采用原始对偶算法实现上述能量函数的迭代优化，即：

(2)固定d求解：

式中，

在变分光流算法中，通常利用图像像素点处线性化展开，结合由粗到细的迭代方法，实现对数据项的优化。在上述过程中，该算法需要进行大量图像插值操作以及获取该对应点处像素值，增加了算法的计算量。鉴于此采用深度离散空间采样的方法实现上述能量函数的求解。该方法选择当前场景中深度取值范围[d_min,d_max]，并将该区域划分为S个采样区域，获取当前能量函数在采样区域的最优解。其中第k与k+1采样的区步长选择为：

步骤3，显著性粗提取。

原图像经SF算法处理，获得初始显著性图OSM(Original Saliency Map)和亮度特征图IFM(Intensity Feature Map)。其具体实现过程分为四个步骤：

步骤3.1，对输入原图像做超像素分割，采用略微修改的超像素分割，根据CIElab空间的测地线图像距离进行K-means聚类，产生大体上均匀尺寸，并且可以保持颜色亮度边界的超像素分割。

步骤3.2，提取超像素每个元素的颜色亮度独特性(uniqueness)，其超像素颜色亮度可如下表示：

式中，U表示颜色亮度值；i,j表示超像素块；N表示超像素的块数；p表示超像素块的位置；c表示在CIELab空间的颜色；ω表示权重系数，其中权重与超像素空间位置的距离有关，如果给予远距离像素很低的权重，这个像素颜色亮度独立性就类似于中央周边的对比度，即距离远的像素对其显著性贡献较低。

步骤3.3，度量整幅图像的分布性，即针对特定区域元素做深度渲染突出其显著性，空间颜色区分度可如下表示：

式中，ω表示第i和第j超像素块的颜色亮度权重系数；p表示像素块的位置；u表示空间颜色c的位置。根据定义，颜色亮度越接近，权重越大，即距离远但颜色相近的像素分布值大，和前一个特征刚好是相反，这个特征可以表示某种颜色在空间分布的广度。例如某种颜色分散在图像中，但是面积都很小，那么第一个特征计算出来这个颜色的独立性就比较高，但是第二个特征表示这个颜色的分布很广且不显著。

步骤3.4，结合步骤2和3确定OSM和IFM进行显著性融合。显著性图S_i可由下式表示：

S_i＝U_iexp(-k·D_i)，i＝1,2,…,N (26)

步骤4，显著性精细提取。

步骤4.1，传入单元。

将IFM的每个像素I_ij(x,y)作为PCNN的外界刺激输入F_ij，同时通过连接突触权重W，将I_ij(x,y)与其3×3范围内8个邻域连接起来形成一个局部刺激L_ij。权重W的值由中心像素点到其8邻域边界像素的距离决定。

步骤4.2，连接调制单元。

连接调制单元的主要作用是将外界刺激主输入F_ij和局部刺激连接输入L_ij调制耦合，表示如下：

U_ij[n]＝F_ij[n]{1+βL_ij[n]} (27)

其中，U_ij为神经元内部活动项；β是突触之间的连接强度系数，其取值越大，则8邻域的神经元对其中心神经元的影响越大，本发明中取β值为0.4。

步骤4.3，点火脉冲单元。

人眼生物视觉过程的一大特点是，视觉注意点会随着场景的改变而随时改变。为了准确模拟这一过程，本发明对传统PCNN点火脉冲单元进行改进。具体实现步骤如下：

(1)取OSM最大的非零灰度值的75％像素点，将它们的值设置为1(白色)界定出最大范围的显著性区域，其它值设置为0(黑色)界定为确定的背景区域。即获取OSM的二值图像OSM_C。

(2)将神经元内部活动项U_ij与OSM_C点乘，最终确定点火脉冲U_kl，表示如下：

U_kj＝U_ij*OSM_C (28)

(3)由U_kl确定神经元的动态阈值Θ_ij，此过程表示如下：

Θ_ij[n]＝max[U_kl(x,y)]e^-α (29)

其中，α是传统PCNN动态阈值指数衰减系数，本发明中取值为0.3。

(4)将U_kl的最大值与动态阈值Θ_ij作比较，确定全部应点火神经元的取值范围，产生时序脉冲序列Y_ij：

经多次迭代，完成最终二值化显著图提取。ISRE模型具有人眼视觉神经系统神经元抑制作用，即可以通过已点火的孤立神经元或极小区域神经元抑制掉远离显著性目标区域的噪点。

步骤5，显著性区域三维重建。

将提取的显著性区域范围反投影到深度图，获取显著性区域的深度图，结合相机投影模型实现当前环境下三维显著性区域的重建。

与现有技术相比，本发明具有以下优点：

(1)现有的三维重建技术中，基于稀疏特征的三维重建算法结构简单，实时性强，但局限于无法建立环境的直观描述；而基于稠密形式的三维创建算法的困境是结构复杂，运算量大，点云规模与计算效率始终是一对矛盾。本发明基于TV-L1模型建立能量函数，对初始深度图优化，大大降低了求解深度图的算法复杂度，提高了深度图估计质量。在统一计算设备架构下，利用图形处理器实现了算法的并行优化，有效提高了算法实时性。

(2)当前对显著性区域提取技术局限于对二维图像的显著性区域的提取，本发明为了更加真实模拟人眼视觉对空间显著性区域的感知，建立了显著性区域深度信息，在整体场景深度图中自动提取显著性区域，并重建出三维显著性区域。本发明能够更好地适应当下飞速发展的计算机视觉方面技术的需求。

附图说明

图1为本发明所涉及方法的流程图；

图2为ISRE模型框架图。

具体实施方式

下面结合附图对本发明专利进行进一步详细说明。

基于深度变分模型的空间显著性区域提取方法流程图如附图(1)所示，具体包括以下几个步骤。

步骤1，相机标定。

建立相机投影模型，采用FOV模型实现单目相机的校正，将图像像素坐标映射到归一化坐标平面，同时结合相机内参数矩阵K，实现图像畸变矫正，即：u＝Kx_n。

步骤2，深度模型的建立与求解。

在PTAM精确位姿估计前提下，采用基于变分模型的深度图估计算法，实现对当前环境的三维信息的获取。该方法在变分光流估计算法的基础上，结合相机投影模型与环境深度值，根据光照不变性与深度图平滑性假设，建立基于L¹型数据惩罚项与变分规则项的深度能量函数模型。通过深度离散空间采样的方式获取全局最优深度图，当达到一定图像帧数后，运用原始对偶算法求解能量函数实现该深度图的优化，深度能量函数见公式(1)。

步骤3，深度显著性区域获取。

ISRE是模拟人眼生物过程基于SF模型的混合模型，具体ISRE模型框架如图2所示，算法实现包含6个步骤：

步骤3.1获取粗分割显著性图OSM和IFM；

步骤3.2将IFM每个像素点作为PCNN的输入神经元；

步骤3.3每个外部刺激通过连接突触权重形成局部刺激；

步骤3.4经连接调制获取PCNN内部活动项；

步骤3.5改进PCNN点脉冲；

步骤3.6迭代生成最终二值化显著性图。

步骤4，三维显著性区域重建。

将得到的显著性区域通过反投影到深度图，得到显著性区域的深度图，再通过结合相机投影模型实现对当前环境下三维显著性区域的重建。

Claims (1)

1.基于深度变分模型的空间显著性区域提取方法，其特征在于包括以下步骤：

步骤1，进行相机校正；

在世界坐标系中，相机位姿T_cw可以表示为如下矩阵：

T_cw＝[R_cw,t_cw] (1)

式中，下标cw表示从世界坐标系到当前相机坐标系，T_cw∈SE(3)，且SE(3)：＝{[R，t]|R∈SO(3)，t∈R³}，t_cw、R_cw由六元组ξ＝(μ₁，μ₂，μ₃，μ₄，μ₅，μ₆)表示，即：

式中，μ₁，μ₂，μ₃为相机在世界坐标系下的坐标，μ₄，μ₅，μ₆分别为世界坐标系下相机沿x,y,z方向上的旋转向量，ξ的数学表达式如下：

相机的位姿T_cw建立了相机坐标系下点P_c到世界坐标系下点P_w的变换关系，即：

P_c＝T_cwP_w (4)

在相机坐标系下，三维空间点到像平面上的投影定义为：

π(p)＝K(x/z,y/z,1)^T (5)

式中，P∈R³的三维空间点，x,y,z为该点的坐标值，K为相机的内参矩阵，f_u,f_v为相机焦距，u₀,v₀为像平面中心坐标；根据当前坐标的深度值d，利用逆向投影法确定当前空间三维点坐标p，其坐标关系表示为：

式中，为u的齐次表达式；

采用FOV模型实现对单目相机的矫正，其数学描述如下：

r_u＝||x_u||

式中，x_u为像素归一化坐标，u_d为畸变后像素坐标，ω为畸变系数，r_d,r_u分别为矫正前后归一化坐标到坐标系中心的距离；

利用上述相机模型，将图像像素坐标映射到归一化坐标平面，同时结合相机内参数矩阵K，实现图像畸变矫正，即：

u＝Kx_n (9)

步骤2，基于变分模型的深度图的建立与求解；

步骤3，显著性粗提取；

原图像经显著性滤波器算法处理，获得初始显著性图OSM和亮度特征图IFM；

步骤4，显著性精细提取；

步骤5，显著性区域三维重建；

将提取的显著性区域范围反投影到深度图，获取显著性区域的深度图，结合相机投影模型实现当前环境下三维显著性区域的重建；

步骤2所述基于变分模型的深度图的建立与求解方法包括以下步骤：

步骤2.1，建立基于深度模型的能量函数；其表达式如下：

式中，λ为数据惩罚项E_data和变分规则项E_reg间的权重系数，Ω∈R²为深度图的取值范围；能量函数的求解：

步骤2.2，计算数据惩罚项；

在相机精确定位的基础上，根据极线几何关系可获取当前环境的稠密深度信息；利用关键帧I_r及其邻近图像序列I＝{I₁，I₂，…I_n}，结合投影模型建立数据项E_data：

式中，I_r为当前图像序列中与参考帧具有重合信息的图像帧数量，x'是在深度值为d时，图像I_i中参考帧I_r中x对应的像素坐标，即：

步骤2.3，计算变分规则项；

在深度图平滑性假设前提下，为确保场景中界处的不连续性，引入加权Hubert算子作为变分规则项；Hubert算子定义如下：

式中，α为常量；

基于加权的Hubert算子的变分规则项为：

式中，为深度图的梯度，g(u)＝exp[-α||I_r(u)||]为像素梯度权重系数，用以抑制规则项的过平滑作用；

步骤2.4，求解能量函数；

通过引入变量h来求解能量函数(10)，能量函数化简为：

式中，θ为常量；

引入变量h后，能量函数的求解过程转化为凸优化问题，随着能量函数的不断优化，使h≈d；

根据Legendre-Fenchel变换，Huber算子等效为：

式中，

将(16)式带入能量方程，深度优化函数表示为：

采用交替下降法实现对上述能量函数的最小化，具体过程如下：

(1)固定h求解：

式中，

根据拉格朗日极值法，该能量函数达到最小值的条件为：

式中，div(q)为q的散度；

结合偏导数离散化描述，上述极值条件表示为：

式中，div(p)为p的散度；

采用原始对偶算法实现上述能量函数的迭代优化，即：

(2)固定d求解：

式中，

在变分光流算法中，利用图像像素点处线性化展开，结合由粗到细的迭代方法，实现对数据项的优化；在上述过程中，该算法需要进行大量图像插值操作以及获取该对应点处像素值，增加了算法的计算量；鉴于此采用深度离散空间采样的方法实现上述能量函数的求解；该方法选择当前场景中深度取值范围[d_min,d_max]，并将该区域划分为S个采样区域，获取当前能量函数在采样区域的最优解；其中第k与k+1采样的区步长选择为：

步骤3所述显著性粗提取的方法包括以下步骤：

步骤3.1，对输入原图像做超像素分割，采用略微修改的超像素分割，根据CIElab空间的测地线图像距离进行K-means聚类，产生大体上均匀尺寸，并且能够保持颜色亮度边界的超像素分割；

步骤3.2，提取超像素每个元素的颜色亮度独特性，其超像素颜色亮度如下表示：

式中，U表示颜色亮度值；i,j表示超像素块；N表示超像素的块数；p表示超像素块的位置；c表示在CIELab空间的颜色；ω表示权重系数，其中权重与超像素空间位置的距离有关，如果给予远距离像素很低的权重，这个像素颜色亮度独立性就类似于中央周边的对比度，即距离远的像素对其显著性贡献较低；

步骤3.3，度量整幅图像的分布性，即针对特定区域元素做深度渲染突出其显著性，空间颜色区分度可如下表示：

式中，ω表示第i和第j超像素块的颜色亮度权重系数；p表示像素块的位置；u表示空间颜色c的位置；根据定义，颜色亮度越接近，权重越大，即距离远但颜色相近的像素分布值大，这个特征可以表示某种颜色在空间分布的广度；

步骤3.4，结合步骤2和3确定OSM和IFM进行显著性融合；显著性图S_i由下式表示：

S_i＝U_iexp(-k·D_i)，i＝1,2,…,N (26)

步骤4所述显著性精细提取的方法包括以下步骤：

步骤4.1，传入单元；

将IFM的每个像素I_ij(x,y)作为PCNN的外界刺激输入F_ij，同时通过连接突触权重W，将I_ij(x,y)与其3×3范围内8个邻域连接起来形成一个局部刺激L_ij；权重W的值由中心像素点到其8邻域边界像素的距离决定；

步骤4.2，连接调制单元；

连接调制单元的主要作用是将外界刺激主输入F_ij和局部刺激连接输入L_ij调制耦合，表示如下：

U_ij[n]＝F_ij[n]{1+βL_ij[n]} (27)

其中，U_ij为神经元内部活动项；β是突触之间的连接强度系数，其取值越大，则8邻域的神经元对其中心神经元的影响越大；

步骤4.3，点火脉冲单元；

人的视觉注意点会随着场景的改变而随时改变；为了准确模拟这一过程，对传统PCNN点火脉冲单元进行改进；具体实现步骤如下：

(1)取OSM最大的非零灰度值的75％像素点，将它们的值设置为1即白色，界定出最大范围的显著性区域，其它值设置为0即黑色，界定为确定的背景区域；即获取OSM的二值图像OSM_C；

(2)将神经元内部活动项U_ij与OSM_C点乘，最终确定点火脉冲U_kl，表示如下：

U_kj＝U_ij*OSM_C (28)(3)由U_kl确定神经元的动态阈值Θ_ij，此过程表示如下：

Θ_ij[n]＝max[U_kl(x,y)]e^-α (29)

其中，α是传统PCNN动态阈值指数衰减系数；

(4)将U_kl的最大值与动态阈值Θ_ij作比较，确定全部应点火神经元的取值范围，产生时序脉冲序列Y_ij：

经多次迭代，完成最终二值化显著图提取；ISRE模型具有人眼视觉神经系统神经元抑制作用，即通过已点火的孤立神经元或极小区域神经元抑制掉远离显著性目标区域的噪点。