CN111881925B - 一种基于相机阵列选择性光场重聚焦的显著性检测方法 - Google Patents

Abstract

一种基于相机阵列选择性光场重聚焦的显著性检测方法属图像处理和计算机视觉技术领域，本发明利用同一场景的多幅视点图像，对中心视点图像进行可选择深度层的重聚焦，使其它深度层受到不同程度的模糊，然后利用重聚焦的结果，实现考虑场景的深度和聚焦信息的显著性检测；对于某些目标区域颜色和背景颜色相近或背景复杂以及场景包含多个显著性目标的情况，检测效果能得到有效改善；另外通过指定聚焦深度层，使场景中某些显著性区域以外值得关注的区域被检测出，包含多个显著性目标的场景中位于指定深度层的目标被更精细地被检测出，能实现可选择的显著性检测。

Description

一种基于相机阵列选择性光场重聚焦的显著性检测方法

技术领域

本发明涉及图像处理和光场成像领域，具体涉及一种基于相机阵列选择性光场重聚焦的显著性检测方法。

背景技术

随着信息时代的高速发展，信息数据爆炸式增长，人们每天接触来自互联网的海量信息数据，然而这些海量数据中真正重要、有用的只是其中很小一部分。人们希望尽快在有限时间内有效地接收、处理和分析这些数据，从而获得真正感兴趣的内容。因此，信息提取、数据挖掘得到了广泛的关注，其中视觉显著性检测和提取就是主要的技术手段，通过计算机模拟灵长目动物的视觉选择注意机制来选择重要信息，即模拟视觉选择注意机制，使观察者迅速识别出图像中包含重要视觉信息的显著性区域。

目前，国内外学者提出的显著性检测模型，多数都是基于普通相机获取的2D图像，只采用了图像的亮度、颜色及纹理等信息检测显著目标，并以这些二维信息存在明显差异为假设前提进行显著性检测模型建模。当显著目标的某些区域颜色和背景颜色相近或背景复杂，以及场景中包含多个显著目标时，这些基于2D图像的模型得到的显著图效果并不理想，检测出的目标不完整或者显著图的背景会被亮化，甚至会丢失某些显著性区域，难以得到完整目标和干净背景显著图。

发明内容

本发明的目的在于提供一种基于相机阵列选择性光场重聚焦的显著性检测方法，利用同一场景的多幅视点图像对中心视点图像进行可选择深度层的重聚焦，使其它深度层的物体受到不同程度的模糊，然后利用重聚焦的结果实现考虑场景的深度、聚焦等信息的可选择的显著性检测。

本发明的基于相机阵列选择性光场重聚焦的显著性检测方法，包括下列步骤：

1.1获取视点图像数据集，选择Stanford光场数据集，其中每个场景提供289(17×17)个视点图像，图像分辨率为1400×800；和4D光场数据集，其中每个场景提供81(9×9)个视点图像，图像分辨率为512×512；

1.2视差估计，采用RGDP(Reliability Guided Disparity Propagation)算法对相机阵列进行视差估计，得到视差图，用于后续bokeh渲染；

1.3超分辨率重建，由于摄像机阵列捕获的子图像会受到由视差引起的剪切位移，由光学畸变引起的模糊和由低分辨率图像传感器引起的下采样的影响，考虑到这些因素，建立摄像机阵列的退化模型：

y_k＝DHF_i,kx+n_k (1)

其中：y_k表示第k个相机捕获的子图像；x表示高分辨率图像；n_k表示间域附加噪声；D、H和F_i,k分别表示下采样、光学模糊和位移(取决于深度i和视点k)；超分辨率重建主要是估计x以适应退化模型，即最小化下列方程：

其中：第一项

表示观测值与理想高分辨率图像间的距；w_b是基于深度和空间变化的权重向量；⊙表示数量积运算符；J_b(x)为bokeh正则化项；J_BTV(x)为双边总变异BTV正则化项；λ_b和λ_BTV为正则化系数；J_b(x)可表示为：

其中：x_b为bokeh图像，由bokeh渲染生成。使用梯度下降法逼近最优解，步长和迭代次数均可设置。

1.4bokeh渲染，采用基于深度的各向异性滤波器对未聚焦区域进行渲染，通过调节其中参数可实现对场景中某一深度层进行聚焦，而对其他深度层产生不同程度的模糊；

假设p点没有被聚焦，其对应的混叠圆半径r为：

其中：γ_f和γ_p分别表示焦距深度和p点深度；f表示焦距；F为透镜的F数；深度γ可表示为γ＝fB/d，其中B为基线长度，d为视差；那么公式(4)可表示为：

在bokeh渲染过程中f、F、B和d_f是固定不变的，那么p点的混叠圆半径r与p点和焦点之间的绝对视差成正比；将K＝f/2F(B-d_f)作为bokeh渲染的强度，代表整体的bokeh程度，同时反映场景深度，K越大表示bokeh程度越强，景深越小；

假设Q点周围存在多个以P_i为中心的混叠圆，由于混叠圆中强度是均匀分布的，那么计算P_i对Q的贡献可通过

其中：I_Pi为P_i点bokeh渲染前的强度；r_Pi为以P_i为中心的混叠圆的半径；

为P_i与Q之间的距离；那么Q点强度可表示为：

其中：

表示Q点周围点的集合；r_max是图像中混叠圆半径的最大值；由于Ω_Q中的某些点可能对Q点没有作用，所以将权值

定义为：

各向异性滤波器基于公式(6)、(7)，使用双三次插值渲染中心视点图像生成bokehimage x_b；

另外还需要对步骤1.3中公式(2)、(3)中的w_b进行计算，一幅图像的模糊程度由混叠圆半径决定，那么可通过以下两个步骤计算w_b：

第一步：通过η_P＝(r_P-r_min)/(r_max-r_min)将半径归一化至[0,1],r_min为图像中混叠圆半径的最小值；

第二步：将η_P分为focus和bokeh两部分，使用sigmoid函数将η_P转化为w_P：

w_P＝1/(1+exp{-a(η_P-b)}) (8)

其中：a为衰减因子；b为阈值；遍历所有像素点，重排序w_P得到向量w_b；

1.5显著性检测，上述步骤能够对场景中某一选定的深度层进行聚焦，而对其他部分产生不同程度的模糊，在此基础上进行基于图显著性检测，将得到更佳精细的显著图。首先，对重聚焦后的图像进行超像素分割，采用SLIC(Simple Iterative Clustering)算法，该算法算法计算速度快，能生成紧凑且近似均匀的超像素。然后，构建图模型G＝(V,E)，其中V＝{v₁,...,v_n}为超像素点集，E＝E₁∪E₂∪E₃为边集，对其增加以三条规则：

其中：

表示v_i的直接空间邻居；B表示图像边缘处边框节点的集合；

表示v_i在Lab Color Space的分簇，由APC算法计算而来；那么规则1连接了v_i和其几何邻居以及邻居的邻居，规则2连接边界节点，规则3连接了v_i和与其颜色相似的节点；定义边权值矩阵W＝(w_ij)_n×n表示图节点相似度，图节点v_i与v_j之间的权值项定义为：

其中：δ为控制权重强度的一个常数，第一项||c_i-c_j||表示v_i与v_j在Lab ColorSpace的欧式距离，第二项||sin(π|d_i-d_j|)||表示在正弦空间下计算的几何距离；接着分两个阶段生成并细化显著图，首先采用DSMR算法进行基于变形平滑的标签传播，DSMR算法的目标是计算一个排序向量f＝(f_i)_n关于表示向量z＝(z_i)_n，如果v_i是种子节点，则z_i＝1，否则z_i＝0，可通过下式来计算：

其中：度矩阵

式(11)中第一项

为变形平滑约束，其中结合了标准平滑和局部平滑约束，表明相邻两节点的排序值不应该变化太大，μ₂用于平衡两个光滑约束的权重，第二项R(f)＝(f-D^-1z)^TD(f-D^-1z)为标签适应度约束，保证种子节点的排序值与其初始值相差不大，μ₁用于平衡变形平滑约束S^D(f)和标签适应度约束R(f)；令式(11)导数为0可得f＝(f_i)_n的最优解：

其中：α＝1/(1+μ₁)；β＝μ₂/(1+μ₁)；分别将上边界节点、下边界节点、左边界节点、右边界节点作为种子节点得到四个排序向量结果f(T)，f(V)，f(L),f(R),将四个传播结果结合起来生成粗图

其中：

是f归一化至[0,1]区间的向量；

虽然M^c中大部分显著性区域已被高亮，但仍受到来自背景噪声的影响；第二阶段，对上一阶段得到的显著图进行细化；首先，采用边界盒生成包含目标区域排除背景区域的目标图

其中：R_j为边界框Ω_j的分数；δ是指示函数表示v_i是否在边框内；B为边界盒生成的边框数量；结合M^c和M^o细化模型，细化结果g通过求解下式而来：

其中：

表示对角矩阵；D^c、v^c分别是M^c的度矩阵和体积；

为在M^c上计算的新权值矩阵：

式(15)中：第一项

为变形平滑约束，保证显著性值连续，第二项||g-M^c||²为标签适应度约束，保证细化的结果g与粗图M^c相差不大，第三项g^TD^og是通过M^o构建的正则化约束，抑制不属于目标的背景区域，增强可能属于目标的区域；令式(14)导数为0得最优解g：

将最优解g归一化至[0,1]区间，赋值给对应的超像素，生成精细显著图M^r，即为最终可选择性的显著性检测的结果。

本发明在相机阵列选择性光场重聚焦的基础上进行显著性检测，相较于传统的显著性检测方法考虑了场景的深度和聚焦信息，对于某些区域颜色和背景颜色相近或背景复杂以及场景包含多个显著性目标的情况，检测结果得以改善。另外可以通过调整聚焦深度层，使场景中某些显著性区域以外值得关注的区域被检测出，包含多个显著性目标的场景中位于指定深度层的目标被更精细地被检测出，实现可选择的显著性检测。

附图说明

图1为基于相机阵列选择性光场重聚焦的显著性检测方法的流程图

具体实施方式

下面结合附图对本发明的目的、具体技术方法和效果进行描述。

1.一种基于相机阵列选择性光场重聚焦的显著性检测方法，包括下列步骤：

1.1获取视点图像数据集，选择Stanford光场数据集和4D光场数据集；

1.2视差估计，采用RGDP算法对相机阵列进行视差估计，得到视差图；

1.3超分辨率重建，建立摄像机阵列的退化模型：

y_k＝DHF_i,kx+n_k (1)

其中：y_k表示第k个相机捕获的子图像；x表示高分辨率图像；n_k表示间域附加噪声；D、H和F_i,k分别表示下采样、光学模糊和位移；超分辨率重建主要是估计x以适应退化模型，即最小化下列方程：

其中：第一项

表示观测值与理想高分辨率图像间的距离；w_b是基于深度和空间变化的权重向量；⊙表示数量积运算符；J_b(x)为bokeh正则化项；J_BTV(x)为双边总变异BTV正则化项；λ_b和λ_BTV为正则化系数；J_b(x)可表示为：

其中：x_b为bokeh图像，由bokeh渲染生成；使用梯度下降法逼近最优解，步长和迭代次数均可设置；

1.4bokeh渲染，采用基于深度的各向异性滤波器对未聚焦区域进行渲染，通过调节其中参数可实现对场景中某一深度层进行聚焦，而对其他深度层产生不同程度的模糊；

假设p点没有被聚焦，其对应的混叠圆半径r为：

其中：γ_f和γ_p分别表示焦距深度和p点深度；f表示焦距；F为透镜的F数；深度γ可表示为γ＝fB/d，其中B为基线长度，d为视差；那么公式(4)可表示为：

在bokeh渲染过程中f、F、B和d_f是固定不变的，那么p点的混叠圆半径r与p点和焦点之间的绝对视差成正比；将K＝f/2F(B-d_f)作为bokeh渲染的强度，代表整体的bokeh程度，同时反映场景深度，K越大表示bokeh程度越强，景深越小；

假设Q点周围存在多个以P_i为中心的混叠圆，由于混叠圆中强度是均匀分布的，那么计算P_i对Q的贡献可通过

其中：

为P_i点bokeh渲染前的强度；

为以P_i为中心的混叠圆的半径；

为P_i与Q之间的距离；那么Q点强度可表示为：

其中：

表示Q点周围点的集合；r_max是图像中混叠圆半径的最大值；由于Ω_Q中的某些点可能对Q点没有作用，所以将权值

定义为：

各向异性滤波器基于公式(6)、(7)，使用双三次插值渲染中心视点图像生成bokehimage x_b；

另外还需要对步骤1.3中公式(2)、(3)中的w_b进行计算，一幅图像的模糊程度由混叠圆半径决定，那么可通过以下两个步骤计算w_b：

第一步：通过η_P＝(r_P-r_min)/(r_max-r_min)将半径归一化至[0,1],r_min为图像中混叠圆半径的最小值；

第二步：将η_P分为focus和bokeh两部分，使用sigmoid函数将η_P转化为w_P：

w_P＝1/(1+exp{-a(η_P-b)}) (8)

其中：a为衰减因子；b为阈值；遍历所有像素点，重排序w_P得到向量w_b；

1.5显著性检测，首先采用SLIC算法对重聚焦后的图像进行超像素分割；然后，构建图模型G＝(V,E)，其中V＝{v₁,...,v_n}为超像素点集，E＝E₁∪E₂∪E₃为边集，对其增加以下三条规则：

其中：

表示v_i的直接空间邻居；B表示图像边缘处边框节点的集合；

表示v_i在Lab Color Space的分簇，由APC算法计算而来；那么规则1连接了v_i和其几何邻居以及邻居的邻居，规则2连接边界节点，规则3连接了v_i和与其颜色相似的节点；定义边权值矩阵W＝(w_ij)_n×n表示图节点相似度，图节点v_i与v_j之间的权值项定义为：

其中：δ为控制权重强度的一个常数，第一项||c_i-c_j||表示v_i与v_j在Lab ColorSpace的欧式距离，第二项||sin(π|d_i-d_j|)||表示在正弦空间下计算的几何距离；

接着分两个阶段生成并细化显著图，首先采用DSMR算法进行基于变形平滑的标签传播，DSMR算法的目标是计算一个排序向量f＝(f_i)_n关于表示向量z＝(z_i)_n，如果v_i是种子节点，则z_i＝1，否则z_i＝0，可通过下式来计算：

其中：度矩阵

式(11)中第一项

为变形平滑约束，其中结合了标准平滑和局部平滑约束，表明相邻两节点的排序值不应该变化太大，μ₂用于平衡两个光滑约束的权重，第二项R(f)＝(f-D^-1z)^TD(f-D^-1z)为标签适应度约束，保证种子节点的排序值与其初始值相差不大，μ₁用于平衡变形平滑约束S^D(f)和标签适应度约束R(f)；令式(11)导数为0可得f＝(f_i)_n的最优解：

其中：α＝1/(1+μ₁)；β＝μ₂/(1+μ₁)；分别将上边界节点、下边界节点、左边界节点、右边界节点作为种子节点得到四个排序向量结果f(T)，f(V)，f(L),f(R),将四个传播结果结合起来生成粗图

其中：

是f归一化至[0,1]区间的向量；

虽然M^c中大部分显著性区域已被高亮，但仍受到来自背景噪声的影响；第二阶段，对上一阶段得到的显著图进行细化；首先，采用边界盒生成包含目标区域排除背景区域的目标图

其中：R_j为边界框Ω_j的分数；δ是指示函数表示v_i是否在边框内；B为边界盒生成的边框数量；结合M^c和M^o细化模型，细化结果g通过求解下式而来：

其中：

表示对角矩阵；D^c、v^c分别是M^c的度矩阵和体积；

为在M^c上计算的新权值矩阵：

式(15)中：第一项

为变形平滑约束，保证显著性值连续，第二项||g-M^c||²为标签适应度约束，保证细化的结果g与粗图M^c相差不大，第三项g^TD^og是通过M^o构建的正则化约束，抑制不属于目标的背景区域，增强可能属于目标的区域；令式(14)导数为0得最优解g：

将最优解g归一化至[0,1]区间，赋值给对应的超像素，生成精细显著图M^r，即为最终可选择性的显著性检测的结果。

Claims (1)

1.一种基于相机阵列选择性光场重聚焦的显著性检测方法，其特征在于包括下列步骤：

1.1获取视点图像数据集，选择Stanford光场数据集和4D光场数据集；

1.2视差估计，采用RGDP算法对相机阵列进行视差估计，得到视差图；

1.3超分辨率重建，建立摄像机阵列的退化模型：

y_k＝DHF_i,kx+n_k (1)

其中：y_k表示第k个相机捕获的子图像；x表示高分辨率图像；n_k表示间域附加噪声；D、H和F_i,k分别表示下采样、光学模糊和位移；超分辨率重建主要是估计x以适应退化模型，即最小化下列方程：

其中：第一项

表示观测值与理想高分辨率图像间的距离；w_b是基于深度和空间变化的权重向量；⊙表示数量积运算符；J_b(x)为bokeh正则化项；J_BTV(x)为双边总变异BTV正则化项；λ_b和λ_BTV为正则化系数；J_b(x)可表示为：

其中：x_b为bokeh图像，由bokeh渲染生成；使用梯度下降法逼近最优解，步长和迭代次数均可设置；

1.4bokeh渲染，采用基于深度的各向异性滤波器对未聚焦区域进行渲染，通过调节其中参数可实现对场景中某一深度层进行聚焦，而对其他深度层产生不同程度的模糊；

假设p点没有被聚焦，其对应的混叠圆半径r为：

其中：γ_f和γ_p分别表示焦距深度和p点深度；f表示焦距；F为透镜的F数；深度γ可表示为γ＝fB/d，其中B为基线长度，d为视差；那么公式(4)可表示为：

在bokeh渲染过程中f、F、B和d_f是固定不变的，那么p点的混叠圆半径r与p点和焦点之间的绝对视差成正比；将K＝f/2F(B-d_f)作为bokeh渲染的强度，代表整体的bokeh程度，同时反映场景深度，K越大表示bokeh程度越强，景深越小；

假设Q点周围存在多个以P_i为中心的混叠圆，由于混叠圆中强度是均匀分布的，那么计算P_i对Q的贡献可通过

其中

为P_i点bokeh渲染前的强度；

为以P_i为中心的混叠圆的半径；

为P_i与Q之间的距离；那么Q点强度可表示为：

其中：

表示Q点周围点的集合；r_max是图像中混叠圆半径的最大值；由于Ω_Q中的某些点可能对Q点没有作用，所以将权值

定义为：

各向异性滤波器基于公式(6)、(7)，使用双三次插值渲染中心视点图像生成bokehimage x_b；

另外还需要对步骤1.3中公式(2)、(3)中的w_b进行计算，一幅图像的模糊程度由混叠圆半径决定，那么可通过以下两个步骤计算w_b：

第一步：通过η_P＝(r_P-r_min)/(r_max-r_min)将半径归一化至[0,1],r_min为图像中混叠圆半径的最小值；

第二步：将η_P分为focus和bokeh两部分，使用sigmoid函数将η_P转化为w_P：

w_P＝1/(1+exp{-a(η_P-b)}) (8)

其中：a为衰减因子；b为阈值；遍历所有像素点，重排序w_P得到向量w_b；

1.5显著性检测，首先采用SLIC算法对重聚焦后的图像进行超像素分割；然后，构建图模型G＝(V,E)，其中V＝{v₁,...,v_n}为超像素点集，

为边集，对其增加以下三条规则：

其中：

表示v_i的直接空间邻居；B表示图像边缘处边框节点的集合；

表示v_i在LabColor Space的分簇，由APC算法计算而来；那么规则1连接了v_i和其几何邻居以及邻居的邻居，规则2连接边界节点，规则3连接了v_i和与其颜色相似的节点；定义边权值矩阵W＝(w_ij)_n×n表示图节点相似度，图节点v_i与v_j之间的权值项定义为：

其中：δ为控制权重强度的一个常数，第一项||c_i-c_j||表示v_i与v_j在Lab Color Space的欧式距离，第二项||sin(π|d_i-d_j|)||表示在正弦空间下计算的几何距离；

接着分两个阶段生成并细化显著图，首先采用DSMR算法进行基于变形平滑的标签传播，DSMR算法的目标是关于表示向量z＝(z_i)_n计算一个排序向量f＝(f_i)_n，如果v_i是种子节点，则z_i＝1，否则z_i＝0，可通过下式来计算：

其中：度矩阵

式(11)中第一项

为变形平滑约束，其中结合了标准平滑和局部平滑约束，表明相邻两节点的排序值不应该变化太大，μ₂用于平衡两个光滑约束的权重，第二项R(f)＝(f-D^-1z)^TD(f-D^-1z)为标签适应度约束，保证种子节点的排序值与其初始值相差不大，μ₁用于平衡变形平滑约束S^D(f)和标签适应度约束R(f)；令式(11)导数为0可得f＝(f_i)_n的最优解：

其中：α＝1/(1+μ₁)；β＝μ₂/(1+μ₁)；分别将上边界节点、下边界节点、左边界节点、右边界节点作为种子节点得到四个排序向量结果f(T)，f(V)，f(L),f(R),将四个传播结果结合起来生成粗图

其中：

是f归一化至[0,1]区间的向量；

虽然M^c中大部分显著性区域已被高亮，但仍受到来自背景噪声的影响；第二阶段，对上一阶段得到的显著图进行细化；首先，采用边界盒生成包含目标区域排除背景区域的目标图

其中：R_j为边界框Ω_j的分数；δ是指示函数，表示v_i是否在边框内；B为边界盒生成的边框数量；结合M^c和M^o细化模型，细化结果g通过求解下式而来：

其中：

表示对角矩阵；D^c、v^c分别是M^c的度矩阵和体积；

为在M^c上计算的新权值矩阵：

式(15)中：第一项

为变形平滑约束，保证显著性值连续，第二项||g-M^c||²为标签适应度约束，保证细化的结果g与粗图M^c相差不大，第三项g^TD^og是通过M^o构建的正则化约束，抑制不属于目标的背景区域，增强可能属于目标的区域；令式(14)导数为0得最优解g：

将最优解g归一化至[0,1]区间，赋值给对应的超像素，生成精细显著图M^r，即为最终可选择性的显著性检测的结果。

Images