CN108364308A - 一种基于跨图像置信传播的人工复眼相机深度估计方法 - Google Patents

Abstract

本发明公开了一种基于跨图像置信传播的人工复眼相机深度估计方法，包括以下步骤：人工复眼相机深度估计能量函数设计；能量函数优化；计算初始深度；初始深度图精细化；生成深度图；人工复眼图像融合；输出融合图像和深度图。本发明使人工复眼相机深度估计和重构效果更好，可用于人工复眼相机三维重建领域。

Description

一种基于跨图像置信传播的人工复眼相机深度估计方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于跨图像置信传播的人工复眼相机深度估计方法。

背景技术

视觉是大部分生物认识世界、感知世界的一个重要手段，昆虫复眼作为一种广泛存在的视觉系统，具有体积小、近距离清晰成像、视场大、对运动目标敏感等特点。虽然传统的单目相机已经能够获得高清的图像，但单目相机的体积以及焦距都很难进一步缩小。人工复眼相机作为一种新型的相机类型，通过模拟昆虫复眼成像原理，能在保持与单目相机相比拟的成像效果的同时具有更小的体积。因此人工复眼相机在大视场成像、三维重建、指纹系统等领域都具有广泛研究。其中如何从图像的二维信息中恢复环境中的第三维信息(即深度信息)是三维重建最重要的研究内容，目标深度的估计效果直接影响到三维重建的效果。

虽然目前已有大量的深度估计方法，但在人工复眼相机图像的应用中仍然存在许多问题。人工复眼相机由于其多个小视场角的低分辨率成像通道的特点，虽然相邻子眼图像间可以看作一对立体相机，但由于缺少有效的支撑信息，采用目前的全局或局部深度估计方法进行目标深度估计效果较差。因此，发明一种适用于人工复眼相机的深度估计方法具有十分重要的意义，有利于将人工复眼相机应用到实际环境中。

发明内容

本发明目的是针对一种人工复眼相机，提供一种基于跨图像置信传播的人工复眼深度估计方法，该方法根据所用人工复眼的结构特点，构建深度估计能量函数，并利用跨图像置信传播优化方法对能量函数进行优化，随后对获得的初始深度图进行精细化，完成人工复眼图像深度估计。

实现本发明目的的技术方案为：一种基于跨图像置信传播的人工复眼相机深度估计方法，包括步骤S1、获取人工复眼图像，人工复眼相机具有M×N个子眼，单次捕捉可获得M×N个图像I_v(x,y)，其中v表示子眼图像在相机中的位置；

S2、构建深度估计能量函数E_A：

S21、对任意子眼图像I_v(x,y)，按下式计算图像匹配代价D'_p(l_p)：

其中D'_p(l_p)表示像素p的视差为l_p时的匹配代价，如果像素p视差为l_p时对应像素存在，则δ_i(l_p)为1，否则δ_i(l_p)为0；ε是一个很小的常数以避免分母为0；N_v表示子眼图像I_v的最近4邻图像；表示子眼图像I_v与任意相邻图像I_i的匹配代价，具体计算方法为：

其中和分别表示截断光强度差异和截断梯度差异，计算方法为：

其中τ_I和τ_g分别表示光强度和梯度的截断值，I_i(p(l_p))和g_i(p(l_p))分别表示图像I_v中的像素p视差为l_p时在图像I_i中的对应像素的光强度和梯度；

S22、利用导向滤波器对匹配代价进行聚合，获得稳健的匹配代价D_p(l_p)，具体计算方法为：

其中k表示以像素p为中心的宽度为(2ζ+1)的方形窗内的像素点，ω_p,k是取决于I_v的权重函数，计算方法为：

其中st是以像素t为中心的宽度为(2ζ+1)的方形窗，|s|表示st内的像素数，ε₁是规则化参数，Σ_t和U分别是3×3的协方差和单位矩阵；

S23、按以下公式计算平滑项W(l_p,l_q)：

W(l_p,l_q)＝min{|l_p-l_q|,τ_d}，其中l_q表示像素p的相邻像素q的视差，τ_d为平滑项截断值；

S24、按以下公式计算分割先验代价Se(l_p,l_q)：

其中seg(p)表示像素p的分割块标签，λ_s表示相邻像素p和q属于不同分割块标签的代价；

S25、按下列公式构建深度估计能量函数EA(l)：

其中E_v(l)表示子眼图像I_v的能量函数，计算方法为：

S3、利用跨图像置信传播对能量函数进行优化：

S31、传播消息计算：表示子眼图像I_v的像素p在第t次迭代时传给相邻像素q的消息，计算方法为：

其中N(p)\q表示除q以外的p的领域像素；

S32、跨图像消息传播：根据人工复眼子眼间几何关系，按下式将相邻子眼对应像素的消息进行融合，

其中p’和q(l_q)分别表示p和q在相邻子眼图像I_i的对应像素，N_R表示子眼图像I_v的最近4邻域子眼；

S33、融合消息归一化：为了防止对应像素的消息差异太大，将融合后的消息按下式进行归一化，

S34、置信度计算和深度图估计：迭代计算步骤S31-S33T次，按下式计算任意像素q深度为l_q的置信度b_q(l_q)，

随后利用WTA即Winner-Takes-All方法估计q的深度l，

S4、深度图精细化：

S41、对子眼图像I_v的深度图l^v，利用一致性检验方法获得一致的深度图如果像素p的深度l_p与任意4邻域子眼图像的对应像素的深度差异大于1像素，则该点像素深度标记为无效的深度值，并将该点深度赋值为-1；否则该点深度为有效深度值，保留其原深度值；

S42、利用拉普拉斯抠图，即matting Laplacian方法对中的标记为无效深度值的像素点进行插值，获得优化后深度图，具体计算方法为：

假设优化后的深度图为d^v，则深度优化问题可以看成是最小化以下函数，

其中d和是d^v和的向量表达；O是对角矩阵，如果像素p为有效深度值，则O_pp为1，否则，则为0；λ_l是平衡第一项和第二项的权重；M是拉普拉斯抠图矩阵，其元素(p,q)为，

其中U₃是3×3单位矩阵；μ_g和∑_g表示在矩形窗θ_g的3×1的均值向量和3×3的协方差矩阵；|θ_g|表示θ_g的像素个数；是规则化参数；

因此d^v可以通过求解以下线性方程获得，

S5、根据每个子眼获取深度图，对图像进行重构，并对深度进行融合获得最后融合后的深度图和重构图像。

本发明与现有技术相比，其显著优点在于：能同时利用多个图像对目标深度进行估计，并且由于引入跨图像置信传播的方法，能够在深度估计的同时对子眼深度图进行一定的一致性检验，随后进一步利用一致性检验和图像插值方法精细化深度估计结果，能够解决人工复眼相机中子眼视场角小导致的深度估计不准确的问题。

附图说明

图1是本发明跨图像置信传播优化后的深度效果图。其中图1(a)是实验图像，图1(b)是未进行精细化的深度效果图，图1(c)是一致性检验结果图。

图2是本发明实例中所述基于跨图像置信传播的人工复眼深度估计方法的子眼深度实验效果图，其中图2(a)是代价滤波实验效果图，图2(b)是置信传播的实验效果图，图2(c)是本发明的实验效果图。

图3是本发明实例中所述基于跨图像置信传播的人工复眼深度估计方法的子眼深度融合后实验效果图，其中图3(a)是代价滤波的实验效果图，图3(b)是置信传播的实验效果图，图3(c)是本发明的实验效果图。

图4是本发明实例中所述基于跨图像置信传播的人工复眼深度估计方法的图像融合后实验效果图，其中1是代价滤波的实验效果图，2是置信传播的实验效果图，3是本发明的实验效果图。

具体实施方式

下面结合具体实施例对本发明作进一步详细描述。

一种基于跨图像置信传播的人工复眼深度估计方法，该方法根据所用人工复眼的结构特点，构建深度估计能量函数，并利用跨图像置信传播优化方法对能量函数进行优化，随后对获得的初始深度图进行精细化，完成人工复眼图像深度估计。本实施例以一种特定的人工复眼相机(电子簇眼，Electronic cluster eye)为实验对象，对目标深度信息进行估计。实例中所用电子簇眼成像通道数为17*13，由于失真影响，只采用其中心13*13个通道，本发明需采取如下步骤：

S1、利用电子簇眼采集图像，并提取电子簇眼的13*13个子眼图像I_v。提取图像包括图像大小和颜色通道等信息，每个子眼图像修正后分辨率为110*110像素。

S2、构建深度估计能量函数E_A。

首先计算匹配代价D'_p(l_p)，

其中ε＝0.0001，λ＝0.3，τ_I＝30/255，τ_g＝15/255；随后对匹配代价进行聚合，其中窗函数st大小为21*21，ε₁＝0.01；然后计算平滑项W(l_p,l_q)＝min{|l_p-l_q|,τ_d}，其中τ_d＝2.2；最后计算分割先验代价其中λ_s＝0.1。

S3、利用跨图像置信传播对能量函数进行优化。

首先初始化当t＝1时，然后计算第t次迭代时像素p传到q的消息量，接着将相邻子眼图像对应像素的消息传播到并将消息归一化其中迭代次数t为5次；最后获得每个像素不同深度的置信度并利用WTA(Winner-Takes-All)方法估计每个像素的深度l，得到每个子眼图像的深度图l^v。针对图1(a)所用测试图像，图1(b)是在本发明在5次迭代后输出的深度图。

S4、对每个子眼深度图进行精细化处理。

首先对深度图进行一致性检验，图1(c)是一致性检验结果图，其中黑色点表示无效深度的像素，白色点表示有效深度的像素，然后利用拉普拉斯抠图方法对无效深度的像素进行插值，其中λ_l＝0.001，获得每个子眼精细化后的深度图

S5、将每个子眼图I_v根据深度图进行融合，同时对深度图进行融合，获得融合后的图像I_tt和深度图d_tt。

S6、对实验结果与目前现有两种深度估计方法(置信传播方法和代价滤波方法)进行比较。

首先对每个子眼图I_v和深度图将其4邻域子眼图像根据深度图卷曲到I_v中获得卷曲图像I_warp，然后计算I_v和I_warp的平均绝对离差来判断深度图效果，

其中|Ω|表示I_v中像素个数。表1是本发明实施结果与现有两种深度估计方法的平均绝对离差结果，值越小效果越好。

表1平均绝对离差结果

本发明以一种人工复眼相机(电子簇眼)为实验对象，发明一种基于跨图像置信传播的人工复眼深度估计方法，获得复眼图像深度信息和重构图像。本发明能有效解决电子簇眼子眼视场角小导致现有深度估计技术出现误匹配的问题。由表1可以看出，本发明具有更好的效果。图2、图3、图4是本发明实施结果和利用现有置信传播方法和代价滤波方法对测试图像1的深度估计结果的定性比较。由图2的对比图可以看出，本发明估计的深度图具有更好的一致性效果，由图3和图4的对比图可以看出，利用本发明的深度图融合的深度图具有更好的效果，同时重构的图像具有更少的伪影。

Claims (1)

1.一种基于跨图像置信传播的人工复眼相机深度估计方法，其特征在于，包括步骤

S1、获取人工复眼图像，人工复眼相机具有M×N个子眼，单次捕捉可获得M×N个图像I_v(x,y)，其中v表示子眼图像在相机中的位置；

S2、构建深度估计能量函数E_A：

S21、对任意子眼图像I_v(x,y)，按下式计算图像匹配代价D'_p(l_p)：

其中D'_p(l_p)表示像素p的视差为l_p时的匹配代价，如果像素p视差为l_p时对应像素存在，则δ_i(l_p)为1，否则δ_i(l_p)为0；ε是一个很小的常数以避免分母为0；N_v表示子眼图像I_v的最近4邻图像；表示子眼图像I_v与任意相邻图像I_i的匹配代价，具体计算方法为：其中和分别表示截断光强度差异和截断梯度差异，计算方法为：

其中τ_I和τ_g分别表示光强度和梯度的截断值，I_i(p(l_p))和g_i(p(l_p))分别表示图像I_v中的像素p视差为l_p时在图像I_i中的对应像素的光强度和梯度；

S22、利用导向滤波器对匹配代价进行聚合，获得稳健的匹配代价D_p(l_p)，具体计算方法为：其中k表示以像素p为中心的宽度为(2ζ+1)的方形窗内的像素点，ω_p,k是取决于I_v的权重函数，计算方法为：

其中st是以像素t为中心的宽度为(2ζ+1)的方形窗，|s|表示st内的像素数，ε₁是规则化参数，Σ_t和U分别是3×3的协方差和单位矩阵；

S23、按以下公式计算平滑项W(l_p,l_q)：

W(l_p,l_q)＝min{|l_p-l_q|,τ_d}，其中l_q表示像素p的相邻像素q的视差，τ_d为平滑项截断值；

S24、按以下公式计算分割先验代价Se(l_p,l_q)：

其中seg(p)表示像素p的分割块标签，λ_s表示相邻像素p和q属于不同分割块标签的代价；

S25、按下列公式构建深度估计能量函数EA(l)：

其中E_v(l)表示子眼图像I_v的能量函数，计算方法为：

S3、利用跨图像置信传播对能量函数进行优化：

S31、传播消息计算：表示子眼图像I_v的像素p在第t次迭代时传给相邻像素q的消息，计算方法为：

其中N(p)\q表示除q以外的p的领域像素；

S32、跨图像消息传播：根据人工复眼子眼间几何关系，按下式将相邻子眼对应像素的消息进行融合，

其中p’和q(l_q)分别表示p和q在相邻子眼图像I_i的对应像素，N_R表示子眼图像I_v的最近4邻域子眼；

S33、融合消息归一化：为了防止对应像素的消息差异太大，将融合后的消息按下式进行归一化，

S34、置信度计算和深度图估计：迭代计算步骤S31-S33T次，按下式计算任意像素q深度为l_q的置信度b_q(l_q)，

随后利用WTA即Winner-Takes-All方法估计q的深度l，

S4、深度图精细化：

S41、对子眼图像I_v的深度图l^v，利用一致性检验方法获得一致的深度图如果像素p的深度l_p与任意4邻域子眼图像的对应像素的深度差异大于1像素，则该点像素深度标记为无效的深度值，并将该点深度赋值为-1；否则该点深度为有效深度值，保留其原深度值；

S42、利用拉普拉斯抠图，即matting Laplacian方法对中的标记为无效深度值的像素点进行插值，获得优化后深度图，具体计算方法为：

假设优化后的深度图为d^v，则深度优化问题可以看成是最小化以下函数，

其中d和是d^v和的向量表达；O是对角矩阵，如果像素p为有效深度值，则O_pp为1，否则，则为0；λ_l是平衡第一项和第二项的权重；M是拉普拉斯抠图矩阵，其元素(p,q)为，

其中U₃是3×3单位矩阵；μ_g和∑_g表示在矩形窗θ_g的3×1的均值向量和3×3的协方差矩阵；|θ_g|表示θ_g的像素个数；是规则化参数；

因此d^v可以通过求解以下线性方程获得，

S5、根据每个子眼获取深度图，对图像进行重构，并对深度进行融合获得最后融合后的深度图和重构图像。