CN103198475B - 基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法 - Google Patents

Abstract

本发明公开了一种基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法，用于解决现有的基于能量最小化像素标记合成孔径成像方法成像效果差的技术问题。技术方案是首先将场景分为多个可视层，利用迭代的方法，设计一个广泛的合成孔径优化框架，在自由深度下重建可见物体和被遮挡物体的表面，利用多层迭代能量最小化优化方式，在任意给定的深度范围内产生全聚焦图像。将本发明在Stanford数据库和UCSD数据库的数据进行测试，测试结果显示本发明方法得到了更清晰以及更接近现实的全聚焦成像。

Description

基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法

技术领域

本发明涉及一种全聚焦合成孔径透视成像方法，特别是涉及一种基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法。

背景技术

基于相机阵列透视成像是计算机视觉领域的一个重要研究课题，其在对隐藏目标成像、检测、识别和跟踪以及自由深度视点成像等方面具有广泛的应用。目前的合成孔径成像方法主要有：基于平面+视差的合成孔径成像方法与基于能量最小化的像素标记合成孔径成像方法。

文献“SyntheticApertureImagingusingPixelLabelingviaEnergyMinimization,PR,46(1):174-187,2013”公开了一种基于能量最小化像素标记合成孔径成像方法。与传统基于平面+视差的合成孔径成像方法不同，该方法将透视成像转化为类别标记问题，而非简单的将所有相机视角下的图像进行平均。该方法首先对每个相机视角下的像素利用能量最小化方法标记属于遮挡物的像素点，然后，在给定聚焦深度对没有被标记的像素进行平均，获得透视成像。虽然这种方法获得了对遮挡物的透视成像，但是却只能解决前景遮挡物的标记问题，无法实现在不同深度的多遮挡物分割和成像问题。此外，这种方法只能聚焦到场景中的特定深度而不是实现全聚焦，并且对缺乏纹理的成像效果较差。

发明内容

为了克服现有的基于能量最小化像素标记合成孔径成像方法成像效果差的不足，本发明提供一种基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法。该方法根据景物是否可见将场景分为多个可视层，首先利用迭代的方式，设计一个广泛的合成孔径优化框架，在自由深度下重建可见和被遮挡物体的表面，利用多层迭代能量最小化优化方式，在任意给定的深度范围内产生全聚焦图像。在Stanford数据库和UCSD数据库上的测试结果显示，本发明能够得到更清晰以及更接近现实的全聚焦成像。

本发明解决其技术问题所采用的技术方案是：一种基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法，其特点是包括以下步骤：

步骤一、初始化，将所有相机视角下的像素点标记为不可见，并利用合成孔径成像方法，生成任意深度的合成图像，以及对应的最大色差图（MaximumColorDifferenceImage，简称MCD图）；

步骤二、多层次可视化优化，即将MCD图作为数据项进行能量最小化优化，标记可视点和被遮挡的像素点。当前处理层l能够获取的信息包括0至(l-1)层的可视图和深度图，利用所获取的信息可以在所有相机成像中将遮挡物移除。本发明将当前层l的全部可见的像素估计问题转化为能量最小化问题，产生可视化能量函数，表示为：

E(V_l)=E_d(V_l)+E_s(V_l)(1)

其中E_d(V_l)表示数据项，E_s(V_l)表示平滑项。

对于数据项，本发明选择基于MCD的最优深度聚焦方法，并定义在参考相机下的每个像素x的数据损失E_d(V_l)为：

$E_d\left(V_l\right)=\underset{x\∈I_{\mathrm{ref}}}{\mathrm{\Σ}}(V_l\left(x\right)-(1-\underset{d\∈D}{\min }\left({\mathrm{MCD}}^d\left(x\right)\right)))---\left(2\right)$

其中D={d₁,d₂,d₃,…,d_m}，MCD^d(x)表示像素x在深度d处的聚焦度量值：

${\mathrm{MCD}}^d\left(x\right)=\underset{\∀i\≠j}{\max }\left(\right|I_i^d\left(x\right)-I_j^d\left(x\right)|\·B_i^l\left(x\right)\·B_j^l\left(x\right))---\left(3\right)$

$B_i^l\left(x\right)=\left\{\begin{array}{cc}0& \mathrm{if}{\mathrm{\Σ}}_{l_0=1}^{l-1}{V}_{l_0}^i\left(x\right)>0\\ 1& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

式中代表像素点x在聚焦深度为d的情况下经仿射变换后第i个相机成像中的像素值。是属于第i个相机的二值图，标记在该层之前的所有层中的可见像素点。是第i相机下的可见层l₀，并且能够轻松的从参考相机的层获得。如果x被前一层遮挡，则否则

在l层的平滑项E_s(D_l)是一种前置正则化。这种前置是指两个相邻接像素在同一时间属于同一目标的可能性很大，并且在参考相机中能够同时可视或者遮挡。采用标准的4邻接系统，并当相邻两个像素的标签不相同时进行惩罚：

$E_s\left(V_l\right)=\underset{q\∈N_p}{\underset{p\∈I_{\mathrm{ref}}}{\mathrm{\Σ}}}{S}_{p,q}(V_l\left(p\right),V_l\left(q\right))---\left(5\right)$

S_p,q(V_l(p),V_l(q))=min(τ_υ,β(p,q)·|V_l(p)-V_l(q)|)(6)

$\mathrm{\ρ}(p,q)=h\left(\right|\underset{d\∈D}{\min }\left({\mathrm{MCD}}^d\left(p\right)\right)-\underset{d\∈D}{\min }\left({\mathrm{MCD}}^d\left(q\right)\right)\left|\right)---\left(7\right)$

这里的τ_υ和β(p,q)表示对应平滑项的最大值和权值。h是递减权值函数，选择反比例函数作为h(.)。利用以上的数据项和平滑项，用GraphCut对能量函数进行最小化，获取可视层V_l；

步骤三、多层次深度图优化，即对于可视点进行最优聚焦深度估计，产生当前层下全部可见像素的深度图。根据步骤二中通过可视化优化获取的V_l，结合多层次优化来估计当前层全部可见的像素的最优深度。与可视化优化相同，本发明找到一种标签D_l:Ω_l→D，Ω_l={x:|V_l(x)=1|}代表在参考相机下全部可见的像素，D是该场景的深度序列。同样，实验中利用能量最小化结构去寻找标签：

E(D_l)=E_d(D_l)+E_s(D_l)(8)

对于数据项，采用与多层次可视化优化相同的处理方式，将MCD度量作为代价函数：

$E_d\left(D_l\right)=\underset{x\∈{\mathrm{\Ω}}_l}{\mathrm{\Σ}}{\mathrm{MCD}}^{D_l\left(x\right)}\left(x\right)---\left(9\right)$

第l层的平滑项E_s(D_l)是一种正则规则。同样采用4邻接系统，并当相邻两个像素的标签不相同时进行惩罚：

$E_s\left(D_l\right)=\underset{q\∈N_p}{\underset{p\∈{\mathrm{\Ω}}_l}{\mathrm{\Σ}}}{S}_{p,q}(D_l\left(p\right),D_l\left(q\right))---\left(10\right)$

S_p,q(D_l(p),D_l(q))=min(τ_υ,β(p,q)·|D_l(p)-D_l(q)|)(11)

τ_υ和β(p,q)表示对应平滑项的最大值和权值，利用获取的数据项和平滑项，采用GraphCut解决深度标签优化问题，得到当前可见层的深度图；

步骤四、将当前层l中不可见的点作为下一个可视层，根据当前层的像素点的标记信息，应用针孔相机成像模型原理，找到当前层的像素点在所有相机成像中的对应点，对其标记信息，得到所有相机成像中的像素标记信息，去除已标记为可见的像素点，得到只包含对当前层不可见的像素点的新的成像，由这些图像进行新的合成孔径成像，生成任意深度的合成图像，以及对应的MCD图；

步骤五、重复步骤二至四，直到没有被遮挡的点为止，获取所有可视层图像，将得到的可视层图像进行合并，得到全聚焦图像。

本发明的有益效果是：利用迭代的方式，设计一个广泛的合成孔径优化框架，在自由深度下重建可见和被遮挡物体的表面，采用多层迭代能量最小化优化方式，在任意给定的深度范围内产生全聚焦图像。在Stanford数据库和UCSD数据库上的测试结果显示，本发明较背景技术能够得到更清晰以及更接近现实的全聚焦成像。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

1、合成孔径成像及获取MCD图。

该部分包括三部分：相机参数的标定，包括内部参数和外部参数的标定；获取聚焦平面上任意一点的颜色信息和最大色差；生成合成图像和MCD图。

相机参数的标定：利用基于二维标定板的标定方法对相机阵列中的相机（本专利中采用105个相机）进行内部参数标定，而后利用获取的内部参数对相机的外部参数进行标定；

获取聚焦平面上任意一点的颜色信息和最大色差：对于给定的深度范围的每一虚拟聚焦平面（本专利采用640x515）上像素点，利用相机参数，寻找其在所有起作用的相机视角下的图像上的像素点坐标，提取各像素的颜色信息，进行相应的求均处理和求差操作，计算得到虚拟聚焦平面上像素点的像素值，并进一步获取其在所有起作用的相机中相应点的颜色方差值和最大色差值；

生成合成图像和MCD图：根据第二步获取的颜色值和最大色差值，生成合成图像和MCD图，并将所有相机视角下的像素点标记为不可见。

2、多层次可视化优化。

将MCD图作为数据项进行能量最小化优化，标记可视点和被遮挡的像素点。本算法根据景物是否对所有相机可见将场景分为多个可视层，采用迭代的方法对于场景中每一可视层进行可视化分析。对于当前处理层l，获取0至（l-1）层的可视图和深度图，根据所获取的信息能够在所有相机成像中将所有遮挡物移除。本发明将寻找当前层l中全部可见像素点的问题转化为能量最小化问题，产生可视化能量函数。由于实验中在多层中使用二值可视化图，对于一个特定层l∈{1,2，…,L}(本专利中L为2)，在该层之前的遮挡物将会被标记，并且能够很容易的从所有相机成像中移除。实验过程中将当前层的全部可见的像素估计问题转化为能量最小化问题，产生可视化能量函数，表示为：

E(V_l)=E_d(V_l)+E_s(V_l)(1)

其中E_d(V_l)表示数据项，E_s(V_l)表示平滑项。

对于数据项，通过将基于MCD的最优深度聚焦方法与其他方法进行对比，根据产生的分析曲线图，最终选择了基于MCD的最优深度聚焦方法，并定义在参考相机下的每个像素x的数据损失E_d(V_l)为：

$E_d\left(V_l\right)=\underset{x\∈I_{\mathrm{ref}}}{\mathrm{\Σ}}(V_l\left(x\right)-(1-\underset{d\∈D}{\min }\left({\mathrm{MCD}}^d\left(x\right)\right)))---\left(2\right)$

其中D={d₁,d₂,d₃,…,d_m}，MCD^d(x)表示像素x在深度d处的聚焦度量值：

${\mathrm{MCD}}^d\left(x\right)=\underset{\∀i\≠j}{\max }\left(\right|I_i^d\left(x\right)-I_j^d\left(x\right)|\·B_i^l\left(x\right)\·B_j^l\left(x\right))---\left(3\right)$

$B_i^l\left(x\right)=\left\{\begin{array}{cc}0& \mathrm{if}{\mathrm{\Σ}}_{l_0=1}^{l-1}{V}_{l_0}^i\left(x\right)>0\\ 1& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

式中，代表像素点x在聚焦深度为d的情况下经第i个相机变换后的图像中的像素值。是属于第i个相机的二值图，标记在该层之前的所有层中的可见像素点。是第i相机下的可见层l₀，并且能够轻松的从参考相机的层获得。如果x被前一层遮挡，则否则

在l层的平滑项E_s(D_l)是一种前置正则化，能够促使整体标签平滑。这种前置是指两个相邻接像素在同一时间属于同一目标的可能性很大，并且在参考相机中能够同时可视或者遮挡。采用标准的4邻接系统，并当相邻两个像素的标签不相同时进行惩罚：

$E_s\left(V_l\right)=\underset{q\∈N_p}{\underset{p\∈I_{\mathrm{ref}}}{\mathrm{\Σ}}}{S}_{p,q}(V_l\left(p\right),V_l\left(q\right))---\left(5\right)$

S_p,q(V_l(p),V_l(q))=min(τ_υ,β(p,q)·|V_l(p)-V_l(q)|)(6)

$\mathrm{\ρ}(p,q)=h\left(\right|\underset{d\∈D}{\min }\left({\mathrm{MCD}}^d\left(p\right)\right)-\underset{d\∈D}{\min }\left({\mathrm{MCD}}^d\left(q\right)\right)\left|\right)---\left(7\right)$

这里的τ_υ和β(p,q)表示对应平滑项的最大值和权值。h是递减权值函数，用来考虑相邻像素的MCD值的相似性。MCD值越相近，权值将越高，像素间的平滑限制将越强。

在实验中，参数的设置是根据经验得到，并选择反比例函数作为h(.)。利用以上的数据项和平滑项，用GraphCut对能量函数进行最小化，获取可视层V_l。

3、多层次深度图优化。

由于V_l已经通过可视化优化获得，则可以根据多层次优化来估计全部可见的像素的最优深度。与可视化优化相同，本发明找到一种标签D_l:Ω_l→D，Ω_l={x:|V_l(x)=1|}代表所有在参考相机下全部可见的像素，D是该场景的深度序列。同样，利用能量最小化结构去寻找标签：

E(D_l)=E_d(D_l)+E_s(D_l)(8)

数据项应该能够反映散焦情况以及能够在最优深度达到全局最小。根据与现有聚焦深度方法相比较，本发明依然采用MCD度量作为代价函数：

$E_d\left(D_l\right)=\underset{x\∈{\mathrm{\Ω}}_l}{\mathrm{\Σ}}{\mathrm{MCD}}^{D_l\left(x\right)}\left(x\right)---\left(9\right)$

第l层的平滑项E_s(D_l)是一种正则规则，用于使全部深度标签达到平滑。利用4邻接系统，并当相邻两个像素的标签不相同时进行惩罚：

$E_s\left(D_l\right)=\underset{q\∈N_p}{\underset{p\∈{\mathrm{\Ω}}_l}{\mathrm{\Σ}}}{S}_{p,q}(D_l\left(p\right),D_l\left(q\right))---\left(10\right)$

S_p,q(D_l(p),D_l(q))=min(τ_υ,β(p,q)·|D_l(p)-D_l(q)|)(11)

τ_υ和β(p,q)表示对应平滑项的最大值和权值，根据获取的数据项和平滑项，利用GraphCut解决深度标签优化问题，得到当前可见层的深度图。

4、获取下一可视层的合成图像和MCD图。

将当前层l中不可见的点作为下一个可视层，根据当前层的像素点的标记信息，应用针孔相机成像模型原理，找到当前层的像素点在所有相机成像中的对应点，对其标记信息，得到所有相机成像中的像素标记信息，去除已标记为可见的像素点，得到只包含对当前层不可见的像素点的新的成像，由这些图像进行新的合成孔径成像，生成任意深度的合成图像，以及对应的MCD图。

5、获取全聚焦图像。

重复进行多层次可视化优化、多层次深度优化以及根据标记信息获取下一可视层的合成图像和MCD图，直到没有被遮挡的点为止，得到所有可视层图像，将可视层图像进行合并，得到全聚焦图像。

Claims (1)

1.一种基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法，其特征在于包括以下步骤：

步骤一、将所有相机视角下的像素点标记为不可见，并利用合成孔径成像方法，生成任意深度的合成图像以及对应的最大色差图；

步骤二、将最大色差图作为数据项进行能量最小化优化，标记可视点和被遮挡的像素点；当前处理层l获取的信息包括0至(l-1)层的可视图和深度图，根据所获取的信息在所有相机成像中将遮挡物移除；将当前层l的全部可见的像素估计问题转化为能量最小化问题，产生可视化能量函数，表示为：

E(V_l)＝E_d(V_l)+E_s(V_l)(1)

式中，E_d(V_l)表示数据项，E_s(V_l)表示平滑项；

对于数据项，选择基于最大色差的最优深度聚焦方法，并定义在参考相机下的每个像素x数据损失E_d(V_l)为：

式中，D＝{d₁，d₂，…，d_m}，MCD^d(x)表示像素x在深度d处的聚焦度量值：

式中，代表像素点x在聚焦深度为d的情况下经仿射变换后第i个相机成像中的像素值；是属于第i个相机的二值图，标记在该层之前所有层可见的像素点；是第i相机下的可见层l₀，从参考相机的层获得，如果x被前一层遮挡，则否则

在l层的平滑项E_s(V_l)是一种前置正则化；这种前置是指两个相邻接像素在同一时间属于同一目标的可能性很大，并且在参考相机中能够同时可视或者遮挡；采用标准的4邻接系统，并当相邻两个像素的标签不相同时进行惩罚：

p(p，q)＝h(|min_d∈D(MCD^d(p))-min_d∈D(MCD^d(q))|)(7)

τ_v和β(p，q)表示对应平滑项的最大值和权值；I_ref表示在合成孔径成像过程中选择的参考相机视角；N_p表示与像素p相邻的像素集合；h是递减权值函数，选择反比例函数作为h()；利用以上的数据项和平滑项，用GraphCut对能量函数进行最小化，获取可视层V_l；

步骤三、对于可视点进行最优聚焦深度估计，产生当前层下全部可见像素的深度图；根据步骤二中通过可视化优化获取的V_l，结合多层次优化估计当前层全部可见的像素的最优深度；与可视化优化相同，采用标签D_l：Ω_l→D，Ω_l＝{x：|V_l(x)＝1|}代表在参考相机下全部可见的像素，D是相机拍摄场景的深度序列；同样，利用能量最小化结构寻找标签：

E(D_l)＝E_d(D_l)+E_s(D_l)(8)

其中，E_d(D_l)表示深度数据项，E_s(D_l)表示深度平滑项；对于深度数据项，采用与多层次可视化优化相同的处理方式，将最大色差度量作为代价函数：

第l层的平滑项E_s(D_l)是一种正则规则；同样采用4邻接系统，并当相邻两个像素的标签不相同时进行惩罚：

S_p，q(D_l(p)，D_l(q))＝min(τ_v，β(p，q)·|D_l(p)-D_l(q)|)(11)

τ_v和β(p，q)表示对应平滑项的最大值和权值，利用获取的数据项和平滑项，采用GraphCut解决深度标签优化问题，得到当前可见层的深度图；

步骤四、将当前层l中不可见的点作为下一个可视层，根据当前层的像素点的标记信息，利用针孔相机成像模型原理，找到当前层的像素点在所有相机成像中的对应点，对其标记信息，得到所有相机成像中的像素的标记信息，去除已标记为可见的像素点，得到只包含对当前层不可见的像素点的新的成像，由这些图像进行新的合成孔径成像，生成任意深度的合成图像，以及对应的最大色差图；

步骤五、重复步骤二至四，直到没有被遮挡的点为止，获取所有可视层图像，将得到的可视层图像进行合并，得到全聚焦图像。