CN105719317A - 基于相机阵列合成孔径成像的遮挡背景估计方法 - Google Patents

Abstract

本发明公开了一种基于相机阵列合成孔径成像的遮挡背景估计方法，用于解决现有背景估计方法精度差的技术问题。技术方案是充分利用多视角信息，通过相机阵列合成孔径成像聚焦任意不同深度的能力，将聚焦平面移置背景平面，解决利用SIFT方法匹配时不同深度像素点对匹配结果的影响问题，最后利用Graph cuts结合像素标记方法，实现前景与遮挡像素点标记，进而去除遮挡。本发明通过相机阵列合成孔径成像聚焦任意不同深度，将聚焦平面移置背景平面；充分利用相机阵列多视角信息的优势，从不同视角的图像片段选取适当的像素值进行计算，实现了前景与遮挡像素点标记，能够去除遮挡，同时提高了背景估计的精度。

Description

基于相机阵列合成孔径成像的遮挡背景估计方法

技术领域

本发明涉及一种背景估计方法，特别是涉及一种基于相机阵列合成孔径成像的遮挡背景估计方法。

背景技术

文献“BackgroundEstimationUsingGraphCutsandInpainting，GraphicsInterfaceGI2008,p97–103，2010”公开了一种利用非时间序列的背景估计方法。该方法首先选定某一个相机视角作为参考视角，通过尺度不变的特征提取方法对各个视角获得的图像数据进行特征提取，然后依据特征提取结果，根据背景像素在各个视角中出现的频次最多这一假设，利用Graphcuts对背景像素值进行标记，获得背景估计结果。然而，该方法利用SIFT对不同视角相机拍摄结果进行特征提取，提取的特征并不能保证位于同一深度，因此将会影响该方法后续背景像素标记的精度，当提取特征位于不同深度时，该方法精度将大大降低。

发明内容

为了克服现有背景估计方法精度差的不足，本发明提供一种基于相机阵列合成孔径成像的遮挡背景估计方法。该方法充分利用多视角信息，通过相机阵列合成孔径成像聚焦任意不同深度的能力，将聚焦平面移置背景平面，解决利用SIFT方法匹配时不同深度像素点对匹配结果的影响问题，最后利用Graphcuts结合像素标记方法，实现前景与遮挡像素点标记，进而去除遮挡，提高背景估计精度。

本发明解决其技术问题所采用的技术方案是：一种基于相机阵列合成孔径成像的遮挡背景估计方法，其特点是包括以下步骤：

步骤一、定义相机C_r为具有N个相机的相机阵列的参考相机，π_r为参考平面，π_b表示背景深度为b的焦平面，其中b∈R.定义W_kr为相机阵列中不同视角图像投影至π_r的图像。应用公式(1)求得W_kr

W_kr＝H_k·g_k，(1)

式中，g_k表示相机C_k采集的图像序列中的一帧图像，H_k，k＝1，…，N.表示从g_k到参考相机C_r在平面π_r上的投影矩阵。当聚焦于背景平面π_b时，计算出该平面与参考相机C_r的相对深度d

d＝(b-r)·b.(2)

式中，r表示参考平面π_r的深度，π_b表示背景深度为b的焦平面，其中b∈R.

再应用公式(3)求得深度b处视差Δp

Δp＝ΔX·d.(3)

式中，ΔX表示相机间相对位置，深度范围表示为R＝[0，s]。

根据以上结果并应用公式(4)求得相机C_k投影至深度b的投影图像W_kb的像素。

W_kb(m)＝W_kr(m+Δp).(4)

式中，m为图像中任意像素。

步骤二、设L＝{1，…，k，…，N}为标签集，其中k对应相机C_k视角的投影图像。令f_m为像素m的标记，其中f_m∈L。将背景透视估计问题等同于标记问题并利用能量最小化来方法解决。寻找最优背景将通过计算最小代价的标记f_m获得。应用公式(5)定义能量函数

E(f)＝E_d+E_s.(5)

式中，E(f)为能量函数，E_d为数据项，E_s为平滑项。数据项包括稳定项和预测项，应用公式(6)定义数据项

E_d＝∑_m∈βD_m(f_m)，(6)

其中

$D_m\left(f_m\right)=D_m^s|\left(f_m\right)+D_m^p\left(f_m\right).---\left(7\right)$

D_m(f_m)包括和用来度量像素m分配标签f_m的代价。其中表示稳定项，表示预测项。

步骤三、稳定项基于色彩相似性应用公式(8)进行定义

$D_m^s\left(f_m\right)={\mathrm{\Σ}}_{k=1}^N\]|W_{f_{m}b}\left(m\right)-W_{kb}|\left(m\right)|.---\left(8\right)$

式中，表示相机投影至深度b的投影图像中的像素m。

判断像素m是否为稳定像素

$\mathrm{\&delta;}\left(m\right)=\{\begin{array}{cc}1& if|W_{kb}\left(m\right)-W_{rb}\left(m\right)|<t_H\&ForAll;k=1,\mathrm{...}N,k\&NotEqual;r\\ 0& otherwise\end{array},---\left(9\right)$

式中，是用来标识稳定区域的稳定性标记，表示该区域不会被遮挡。稳定区域由背景像素组成，这些像素非常相似且在该区域多次出现。另一方面，不稳定区域对应于N幅投影图像中具有遮挡和发生巨大变化的像素。若像素m属于稳定区域，则m被设置为W_rb(m)，否则m为0，表示其为不稳定像素。t_H表示一个阈值。

步骤四、基于不稳定像素对预测项应用公式(10)进行定义

其中

以及

$\left|\mathrm{\&Theta;}\right|=\{\begin{array}{cc}\left|\hat{W}\right|& \begin{array}{cc}if& thenumberofstablepixelsinside\hat{W}<50\%\end{array}\\ \left|W\right|& otherwise\end{array}.---\left(13\right)$

式中，W^γ(m)表示利用图像修补技术对像素m进行预测得到的像素值。表示用来估计预测像素值的采样像素集。表示以像素m为中心的窗口，用来检查不稳定像素，|Θ|为窗口大小。|m-m′|表示m和m′之间的距离。对于每一个像素m，当其被标记为不稳定时，则放置一个以m为中心，大小为的窗口。当稳定像素的数量小于窗口中像素数量的50％，则该窗口需被设置为|W|。预测像素值由该窗口内所有稳定像素加权平均计算得到。

步骤五、基于色彩相似性使用欧几里得范数对平滑项进行计算，应用公式(14)进行定义，

E_s＝∑_m，n∈WW_m，n(f_m，f_m)，(14)

其中

$V_{m,n}(f_m,f_m)=\frac{|W_{f_m}\left(m\right)-W_{f_n}\left(n\right){|}_2+|W_{f_n}\left(m\right)-W_{f_n}\left(n\right){|}_2}{2}.---\left(15\right)$

式中，m，n是临近像素，若与匹配度较高，则平滑项小；反之，平滑项大。

步骤六、使用图割方法对能量函数进行优化，最终获得一个清晰背景的透视区域。

本发明的有益效果是：该方法充分利用多视角信息，通过相机阵列合成孔径成像聚焦任意不同深度的能力，将聚焦平面移置背景平面，解决利用SIFT方法匹配时不同深度像素点对匹配结果的影响问题，最后利用Graphcuts结合像素标记方法，实现前景与遮挡像素点标记，进而去除遮挡。本发明通过相机阵列合成孔径成像聚焦任意不同深度，将聚焦平面移置背景平面；充分利用相机阵列多视角信息的优势，从不同视角的图像片段选取适当的像素值进行计算，实现了前景与遮挡像素点标记，能够去除遮挡，同时提高了背景估计的精度。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于相机阵列合成孔径成像的遮挡背景估计方法具体步骤如下：

非聚焦区域的估计方法为利用相机阵列从不同视角同时捕获的信息来重建背景，通过图像片段从不同视角选取适当的像素值。

1、投影图像至背景深度。

设N为相机阵列在某一时刻或时间间隔内采集的图像个数，定义相机C_r为参考相机，π_r为参考平面。W_kr为相机阵列中不同视角图像投影至π_r的图像。W_kr可应用公式(1)得到：

W_kr＝H_k·g_k，(1)

其中，g_k表示相机C_k采集的图像序列中的一帧图像，H_k，k＝1，…，N.表示从g_k到参考相机C_r在平面π_r上的投影矩阵。令ΔX表示相机间相对位置，深度范围表示为R＝[0，s].π_b表示背景深度为b的焦平面，其中b∈R.当聚焦于背景平面π_b时，该平面与参考相机的相对深度d可应用公式(2)求得

d＝(b-r)·b.(2)

式中，r表示参考平面π_r的深度。

应用公式(3)可得深度b处的视差Δp

Δp＝ΔX·d.(3)

根据以上结果并应用公式(4)将所有不同视角采集的N幅图像聚焦至背景深度b的平面P_b。

W_kb(m)＝W_kr(m+Δp).(4)

其中W_kb为相机C_k投影至深度b的投影图像。

2、定义能量函数

设L＝{1，…，k，…，N}为标签集，其中k对应相机C_k视角的投影图像。令f_m为像素m的标记，其中f_m∈L。可将非聚焦区域的估计问题等同于标记问题并利用能量最小化来方法解决。寻找最优背景将通过计算最小代价的标记f_m获得。能量函数公式包含一个数据项和一个平滑项，并通过图割进行优化，应用公式(5)进行定义

E(f)＝E_d+E_s.(5)

其中

E_d＝∑_m∈βD_m(f_m)，(6)

以及

式中，E(f)为能量函数，E_d为数据项，E_s为平滑项。D_m(f_m)包括和用来度量像素m分配标签f_m的代价。表示稳定项，表示预测项。

3、计算数据项中的稳定项

在变换后的图像W_kb，k＝1...N中，背景像素会比其它区域像素出现次数更多，因此稳定项可利用色彩相似性进行定义，应用公式(8)计算。

$D_m^s\left(f_m\right)={\mathrm{\&Sigma;}}_{k=1}^N|W_{f_{m}b}\left(m\right)-W_{kb}\left(m\right)|.---\left(8\right)$

其中，表示相机投影至深度b的投影图像中的像素m。

使用公式(9)判断像素m是否为稳定像素，

式中，是用来标识稳定区域的稳定性标记，表示该区域不会被遮挡。稳定区域由背景像素组成，这些像素非常相似且在该区域多次出现。另一方面，不稳定区域对应于N幅投影图像中具有遮挡和发生巨大变化的像素。若像素m属于稳定区域，则m被设置为W_rb(m)，否则m为0，表示其为不稳定像素。t_H表示一个阈值，若W_rb(m)＝0，将其值设置为15，若为其他情况，将其值设置为W_rb(m)×0.2。

4、计算数据项中的不稳定项

基于不稳定像素应用公式(10)对预测项进行定义：

其中

以及

$\left|\mathrm{\&Theta;}\right|=\{\begin{array}{cc}\left|\hat{W}\right|& \begin{array}{cc}if& thenumberofstablepixelsinside\hat{W}<50\%\end{array}\\ \left|W\right|& otherwise\end{array}.---\left(13\right)$

式中，W^γ(m)表示利用图像修补技术对像素m进行预测得到的像素值。表示用来估计预测像素值的采样像素集。表示以像素m为中心的窗口，用来检查不稳定像素，|Θ|为窗口大小，其取值为100×100像素的默认窗口尺寸或选择参考图像尺寸|W|。|m-m′|表示m和m′之间的距离。对于每一个像素m，当其被标记为不稳定时，则放置一个以m为中心，大小为的窗口。当稳定像素的数量小于窗口中像素数量的50％，则该窗口需被设置为|W|。预测像素值由该窗口内所有稳定像素加权平均计算得到。

5、计算平滑项

在同一物体中，色彩相似的临近像素具有密切联系，反之亦然。因此平滑项可利用色彩相似性进行计算，使用欧几里得范数求得。应用公式(14)定义平滑项：

E_s＝∑_m，n∈WV_m，n(f_m，f_m)，(14)

其中

$V_{m,n}(f_m,f_m)=\frac{|W_{f_m}\left(m\right)-W_{f_n}\left(n\right){|}_2+|W_{f_n}\left(m\right)-W_{f_n}\left(n\right){|}_2}{2}.---\left(15\right)$

式中，m，n是临近像素，若与匹配度较高，则平滑项将会较小；反之，平滑项将会较大。

使用上述估计模型，可获得一个清晰的背景的透视区域。

Claims (1)

1.一种基于相机阵列合成孔径成像的遮挡背景估计方法，其特征在于包括以下步骤：

步骤一、定义相机C_r为具有N个相机的相机阵列的参考相机，π_r为参考平面，π_b表示背景深度为b的焦平面，其中b∈R.定义W_kr为相机阵列中不同视角图像投影至π_r的图像。应用公式(1)求得W_kr

W_kr＝H_k·g_k，(1)

式中，g_k表示相机C_k采集的图像序列中的一帧图像，H_k，k＝1，…，N.表示从g_k到参考相机C_r在平面π_r上的投影矩阵；当聚焦于背景平面π_b时，计算出该平面与参考相机C_r的相对深度d

d＝(b-r)·b.(2)

式中，r表示参考平面π_r的深度，π_b表示背景深度为b的焦平面，其中b∈R.

再应用公式(3)求得深度b处的视差Δp

Δp＝ΔX·d.(3)

式中，ΔX表示相机间相对位置，深度范围表示为R＝[0，s]。

根据以上结果并应用公式(4)求得相机C_k投影至深度b的投影图像W_kb的像素；

W_kb(m)＝W_kr(m+Δp).(4)

式中，m为图像中任意像素；

步骤二、设L＝{1，…，k，…，N}为标签集，其中k对应相机C_k视角的投影图像；令f_m为像素m的标记，其中f_m∈L；将背景透视估计问题等同于标记问题并利用能量最小化来方法解决；寻找最优背景将通过计算最小代价的标记f_m获得；应用公式(5)定义能量函数

E(f)＝E_d+E_s.(5)

式中，E(f)为能量函数，E_d为数据项，E_s为平滑项；数据项包括稳定项和预测项，应用公式(6)定义数据项

E_d＝Σ_m∈βD_m(f_m)，(6)

其中

$D_m\left(f_m\right)=D_m^s\left(f_m\right)+D_m^p\left(f_m\right).---\left(7\right)$

D_m(f_m)包括和用来度量像素m分配标签f_m的代价；其中表示稳定项，表示预测项；

步骤三、稳定项基于色彩相似性应用公式(8)进行定义

$D_m^s\left(f_m\right)={\mathrm{\&Sigma;}}_{k=1}^N|W_{f_{m}b}\left(m\right)-W_{kb}\left(m\right)|.---\left(8\right)$

式中，表示相机投影至深度b的投影图像中的像素m；

判断像素m是否为稳定像素

$\widetilde{\mathrm{\&delta;}}\left(m\right)=\left\{\begin{array}{ccc}1& if|W_{kb}\left(m\right)-W_{rb}\left(m\right)|<t_H& \&ForAll;k=1,...N,k\&NotEqual;r\\ 0& & otherwise\end{array}\right.,---\left(9\right)$

式中，是用来标识稳定区域的稳定性标记，表示该区域不会被遮挡；稳定区域由背景像素组成，这些像素非常相似且在该区域多次出现；另一方面，不稳定区域对应于N幅投影图像中具有遮挡和发生巨大变化的像素；若像素m属于稳定区域，则m被设置为W_rb(m)，否则m为0，表示其为不稳定像素；t_H表示一个阈值；

步骤四、基于不稳定像素对预测项应用公式(10)进行定义

$D_m^p\left(f_m\right)=\left\{\begin{array}{ccc}0& if& \widetilde{\mathrm{\&delta;}}\left(m\right)>0\\ |W_{f_{m}b}\left(m\right)-W^{\mathrm{\&gamma;}}\left(m\right)|& if& \widetilde{\mathrm{\&delta;}}\left(m\right)=0\end{array}\right.,---\left(10\right)$

其中

$W^{\mathrm{\&gamma;}}\left(m\right)=\frac{{\mathrm{\&Sigma;}}_{m^{\&prime;}\&Element;\tilde{S}}{W}_{rb}\left(m^{\&prime;}\right)\&times;\widetilde{\mathrm{\&delta;}}\left(m^{\&prime;}\right)\&times;(1-\frac{|m-m^{\&prime;}|}{\left|\mathrm{\&Theta;}\right|})}{{\mathrm{\&Sigma;}}_{m^{\&prime;}\&Element;\tilde{S}}(1-\frac{|m-m^{\&prime;}|}{\left|\mathrm{\&Theta;}\right|})},---\left(11\right)$

以及

$\left|\mathrm{\&Theta;}\right|=\left\{\begin{array}{cc}\left|\hat{W}\right|& ifthenumberofstablepixelsinside\hat{W}<50\%\\ \left|W\right|& otherwise\end{array}\right..---\left(13\right)$

式中，W^γ(m)表示利用图像修补技术对像素m进行预测得到的像素值；表示用来估计预测像素值的采样像素集；表示以像素m为中心的窗口，用来检查不稳定像素，|Θ|为窗口大小；|m-m′|表示m和m′之间的距离；对于每一个像素m，当其被标记为不稳定时，则放置一个以m为中心，大小为的窗口；当稳定像素的数量小于窗口中像素数量的50％，则该窗口需被设置为|W|；预测像素值由该窗口内所有稳定像素加权平均计算得到；

步骤五、基于色彩相似性使用欧几里得范数对平滑项进行计算，应用公式(14)进行定义，

E_s＝Σ_m，n∈WV_m，n(f_m，f_m)，(14)

其中

$V_{m,n}(f_m,f_m)=\frac{\left|\right|W_{f_m}\left(m\right)-W_{f_n}\left(n\right)|{|}_2+||W_{f_n}\left(m\right)-W_{f_n}\left(n\right)|{|}_2}{2}.---\left(15\right)$

式中，m，n是临近像素，若与匹配度较高，则平滑项小；反之，平滑项大；

步骤六、使用图割方法对能量函数进行优化，最终获得一个清晰背景的透视区域。