CN105589072A - 基于双相机阵列的合成孔径目标多视角成像方法 - Google Patents

Abstract

本发明公开了一种基于双相机阵列的合成孔径目标多视角成像方法，用于解决现有目标成像方法成像精度低的技术问题。技术方案是采用前后对称的双面棋盘标定板，选定两相机阵列平面的交线作为所有聚焦平面簇的交线，利用Scheimpflug布局对双相机阵列进行标定，依据各相机投影在聚焦平面的方差对各个深度合成孔径图像进行统计，最终获得目标所在最优聚焦平面的成像结果。在充分利用多视角信息的基础上，不依赖于目标状态信息，解决多个相机阵列联动时合成孔径目标成像问题，即在一定的范围内，用双相机阵列的互信息共享，实现目标多视角成像，提高了目标间深度差距较小时成像的精度。

Description

基于双相机阵列的合成孔径目标多视角成像方法

技术领域

本发明涉及一种目标成像方法，特别是涉及一种基于双相机阵列的合成孔径目标多视角成像方法。

背景技术

文献“Anovelmulti-objectdetectionmethodincomplexsceneusingsyntheticapertureimaging，PatternRecognition，2012,p1637–1658，April2012”公开了一种基于单相机阵列的动目标成像方法。该方法首先选定某一个相机视角作为参考视角，通过基于混合高斯模型的背景差对各个视角获得的图像数据进行前景提取，然后将获得的各个前景概率图像通过平面加视差的方法投影到不同深度，并加和求均值。采用一个给定的阈值对合成后的前景概率图进行统计即可获得最终目标所在的深度，从而较好的解决了相机阵列合成孔径成像中动目标成像问题。然而，该方法仅适用于动态变化的目标成像，且当目标间深度差距较小时，这种方法将会失效。

发明内容

为了克服现有目标成像方法成像精度低的不足，本发明提供一种基于双相机阵列的合成孔径目标多视角成像方法。该方法采用前后对称的双面棋盘标定板，选定两相机阵列平面的交线作为所有聚焦平面簇的交线，利用Scheimpflug布局对双相机阵列进行标定，依据各相机投影在聚焦平面的方差对各个深度合成孔径图像进行统计，最终获得目标所在最优聚焦平面的成像结果。在充分利用多视角信息的基础上，不依赖于目标状态信息，解决多个相机阵列联动时合成孔径目标成像问题，即在一定的范围内，用双相机阵列的互信息共享，实现目标多视角成像，可以提高目标间深度差距较小时成像的精度。

本发明解决其技术问题所采用的技术方案是：一种基于双相机阵列的合成孔径目标多视角成像方法，其特点是包括以下步骤：

步骤一、采用前后对称的双面棋盘标定版，选定两相机阵列平面的交线作为所有聚焦平面簇的交线，利用Scheimpflug配置对双相机阵列进行标定。平面πr为选定的参考平面，k为两相机阵列平面的交线。利用双面黑白格对称标定板，分别在距平面πr不同角度且均相交于k的若干平面上对双相机阵列进行标定，获得相机间距离参数ΔX，应用公式(1)得到视差Δp

$\mathrm{\Δ}p=\mathrm{\Δ}X\·\frac{\mathrm{\θ}-r}{\mathrm{\θ}},---\left(1\right)$

式中，θ为任意平面与某一相机阵列的夹角大小，r为参考平面与该相机阵列的夹角。

基于视差，将各相机阵列聚焦平面，投影至相交于直线k的平面簇上，应用公式(2)获得在穿过k任意倾斜角度平面的合成孔径成像结果

$I_i^{\mathrm{\θ}}=I_i^r\left(m+\mathrm{\Δ}p\right).---\left(2\right)$

式中，为相机阵列中各视角投影在参考平面π_r的投影图像N为单相机阵列中的相机数目，i为相机序号。

步骤二、采用基于方差的合成孔径成像算法对各个深度合成孔径图像进行统计，应用公式(3)计算各视角各对应像素m的方差

$\mathrm{var}\left(m\right)=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{\left(I_i^{\mathrm{\θ}}\left(m\right)-u_i^{\mathrm{\θ}}\left(m\right)\right)}^2,---\left(3\right)$

其中

$u_i^{\mathrm{\θ}}\left(m\right)=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{I}_i^{\mathrm{\θ}}\left(m\right).---\left(4\right)$

式中，为聚焦角度θ上对应m点的均值。设一个角度范围为D。

在统计的基础上，当焦平面接近最优聚焦角度时，目标上对应像素点m的方差将会越接近于H，H为一接近于0的值，应用公式(5)得到m在角度θ的标记值

$f_m^{\mathrm{\&theta;}}=\left\{\begin{array}{cc}1& \mathrm{var}\left(m\right)<H\\ 0& otherwise\end{array}\right.,---\left(5\right)$

在当前存在目标区域范围内，搜索角度范围中最优角度是D中具有最小方差的角度，即

d＝argmin_D{var(I)}.(6)

式中，d为某一相机阵列在探测区域D中的最优角度。

步骤三、从每个相机的参考视角中的位置确定合成孔径成像中的各像素值。

$I_i^r\left(m\right)=I_i^r\left(m-\mathrm{\&Delta;}p\right).---\left(7\right)$

通过被标记的合成孔径成像得到每个相机视角在不同深度的被标记的参考平面图像。再应用公式(8)将参考平面上每个相机视角的所有深度范围内的标记单独融合。

式中，&&表示在同一位置不同深度的每个标记的与操作。f表示某像素点的标记，若θ从0到π，中有一个标记为0，则为0，否则为1。将被标记的参考图像投影至第二相机阵列目标平面。计算每个相机视角的图像的平均值并去除被标记为0的像素。通过应用公式(9)去除遮挡后得到最终的透视结果。

式中，为最终的透视结果。

本发明的有益效果是：该方法采用前后对称的双面棋盘标定板，选定两相机阵列平面的交线作为所有聚焦平面簇的交线，利用Scheimpflug布局对双相机阵列进行标定，依据各相机投影在聚焦平面的方差对各个深度合成孔径图像进行统计，最终获得目标所在最优聚焦平面的成像结果。在充分利用多视角信息的基础上，不依赖于目标状态信息，解决多个相机阵列联动时合成孔径目标成像问题，即在一定的范围内，用双相机阵列的互信息共享，实现目标多视角成像。本发明采用双相机阵列布局模式，充分利用多相机视角信息，依据各相机投影在聚焦平面的方差对各个深度合成孔径图像进行统计，对目标最优深度进行估计；不依赖于目标状态信息，解决多个相机阵列联动时合成孔径成像中目标深度近似导致的成像失败问题，有效提高了目标间深度差距较小时多相机阵列视角成像的精度。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于双相机阵列的合成孔径目标多视角成像方法具体步骤如下：

1、双相机阵列布局及参数优化。

首先对双相机阵列的布局及参数进行优化。假定从每一个相机中捕获图像序列C_i，i＝1…N，两相机平面分别为π_a和π_b，将双相机阵列相机平面互成90度夹角布局，同时假设参考平面为π_r其角度为r，任意焦平面为π_θ，a其与相机阵列平面π_a平面夹角为θ，在该布局中参考平面π_r及任意焦平面π_θ均相交于双相机平面交线k。在该布局中聚焦平面投影变换被简化为从π_r的坐标系到指定的焦平面π_θ，a的平移变换。利用双面黑白格对称标定板，分别在距平面π_r不同角度且均相交于k的若干平面上对双相机阵列进行标定，获得相机间距离参数ΔX，然后应用公式(1)得到视差Δp。

$\mathrm{\&Delta;}p=\mathrm{\&Delta;}X\&CenterDot;\frac{\mathrm{\&theta;}-r}{\mathrm{\&theta;}},---\left(1\right)$

基于视差，可将各相机阵列聚焦平面，投影至相交于直线k的平面簇上，应用公式(2)

$I_i^{\mathrm{\&theta;}}=I_i^r\left(m+\mathrm{\&Delta;}p\right).---\left(2\right)$

获得在穿过k任意倾斜角度平面的合成孔径成像结果，式中，为相机阵列中各视角投影在参考平面π_r的投影图像N为单相机阵列中的相机数目，i为相机序号。

2、双相机阵列合成孔径目标最优深度估计。

采用合成孔径成像可以透视遮挡物体，然而当目标与遮挡间深度接近时，传统的合成孔径成像算法将会失效。采用双相机阵列，同时对探测范围进行计算。应算公式(3)计算各视角各对应像素m的方差

$\mathrm{var}\left(m\right)=\frac{1}{N}{\mathrm{\&Sigma;}}_{i=1}^N{\left(I_i^{\mathrm{\&theta;}}\left(m\right)-u_i^{\mathrm{\&theta;}}\left(m\right)\right)}^2,---\left(3\right)$

其中

$u_i^{\mathrm{\&theta;}}\left(m\right)=\frac{1}{N}{\mathrm{\&Sigma;}}_{i=1}^N{I}_i^{\mathrm{\&theta;}}\left(m\right).---\left(4\right)$

式中，为聚焦角度θ上对应m点的均值。

设一个角度范围为D，在统计的基础上，当焦平面接近最优聚焦角度时，目标上对应像素点m的方差将会越接近于H，H为一接近于0的值，应用公式(5)得到m在角度θ的标记值

$f_m^{\mathrm{\&theta;}}=\left\{\begin{array}{cc}1& \mathrm{var}\left(m\right)<H\\ 0& otherwise\end{array}\right.,---\left(5\right)$

在当前存在目标区域范围内，搜索角度范围中最优角度是D中具有最小方差的角度，即

d＝argmin_D{var(I)}.(6)

式中，d为某一相机阵列在探测区域D中的最优角度。

3、双相机阵列合成孔径成像。

通过被标记的合成孔径成像得到每个相机视角在不同深度的被标记的参考平面图像。应用公式(7)，从每个相机视角的参考视角中的位置确定合成孔径成像中的各像素值。

$I_i^r\left(m\right)=I_i^r\left(m-\mathrm{\&Delta;}p\right).---\left(7\right)$

然后应用公式(8)将参考平面上每个相机视角的所有深度范围内的标记单独融合。

式中，&&表示在同一位置不同深度的每个标记的与操作。f表示某像素点的标记，若θ从0到π，中有一个标记为0，则为0，否则为1。将被标记的参考图像投影至第二相机阵列目标平面。计算每个相机视角的图像的平均值并去除被标记为0的像素。因此通过去除遮挡应用公式(9)可得最终的透视结果。

式中，为最终的透视结果。

因采用斜平面簇加视差法，且使用双相机阵列，解决了目标深度近似问题，因此优于单相机阵列探测方法。

Claims (1)

1.一种基于双相机阵列的合成孔径目标多视角成像方法，其特征在于包括以下步骤：

步骤一、采用前后对称的双面棋盘标定版，选定两相机阵列平面的交线作为所有聚焦平面簇的交线，利用Scheimpflug配置对双相机阵列进行标定；平面π_r为选定的参考平面，k为两相机阵列平面的交线；利用双面黑白格对称标定板，分别在距平面π_r，不同角度且均相交于k的若干平面上对双相机阵列进行标定，获得相机间距离参数ΔX，应用公式(1)得到视差Δp

$\mathrm{\&Delta;}p=\mathrm{\&Delta;}X\&CenterDot;\frac{\mathrm{\&theta;}-r}{\mathrm{\&theta;}},---\left(1\right)$

式中，θ为任意平面与某一相机阵列的夹角大小，r为参考平面与该相机阵列的夹角；

基于视差，将各相机阵列聚焦平面，投影至相交于直线k的平面簇上，应用公式(2)获得在穿过k任意倾斜角度平面的合成孔径成像结果

$i_i^{\mathrm{\&theta;}}=I_i^r(m+\mathrm{\&Delta;}p).---\left(2\right)$

式中，为相机阵列中各视角投影在参考平面π_r的投影图像N为单相机阵列中的相机数目，i为相机序号；

步骤二、采用基于方差的合成孔径成像算法对各个深度合成孔径图像进行统计，应用公式(3)计算各视角各对应像素m的方差

$\mathrm{var}\left(m\right)=\frac{1}{N}{\&Sigma;}_{i=1}^N{\left(I_i^{\mathrm{\&theta;}}\right(m)-u_i^{\mathrm{\&theta;}}(m\left)\right)}^2,---\left(3\right)$

其中

$u_i^{\mathrm{\&theta;}}\left(m\right)=\frac{1}{N}{\&Sigma;}_{i=1}^N{I}_i^{\mathrm{\&theta;}}\left(m\right).---\left(4\right)$

式中，为聚焦角度θ上对应m点的均值；设一个角度范围为D；

在统计的基础上，当焦平面接近最优聚焦角度时，目标上对应像素点m的方差将会越接近于H，H为一接近于0的值，应用公式(5)得到m在角度θ的标记值

$f_m^{\mathrm{\&theta;}}=\left\{\begin{array}{cc}1& \mathrm{var}\left(m\right)<H\\ 0& otherwise\end{array}\right.,---\left(5\right)$

在当前存在目标区域范围内，搜索角度范围中最优角度是D中具有最小方差的角度，即

d＝argmin_D{var(I)}.(6)

式中，d为某一相机阵列在探测区域D中的最优角度；

步骤三、从每个相机的参考视角中的位置确定合成孔径成像中的各像素值；

$I_i^r\left(m\right)=I_i^r(m-\mathrm{\&Delta;p}).---\left(7\right)$

通过被标记的合成孔径成像得到每个相机视角在不同深度的被标记的参考平面图像；再应用公式(8)将参考平面上每个相机视角的所有深度范围内的标记单独融合；

式中，&&表示在同一位置不同深度的每个标记的与操作；f表示某像素点的标记，若θ从0到π，中有一个标记为0，则为0，否则为1；将被标记的参考图像投影至第二相机阵列目标平面；计算每个相机视角的图像的平均值并去除被标记为0的像素；通过应用公式(9)去除遮挡后得到最终的透视结果；

式中，为最终的透视结果。