CN103646397B - 基于多源数据融合的实时合成孔径透视成像方法 - Google Patents

Abstract

本发明公开了一种基于多源数据融合的实时合成孔径透视成像方法，用于解决现有基于能量最小化像素标记合成孔径成像方法实时性差的技术问题。技术方案是利用多源数据，根据第一帧深度图像，获取选定目标所处深度信息，结合目标深度范围分析，标记当前图像中前景像素点和未知深度像素点。然后利用场景的标记信息和目标隶属度函数得到当前彩色图像中像素点属于目标的概率，获取当前帧下的视角姿态信息。最后根据所获取的当前帧的目标存在概率和相机姿态，获取当前帧的合成图像，同时将产生的合成结果和有用信息作为下一帧的输入信息，通过迭代的方式实时获取合成结果。经测试，本发明能够在得到更清晰的合成图像的同时达到了实时处理的处理效果。

Description

基于多源数据融合的实时合成孔径透视成像方法

技术领域

本发明涉及一种实时合成孔径透视成像方法，特别是涉及一种基于多源数据融合的实时合成孔径透视成像方法。

背景技术

基于相机阵列的合成孔径透视成像技术是计算机视觉领域的一个重要研究课题，其在对隐藏目标成像、检测、识别和跟踪以及自由深度视点成像等方面具有广泛的应用。目前的合成孔径透视成像方法主要有：基于平面+视差的合成孔径成像方法与基于能量最小化的像素标记合成孔径成像方法。

文献“Synthetic Aperture Imaging using Pixel Labeling via EnergyMinimization,PR,46(1):174-187,2013”公开了一种基于能量最小化像素标记合成孔径成像方法。与传统基于平面+视差的合成孔径成像方法不同，该方法将透视成像转化为类别标记问题，而非简单的将所有相机视角下的图像进行平均。该方法首先对每个相机视角下的每一个像素利用能量最小化方法标记是否属于遮挡物，然后，在给定聚焦深度对没有被标记的像素进行平均，获得透视成像。虽然这种方法取得了实验效果，但是却只能解决静态前景遮挡物的标记问题，且对前景目标的分割是否精确具有较强依赖性。对于颜色较为相近的场景该方法同样不能准确分割遮挡物，成像结果依然存在模糊现象。而且作者对于获取特定深度下的目标图像非常耗时，无法实现对隐藏目标的实时透视成像。此外，这种方法只能适用于静态场景，对于前景中存在的动态遮挡物该方法无法进行标记，进而无法有效去除投影后属于动态遮挡物的点。

发明内容

为了克服现有基于能量最小化像素标记合成孔径成像方法实时性差的不足，本发明提供一种基于多源数据融合的实时合成孔径透视成像方法。该方法利用多源数据，首先根据第一帧深度图像，获取选定目标所处深度信息，结合目标深度范围分析，标记当前图像中前景像素点和未知深度像素点。然后利用场景的标记信息和目标隶属度函数得到当前彩色图像中像素点属于目标的概率，同时根据标记信息，利用并行追踪与绘制算法进行相机姿态估计，获取当前帧下的视角姿态信息。最后根据所获取的当前帧的目标存在概率和相机姿态，利用上一帧获取的合成图像信息及其他信息，获取当前帧的合成图像，同时将产生的合成结果和有用信息作为下一帧的输入信息，通过迭代的方式实时获取合成结果。通过在已构建的移动成像平台利用深度彩色相机拍摄的多源数据进行测试，本发明能够在得到更清晰以及更接近现实的合成图像的同时达到实时处理的处理效果。

本发明解决其技术问题所采用的技术方案是：一种基于多源数据融合的实时合成孔径透视成像方法，其特点是包括以下步骤：

步骤一、采用Kinect体感摄影机获取场景的深度信息和彩色信息，并根据采集的第一帧图像确定成像目标及成像目标在深度图像中的深度值。将第一帧对应的虚拟视角确定为虚拟参考视角，继续采集视频数据，作为数据输入。

步骤二、获取前景遮挡物的标记信息和深度未知区域的标记信息。

假设目标所处深度为d，则将深度小于d-3σ并且大于零的区域标记为前景遮挡物区域，其中σ根据成像目标所在的深度范围调节。由于Kinect成像原理，未知深度区域的深度值为0，因此将深度图中深度等于0的区域标记为深度未知区域。

步骤三、获取已知深度区域中像素点属于目标的隶属度。首先构造模糊集合：{Θ_τ,m^Θ}，其中隶属度函数m^Θ:Θ_τ→[0,1]，Θ_τ表示第τ帧中和目标处于同一深度的像素集合。对于每一个像素x∈Θ_τ，m^Θ的值表示像素x和目标处于同一深度的隶属度。设计隶属度函数如下：

$m^{\mathrm{\Θ}}\left(x\right)=\frac{1}{{\left(2{\mathrm{\π\σ}}^2\right)}^{1/2}}\exp \{-\frac{1}{2{\mathrm{\σ}}^2}{(d_x-d_{\mathrm{\τ}})}^2\}---\left(1\right)$

其中，σ控制目标分布范围，d_x为像素x的深度值，d_τ表示目标在第τ帧中对应的深度值。

获取全部可视区域像素点属于目标的隶属度。首先构造模糊集合：{Ψ_τ,m^Ψ}，其中隶属度函数为m^Ψ：Ψ_τ→[0,1]，Ψ_τ表示第τ帧中所有未被遮挡物遮挡的可视像素集合，其中将未知深度区域的像素也归为该集合。对于每一个像素x∈Ψ_τ，m^Ψ的值表示像素x属于未被遮挡区域的隶属度。设计隶属度函数：

其中，O_ζ＝{O₁,...,O_n}表示属于遮挡物的像素集合。d(x^Ψ,O_ζ)表示属于深度未知区域的像素x到属于遮挡物的欧式距离。Z＝1/max{min{d(x^Ψ,O_ζ)}}。

当获取已知深度区域中像素点属于目标的隶属度和全部可视区域像素点属于目标的隶属度后，根据模糊集合理论估计彩色图像中像素x属于目标的概率m^Ω(x)：

$m^{{\mathrm{\Ω}}_{\mathrm{\τ}}}\left(x\right)=({\mathrm{\Ψ}}_{\mathrm{\τ}}\∩{\mathrm{\θ}}_{\mathrm{\τ}})=min\{m^{\mathrm{\Ψ}}\left(x\right),m^{\mathrm{\Θ}}\left(x\right)\}---\left(3\right)$

其中，Ω_τ表示第τ帧的所有像素。

步骤四、首先获取相邻两帧之间的所有匹配点对集合然后结合前景遮挡物的标记信息，将所有属于前景遮挡的匹配点集合S_o去掉，得到可视匹配点集合S_v。利用集合S_v中的匹配点对计算获取初始的基本矩阵F_init，使用基本矩阵F_init来筛选之前去掉的属于前景遮挡的匹配点对。根据F_init计算集合S_o中每个匹配点对之间的Sampson距离如果小于一个给定的阈值T_d，就将这个匹配点对重新加入到集合S_v中，同时从集合S_o中删除该匹配点对。利用更新后的S_v重新计算基本矩阵F，重复以上过程，迭代更新可视匹配点集合S_v。最终得到的可视匹配点集合S_v中既包含了属于背景和目标上的匹配点，也包含属于静态前景上面的匹配点，进而将集合S_v作为PTAM的输入，获得精确的相机姿态。

步骤五、获取被遮挡目标的合成图像。

将合成孔径成像设计为线性加权函数，权值由步骤三所计算的每一帧彩色图像中像素点属于目标的概率给出。对于输入的第τ帧彩色图像，根据针孔相机模型获取虚拟聚焦平面上的聚焦图像中的所有像素点在当前帧下对应的投影点。根据步骤三获取投影点属于目标的概率，将该概率作为该投影点的权重。计算当前帧下的合成图像：

$S_{\mathrm{\τ}}=\frac{1}{{\Σ}_{k=1}^{\mathrm{\τ}}{m}_k^{\mathrm{\Ω}}\left(x\right)}{\Σ}_{k=1}^{\mathrm{\τ}}{m}_k^{\mathrm{\Ω}}\left(x\right)\·I_k---\left(4\right)$

其中，表示第k帧中的像素属于目标的概率。为了能够获取实时处理结果，该过程表示为如下公式：

$S_{\mathrm{\τ}}=\frac{1}{{\Σ}_{k=1}^{\mathrm{\τ}}{m}_k^{\mathrm{\Ω}}\left(x\right)}\left(S_{\mathrm{\τ}-1}{\Σ}_{k=1}^{\mathrm{\τ}-1}{m}_k^{\mathrm{\Ω}}\right(x)+m_{\mathrm{\τ}}^{\mathrm{\Ω}}(x)\·I_{\mathrm{\τ}})---\left(5\right)$

根据实时成像结果，当成像结果达到成像要求时结束数据输出，获取最终成像结果。

本发明的有益效果是：该方法利用多源数据，首先根据第一帧深度图像，获取选定目标所处深度信息，结合目标深度范围分析，标记当前图像中前景像素点和未知深度像素点。然后利用场景的标记信息和目标隶属度函数得到当前彩色图像中像素点属于目标的概率，同时根据标记信息，利用并行追踪与绘制算法进行相机姿态估计，获取当前帧下的视角姿态信息。最后根据所获取的当前帧的目标存在概率和相机姿态，利用上一帧获取的合成图像信息及其他信息，获取当前帧的合成图像，同时将产生的合成结果和有用信息作为下一帧的输入信息，通过迭代的方式实时获取合成结果。通过在已构建的移动成像平台利用深度彩色相机拍摄的多源数据进行测试，本发明能够在得到更清晰以及更接近现实的合成图像的同时达到了实时处理的处理效果。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于多源数据融合的实时合成孔径透视成像方法具体步骤如下：

1、采集场景深度信息和彩色信息。

本部分采用Kinect体感摄影机获取场景的深度信息和彩色信息，并根据采集的第一帧图像确定成像目标及成像目标在深度图像中的深度值。将第一帧对应的虚拟视角确定为虚拟参考视角，继续采集视频数据，作为数据输入。

2、获取前景遮挡物的标记信息和深度未知区域的标记信息。

假设目标所处深度为d，则将深度小于d-3σ并且大于零的区域标记为前景遮挡物区域，其中σ为可根据成像目标所在的深度范围调节。由于Kinect成像原理，未知深度区域的深度值为0，因此将深度图中深度等于0的区域标记为深度未知区域。

3、获取像素属于目标的概率。

这一部分主要分为两个主要方面，首先获取已知深度区域中像素点属于目标的隶属度；其次获取全部可视区域(包括深度未知区域)像素点属于目标的隶属度。

获取已知深度区域中像素点属于目标的隶属度。首先构造模糊集合：{Θ_τ,m^Θ}，其中隶属度函数m^Θ:Θ_τ→[0,1]，Θ_τ表示第τ帧中和目标处于同一深度的像素集合。对于每一个像素x∈Θ_τ，m^Θ的值表示像素x和目标处于同一深度的隶属度。由于成像目标很少为平面物体，因此会分布在一定的深度范围内。设计隶属度函数如下：

$m^{\mathrm{\Θ}}\left(x\right)=\frac{1}{{\left(2{\mathrm{\π\σ}}^2\right)}^{1/2}}\exp \{-\frac{1}{2{\mathrm{\σ}}^2}{(d_x-d_{\mathrm{\τ}})}^2\}---\left(1\right)$

其中σ控制目标分布范围，d_x为像素x的深度值，d_τ表示目标在第τ帧中对应的深度值。根据以上理论和公式，计算出已知深度区域中像素点属于目标的隶属度。

获取全部可视区域(包括深度未知区域)像素点属于目标的隶属度。首先构造模糊集合：{Ψ_τ,m^Ψ}，其中隶属度函数为m^Ψ：Ψ_τ→[0,1]，Ψ_τ表示第τ帧中所有未被遮挡物遮挡的可视像素集合，其中将未知深度区域的像素也归为该集合。对于每一个像素x∈Ψ_τ，m^Ψ的值表示像素x属于未被遮挡区域的隶属度。设计隶属度函数：

其中O_ζ＝{O₁,...,O_n}表示属于遮挡物的像素集合。d(x^Ψ,O_ζ)表示属于深度未知区域的像素x到属于遮挡物的欧式距离。其中Z＝1/max{min{d(x^Ψ,O_ζ)}}。根据以上理论和公式，计算获取全部可视区域像素点属于目标的隶属度。

当获取已知深度区域中像素点属于目标的隶属度和全部可视区域像素点属于目标的隶属度后，根据模糊集合理论可以估计彩色图像中像素x属于目标的概率m^Ω(x)：

$m^{{\mathrm{\Ω}}_{\mathrm{\τ}}}\left(x\right)=({\mathrm{\Ψ}}_{\mathrm{\τ}}\∩{\mathrm{\θ}}_{\mathrm{\τ}})=min\{m^{\mathrm{\Ψ}}\left(x\right),m^{\mathrm{\Θ}}\left(x\right)\}---\left(3\right)$

其中Ω_τ表示第τ帧的所有像素。

4、获取相机姿态。

由于传统的相机姿态获取方法无法获取动态场景下的相机姿态信息，因此为适应动态场景并保证相机姿态计算精确度本发明采用特征点集和迭代优化算法改进传统的PTAM，从而获取动态场景下的相机姿态。

本算法首先获取相邻两帧之间的所有匹配点对集合然后结合前景遮挡物的标记信息，将所有属于前景遮挡的匹配点集合S_o去掉，得到可视匹配点集合S_v。利用集合S_v中的匹配点对计算获取初始的基本矩阵F_init，使用基本矩阵F_init来筛选之前去掉的属于前景遮挡的匹配点对。根据F_init计算集合S_o中每个匹配点对之间的Sampson距离如果小于一个给定的阈值T_d，就将这个匹配点对重新加入到集合S_v中，同时从集合S_o中删除该匹配点对。利用更新后的S_v重新计算基本矩阵F，重复以上过程，迭代更新可视匹配点集合S_v。最终得到的可视匹配点集合S_v中既包含了属于背景和目标上的匹配点，也包含属于静态前景上面的匹配点，进而将集合S_v作为PTAM的输入，获得精确的相机姿态。

5、获取被遮挡目标的合成图像。

不同于传统的合成孔径成像方法，本发明将合成孔径成像设计为线性加权函数，这里的权值由第3步中所计算的每一帧彩色图像中像素点属于目标的概率给出。对于输入的第τ帧彩色图像，根据针孔相机模型获取虚拟聚焦平面上的聚焦图像中的所有像素点在当前帧下对应的投影点。根据第3步，可以获取投影点属于目标的概率，将该概率作为该投影点的权重。计算当前帧下的合成图像：

$S_{\mathrm{\τ}}=\frac{1}{{\Σ}_{k=1}^{\mathrm{\τ}}{m}_k^{\mathrm{\Ω}}\left(x\right)}{\Σ}_{k=1}^{\mathrm{\τ}}{m}_k^{\mathrm{\Ω}}\left(x\right)\·I_k---\left(4\right)$

其中表示第k帧中的像素属于目标的概率。为了能够获取实时处理结果，该过程可以表示为如下公式：

$S_{\mathrm{\τ}}=\frac{1}{{\Σ}_{k=1}^{\mathrm{\τ}}{m}_k^{\mathrm{\Ω}}\left(x\right)}\left(S_{\mathrm{\τ}-1}{\Σ}_{k=1}^{\mathrm{\τ}-1}{m}_k^{\mathrm{\Ω}}\right(x)+m_{\mathrm{\τ}}^{\mathrm{\Ω}}(x)\·I_{\mathrm{\τ}})---\left(5\right)$

根据实时成像结果，当成像结果达到成像要求时结束数据输出，获取最终成像结果。

Claims (1)

1.一种基于多源数据融合的实时合成孔径透视成像方法，其特征在于包括以下步骤：

步骤一、采用Kinect体感摄影机获取场景的深度信息和彩色信息，并根据采集的第一帧图像确定成像目标及成像目标在深度图像中的深度值；将第一帧对应的虚拟视角确定为虚拟参考视角，继续采集视频数据，作为数据输入；

步骤二、获取前景遮挡物的标记信息和深度未知区域的标记信息；

假设目标所处深度为d，则将深度小于d-3σ并且大于零的区域标记为前景遮挡物区域，其中σ根据成像目标所在的深度范围调节；由于Kinect成像原理，未知深度区域的深度值为0，因此将深度图中深度等于0的区域标记为深度未知区域；

步骤三、获取已知深度区域中像素点属于目标的隶属度；首先构造模糊集合：{Θ_τ,m^Θ}，其中隶属度函数m^Θ:Θ_τ→[0,1]，Θ_τ表示第τ帧中和目标处于同一深度的像素集合；对于每一个像素x∈Θ_τ，m^Θ的值表示像素x和目标处于同一深度的隶属度；设计隶属度函数如下：

$m^{\mathrm{\Θ}}\left(x\right)=\frac{1}{{\left(2{\mathrm{\π\σ}}^2\right)}^{1/2}}\exp \{-\frac{1}{2{\mathrm{\σ}}^2}{(d_x-d_{\mathrm{\τ}})}^2\}---\left(1\right)$

其中，σ控制目标分布范围，d_x为像素x的深度值，d_τ表示目标在第τ帧中对应的深度值；

获取全部可视区域像素点属于目标的隶属度；首先构造模糊集合：{Ψ_τ,m^Ψ}，其中隶属度函数为m^Ψ：Ψ_τ→[0,1]，Ψ_τ表示第τ帧中所有未被遮挡物遮挡的可视像素集合，其中将未知深度区域的像素也归为该集合；对于每一个像素x∈Ψ_τ，m^Ψ的值表示像素x属于未被遮挡区域的隶属度；设计隶属度函数：

其中，O_ζ＝{O₁，...，O_n}表示属于遮挡物的像素集合；d(x^Ψ,O_ζ)表示属于深度未知区域的像素x到属于遮挡物的欧式距离；Z＝1/max{min{d(x^Ψ,O_ζ)}}；

当获取已知深度区域中像素点属于目标的隶属度和全部可视区域像素点属于目标的隶属度后，根据模糊集合理论估计彩色图像中像素x属于目标的概率m^Ω(x)：

$m^{{\mathrm{\Ω}}_{\mathrm{\τ}}}\left(x\right)=({\mathrm{\Ψ}}_{\mathrm{\τ}}\∩{\mathrm{\θ}}_{\mathrm{\τ}})=min\{m^{\mathrm{\Ψ}}\left(x\right),m^{\mathrm{\Θ}}\left(x\right)\}---\left(3\right)$

其中，Ω_τ表示第τ帧的所有像素；

步骤四、首先获取相邻两帧之间的所有匹配点对集合S_l，然后结合前景遮挡物的标记信息，将所有属于前景遮挡的匹配点集合S_o去掉，得到可视匹配点集合S_v；利用集合S_v中的匹配点对计算获取初始的基本矩阵F_init，使用基本矩阵F_init来筛选之前去掉的属于前景遮挡的匹配点对；根据F_init计算集合S_o中每个匹配点对之间的Sampson距离如果小于一个给定的阈值T_d，就将这个匹配点对重新加入到集合S_v中，同时从集合S_o中删除该匹配点对；利用更新后的S_v重新计算基本矩阵F，重复以上过程，迭代更新可视匹配点集合S_v；最终得到的可视匹配点集合S_v中既包含了属于背景和目标上的匹配点，也包含属于静态前景上面的匹配点，进而将集合S_v作为PTAM的输入，获得精确的相机姿态；

步骤五、获取被遮挡目标的合成图像；

将合成孔径成像设计为线性加权函数，权值由步骤三所计算的每一帧彩色图像中像素点属于目标的概率给出；对于输入的第τ帧彩色图像，根据针孔相机模型获取虚拟聚焦平面上的聚焦图像中的所有像素点在当前帧下对应的投影点；根据步骤三获取投影点属于目标的概率，将该概率作为该投影点的权重；计算当前帧下的合成图像：

$S_{\mathrm{\τ}}=\frac{1}{{\mathrm{\Σ}}_{k=1}^{\mathrm{\τ}}{m}_k^{\mathrm{\Ω}}\left(x\right)}{\mathrm{\Σ}}_{k=1}^{\mathrm{\τ}}{m}_k^{\mathrm{\Ω}}\left(x\right)\·I_k---\left(4\right)$

其中，表示第k帧中的像素属于目标的概率；为了能够获取实时处理结果，该过程表示为如下公式：

$S_{\mathrm{\τ}}=\frac{1}{{\mathrm{\Σ}}_{k=1}^{\mathrm{\τ}}{m}_k^{\mathrm{\Ω}}\left(x\right)}\left(S_{\mathrm{\τ}-1}{\mathrm{\Σ}}_{k=1}^{\mathrm{\τ}-1}{m}_k^{\mathrm{\Ω}}\right(x)+m_{\mathrm{\τ}}^{\mathrm{\Ω}}(x)\·I_{\mathrm{\τ}})---\left(5\right)$

根据实时成像结果，当成像结果达到成像要求时结束数据输出，获取最终成像结果。