CN103426170A - 基于非结构光场合成孔径成像的隐藏目标成像方法 - Google Patents

Abstract

本发明公开了一种基于非结构光场合成孔径成像的隐藏目标成像方法，用于解决现有基于平面+视差的合成孔径成像方法所成图像清晰度差的技术问题。技术方案是采用聚类的方式去除部分颜色值差异大的像素点，只选取颜色值相近的最大一类中的像素点作为有效投影点，对这些有效投影点的颜色值进行平均，得到聚焦平面上点的像素值，进而得到隐藏目标的合成图像。通过UCSD数据库以及自建数据库进行测试，本发明能够获得隐藏目标更清晰以及更接近现实的合成图像，同时也解决了自由移动成像平台采集的光场数据中隐藏目标成像问题。

Description

基于非结构光场合成孔径成像的隐藏目标成像方法

技术领域

本发明涉及一种隐藏目标成像方法，特别涉及一种基于非结构光场合成孔径成像的隐藏目标成像方法。

背景技术

基于移动相机虚拟相机阵列的隐藏目标成像技术是计算机视觉领域的一个重要研究课题，其在对隐藏目标成像、检测、识别和跟踪以及自由深度视点成像方面具有广泛的应用。目前的合成孔径成像方法主要有：基于平面+视差的合成孔径成像方法与基于能量最小化的像素标记合成孔径成像方法。

文献“Using Plane+Parallax for Calibrating Dense Camera Array,CVPR,2004”公开了一种基于平面+视差的合成孔径成像方法。该方法发现相机在共面或者共线的情况下，利用这种共面或共线的特点减小相机标定时要估计的参数数量，根据标定结果进行合成孔径成像，获取隐藏目标的合成图像。然而该方法限定相机阵列中所有相机必须共面，且固定，对于多相机光心不共面或者单相机自由移动情况下的相机标定问题无法解决，导致无法根据场景需要增加视角，也无法对室外真实场景中的隐藏目标成像。该方法在成像方面采用了简单的将所有相机视角下的图像进行平均的合成图像方式，对于聚焦平面内任意一点在各个视角下对应的投影点的颜色信息求平均，将该平均值作为合成图像中点的颜色值，这就导致一些错误投影点的颜色信息对成像结果产生负面影响，使得所获取的隐藏目标图像存在严重的模糊情况。

发明内容

为了克服现有基于平面+视差的合成孔径成像方法所成图像清晰度差的不足，本发明提供一种基于非结构光场合成孔径成像的隐藏目标成像方法。该方法采用聚类的方式去除部分颜色值差异大的像素点，只选取颜色值相近的最大一类中的像素点作为有效投影点，对这些有效投影点的颜色值进行平均，得到聚焦平面上点的像素值，进而得到隐藏目标的合成图像。通过UCSD数据库以及自建数据库进行测试，本发明能够获得隐藏目标更清晰以及更接近现实的合成图像，同时也能够解决自由移动成像平台采集的光场数据中隐藏目标成像问题。

本发明解决其技术问题所采用的技术方案是：一种基于非结构光场合成孔径成像的隐藏目标成像方法，其特点是包括以下步骤：

步骤一、采用KLT的特征点跟踪与匹配方法，获取图像中的特征点，然后选取好的特征点和关键帧，初始化连续的几何结构和运动，利用位置估计初始化所有新加入的帧的相机参数和三维点，最后利用捆绑调整提炼存在的结构和运动，获取光场中自由移动的相机的位置信息以及相机内参。

步骤二、假设在含有隐藏目标的图像序列中共有n个不同的视角，命名V₁,V₂,…,V_ref,…,V_n，V_ref是选取的用于合成孔径成像的参考视角。使用Π_i表示不同视角下的成像平面。假设Π_des是想要获取的聚焦平面且平行于Π_ref，使用点p_des(x,y)代表Π_des上的一个二维像素点。在参考视角坐标系下对应的三维空间点p_ref为：

p_ref＝p_des·step+ws  (1)

其中，step表示在参考相机坐标系下Π_des中一个像素的大小，ws表示Π_des在参考相机坐标系下的起始点。step由以下公式求取：

$\mathrm{step}=\left[\begin{array}{c}\mathrm{stepx}\\ \mathrm{stepy}\end{array}\right]=\±0.5*(\left[\begin{array}{c}w\\ h\end{array}\right]/\left[\begin{array}{c}{f}_x\\ f_y\end{array}\right])*\mathrm{dep}---\left(2\right)$

其中，w和h分别表示合成图像的宽和高，f_x和f_y表示焦距，dep表示聚焦平面的深度。根据公式（3）得到点p_ref在世界坐标系下的对应点p_w：

p_w＝R_ref·p_ref+T_ref  (3)

其中，R_ref表示参考相机的旋转矩阵，T_ref表示参考相机的平移矩阵。通过对p_w利用针孔相机模型进行投影变换，得到像素点p_des(x,y)在每一个视角下对应的点p_i′，并组成一个点集合表示为P′＝{p₁′,p₂′,…,p_n′}：

$S*\left[\begin{array}{c}{p_i}^{\′}\\ 1\end{array}\right]=K\·\left[R_i\right|T_i]\·\left[\begin{array}{c}{p}_w\\ 1\end{array}\right]---\left(4\right)$

其中，K表示相机内参矩阵，[R_i|T_i]为第i个视角的旋转矩阵和平移矩阵。如果p_i′在成像平面Π_i上，则获得这个点的RGB值，记为c_j。同样获取所有投影点的像素值，组成颜色值集合C_des＝{c₁,c₂,…,c_n}。

步骤三、对于颜色值集合C_des，利用最近邻聚类方法获取最大类以及最大类的平均颜色值：

第一步，初始化。选取第一个点的颜色值c₁为第一类的中心；

第二步，对于颜色值集合中的每一颜色值c_i，计算其到所有已知聚类中心h_j(j＝1,2,…,Q)的欧式距离d_j(j＝1,2,…,Q)；

第三步，寻找最小距离，假设为d_k,如果最小距离小于给定的阈值，那么该RGB颜色值属于第k类，更新该类的中心：

其中，m为第k类中包含的颜色值数；如果最小距离大于给定的阈值，则将该颜色值作为新的类的中心；

第四步，重复第二步和第三步，直到所有的颜色值已经聚类结束。选取最大类中所有颜色值的平均值作为p_des(x,y)的颜色值。

步骤四、对于聚焦平面上所有的点，重复上面的步骤，获取其颜色值，生成合成图像。

本发明的有益效果是：该方法采用聚类的方式去除部分颜色值差异大的像素点，只选取颜色值相近的最大一类中的像素点作为有效投影点，对这些有效投影点的颜色值进行平均，得到聚焦平面上点的像素值，进而得到隐藏目标的合成图像。通过UCSD数据库以及自建数据库进行测试，本发明能够获得隐藏目标更清晰以及更接近现实的合成图像，同时也解决了自由移动成像平台采集的光场数据中隐藏目标成像问题。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于非结构光场合成孔径成像的隐藏目标成像方法具体步骤如下：

1、相机标定。

该部分主要由现有的技术完成，首先是基于KLT方法的特征点跟踪与匹配，获取图像中的特征点，然后选取好的特征点和关键帧，初始化连续的几何结构和运动，利用位置估计技术初始化所有新加入的帧的相机参数和三维点，最后利用捆绑调整提炼存在的结构和运动。利用此方式，获取光场中自由移动的相机的位置信息以及相机内参，从而解决了单相机模拟虚拟相机阵列的标定问题。

2、获取聚焦平面上点在各个视角下的投影点。

假设在含有隐藏目标的图像序列中共有n个不同的视角，命名V₁,V₂,V_ref,…,V_n，V_ref是选取的用于合成孔径成像的参考视角。使用Π_i表示不同视角下的成像平面。假设Π_des是想要获取的聚焦平面且平行于Π_ref，使用点p_des(x,y)代表Π_des上的一个2维像素点。因此在参考视角坐标系下对应的三维空间点p_ref为：

p_ref＝p_des·step+ws  (1)

其中，step表示在参考相机坐标系下Π_des中一个像素的大小，ws表示Π_des在参考相机坐标系下的起始点。step由以下公式求取：

$\mathrm{step}=\left[\begin{array}{c}\mathrm{stepx}\\ \mathrm{stepy}\end{array}\right]=\±0.5*(\left[\begin{array}{c}w\\ h\end{array}\right]/\left[\begin{array}{c}{f}_x\\ f_y\end{array}\right])*\mathrm{dep}---\left(2\right)$

其中，w和h分别表示合成图像的宽和高，f_x和f_y表示焦距，dep表示聚焦平面的深度。根据公式（3）得到点p_ref在世界坐标系下的对应点p_w：

p_w＝R_ref·p_ref+T_ref  (3)

其中，R_ref表示参考相机的旋转矩阵，T_ref表示参考相机的平移矩阵。通过对p_w利用针孔相机模型进行投影变换，得到像素点p_des(x,y)在每一个视角下对应的点p_i′，并组成一个点集合表示为P′＝{p₁′,p₂′,…,p_n′}：

$S*\left[\begin{array}{c}{p_i}^{\′}\\ 1\end{array}\right]=K\·\left[R_i\right|T_i]\·\left[\begin{array}{c}{p}_w\\ 1\end{array}\right]---\left(4\right)$

其中，K表示相机内参矩阵，[R_i|T_i]为第i个视角的旋转矩阵和平移矩阵。如果p_i′在成像平面Π_i上，则获得这个点的RGB值，记为c_j。同样获取所有投影点的像素值，组成颜色值集合C_des＝{c₁,c₂,…,c_n}。

3、获取聚焦平面上的点的颜色值。

对于颜色值集合C_des，利用最近邻聚类方法获取最大类以及最大类的平均颜色值，具体聚类步骤如下：

第一步，初始化。选取第一个点的颜色值c₁为第一类的中心；

第二步，对于颜色值集合中的每一颜色值c_i，计算其到所有已知聚类中心h_j(j＝1,2,…,Q)的欧式距离d_j(j＝1,2,…,Q)；

第三步，寻找最小距离，假设为d_k,如果最小距离小于给定的阈值（本实验中设为5），那么该RGB颜色值属于第k类，更新该类的中心：

其中，m为第k类中包含的颜色值数；如果最小距离大于给定的阈值，则将该颜色值作为新的类的中心；

第四步，重复第二步和第三步，直到所有的颜色值已经聚类结束。选取最大类的聚类中心值，即最大类中所有颜色值的平均值作为p_des(x,y)的颜色值。

4、生成合成图像。

对于聚焦平面上所有的点，重复上面的步骤，获取其颜色值，生成合成图像。

Claims (1)

1.一种基于非结构光场合成孔径成像的隐藏目标成像方法，其特征在于包括以下步骤：

步骤一、采用KLT的特征点跟踪与匹配方法，获取图像中的特征点，然后选取好的特征点和关键帧，初始化连续的几何结构和运动，利用位置估计初始化所有新加入的帧的相机参数和三维点，最后利用捆绑调整提炼存在的结构和运动，获取光场中自由移动的相机的位置信息以及相机内参；

步骤二、假设在含有隐藏目标的图像序列中共有n个不同的视角，命名V₁,V₂,…,V_ref,…,V_n，V_ref是选取的用于合成孔径成像的参考视角；使用Π_i表示不同视角下的成像平面；假设Π_des是想要获取的聚焦平面且平行于Π_ref，使用点p_des(x,y)代表Π_des上的一个二维像素点；在参考视角坐标系下对应的三维空间点p_ref为：

p_ref＝p_des·step+ws  (1)

其中，step表示在参考相机坐标系下Π_des中一个像素的大小，ws表示Π_des在参考相机坐标系下的起始点；step由以下公式求取：

$\mathrm{step}=\left[\begin{array}{c}\mathrm{stepx}\\ \mathrm{stepy}\end{array}\right]=\±0.5*(\left[\begin{array}{c}w\\ h\end{array}\right]/\left[\begin{array}{c}{f}_x\\ f_y\end{array}\right])*\mathrm{dep}---\left(2\right)$

其中，w和h分别表示合成图像的宽和高，f_x和f_y表示焦距，dep表示聚焦平面的深度；根据公式（3）得到点p_ref在世界坐标系下的对应点p_w：

p_w＝R_ref·p_ref+T_ref  (3)

其中，R_ref表示参考相机的旋转矩阵，T_ref表示参考相机的平移矩阵；通过对p_w利用针孔相机模型进行投影变换，得到像素点p_des(x,y)在每一个视角下对应的点p_i′，并组成一个点集合表示为P′＝{p₁′,p₂′,…,p_n′}：

$S*\left[\begin{array}{c}{p_i}^{\′}\\ 1\end{array}\right]=K\·\left[R_i\right|T_i]\·\left[\begin{array}{c}{p}_w\\ 1\end{array}\right]---\left(4\right)$

其中，K表示相机内参矩阵，[R_i|T_i]为第i个视角的旋转矩阵和平移矩阵；如果p_i′在成像平面Π_i上，则获得这个点的RGB值，记为c_j；同样获取所有投影点的像素值，组成颜色值集合C_des＝{c₁,c₂,…,c_n}；

步骤三、对于颜色值集合C_des，利用最近邻聚类方法获取最大类以及最大类的平均颜色值：

第一步，初始化；选取第一个点的颜色值c₁为第一类的中心；

第二步，对于颜色值集合中的每一颜色值c_i，计算其到所有已知聚类中心h_j(j＝1,2,…,Q)的欧式距离d_j(j＝1,2,…,Q)；

第三步，寻找最小距离，假设为d_k,如果最小距离小于给定的阈值，那么该RGB颜色值属于第k类，更新该类的中心：

$h_k=\frac{1}{m}\mathrm{\Σ}\left(c_i^{\′}\right)(i=\mathrm{1,2},\·\·\·m)---\left(5\right)$

其中，m为第k类中包含的颜色值数；如果最小距离大于给定的阈值，则将该颜色值作为新的类的中心；

第四步，重复第二步和第三步，直到所有的颜色值已经聚类结束；选取最大类中所有颜色值的平均值作为p_des(x,y)的颜色值；

步骤四、对于聚焦平面上所有的点，重复上面的步骤，获取其颜色值，生成合成图像。