CN103413304A - 基于彩色深度融合的虚拟阵列合成孔径透视成像方法 - Google Patents

Abstract

本发明公开了一种基于彩色深度融合的虚拟阵列合成孔径透视成像方法，用于解决现有利用水平视差进行相机阵列合成孔径成像的方法所成图像清晰度差的技术问题。技术方案是直接从数据源入手，预先就给出被观测目标和遮挡物的深度信息，然后根据预先获取的深度信息，给予被观测目标和遮挡物不同的深度标记，利用深度标记去除投影之后错误的投影点，减少错误投影点对目标清晰度的负面影响，从而获取更加接近现实的目标图像。

Description

基于彩色深度融合的虚拟阵列合成孔径透视成像方法

技术领域

本发明涉及一种虚拟阵列合成孔径透视成像方法，特别涉及一种基于彩色深度融合的虚拟阵列合成孔径透视成像方法。

背景技术

透过遮挡物对观测目标进行观察在当今需求越来越大，利用合成孔径透视成像方法透过遮挡物对观测目标进行观察有很重要的意义。现有的合成孔径透视成像技术有：基于水平视差的相机阵列合成孔径成像。

文献“Using Plane+Parallax for Calibrating Dense Camera Arrays，in Proc.CVPR(1),2004,pp.2-9”公开了一种利用水平视差进行相机阵列合成孔径成像的方法。这种方法利用所有相机光心共面或者共线的特性，减少相机标定时要估计的参数数量，并且避免了进行非线性捆绑调整。而该方法需要对每幅图像进行遍历来获取被观测目标与遮挡物的深度范围，这样做非常耗时。并且该方法在成像方面采用简单的将所有相机视角下的图像进行平均的合成图像方式，对于聚焦平面内任意一点在各个视角下对应的投影点的颜色信息求平均，将该平均值作为合成图像中点的颜色值，这就导致一些错误投影点的颜色信息对成像结果产生负面影响，使得所获取的隐藏目标图像存在严重的模糊情况。

发明内容

为了克服现有利用水平视差进行相机阵列合成孔径成像的方法所成图像清晰度差的不足，本发明提供一种基于彩色深度融合的虚拟阵列合成孔径透视成像方法。该方法直接从数据源入手，预先就给出被观测目标和遮挡物的深度信息，然后根据预先获取的深度信息，给予被观测目标和遮挡物不同的深度标记，利用深度标记去除投影之后错误的投影点，减少错误投影点对目标清晰度的负面影响，从而获取更加接近现实的目标图像。

本发明解决其技术问题所采用的技术方案是：一种基于彩色深度融合的虚拟阵列合成孔径透视成像方法，其特点是包括以下步骤：

步骤一、采用Kinect获取彩色图像和深度图片，然后利用Kinect SDK forWindows+OpenNI2+OpenCV将获取的图片信息、深度信息及RGB信息保存。将OpenNI的图像数据格式转换为OpenCV的数据格式相同。对于彩色图像，先将数据塞入OpenCV三通道RGB对象，再转换到BGR进行保存。对于深度图像，先放入单通道对象，最后将深度值等比例缩小到[0,255]的值域中，作为灰度图进行保存。

步骤二、使用PTAM系统做相机标定，对于相机内参的求解，首先使用人手持标定板，用相机拍摄各个角度的图片，然后使用PTAM的CameraCalibrator子模块对相机内参进行求解；对于相机外参的求解，进行一步累加计算：

假如以第一帧为参考帧，第二帧相对于第一帧的相机外参由PTAM求出，假设分别是平移向量T₁，旋转矩阵为R₁。需要将旋转矩阵分解为绕x轴，y轴，z轴旋转的三个角度ψ₁,θ₁。计算公式如下：

$R_x\left(\mathrm{\ψ}\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\ψ}& \sin \mathrm{\ψ}\\ 0& -\sin \mathrm{\ψ}& \cos \mathrm{\ψ}\end{array}\right]---\left(1\right)$

$R_z\left(\mathrm{\θ}\right)=\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]---\left(3\right)$

第三帧相对于第二帧的相机外参由PTAM求出，假设分别是平移向量T₂，旋转矩阵为R₂。旋转矩阵分解出的三个角度分别是ψ₂,

θ₂，第三帧相对于第一帧的平移向量是T=T₁+T₂，三个旋转角度是：

再根据(4)式求解出第三帧相对于第一帧的旋转矩阵，以后每一帧相对于参考帧的相机外参都这样求解。

步骤三、假设一组含有遮挡物的图片序列中有n个不同的视角，分别是V₁,V₂,…,V_n，选取其中的一个视角作为参考视角V_ref。使用∏_i表示不同视角的成像平面。假设∏_des是想要获取的聚焦平面，点p_des表示∏_des上的一个二维点，在参考视角坐标系下对应的三维空间点p_ref为：

p_ref=p_des·size+o   (6)

其中，size表示在参考相机坐标系下∏_des中一个像素的大小，o表示∏_des在参考相机坐标系下的起始点。size由以下公式求取：

$\mathrm{size}=\left\{\begin{array}{c}\mathrm{sizeX}\\ \mathrm{sizeY}\end{array}\right\}=\±0.5\·(\left\{\begin{array}{c}w\\ h\end{array}\right\}/\left\{\begin{array}{c}{f}_x\\ f_y\end{array}\right\})\·\mathrm{depth}---\left(7\right)$

其中，w和h分别表示合成图像的宽和高，f_x和f_y表示焦距，depth表示聚焦平面的深度。计算p_ref在世界坐标系下的坐标。对p_ref的世界坐标利用针孔相机模型，得到其在每一个视角的成像平面上的点p'，具体计算如下：

$Z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=K\left[R\right|T]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(8\right)$

其中，K表示相机的内参，R和T表示当前帧的旋转矩阵和平移向量，(x,y)表示p'在成像平面上的坐标。

步骤四、在获取图片时，已经获取了图片中每个像素的深度信息和RGB信息，并且根据深度信息对像素做了标记，对所有的有效投影点获取平均RGB值，将该平均值作为聚焦平面上点的颜色值，获取虚拟聚焦平面上所有点的颜色值，生成目标的合成图像。

本发明的有益效果是：该方法直接从数据源入手，预先就给出被观测目标和遮挡物的深度信息，然后根据预先获取的深度信息，给予被观测目标和遮挡物不同的深度标记，利用深度标记去除投影之后错误的投影点，减少错误投影点对目标清晰度的负面影响，从而获取更加接近现实的目标图像。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于彩色深度融合的虚拟阵列合成孔径透视成像方法具体步骤如下：

1．对彩色图像和深度图像进行校正和数据源获取。

这里使用的是Kinect来获取彩色图像和深度图片，由于Kinect的彩色摄像机和红外投影仪不在同一个位置，所以就会产生一定的视差，视差会导致彩色图像和深度图像中的像素不对应。如果彩色图和深度图中本该对应的像素，却相差很大（一般大于10个像素），就会严重影响到合成孔径透视成像的效果。针对这种问题，就需要进行校正。

数据源获取方法是让单个Kinect在场景中自由移动来获取彩色图片和深度图片，然后利用Kinect SDK for Windows+OpenNI2+OpenCV将获取的图片信息、深度信息及RGB信息保存出来。由于已经预先知道被观测目标和遮挡物的深度范围，利用这些深度信息，就能够给予被观测目标和遮挡物不同的标记，为以后根据投影点的不同深度获取像素的RGB信息提供了基础。但是需要注意，OpenNI的图像数据并不与OpenCV的数据格式相同，所以需要转换为OpenCV可读取的图像格式。对于彩色图像，先将数据塞入OpenCV三通道(8位)RGB对象，再转换到BGR来进行保存。对于深度图像，先放入单通道（16位）对象（这是因为深度数据的值域较大），最后将深度值等比例缩小到[0,255]的值域中，作为灰度图进行保存。

2．相机标定。

使用PTAM（并行跟踪与绘制系统）系统做相机标定，对于相机内参的求解，首先使用人手持标定板，用相机拍摄各个角度的图片，然后使用PTAM（并行跟踪与绘制系统）的CameraCalibrator子模块对相机内参进行求解；对于相机外参的求解，需要注意的是，PTAM求解的相机外参是帧与帧之间的旋转矩阵和平移向量，而这里需要的相机外参是以某一帧为参考帧，之后每一帧的旋转矩阵和平移向量都是根据参考帧来求解，所以这里需要进行一步累加计算，具体过程如下：

假如以第一帧为参考帧，第二帧相对于第一帧的相机外参可由PTAM求出，假设分别是平移向量T₁，旋转矩阵为R₁。这里需要将旋转矩阵分解为绕x轴，y轴，z轴旋转的三个角度ψ₁

θ₁。计算公式如下：

$R_x\left(\mathrm{\ψ}\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\ψ}& \sin \mathrm{\ψ}\\ 0& -\sin \mathrm{\ψ}& \cos \mathrm{\ψ}\end{array}\right]---\left(1\right)$

$R_z\left(\mathrm{\θ}\right)=\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]---\left(3\right)$

第三帧相对于第二帧的相机外参也可由PTAM（并行跟踪与绘制系统）求出，假设分别是平移向量T₂，旋转矩阵为R₂。旋转矩阵分解出的三个角度分别是ψ₂,θ₂，第三帧相对于第一帧的平移向量是T=T₁+T₂，三个旋转角度是：

再根据(4)式求解出第三帧相对于第一帧的旋转矩阵，以后每一帧相对于参考帧的相机外参都这样求解。

3．获取聚焦平面上点在各个视角下的投影点。

假设一组含有遮挡物的图片序列中有n个不同的视角，分别是V₁,V₂,…,V_n，选取其中的一个视角作为参考视角V_ref。使用∏_i表示不同视角的成像平面。假设∏_des是想要获取的聚焦平面，点p_des表示∏_des上的一个二维点，在参考视角坐标系下对应的3维空间点p_ref为：

p_ref=p_des·size+o   (6)

其中，size表示在参考相机坐标系下∏_des中一个像素的大小，o表示∏_des在参考相机坐标系下的起始点。size由以下公式求取：

$\mathrm{size}=\left\{\begin{array}{c}\mathrm{sizeX}\\ \mathrm{sizeY}\end{array}\right\}=\±0.5\·(\left\{\begin{array}{c}w\\ h\end{array}\right\}/\left\{\begin{array}{c}{f}_x\\ f_y\end{array}\right\})\·\mathrm{depth}---\left(7\right)$

其中，w和h分别表示合成图像的宽和高，f_x和f_y表示焦距，depth表示聚焦平面的深度。计算p_ref在世界坐标系下的坐标。对p_ref的世界坐标利用针孔相机模型，得到其在每一个视角的成像平面上的点p'，具体计算如下：

$Z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=K\left[R\right|T]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(8\right)$

其中，K表示相机的内参，R和T表示当前帧的旋转矩阵和平移向量，(x,y)表示p'在成像平面上的坐标。

4．获取聚焦平面上点的颜色值。

在获取图片时，已经获取了图片中每个像素的深度信息和RGB信息，并且根据深度信息对像素做了标记，如果步骤3中投影点所处深度属于目标所处深度，就认为该投影点为有效投影点，获取该点所对应的RGB信息，同样方式获取其他有效投影点的值，对所有的有效投影点获取平均RGB值，将该平均值作为聚焦平面上点的颜色值。采用上述方法，获取虚拟聚焦平面上所有点的颜色值，生成目标的合成图像。

Claims (1)

1.一种基于彩色深度融合的虚拟阵列合成孔径透视成像方法，其特征在于包括以下步骤：

步骤一、采用Kinect获取彩色图像和深度图片，然后利用Kinect SDK forWindows+OpenNI2+OpenCV将获取的图片信息、深度信息及RGB信息保存；将OpenNI的图像数据格式转换为OpenCV的数据格式相同；对于彩色图像，先将数据塞入OpenCV三通道RGB对象，再转换到BGR进行保存；对于深度图像，先放入单通道对象，最后将深度值等比例缩小到[0,255]的值域中，作为灰度图进行保存；

步骤二、使用PTAM系统做相机标定，对于相机内参的求解，首先使用人手持标定板，用相机拍摄各个角度的图片，然后使用PTAM的CameraCalibrator子模块对相机内参进行求解；对于相机外参的求解，进行一步累加计算：

假如以第一帧为参考帧，第二帧相对于第一帧的相机外参由PTAM求出，假设分别是平移向量T₁，旋转矩阵为R₁；需要将旋转矩阵分解为绕x轴，y轴，z轴旋转的三个角度ψ₁,

θ₁；计算公式如下：

$R_x\left(\mathrm{\ψ}\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\ψ}& \sin \mathrm{\ψ}\\ 0& -\sin \mathrm{\ψ}& \cos \mathrm{\ψ}\end{array}\right]---\left(1\right)$

$R_z\left(\mathrm{\θ}\right)=\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]---\left(3\right)$

第三帧相对于第二帧的相机外参由PTAM求出，假设分别是平移向量T₂，旋转矩阵为R₂；旋转矩阵分解出的三个角度分别是ψ₂,θ₂，第三帧相对于第一帧的平移向量是T=T₁+T₂，三个旋转角度是：

再根据(4)式求解出第三帧相对于第一帧的旋转矩阵，以后每一帧相对于参考帧的相机外参都这样求解；

步骤三、假设一组含有遮挡物的图片序列中有n个不同的视角，分别是V₁,V₂,…,V_n，选取其中的一个视角作为参考视角V_ref；使用∏_i表示不同视角的成像平面；假设∏_des是想要获取的聚焦平面，点p_des表示∏_des上的一个二维点，在参考视角坐标系下对应的三维空间点p_ref为：

p_ref=p_des·size+o   (6)

其中，size表示在参考相机坐标系下∏_des中一个像素的大小，o表示∏_des在参考相机坐标系下的起始点；size由以下公式求取：

$\mathrm{size}=\left\{\begin{array}{c}\mathrm{sizeX}\\ \mathrm{sizeY}\end{array}\right\}=\±0.5\·(\left\{\begin{array}{c}w\\ h\end{array}\right\}/\left\{\begin{array}{c}{f}_x\\ f_y\end{array}\right\})\·\mathrm{depth}---\left(7\right)$

其中，w和h分别表示合成图像的宽和高，f_x和f_y表示焦距，depth表示聚焦平面的深度；计算p_ref在世界坐标系下的坐标；对p_ref的世界坐标利用针孔相机模型，得到其在每一个视角的成像平面上的点p'，具体计算如下：

$Z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=K\left[R\right|T]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(8\right)$

其中，K表示相机的内参，R和T表示当前帧的旋转矩阵和平移向量，(x,y)表示p'在成像平面上的坐标；

步骤四、在获取图片时，已经获取了图片中每个像素的深度信息和RGB信息，并且根据深度信息对像素做了标记，对所有的有效投影点获取平均RGB值，将该平均值作为聚焦平面上点的颜色值，获取虚拟聚焦平面上所有点的颜色值，生成目标的合成图像。