CN104156972A - 基于激光扫描测距仪与多相机融合的透视成像方法 - Google Patents

Abstract

本发明涉及一种基于激光扫描测距仪与多相机融合的透视成像方法，摒弃了传统方法只采用图像传感器的方式，在使用图像传感器获取图像信息的基础上引入了激光扫描测距仪获取场景的点云数据，利用点云数据获取场景的深度信息，根据深度信息进行聚焦深度的选择，减少时间复杂度。同时本发明利用场景的深度信息，可以对获得的投影点进行筛选，提高透视成像结果的清晰度。由于本发明采用全景相机获取场景的图像信息，同时获取多视角的图像，因此能够获取多视角透视成像结果。本发明在自建数据库上进行测试结果，测试结果显示本方法能够快速有效的得到更清晰的多视角透视成像结果。

Description

基于激光扫描测距仪与多相机融合的透视成像方法

技术领域

本发明涉及一种合成孔径透视成像方法，特别是一种基于激光扫描测距仪与多相机融合的透视成像方法。

背景技术

相机阵列透视成像是计算机视觉领域的一个重要研究课题，在视频监控、隐藏目标探测等方面具有广泛的应用。文献“Synthetic Aperture Imaging using Pixel Labeling viaEnergy Minimization,PR,46(1):174-187,2013”公开了一种基于能量最小化像素标记的合成孔径成像方法。该方法将透视成像转化为前景点/非前景点的分类问题，首先对每个相机视角下的像素利用能量最小化方法标记属于遮挡物的前景像素点，然后，在给定聚焦深度对非前景像素点进行平均，获得遮挡目标透视成像。虽然这种方法能够对指定深度目标的透视成像，但是由于该方法采用了能量最小化像素标记的方式进行前景的标记工作，需要进行大量的计算，因此时间复杂度高。同时，由于标记的精度问题，使得前景的标记工作存在较大误差，影响透视成像的清晰度。此外，该方法只进行了传统的单镜头的透视成像工作，对于大场景多视角的透视成像不具有适用性。

发明内容

要解决的技术问题

为了避免现有技术的成像方法透视成像不够清晰、时间复杂度较高、无法完成多视角透视成像的缺点，本发明提出一种基于激光扫描测距仪与多相机融合的透视成像方法。

技术方案

一种基于激光扫描测距仪与多相机融合的透视成像方法，其特征在于步骤如下：

步骤1：确定以激光扫描测距仪载台中心为世界坐标系原点的世界坐标系，测量激光扫描测距仪A、B和C的二维扫描坐标系的原点到世界坐标系的距离和偏转角度，计算激光扫描测距仪扫描获取的二维点云到世界坐标系的旋转矩阵和平移矩阵，完成激光扫描测距仪的标定；

步骤2：对激光扫描测距仪A在t时刻采集的目标点云集P_t中每个点的领域进行高斯分布统计分析，删除不符合高斯分布的离群点，获得目标点集P'_t；使用KD-tree方法对激光扫描测距仪A在t-1时刻采集的点集P_t-1构建拓扑结构，利用点集P'_t查找点集P_t-1中对应的临近点，获得参考点集P_t-1'；使用ICP算法获取目标点集P'_t到参考点集P_t-1'的2x2的旋转矩阵R_t'和2x1的平移矩阵T_t'，计算点集P_t投影到全局世界坐标系的旋转矩阵R_t＝R_t-1R'_t，平移矩阵T_t＝R_t·T_t'+T_t-1，其中R_t-1、T_t-1分别为点集P_t-1'到全局世界坐标系的旋转矩阵和平移矩阵，将点集P_t投影到全局世界坐标系中，获取二维地图；

步骤3：利用张氏标定法对第0-5号相机的镜头进行内参标定，获取内参矩阵K₀,K₁,K₂,K₃,K₄,K₅；

步骤4：利用黑白格标定板方法，计算标定平面参数N，采用标准线性最小二乘法计算矩阵H：

$N\·H{\hat{P}}^l={\left|\right|N\left|\right|}^2$

通过H计算第0号镜头相对于激光扫描测距仪A的标准正交方向矩阵以及位置向量利用非线性优化算法进一步优化方向矩阵以及位置向量同样方法得到第1号镜头与激光扫描测距仪B的标准正交方向矩阵以及位置向量第4号镜头与激光扫描测距仪C的标准正交方向矩阵以及位置向量

步骤5：根据二维地图构建过程中所获取的点集P_t ^A到全局世界坐标系的旋转矩阵R_t以及平移矩阵T_t，所述的P_t ^A为激光扫描测距仪A在t时刻获取激光点云集合，则在t时刻相机视角对应的位姿参数为：

$R_c=\left[\begin{array}{cc}{R}_t& 0\\ 0& 1\end{array}\right],T_c={\left[\begin{array}{cc}{T}_t& 0\end{array}\right]}^T$

步骤6：利用二维地图构建过程中使用的ICP算法，获取激光扫描测距仪B或C在t时刻采集的点集P_ti ^s(i＝1,2,…,n.s＝B,C)到上一组点集P_t0 ^s(s＝B,C)所在坐标系的旋转矩阵R_ti0 ^s和T_ti0 ^s，计算变换后的点集及

$\widehat{P_{\mathrm{ti}}^s}={R_{\mathrm{ti}0}}^s\·{P_{\mathrm{ti}}}^s+{T_{\mathrm{ti}0}}^s,(i=\mathrm{1,2},...,n.s=B,C)$

计算及到第1号镜头及第4号镜头的相机坐标系中的对应点集合：

$\widehat{P_{\mathrm{ti}}^B}=\left[\begin{array}{cc}{R}_{c1}^l& T_{c1}^l\\ 0& 1\end{array}\right]P^{c1}$

$\widehat{P_{\mathrm{ti}}^C}=\left[\begin{array}{cc}{R}_{c4}^l& T_{c4}^l\\ 0& 1\end{array}\right]P^{c4}$

根据小孔成像模型P_img＝KP_c获取点集P_t1 ^B,P_t2 ^B,…,P_tn ^B以及P_t1 ^C,P_t2 ^C,…,P_tn ^C在彩色图像上的对应像素坐标，K表示相机内参标定获取的相机内参矩阵；从而得到点云数据的彩色纹理信息，实现点云数据与图像数据的融合，获取图像数据中部分像素所对应的深度信息；

步骤7：计算聚焦平面Π_des上的像素点p_des(x,y)在参考视角坐标系下对应的3维空间点p_ref为：

p_ref＝p_des·step+ws

其中step表示在参考视角坐标系下Π_des中一个像素的大小，ws表示Π_des在参考视角坐标系下的起始点，所述的参考视角为每个相机采集的第一帧图像；step可以由以下公式求取：

$\mathrm{step}=\left[\begin{array}{c}\mathrm{stepx}\\ \mathrm{stepy}\end{array}\right]=\±0.5*(\left[\begin{array}{c}w\\ h\end{array}\right]/\left[\begin{array}{c}{f}_x\\ f_y\end{array}\right])*\mathrm{dep}$

其中w和h分别表示合成图像的宽和高，f_x和f_y表示相机的焦距，dep表示聚焦平面的深度，计算p_ref在世界坐标系下的对应点p_w：

p_w＝R_ref·p_ref+T_ref

其中R_ref表示参考视角的旋转矩阵，T_ref表示参考视角的平移矩阵，通过对p_w利用针孔相机模型进行投影变换，得到像素点p_des(x,y)在每一个视角下对应的点p_i'，并组成一个点集合表示为P'＝{p₁',p₂',…,p_n'}：

$s*\left[\begin{array}{c}{p_i}^{\′}\\ 1\end{array}\right]=K\·\left[R_i\right|T_i]\·\left[\begin{array}{c}{p}_w\\ 1\end{array}\right]$

其中[R_i|T_i]为第i个视角的旋转矩阵和平移矩阵，如果p_i'在成像平面Π_i上，则可以获得这个点的RGB值，记为c_j，以及深度值d_j，同样方法获取所有投影点的像素值，组成颜色值集合C_des＝{c₁,c₂,…,c_n}和深度值集合D_des＝{d₁,d₂,…,d_n}，根据深度值信息，去除不合理的投影点，采用求取平均值的方式，获取点p_des(x,y)的颜色值，得到遮挡目标的透视成像。

有益效果

本发明提出的一种基于激光扫描测距仪与多相机融合的透视成像方法，利用激光扫描测距仪获取场景的点云信息，同时融合全景相机获取的场景彩色图像信息，利用合成孔径成像方法，可以更快速的获取更清晰透视成像结果。由于全景相机可以采集全视角的全景图像，因此本算法能够获取多视角的透视成像结果。在自建数据库上的测试结果显示，本发明能够快速有效的得到更清晰的多视角透视成像结果。

具体实施方式

现结合实施例对本发明作进一步描述：

1、多激光扫描测距仪标定

本发明使用三台激光扫描测距仪获取场景的二维点云数据，其中激光扫描测距仪A(前扫描)用于进行二维地图构建，激光扫描测距仪B(左侧扫描)用于场景左侧点云数据获取，激光扫描测距仪C(右侧扫描)用于场景右侧点云数据获取。

首先根据实验平台的设计信息，确定激光扫描测距仪的世界坐标系(本发明选取激光扫描测距仪载台中心为世界坐标系原点)。然后根据扫描测距仪的布局信息，测量获取单台扫描测距仪的二维扫描坐标系的原点到世界坐标系的距离、偏转角度等信息，计算得到激光扫描测距仪扫描获取的二维点云到世界坐标系的旋转矩阵和平移矩阵，完成激光扫描测距仪的标定。

2、二维地图构建

激光扫描测距仪A(本发明使用的激光扫描测距仪为德国SICK LMS511-10100型，扫描频率为50HZ，扫描角度为-5°～185°，角分变率为0.5°)在t时刻采集的目标点云集P_t中每个点的领域进行统计分析，对于配个点p，计算该点到其所有临近点的平均距离。假设的得到的结果是一个高斯分布，其形状由均值和标准差决定，平均距离在标准范围(由全局距离平均值和方差定义)之外的点，定义为离群点并从数据集中删除，获得目标点集P'_t。

使用KD-tree方法对激光扫描测距仪A在t-1时刻采集的点集P_t-1构建拓扑结构，利用点集P'_t查找点集P_t-1中对应的临近点，获得参考点集P_t-1'。

以数据开始采集时刻数据采集平台所处位置的激光扫描测距仪世界坐标系为全局世界坐标系，使用ICP算法获取目标点集P'_t到参考点集P_t-1'的2x2的旋转矩阵R_t'和2x1的平移矩阵T_t'，设点集P_t-1'到全局世界坐标系的旋转矩阵为R_t-1，平移矩阵为T_t-1，则点集P_t投影到全局世界坐标系的旋转矩阵为R_t＝R_t-1R_t'，平移矩阵为T_t＝R_t·T_t'+T_t-1。将点集P_t投影到全局世界坐标系中，获取二维地图。

3、相机内参标定

该部分主要由现有的技术完成，在内部参数的标定方法中，以基于二维标定板的标定方法最为成熟，其实现条件简单且精度较好，本发明中采用12行9列的二维平面标定板，其中格子尺寸为2cm×2cm，利用张氏标定法对全景相机中的单相机进行标定，该标定方法以若干不同姿态的标定板图像作为输入，利用检测到的标定板上角点的图像坐标来计算相机的内部参数以及畸变系数，完成相机内参标定。按照此方法，依次完成六个相机镜头的相机内参标定工作，获取内参矩阵K₀,K₁,K₂,K₃,K₄,K₅。

4、彩色相机与激光扫描测距仪的联合标定

根据坐标变换理论可知，将相机坐标转换为扫描测距仪坐标可以利用如下公式：

$P^l=\left[\begin{array}{cc}{R}_c^l& T_c^l\\ 0& 1\end{array}\right]P^c---\left(4\right)$

$P^l=H_c^l{P}^c---\left(5\right)$

$H_c^l=\left[\begin{array}{cc}{R}_c^l& T_c^l\\ 0& 1\end{array}\right]---\left(6\right)$

其中P^l为激光扫描测距仪获取的点云坐标，为彩色相机与激光扫描测距仪之间的旋转矩阵，为两者之间的平移矩阵。

由于平面在三维坐标系中可以用它的法线表示，因此标定板平面可以表示其中N表示平行于法线并且大小等于相机到标定板的距离。因为从相机中估计的激光点云必须处于标定板上，因此可得如下几何约束：

$N\·{\left(R_c^l\right)}^{-1}(P^l-T_c^l)={\left|\right|N\left|\right|}^2---\left(7\right)$

其中P^l为激光扫描测距仪获取的点云坐标，利用公式(4)可知，P^l在相机参考帧中的对应点由于点P^c在标定板平面上，因此有N·P^c＝||N||²，进而得到该几何约束。

由于激光扫描测距仪所得到的点为2维点，令点P^l＝[x y z 1]^T，则点P^l可以进一步化简为 ${\hat{P}}^l={\left[\begin{array}{ccc}x& z& 1\end{array}\right]}^T,$ 公式(7)就可以表示为：

$N\·H{\hat{P}}^l={\left|\right|N\left|\right|}^2---\left(8\right)$

其中 $H={\left(R_c^l\right)}^{-1}\left(\begin{array}{cc}1& 0\\ 0& 0-T_c^l\\ 0& 1\end{array}\right),$ 且是一个能够将激光扫描测距仪坐标系变换为相机坐标系的3x3矩阵，将H用向量表示为H＝[H₁,H₂,H₃]，其中H_i表示H矩阵中的第i行。对于不同位置的标定板，本算法能够得到不同的线性公式，从而采用线性最小二乘法解得H。一旦获取H，就能够根据公式(9)和公式(10)获取得到第0号镜头相对于激光扫描测距仪的标准正交方向矩阵以及位置向量

$R_{c0}^l={[H_1,-H_1\×H_2,H_2]}^T---\left(9\right)$

$T_{c0}^l=-{[H_1,-H_1\×H_2,H_2]}^T{H}_3---\left(10\right)$

同理，获取第1号镜头与激光扫描测距仪B的标准正交方向矩阵以及位置向量以及第4号镜头与激光扫描测距仪C的标准正交方向矩阵以及位置向量

5、相机位姿估计

相机位姿估计将主要获取相机坐标系相对于世界坐标系的旋转矩阵R_c以及平移矩阵T_c。由于数据采集过程中，数据采集平台的运动被固定在水平平面内，因此R_c和T_c将满足以下形式：

$R_c=\left[\begin{array}{ccc}{r}_1& r_2& 0\\ r_3& r_4& 0\\ 0& 0& 1\end{array}\right],T_c=\left[\begin{array}{c}{r}_1\\ r_2\\ 0\end{array}\right]---\left(11\right)$

其中r_i和t_i分别表示R_c矩阵和矩阵T_c中的不同参数。

已知数据采集平台在t时刻采集获取多视角图像I_t0,I_t1,I_t2,I_t3,I_t4,I_t5以及激光点云集合P_t ^A(A表示激光扫描测距仪A获取的激光点云)。根据二维地图构建过程中所获取的点集P_t ^A到全局世界坐标系的旋转矩阵R_t以及平移矩阵T_t，则在t时刻相机视角对应的位姿参数为： $R_c=\left[\begin{array}{cc}{R}_t& 0\\ 0& 1\end{array}\right],T_c={\left[\begin{array}{cc}{T}_t& 0\end{array}\right]}^T.$

6、点云数据与图像数据融合

本发明使用Ladybug5全景相机获取多视角图像，图像采集频率为每秒1帧，令数据采集平台在t时刻采集获取多视角图像I_t0,I_t1,I_t2,I_t3,I_t4,I_t5以及激光点云集合P_t0 ^B和P_t0 ^C(B表示激光扫描测距仪B获取的激光点云，C表示激光扫描测距仪C获取的激光点云)，在进行下一组图像采集时，激光扫描测距仪获取的点云集合记为P_t1 ^B,P_t2 ^B,…,P_tn ^B以及P_t1 ^C,P_t2 ^C,…，P_tn ^C。利用二维地图构建过程中使用的ICP算法，获取点集P_ti ^s(i＝1,2,…,n.s＝B,C)到点集P_t0 ^s(s＝B,C)所在坐标系的旋转矩阵R_ti0 ^s和T_ti0 ^s，根据公式(12)：

$\widehat{P_{\mathrm{ti}}^s}={R_{\mathrm{ti}0}}^s\·{P_{\mathrm{ti}}}^s+{T_{\mathrm{ti}0}}^s,(i=\mathrm{1,2},...,n.s=B,C)---\left(12\right)$

获取变换后的点集及

已知第1号镜头与激光扫描测距仪B的标准正交方向矩阵以及位置向量以及第4号镜头与激光扫描测距仪C的标准正交方向矩阵以及位置向量则通过公式(4)可以获取点集及到第1号镜头及第4号镜头的相机坐标系中的对应点集合。由于可以将相机的成像模型看成小孔成像模型，因此根据小孔成像模型有：

P_img＝KP_c          (13)

其中K表示相机内参标定获取的相机内参矩阵，由公式(13)获取点集P_t1 ^B,P_t2 ^B,…,P_tn ^B以及P_t1 ^C,P_t2 ^C,…，P_tn ^C在彩色图像上的对应像素坐标，建立点云数据与图像中像素点的对应关系，从而得到点云数据的彩色纹理信息，进而获取图像数据中部分像素所对应的深度信息(即像素点对应的点云的深度信息)。

7、遮挡目标透视成像

根据点云数据与图像数据融合结果(即点云数据与图像数据中像素点的对应结果)，选择隐藏目标所在深度为聚焦深度，记为d，聚焦平面记为Π_des且平行于选取的参考视角。假设在含有隐藏目标的图像序列中共有n个不同的视角，记为V₁,V₂,…,V_ref,…,V_n，V_ref是选取的参考视角，Π_i表示不同视角下的成像平面。设点p_des(x,y)表示Π_des上的像素点，因此在参考视角坐标系下对应的3维空间点p_ref为：

p_ref＝p_des·step+ws        (14)

其中step表示在参考相机坐标系下Π_des中一个像素的大小，ws表示Π_des在参考相机坐标系下的起始点。step可以由以下公式求取：

$\mathrm{step}=\left[\begin{array}{c}\mathrm{stepx}\\ \mathrm{stepy}\end{array}\right]=\±0.5*(\left[\begin{array}{c}w\\ h\end{array}\right]/\left[\begin{array}{c}{f}_x\\ f_y\end{array}\right])*\mathrm{dep}---\left(15\right)$

其中w和h分别表示合成图像的宽和高，f_x和f_y表示焦距，dep表示聚焦平面的深度。根据公式(3)得到点p_ref在世界坐标系下的对应点p_w：

p_w＝R_ref·p_ref+T_ref        (16)

其中R_ref表示参考相机的旋转矩阵，T_ref表示参考相机的平移矩阵。通过对p_w利用针孔相机模型进行投影变换，得到像素点p_des(x,y)在每一个视角下对应的点p_i'，并组成一个点集合表示为P'＝{p₁',p₂',…,p_n'}：

$s*\left[\begin{array}{c}{p_i}^{\′}\\ 1\end{array}\right]=K\·\left[R_i\right|T_i]\·\left[\begin{array}{c}{p}_w\\ 1\end{array}\right]---\left(17\right)$

其中K表示相机内参矩阵，[R_i|T_i]为第i个视角的旋转矩阵和平移矩阵。如果p_i'在成像平面Π_i上，则可以获得这个点的RGB值，记为c_j，以及深度值d_j。同样可以获取所有投影点的像素值，组成颜色值集合C_des＝{c₁,c₂,…,c_n}和深度值集合D_des＝{d₁,d₂,…,d_n}。根据深度值信息，去除不合理的投影点，采用求取平均值的方式，获取点p_des(x,y)的颜色值。

根据以上方法，获取聚焦平面Π_des上所有点的颜色值，得到遮挡目标的透视成像结果。

Claims (1)

1.一种基于激光扫描测距仪与多相机融合的透视成像方法，其特征在于步骤如下：

步骤1：确定以激光扫描测距仪载台中心为世界坐标系原点的世界坐标系，测量激光扫描测距仪A、B和C的二维扫描坐标系的原点到世界坐标系的距离和偏转角度，计算激光扫描测距仪扫描获取的二维点云到世界坐标系的旋转矩阵和平移矩阵，完成激光扫描测距仪的标定；

步骤2：对激光扫描测距仪A在t时刻采集的目标点云集P_t中每个点的领域进行高斯分布统计分析，删除不符合高斯分布的离群点，获得目标点集P'_t；使用KD-tree方法对激光扫描测距仪A在t-1时刻采集的点集P_t-1构建拓扑结构，利用点集P'_t查找点集P_t-1中对应的临近点，获得参考点集P_t-1'；使用ICP算法获取目标点集P'_t到参考点集P_t-1'的2x2的旋转矩阵R_t'和2x1的平移矩阵T_t'，计算点集P_t投影到全局世界坐标系的旋转矩阵R_t＝R_t-1R_t'，平移矩阵T_t＝R_t·T_t'+T_t-1，其中R_t-1、T_t-1分别为点集P_t-1'到全局世界坐标系的旋转矩阵和平移矩阵，将点集P_t投影到全局世界坐标系中，获取二维地图；

步骤3：利用张氏标定法对第0-5号相机的镜头进行内参标定，获取内参矩阵K₀,K₁,K₂,K₃,K₄,K₅；

步骤4：利用黑白格标定板方法，计算标定平面参数N，采用标准线性最小二乘法计算矩阵H：

$N\·H{\hat{P}}^l={\left|\right|N\left|\right|}^2$

通过H计算第0号镜头相对于激光扫描测距仪A的标准正交方向矩阵以及位置向量利用非线性优化算法进一步优化方向矩阵以及位置向量同样方法得到第1号镜头与激光扫描测距仪B的标准正交方向矩阵以及位置向量第4号镜头与激光扫描测距仪C的标准正交方向矩阵以及位置向量

步骤5：根据二维地图构建过程中所获取的点集P_t ^A到全局世界坐标系的旋转矩阵R_t以及平移矩阵T_t，所述的P_t ^A为激光扫描测距仪A在t时刻获取激光点云集合，则在t时刻相机视角对应的位姿参数为：

$R_c=\left[\begin{array}{cc}{R}_t& 0\\ 0& 1\end{array}\right],T_c={\left[\begin{array}{cc}{T}_t& 0\end{array}\right]}^T$

步骤6：利用二维地图构建过程中使用的ICP算法，获取激光扫描测距仪B或C在t时刻采集的点集P_ti ^s(i＝1,2,…,n.s＝B,C)到上一组点集P_t0 ^s(s＝B,C)所在坐标系的旋转矩阵R_ti0 ^s和T_ti0 ^s，计算变换后的点集及

$\widehat{P_{\mathrm{ti}}^s}={R_{\mathrm{ti}0}}^s\·{P_{\mathrm{ti}}}^s+{T_{\mathrm{ti}0}}^s,(i=\mathrm{1,2},...,n.s=B,C)$

计算及到第1号镜头及第4号镜头的相机坐标系中的对应点集合：

$\widehat{P_{\mathrm{ti}}^B}=\left[\begin{array}{cc}{R}_{c1}^l& T_{c1}^l\\ 0& 1\end{array}\right]P^{c1}$

$\widehat{P_{\mathrm{ti}}^C}=\left[\begin{array}{cc}{R}_{c4}^l& T_{c4}^l\\ 0& 1\end{array}\right]P^{c4}$

根据小孔成像模型P_img＝KP_c获取点集P_t1 ^B,P_t2 ^B,…,P_tn ^B以及P_t1 ^C,P_t2 ^C,…,P_tn ^C在彩色图像上的对应像素坐标，K表示相机内参标定获取的相机内参矩阵；从而得到点云数据的彩色纹理信息，实现点云数据与图像数据的融合，获取图像数据中部分像素所对应的深度信息；

步骤7：计算聚焦平面Π_des上的像素点p_des(x,y)在参考视角坐标系下对应的3维空间点p_ref为：

p_ref＝p_des·step+ws

其中step表示在参考视角坐标系下Π_des中一个像素的大小，ws表示Π_des在参考视角坐标系下的起始点，所述的参考视角为每个相机采集的第一帧图像；step可以由以下公式求取：

$\mathrm{step}=\left[\begin{array}{c}\mathrm{stepx}\\ \mathrm{stepy}\end{array}\right]=\±0.5*(\left[\begin{array}{c}w\\ h\end{array}\right]/\left[\begin{array}{c}{f}_x\\ f_y\end{array}\right])*\mathrm{dep}$

其中w和h分别表示合成图像的宽和高，f_x和f_y表示相机的焦距，dep表示聚焦平面的深度，计算p_ref在世界坐标系下的对应点p_w：

p_w＝R_ref·p_ref+T_ref

其中R_ref表示参考视角的旋转矩阵，T_ref表示参考视角的平移矩阵，通过对p_w利用针孔相机模型进行投影变换，得到像素点p_des(x,y)在每一个视角下对应的点p_i'，并组成一个点集合表示为P'＝{p₁',p₂',…,p_n'}：

$s*\left[\begin{array}{c}{p_i}^{\′}\\ 1\end{array}\right]=K\·\left[R_i\right|T_i]\·\left[\begin{array}{c}{p}_w\\ 1\end{array}\right]$

其中[R_i|T_i]为第i个视角的旋转矩阵和平移矩阵，如果p_i'在成像平面Π_i上，则可以获得这个点的RGB值，记为c_j，以及深度值d_j，同样方法获取所有投影点的像素值，组成颜色值集合C_des＝{c₁,c₂,…,c_n}和深度值集合D_des＝{d₁,d₂,…,d_n}，根据深度值信息，去除不合理的投影点，采用求取平均值的方式，获取点p_des(x,y)的颜色值，得到遮挡目标的透视成像。