CN104408689B - 基于全景影像的街景面片优化方法 - Google Patents

Abstract

本发明公开了一种基于全景影像的街景面片优化方法，包括以下步骤：步骤1：获取车载LiDAR点云数据和全景影像，并将全景影像与车载LiDAR点云数据进行配准；步骤2：将车载LiDAR点云数据分割为多个面片，获得面片与全景影像站点的对应关系，将面片投影到全景影像上，得到面片对应的透视平面影像；步骤3：对透视平面影像进行分析，删除树木点，并进行面片拉伸。本发明基于全景影像优化街景面片，在点云数据的结果上进一步提高面片的精度和准确度。

Description

基于全景影像的街景面片优化方法

技术领域

本发明涉及全景影像处理技术领域，特别是涉及一种基于全景影像的街景面片优化方法。

背景技术

随着三维扫描技术的发展，虽然很多地面激光扫描仪可通过内置相机同步获取扫描点的纹理，但是其分辨率、摄影方式、精准度等均不能满足应用的需要。而全景成像技术是一种超广角视野表达方式，它包含了比图像序列更直观、更完整的场景信息。由于车载LiDAR扫描系统的扫描角度限制，基于车载LiDAR点云数据提取的较高的建筑物街景面片不准确，需对面片进行拉伸处理。利用全景影像优化街景面片涉及到几种关键技术：车载LiDAR点云数据与全景图的配准技术，全景影像到平面影像的投影技术,面片拉伸技术。

车载LiDAR点云数据与全景图的配准技术：目前，关于点云数据和CCD影像的配准已经有很多研究成果，包括共线方程解法、直接线性变换法、角锥体法等。激光点云和光学全景影像的配准在此基础上有很多改进方法，如基于罗德里格矩阵和共线方程方法，该方法利用车载GPS/IMU获取全景影像投影中心的位置初始值，采用共线条件方程描述全景投影中心、全景影像像点与同名激光点云间的几何关系，并将罗德里格矩阵引入到配准参数的解算中，从而实现车载激光点云与全景影像的高精度配准。

全景影像到平面影像的投影技术：全景技术按投影方式的不同全景技术分为以下四类，柱形全景、球形全景、立方体全景、对象全景。针对球面投影，采用双线性差值法；柱形全景是目前较为理想的选择，基于单点投影，将多幅待拼接图像投影到一个柱面。

目前，还未有公开的基于全景影像优化面片的理论。

考虑到获取点云数据时、提取面片时、点云与全景影像配准时都会产生误差，为保证基于全景影像明显的特征信息以及丰富的光谱信息，对街景面片进行优化，能提高面片的精度与准确度，故本发明对全景影像的拼接质量有一定的要求。

发明内容

本发明要解决的技术问题在于针对现有技术中的上述缺陷，提供一种基于全景影像的街景面片优化方法。

本发明解决其技术问题所采用的技术方案是：

本发明产生的有益效果是：本发明通过将点云数据与全景影像进行配准，再将面片投影到全景影像上，得到面片对应的透视平面影像；并对透视平面影像进行分析，删除树木点，并进行面片拉伸，提高了街景面片的精度。本发明基于全景影像优化街景面片，在点云数据的结果上进一步提高面片的精度和准确度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例基于全景影像优化面片方法中步骤2的流程图；

图2是本发明实施例基于全景影像优化面片方法中步骤3的流程图；

图3是本发明实施例面片优化效果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明所采用的技术方案提供了一种基于全景影像优化街景面片的方法，如图1所示，包括以下步骤：

步骤1，车载LiDAR点云数据与全景图的配准，利用共线方程原理进行配准，获得全景相机在大地坐标系中的外方位元素。根据每张照片拍摄瞬间的POS系统的位置和姿态，结合全景影像与POS系统(提供高精度的定位定向数据)的相对位置关系和姿态数据，恢复每张影像的外方位元素，过程如下：包括以下子步骤：

步骤1.1，计算大地坐标系到POS系统的旋转矩阵R_M2P：

式中，dR_i ^c＝cos(dR_i)，dR_i ^s＝sin(dR_i)，i＝x,y,z，dR_x，dR_y和dR_z分别为POS系统记载的测量车在大地坐标系下的方位角、滚动角和俯仰角。

步骤1.2，计算POS系统到全景相机的旋转矩阵R_P2Cam：

式中，R_i ^c＝cos(R_i)，R_i ^s＝sin(R_i)，i＝x,y,z，R_x、R_y和R_z分别为全景相机在车体坐标系下的三个旋转角度值。

步骤1.3，计算大地坐标系到全景相机中心的旋转矩阵R_M2Cam，恢复相机拍摄瞬间三个姿态角，根据R_M2Cam旋转矩阵计算出相机拍摄瞬间三个姿态角R_x、R_y和R_z，由此便得到了全景相机在大地坐标系中的角元素。

步骤1.4，计算全景相机中心在大地坐标系中的坐标:

[X_s,Y_s,Z_s]＝R_M2Cam×[d_x,d_y,d_z]+[X,Y,Z],

式中：d_x,d_y和d_z分别为全景相机在车体坐标系下的偏移，X,Y,Z分别为POS系统记载的测量车在大地坐标系下的三维坐标，由此便得到了全景相机在大地坐标系中的线元素。

步骤2，面片对应全景影像并投影至平面影像，包括以下步骤：

步骤2.1，面片信息初始化，将面片和全景影像对应。得到面片的集合{P_i,i＝1,2,…,N}，N为面片的总数之后，在已知每个站点(全景相机位置)的坐标的情况下可以得到面片与全景影像之间的对应关系。过程如下：

步骤2.1.1，计算出每个面片的中心点X_c的三维坐标，然后遍历所有站点，找到与当前面片最近的一个站点S_min，计算X_c与S_min之间的距离d，若d>d_th(d_ch为设定的距离阈值)，则认为该面片为无效面片；若d<d_th，则记录下S_min站点的ID号。若该面片的宽度小于d/λ(λ为设定的缩放参数)，且面片的高宽比(高度/宽度)大于ε(ε为设定的阈值)，则该面片是无效面片。

步骤2.1.2，找到S_min的下一个站点，以这两个站点之间距离向量在水平面上的投影作为当前道路的方向D_r，当前面片的宽对应的向量在水平面上的投影作为方向D_p，计算两者之间的夹角θ，若θ<δ₁，则该面片平行于当前道路；若θ>δ₂，其中，δ₁，δ₂为设定的阈值，则该面片垂直于当前道路；否则该面片既不平行又不垂直于当前道路。

步骤2.1.3，对于每一个站点S_i，遍历每一个面片P_j，计算S_i与P_j之间的距离d_ij以及夹角θ_ij，如果θ_ij<90°并且d_ij<d_th，则认为面片P_j在站点S_i上是可视的，记录下来。

步骤2.1.4，对于每一个面片P寻找其对应的最佳成像站点。首先找到其最邻近站点S_min前后各3个站点，共7个站点，然后将当前面片投影到每一个站点上，得到投影参数信息，具体方法如下：

步骤2.1.4.1，计算大地坐标[X,Y,Z]^T到当前站点坐标[X′,Y′,Z′]^T的转换关系：

式中，和分别为当前站点所对应的全景相机的三个姿态角R_x、R_y和R_z所对应旋转矩阵，X_s,Y_s和Z_s分别为全景相机在大地坐标系中坐标。需要说明的是，本系统中站点坐标所在的车体坐标系是以车头方向为Y轴正方向，以竖直向上为Z轴正方向的右手坐标系。

步骤2.1.4.2，在P_j的四条边上各取N个点，计算每一个点X＝[X′,Y′,Z′]^T在当前站点下的方位角α和俯仰角β：

步骤2.1.4.3，找到P中竖直边上的点中方位角α的最大最小值，作为P在当前站点上水平方向上的视场角fov_x，最大最小值的平均值作为P的方向角θ_x；找到P中水平边上的点里面俯仰角β的最大最小值，作为P在当前站点上竖直方向上的视场角fov_y，最大最小值的平均值作为P的俯仰角θ_y。

步骤2.1.4.4，构造一个虚拟的像平面p，设置初始的焦距f，根据fov_x和fov_y计算出P投影到像平面p上的图像的宽w和高h：

w＝2×f×tan(fov_x/2),

h＝2×f×tan(fov_y/2).

步骤2.1.4.5，对得到的图像进行缩放，缩放系数为其中I_th为影像大小的阈值。将f，w和h乘以ε得到最终的投影参数信息：w、h、fov_x、fov_y、θ_x、θ_y和f。

步骤2.1.4.6，对P在当前站点上进行遮挡分析。对P的最邻近站点S_min前后7个站点都进行投影参数计算和遮挡分析，选取没有遮挡的站点中具有最大成像面积F(fov_x,d)的站点作为当前面片P的最佳成像站点。最大成像面积F(fov_x,d)的计算方法如下：

F(fov_x,d)＝fov_x ²×d,

式中，fov_x为面片P在当前站点下的水平方向上视场角，d为P到当前站点之间的距离在水平面上的投影。

步骤2.2获得当前站点影像优化所需的数据。

面片信息初始化之后，利用影像进行面片优化是对每个站点中的所有最佳投影面片进行的。对于当前待优化站点S_n，所需要的优化数据为S_n-1、S_n和S_n+1三个站点上的全景影像、站点上的可视面片和最佳投影面片。本发明中为获得这些数据，使用的方法如下：

使用一个1×3的滑动窗口来避免数据的重复读取：设定窗口大小，当n≤1时窗口中的数据为站点S₀、S₁和S₂；当2<n<N-1时(N为总的站点数)，每移动一个站点则将滑动窗口向后移动一位使得窗口中的数据始终为站点S_n-1、S_n和S_n+1；当n＝N-1时，窗口中的数据始终为站点S_N-3、S_N-2和S_N-1中对应的数据。步骤2.1已经获取了每个站点对应的全景影像、可视面片和最佳投影面片，故检索出相邻三个站点信息便可获得当前站点影像优化所需的数据。

步骤2.3，获得当前面片影像优化所需的数据。

获得站点影像优化所需的数据之后，当前站点上的每一个面片可以利用这些数据进行优化。考虑到面片在相邻站点上可能存在的遮挡问题，因此需要对面片在当前的三个站点上进行遮挡分析，具体方法参见步骤2.1。如果至少在一个站点上当前面片没有被遮挡，则将没有遮挡的站点信息作为当前面片影像优化所需的数据。

步骤2.4，获得当前面片在对应站点上的投影参数。

具体方法参见步骤2.1，获取投影参数后即可进行面片的优化。

步骤3，基于影像的面片优化，入图2和图3所示，包括以下步骤：

步骤3.1，树木面片去除。考虑到利用激光点云进行面片提取的时候存在树木面片被错误提取出来的问题，而树木在影像上面较容易被区分出来，因此利用影像来对树木面片进行滤除。过程如下：

步骤3.1.1，根据得到的投影参数将面片从全景影像透视投影到像平面上，得到透视影像。给定投影参数w、h、fov_x、fov_y、θ_x、θ_y和f，转换过程如下：

步骤3.1.1.1，由面片的方向角θ_x和俯仰角θ_y以及焦距f，可以得到透视影像空间坐标系XYZ_pers到全景影像空间坐标系XYZ_pano的转换关系，以像素为单位。

式中，M(-θ_x)、M(θ_y)为旋转矩阵，θ_x以顺时针方向为正，θ_y以逆时针方向为正。由此计算出当前三维面片对应的透视投影影像四个顶点转换到全景影像空间坐标系XYZ_pano下的坐标。

步骤3.1.1.2，将全景影像空间坐标系XYZ_pano中的四个顶点所构成的矩形的长宽分成w和h等份(对应于透视投影影像中的每一个像素)，内插出每一个点的三维坐标，计算出对应的方位角α和俯仰角β，以及对应的全景影像中的像素坐标，并将其赋值给透视投影影像中对应的像素。由α和β计算全景影像中的像素坐标(u,v)^T的公式如下：

u＝(0.5+α)×w/2π,

v＝(0.5-β)×h/π.

步骤3.1.2，利用LSD线段提取算法提取出透视投影影像中的直线段，得到当前影像上的长度大于N个像素的直线段集合。

步骤3.1.3，提取出集合中的水平和竖直方向的线段。计算出这两个方向在透视投影影像上对应的灭点，过程如下：

步骤3.1.3.1，计算从世界坐标系到透视影像空间坐标系XYZ_pers的旋转矩阵R_M2Img：

利用旋转矩阵，计算面片的水平和竖直两个方向向量V_h和V_v在透视影像空间坐标系下的向量V′_h和V′_v。

步骤3.1.3.2，计算V′_h＝(X′_h,X′_h,Z′_h)^T和V′_v＝(X′_v,Y′_v,Z′_v)^T与像平面的交点，即为对应的水平和竖直两个方向上的灭点p_h＝(x_h,y_h)^T和p_v＝(x_v,y_v)^T，公式如下(p_v与之相同)：

x_h＝X′_h/Y′_h×f+x₀,

y_h＝Z′_h/Y′_h×f+y₀,

式中，f为投影参数中的以像素为单位的焦距，(x₀,y₀)^T为透视投影影像的像主点，这里实际上就是相片的正中心。

步骤3.1.3.3，获取集合中水平和竖直线段：连接中某一条线段l的中点与某一灭点，若这两点构成的线段与线段l之间的夹角小于θ，则认为线段l属于对应的线段聚类。

步骤3.1.4，利用线段和像素灰度得到的当前面片的结构和纹理信息对面片进行分析，删除其中树的面片，过程如下：

步骤3.1.4.1，结构信息：对于每一条水平线段l_h，计算其与每一条竖直线段l_v的交点，如果该交点在线段l_h和l_v之上或者与两者之间的距离小于某一阈值，则l_h与l_v之间构成了一个结点。得到所有的结点之后，再对影像格网化，并统计每个格网中结点的个数N_Grid。若结点少且分布不均匀则为树的面片。

步骤3.1.4.2，纹理信息：遍历当前影像上的每一个像素值，得到其RGB值，然后通过对RGB进行分析来得到当前影像上对应于树的像素的比例，统计得到所有的树像素的个数N_pixel，分析N_pixel的大小来判断是否为树面片，若在当前面片的所有可投影站点上，都被判断为树面片，则认为该面片为树面片，并将其去除。

步骤3.2，面片拉伸。面片拉伸是利用影像将激光扫描器扫描不到的顶部通过面片拉伸的方式覆盖到，过程如下：

步骤3.2.1，获取需要拉伸的面片。

步骤3.2.2，得到面片P的上半段影像并对投影参数细化，过程如下：

步骤3.2.2.1，面片P及其以上部分作为一个整体的投影参数的获取，参见步骤4.2，不同之处在于此时的视场角fov_y算法为：

fov_y＝max(π-2×|θ_y|,fov_y)，if fov_y>160°,fov_y＝160°

步骤3.2.2.2，根据投影参数得到P及其以上部分对应的透视影像，影像中从上往下依次为天空和建筑物，找到其中建筑物的大致范围。

步骤3.2.3，细化全部可投影站点上的投影参数，利用全景影像得到透视影像，取其上半部分作为最终可用于面片延伸的影像数据。利用LSD算法提取出线段，并利用灭点将提取出来的线段分成水平和竖直两个方向。具体方法参见步骤3.1。

步骤3.2.4，电线线段去除。

电线线段一般对应的是非竖直方向的线段。设水平方向的灭点为p_h，影像的左右两条边中到p_h较远的一边对应的直线为l，连接每一条竖直的线段的端点与p_h，将其投影到l上，得到l上的一条线段l^'，并记录下其在l对应的范围。对所有竖直线段的范围求并，累加l上每一个整像素点被投影到的次数，并从上到下搜索，若某一点p_i之后的连续20个点的次数≥3，则将该点记为建筑物区域在l上投影的最上点。连接p_i与灭点p_h，将当前影像分为两个部分，线段以上部分对应非建筑物部分，线段以下部分对应建筑物部分。找到水平线段中至少有一个端点落在非建筑物部分中的线段，判断是否是电线线段，过程如下：

步骤3.2.4.1，得到该线段上的所有整像素点。

步骤3.2.4.2，对每一个像素，取出该线段两侧搜索范围为20个像素的RGB值，判断其中“天空像素”(像素对应的目标位天空)的个数。如果其中一侧的天空像素个数大于某一阈值δ_max，而另一侧的个数小于某一阈值δ_min，则认为该线段是建筑物的边缘，否则认为该线段是电线，将其剔除。

步骤3.2.5，寻找建筑物顶部边缘线，过程如下：

步骤3.2.5.1，将建筑物的面片的四个顶点投影到优化之后的投影参数对应的像平面上，得到对应于激光面片的一个四边形。

步骤3.2.5.2，找到水平线段中至少有一个顶点不在该四边形内的线段，对每一条线段进行纹理分析，判断其是否是建筑物的顶部边缘线，判断方法与电线线段判断方法相同。

步骤3.2.5.3，合并边缘线。

步骤3.2.6，面片延伸，过程如下：

步骤3.2.6.1，假设在N_s(N_s>N_th)个站点上找到了建筑物顶部边缘线，计算出建筑物顶部边缘线对应的真实三维线段的空间坐标，得到的2N_s个三维坐标的Z值均方差为δ，如果δ<δ_th，即建筑物顶部边缘线的精度满足要求，则进行步骤3.2.6.2；否则，进行步骤3.2.6.3。

步骤3.2.6.2，精细化，以计算出来的2N_s个三维坐标值中Z坐标的最大值Z_max作为延伸之后的面片的新高度，取N_s个站点上的距离累计值D_i作为当前高度值的精度。选择min(D_i)对应的高度值作为最终的面片高度值。

步骤3.2.6.3，逐步增长，设定增长步距为Δd。首先判断是否进行延伸，若某一站点上的建筑物像素的比例大于某一阈值，或该区域中的水平线段的长度大于某一阈值，则认为当前这一步的延伸在该站点上有效；若建筑物像素的比例小于某一阈值，则认为当前延伸无效。统计所有可投影站点中当前延伸的有效次数C_Y和无效次数C_N，当满足一定条件时，接收当前延伸，并将面片上边延伸。

步骤3.3，面片下拉。

参考步骤1的方法将优化后的面片重新分配到每一个站点上，对每一个站点上的面片P_i，遍历该站点上的所有可视面片P_j，判断P_j是否在面片P_i的下面，方法如下：

判断P_j与P_i之间的夹角θ，若θ>θ_th，则不处理P_j；若θ<θ_th，且P_j的中心点在P_i的下边缘的下面，则参照步骤4.2对P_j和P_i进行遮挡分析，判断两者之间是否存在遮挡，否则处理下一个面片。

如果对于所有的可视面片，都不存在有对P_i产生遮挡的面片，则将当前的面片的下边缘下拉到其最邻近站点对应的路面上，路面的Z坐标为Z_s-H_car。

本发明结合影像的优点，将从点云数据中提取的街景面片进行拉伸，提高面片精度；同时，将面片中的树木点面片删除。本发明基于全景影像优化街景面片，在点云数据的结果上进一步提高面片的精度和准确度。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于全景影像的街景面片优化方法，其特征在于，包括以下步骤：

步骤1：获取车载LiDAR点云数据和全景影像，并将全景影像与车载LiDAR点云数据进行配准；

步骤2：将车载LiDAR点云数据分割为多个面片，获得面片与全景影像站点的对应关系，将面片投影到全景影像上，得到面片对应的透视平面影像；

步骤3：对透视平面影像进行分析，删除树木点，并进行面片拉伸；

步骤3中“对透视平面影像进行分析，删除树木点”具体包括以下步骤：

利用LSD线段提取算法提取出透视投影影像中的直线段，得到当前影像上的长度大于N个像素的直线段集合

提取出集合中的水平和竖直方向的线段，计算出这两个方向在透视投影影像上对应的灭点；

对于每一条水平线段l_h，计算其与每一条竖直线段l_v的交点，如果该交点在线段l_h和l_v之上或者与两者之间的距离小于某一阈值，则l_h与l_v之间构成了一个结点，得到所有的结点之后，再对影像格网化，并统计每个格网中结点的个数N_Grid，若结点少且分布不均匀则为树的面片；

遍历当前透视投影影像上的每一个像素值，得到其RGB值，然后通过对RGB进行分析来得到当前影像上对应于树的像素的比例，统计得到所有的树像素的个数N_pixel，分析N_pixel的大小来判断是否为树面片，若在当前面片的所有可投影站点上，都被判断为树面片，则认为该面片为树面片，并将其去除。

2.根据权利要求1所述的方法，其特征在于，步骤1中具体利用共线方程原理进行配准，根据每张照片拍摄瞬间的POS位置和姿态，结合全景影像与POS系统的相对位置关系和姿态数据，恢复每张影像的外方位元素。

3.根据权利要求1所述的方法，其特征在于，步骤2中“获得面片与全景影像站点的对应关系”具体包括步骤：

将车载LiDAR点云数据分割后得到面片的集合{P_i，i＝1，2，...，N}，N为面片的总数；

计算出每个面片的中心点X_c的三维坐标，然后遍历所有站点，找到与当前面片最近的一个站点S_min，计算X_c与S_min之间的距离d，若d＞d_th，其中d_th为设定的距离阈值，则认为该面片为无效面片；若d＜d_th，则记录下S_min站点的ID号；若该面片的宽度小于d/λ，λ为设定的缩放参数，且面片的高宽比大于ε，ε为设定的阈值，则该面片是无效面片；

找到S_min的下一个站点，以这两个站点之间的距离向量在水平面上的投影作为当前道路的方向D_r，当前面片的宽对应的向量在水平面上的投影作为方向D_p，计算两者之间的夹角θ，若θ＜δ₁，则该面片平行于当前道路；若θ＞δ₂，其中，δ₁，δ₂为设定的阈值，则该面片垂直于当前道路；否则该面片既不平行又不垂直于当前道路；

对于每一个站点S_i，遍历每一个面片P_j，计算S_i与P_j之间的距离d_ij以及夹角θ_ij，如果θ_ij＜90°并且d_ij＜d_th，则认为面片P_j在站点S_i上是可视的，记录下来；

对于每一个面片P寻找其对应的最佳成像站点。

4.根据权利要求3所述的方法，其特征在于，步骤2中“将面片投影到全景影像上，得到面片对应的透视平面影像”具体包括以下步骤：

根据步骤2中面片与全景影像站点的对应关系获得当前面片在对应站点上的投影参数；

根据得到的投影参数将面片从全景影像透视投影到像平面上，得到透视影像，具体转换过程如下：

由面片的方向角θ_x和俯仰角θ_y以及焦距f，得到透视影像空间坐标系XYZ_pers到全景影像空间坐标系XYZ_pano的转换关系，以像素为单位，

<mrow> <msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <mi>Z</mi> </mtd> </mtr> </mtable> </mfenced> <mrow> <mi>p</mi> <mi>a</mi> <mi>n</mi> <mi>o</mi> </mrow> </msub> <mo>=</mo> <mi>M</mi> <mrow> <mo>(</mo> <mo>-</mo> <msub> <mi>&amp;theta;</mi> <mi>x</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>M</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;theta;</mi> <mi>y</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <mi>Z</mi> </mtd> </mtr> </mtable> </mfenced> <mrow> <mi>p</mi> <mi>e</mi> <mi>r</mi> <mi>s</mi> </mrow> </msub> <mo>,</mo> </mrow>

式中，M(-θ_x)、M(θ_y)为旋转矩阵，θ_x以顺时针方向为正，θ_y以逆时针方向为正；由此计算出当前三维面片对应的透视投影影像四个顶点转换到全景影像空间坐标系XYZ_pano下的坐标；

将全景影像空间坐标系XYZ_pano中的四个顶点所构成的矩形的长宽分成w和h等份，对应于透视投影影像中的每一个像素，内插出每一个点的三维坐标，计算出对应的方位角α和俯仰角β，以及对应的全景影像中的像素坐标，并将其赋值给透视投影影像中对应的像素；由α和β计算全景影像中的像素坐标(u，v)^T的公式如下：

u＝(0.5+α)×w/2π，

v＝(0.5-β)×h/π。

5.根据权利要求4所述的方法，其特征在于，步骤3中面片拉伸包括以下步骤：

获取需要拉伸的面片；

根据投影参数得到面片及其以上部分对应的透视影像，影像中从上往下依次为天空和建筑物，找到其中建筑物的大致范围；

细化全部可投影站点上的投影参数，利用全景影像得到透视影像，取其上半部分作为最终可用于面片延伸的影像数据，利用LSD算法提取出线段，并利用灭点将提取出来的线段分成水平和竖直两个方向；

设水平方向的灭点为p_h，影像的左右两条边中到p_h较远的一边对应的直线为l，找到建筑物区域在l上投影的最上点，连接某一点p_i与灭点p_h，将当前影像分为两个部分，线段以上部分对应非建筑物部分，线段以下部分对应建筑物部分，找到水平线段中至少有一个端点落在非建筑物部分中的线段，判断是否是电线线段，过程如下：

得到该线段上的所有整像素点；

对每一个像素，取出该线段两侧搜索范围为20个像素的RGB值，判断其中天空像素的个数，如果其中一侧的天空像素个数大于某一阈值δ_max，而另一侧的个数小于某一阈值δ_min，则认为该线段是建筑物的边缘，否则认为该线段是电线，将其剔除。