CN105953777A - 一种基于深度图的大比例尺倾斜影像测图方法 - Google Patents

Abstract

本发明公开了一种基于深度图的大比例尺倾斜影像测图方法，以倾斜影像和倾斜影像密集匹配获取的深度图为数据源，在单张影像上量取待量测目标的像点位置，通过单张影像和深度图的几何关系计算待量测目标的三维坐标，并通过最优基线原则和最小二乘匹配方法搜索待量测目标的多视信息，提高最终获取的量测三维坐标的可靠性和稳定性。本发明在满足大比例尺测图精度的同时，提高了大比例尺外业测量工作效率，节省了大量外业测量工作量。

Description

一种基于深度图的大比例尺倾斜影像测图方法

技术领域

本发明属于航空摄影测量技术领域，具体涉及一种利用倾斜摄影测量技术获得的倾斜影像，基于单张像片进行三维点坐标量测，以达到倾斜影像大比例尺测图的方法。

背景技术

传统航空摄影技术一般获取的是地形地物顶部测量的信息，而对起伏明显的地形地物侧面纹理和三维几何结构等信息获取一直有限，使得将摄影测量技术应用于影像测图上有很大的局限性，而近年来，倾斜摄影测量技术成为了国际上发展十分迅速的一项新技术，克服了传统航空摄影测量技术只能从垂直角度进行拍摄的局限性，通过整合POS、DSM及矢量等数据，进行基于影像的各种三维测量，为摄影测量技术的发展辟了蹊径，提高了非接触式进行大比例尺地图测图技术和精度的提高，促进了测图技术的发展和进步。

数字摄影测量的三维坐标量测是通过利用两张相片上的同名点计算得到对应点的真实坐标的过程(文献1)，而在大量点位坐标量测获取过程中，由于地表地物本身形状的不确定性，导致对于一些不规则物体通过量测得到的只能是概略位置，倾斜摄影测量技术作为现阶段摄影测量的一个发展的新技术，能够利用获得的倾斜单张影像和对应的深度影像信息，得到很精确的位置坐标，很大程度提高了外业测图的精度。

倾斜摄影测量技术是国际测绘领域近年来发展起来的一项新技术，机载多角度倾斜摄影测量系统的数据获取部分一般由五个数码相机组成，一个垂直摄影相机和四个倾斜摄影相机，系统同时可将摄影相机与机载GPS接收机、高精度IMU进行高度集成(文献2)，获取目标测区的竖直、前、中、后、右五个角度的影像(文献3)，进一步处理能够得到更加真实、直观的地表物体信息，同时利用先进精确的定位技术，获取到丰富的影像信息和精确的地理信息。

文献4中Guler Yalcin等提出了将倾斜摄影测量技术用于建立3D模型，得到三维坐标，此方法是基于传统摄影测量技术，通过反应目标测区丰富信息的倾斜影像，建立三维模型，获得三维点位坐标，理论简单，但实际实现过程中，数据信息量大，重叠度高，增加了数据处理工作量。

文献5中王卿总结了目前国内外常见的几种倾斜影像量测方法，其中一类倾斜影像量测方法是利用单张倾斜影像结合DEM进行量测，该方法通过单张影像和DEM进行三维坐标量测，但是由于DEM没有非地面点信息，因此无法对建筑物等侧面信息进行量测；而文中提到的基于建筑物特征的量测方法并未阐明详细的技术思路。

文中涉及如下参考文献：

[文献1]崔毅；基于数字摄影测量系统的三维量测与应用[D]；北京建筑工程学院；2011年

[文献2]李祎峰，宫晋平，杨新海，李军，叶泽田；机载倾斜摄影数据在三维建模及单斜片测量中的应用[J]；遥感信息,2013,28(3):102-106

[文献3]杨久勇；高峰；向宇；；倾斜航空摄影的原理与特点[A]；中国测绘学会2010年学术年会论文集[C]；2010年

[文献4]Guler Yalin，Osman Selcuk.3D City Modelling With ObliquePhotogrammetry Method[J].Guler Yalcin and Osman Selcuk/Procedia Technology2015(19):424-431.

[文献5]王卿，吴晓明等.倾斜影像的量测方法研究，测绘与地理空间信息，2013，36，9：54-55，61.

发明内容

为了解决上述技术问题，本发明提供了一种基于深度图的大比例尺倾斜影像测图方法。

本发明所采用的技术方案是：一种基于深度图的大比例尺倾斜影像测图方法，其特征在于，包括以下步骤：

步骤1：获取倾斜影像序列，对倾斜影像进行立体匹配获取深度影像图；

其中所述倾斜影像是采用五个镜头同时获取下、前、后、左、右五个角度的反应测量目标所在区域信息的5幅影像数据；所述深度影像图中的每一个像素值表示测量目标所在区域中某一点与摄像机之间的距离；

步骤2：选取覆盖了待量测目标的单张倾斜影像，在单张倾斜影像上获取待量测目标a的像点坐标(x_a,y_a)，即待量测目标在单张倾斜影像上的像素位置；

步骤3：对a点的像点坐标进行齐次化处理，得到齐次化坐标为

步骤4：基于视差图的待量测目标三维坐标解算；

步骤5：利用最优基线选择选取同名影像，对当前影像和选取的影像进行最小二乘影像匹配获取同名像点，并通过同名像点和影像的外方位元素计算获得目标量测点的匹配三维坐标值，通与通过视差图计算的三维坐标比较，得到精度最高的点，作为大比例尺中的最终的点的坐标；其中所述同名影像是具有同样覆盖目标量测点或者目标量测区域的影像。

作为优选，步骤4的具体实现包括以下子步骤：

步骤4.1：将待量测目标的像点从像空间直角坐标系坐标转换为像空间辅助坐标系下的坐标，即像点a在像空间直角坐标系中的坐标为经过旋转变换得到像空间辅助坐标系中的坐标

$\left[\begin{array}{c}{X}_a^{\′}\\ Y_a^{\′}\\ Z_a^{\′}\end{array}\right]=R\left[\begin{array}{c}x\\ y\\ -f\end{array}\right];$

$R=\left[\begin{array}{ccc}a1& a2& a3\\ b1& b2& b3\\ c1& c2& c3\end{array}\right];$

其中，像空间直角坐标系表示像点在像方空间位置的空间直角坐标系，x代表a点在像空间直角坐标系中的x轴向坐标值，y代表a点在像空间直角坐标系中的x轴向坐标值，f代表摄影成像的焦距；像空间辅助坐标系用于表示像点的空间位置，其X轴与航线方向或者反方向一致，Z轴铅垂；通过摄影平台上放置的惯导系统得到摄影曝光时刻传感器位置信息和姿态信息的数据称为POS数据，包含X，Y，Z三个线元素和φ，ω，κ三个角元素，(X，Y，Z)代表摄影机在某一曝光时刻的三维坐标值，φ代表航向倾角，ω代表旁向倾角，κ代表像片旋角；R为旋转矩阵，a1、a2、a3、b1、b2、b3、c1、c2、c3由POS数据的外方位角元素φ，ω，κ进行计算得到；

步骤4.2：将进行单位化处理得到单位在此方向上的单位向量e；

步骤4.3：计算待量测目标三维坐标

$\left[\begin{array}{c}{X}_a\\ Y_a\\ Z_a\end{array}\right]=D*e+\left[\begin{array}{c}Xs\\ Ys\\ Zs\end{array}\right];$

其中D为深度影像图上得到的深度信息，为摄影中心S点地面测量坐标。

作为优选，步骤5中所述利用最优基线选择选取具有同样覆盖目标量测点或者目标量测区域的影像，是利用基高比进行筛选得到基高比最优的影像作为后期进行最小二乘影像匹配的待定影像，其中所述基高比为摄影基线B与相对航高H的比值。

作为优选，步骤5中，利用多张同时具有目标测区信息的相邻影像进行最小二乘匹配，获得目标量测点的匹配三维坐标值。

作为优选，步骤5中，通过与多张同名影像匹配，获得多个匹配三维坐标值，通过这些值的均值和中误差验证视差图计算的量测目标值是否可靠。

本发明有如下优势：:

1.本发明能够结合倾斜摄影测量新理论并将其进行推广应用于实际生产中的大比例尺测图领域，将基于深度倾斜影像图进行量算的过程应用于大比例尺测图方面，不但能够满足其所需精度，同时大大提高了大比例尺外业测量工作的效率，节省了大量外业测量工作量，降低了人力和物力的支出，促进了测图技术的进步；

2.本发明通过具体分析，利用倾斜摄影测量的优点，即获取得到物体侧面的真实纹理信息，同时克服其缺点，即大量重叠的影像，利用单张像片处理得到地物表面点的精确的三维点坐标；

3.在应用方法上，以基础理论为依据，经过深入分析，利用一定的算法，最终总结得到利用单张像片实现三维点位坐标量测，更好地扩展了倾斜摄影测量技术的应用领域；

4.本发明在将其应用于大比例尺测图具有很广阔的发展前景，克服了传统摄影测量的缺点，充分发展了倾斜摄影测量的优点，推动了摄影测量技术的进一步发展和进步。

附图说明

图1：本发明实施例的像空间直角坐标系；

图2：本发明实施例的像空间辅助坐标系；

图3：本发明实施例的摄影中心、场景点、像点三点共线示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供的一种基于深度图的大比例尺倾斜影像测图方法，包括以下步骤：

步骤1：获取倾斜影像序列，对倾斜影像进行立体匹配获取深度影像图；

倾斜摄影测量是利用倾斜航空相机获取地物信息的一种新型的航空摄影方式，采用五个镜头同时获取下、前、后、左、右五个角度的反应测量目标所在区域信息的5幅影像数据，并可通过惯导系统(GPS和IMU装置)得到曝光时刻的位置信息和姿态信息。而通过这种摄影方式和手段获取的影像即称为倾斜影像。

测量目标所在区域中各点相对于摄象机的距离可以用深度图(Depth Map)来表示，即深度图中的每一个像素值表示测量目标所在区域中某一点与摄像机之间的距离。

步骤2：选取覆盖了待量测目标的单张倾斜影像，在单张倾斜影像上获取待量测目标a的像点坐标(x_a,y_a)，即待量测目标在单张倾斜影像上的像素位置；

步骤3：对a点的像点坐标进行齐次化处理，得到齐次化坐标为

步骤4：基于视差图的待量测目标三维坐标解算；

待量测目标的倾斜影像和深度影像存在如图3的几何关系，即由摄影中心S，像点a，物方点A，三点位于同一条光线上。

由图3可知，在已知待量测目标点距离摄影机中心的距离(即深度)的情况下，可以利用共线关系计算出待量测目标点的三维坐标，具体解算过程和原理如下：

步骤4.1：将待量测目标的像点从像空间直角坐标系坐标转换为像空间辅助坐标系下的坐标，通过摄影测量的基本原理，像点a在像空间直角坐标系中的坐标为经过旋转变换得到像空间辅助坐标系中的坐标

$\left[\begin{array}{c}{X}_a^{\′}\\ Y_a^{\′}\\ Z_a^{\′}\end{array}\right]=R\left[\begin{array}{c}x\\ y\\ -f\end{array}\right];$

$R=\left[\begin{array}{ccc}a1& a2& a3\\ b1& b2& b3\\ c1& c2& c3\end{array}\right];$

请见图1，像空间直角坐标系表示像点在像方空间位置的空间直角坐标系，x代表a点在像空间直角坐标系中的x轴向坐标值，y代表a点在像空间直角坐标系中的x轴向坐标值，f代表摄影成像的焦距；

请见图2，像空间辅助坐标系用于表示像点的空间位置，其X轴与航线方向或者反方向一致，Z轴铅垂；

通过摄影平台上放置的惯导系统得到摄影曝光时刻传感器位置信息和姿态信息的数据称为POS数据，包含X，Y，Z三个线元素和φ，ω，κ三个角元素，(X，Y，Z)代表摄影机在某一曝光时刻的三维坐标值，φ代表航向倾角，ω代表旁向倾角，κ代表像片旋角；R为旋转矩阵(通过影像的外方位元素计算得到)，a1、a2、a3、b1、b2、b3、c1、c2、c3由POS数据的外方位角元素φ，ω，κ进行计算得到；

步骤4.2：将进行单位化处理得到单位在此方向上的单位向量e；

步骤4.3：计算待量测目标三维坐标为SA向量加上摄影中心S在像空间辅助坐标系中的三维坐标；

$\left[\begin{array}{c}{X}_a\\ Y_a\\ Z_a\end{array}\right]=D*e+\left[\begin{array}{c}Xs\\ Ys\\ Zs\end{array}\right];$

其中D为深度影像图上得到的深度信息，为摄影中心S点地面测量坐标。

步骤5：利用最优基线选择选取同名影像，对当前影像和选取的影像进行最小二乘影像匹配获取同名像点，并通过同名像点和影像的外方位元素计算获得目标量测点的匹配三维坐标值，通与通过视差图计算的三维坐标比较，得到精度最高的点，作为大比例尺中的最终的点的坐标；其中所述同名影像是具有同样覆盖目标量测点或者目标量测区域的影像。

在利用单张深度影像图进行大比例尺测图能够获取三维点位坐标，但其精度无法控制，因此为消除这种误差，本实施例利用最优基线选择选取同名影像(即具有同样覆盖目标量测点或者目标量测区域的影像)，对当前影像和选取的影像进行最小二乘影像匹配获取同名像点，并通过同名像点和影像的外方位元素计算获得目标量测点的匹配三维坐标值，，通与通过视差图计算的三维坐标比较，得到精度最高的点，作为大比例尺中的最终的点的坐标。

(1)选取影像；

倾斜摄影测量因其独有的优势能够获取得到反应目标测区的多方位的重叠度更多的影像信息，因此可利用具有目标测区的其它影像获得更高精度的坐标点信息，但是影像重叠度大，影像过多，增加了作业量，为了获得更有效的影像信息，通过利用基高比(航空摄影时，摄影基线B与相对航高H的比值)进行筛选得到合适的影像作为后期进行最小二乘影像匹配的待定影像。

(2)最小二乘影像匹配；

利用基于单张深度图能够完成大比例尺中的三维点位坐标获取，但是其计算得到的精度无法确定，因此为了控制精度，本实施例利用多张同时具有目标测区信息的相邻影像进行最小二乘匹配，获得目标量测点的匹配三维坐标值。

(3)量测目标的三维坐标值验证；

通过与多张同名影像匹配，获得多个匹配三维坐标值，通过这些值的均值和中误差验证视差图计算的量测目标值是否可靠。

本发明针对倾斜影像测图，提出一种基于深度图的大比例尺倾斜影像测图方案。以倾斜影像和倾斜影像密集匹配获取的深度图为数据源，在单张影像上量取待量测目标的像点位置，通过单张影像和深度图的几何关系计算待量测目标的三维坐标，并通过最优基线原则和最小二乘匹配方法搜索待量测目标的多视信息，提高最终获取的量测三维坐标的可靠性和稳定性。本发明在满足大比例尺测图精度的同时，提高了大比例尺外业测量工作效率，节省了大量外业测量工作量。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于深度图的大比例尺倾斜影像测图方法，其特征在于，包括以下步骤：

步骤1：获取倾斜影像序列，对倾斜影像进行立体匹配获取深度影像图；

其中所述倾斜影像是采用五个镜头同时获取下、前、后、左、右五个角度的反应测量目标所在区域信息的5幅影像数据；所述深度影像图中的每一个像素值表示测量目标所在区域中某一点与摄像机之间的距离；

步骤2：选取覆盖了待量测目标的单张倾斜影像，在单张倾斜影像上获取待量测目标a的像点坐标(x_a,y_a)，即待量测目标在单张倾斜影像上的像素位置；

步骤3：对a点的像点坐标进行齐次化处理，得到齐次化坐标为

步骤4：基于视差图的待量测目标三维坐标解算；

步骤5：利用最优基线选择选取同名影像，对当前影像和选取的影像进行最小二乘影像匹配获取同名像点，并通过同名像点和影像的外方位元素计算获得目标量测点的匹配三维坐标值，通与通过视差图计算的三维坐标比较，得到精度最高的点，作为大比例尺中的最终的点的坐标；其中所述同名影像是具有同样覆盖目标量测点或者目标量测区域的影像。

2.根据权利要求1所述的基于深度图的大比例尺倾斜影像测图方法，其特征在于，步骤4的具体实现包括以下子步骤：

步骤4.1：将待量测目标的像点从像空间直角坐标系坐标转换为像空间辅助坐标系下的坐标，即像点a在像空间直角坐标系中的坐标为经过旋转变换得到像空间辅助坐标系中的坐标

$\left[\begin{array}{c}{X}_a^{\′}\\ Y_a^{\′}\\ Z_a^{\′}\end{array}\right]=R\left[\begin{array}{c}x\\ y\\ -f\end{array}\right];$

$R=\left[\begin{array}{ccc}a1& a2& a3\\ b1& b2& b3\\ c1& c2& c3\end{array}\right];$

其中，像空间直角坐标系表示像点在像方空间位置的空间直角坐标系，x代表a点在像空间直角坐标系中的x轴向坐标值，y代表a点在像空间直角坐标系中的x轴向坐标值，f代表摄影成像的焦距；像空间辅助坐标系用于表示像点的空间位置，其X轴与航线方向或者反方向一致，Z轴铅垂；通过摄影平台上放置的惯导系统得到摄影曝光时刻传感器位置信息和姿态信息的数据称为POS数据，包含X，Y，Z三个线元素和ω，κ三个角元素，(X，Y，Z)代表摄影机在某一曝光时刻的三维坐标值，代表航向倾角，ω代表旁向倾角，κ代表像片旋角；R为旋转矩阵，a1、a2、a3、b1、b2、b3、c1、c2、c3由POS数据的外方位角元素ω，κ进行计算得到；

步骤4.2：将进行单位化处理得到单位在此方向上的单位向量e；

步骤4.3：计算待量测目标三维坐标

$\left[\begin{array}{c}{X}_a\\ Y_a\\ Z_a\end{array}\right]=D*e+\left[\begin{array}{c}Xs\\ Ys\\ Zs\end{array}\right];$

其中D为深度影像图上得到的深度信息，为摄影中心S点地面测量坐标。

3.根据权利要求1所述的基于深度图的大比例尺倾斜影像测图方法，其特征在于：步骤5中所述利用最优基线选择选取具有同样覆盖目标量测点或者目标量测区域的影像，是利用基高比进行筛选得到基高比最优的影像作为后期进行最小二乘影像匹配的待定影像，其中所述基高比为摄影基线B与相对航高H的比值。

4.根据权利要求1-3任意一项所述的基于深度图的大比例尺倾斜影像测图方法，其特征在于：步骤5中，利用多张同时具有目标测区信息的相邻影像进行最小二乘匹配，获得目标量测点的匹配三维坐标值。

5.根据权利要求4任意一项所述的基于深度图的大比例尺倾斜影像测图方法，其特征在于：步骤5中，通过与多张同名影像匹配，获得多个匹配三维坐标值，通过这些值的均值和中误差验证视差图计算的量测目标值是否可靠。