CN102506824A - 一种城市低空无人机系统生成数字正射影像图的方法 - Google Patents

Abstract

一种城市低空无人机系统生成数字正射影像图的方法，包含以下步骤：数据资料准备，数据资料包括控制点资料、相机检校文件、姿态资料；影像的空中三角测量，生成核线影像；影像匹配，生成数字表面模型(DSM)；基于城市建筑物特征构建不规则三角网(TIN)和数字高程模型(DEM)内插；数字微分纠正生成数字正射影像图(DOM)；城市低空数字正射影像图镶嵌，包括拼接线选择、匀光匀色、边界裁切。本发明能够充分利用城市低空获取影像的高分辨率优势，高效精确地生产DOM。

Description

一种城市低空无人机系统生成数字正射影像图的方法

技术领域

本发明涉及一种城市低空无人机系统生成数字正射影像(DOM)方法，属于航空图像处理技术领域，应用于城市低空无人机系统。

背景技术

城市低空无人机系统，即利用先进的无人驾驶飞行器技术、传感器技术、遥测技术、通讯技术、GPS技术和遥感应用技术，智能化、专业化、快速、低成本获取城市国土、规划、环境等空间遥感信息，并完成遥感数据处理和应用分析的技术系统，具有机动、快速、高效、经济等优势。由于城市低空无人机系统获取的影像有像幅小、重叠度大、像片旋角超限和航测比例尺不一致等不利特点，特别是存在地物遮挡、阴影现象，给后期城市影像解译和判读带来诸多困难，且城市无人机系统获取的影像噪声现象严重，这些因素极大地掩盖了系统的高效、快速和高精度处理等优点。城市影像后期处理困难重重，严重限制了低空无人机系统在城市中的应用。

同时城市低空无人机影像具有分辨率高的优势，高分辨率城市影像在城市国土、规划、环境等领域具有较高的经济价值和应用价值，是普通城市航空和航天遥感所无法企及的。

数字正射影像(DOM)具有地图的几何特征和影像特征，是由数字高程模型(DEM)进行微分纠正生成的，DEM的精度直接影响着DOM最终成果的精度。传统的DEM采集主要是利用地形图进行数字化把等高线录入计算机，或者将地形图经扫描输入计算机，然后进行屏幕数字化生成等高线。一般来说，DEM的这种采集方法费时、费力，并且很容易出现输入错误。经济快速发展的地区，地形图很难反映当前的地形现状，利用它生成的DEM就不具有时效性。随着航空、航天遥感技术的不断发展，传感器的性能不断提高，数字摄影测量方法成为快速获取DEM的主要手段。

利用常规的摄影测量方法来进行4D产品(4D：DEM、DOM、DLG、DRG)的生产，市面上现有的软件有全数字摄影测量工作站(VirtuoZo，JX-4)，单片微分纠正软件(Geoway DOM)或多项式纠正软件(Geoway)，以及ERDAS的LPS(Leica Photogrammetry Suite)，PCI，ENVI等遥感与地理信息系统软件等。

以LPS软件为例来说明制作DEM并生成DOM的传统制作流程。在LPS中首先进行空中三角测量计算，得到每张影像的外方位元素，经过影像匹配生成大量同名点并计算对应地面点坐标XYZ值，借助激光雷达(简称LiDAR)点云滤波方法，得到测区的DEM，通过对原始影像微分纠正获得DOM。

以上这些软件主要处理的是大像幅影像或者高分辨率(0.6米～5米)卫星影像，对于低空无人机遥感平台获取的超高分辨率(分辨率为0.08～0.2米)遥感影像，生成的DEM很难满足精度要求。并且对于城市地区而言，具有密集的建筑物和植被区，大量的匹配点位于房屋的顶部以及植被的顶部，由此结果计算得到的是数字表面模型DSM，不是需求的DEM，因此必须对影像匹配的结果进行修正，将房顶上和树上的点降低到地面上来，从而获得真正的DEM。但是一般的软件只是简单的滤波，并不能达到理想的效果，其生成的DEM达不到所要求的精度。再者传统的DEM修测采用立体观测与量测，逐点地修正错误的高程点，效率比较低。

数字正射影像(DOM)是由DEM进行微分纠正生成的，因此DEM的质量直接决定DOM的质量。其次对于无人机航空摄影测量获取的影像片幅小，获取一定范围的正射影像，需要进行影像镶嵌和匀光匀色等处理。

现有的一些影像处理方法只是针对卫星或中空航空影像进行处理，并未对低空，特别是城市低空获取的低空高分辨率影像进行有效的相关处理。例如对于城市地区建筑物林立的情况，其拼接线需要大量的人工调整和修测。并且进行城市地区数字影像纠正时，由于人工建筑物等没有经过有效的微分纠正，正射影像图上存在建筑物向不同方向倾斜的问题，这种倾斜必然带来地物遮挡现象，尤其是高大建筑物带来的遮挡问题更是突出，对正射影像图上影像信息的判读带来了很大的影响。

发明内容

本发明的技术解决问题是：提供一种城市低空无人机系统生成数字正射影像方法，能够充分利用城市低空获取影像的高分辨率优势，高效精确地生产DOM。

本发明包括如下技术方案：

一种城市低空无人机系统生成数字正射影像图的方法，包含以下步骤：数据资料准备，数据资料包括控制点资料、相机检校文件、姿态资料；影像的空中三角测量，生成核线影像；影像匹配，生成数字表面模型(DSM)；基于城市建筑物特征构建不规则三角网(TIN)和数字高程模型(DEM)内插；数字微分纠正生成数字正射影像图(DOM)；城市低空数字正射影像图镶嵌，包括拼接线选择、匀光匀色、边界裁切。

影像匹配，引用垂直线估计算法(简称VLL)追加定向点实现密集点云生成，生产DSM；通过城市建筑物立体观测与量测方式获取特征线，并约束DSM构建TIN，内插获取DEM；对高重叠度的影像裁切15％进行DOM的镶嵌。

本发明与现有技术相比的有益效果在于：

(1)本发明针对城市低空高分辨影像数据处理的效率低、难度大、精度低、效果差等特点，对常规航空航天影像数据处理流程进行了相关改进操作，以此适应城市低空高分辨影像处理的特点，能够有效指导城市无人机低空航摄系统的作业。

(2)采用城市低空无人机系统获取的分辨率为0.1米的正射影像对城市大比例尺地形图进行生产和更新，精度达到了国家标准规定的1∶1000地形图图上单点定位的绝对精度要求(±0.5米)。

(3)采用城市低空无人机系统获取的分辨率为0.2米的正射影像对城市大比例尺地形图进行生产和更新，精度也能满足国家标准规定的1∶2000地形图图上单点定位的绝对精度要求(±1.0米)。

附图说明

图1为本发明的一种城市低空无人机系统生成DOM的方法流程图。

图2为本发明VLL影像匹配原理图。

图3为本发明基于建筑物特征线的构建TIN示意图。

具体实施方式

(1)数据准备

城市低空无人机系统涉及的数据有：控制点资料、相机检校文件、获取的数字影像和与数字影像对应的POS、IMU数据。需要对这些数据的有效性进行检查。

(2)空三加密

空三加密根据控制点资料、数字影像和数字影像对应的POS、IMU(即姿态数据)数据，求出每张相片的内外方位元素。

(3)生成核线影像

根据空三加密成果，进行实时核线影像计算和核线影像重采样，生成核线影像。

(4)创建立体模型

建立立体观测和量测环境，并依据生成的核线影像，创建立体像对的立体模型。

(5)立体采集建筑物特征线

在建立的立体模型下，采用双目视觉原理，进行建筑物特征线的立体采集。

(6)影像匹配，生成数字表面模型(DSM)

本发明采用高斯金字塔影像匹配策略，构建影像分辨率由低到高的金字塔影像层影像金字塔，从而减少数据的运算量，提高影像匹配的效率，提高匹配精度，然后相应的形成由粗到精的影像匹配方案。

a.构建高斯金字塔

图像的高斯金字塔分解是通过依次对低层图像与具有低通特性的一定大小窗口函数W(m，n)进行卷积，再把卷积结果作隔行隔列的降2采样来实现。假设要构建N级高斯金字塔，将原始影像作为高斯金字塔的最底层G₀，其金字塔影像序列分别为G₀、G₁、…G_N。其中金字塔第L层G_L可由低一级图像G_L-1由下式产生：

G_L＝[w*G_L-1]↓2，(1＜L＜N)

其中：[]↓2表示抽取；*表示卷积算子；w表示高斯卷积核，w中各元素的和必须等于1。由金字塔构建的特征可以看出，相邻上级与下级之间的运算都是利用上面公式得到的，于是可定义一个函数REDUCE()来形象表示：

G_L＝REDUCE(G_L-1)

对于第L层G_L中的具体像素点(i，j)的灰度值的计算可以通过加权平均的形式来求得，即：

$G_L(i,j)=\underset{m=-2}{\overset{2}{\mathrm{\Σ}}}\underset{n=-2}{\overset{2}{\mathrm{\Σ}}}w(m,n)G_{L-1}(2i+m,2j+n),$ m，n为整数

式中w(m，n)为高斯模板，它是一个具有低通特性的类高斯加权窗口函数，其必须满足如下约束条件：

1)二维可分离性：

w(m，n)＝w′(m)·w′(n)，m∈[-2，2]，n∈[-2，2]

2)归一化： $\underset{n=-2}{\overset{2}{\mathrm{\Σ}}}{w}^{\′}\left(n\right)=1$

3)对称性：w′(n)＝w′(-n)

4)奇偶等贡献性：w′(-2)+w′(2)+w′(0)＝w′(-1)+w′(1)

满足上述约束条件的一个典型的5*5子窗口为：

$w=\frac{1}{256}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]$

b.特征提取

构建好高斯金字塔后，进行各层影像的特征提取。本发明提取特征点的立体像对是基于空中三角测量计算基础上的，即每张影像的内外方位已知，并要求匹配特征点的分布采用随机分布，即按顺序进行特征提取，控制特征的密度，在整幅影像中按一定比例选取特征点，并将极值点周围的其他点去掉，这种方法选取的点集中在信息丰富的区域，而在信息贫乏区则没有点或点很少，其目的是保证匹配到点的准确性。选用的特征提取算子是Harris算子。Harris算子提取的特征点均匀且合理，在特征点比较丰富的区域，Harris算子可以提取大量有用的特征点，而在特征点信息比较少的区域，提取的特征点也比较少。

c.特征匹配

金字塔中最高级的影像由于已经进行了空中三角测量加密，影像的外方位比较精确，采用相关系数测度方法可以快速地进行立体像对的匹配，将全部的特征点处理完后，将结果换算到下一层影像中进行匹配。重复以上过程直到原始影像。在最低层影像即原始影像匹配的时候，把传递下来的已有匹配点作为初始值，采用最小二乘影像匹配方法进行精匹配，提高最终匹配精度。

d.密集点云DSM的生成

在影像的内外方位元素已知的基础上，对特征匹配生成的同名点利用前方交会的方法就可以求出该点对应的地面点三维坐标，即数字表面模型(DSM)。对特征贫乏区域或者影像边缘区域，存在匹配点个数少或者匹配点不均匀的问题，采用垂直线估计法(VLL)进一步增加模型中同名点的密度，通过计算得到密集点云DSM。

VLL(Vertical Line Locus)方法在中心投影条件下，假设在物方有一条铅垂线轨迹，则它投射到影像上仍是一条直线，该铅垂线与地面的交点在影像上的构像必定位于相应的投影差上。通过迭代计算在立体像对上搜索相应的像点，确定该点的高程值。VLL影像匹配原理图如图2所示，其中S₁、S₂为投影中心。

根据DSM中一点坐标(X_i，Y_i)，根据周围已知点的高程值确定该点的近似高程值Z₀。按精度要求确定高程搜索步距ΔZ。由该点的平面坐标(X_i，Y_i)以及可能的高程Z_i＝Z₀+i·ΔZ(i＝-n，...，0，1，2...)计算左右像点坐标(x_i，y_i)和(x_i’，y_i’)，其形成的共线方程公式如下：

$\left\{\begin{array}{c}{x}_i=-f\frac{a_1(X_i-X_s)+b_1(Y_i-Y_s)+c_1(Z_i-Z_s)}{a_3(X_i-X_s)+b_3(Y_i-Y_s)+c_3(Z_i-Z_s)}\\ y_i=-f\frac{a_2(X_i-X_s)+b_2(Y_i-Y_s)+c_2(Z_i-Z_s)}{a_3(X_i-X_s)+b_3(Y_i-Y_s)+c_3(Z_i-Z_s)}\end{array}\right.$

$\left\{\begin{array}{c}{x^{\′}}_i=-f\frac{{a^{\′}}_1(X_i-{X^{\′}}_s)+{b^{\′}}_1(Y_i-{Y^{\′}}_s)+{c^{\′}}_1(Z_i-{Z^{\′}}_s)}{{a^{\′}}_3(X_i-{X^{\′}}_s)+{b^{\′}}_3(Y_i-{Y^{\′}}_s)+{c^{\′}}_3(Z_i-{Z^{\′}}_s)}\\ {y^{\′}}_i=-f\frac{{a^{\′}}_2(X_i-{X^{\′}}_s)+{b^{\′}}_2(Y_i-{Y^{\′}}_s)+{c^{\′}}_2(Z_i-{Z^{\′}}_s)}{{a^{\′}}_3(X_i-{X^{\′}}_s)+{b^{\′}}_3(Y_i-{Y^{\′}}_s)+{c^{\′}}_3(Z_i-{Z^{\′}}_s)}\end{array}\right.$

其中，f为像片焦距， $\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right]$ 为左像旋转矩阵， $\left[\begin{array}{ccc}{a}_1^{\′}& a_2^{\′}& a_3^{\′}\\ b_1^{\′}& b_2^{\′}& b_3^{\′}\\ c_1^{\′}& c_2^{\′}& c_3^{\′}\end{array}\right]$ 为右像旋转矩阵，(X_i，Y_i，Z_i)是某点i在空间直角坐标系中的坐标值，(X_s，Y_s，Z_s)是某点i在空间辅助直角坐标系中的坐标值。

在获得左右像点坐标后，先进行核线约束，以该点对为中心，获得一定区域范围的点对，以相关系数ρ₀为测度，进行匹配。然后改变i的值，重复上述过程，得到一系列相关系数ρ₀，ρ₁，......，ρ_n，选取相关系数最大的ρ_k＝max{ρ₀，ρ₁....ρ_n}所对应Z值为该模型点对于地面点的高程值。

(7)基于城市建筑物特征，构建不规则三角网(简称TIN)

由于建筑物在大比例尺或目视比例尺条件下是一个三维实体，而地形是起伏的，建筑物的基准面又是水平的，所以当独立建筑物跨在两个或多个地形模型构造面片上时，就会出现建筑物与地表之间存在空隙的失真状况。针对上述问题，提出如下思路：利用立体方式量测建筑物的边界，生成建筑物的矢量特征线。利用建筑物的矢量特征线作为DSM的约束线构建TIN。其原理是删除建筑物矢量线内的点，利用建筑物边界端点处的高程值参与TIN的构建。这样就可以消除建筑物顶部高程点的影响，得到真正的地面起伏，即DEM。

下面就以获取的建筑物底座边界为例，具体描述一下基于建筑物特征线的TIN构建，图3中由ABCDEF六个点组成的线条示意为建筑物底座。

步骤1：根据建筑物的二维底座或底座凸包的范围可以确定其覆盖的地形表面的范围，即影响的地形三角面，如图3中的顶点123456围成的多边形区域。

步骤2：根据点在多边形内的算法，判断原始TIN三角网中落在该底座或凸包之内的点。这些点(图3中的7点)不参与局部三角网的重构，对于这些落在建筑模型底座或凸包之内的点予以删除，同时删除与此顶点相关联的所有三角形。

步骤3：以建筑物的底座基准高度为准，根据Delaunay三角剖分法则，对建筑物底座或凸包的边界点和建筑物的地形影响边界点123456重新剖分，根据内边界的保界处理算法使边界内部不参加TIN的构建，如图3右图，最后将新生成的三角形加入到地形TIN中。

(8)数字高程模型(DEM)内插

采用最小二乘移动曲面的方法逐点内插DEM。

移动曲面拟合法就是对于每个待插点，选取其邻近的n个数据点(参考点)来拟合多项式曲面，选取如下的曲面：

z＝p(x，y)＝Ax²+Bxy+Cy²+Dx+Ey+F

式中，x、y、z为各参考点坐标值，A、B、C、D、E、F为待定参数，可以通过n个选定的参考点进行最小二乘法求解，就是让各参考点(x_k，y_k)(k＝1，2...n)的偏差平方和达到最小，即：

$\min \→Q=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{d}_k{[p(x_k,y_k)-z_k]}^2$

式中，z_k是(x_k，y_k)上的观测值，p(x_k，y_k)是拟合值，Q是拟合值与观测值的误差平方和，d_k是点的权值。

具体实现步骤如下：

1)确定内插点的范围。一般建立以内插点为圆心，以R为半径的圆，确定该圆中拥有足够的参考点，一般计算时采用6～12个。R的确定取决于原始数据中点的稀疏程度，可以采用动态圆半径法来确定，二次曲面公式如下：

πR²＝10×(A/N)

式中，N为点总数，A为总面积。

2)参考点权重的确定。不同位置的参考点相对于内插点的距离不同，对计算内插点高程的影响程度也不同。在进行移动曲面拟合的时候，代入与距离相关的权函数：

p＝1/r²或者p＝(R-r)²/r²

式中，p是参考点的权重，R是圆的半径，r是参考点到内插点之间的距离。

3)法化求解。为了求出方程中的系数矩阵X，按最小二乘原理应有： $\frac{\∂Q}{\∂X}=0$

列出误差方程式：

V＝MX-Z

通过法化，求出二次曲面的系数矩阵X：

X＝(M^TPM)^-1M^TPZ

式中 $X=\left(\begin{array}{c}A\\ B\\ C\\ \·\\ \·\\ \·\\ F\end{array}\right),$ $V=\left(\begin{array}{c}{v}_1\\ v_2\\ \·\\ \·\\ \·\\ v_n\end{array}\right),$ $Z=\left(\begin{array}{c}{z}_1\\ z_2\\ \·\\ \·\\ \·\\ z_n\end{array}\right),$ $M=\left(\begin{array}{cccccc}{\stackrel{\‾}{X}}_1^2& {\stackrel{\‾}{X}}_1{\stackrel{\‾}{Y}}_1& {\stackrel{\‾}{Y}}_1^2& {\stackrel{\‾}{X}}_1& {\stackrel{\‾}{Y}}_1& 1\\ {\stackrel{\‾}{X}}_2^2& {\stackrel{\‾}{X}}_2{\stackrel{\‾}{Y}}_2& {\stackrel{\‾}{Y}}_2^2& {\stackrel{\‾}{X}}_2& {\stackrel{\‾}{Y}}_2& 1\\ \begin{array}{c}\·\\ \·\\ \·\end{array}& \begin{array}{c}\·\\ \·\\ \·\end{array}& \begin{array}{c}\·\\ \·\\ \·\end{array}& \begin{array}{c}\·\\ \·\\ \·\end{array}& \begin{array}{c}\·\\ \·\\ \·\end{array}& 1\\ {\stackrel{\‾}{X}}_n^2& {\stackrel{\‾}{X}}_n{\stackrel{\‾}{Y}}_n& {\stackrel{\‾}{Y}}_n^2& {\stackrel{\‾}{X}}_n& {\stackrel{\‾}{Y}}_n& 1\end{array}\right),\begin{array}{c}{\stackrel{\‾}{X}}_i=X_k-x_k\\ {\stackrel{\‾}{Y}}_i=Y_k-y_k\end{array}$

4)求内插点处的坐标值。根据求得的系数带入二次曲面公式求出内插点的高程值。

(9)DEM质量检查是否符合要求

对生成的DEM，依据测绘行业相关标准，进行质量检查，检查的内容主要有：DEM间隔、DEM类型、是否闭合等。若符合要求，则进行数字微分纠正生成DOM，若不符合要求，则重新进行影像自动匹配。

(10)数字微分纠正生成DOM

DEM内插后的影像，利用控制点资料数据，对影像进行由中心投影向正射投影的影像变换。

(11)城市低空DOM的镶嵌

利用对微分纠正的正射影像进行边界裁切，只保留中心一定区域的影像，最后对生成的正射影像进行镶嵌。正射影像边界的裁切也同时减少了下一步正射影像镶嵌时拼接线路径的搜索时间，兼顾正射影像的质量和重叠区地物的整体完整性，提高了计算效率。边界裁切的百分比为15％左右，兼顾正射影像的质量和重叠区地物的整体完整性。DOM镶嵌的过程中需要进行匀光匀色处理。

(12)DOM质量评定

镶嵌后生成的DOM，需要依据相关国家标准和测绘行业标准来进行质量的评定。质量评定的内容涉及：分辨率、信息量、测图比例尺和精度等。

本发明针对城市低空高分辨影像数据处理的效率低、难度大、精度低、效果差等特点，充分利用城市低空获取影像的高分辨率优势，高效精确地生产DSM、DEM和DOM，生成的产品满足相关国家标准和行业标准涉及的1∶1000和1∶2000地形图图上单点的绝对精度要求。

大量的试验结果表明，采用分辨率为0.1米的正射影像对城市大比例尺地形图进行生产和更新，精度达到了国家标准规定的1∶1000地形图图上单点定位的绝对精度要求(±0.5米)；同时，采用分辨率为0.2米的正射影像对城市大比例尺地形图进行生产和更新，精度也能满足国家标准规定的1∶2000地形图图上单点定位的绝对精度要求(±1.0米)。

本发明未详细阐述的部分属于本领域公知技术。

Claims (4)

1.一种城市低空无人机系统生成数字正射影像图的方法，其特征在于：包含以下步骤：

(1)数据资料准备，数据资料包括控制点资料、相机检校文件、姿态资料；

(2)影像的空中三角测量，生成核线影像；

(3)影像匹配，生成数字表面模型(DSM)；

(4)基于城市建筑物特征构建不规则三角网(TIN)和数字高程模型(DEM)内插；

(5)数字微分纠正生成数字正射影像图(DOM)；

(6)城市低空数字正射影像图镶嵌，包括拼接线选择、匀光匀色和边界裁切。

2.如权利要求1所述的一种城市低空无人机系统生成数字正射影像图的方法，其特征在于，所述步骤(3)中的影像匹配，采用高斯金字塔影像匹配策略，构建影像分辨率由低到高的金字塔影像层，在低级别影像层上采用最小二乘影像匹配算法，作为高级别影像层的初始值，并且在高级别影像层上采用相关系数匹配算法，以此生成DSM。

3.如权利要求1所述的一种城市低空无人机系统生成数字正射影像图的方法，其特征在于，所述步骤(4)首先提取城市DEM约束特征线，然后根据城市DEM约束特征线进行不规则三角网的构建，通过特征线内部的高程点不参与构建不规则三角网，并进行数字高程模型(DEM)内插，从而获取真正的地面高程点DEM。

4.如权利要求1所述的一种城市低空无人机系统生成数字正射影像图的方法，其特征在于，所述步骤(6)利用微分纠正对城市高重叠度高分辨率影像进行正射纠正，同时进行15％边界裁切，只保留中心一定区域的影像，最后对生成的正射影像进行镶嵌。

Images