CN113538501A - 低空图像dsm生成建筑物边缘精细化方法 - Google Patents

Abstract

本申请的低空图像DSM生成建筑物边缘精细化方法，一是提出线特征提取算法与线段优化策略，解析各线提取算法在速度、稳定性、精度等方面的特征，针对低空图像对经典线特征提取算法LSD进行改进，使之更适用于低空图像的线特征提取，并最大程度提高其速度和稳定性；二是分析线特征匹配的各种约束条件和匹配测度，采用原始点云引导线特征匹配的策略；三是线特征匹配时，结合多种匹配测度提出一种附加权的匹配关联度判别函数，综合考虑多种测度，提高匹配可靠性；四是在精细化DSM时，利用光束面前交法得到3D线段，建立直线缓冲区，删除边缘点，对缓冲区内的点云精细化到3D线段上来，方法快速简单、高效易行且对DSM有较好的精细化效果。

Description

低空图像DSM生成建筑物边缘精细化方法

技术领域

本申请涉及一种DSM建筑物边缘精细化方法，特别涉及一种低空图像DSM生成建筑物边缘精细化方法，属于DSM边缘精细化方法技术领域。

背景技术

伴随数字城市的发展，DSM(数字表面模型)以其丰富的空间信息、真实直观的实物表达方式，使用户能在3D环境下对城市实体进行浏览和分析。但由于多方面的原因，城市区域DSM的获取无法满足实时性要求，获取速度慢。对于DSM的获取方式，主要可分为硬件直接获取和软件计算获取。LiDAR属于利用硬件直接获取，这种方法有较好的实时性，自动化程度高，无需地面控制点，软件计算获取主要是结合摄影测量的理论方法，虽然LiDAR技术拥有许多优势，但并未得到大范围使用，且通过对航空图像进行密集匹配获取高密度的3D点云来生成DSM的方法，具有成本低廉且自动化程度高的优势，因此当前使用全数字摄影测量的方法来获取DSM较为普遍。

而对于低空图像来说，虽仍存在稳定性不够、效率偏低以及难以获取大面积图像的缺点，但由于其独特性，既拥有类似LiDAR机动快速的优势，又兼备低廉的成本，非常便于数字表面模型的获取。

从常规航空摄影测量获取的DSM来看，传统DSM获取精度并不高，建筑物存在边界不清晰、形状不明显等问题，尤其是关于建筑物边缘信息不够准确，边缘容易出现漏洞或错误。建筑物是城市区域不可缺少的组成部分，而建筑物的边缘信息又是其必要属性，建筑物的边缘出现模糊、错误，将直接造成DSM的精度下降，从而导致许多依赖于精确DSM的应用无法完成，如城市建模、3D地理信息系统等重大应用。为了DSM能够更好的服务大众，保证后续应用正常开展，亟需构建高精度的DSM。

现有技术的线特征提取：线特征是图像几何特征的重要组成部分，运用线特征可以在不干扰人类视觉感知的条件下简化图像表达，减少图像数据量。直线特征的表示虽然简单，但由于许多人工地物都具有直线特征，直线可作为一个基本特征用于描述和检测复杂的形状，因此线特征提取是特征提取的基础。现阶段的线特征提取方法大致分三类：第一类是基于变换域的方法，此类方法是一个坐标变换，通过坐标变换算得参数在另一空间的极值点提取直线，代表算法为Hough变换法，此类方法具有算法简单、受噪声影响小的优点，但存在计算量大、检测精度低等缺陷。第二类是基于梯度相位特征的方法，通过计算图像的梯度及其方向角并量化编码后，将梯度方向相同的相邻点构成边缘线支撑区，通过最小二乘拟合直线，代表算法为相位编组法。该类算法内存消耗小，原理简单易行，但该算法对图像亮度变化较为敏感，且当分组误差大时极易产生分裂的短直线。第三类是分割边缘的方法，首先对图像进行边缘提取，然后对边缘进行跟踪，并将曲线分割成直线。此类算法原理简单，能够检测图像局部的直线段，易于理解，但不足之处是其结果依赖图像边缘跟踪算法的性能，当选择的边缘跟踪算法性能不佳时，结果会受到很大影响，且运行时间较长。

此外，当前也出现了一些较新的线特征提取算法，包括基于Hough变换提出一种子像素级的线特征提取算法，通过hough变换获得的直线与图像线特征的进行最小二乘匹配提取直线，此方法虽然能达到较高的精度，但提取速度比较慢，不适用于实时化的应用。基于LOG算子线段抽取法，可以较好的提取弱梯度的直线特征，虽然可以使得定位精确到子像素级，但由于错误直线段的存在，加大了不必要的计算量，使得原本效率不高的提取更加耗时。链码提取直线的方法提取速度较快，但对于直线密集复杂地区线特征提取效果不太理想，而且得到的边缘跟踪链码不能保证为直线。启发式链接法以相邻边缘像素的关系为基础，使用梯度等测度进行边缘线的连接，但此方法也非常依赖边缘检测的精度，鲁棒性不高，当边缘检测的精度不佳时，提取直线质量会受到很大的影响，不能满足自动化的需求，且极易出现错误检测。

现有技术的线特征匹配：线特征匹配是特征识别、3D重建等应用的重要步骤，总结现阶段线特征匹配的难点可归结为：一是由于拍摄角度、光照等原因，不能保证一条直线同时存在于相邻图像中；二是由于噪声和提取算法等原因，所提取直线段端点的不一致，导致线段的完整性难以保证；三是由于线特征匹配算法等原因，匹配缺乏严格的约束，会出现相似度极高的直线段，一对多的情况经常发生。对于这些问题，现有技术通过建立顶层金字塔图像匹配得到的DSM进行约束，减少直线搜索范围，但这种方法的参数计算量大，占用内存较高，对于被遮挡的直线来说，其拓扑关系无法表述，将直接影响匹配结果。

现有技术通过概率松弛法得到同名点并构建三角网，由三角网来约束搜索直线范围，计算灰度相关系数，拥有最大灰度相关系数的直线对为正确匹配，但此方法只能匹配同名点附近的直线且对于旋转角较大的图像匹配效果不太理想，忽略了不与地面相接触的地物，具有一定的局限性，过分依赖图像灰度，对噪声较为敏感。另外，现有技术还有一些方法受光照影响较大且无法用于灰度图像等无明显颜色差异的图像，没有考虑仿射不变性，只能适用于视场角较小的短基线图像，依赖匹配同名点的精度，且算法通用性不强，有些算法较为复杂，难于理解。

综上所述，现有技术的DSM边缘精细化方法存在不足，本申请的难点和待解决的问题主要集中在以下方面：

第一，现有技术DSM获取精度不高，建筑物存在边界不清晰、形状不明显等问题，尤其是关于建筑物边缘信息不够准确，边缘容易出现漏洞或错误，建筑物是城市区域不可缺少的组成部分，而建筑物的边缘信息又是其必要属性，建筑物的边缘出现模糊、错误，将直接造成DSM的精度下降，从而导致许多依赖于精确DSM的应用无法完成，如城市建模、3D地理信息系统等重大应用；同时又考虑到低空图像的特征，不能直接使用传统的航空图像处理方法来获取DSM；

第二，现有技术的线特征提取存计算量大、检测精度低等缺陷，对图像亮度变化较为敏感，且当分组误差大时极易产生分裂的短直线，结果依赖图像边缘跟踪算法的性能，当选择的边缘跟踪算法性能不佳时，结果会受到很大影响，且运行时间较长，提取速度比较慢，不适用于实时化的应用，对于直线密集复杂地区线特征提取效果不太理想，而且得到的边缘跟踪链码不能保证为直线，鲁棒性不高，当边缘检测的精度不佳时，提取直线质量会受到很大的影响，不能满足自动化的需求，且极易出现错误检测；

第三，现有技术的线特征匹配由于拍摄角度、光照等原因，不能保证一条直线同时存在于相邻图像中；由于噪声和提取算法等原因，所提取直线段端点的不一致，导致线段的完整性难以保证；由于线特征匹配算法等原因，匹配缺乏严格的约束，会出现相似度极高的直线段，一对多的情况经常发生，参数计算量大，占用内存较高，对于被遮挡的直线来说，其拓扑关系无法表述，将直接影响匹配结果，过分依赖图像灰度，对噪声较为敏感，只能适用于视场角较小的短基线图像，依赖匹配同名点的精度，且算法通用性不强，有些算法较为复杂，难于理解；

第四，相比于近景图像，低空图像的像幅较大，单张图像需要处理的数据量多，传统LSD算法不适用于低空图像的线特征提取，其速度和稳定性都很差；3D直线段重建精度取决于摄像机的标定精度和图像匹配特征的定位精度，由于密集匹配提取的是点特征，而点特征受图像断裂和提取精度的影响，提取特征点不能准确的定位在建筑物的边缘，导致利用特征点进行匹配在边缘的匹配精度比较差，而且经常由于遮挡等原因出现匹配缺失等情况，导致DSM精度下降，现有技术不能很好的解决这些问题。

同时又考虑到低空图像的特征，不能直接使用传统的航空图像处理方法来获取DSM，本申请的主要目的是以低空图像为数据源，研究其线特征提取方法并采用线特征匹配的思路，通过提取有效直线段并进行线特征匹配，将匹配得到的3D线段结果融入原始DSM中，最终得到精细化的DSM。

发明内容

本申请主要针对图像中建筑物边缘的直线，成功解决了如何获得精确的边缘线以及如何用获得的边缘线进行DSM边缘的精细化问题，本申请提出适合于低空图像提取有效线特征的算法，图像对低空图像分块改进LSD线特征提取，考察提取线段的长度，方向属性，对分块提取得到的线段进行筛选合并，最终得到符合匹配条件的线特征数据；通过密集匹配得到原始点云数据，将提取的直线投影至密集匹配点云，并利用外方位元素反投至相邻图像上，投影的线特征在第一图像定范围内得到一个匹配备选集，计算相邻图像在备选集内的线段与投影线段的附加权匹配关联度判别函数，为减小遮挡的影响，匹配的同名直线需进一步满足双向一致性准则；采用光束面前交获取3D线段点云数据，并提出进行基于临界值的精细化密集匹配点云的方法，设定内外临界值两个临界值，以3D线段为中心确定3D线段圆柱形内外缓冲区，删除在两缓冲区之间的边缘点云数据，将缓冲区内的点云数据纠正到3D线段上，构建三角网内插，最终得到精细化的DSM。

为实现以上技术特征，本申请所采用的技术方案如下：

低空图像DSM生成建筑物边缘精细化方法，针对图像中建筑物边缘的直线，获得精确的边缘线并用获得的边缘线进行DSM边缘的精细化，包括：一是提出适合低空图像提取有效线特征的算法，对低空图像分块改进LSD线特征提取，考察提取线段的长度，方向属性，对分块提取得到的线段进行筛选合并，最终得到符合匹配条件的线特征数据；二是通过密集匹配得到原始点云数据，将提取的直线投影至密集匹配点云，并利用外方位元素反投至相邻图像上，投影的线特征在第一图像定范围内得到一个匹配备选集，计算相邻图像在备选集内的线段与投影线段的附加权匹配关联度判别函数，匹配的同名直线需进一步满足双向一致性准则；三是采用光束面前交获取3D线段点云数据，并提出进行基于临界值的精细化密集匹配点云的方法，设定内外临界值两个临界值，以3D线段为中心确定3D线段圆柱形内外缓冲区，删除在两缓冲区之间的边缘点云数据，将缓冲区内的点云数据纠正到3D线段上，构建三角网内插，最终得到精细化的DSM；

第一步，改进LSD提取线特征包括：低空图像分块、改进提取线特征；解析线特征提取算法与线段优化策略，并对经典线特征提取算法LSD在速度、稳定性和精度方面进行改进，通过改进LSD提取线特征；

第二步，基于原始点云匹配线特征包括：匹配前置处理、基于原始点云的线特征投影约束；提出一种由密集匹配得到原始点云引导线特征匹配的策略，采用基于原始点云匹配线特征，基于原始点云的线特征匹配通过线特征匹配的各约束条件和匹配测度规避直线段端点不一致的影响，生成原始匹配点云，根据低空图像特征，提出基于原始点云的像方-物方-像方投影约束，并采用合适的匹配测度组成附加权的匹配关联度判别函数；

第三步，线段精细化点云匹配包括：构建3D直线段、精细化DSM；利用匹配线段进行DSM精细化，采用光束面前交重构3D线段的方法，在光束面前交之后得到更合理的3D点云，并划定3D线段缓冲区精细化缓冲区内的点云，最后采用先构建三角网再内插的方法生成规则格网DSM，保留地物地貌信息并得到精度高的DSM。

低空图像DSM生成建筑物边缘精细化方法，进一步的，改进LSD提取线特征：低空图像分块后，提取线特征，得到线段两端点的坐标；

第一，初步筛选：删除过短的线段，先删除线段长度小于5个像素的线段；

第二，考察两条线段的方向夹角，当夹角大于临界值时不进行合并，设提取线段Y₁的方向角为β₁，线段Y₂的方向角为β₂，则判断线段夹角：

β＝|β₁-β₂|≤5° 式1

如果满足，两条线段即可合并，反之，则不能合并；

第三，计算线段两端点到另一线段的垂距，若线段之间相互的垂距都较大，则不合并；只有当线段之间相互的垂距都小于1时，两条子线段才合并；

第四，计算两线段最近端点间距，如果间距超过临界值则不合并；分别求解四点间的距离，最短距离小于5的线段合并；

第五，将符合合并条件的线段重新优化拟合，合并线段，标记被合并的线段为从属性线段，标记后的线段不参与其它的线段优化操作，优化拟合过程为：将直线的一般形式方程ax+by+c＝0，化为x+Ay+B＝0，其中A＝(b/a)，B＝(c/a)，取W函数：

其中M为参与优化拟合的总点数，当W函数取最小值时，A、B的值即为所求直线参数,函数极值方程：

由此可得式3：

求解式3，得A，B的值，即可确定拟合直线的表达式；

第六，清除合并后线段长度仍较短的线段，较长线段的结构性较短线段结构性好，统计合并后的线段长度，小于45像素大小的线段舍弃，最终得到线段优化后的LSD线特征提取结果。

低空图像DSM生成建筑物边缘精细化方法，进一步的，基于原始点云匹配线特征：经改进LSD提取线特征已经得到两幅图像较准确的有效直线段，匹配使用的原始点云通过对金字塔图像逐层进行特征点匹配得到，其方法为：经过图像水平纠正的前置处理之后，构建图像金字塔的、提取点特征，接着采用SIFT特征匹配对金字塔顶层的小幅影像匹配得到粗略DSM作为后续密集匹配的初值，在进行密集匹配时，对于每个特征点，通过粗略DSM确定纠正图像上某点在其搜索图像上的一维搜索区域，在该搜索区域内进行相关系数法图像匹配得到同名点的概略点位，然后再以该点位为初值进行最小二乘法图像匹配，得到同名点的精确点位，逐点匹配之后，即完成图像的密集匹配，前交即得本申请的原始点云结果。

低空图像DSM生成建筑物边缘精细化方法，进一步的，匹配前置处理包括以下方面：

第一方面：纠正图像水平，给定某一合适高程值，利用已知的图像方位元素，使用数字微分纠正法将图像纠正到这一水平平面上；

第二方面：对纠正后的图像进行重采样，构建图像金字塔，基于低空图像像幅小的特征，采用双三次卷积法构建图像金字塔；

第三方面：为提升图像的清晰度及便于分析处理，利用Wallis滤波进行图像增强；

第四方面：对金字塔各层除顶层外图像采用Harris算子进行点特征提取，提取大量密集的特征点，用于后续密集匹配。

低空图像DSM生成建筑物边缘精细化方法，进一步的，基于原始点云的线特征投影约束：原始DSM数据无需根据同名点解求单应性矩阵进行约束，直接进行基于原始点云的像方-物方-像方投影约束，通过给定的原始高程值对原始DSM三角网内插迭代计算得到精细化的高程信息，利用摄影测量中的共线条件方程，完成像方-物方-像方坐标系的转换，最终得到直线在相邻图像上的投影，坐标系的变换如式：

其中，(X,Y,Z)为像点物方空间坐标，(x,y,-g)为像点像空间坐标，T为旋转矩阵，δ是投影系数，(X_S,Y_S,Z_S)为摄影中心物方空间坐标，如果提供物方高程初值Z₀，有：

得到原始的像点的物方坐标XY，将匹配得到的原始点云构建三角网后，XY内插得高程值Z₁，便可由三角网根据解算的物方坐标X、Y，计算区域内任意一点的高程Z，其中，三角网内插步骤为：

(1)第一步，三角网中格网点的检索：设已知W点的X、Y坐标，需要在三角网内插值得到Z值，第一步求得W点所在的平面位置，即所在的三角格网的方法是：根据构建三角网时的数据分块检索文件计算W(X,Y)在哪个检索块中，依次计算W(X,Y)和检索块中每一个网点间的距离，得到距离最近的点H₁，然后统计包含H₁点的所有三角形，考察W点在其中哪个三角形内，如果当考察完所有的以H₁为顶点的三角形时，发现W均为未包含在内，则取距离W点次最小的点继续考察，直到找出W点所在三角形，利用此三角形的三个顶点坐标即可内插出W点的高程；

(2)第二步，高程内插：如果W(X,Y)所在的三角形为ΔH₁H₂H₃，三个顶点坐标为(X₁,Y₁,Z₁)，(X₂,Y₂,Z₂),(X₃,Y₃,Z₃)，则由H₁，H₂与H₃确定的平面方程为：

则W点高程为：

其中X₂₁＝X₂-X₁，X₃₁＝X₃-X₁，Y₂₁＝Y₂-Y₁，Y₃₁＝Y₃-Y₁，Z₂₁＝Z₂-Z₁，Z₃₁＝Z₃-Z₁。

低空图像DSM生成建筑物边缘精细化方法，进一步的，基于原始点云的像方-物方-像方投影约束方法的步骤为：

步骤一，参考点的平均高程确定原始高程Z₀；

步骤二，根据第一图像提取直线段一端点d、第一图像摄影中心S₁、对应物方点三点共线关系，由式5和式6，得到原始高程Z₀对应的物方坐标(X_D0,Y_D0,Z₀)；

步骤三，取物方坐标(X_D0,Y_D0)，按式8在原始点云构成的三角网上进行内插，得到高程Z₁；

步骤四，将得到的Z₁代替原始高程Z₀，重复步骤二、步骤三，得到更加精确的高程值，计算：

ΔZ＝Z_i+1-Z_i (i＝0，1，2，…) 式9

直到两次得到高程的差值小于临界值(0.01m)，取此时得到的物方坐标为(X_D,Y_D,Z_D)；

步骤五，同样，根据物方点D、第二图像摄影中心S₂、第二图像对应同名点d'三点共线，由共线方程得第二图像对应像点d'坐标(x_d',y_d')：

步骤六，取第一图像提取直线段另一端点e，按照上述方法解算对应像点(x_e',y_e')；

步骤七，最终得到d'e'线段，取距离d'e'一定范围a内的直线段，加入备选匹配线段集合H(Y)；

在备选匹配区域范围内定义一个线段重叠率函数Overlap(Y_L,Y_R)表征右片搜索图像中直线落入左片参考图像备选匹配区域H(Y)的概率，只有在Overlap(Y_L,Y_R)不为零时，才认为Y_L,Y_R为可能的匹配线段，统计落入备选匹配区域H(Y)线段；

分别计算各个备选直线段对的Overlap(Y_L,Y_R)值：

其中，y(Y_L,Y_R)为直线段重叠部分长度，Sim[LAP(Y_L，Y_R)]为基于核线的直线段重叠相似度，融合多方测度定义附加权直线段匹配关联度判别函数为：

Sim(Y_L，Y_R)＝Overlap(Y_L，Y_R)·{w_ang Sim(ANG(Y_L，Y_R))+w_dis Sim(DIS(Y_L，Y_R))+w_mmsdρ(ML(Y_L)，ML(Y_R))} 式13

w_ang+w_dis+w_mmsd＝1，w_ang、w_dis、w_mmsd为各个相似性测度函数的权重，Sim(ANG(Y_L，Y_R)为线段的方向角相似度，Sim(DIS(Y_L，Y_R)为图像原点到线段的距离相似度，ML(Y)为梯度幅值均值-标准差描述子，采用欧式距离ρ(ML(Y_L)，ML(Y_R))度量Y_L、L_R描述子间相似度；

对落入备选匹配区域H(Y)的所有线段计算其Sim(Y_L,Y_R)值，取最大关联度判别函数的直线对作为初匹配结果，本申请匹配规则为：第一图像中提取的直线Y_L根据原始DSM投影到第二图像上，在第二图像备选匹配区域H(Y_L)内寻得匹配关联度判别函数最大的直线Y_R，再取第二图像的直线Y_R，按照同样的方法进行匹配，如果在第二图像备选匹配区域H(Y_R)内寻得匹配关联度判别函数最大的直线为Y_L，则确认Y_L、Y_R是一对匹配，反之，则不认为Y_L、Y_R是一对匹配线段。

低空图像DSM生成建筑物边缘精细化方法，进一步的，构建3D直线段：共线方程为摄影中心点、像点和物方点之间共线的条件关系，设摄影中心S在物方空间坐标系下坐标为(X_S,Y_S,Z_S)，像点d在像平面坐标系下坐标(x,y)，对应物方点在物方空间坐标系下坐标D(X_D,Y_D,Z_D)，矩阵表示的共线方程形式：

其中δ代表投影系数，(x₀,y₀)为像主点在像平面坐标系下的坐标；

设像点d(x,y)在像空间坐标系中的坐标为(x,y,-g)，而在像空间辅助坐标系中的坐标为(X,Y,Z)，两者的正交变换关系用式19表示：

得到像点d(x,y)在物方空间坐标系下坐标：

根据中心投影原理，同像点、摄影中心、物点三点共线的条件类似，图像直线、摄影中心、物方空间直线三者共面，构成直线的共面方程；

直线段的端点的像点坐标转化为在物方空间坐标系下的坐标，第一图像线段两端点与左图像摄影中心构成的平面W₁，第二图像线段两端点与右图像摄影中心构成的平面W₂，平面W₁、W₂的交线即为重建的3D线段所在的直线，即为光束面前交构建3D线段；

设第一图像上提取的直线方程为ax+by+c＝0，根据共线条件方程另外一种形式：

物方空间平面方程为：AX+BY+CZ+D＝0，将共线方程与影像直线方程联立，并与物方空间平面方程比较系数得到：

A＝aga₁+bga₂-ca₃

B＝agb₁+bgb₂-cb₃

C＝agc₁+bgc₂-cc₃

D＝CZ_s-BY_s-_-AX_s 式21

求得第一图像直线对应物方平面方程，设以上求得的图像两条匹配直线分别与其摄影中心构成的平面为：W₁(aX+bY+bZ+d＝0)、W₂(mX+nY+pZ+q＝0)联立可得物方直线方程为：

两条直线分别与其摄影中心构成的光束面的法向量为：

利用向量积的叉乘可以得到物方空间直线方程的方向向量为：

将Y₁上一端点坐标(x₀,y₀)带入直线方程得到对应的物方坐标(X₀,Y₀,Z₀)，得到直线的参数方程，设匹配线段Y₁、Y₂中较长的一条为Y₁，其端点d(x_d,y_d)、e(x_e,y_e)，由Y₁、Y₂所在光束面前交获得交线，解算高程获得d(x_d,y_d)、e(x_e,y_e)对应的点的物方坐标D(X_D,Y_D,Z_D)、E(X_E,Y_E,Z_E)，建筑物边缘直线近乎水平，对应提取的空间直线也是水平的，据此筛选构建的3D线段，删除维线段首尾点高程差大于0.1m的线段，如果|Z_D-Z_E|＜0.1则说明重建的直线段较为准确，记录直线段首尾端点的高程平均值作为重建直线段的高程，以此作为下一步精细化DSM的数据。

低空图像DSM生成建筑物边缘精细化方法，进一步的，滤除非建筑物边缘直线段：已知相机参数，图像的外方位元素及匹配的原始点云，求得图像范围的地面高程均值，又考虑到在城市图像区域的高程无太大起伏，参考原始匹配点云数据得到地面平均高程，以此设置一个临界值，统计3D线段的高程，将高程小于临界值的3D线段删除，最终得到可有效精细化DSM的3D直线段集合。

低空图像DSM生成建筑物边缘精细化方法，进一步的，精细化DSM：得到可精细化DSM的3D线段后，将3D线段套合到需要精细化的密集匹配点云上，在密集匹配点云上搜寻3D线段点云结果附近的匹配点，在原始匹配点云寻找3D线段缓冲区内的数据，判别临界值用3D线段点云替换原高程不准确的匹配点云。

低空图像DSM生成建筑物边缘精细化方法，进一步的，3D设置线段缓冲区：对DSM精细化前，确定精细化的范围，本申请设置两个临界值：内临界值和外临界值，提取3D线段临界值内的点云构建3D线段缓冲区，删除内临界值与外临界值缓冲区之间的点云数据，内临界值缓冲区内的点云精细化到3D线段上，最后经过少量人工编辑，得到精细化的点云直线，具体步骤为：

第1步，设置内外两个临界值，以3D线段为中心，内外临界值为半径形成两个圆柱形区域，分别为内缓冲区和外缓冲区，删除在内临界值缓冲区和外临界值缓冲区之间的点云数据；

第2步，对内缓冲区内的点云进行精细化，将3D线段内插生成间隔0.1m的离散3D线段点云，内缓冲区的点云纠正到离散的3D线段点云上；

第3步，经过少量人工编辑，剔除高程异常的点云数据，得到精细化后的点云数据。

与现有技术相比，本申请的创新点和优势在于：

第一，本申请的创新之处主要在于：一是对传统LSD直线提取算法进行了改进，提出了一种优化的LSD直线提取算法，该算法针对低空图像有较好的提取效果，能更好的满足线特征匹配要求；二是改进了一种基于原始点云的投影约束方法，提出基于原始点云的线特征投影约束，并且基于直线重叠相似度计算区域重叠函数，结合方向角相似度、距离相似度以及梯度幅值均值-标准差描述子，通过赋予其不同的权值，计算关联度判别函数进行匹配；三是改进了一种基于3D线段的边缘精细化方法，光束面前交法获取3D线段后，取临界值建立直线缓冲区，删除缓冲区外的边缘点云，对缓冲区内的点云进行精细化，DSM生成建筑物边缘质量明显提高；

第二，本申请的核心改进点在于：一是提出线特征提取算法与线段优化策略，解析各线提取算法在速度、稳定性、精度等方面的特征，针对低空图像对经典线特征提取算法LSD进行改进，使之更适用于低空图像的线特征提取，并最大程度提高其速度和稳定性；二是线特征提取时首先将图像分块(512*512)，然后进行LSD线特征提取，最后按照规则对提取的图像直线点进行筛选与合并，图像分块处理可减少占用内存，提高效率，同时为多线程处理的可能性提供条件，直线段筛选优化，进一步提高下一步的匹配效率，加快匹配速度；三是分析线特征匹配的各种约束条件和匹配测度，采用一种原始点云引导线特征匹配的策略；四是线特征匹配时，结合多种匹配测度提出一种附加权的匹配关联度判别函数，综合考虑多种测度，提高匹配可靠性；五是在精细化DSM时，利用光束面前交法得到3D线段，建立直线缓冲区，删除缓冲区外的边缘点，对缓冲区内的点云精细化到3D线段上来，此方法快速简单、高效易行且对DSM有较好的精细化效果；

第三，本申请主要针对图像中建筑物边缘的直线，成功解决了如何获得精确的边缘线以及如何用获得的边缘线进行DSM边缘的精细化问题，基于线特征匹配的点云精细化主要有三个部分：线特征提取、线特征匹配、基于3D线段的匹配点云精细化，本申请提出适合于低空图像提取有效线特征的算法，对低空图像分块改进LSD线特征提取，考察提取线段的长度，方向属性，对分块提取得到的线段进行筛选合并，最终得到符合匹配条件的线特征数据；通过密集匹配得到原始点云数据，将提取的直线投影至密集匹配点云，并利用外方位元素反投至相邻图像上，投影的线特征在第一图像定范围内得到一个匹配备选集，计算相邻图像在备选集内的线段与投影线段的附加权匹配关联度判别函数，为减小遮挡的影响，匹配的同名直线需进一步满足双向一致性准则；采用光束面前交获取3D线段点云数据，并提出进行基于临界值的精细化密集匹配点云的方法，设定内外临界值两个临界值，以3D线段为中心确定3D线段圆柱形内外缓冲区，删除在两缓冲区之间的边缘点云数据，将缓冲区内的点云数据纠正到3D线段上，构建三角网内插，最终得到精细化的DSM；

第四，实验结果表明：精细化通过结合图像信息所提取的线特征得到的房屋边缘，比使用密集匹配方法得到的房屋边缘质量更高，通过线特征对房屋的边缘进行精细化的方案是可行和有效的，DSM的精度有明显提高。本申请精细化后的点云和内插后的DSM对密集匹配点云中缺失等错误的点进行了较好的改正，在相关软件中目视比较精细化前后DSM的质量，可以明显看到DSM边缘得到了较好的精细化。

附图说明

图1是本申请杯式炉边缘精简结果示意图。

图2是本申请改进LSD提取线特征结果示意图。

图3是基于像方-物方-像方投影约束的高程精细化示意图。

图4是基于原始点云的像方-物方-像方投影约束示意图。

图5是原始点云投影约束的备选匹配区域H(Y)示意图。

图6是备选匹配区域线段重叠率函数Overlap(Y_L,Y_R)示意图。

图7是本申请的3D线段缓冲区点云侧视图。

图8是本申请的3D线段缓冲区点云截面图。

图9是低空图像DSM生成建筑物边缘精细化实验流程图。

图10是DSM生成建筑物一边缘精细化前后效果对比图。

图11是DSM生成建筑物二边缘精细化前后效果对比图。

具体实施方法

下面结合附图，对本申请提供的低空图像DSM生成建筑物边缘精细化方法的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本申请并能够予以实施。

DSM(数字表面模型)是一种可以直观反映地表可见信息的模型，通过低空图像密集匹配获取DSM是当前的方向。而传统获取的DSM中建筑物存在边界不清晰的问题，尤其是建筑物边缘高程信息不准确，给之后的3D重建带来了无法预料的困难和问题，导致DSM的应用受到极大限制。而线特征匹配作为3D重建的关键技术之一，获取的线特征比点特征有更好的几何约束性，可以用来有效精细化DSM中建筑物的边缘。据此，本申请以密集匹配的点云结果为基础，提出一套适用于低空图像DSM建筑物边缘的精细化方法。

本申请主要解决低空图像生成DSM中建筑物边缘不精确的问题，解决生成DSM过程中所存在的问题，主要包括：一是解析线特征提取算法与线段优化策略，并对经典线特征提取算法LSD在速度、稳定性和精度方面进行改进，通过改进LSD提取线特征；二是提出一种由密集匹配得到原始点云引导线特征匹配的策略，采用基于原始点云匹配线特征，基于原始点云的线特征匹配通过线特征匹配的各约束条件和匹配测度规避直线段端点不一致的影响，生成原始匹配点云，根据低空图像特征，提出基于原始点云的像方-物方-像方投影约束，并采用合适的匹配测度组成附加权的匹配关联度判别函数；三是通过线段精细化点云匹配，对线特征匹配结果进行分析，通过双向一致性检核，进行3D线段的重建，并设计了一种基于3D线段的边缘精细化方法。选取相关实验数据进行试验，结果表明：通过结合图像信息所提取的线特征得到的房屋边缘，比使用密集匹配方法得到的房屋边缘质量更高，通过线特征对房屋的边缘进行精细化的方案是可行和有效的，DSM的精度有明显提高。

一、改进LSD提取线特征

相比于近景图像，低空图像的像幅较大，单张图像需要处理的数据量多，需要对传统LSD算法进行改进，针对LSD算法的特征，改进LSD提取线特征的过程，使之更适用于低空图像的线特征提取，并最大程度提高其速度和稳定性。

(一)低空图像分块

低空图像分块提取线特征有以下特征：一是对于大图像的线特征提取，如果按照传统LSD方法，以整幅图像为处理对象，将整幅第一图像次性读入内存，进行线特征提取处理后，再将提取的线段数据输出，这样的操作需占用大量内存，可能导致内存溢出，效率较低，且存续可执行性差，而分块处理速度快效率高，内存要求低，且运算量不会增加，耗时较整幅图像处理少；二是图像的尺度在分块前后有区别，分块后的尺度较大，可以对图像的细节进行更好的提取，此外分块处理更适合并行运算，有利于进一步提高线特征提取效率。图1(a)和图1(b)分别为测试图像是否分块处理的结果，其中整幅图像使用LSD提取2798条直线，耗时2.619秒，图像分块使用LSD提取3615条直线，耗时1.896秒。

(二)改进提取线特征

由于LSD的特征，无论是整幅图像进行LSD线特征提取还是分块进行LSD线特征提取，得到的直线段均有约2900条，在此数量庞大的直线段中，有许多短直线段，这些短直线段数量多且分布非常杂乱，如果不对这些短直线段进行处理，会对后续的匹配带来许多干扰和不确定性，为得到具有几何约束性的有效直线段，对图像分块提取的线特征进行筛选合并。

低空图像分块后，提取线特征，得到线段两端点的坐标；

第一，初步筛选：删除过短的线段，先删除线段长度小于5个像素的线段；

第二，考察两条线段的方向夹角，当夹角大于临界值时不进行合并，设提取线段Y₁的方向角为β₁，线段Y₂的方向角为β₂，则判断线段夹角：

β＝|β₁-β₂|≤5° 式1

如果满足，两条线段即可合并，反之，则不能合并；

第三，计算线段两端点到另一线段的垂距，若线段之间相互的垂距都较大，则不合并；只有当线段之间相互的垂距都小于1时，两条子线段才合并；

第四，计算两线段最近端点间距，如果间距超过临界值则不合并；分别求解四点间的距离，最短距离小于5的线段合并；

第五，将符合合并条件的线段重新优化拟合，合并线段，标记被合并的线段为从属性线段，标记后的线段不参与其它的线段优化操作，优化拟合过程为：将直线的一般形式方程ax+by+c＝0，化为x+Ay+B＝0，其中A＝(b/a)，B＝(c/a)，取W函数：

其中M为参与优化拟合的总点数，当W函数取最小值时，A、B的值即为所求直线参数,函数极值方程：

由此可得式3：

求解式3，得A，B的值，即可确定拟合直线的表达式；

第六，清除合并后线段长度仍较短的线段，较长线段的结构性较短线段结构性好，统计合并后的线段长度，小于45像素大小的线段舍弃，最终得到线段优化后的LSD线特征提取结果，如图2所示。

由于直线段的端点隐含了线段的长度位置等多种属性，所以取优化拟合的线段两端点(线段的起点和终点)进行记录，不但便于后续的数据读取访问，而且节省了储存空间，便于快速存取。改进LSD提取线特征大幅减少了LSD提取线段的数量，便于后续进行快速高效的线特征匹配，较长的直线对边缘的几何结构性约束更强，在重建3D线段精细化DSM边缘时，可以更加有效的对不精确的边缘进行精细化。

二、基于原始点云匹配线特征

线特征匹配是进行DSM边缘精细化的重要步骤，经改进LSD提取线特征已经得到两幅图像较准确的有效直线段，匹配使用的原始点云通过对金字塔图像逐层进行特征点匹配得到，其方法为：经过图像水平纠正的前置处理之后，构建图像金字塔的、提取点特征，接着采用SIFT特征匹配对金字塔顶层的小幅影像匹配得到粗略DSM作为后续密集匹配的初值，在进行密集匹配时，对于每个特征点，通过粗略DSM确定纠正图像上某点在其搜索图像上的一维搜索区域，在该搜索区域内进行相关系数法图像匹配得到同名点的概略点位，然后再以该点位为初值进行最小二乘法图像匹配，得到同名点的精确点位，逐点匹配之后，即完成图像的密集匹配，前交即得本申请的原始点云结果。

(一)匹配前置处理

前置处理的包括以下方面：

第一方面：纠正图像水平，给定某一合适高程值，利用已知的图像方位元素，使用数字微分纠正法将图像纠正到这一水平平面上；

第二方面：对纠正后的图像进行重采样，构建图像金字塔，基于低空图像像幅小的特征，采用双三次卷积法构建图像金字塔；

第三方面：为提升图像的清晰度及便于分析处理，利用Wallis滤波进行图像增强；

第四方面：对金字塔各层除顶层外图像采用Harris算子进行点特征提取，提取大量密集的特征点，用于后续密集匹配。

(二)基于原始点云的线特征投影约束

现有技术单应性矩阵约束无序图像参数即可进行约束，但结果受单应性矩阵的精度影响较大，综合比较之下，本申请提出一种基于原始点云的线特征投影约束。

原始DSM数据无需根据同名点解求单应性矩阵进行约束，直接进行基于原始点云的像方-物方-像方投影约束，通过给定的原始高程值对原始DSM三角网内插迭代计算得到精细化的高程信息，利用摄影测量中的共线条件方程，完成像方-物方-像方坐标系的转换，最终得到直线在相邻图像上的投影，坐标系的变换如式：

其中，(X,Y,Z)为像点物方空间坐标，(x,y,-g)为像点像空间坐标，T为旋转矩阵，δ是投影系数，(X_S,Y_S,Z_S)为摄影中心物方空间坐标，如果提供物方高程初值Z₀，有：

得到原始的像点的物方坐标XY，将匹配得到的原始点云构建三角网后，XY内插得高程值Z₁，便可由三角网根据解算的物方坐标X、Y，计算区域内任意一点的高程Z，其中，三角网内插步骤为：

(1)第一步，三角网中格网点的检索：设已知W点的X、Y坐标，需要在三角网内插值得到Z值，第一步求得W点所在的平面位置，即所在的三角格网的方法是：根据构建三角网时的数据分块检索文件计算W(X,Y)在哪个检索块中，依次计算W(X,Y)和检索块中每一个网点间的距离，得到距离最近的点H₁，然后统计包含H₁点的所有三角形，考察W点在其中哪个三角形内，如果当考察完所有的以H₁为顶点的三角形时，发现W均为未包含在内，则取距离W点次最小的点继续考察，直到找出W点所在三角形，利用此三角形的三个顶点坐标即可内插出W点的高程；

(2)第二步，高程内插：如果W(X,Y)所在的三角形为ΔH₁H₂H₃，三个顶点坐标为(X₁,Y₁,Z₁)，(X₂,Y₂,Z₂),(X₃,Y₃,Z₃)，则由H₁，H₂与H₃确定的平面方程为：

则W点高程为：

其中X₂₁＝X₂-X₁，X₃₁＝X₃-X₁，Y₂₁＝Y₂-Y₁，Y₃₁＝Y₃-Y₁，Z₂₁＝Z₂-Z₁，Z₃₁＝Z₃-Z₁。

如图3所示，基于原始点云的像方-物方-像方投影约束方法的步骤为：

步骤一，参考点的平均高程确定原始高程Z₀；

步骤二，根据第一图像(左图像)提取直线段一端点d、第一图像摄影中心S₁、对应物方点三点共线关系，由式5和式6，得到原始高程Z₀对应的物方坐标(X_D0,Y_D0,Z₀)；

步骤三，取物方坐标(X_D0,Y_D0)，按式8在原始点云构成的三角网上进行内插，得到高程Z₁；

步骤四，将得到的Z₁代替原始高程Z₀，重复步骤二、步骤三，得到更加精确的高程值，计算：

ΔZ＝Z_i+1-Z_i (i＝0，1，2，…) 式9

直到两次得到高程的差值小于临界值(0.01m)，取此时得到的物方坐标为(X_D,Y_D,Z_D)；

步骤五，同样，根据物方点D、第二图像(右图像)摄影中心S₂、第二图像对应同名点d'三点共线，由共线方程得第二图像对应像点d'坐标(x_d',y_d')：

步骤六，取第一图像提取直线段另一端点e，按照上述方法解算对应像点(x_e',y_e')；

步骤七，最终得到d'e'线段，取距离d'e'一定范围a内的直线段，加入备选匹配线段集合H(Y)，如图4和图5所示；

在备选匹配区域范围内定义一个线段重叠率函数Overlap(Y_L,Y_R)表征右片搜索图像中直线落入左片参考图像备选匹配区域H(Y)的概率，只有在Overlap(Y_L,Y_R)不为零时，才认为Y_L,Y_R为可能的匹配线段，统计落入备选匹配区域H(Y)线段，如图6所示。

分别计算各个备选直线段对的Overlap(Y_L,Y_R)值：

其中，y(Y_L,Y_R)为直线段重叠部分长度，Sim[LAP(Y_L，Y_R)]为基于核线的直线段重叠相似度，融合多方测度定义附加权直线段匹配关联度判别函数为：

Sim(Y_L，Y_R)＝Overlap(Y_L，Y_R)·{w_ang Sim(ANG(Y_L，Y_R))+w_dis Sim(DIS(Y_L，Y_R))+w_mmsdρ(ML(Y_L)，ML(Y_R))} 式13

w_ang+w_dis+w_mmsd＝1，w_ang、w_dis、w_mmsd为各个相似性测度函数的权重，Sim(ANG(Y_L，Y_R)为线段的方向角相似度，Sim(DIS(Y_L，Y_R)为图像原点到线段的距离相似度，ML(Y)为梯度幅值均值-标准差描述子，采用欧式距离ρ(ML(Y_L)，ML(Y_R))度量Y_L、L_R描述子间相似度；

对落入备选匹配区域H(Y)的所有线段计算其Sim(Y_L,Y_R)值，取最大关联度判别函数的直线对作为初匹配结果，本申请匹配规则为：第一图像(左图像)中提取的直线Y_L根据原始DSM投影到第二图像(右图像)上，在第二图像备选匹配区域H(Y_L)内寻得匹配关联度判别函数最大的直线Y_R，再取第二图像的直线Y_R，按照同样的方法进行匹配，如果在第二图像备选匹配区域H(Y_R)内寻得匹配关联度判别函数最大的直线为Y_L，则确认Y_L、Y_R是一对匹配，反之，则不认为Y_L、Y_R是一对匹配线段。匹配实验结果图显示匹配质量较好。

三、线段精细化点云匹配

(一)构建3D直线段

3D直线段重建精度取决于摄像机的标定精度和图像匹配特征的定位精度，由于密集匹配提取的是点特征，而点特征受图像断裂和提取精度的影响，提取特征点不能准确的定位在建筑物的边缘，导致利用特征点进行匹配在边缘的匹配精度比较差，而且经常由于遮挡等原因出现匹配缺失等情况，导致DSM精度下降，而线特征匹配能够较好的解决这些问题。

1.构建光束面前交3D线段

共线方程为摄影中心点、像点和物方点之间共线的条件关系，设摄影中心S在物方空间坐标系下坐标为(X_S,Y_S,Z_S)，像点d在像平面坐标系下坐标(x,y)，对应物方点在物方空间坐标系下坐标D(X_D,Y_D,Z_D)，矩阵表示的共线方程形式：

其中δ代表投影系数，(x₀,y₀)为像主点在像平面坐标系下的坐标；

设像点d(x，y)在像空间坐标系中的坐标为(x，y，-g)，而在像空间辅助坐标系中的坐标为(X，Y，Z)，两者的正交变换关系用式19表示：

得到像点d(x，y)在物方空间坐标系下坐标：

根据中心投影原理，同像点、摄影中心、物点三点共线的条件类似，图像直线、摄影中心、物方空间直线三者共面，构成直线的共面方程；

直线段的端点的像点坐标转化为在物方空间坐标系下的坐标，第一图像(左图像)线段两端点与左图像摄影中心构成的平面W₁，第二图像(右图像)线段两端点与右图像摄影中心构成的平面W₂，平面W₁、W₂的交线即为重建的3D线段所在的直线，即为光束面前交构建3D线段。

设第一图像上提取的直线方程为ax+by+c＝0，根据共线条件方程另外一种形式：

物方空间平面方程为：AX+BY+CZ+D＝0，将共线方程与影像直线方程联立，并与物方空间平面方程比较系数得到：

A＝aga₁+bga₂-ca₃

B＝agb₁+bgb₂-cb₃

C＝agc₁+bgc₂-cc₃

D＝CZ_s-BY_s-AX_s 式21

求得第一图像直线对应物方平面方程，设以上求得的(左右)图像两条匹配直线分别与其摄影中心构成的平面为：W₁(aX+bY+bZ+d＝0)、W₂(mX+nY+pZ+q＝0)联立可得物方直线方程为：

两条直线分别与其摄影中心构成的光束面的法向量为：

利用向量积的叉乘可以得到物方空间直线方程的方向向量为：

将Y₁上一端点坐标(x₀,y₀)带入直线方程得到对应的物方坐标(X₀,Y₀,Z₀)，得到直线的参数方程，设匹配线段Y₁、Y₂中较长的一条为Y₁，其端点d(x_d,y_d)、e(x_e,y_e)，由Y₁、Y₂所在光束面前交获得交线，解算高程获得d(x_d,y_d)、e(x_e,y_e)对应的点的物方坐标D(X_D,Y_D,Z_D)、E(X_E,Y_E,Z_E)，建筑物边缘直线近乎水平，对应提取的空间直线也是水平的，据此筛选构建的3D线段，删除维线段首尾点高程差大于0.1m的线段，如果|Z_D-Z_E|＜0.1则说明重建的直线段较为准确，记录直线段首尾端点的高程平均值作为重建直线段的高程，以此作为下一步精细化DSM的数据。

2.滤除非建筑物边缘直线段

在线特征匹配结果中，存在许多非建筑物边缘的直线段，如操场、道路等边缘线段，需要在匹配后滤除，由于已知相机参数，图像的外方位元素及匹配的原始点云，求得图像范围的地面高程均值，又考虑到在城市图像区域的高程无太大起伏，参考原始匹配点云数据得到地面平均高程，以此设置一个临界值，统计3D线段的高程，将高程小于临界值的3D线段删除，最终得到可有效精细化DSM的3D直线段集合。

(二)精细化DSM

得到可精细化DSM的3D线段后，将3D线段套合到需要精细化的密集匹配点云上，在密集匹配点云上搜寻3D线段点云结果附近的匹配点，在原始匹配点云寻找3D线段缓冲区内的数据，判别临界值用3D线段点云替换原高程不准确的匹配点云。

1.3D设置线段缓冲区

对DSM精细化前，确定精细化的范围，本申请设置两个临界值：内临界值和外临界值，提取3D线段临界值内的点云构建3D线段缓冲区，如图7和图8所示，删除内临界值与外临界值缓冲区之间的点云数据，内临界值缓冲区内的点云精细化到3D线段上，最后经过少量人工编辑，得到精细化的点云直线，具体步骤为：

第1步，设置内外两个临界值，以3D线段为中心，内外临界值为半径形成两个圆柱形区域，分别为内缓冲区和外缓冲区，删除在内临界值缓冲区和外临界值缓冲区之间的点云数据；

第2步，对内缓冲区内的点云进行精细化，将3D线段内插生成间隔0.1m的离散3D线段点云，内缓冲区的点云纠正到离散的3D线段点云上；

第3步，经过少量人工编辑，剔除高程异常的点云数据，得到精细化后的点云数据。

2.DSM内插

精细化后得到的3D点云要进行DSM的内插才能得到规则格网DSM，本申请采用对3D点云先构建不规则三角网，然后对三角网进行内插得到格网DSM，平面拟合法精度高、计算方法灵活。

四、实验分析

本申请的实验流程如图9。实验采用目视进行精细化结果的比较发现，在边缘密集匹配出现漏洞的区域，通过3D线段的精细化，可以较好的画出边缘。

在图像上选取a、b、c、d、e五个区域，其精细化后结果与精细化前效果对比如图10和图11所示

一些匹配的长直线最后由于端点高程相差超过临界值而被删除，在实际操作中，可以先将较长直线的边缘截断，对截断的直线段分别进行光束面前交，最后在点云上将重建的短线段进行合并。精细化后的点云和内插后的DSM对密集匹配点云中缺失等错误的点进行了较好的改正，在相关软件中目视比较精细化前后DSM的质量，可以明显看到DSM边缘得到了较好的精细化。

精细化实验结果表明：通过结合图像信息所提取的线特征得到的房屋边缘，比使用密集匹配方法得到的房屋边缘质量更高，通过线特征对房屋的边缘进行精细化的方案是可行和有效的，DSM的精度有明显提高。对于线特征精细化DSM的精度主要依赖于重建3D线段的结果，而3D线段的精度受线特征的定位精度、线特征匹配结果的影响，线特征的定位越精确、线特征匹配结果越可靠，线特征精细化DSM的效果越好。

Claims (10)

1.低空图像DSM生成建筑物边缘精细化方法，其特征在于，针对图像中建筑物边缘的直线，获得精确的边缘线并用获得的边缘线进行DSM边缘的精细化，包括：一是提出适合低空图像提取有效线特征的算法，对低空图像分块改进LSD线特征提取，考察提取线段的长度，方向属性，对分块提取得到的线段进行筛选合并，最终得到符合匹配条件的线特征数据；二是通过密集匹配得到原始点云数据，将提取的直线投影至密集匹配点云，并利用外方位元素反投至相邻图像上，投影的线特征在第一图像定范围内得到一个匹配备选集，计算相邻图像在备选集内的线段与投影线段的附加权匹配关联度判别函数，匹配的同名直线需进一步满足双向一致性准则；三是采用光束面前交获取3D线段点云数据，并提出进行基于临界值的精细化密集匹配点云的方法，设定内外临界值两个临界值，以3D线段为中心确定3D线段圆柱形内外缓冲区，删除在两缓冲区之间的边缘点云数据，将缓冲区内的点云数据纠正到3D线段上，构建三角网内插，最终得到精细化的DSM；

第一步，改进LSD提取线特征包括：低空图像分块、改进提取线特征；解析线特征提取算法与线段优化策略，并对经典线特征提取算法LSD在速度、稳定性和精度方面进行改进，通过改进LSD提取线特征；

第二步，基于原始点云匹配线特征包括：匹配前置处理、基于原始点云的线特征投影约束；提出一种由密集匹配得到原始点云引导线特征匹配的策略，采用基于原始点云匹配线特征，基于原始点云的线特征匹配通过线特征匹配的各约束条件和匹配测度规避直线段端点不一致的影响，生成原始匹配点云，根据低空图像特征，提出基于原始点云的像方-物方-像方投影约束，并采用合适的匹配测度组成附加权的匹配关联度判别函数；

第三步，线段精细化点云匹配包括：构建3D直线段、精细化DSM；利用匹配线段进行DSM精细化，采用光束面前交重构3D线段的方法，在光束面前交之后得到更合理的3D点云，并划定3D线段缓冲区精细化缓冲区内的点云，最后采用先构建三角网再内插的方法生成规则格网DSM，保留地物地貌信息并得到精度高的DSM。

2.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，改进LSD提取线特征：低空图像分块后，提取线特征，得到线段两端点的坐标；

第一，初步筛选：删除过短的线段，先删除线段长度小于5个像素的线段；

第二，考察两条线段的方向夹角，当夹角大于临界值时不进行合并，设提取线段Y₁的方向角为β₁，线段Y₂的方向角为β₂，则判断线段夹角：

β＝|β₁-β₂|≤5° 式1

如果满足，两条线段即可合并，反之，则不能合并；

第三，计算线段两端点到另一线段的垂距，若线段之间相互的垂距都较大，则不合并；只有当线段之间相互的垂距都小于1时，两条子线段才合并；

第四，计算两线段最近端点间距，如果间距超过临界值则不合并；分别求解四点间的距离，最短距离小于5的线段合并；

第五，将符合合并条件的线段重新优化拟合，合并线段，标记被合并的线段为从属性线段，标记后的线段不参与其它的线段优化操作，优化拟合过程为：将直线的一般形式方程ax+by+c＝0，化为x+Ay+B＝0，其中A＝(b/a)，B＝(c/a)，取W函数：

其中M为参与优化拟合的总点数，当W函数取最小值时，A、B的值即为所求直线参数,函数极值方程：

由此可得式3：

求解式3，得A，B的值，即可确定拟合直线的表达式；

第六，清除合并后线段长度仍较短的线段，较长线段的结构性较短线段结构性好，统计合并后的线段长度，小于45像素大小的线段舍弃，最终得到线段优化后的LSD线特征提取结果。

3.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，基于原始点云匹配线特征：经改进LSD提取线特征已经得到两幅图像较准确的有效直线段，匹配使用的原始点云通过对金字塔图像逐层进行特征点匹配得到，其方法为：经过图像水平纠正的前置处理之后，构建图像金字塔的、提取点特征，接着采用SIFT特征匹配对金字塔顶层的小幅影像匹配得到粗略DSM作为后续密集匹配的初值，在进行密集匹配时，对于每个特征点，通过粗略DSM确定纠正图像上某点在其搜索图像上的一维搜索区域，在该搜索区域内进行相关系数法图像匹配得到同名点的概略点位，然后再以该点位为初值进行最小二乘法图像匹配，得到同名点的精确点位，逐点匹配之后，即完成图像的密集匹配，前交即得本申请的原始点云结果。

4.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，匹配前置处理包括以下方面：

第一方面：纠正图像水平，给定某一合适高程值，利用已知的图像方位元素，使用数字微分纠正法将图像纠正到这一水平平面上；

第二方面：对纠正后的图像进行重采样，构建图像金字塔，基于低空图像像幅小的特征，采用双三次卷积法构建图像金字塔；

第三方面：为提升图像的清晰度及便于分析处理，利用Wallis滤波进行图像增强；

第四方面：对金字塔各层除顶层外图像采用Harris算子进行点特征提取，提取大量密集的特征点，用于后续密集匹配。

5.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，基于原始点云的线特征投影约束：原始DSM数据无需根据同名点解求单应性矩阵进行约束，直接进行基于原始点云的像方-物方-像方投影约束，通过给定的原始高程值对原始DSM三角网内插迭代计算得到精细化的高程信息，利用摄影测量中的共线条件方程，完成像方-物方-像方坐标系的转换，最终得到直线在相邻图像上的投影，坐标系的变换如式：

其中，(X,Y,Z)为像点物方空间坐标，(x,y,-g)为像点像空间坐标，T为旋转矩阵，δ是投影系数，(X_S,Y_S,Z_S)为摄影中心物方空间坐标，如果提供物方高程初值Z₀，有：

得到原始的像点的物方坐标XY，将匹配得到的原始点云构建三角网后，XY内插得高程值Z₁，便可由三角网根据解算的物方坐标X、Y，计算区域内任意一点的高程Z，其中，三角网内插步骤为：

(1)第一步，三角网中格网点的检索：设已知W点的X、Y坐标，需要在三角网内插值得到Z值，第一步求得W点所在的平面位置，即所在的三角格网的方法是：根据构建三角网时的数据分块检索文件计算W(X,Y)在哪个检索块中，依次计算W(X,Y)和检索块中每一个网点间的距离，得到距离最近的点H₁，然后统计包含H₁点的所有三角形，考察W点在其中哪个三角形内，如果当考察完所有的以H₁为顶点的三角形时，发现W均为未包含在内，则取距离W点次最小的点继续考察，直到找出W点所在三角形，利用此三角形的三个顶点坐标即可内插出W点的高程；

(2)第二步，高程内插：如果W(X,Y)所在的三角形为ΔH₁H₂H₃，三个顶点坐标为(X₁,Y₁,Z₁)，(X₂,Y₂,Z₂),(X₃,Y₃,Z₃)，则由H₁，H₂与H₃确定的平面方程为：

则W点高程为：

其中X₂₁＝X₂-X₁，X₃₁＝X₃-X₁，Y₂₁＝Y₂-Y₁，Y₃₁＝Y₃-Y₁，Z₂₁＝Z₂-Z₁，Z₃₁＝Z₃-Z₁。

6.根据权利要求5所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，基于原始点云的像方-物方-像方投影约束方法的步骤为：

步骤一，参考点的平均高程确定原始高程Z₀；

步骤二，根据第一图像提取直线段一端点d、第一图像摄影中心S₁、对应物方点三点共线关系，由式5和式6，得到原始高程Z₀对应的物方坐标(X_D0，Y_D0，Z₀)；

步骤三，取物方坐标(X_D0，Y_D0)，按式8在原始点云构成的三角网上进行内插，得到高程Z₁；

步骤四，将得到的Z₁代替原始高程Z₀，重复步骤二、步骤三，得到更加精确的高程值，计算：

ΔZ＝Z_i+1-Z_i(i＝0，1，2，…) 式9

直到两次得到高程的差值小于临界值(0.01m)，取此时得到的物方坐标为(X_D，Y_D，Z_D)；

步骤五，同样，根据物方点D、第二图像摄影中心S₂、第二图像对应同名点d’三点共线，由共线方程得第二图像对应像点d’坐标(x_d’，y_d’)：

步骤六，取第一图像提取直线段另一端点e，按照上述方法解算对应像点(x_e’，y_e’)；

步骤七，最终得到d’e’线段，取距离d’e’一定范围a内的直线段，加入备选匹配线段集合H(Y)；

在备选匹配区域范围内定义一个线段重叠率函数Overlap(Y_L，Y_R)表征右片搜索图像中直线落入左片参考图像备选匹配区域H(Y)的概率，只有在Overlap(Y_L，Y_R)不为零时，才认为Y_L，Y_R为可能的匹配线段，统计落入备选匹配区域H(Y)线段；

分别计算各个备选直线段对的Overlap(Y_L，Y_R)值：

其中，y(Y_L，Y_R)为直线段重叠部分长度，Sim[LAP(Y_L，Y_R)]为基于核线的直线段重叠相似度，融合多方测度定义附加权直线段匹配关联度判别函数为：

Sim(Y_L，Y_R)＝Overlap(Y_L，Y_R)·{w_angSim(ANG(Y_L，Y_R))+w_disSim(DIS(Y_L，Y_R))+w_mmsdρ(ML(Y_L)，ML(Y_R))} 式13

w_ang+w_dis+w_mmsd＝1，w_ang、w_dis、w_mmsd为各个相似性测度函数的权重，Sim(ANG(Y_L，Y_R)为线段的方向角相似度，Sim(DIS(Y_L，Y_R)为图像原点到线段的距离相似度，ML(Y)为梯度幅值均值-标准差描述子，采用欧式距离ρ(ML(Y_L)，ML(Y_R))度量Y_L、L_R描述子间相似度；

对落入备选匹配区域H(Y)的所有线段计算其Sim(Y_L，Y_R)值，取最大关联度判别函数的直线对作为初匹配结果，本申请匹配规则为：第一图像中提取的直线Y_L根据原始DSM投影到第二图像上，在第二图像备选匹配区域H(Y_L)内寻得匹配关联度判别函数最大的直线Y_R，再取第二图像的直线Y_R，按照同样的方法进行匹配，如果在第二图像备选匹配区域H(Y_R)内寻得匹配关联度判别函数最大的直线为Y_L，则确认Y_L、Y_R是一对匹配，反之，则不认为Y_L、Y_R是一对匹配线段。

7.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，构建3D直线段：共线方程为摄影中心点、像点和物方点之间共线的条件关系，设摄影中心S在物方空间坐标系下坐标为(X_S，Y_S，Z_S)，像点d在像平面坐标系下坐标(x，y)，对应物方点在物方空间坐标系下坐标D(X_D，Y_D，Z_D)，矩阵表示的共线方程形式：

其中δ代表投影系数，(x₀，y₀)为像主点在像平面坐标系下的坐标；

设像点d(x，y)在像空间坐标系中的坐标为(x，y，-g)，而在像空间辅助坐标系中的坐标为(X，Y，Z)，两者的正交变换关系用式19表示：

得到像点d(x，y)在物方空间坐标系下坐标：

根据中心投影原理，同像点、摄影中心、物点三点共线的条件类似，图像直线、摄影中心、物方空间直线三者共面，构成直线的共面方程；

直线段的端点的像点坐标转化为在物方空间坐标系下的坐标，第一图像线段两端点与左图像摄影中心构成的平面W₁，第二图像线段两端点与右图像摄影中心构成的平面W₂，平面W₁、W₂的交线即为重建的3D线段所在的直线，即为光束面前交构建3D线段；

设第一图像上提取的直线方程为ax+by+c＝0，根据共线条件方程另外一种形式：

物方空间平面方程为：AX+BY+CZ+D＝0，将共线方程与影像直线方程联立，并与物方空间平面方程比较系数得到：

A＝aga₁+bga₂-ca₃

B＝agb₁+bgb₂-cb₃

C＝agc₁+bgc₂-cc₃

D＝CZ_s-BY_s-AX_s 式21

求得第一图像直线对应物方平面方程，设以上求得的图像两条匹配直线分别与其摄影中心构成的平面为：W₁(aX+bY+bZ+d＝0)、W₂(mX+nY+pZ+q＝0)联立可得物方直线方程为：

两条直线分别与其摄影中心构成的光束面的法向量为：

利用向量积的叉乘可以得到物方空间直线方程的方向向量为：

将Y₁上一端点坐标(x₀,y₀)带入直线方程得到对应的物方坐标(X₀,Y₀,Z₀)，得到直线的参数方程，设匹配线段Y₁、Y₂中较长的一条为Y₁，其端点d(x_d,y_d)、e(x_e,y_e)，由Y₁、Y₂所在光束面前交获得交线，解算高程获得d(x_d,y_d)、e(x_e,y_e)对应的点的物方坐标D(X_D,Y_D,Z_D)、E(X_E,Y_E,Z_E)，建筑物边缘直线近乎水平，对应提取的空间直线也是水平的，据此筛选构建的3D线段，删除维线段首尾点高程差大于0.1m的线段，如果|Z_D-Z_E|＜0.1则说明重建的直线段较为准确，记录直线段首尾端点的高程平均值作为重建直线段的高程，以此作为下一步精细化DSM的数据。

8.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，滤除非建筑物边缘直线段：已知相机参数，图像的外方位元素及匹配的原始点云，求得图像范围的地面高程均值，又考虑到在城市图像区域的高程无太大起伏，参考原始匹配点云数据得到地面平均高程，以此设置一个临界值，统计3D线段的高程，将高程小于临界值的3D线段删除，最终得到可有效精细化DSM的3D直线段集合。

9.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，精细化DSM：得到可精细化DSM的3D线段后，将3D线段套合到需要精细化的密集匹配点云上，在密集匹配点云上搜寻3D线段点云结果附近的匹配点，在原始匹配点云寻找3D线段缓冲区内的数据，判别临界值用3D线段点云替换原高程不准确的匹配点云。

10.根据权利要求9所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，3D设置线段缓冲区：对DSM精细化前，确定精细化的范围，本申请设置两个临界值：内临界值和外临界值，提取3D线段临界值内的点云构建3D线段缓冲区，删除内临界值与外临界值缓冲区之间的点云数据，内临界值缓冲区内的点云精细化到3D线段上，最后经过少量人工编辑，得到精细化的点云直线，具体步骤为：

第1步，设置内外两个临界值，以3D线段为中心，内外临界值为半径形成两个圆柱形区域，分别为内缓冲区和外缓冲区，删除在内临界值缓冲区和外临界值缓冲区之间的点云数据；

第2步，对内缓冲区内的点云进行精细化，将3D线段内插生成间隔0.1m的离散3D线段点云，内缓冲区的点云纠正到离散的3D线段点云上；

第3步，经过少量人工编辑，剔除高程异常的点云数据，得到精细化后的点云数据。

Images