CN113506376A - 地面三维点云多尺度闭合差校验拼接方法 - Google Patents
地面三维点云多尺度闭合差校验拼接方法 Download PDFInfo
- Publication number
- CN113506376A CN113506376A CN202110850891.XA CN202110850891A CN113506376A CN 113506376 A CN113506376 A CN 113506376A CN 202110850891 A CN202110850891 A CN 202110850891A CN 113506376 A CN113506376 A CN 113506376A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- splicing
- point
- points
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 228
- 238000009826 distribution Methods 0.000 claims abstract description 139
- 238000012800 visualization Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 15
- 238000007689 inspection Methods 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 75
- 239000013598 vector Substances 0.000 claims description 63
- 230000000875 corresponding effect Effects 0.000 claims description 57
- 239000011159 matrix material Substances 0.000 claims description 52
- 230000009466 transformation Effects 0.000 claims description 32
- 238000013519 translation Methods 0.000 claims description 31
- 238000005259 measurement Methods 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 23
- 238000011156 evaluation Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000007670 refining Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000013523 data management Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 238000009616 inductively coupled plasma Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006740 morphological transformation Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Abstract
本发明提出了一套粗拼接、闭合差检验、精拼接的点云多尺度配准方法,并以此为核心实现地面三维点云配准和交互原型系统,对多种海量地面三维点云数据进行配准和显示。一是提出一种点云粗分类方法,二是利用点云的空间分布熵提出基于投影面积的拼接方法,将点云空间分布熵概念引入点云拼接,推导出基于投影面积的拼接方法;三是将闭合差方法引入多站点云拼接中,提出一种点云多尺度拼接的闭合差校检和分配的方法,实现无缝拼接;四是改进ICP点云精拼接方法,在同名像点搜索策略、同名像点筛选策略方面改进,提高方法的鲁棒性;五是设计实现点云拼接与可视化系统,证明了本发明具有很高的可靠性和精度,具有良好的运用价值。
Description
技术领域
本发明涉及一种点云多尺度校验拼接方法,特别涉及一种地面三维点云多尺度闭合差校验拼接方法,属于点云校验拼接技术领域。
背景技术
随着三维激光扫描技术的发展,测量手段突破了传统的单点测量方法,发展到可以高效、高精度获取整个场景内所有可视点的位置信息。地面三维点云扫描作为三维激光扫描技术的一个重要方向,兼具机载、车载激光点云扫描和手持激光点云扫描技术的优点:精度较机载更高,扫描场景较手持设备更大,应用场合也更广泛,大多数传统测量可进行的场合,地面激光扫描仪也可以使用,设备成本也具备优势,省去了昂贵的IMU系统和定期维护费用。
但由于三维激光扫描仪的测量介质多为红光或近红外激光,无法穿透固实表面,在很多场合下,需要围绕被测物体进行多站扫描。然而,每个站点扫描获得的三维点云数据都是以测站中心为坐标原点的,且各坐标轴方向与扫描仪安放位置相关,直接叠加无法获取正确的被测物体表面信息。为获得完整的被测物体点云数据,必须对多站点云数据进行拼接配准。
地面三维点云因其扫描场景开阔,其数据量和被测物体复杂度远高于手持扫描点云,无法直接使用手持扫描点云数据处理方法进行拼接。现有技术的地面三维点云拼接法是手动选择同名像点,然后在初始转换的基础上进行自动微调,这种方法费事费力,自动化程度低,精度差,经常会在进行多站拼接后出现拼接裂缝,而且随着拼接数据量的逐渐增大,人机交互非常艰难。另一种采用在数据扫描前,设置标靶球、反射片等在反射强度和形状上较为突出的物体,自动或半自动提取同名像点进行拼接,这种方法较第一种方法提高了自动化程度和效率,但其缺点是标靶会遮挡数据,而且标靶布设要考虑各站通视情况、费事费力、携带运输不方便,精度也很难满足要求。
点云条件拼接是利用人工干预添加控制信息的方式解决不同测站点云数据间的拼接问题,其中一种常用的方法就是测站绝对定位方法,但在实际生产中,需要携带大量数据采集设备,不易操作,成本较高,而且这种绝对定位LiDAR系统包括了多种安置元素误差,需要通过反复测量特定的检校场数据,解算这些系统误差,这些安置元素的解算对于绝对定位LiDAR系统的数据精度与后续产品质量有着很大影响。另一种方法是利用人工放置的或选择同名像点,将点云统一到局部坐标系,实现拼接,但由于标靶携带安放不便,布设需考虑各个测站的可视性,费事费力;同时在数据获取时,该方法存在被测物体遮挡问题,这个问题在文物扫描时有位突出,而且点云扫描仪精度不足以准确提取普通反射片的中心。
无条件拼接是使用方法直接在点云数据或者其衍生数据中自动寻找同名像点、同名线或者同名面,从而来解算移动站对于参考站的转换参数。其中一种常用的方法就是使用点云的局部邻域特征参数进行匹配,但地面三维点云数据的测站距离一般较远,投影形变严重,并不能得到很好的匹配效果;且其数据量大、场景复杂、重复单元较多,使用这种方法的耗时及误匹配率都比较高,结果不稳定。
RANSAC是一种随机抽样检测的方法,这种方法不依赖于几何特征,无论点云数据有无明显的特征都能够实现配准,但这种方法没有得到广泛的应用,因为它本身固有的时间复杂度非常高,后来虽然有所改进,但方法复杂度对于大规模数据而言仍不够快,不能直接用于海量的地面三维点云数据的拼接。
综上所述,现有技术的地面点云拼接存在不足,本发明的难点和待解决的问题主要集中在以下方面:
第一,现有技术点云拼接主要存在的问题:一是测站绝对定位方法需要对硬件改造较多、维护成本高,前期投入巨大,不能满足实际应用需要;二是人工放置或选择的同名像点费事费力、自动化程度低,精度在很大程度上取决于人为因素;三是无条件拼接难以直接应用于场景复杂、数据量大、重复单元较多的地面三维点云数据,会导致拼接耗时长、误匹配率高、结果不稳定等结果;四是ICP对粗拼接的初值条件要求很高,收敛结果和时间容易受到影响,陷入局部最优,使得配准结果不可靠,而且这种迭代方法无法多线程运行,较为耗时;五是RANCAC方法用于精拼接时间复杂度高,只能将其融入其它精拼接方法中以剔除错误匹配点,可用性较差;
第二,地面三维点云因其扫描场景开阔,其数据量和被测物体复杂度远高于手持扫描点云,无法直接使用手持扫描点云数据处理方法进行拼接,现有技术点云拼接法手动选择同名像点,这种方法费事费力,自动化程度低,精度差,经常会在进行多站拼接后出现拼接裂缝,而且随着拼接数据量的逐渐增大,人机交互非常艰难,或者在数据扫描前,设置标靶球、反射片等在反射强度和形状上较为突出的物体,自动或半自动提取同名像点进行拼接,但标靶会遮挡数据,而且标靶布设要考虑各站通视情况、费事费力、携带运输不方便,精度也很难满足要求。;
第三,现有技术点云条件拼接需要携带大量数据采集设备,不易操作,成本较高,而且这种绝对定位LiDAR系统包括了多种安置元素误差;现有技术利用人工放置的或选择同名像点,将点云统一到局部坐标系实现拼接,但由于标靶携带安放不便,布设需考虑各个测站的可视性,费事费力;同时在数据获取时,存在被测物体遮挡问题,而且点云扫描仪精度不足以准确提取普通反射片的中心;现有技术无条件拼接投影形变严重,并不能得到很好的匹配效果;且其数据量大、场景复杂、重复单元较多,耗时及误匹配率都比较高,结果不稳定;现有技术RANSAC本身固有的时间复杂度非常高,后来虽然有所改进,但方法复杂度对于大规模数据而言仍不够快,不能直接用于海量的地面三维点云数据的拼接;
第四,现有技术的点云拼接解决方案使用标靶和手动选择同名像点的自动对齐测区内所有测站的点云数据的方法,无法对多种海量地面点云数据进行配准和显示,由于地面三维点云数据量大和无序的问题,拼接过程中的干扰因素多,拼接效率和精度较低;由于地面三维点云数据需要全局拼接问题,现有技术缺少对应的多尺度拼接配准和闭合差校验方法,无法实现多尺度闭合差校验点云拼接,无法实现多站点云高精度自动拼接,也没有实现点云多尺度拼接与可视化系统,缺少主要模块和处理流程,无法解决系统实现中的关键技术;现有技术在自动化程度、可靠性和精度等方面存在很大的局限性,阻碍了点云数据的推广和应用。
发明内容
针对现有技术的不足,结合地面三维点云数据的特征,本发明提出一种可以不使用标靶和手动选择同名像点的自动对齐测区内所有测站的点云数据的方法,并以此为核心实现地面三维点云配准和交互原型系统,可以对多种海量地面三维点云数据进行配准和显示。实现了一套粗拼接、闭合差检验、精拼接的点云多尺度配准方法,一是提出一种点云粗分类方法,二是利用点云的空间分布熵提出基于投影面积的拼接方法,将点云空间分布熵概念引入点云拼接中,解析并验证空间分布熵应用于点云拼接的可行性,推导出基于投影面积的拼接方法;三是将闭合差方法引入多站点云拼接中,针对多站地面三维激光点云数据拼接中的错误无法探测、误差累积的问题,提出一种点云多尺度拼接的闭合差校检和分配的方法,剔除错误和分配误差,保证全局拼接的正确性,实现无缝拼接;四是改进ICP点云精拼接方法,在同名像点搜索策略、同名像点筛选策略方面进行改进,提高方法的鲁棒性和高效性;五是设计实现点云拼接与可视化系统,突破系统搭建时的关键技术,验证系统和方法的可行性和精度。
为实现以上技术特征,本发明所采用的技术方案如下:
地面三维点云多尺度闭合差校验拼接方法,基于全局点云进行粗拼接,避免拼接过程陷入局部最优;通过若干对同名像点精细化原始拼接参数,为精拼接提供精良初值;通过多站拼接闭合差检查校验错误拼接以减小误差;使用改进的ICP方法进行精拼接;
本发明提出一套粗拼接、闭合差检验、精拼接的点云多尺度配准方法:第一,提出点云三维粗分类方法,基于不同类型点云对拼接的影响,对点云进行粗分类,利用点云法向量和高程信息剔除地面点,对非地面点云按照密度进行聚类,得到空间位置上较独立的点云簇,然后计算每个点的维数特征,统计点云簇的总体维数特征比例,通过和临界值对比对点云簇的分类做出预测,并将它们划分到地面点、立面点和分裂点三类中;第二,利用点云的空间分布熵推导出基于投影面积的拼接方法;第三,将闭合差方法引入多站点云拼接中,针对点云数据拼接中的错误无法探测、误差累积的问题,提出一种点云多尺度拼接的闭合差校检和分配的方法,通过环绕建筑物的闭合测量,得到首站经过一系列站点再拼接到首站的转换矩阵,再将闭合差分解后和临界值对比,判断拼接是否正确,对于小于临界值的参数,将闭合差按照累积单位权方差为权重分配给各站,剔除错误和分配误差,保证全局拼接的正确性,实现无缝拼接;第四,改进ICP点云精拼接方法,对同名像点搜索策略、同名像点筛选策略进行改进;第五,设计实现点云拼接与可视化系统,提供系统搭建的关键技术;
点云三维粗分类包括:密度驱动的聚类方法、估算点云邻域法向量和信息熵、基于维数特征的点云三维粗分类;首先根据法向量信息对非地面点进行密度驱动的聚类,再计算每个点的维数特征,统计每个聚类得到的点云簇的全局维数特征来判断点云簇类型,将点云划分为三类,减少拼接过程中的干扰因素,提高拼接效率和精度;
多尺度闭合差校验的点云拼接方法包括:空间分布熵驱动的点云拼接和评价法、拼接转换参数的精细化、多站点云数据闭合误差评价和分配、基于迭代最近点法的精拼接;首先提出空间点云分布熵的概念,推导基于最小投影面积的点云拼接方法,在测站尺度上完成邻接测站点云的粗拼接;通过邻近立面点生成正射投影影像,再通过细化与直线提取步骤提取的若干建筑物立面骨架线交点作为同名像点进行拼接,在同名像点的尺度完成粗拼接转换参数的精细化;然后,通过对被测物体的闭合观测,构成闭合条件,在测区的尺度下完成对整个测区的拼接误差评价和误差分配;最后,解析并改进ICP方法,采用改进的ICP方法,在测站尺度下完成邻接测站的精拼接;通过多尺度闭合差校验点云拼接,实现邻接站点粗拼接、精拼接和测区全局闭合差分配,实现多站点云高精度自动拼接;
地面三维点云多尺度闭合差校验拼接方法,进一步的,密度驱动的聚类方法:设待处理的点云为点集C,C中的每个点为ni(xi,yi,zi)∈C,将C中的所有点标记为未处理状态,随机或顺序取种子点mj∈C,设置邻域半径为t,点密度邻域值dmly,根据不同数据源,t、dmly的选取不同,然后以种子点为球心,以t为半径,对种子点进行邻域查找,设得到邻域点集合K,如果K的元素个数大于dmly,则认为mj点为核心点,将K作为以mj点为中心建立的新簇,将mj也归为K的元素,同时从点云中删除K中的所有元素,然后对ki(ki∈K)进行同样的邻域搜索,将符合条件的点加入K中,直到没有新点加入,该过程结束,对余下的点进行新一轮聚类,直到将原始数据中的所有点都加入到新类中,整个聚类过程结束。
地面三维点云多尺度闭合差校验拼接方法,进一步的,估算点云邻域法向量和信息熵:确定每个点邻域的拟合法向量和维数特征,设点wi在邻域半径为t时的邻域点集为Ct w,Xi为Ct w中的点,则就是点集Ct w的重心,令矩阵该空间的三维结构张量S=1/m·NTN,S是实对称正定矩阵,S可以表达为S=TΛTT,T是特征向量组成的旋转矩阵,Λ是特征值组成的对角矩阵,设特征值β1≥β2≥β3>0,则(i=1,2,3)表示沿着相应的特征向量方向的标准偏差,通过主成分分析,得到N中行向量的三个相互垂直的主要方向及其幅度,而N中行向量在特征值β3对应的特征向量方向幅度最小,而β1、β2对应的特征向量方向幅度较大,即β1、β2对应的特征向量构成过重心拟合平面,而β3对应的特征向量就是该平面的法向量;
基于维数特征分析,如果δ1>>δ1,δ1≈0,该邻域点集主要分布在一个方向上,表现为线性,记为维数特征A=1;δ1,δ1>>δ1≈0,该邻域点集主要分布在一个面上,表现为面状,记为维数特征A=2;当δ1≈δ1≈δ1≈0,该邻域点集在各个方向都有均匀分布,表现为分裂点,记为维数特征A=3,为量化标准,取:
则维数特征A=arg maxa=1,2,3da,得到最优的邻域半径topt使求取的维数特征最优,取ε=δ1,则d1+d2+d3=1,di代表该点维数特征为i的概率,得到该点邻域的信息熵:
B=-d1ln(d1)-d2ln(d2)-d3ln(d3)
然后对于不同的邻域半径t,求取不同的信息熵B,而最佳邻域半径为:
topt=arg mint∈[t min,t max]B(t)
topt为最佳邻域半径,B(t)邻域半径t对应信息熵。
地面三维点云多尺度闭合差校验拼接方法,进一步的,基于维数特征的点云三维粗分类:
步骤1,提取地面激光点云:查找场景内竖直方向最低点,如果高于最低点的法向量与竖直方向夹角小于临界值,则判定该点及其邻域点为地面点,否则认为该点及其邻域点为非地面点;
步骤2,非地面点云粗分类:对于剩余的非地面点云数据,根据密度驱动的聚类方法进行聚类;对于已经完成聚类的点云簇,统计簇内所有点维数特征并计线状点与分裂点所占比例,如果大于一定临界值,则判定该点云簇为非人工建筑物,否则是人工建筑物的立面点;
经过点云粗分类,点云被分为包含水平地面的地面点,包含竖直墙面的立面点和包含植被杂物的分裂点。
地面三维点云多尺度闭合差校验拼接方法,进一步的,空间点云分布熵驱动的评价法:对于任意同一地面场景,用地面激光扫描仪在两个不同的位置进行采集,得到的未进行拼接的两站点云数据,这时两站的拼接参数是随机的,因而拼接后点云中每个点所处的位置也是随机的,将这种点云空间分布的不确定性用熵来描述:信息熵越高,点云空间分布的不确定性越大,点云分布越分裂;反之,点云空间分布的不确定性越小,点云分布越呈现规律性,点云空间分布信息熵和点云拼接转换参数有密切关系,对于待拼接的点云数据,若它们正确拼接到同一个坐标系下,那么整个点云空间的分布最为集中,点云空间分布的不确定性也最小,信息熵也最小;而当数据相对正确位置、姿态发生偏移,最为集中的分布状态被打破,点云空间的不确定性增大,信息熵也随之增大;
引入空间点云分布熵来表述点云分布的不确定性,多站点云数据以某个参数进行拼接得到点云C,点云C包含M个数据点,将其进行三维栅格化,栅格间隔为a,统计落在每一个栅格内的点数为m(i,j,u),i、j、u为该栅格的索引号,然后计算点云落在每个栅格内的频率:
则点云C的空间分布熵KFS为:
其中in,jn,un是该格网在三个坐标轴方向的格网数目,如果点云全部落在一个格网中,则KFS达到最小为0;而点数目相同、点云占用的格网越多,则KFS就越大,即点云分布越分裂;反之,尽量让反应相同地物的点落在同一格网,KFS也越小,即点云分布的确定性越高,这样点云正确拼接的可能性也越大;
地面三维点云的拼接是刚体变换,而且格网大小a不能设置的很大以至于可以包含所有点云,如果拼接过程能让KFS达到最小,则该结果就有较大概率是正确的结果,对多个拼接参数在全局层面是做出筛选,得到最优的拼接参数。
地面三维点云多尺度闭合差校验拼接方法,进一步的,基于最小投影面积的点云拼接:基于点云抽稀假设格网划分非常细小,当某个格网有u个点时,就简化该格网,仅保留1个点,不改变点云的总体形状和分布,原始点云的拼接转换参数和简化后的一致。对于两站以某个参数拼接得到的点云,先进行格网化,当某个格网内有点时记Wi=1/M,当该格网没有点时记Wi=0,M为有点云数据的总格网数目,点云的空间分布熵简化为:KFS=–log2(1/M);
假设点云没有翻滚角和俯仰角的误差,且不关注Z轴方向的平移,拼接转换参数只有X、Y轴方向的平移参数和绕Z轴的旋转角参数,将点云投影到XOY平面上,三维点云拼接问题就变成二维影像拼接的问题,点云的空间分布熵变成二维图像的空间分布熵:
式中M是点云数据占据的总像素数目,空间分布熵KFS是和点云数据占据的总像素数目M正相关,点云正确拼接等价于KFS最小,那么点云正确拼接也等价于M最小,即点云投影到平面所占据的面积最小,两站点云投影到Z=0平面所占据的面积最小,就是点云的正确拼接参数;
设计基于最小投影面积的动态评价点云拼接方法:先获取两个测站中心的距离a,然后将移动站原点放置于参考站坐标系的的(a,0)坐标上,在拼接时让两站点云绕Z轴遍历所有旋转角的组合,并统计每个组合对应的投影面积C,最小投影面积的旋转角的组合(i,j)就是正确的拼接转换参数,即:
(i,j)=arg mini,j∈[0,360]Cij
考虑到一些误差的影响,找出最小投影面积的几个旋转角的组合,就是可能的旋转转换参数,然后对每个参数对应旋转后的点云,利用邻近的地面点来确定Z轴方向的平移转换参数,最后,再用完整的空间分布熵来评价这些粗转换参数,得到高可信度的转换参数。
地面三维点云多尺度闭合差校验拼接方法,进一步的,拼接转换参数的精细化:在具备粗略的两点云测站距离、粗旋转角、Z平移量的条件下,基于建筑物立面进行特征查找和匹配,实现拼接转换参数的精细化,修正测站平移转换参数和绕Z轴的旋转角,建筑物立面点的法向量Z方向分量很小,在点云中呈现显著特征,提取容易,而立面上的玻璃材质的窗户对激光的反射极为微弱,因此建筑物立面呈现出规则排列的孔洞,本发明正是以这项孔洞为基础,提取建筑物立面点的骨架线,查找特征以实现拼接;
提取建筑物立面点的骨架线采用数学形态学驱动的细化拼接方法;
基于建筑物骨架线求解转换参数分为三步,首先构造尽量满足细化规则的影像,以便得到精良的细化结果;然后使用直线拟合,去除短小的错误骨架线;最后基于最近点匹配交点,并基于空间分布熵选择最优匹配;
(一)构造用于细化的初始影像:设计一种将墙体立面投影成影像的方法:
步骤一,转换该点云的坐标系,使建筑物平面的法向量和Z轴方向保持一致,先统计该立面点的法向量方向,选择法向量最为集中的方向为Z轴方向,Y轴方向为原Z轴方向,X轴方向与Y轴、Z轴垂直,构成右手系;
步骤二,剔除非墙面点,因墙面上的窗户会生成很多杂乱无章的空洞而需要剔除,对点云的Z值建立统计直方图,Z值最为集中的值为中心值,在中心值限差范围内的点均保留,剔除墙面前后的杂物点,然后以XOY平面为投影平面,将点云投影到该平面生成影像,再对影像执行膨胀运算,去除影响细化的微小孔洞,然后执行细化算子,得到骨架线;
(二)直线拟合,去除短小的错误骨架线:将图像空间参数转换到参数空间中,步骤为:
第一步,将参数空间中定义域和值域构成的矩形栅格化成m×m个大小相同的单元,并设置投票矩阵Km×m来记录对应的每个点的信息,并初始化为0矩阵;
第二步,依次取二值影像中像素值不为0的点Wi(xi,yi),代入极坐标方程式,得到对应曲线;
第三步,栅格化曲线;
第四步,这样处理完影像上所有的点,遍历投票矩阵中每个元素,数值较大的元素所对应的参数即为直角坐标系中直线方程式的参数;
借助opencv实现直线提取,通过调节函数的各项参数,剔除短小毛刺,合并共线直线;
(三)基于最近点匹配交点,再基于空间分布熵计算最优匹配:
在去除毛刺骨架线的基础上,使用下式矩阵来遍历整个图像:
进行模板匹配,提取横竖骨架线的交点,作为特征点,然后使用两站点云数据中的临近立面中的互为最临近点的交点做为同名像点,反投影到三维点,得到转换参数,计算其空间分布熵,评价拼接结果;
将参考站的影像左右平移1个、2个、3个交点的平均水平间隔,再用同上方法计算转换参数和空间分布熵,将所有结果按照空间分布熵升序排列,空间分布熵最小的转换参数就是最优的精细化拼接转换参数。
地面三维点云多尺度闭合差校验拼接方法,进一步的,点云的闭合差模型:在采集点云时,增加测站进行多余观测,构成拼接转换参数闭合差,发现点云拼接中的错误并提高点云拼接精度,将点云拼接的基本模型改为四维的线性变换形式:
Xi+1=SiXi
即将第i+1站点云坐标系转换到第i站的坐标系的拼接转换矩阵为Si,而令Sm代表第一站转换到最后一站的坐标转换矩阵,从第1站经过一系列站点转换再到第1站,坐标转换矩阵应为单位矩阵,即应有闭合方程:
SmSm-1…S2S1=B
B为单位矩阵,点云两两拼接存在累积误差或错误,得到闭合误差S=SmSm-1…S2S1。
地面三维点云多尺度闭合差校验拼接方法,进一步的,改进ICP配准策略集中在同名像点搜索策略和同名像点筛选:
第一,为在带配准点云K中找到点云W中的对应点,进行同名像点搜索,而原始的ICP方法使用互最邻近点作为查找策略,即K中的ki是W中wi的最临近点,且wi也是ki的最临近点,则认为他们是同名像点。而本发明采用点到面上的最近点的查找策略,其基本步骤是:
第1步,在K中找到wi三个最临近点ki1、ki2、ki3,如果不足3个则不记录该点;
第2步,这三个点构成三角形Ri,过wi做Ri所在平面的垂线,得到垂足b;
第3步,如果垂足e落在Ri中,则认为b和wi同名像点;否则舍弃该点;
第二,同名像点筛选策略就是对找出的同名像点进行进一步检验,剔除误匹配点,采用基于线段长度的条件约束和基于法向量的条件约束;
基于线段长度的条件约束将对应点随机两两组成线段,剔除对应线段长度差超过临界值的错误对应点,基本步骤为:
第①步,在同名像点对中随机取出两对同名像点(wi,wj)-(bi,bj);
第②步,比较线段长度A=||wi-wj||-||bi-bj||;
第③步,如果A大于2倍最佳邻域半径Topt,则淘汰这两对同名像点;
基于法向量的条件约束是每个点对对应的法向矢量夹角不能超过临界值,在同名像点搜索时得到的同名像点对(wi,bi)和三个最临近点ki1、ki2、ki3,它们的法向量分别为m1,m2,m3,m4,m5,如果m1和其它的法向量夹角都大于设定的临界值,则淘汰该点。
地面三维点云多尺度闭合差校验拼接方法,进一步的,点云多尺度闭合差校验拼接原型系统:分为基础模块、点云拼接模块、可视化交互模块,基础模块完成所有数据的组织管理和前置处理;点云拼接模块是原型系统的核心,完成多站点云数据的配准;可视化交互模块则提供数据浏览、人机交互;
基础模块包括:1.点云读取模块:读取从设备和软件中导出的原始点云,2.压缩存储模块:存储内部数据结构和索引,压缩原始点云数据,导出标准格式的拼接结果,3.点云索引模块:对点云建立索引,提供快速K邻域查询和固定半径邻域查询,4.简化去噪模块:权衡简度、效率、精度,简化点云数据,剔除离散噪声点,5.粗分类模块:将点云划分为地面点、立面点、分裂点;
点云拼接模块包括:6.一阶粗配准模块:投影立面点到水平面,测站两两旋转遍历,得到较好的拼接参数,确定两站之间的Z轴方向平移参数;2.二阶粗配准模块:提起墙面骨架线,精细化配准参数,7.闭合差检校模块:计算所有测站的转换矩阵,然后将闭合差和临界值比较,判断拼接是否存在错误,并分配闭合差,8.点云分布熵模块:统计计算两站拼接时的点云分布熵,做出优选,9.ICP精拼接模块:基于改进的ICP方法,对点云进行精拼接;
可视化交互模块包括:10.三维可视化模块:利用OpenGL实现点云和模型的可视化,11.交互模块:实现对点云场景的控制和选择,12.点云数据管理界面:图层控制和数据导入、导出、处理。
与现有技术相比,本发明的贡献和创新点在于:
第一,针对地面三维点云数据量大和无序的问题,提出基于维数特征的点云粗分类方法,提出了先分类再拼接的点云拼接方法,突破了现有技术直接使用原始点云、抽稀点云或者点云影像进行拼接的方法,先对点云进行粗分类,去除干扰拼接精度和效率的点集,从而改进了点云拼接方法,首先根据法向量信息提取地面点,然后对非地面点进行密度驱动的聚类,再计算每个点的维数特征,统计每个聚类得到的点云簇的全局维数特征,将点云划分为三类,减少拼接过程中的干扰因素,提高拼接效率和精度;
第二,针对地面三维点云数据全局拼接问题,提出了多尺度闭合差校验点云拼接方法,首先提出并引入空间点云分布熵的概念,推导基于最小投影面积的点云拼接方法,在测站尺度上完成邻接测站点云的粗拼接,通过邻近立面点生成正射投影影像,再通过细化与直线提取步骤提取的若干建筑物立面骨架线交点作为同名像点进行拼接,在同名像点的尺度完成粗拼接转换参数的精细化;通过对被测物体的闭合观测构成闭合条件,在测区的尺度下完成对整个测区的拼接误差评价和误差分配;采用改进的ICP方法,在测站尺度下完成邻接测站的精拼接;通过多尺度闭合差校验点云拼接,实现邻接站点粗拼接、精拼接和测区全局闭合差分配,实现多站点云高精度自动拼接,方法效率高、可靠性和鲁棒性好;
第三,本发明将空间点云分布熵引入点云拼接中,突破了传统基于同名像点、公共线的粗拼接的方法,提出了从全局考虑的空间分布熵的概念,将其运行于点云拼接和拼接结果评价方法中,并推导出了其简化形式,验证了基于投影面积的拼接方法的合理性,基于本发明的一系列改进优化方法,设计实现点云多尺度拼接与可视化系统,通过对系统主要功能的分析,设计实现系统的主要模块和处理流程,解决系统实现中的关键技术;并通过该系统进行了系统的点云拼接实验,证明了本发明方法具有很高的可靠性和精度,具有良好的运用价值;
第四,本发明提出一套分步的多尺度闭合差校验点云拼接方法,一是引入空间分布熵,并将其用于点云拼接结果评价中;二是先利用邻近地面点确定平移转换参数,再对邻近的立面生成影像,在影像上查找特征点、线进行匹配,精细化配准转换参数;三是通过环绕建筑物的闭合测量,进行错误剔除和误差分配,保证全局拼接的正确性,实现无缝拼接;四是解析ICP它在地面三维点云拼接上的不足,在同名像点搜索策略、同名像点筛选策略方面做出改进,最终实现了不使用标靶和手动选择同名像点的自动对齐测区内所有测站的点云数据的方法,并以此为核心实现地面三维点云配准和交互原型系统,可以对多种海量地面三维点云数据进行配准和显示,在性能方面通过多线程技术使得系统可以迅速响应,通过点云的抽稀使得可视化人机交互避免了卡顿现象,点云拼接耗时较少,多站点云误差分配提高了拼接的精度,在可靠性和可用性方面,和其它处理软件相比有较大提升。
附图说明
图1是密度驱动的聚类方法流程示意图。
图2是是图3中几种主要地物各维度特征点所占比例统计信息图。
图3是基于维度特征的点云粗分类结果示意图。
图4是本发明旋转角和空间点云分布熵的关系图。
图5是两站点云不同姿态对应的平面投影示意图。
图6是本发明将建筑物点云转换前后的对比示意图。
图7是滤除非墙面点膨胀细化得到骨架线的过程示意图。
图8是本发明同名点查找时点到面上的最近点示意图。
图9是同名点组成的线段的长度约束条件去除误匹配同名点示意图。
图10是地面三维点云配准和交互的原型系统的技术流程图。
图11是多尺度闭合差校验拼接点云前置处理数据流向图。
图12是本发明多尺度闭合差校验点云拼接数据流向图。
具体实施方法
下面结合附图,对本发明提供的地面三维点云多尺度闭合差校验拼接方法的技术方案进行进一步的表达,使本领域的技术人员能够更好的理解本发明并能够予以实施。
地面激光扫描作为一项越来越成熟和高效的三维测量技术,在地图生产、城市测量、快速建模、变形监测等领域的应用日趋广泛。但由于受视野范围的限制,地面激光扫描设备需进行多站测量才能得到地物的完整三维点云数据,而每个测站得到点云的坐标系相互独立,必须通过点云拼接实现多站点云数据的坐标统一。因此,海量地面点云的拼接成为点云数据应用前的重要环节。现有技术的点云拼接解决方案在自动化程度和精度等方面存在局限性,阻碍了点云数据的推广和应用。针对该问题,本发明提出一种多尺度闭合差校验点云拼接方法,包括:
第一,针对地面三维点云数据量大和无序的问题,提出基于维数特征的点云粗分类方法,首先根据法向量信息提取地面点,然后对非地面点进行密度驱动的聚类,再计算每个点的维数特征,统计每个聚类得到的点云簇的全局维数特征来判断点云簇是属于分裂点还是立面点,将点云划分为三类,减少拼接过程中的干扰因素,提高拼接效率和精度;
第二,针对地面三维点云数据全局拼接问题,提出多尺度闭合差校验点云拼接方法,首先提出并引入空间点云分布熵的概念,推导基于最小投影面积的点云拼接方法,在测站尺度上完成邻接测站点云的粗拼接;在此基础上,通过邻近立面点生成正射投影影像,再通过细化与直线提取步骤提取的若干建筑物立面骨架线交点作为同名像点进行拼接,在同名像点的尺度完成粗拼接转换参数的精细化;然后,通过对被测物体的闭合观测,构成闭合条件,在测区的尺度下完成对整个测区的拼接误差评价和误差分配;最后,解析并改进ICP方法,采用改进的ICP方法,在测站尺度下完成邻接测站的精拼接;通过多尺度闭合差校验点云拼接,实现邻接站点粗拼接、精拼接和测区全局闭合差分配,实现多站点云高精度自动拼接;
第三,设计实现点云多尺度拼接与可视化系统,通过对系统主要功能的分析,设计实现系统的主要模块和处理流程,解决系统实现中的关键技术;并通过该系统进行系统的点云拼接实验,验证系统的可用性和性能,证明本发明方法具有很高的可靠性和精度。
一、点云三维粗分类
点云拼接是投影到平面上进行,而占用大量水平空间的地面点不能成为特征要素,所以需要在前置处理阶段剔除,而大量存在极少同名像点的植被等分裂点会干扰精拼接的精度和收敛时间,所以也应在前置处理阶段分类剔除。因此,为划分地面点、立面点和分裂点,本发明基于点云邻域派生关联数据,再通过统计分析关联数据对地物进行粗略判读,实现粗分类。
(一)密度驱动的聚类方法
本发明的点云粗分类不是根据每个点的属性对其进行分类,而是先将点云按照空间位置聚类,划分成不同的点云簇,根据每个点云簇的统计属性划分,每个点云簇的点具有相同的分类属性。
密度驱动的聚类具体方法为:设待处理的点云为点集C,C中的每个点为ni(xi,yi,zi)∈C,将C中的所有点标记为未处理状态,随机或顺序取种子点mj∈C,设置邻域半径为t,点密度邻域值dmly,根据不同数据源,t、dmly的选取不同,然后以种子点为球心,以t为半径,对种子点进行邻域查找,设得到邻域点集合K,如果K的元素个数大于dmly,则认为mj点为核心点,将K作为以mj点为中心建立的新簇,将mj也归为K的元素,同时从点云中删除K中的所有元素,然后对ki(ki∈K)进行同样的邻域搜索,将符合条件的点加入K中,直到没有新点加入,该过程结束,对余下的点进行新一轮聚类,直到将原始数据中的所有点都加入到新类中,整个聚类过程结束。密度驱动的聚类方法流程图如图1所示。
(二)估算点云邻域法向量和信息熵
基于三维坐标信息生成点的邻域关联数据,是计算点云特征的重要方面,对点的邻域求取拟合平面法向量、分布方向和比例、信息熵,法向量反映该拟合平面的方向,而点云分布方向和比例,经过计算得到信息熵,反映该邻域点的线性、面状以及分裂的各种维数特征比重。
为确定每个点邻域的拟合法向量和维数特征,使用主成分分析法对点云邻域进行分析,设点wi在邻域半径为t时的邻域点集为Ct w,Xi为Ct w中的点,则就是点集Ct w的重心,令矩阵该空间的三维结构张量S=1/m·NTN,S是实对称正定矩阵,S可以表达为S=TΛTT,T是特征向量组成的旋转矩阵,Λ是特征值组成的对角矩阵,设特征值β1≥β2≥β3>0,则表示沿着相应的特征向量方向的标准偏差,通过主成分分析,得到N中行向量的三个相互垂直的主要方向及其幅度,而N中行向量在特征值β3对应的特征向量方向幅度最小,而β1、β2对应的特征向量方向幅度较大,即β1、β2对应的特征向量构成过重心拟合平面,而β3对应的特征向量就是该平面的法向量。
基于维数特征分析,如果δ1>>δ1,δ1≈0,该邻域点集主要分布在一个方向上,表现为线性,记为维数特征A=1;δ1,δ1>>δ1≈0,该邻域点集主要分布在一个面上,表现为面状,记为维数特征A=2;当δ1≈δ1≈δ1≈0,该邻域点集在各个方向都有均匀分布,表现为分裂点,记为维数特征A=3,为量化标准,取:
则维数特征A=arg maxa=1,2,3da,得到最优的邻域半径topt使求取的维数特征最优,取ε=δ1,则d1+d2+d3=1,di代表该点维数特征为i的概率,得到该点邻域的信息熵:
B=-d1ln(d1)-d2ln(d2)-d3ln(d3)
然后对于不同的邻域半径t,求取不同的信息熵B,而最佳邻域半径为:
topt=arg mint∈[t min,t max]B(t)
topt为最佳邻域半径,B(t)邻域半径t对应信息熵。
(三)基于维数特征的点云三维粗分类
细长条状物体扫描得到的点云一般表现为1维特征,面状、体状物体扫描得到的点云表现为2维特征,而其它不规则物体点云表现3维特征或者多种特征无规律组合,因此,在最佳半径下不同地物表现出不同的特征:人工建筑物绝大部分为面状点,仅在平面与平面相交区域出现少部分线状点或者分裂点;非建筑物则包含更多线状点或者分裂点。而通过对实验数据的计算也验证了这一点,如图2所示,是图3中几种主要地物的各种维数特征点所占比例的统计信息,可以看出建筑物的2A点明显高于其它地物。
不同地物有不同的统计维数特征的特性,同一地物表面的点在空间上邻接,不同地物之间则通过地面点云进行连接,据此,本发明提出一种基于统计维数特征的点云粗分类方法。
步骤1,提取地面激光点云:查找场景内竖直方向最低点,如果高于最低点的法向量与竖直方向夹角小于临界值,则判定该点及其邻域点为地面点,否则认为该点及其邻域点为非地面点;
步骤2,非地面点云粗分类:对于剩余的非地面点云数据,根据密度驱动的聚类方法进行聚类;对于已经完成聚类的点云簇,统计簇内所有点维数特征并计线状点与分裂点所占比例,如果大于一定临界值,则判定该点云簇为非人工建筑物,否则是人工建筑物的立面点。
经过点云粗分类,点云被分为包含水平地面的地面点,包含竖直墙面的立面点和包含植被杂物的分裂点,这不仅为后续的拼接提供了极大的便利,也给未来的地物识别打下的基础。如图3是基于点云粗分类的实验结果,该方法可以正确分出大部分点,满足后续拼接需求;右图是该方法和手工分类的对比分析,这三类的分类正确率分别可以达到99.0%,99.2%和99.8%。
二、多尺度闭合差校验的点云拼接方法
三维目标的完整点云是后期目标解译与建模的基础,然而由于激光不可穿透、目标自遮挡与它遮挡,导致单个测站获取的点云只是目标的局部成像数据,难以满足后续要求。多测站点云数据融合是一种有效的解决方法,能够获得较为完整的被测地物的点云数据,但通常不同测站的点云数据拥有各自独立的坐标系,没有拼接到一起。因此,实现多测站点云数据的配准尤为重要。为解决这一问题,本发明提出多尺度闭合差校验的点云拼接方法,先考虑全局点云进行粗拼接,避免拼接过程陷入局部最优;再通过若干对同名像点精细化原始拼接参数,为精拼接提供精良的初值;然后通过多站拼接闭合差检查校验错误拼接以减小误差;最后使用改进的ICP方法进行精拼接。
(一)空间分布熵驱动的点云拼接和评价法
激光点云是目标三维信息的反映,而熵作为信息的量度,可以很好的描述信息分布情况,将熵推广至三维空间用以描述点云空间分布情况,可建立点云的空间分布熵与点云的相对位置之间的关系,对于三维空间中的二站点云,其全局空间分布情况与二者所处的相对位置存在关联,即点云空间分布越集中,二者相对位置差异越小。
1.空间点云分布熵驱动的评价法
对于任意同一地面场景,用地面激光扫描仪在两个不同的位置进行采集,得到的未进行拼接的两站点云数据,这时两站的拼接参数是随机的,因而拼接后点云中每个点所处的位置也是随机的,将这种点云空间分布的不确定性用熵来描述:信息熵越高,点云空间分布的不确定性越大,点云分布越分裂;反之,点云空间分布的不确定性越小,点云分布越呈现规律性,因此,点云空间分布信息熵和点云拼接转换参数有着密切关系,对于待拼接的点云数据,若它们正确拼接到同一个坐标系下,那么整个点云空间的分布最为集中,点云空间分布的不确定性也最小,信息熵也最小;而当数据相对正确位置、姿态发生偏移,最为集中的分布状态被打破,点云空间的不确定性增大,信息熵也随之增大。
本发明引入空间点云分布熵的概念来表述点云分布的不确定性,即点云分布的分裂程度。多站点云数据以某个参数进行拼接得到点云C,点云C包含M个数据点,将其进行三维栅格化,栅格间隔为a,统计落在每一个栅格内的点数为m(i,j,u),i、j、u为该栅格的索引号,然后计算点云落在每个栅格内的频率:
则点云C的空间分布熵KFS为:
其中in,jn,un是该格网在三个坐标轴方向的格网数目,如果点云全部落在一个格网中,则KFS达到最小为0;而点数目相同、点云占用的格网越多,则KFS就越大,即点云分布越分裂;反之,尽量让反应相同地物的点落在同一格网,KFS也越小,即点云分布的确定性越高,这样点云正确拼接的可能性也越大。
由于地面三维点云的拼接是刚体变换,而且格网大小a不可能设置的很大以至于可以包含所有点云(那样无意义),如果拼接过程能让KFS达到最小,则该结果就有较大概率是正确的结果,对多个拼接参数在全局层面是做出筛选,得到最优的拼接参数。
该方法可以有效的选择出正确的拼接转换参数,但实践中有个致命的弱点,当有大面积的点云错误重叠在一起而导致KFS达到最小,该方法不适用,会得到错误的结果,因此需要对点云进行前置处理,剔除大量干扰该方法的分裂点,并设置一些初始条件作为限制。
2.基于最小投影面积的点云拼接
在计算空间点云分布熵时,每次对点云的旋转平移操作,都要重新进行格网化并统计分析,直接使用点云的空间分布熵遍历查找点云拼接转换参数,不确定要素太多,计算代价较高。因此,本发明针对地面三维点云数据的特征,基于空间分布熵,提出投影面积最小的点云拼接方法。
基于点云抽稀假设格网划分非常细小,当某个格网有u个点时,就简化该格网,仅保留1个点,不改变点云的总体形状和分布,原始点云的拼接转换参数和简化后的一致。对于两站以某个参数拼接得到的点云,先进行格网化,当某个格网内有点时记Wi=1/M,当该格网没有点时记Wi=0,M为有点云数据的总格网数目,点云的空间分布熵简化为:KFS=–log2(1/M)。
假设点云没有翻滚角和俯仰角的误差,且不关注Z轴方向的平移,拼接转换参数只有X、Y轴方向的平移参数和绕Z轴的旋转角参数,将点云投影到XOY平面上,三维点云拼接问题就变成二维影像拼接的问题,点云的空间分布熵变成二维图像的空间分布熵:
式中M是点云数据占据的总像素数目,空间分布熵KFS是和点云数据占据的总像素数目M正相关,点云正确拼接等价于KFS最小,那么点云正确拼接也等价于M最小,即点云投影到平面所占据的面积最小,在一定的控制条件下,两站点云投影到Z=0平面所占据的面积最小,就是点云的正确拼接参数。
图5的实验见也证明了这一点,两站已知测站GPS位置的点云绕Z轴旋转的投影结果,d、b均为任意姿态,c为正确拼接姿态,影像中非控制点占整个影像的百分比分别为0.381%、0.359%、0.259%,可见正确拼接时,较其它姿态所占的投影面积都要小。
由于地面激光扫描仪使用前都会进行粗略整平以保证仪器安全,点云数据仅在绕Z轴的旋转角有较大偏差,翻滚角和俯仰角偏差都较小,可在精拼接阶段纠正,因此满足上述理论的假设,如果再获取测站相对位置,就可使用点云数据正确拼接等价于投影平积最小这样结论。
基于这一理论,本发明设计基于最小投影面积的动态评价点云拼接方法:先获取两个测站中心的距离a,然后将移动站原点放置于参考站坐标系的的(a,0)坐标上,在拼接时让两站点云绕Z轴遍历所有旋转角的组合,并统计每个组合对应的投影面积,最小投影面积的旋转角的组合(i,j)就是正确的拼接转换参数,即:
(i,j)=arg mini,j∈[0,360]Cij
考虑到一些误差的影响(如错误分类的分裂点、地面点和GPS测距误差),找出最小投影面积的几个旋转角的组合,就是可能的旋转转换参数,然后对每个参数对应旋转后的点云,利用邻近的地面点来确定Z轴方向的平移转换参数,最后,再用完整的空间分布熵来评价这些粗转换参数,高效得到高可信度的转换参数。
(二)拼接转换参数的精细化
在具备粗略的两点云测站距离、粗旋转角、Z平移量的条件下,基于建筑物立面进行特征查找和匹配,实现拼接转换参数的精细化,修正测站平移转换参数和绕Z轴的旋转角,建筑物立面点的法向量Z方向分量很小,在点云中呈现显著特征,提取较为容易,而立面上的玻璃材质的窗户对激光的反射极为微弱,因此建筑物立面呈现出规则排列的孔洞,本发明正是以这项孔洞为基础,提取建筑物立面点的骨架线,查找特征以实现拼接。
1.形态学驱动的细化拼接方法
提取建筑物立面点的骨架线采用数学形态学驱动的细化拼接方法,由若干不同结构的算子组合产生复杂的形态变换,为构造细化效果较好的影像,该影像应尽量满足:避免错误的内部空洞;避免离散的孤立噪声点;减少因膨胀而造成图形拓扑关系变化的情况。
2.基于建筑物骨架线确定转换参数
基于建筑物骨架线求解转换参数分为三步,首先构造尽量满足细化规则的影像,以便得到精良的细化结果;然后使用直线拟合,去除短小的错误骨架线;最后基于最近点匹配交点,并基于空间分布熵选择最优匹配。
(1)构造用于细化的初始影像
为构造尽量满足细化要求的影像,本发明设计一种将墙体立面投影成影像的方法。
步骤一,转换该点云的坐标系,使建筑物平面的法向量和Z轴方向保持一致,先统计该立面点的法向量方向,选择法向量最为集中的方向为Z轴方向,Y轴方向为原Z轴方向,X轴方向与Y轴、Z轴垂直,构成右手系,如图6所示是将建筑物点云转换前后的对比;
步骤二,剔除非墙面点,因墙面上的窗户会生成很多杂乱无章的空洞而需要剔除,对点云的Z值建立统计直方图,Z值最为集中的值为中心值,在中心值限差范围内的点均保留,剔除墙面前后的杂物点,然后以XOY平面为投影平面,将点云投影到该平面生成影像,再对影像执行膨胀运算,去除影响细化的微小孔洞,然后执行细化算子,得到骨架线。其结果如图7所示。
(2)直线拟合,去除短小的错误骨架线。
直线拟合将图像空间的参数转换到参数空间中,步骤如下:
第一步,将参数空间中定义域和值域构成的矩形栅格化成m×m个大小相同的单元,并设置投票矩阵Km×m来记录对应的每个点的信息,并初始化为0矩阵;
第二步,依次取二值影像中像素值不为0的点Wi(xi,yi),代入极坐标方程式,得到对应曲线;
第三步,栅格化曲线;
第四步,这样处理完影像上所有的点,遍历投票矩阵中每个元素,数值较大的元素所对应的参数即为直角坐标系中直线方程式的参数;
借助opencv实现直线提取,通过调节函数的各项参数,剔除短小毛刺,合并共线直线。
(3)基于最近点匹配交点,再基于空间分布熵计算最优匹配。
在去除毛刺骨架线的基础上,使用下式矩阵来遍历整个图像:
进行模板匹配,提取横竖骨架线的交点,作为特征点,然后使用两站点云数据中的临近立面中的互为最临近点的交点做为同名像点,反投影到三维点,得到转换参数,计算其空间分布熵,评价拼接结果。
但考虑到建筑物有很多相似的单元组成,可能会得到错误匹配而无法发现,因此将参考站的影像左右平移1个、2个、3个交点的平均水平间隔,再用同上方法计算转换参数和空间分布熵,将所有结果按照空间分布熵升序排列,空间分布熵最小的转换参数就是最优的精细化拼接转换参数。
(三)多站点云数据闭合误差评价和分配
闭合差是某个量的观测值与其应有值之间的差值,是真误差,通过计算闭合差来发现错误,检查测量结果的质量,并通过分配限差内的闭合差来提高精度,本发明借鉴控制测量中闭合差的思想来发现点云拼接中的错误并提高点云拼接中的精度。
1.点云拼接的基本模型
为实现对扫描对象多站点云数据的拼接,首先将邻接两站点云数据两两拼接,再通过参数传递的方法将各测站坐标系下的点云转换到统一的坐标系下,点云拼接过程中两站点云之间是一种刚体变换,这种刚体变换关系用一个3×3的矩阵T来表示旋转量,一个三维向量R来描述平移量,坐标转换模型为:
Z=Ex-H
x=(ETWE)-1ETWH
参数的协因数阵KXX为:
KXX=(ETWE)-1
将相邻两站点云数据两两拼接,通过参数传递法将各测站坐标系下的点云转换到统一坐标系下。
2.点云的闭合差模型
由于系统因素和随机因素的影响,控制测量结果不可避免的会有误差,且当待测点距离已知点较远时,必须经过多站传递观测,因此在待测点上必然产生一定量的积累误差,这种误差的大小只有通过多余观测才能获得,控制测量中的平差能很好的发现和解决这一问题,通过多余观测和条件方程得到闭合差,对控制测量成果进行检查,当闭合差在允许范围之内就对闭合差按照一定规则进行分配,减小全局误差。
同理,当点云测站较多时,点云拼接也会产生累积误差,利用闭合差原理,在采集点云时,增加测站进行多余观测,构成拼接转换参数闭合差,就能发现点云拼接中的错误并提高点云拼接精度,由本发明得到的点云拼接的基本模型,而这种三维非线性变换不利于表示和计算,所以改为四维的线性变换形式:
Xi+1=SiXi
即将第i+1站点云坐标系转换到第i站的坐标系的拼接转换矩阵为Si,而令Sm代表第一站转换到最后一站(第m站)的坐标转换矩阵,理论上从第1站经过一系列站点转换再到第1站,坐标转换矩阵应为单位矩阵,即应有闭合方程:
SmSm-1…S2S1=B
B为单位矩阵,由于点云两两拼接存在累积误差或错误,导致上式不成立,得到闭合误差S=SmSm-1…S2S1。
3.基于闭合差的全局评价法和闭合差分配
闭合误差S=SmSm-1…S2S1是若干个旋转矩阵的乘积,所以S仍为旋转矩阵,可由S分解求出旋转角和平移量的闭合差,首先由矩阵S得到旋转矩阵T和平移向量R,再推导出旋转角公式如下:
ω=arcsin(-T12)
φ=arcsin(-T02/cos(ω))
κ=asin(T10/cos(w))
设S分解求得的旋转角和平移量分别记为α、β、γ、x、y、z,再与预设的角度临界值和距离临界值进行对比,如果均小于临界值则拼接没有错误,否则返回重新拼接。
临界值内的误差需进行分配,分配按照各测站累积误差正相关进行分配。点云拼接的误差由第一站到该站所有邻接测站间的拼接误差累积产生,随拼接测站的增加,累积误差越来越大,以从第一站到该测站的累积单位权方差之和作为权重,将整个测区的闭合差按照每个测站不同的权重分配下去,完成测站拼接参数的修正,各测站对应的平移量和旋转角改正数的权重为:
式中,m为该闭合测区测站总数,pi表示从第i测站到第i+1站的拼接转换参数的改正数的权重,σ0 2为单位权方差平,差后的拼接转换参数为原始拼接转换参数减去各项权重乘以对应闭合差。
(四)基于迭代最近点法的精拼接
点云拼接ICP方法具有思路简单、精度高、应用场合广泛、基于纯粹几何模型等优点;但也有计算量大、易受无关点干扰、不是收敛于全局最优等不足。本发明在ICP基本方法的基础上,在同名像点搜索、筛选等方面提出改进,提高其稳定性和效率。
1.点云拼接ICP基本方法
ICP方法是一种基于间接平差的最优匹配方法,在两站点云中寻找对应点对,再估算最优刚体变换参数,然后对转换后的点云迭代执行这一过程,直到某个收敛准则得到满足,ICP方法在点云拼接中的具体步骤为:
第一,对待拼接点云数据进行抽稀:在确定初始对应点集前,对待拼接的其中一站或者两站点云进行降采样,以提高运算速度;
第二,确定对应点集:使用互最邻近点为对应点集,步骤为:设参考站点云W、移动站点云K点云,在对W中每一个点wi,基于KD树在K中查找最邻近点得到ki,然后在W中查找ki的最邻近点,若该点仍wi,则ki-wi为互最邻近点,并把它们加入对应点集中,若其中一步不能找到最临近点或ki的最邻近点不是wi,则继续查找下一个点;
第三,坐标变换的求解:在确立最终的对应点集后,采用间接平差迭代求解两站点云间的最优变换参数,旋转矩阵和平移向量的求值采用单位四元数法;
第四,迭代出口判定:采用目标函数RMS作为评价函数,如果同名像点均方差或者两次迭代的均方差差值小于某临界值,则终止迭代,输出结果;否则达到指定迭代次数,终止迭代,提示拼接失败,返回粗拼接阶段。
ICP方法直观、易于实现、效率较高、可并行执行、拼接结果可达到较高的精度,但方法的执行时间和正确性在很大程度上依赖于给定的初始拼接参数和在迭代过程中建立的对应关系。而本发明的粗拼接方法为ICP方法提供了较高正确性和精度的初始位置,因此对ICP方法的改进主要集中在确立正确对应点的关系,通过恰当的同名像点搜索、筛选策略,提高ICP方法的收敛速度与最终的拼接精度。
2.改进ICP配准策略
配准策略的优化主要集中在同名像点搜索策略和同名像点筛选策略:
第一,为在带配准点云K中找到点云W中的对应点,进行同名像点搜索,而原始的ICP方法使用互最邻近点作为查找策略,即K中的ki是W中wi的最临近点,且wi也是ki的最临近点,则认为他们是同名像点。而本发明采用点到面上的最近点的查找策略,其基本步骤是:
第1步,在K中找到wi三个最临近点ki1、ki2、ki3,如果不足3个则不记录该点;
第2步,这三个点构成三角形Ri,过wi做Ri所在平面的垂线,得到垂足b;
第3步,如果垂足e落在Ri中(如图8的a),则认为b和wi同名像点;否则(如图8的b)舍弃该点。
与传统的点到点对应方法相比,点到面上的最近点的策略大幅减少了匹配点个数,加快了迭代收敛速度,而且增强了平面上查找同名像点的鲁棒性。
第二,同名像点筛选策略就是对找出的同名像点进行进一步检验,剔除误匹配点,本发明采用基于线段长度的条件约束和基于法向量的条件约束。
基于线段长度的条件约束将对应点随机两两组成线段,剔除对应线段长度差超过临界值的错误对应点,基本步骤为:
第①步,在同名像点对中随机取出两对同名像点(wi,wj)-(bi,bj);
第②步,比较线段长度A=||wi-wj||-||bi-bj||;
第③步,如果A大于2倍最佳邻域半径Topt,则淘汰这两对同名像点。
如图9,通过同名像点组成的线段的长度约束条件去除两对误匹配的同名像点,而保留两个端点都正确的同名像点。
基于法向量的条件约束是每个点对对应的法向矢量夹角不能超过临界值,在同名像点搜索时得到的同名像点对(wi,bi)和三个最临近点ki1、ki2、ki3,它们的法向量分别为m1,m2,m3,m4,m5,如果m1和其它的法向量夹角都大于设定的临界值,则淘汰该点。
虽然同名像点搜索策略和同名像点筛选策略加重了查找同名像点的耗时,但它大幅减小了同名像点对数目,提高了求解转换参数的效率,增强了同名像点的匹配正确性,使得结果更加稳定可靠。
三、点云多尺度闭合差校验拼接原型系统
为进一步验证,基于本发明地面三维点云多尺度闭合差校验拼接方法设计一套原型系统来进行系统全局实验,原型系统设计遵循高内聚低耦合的理念,对系统进行功能模块的划分,方便独立调用与二次开发。
(一)系统分析与结构设计
本原型系统的核心功能就是地面三维点云数据的拼接,将该原型系统分为基础模块、点云拼接模块、可视化交互模块,基础模块完成所有数据的组织管理和前置处理;点云拼接模块是原型系统的核心,完成多站点云数据的配准;可视化交互模块则提供数据浏览、人机交互。
基础模块包括:1.点云读取模块:读取从设备和软件中导出的原始点云,2.压缩存储模块:存储内部数据结构和索引,压缩原始点云数据,导出标准格式的拼接结果,3.点云索引模块:对点云建立索引,提供快速K邻域查询和固定半径邻域查询,4.简化去噪模块:权衡简度、效率、精度,简化点云数据,剔除离散噪声点,5.粗分类模块:将点云划分为地面点、立面点、分裂点;
点云拼接模块包括:6.一阶粗配准模块:投影立面点到水平面,测站两两旋转遍历,得到较好的拼接参数,确定两站之间的Z轴方向平移参数;2.二阶粗配准模块:提起墙面骨架线,精细化配准参数,7.闭合差检校模块:计算所有测站的转换矩阵,然后将闭合差和临界值比较,判断拼接是否存在错误,并分配闭合差,8.点云分布熵模块:统计计算两站拼接时的点云分布熵,做出优选,9.ICP精拼接模块:基于改进的ICP方法,对点云进行精拼接;
可视化交互模块包括:10.三维可视化模块:利用OpenGL实现点云和模型的可视化,11.交互模块:实现对点云场景的控制和选择,12.点云数据管理界面:图层控制和数据导入、导出、处理。
性能方面:满足系统响应迅速(<90ms)、海量点云数据可视化人机交互无卡顿(>30fps)、平均拼接耗时短(<30min/1GB);在可靠性和可用性:拼接精度满足工程精度要求(同名像点误差<10mm,长度相对误差<1mm/1m),能处理点云格式ASC、LAS;出错处理:对缺少数据和不满足系统运行的情况给出提示,并能发现拼接中的错误给予警告;接口需求:系统能为他人增加模块、二次开发提供便利。
(二)技术路线和数据处理流程
为实现地面三维点云配准和交互的原型系统,本发明的技术路线流程图如图10所示,先对点云数据进行前置处理和粗分类,然后通过不断的拼接、评价的迭代过程实现全测站点云的配准,系统处理流程又细分为点云数据前置处理和拼接两部分,其各自的数据流向图如图11和图12。
为验证本发明方法和现有软件中点云拼接方法的优劣性,进行对比实验,对比的对象有基于RiSCAN PRO的手动选择同名点拼接(无精拼接)和基于CloudCompare的手动选择同名点拼接(有精拼接),本发明的方法耗时适中,但人机交互最少,只需要指定原始点云和各测站之间的距离即可,而且由于本发明进行了多站点云误差分配,提高了点云拼接的精度,在可靠性和可用性方面,拼接精度受点云自身质量影响较大,但和其它处理软件相比精度大有提升。在性能方面,本发明通过多线程技术使得系统可以迅速响应,通过点云的抽稀使得可视化人机交互避免了卡顿现象,平均拼接耗时大约为12.8min/GB,均满足设计需求。
四、发明点总结
利用激光扫描能快速高效的获取城市建筑物三维点云数据,成为获取和更新城市三维模型的新方式而逐渐推广开来。其中点云拼接是影响后期数据融合和表面建模的关键,拼接后的精度高低会直接影响模型质量,而拼接的效率则会影响的整体进程。
针对现有地面激光扫描数据拼接方法的弊端和点云数据固有特征,本发明提出一套粗拼接、闭合差检验、精拼接的点云多尺度配准方法,包括:第一,提出一种点云粗分类方法,基于不同类型点云对拼接的影响,对点云进行粗分类,利用点云法向量和高程信息剔除地面点,对非地面点云按照密度进行聚类,得到空间位置上较独立的点云簇,然后计算每个点的维数特征,统计点云簇的总体维数特征比例,通过和临界值对比对点云簇的分类做出预测,并将它们划分到地面点、立面点和分裂点三类中;第二,利用点云的空间分布熵提出基于投影面积的拼接方法,将点云空间分布熵概念引入点云拼接中,解析并验证空间分布熵应用于点云拼接的可行性,基于点云抽稀理论,推导出基于投影面积的拼接方法;第三,将闭合差方法引入多站点云拼接中,针对多站地面三维激光点云数据拼接中的错误无法探测、误差累积的问题,提出一种点云多尺度拼接的闭合差校检和分配的方法,通过环绕建筑物的闭合测量,得到首站经过一系列站点再拼接到首站的转换矩阵,即闭合差,再将闭合差分解后和临界值对比,判断拼接是否正确,对于小于临界值的参数,将闭合差按照累积单位权方差为权重分配给各站,剔除错误和分配误差,保证全局拼接的正确性,实现无缝拼接;第四,改进ICP点云精拼接方法,基于ICP基础方法,在同名像点搜索策略、同名像点筛选策略方面进行改进,提高方法的鲁棒性和高效性;第五,设计实现点云拼接与可视化系统,根据面向点云拼接的前置处理和多尺度点云拼接方法,基于系统需求设计原型系统,突破系统搭建时的关键技术,验证系统和方法的可行性和精度。
Claims (10)
1.地面三维点云多尺度闭合差校验拼接方法,其特征在于,基于全局点云进行粗拼接,避免拼接过程陷入局部最优;通过若干对同名像点精细化原始拼接参数,为精拼接提供精良初值;通过多站拼接闭合差检查校验错误拼接以减小误差;使用改进的ICP方法进行精拼接;
本发明提出一套粗拼接、闭合差检验、精拼接的点云多尺度配准方法:第一,提出点云三维粗分类方法,基于不同类型点云对拼接的影响,对点云进行粗分类,利用点云法向量和高程信息剔除地面点,对非地面点云按照密度进行聚类,得到空间位置上较独立的点云簇,然后计算每个点的维数特征,统计点云簇的总体维数特征比例,通过和临界值对比对点云簇的分类做出预测,并将它们划分到地面点、立面点和分裂点三类中;第二,利用点云的空间分布熵推导出基于投影面积的拼接方法;第三,将闭合差方法引入多站点云拼接中,针对点云数据拼接中的错误无法探测、误差累积的问题,提出一种点云多尺度拼接的闭合差校检和分配的方法,通过环绕建筑物的闭合测量,得到首站经过一系列站点再拼接到首站的转换矩阵,再将闭合差分解后和临界值对比,判断拼接是否正确,对于小于临界值的参数,将闭合差按照累积单位权方差为权重分配给各站,剔除错误和分配误差,保证全局拼接的正确性,实现无缝拼接;第四,改进ICP点云精拼接方法,对同名像点搜索策略、同名像点筛选策略进行改进;第五,设计实现点云拼接与可视化系统,提供系统搭建的关键技术;
点云三维粗分类包括:密度驱动的聚类方法、估算点云邻域法向量和信息熵、基于维数特征的点云三维粗分类;首先根据法向量信息对非地面点进行密度驱动的聚类,再计算每个点的维数特征,统计每个聚类得到的点云簇的全局维数特征来判断点云簇类型,将点云划分为三类,减少拼接过程中的干扰因素,提高拼接效率和精度;
多尺度闭合差校验的点云拼接方法包括:空间分布熵驱动的点云拼接和评价法、拼接转换参数的精细化、多站点云数据闭合误差评价和分配、基于迭代最近点法的精拼接;首先提出空间点云分布熵的概念,推导基于最小投影面积的点云拼接方法,在测站尺度上完成邻接测站点云的粗拼接;通过邻近立面点生成正射投影影像,再通过细化与直线提取步骤提取的若干建筑物立面骨架线交点作为同名像点进行拼接,在同名像点的尺度完成粗拼接转换参数的精细化;然后,通过对被测物体的闭合观测,构成闭合条件,在测区的尺度下完成对整个测区的拼接误差评价和误差分配;最后,解析并改进ICP方法,采用改进的ICP方法,在测站尺度下完成邻接测站的精拼接;通过多尺度闭合差校验点云拼接,实现邻接站点粗拼接、精拼接和测区全局闭合差分配,实现多站点云高精度自动拼接。
2.根据权利要求1所述的地面三维点云多尺度闭合差校验拼接方法,其特征在于,密度驱动的聚类方法:设待处理的点云为点集C,C中的每个点为ni(xi,yi,zi)∈C,将C中的所有点标记为未处理状态,随机或顺序取种子点mj∈C,设置邻域半径为t,点密度邻域值dmly,根据不同数据源,t、dmly的选取不同,然后以种子点为球心,以t为半径,对种子点进行邻域查找,设得到邻域点集合K,如果K的元素个数大于dmly,则认为mj点为核心点,将K作为以mj点为中心建立的新簇,将mj也归为K的元素,同时从点云中删除K中的所有元素,然后对ki(ki∈K)进行同样的邻域搜索,将符合条件的点加入K中,直到没有新点加入,该过程结束,对余下的点进行新一轮聚类,直到将原始数据中的所有点都加入到新类中,整个聚类过程结束。
3.根据权利要求1所述的地面三维点云多尺度闭合差校验拼接方法,其特征在于,估算点云邻域法向量和信息熵:确定每个点邻域的拟合法向量和维数特征,设点wi在邻域半径为t时的邻域点集为Ct w,Xi为Ct w中的点,则就是点集Ct w的重心,令矩阵N=该空间的三维结构张量S=1/m·NTN,S是实对称正定矩阵,S可以表达为S=TΛTT,T是特征向量组成的旋转矩阵,Λ是特征值组成的对角矩阵,设特征值β1≥β2≥β3>0,则表示沿着相应的特征向量方向的标准偏差,通过主成分分析,得到N中行向量的三个相互垂直的主要方向及其幅度,而N中行向量在特征值β3对应的特征向量方向幅度最小,而β1、β2对应的特征向量方向幅度较大,即β1、β2对应的特征向量构成过重心拟合平面,而β3对应的特征向量就是该平面的法向量;
基于维数特征分析,如果δ1>>δ1,δ1≈0,该邻域点集主要分布在一个方向上,表现为线性,记为维数特征A=1;δ1,δ1>>δ1≈0,该邻域点集主要分布在一个面上,表现为面状,记为维数特征A=2;当δ1≈δ1≈δ1≈0,该邻域点集在各个方向都有均匀分布,表现为分裂点,记为维数特征A=3,为量化标准,取:
则维数特征A=arg maxa=1,2,3da,得到最优的邻域半径topt使求取的维数特征最优,取ε=δ1,则d1+d2+d3=1,di代表该点维数特征为i的概率,得到该点邻域的信息熵:
B=-d1ln(d1)-d2ln(d2)-d3ln(d3)
然后对于不同的邻域半径t,求取不同的信息熵B,而最佳邻域半径为:
topt=arg mint∈[tmin,tmax]B(t)
topt为最佳邻域半径,B(t)邻域半径t对应信息熵。
4.根据权利要求1所述的地面三维点云多尺度闭合差校验拼接方法,其特征在于,基于维数特征的点云三维粗分类:
步骤1,提取地面激光点云:查找场景内竖直方向最低点,如果高于最低点的法向量与竖直方向夹角小于临界值,则判定该点及其邻域点为地面点,否则认为该点及其邻域点为非地面点;
步骤2,非地面点云粗分类:对于剩余的非地面点云数据,根据密度驱动的聚类方法进行聚类;对于已经完成聚类的点云簇,统计簇内所有点维数特征并计线状点与分裂点所占比例,如果大于一定临界值,则判定该点云簇为非人工建筑物,否则是人工建筑物的立面点;
经过点云粗分类,点云被分为包含水平地面的地面点,包含竖直墙面的立面点和包含植被杂物的分裂点。
5.根据权利要求1所述的地面三维点云多尺度闭合差校验拼接方法,其特征在于,空间点云分布熵驱动的评价法:对于任意同一地面场景,用地面激光扫描仪在两个不同的位置进行采集,得到的未进行拼接的两站点云数据,这时两站的拼接参数是随机的,因而拼接后点云中每个点所处的位置也是随机的,将这种点云空间分布的不确定性用熵来描述:信息熵越高,点云空间分布的不确定性越大,点云分布越分裂;反之,点云空间分布的不确定性越小,点云分布越呈现规律性,点云空间分布信息熵和点云拼接转换参数有密切关系,对于待拼接的点云数据,若它们正确拼接到同一个坐标系下,那么整个点云空间的分布最为集中,点云空间分布的不确定性也最小,信息熵也最小;而当数据相对正确位置、姿态发生偏移,最为集中的分布状态被打破,点云空间的不确定性增大,信息熵也随之增大;
引入空间点云分布熵来表述点云分布的不确定性,多站点云数据以某个参数进行拼接得到点云C,点云C包含M个数据点,将其进行三维栅格化,栅格间隔为a,统计落在每一个栅格内的点数为m(i,j,u),i、j、u为该栅格的索引号,然后计算点云落在每个栅格内的频率:
则点云C的空间分布熵KFS为:
其中in,jn,un是该格网在三个坐标轴方向的格网数目,如果点云全部落在一个格网中,则KFS达到最小为0;而点数目相同、点云占用的格网越多,则KFS就越大,即点云分布越分裂;反之,尽量让反应相同地物的点落在同一格网,KFS也越小,即点云分布的确定性越高,这样点云正确拼接的可能性也越大;
地面三维点云的拼接是刚体变换,而且格网大小a不能设置的很大以至于可以包含所有点云,如果拼接过程能让KFS达到最小,则该结果就有较大概率是正确的结果,对多个拼接参数在全局层面是做出筛选,得到最优的拼接参数。
6.根据权利要求5所述的地面三维点云多尺度闭合差校验拼接方法,其特征在于,基于最小投影面积的点云拼接:基于点云抽稀假设格网划分非常细小,当某个格网有u个点时,就简化该格网,仅保留1个点,不改变点云的总体形状和分布,原始点云的拼接转换参数和简化后的一致;对于两站以某个参数拼接得到的点云,先进行格网化,当某个格网内有点时记Wi=1/M,当该格网没有点时记Wi=0,M为有点云数据的总格网数目,点云的空间分布熵简化为:KFS=–log2(1/M);
假设点云没有翻滚角和俯仰角的误差,且不关注Z轴方向的平移,拼接转换参数只有X、Y轴方向的平移参数和绕Z轴的旋转角参数,将点云投影到XOY平面上,三维点云拼接问题就变成二维影像拼接的问题,点云的空间分布熵变成二维图像的空间分布熵:
式中M是点云数据占据的总像素数目,空间分布熵KFS是和点云数据占据的总像素数目M正相关,点云正确拼接等价于KFS最小,那么点云正确拼接也等价于M最小,即点云投影到平面所占据的面积最小,两站点云投影到Z=0平面所占据的面积最小,就是点云的正确拼接参数;
设计基于最小投影面积的动态评价点云拼接方法:先获取两个测站中心的距离a,然后将移动站原点放置于参考站坐标系的的(a,0)坐标上,在拼接时让两站点云绕Z轴遍历所有旋转角的组合,并统计每个组合对应的投影面积C,最小投影面积的旋转角的组合(i,j)就是正确的拼接转换参数,即:
(i,j)=arg mini,j∈[0,360]Cij
考虑到一些误差的影响,找出最小投影面积的几个旋转角的组合,就是可能的旋转转换参数,然后对每个参数对应旋转后的点云,利用邻近的地面点来确定Z轴方向的平移转换参数,最后,再用完整的空间分布熵来评价这些粗转换参数,得到高可信度的转换参数。
7.根据权利要求1所述的地面三维点云多尺度闭合差校验拼接方法,其特征在于,拼接转换参数的精细化:在具备粗略的两点云测站距离、粗旋转角、Z平移量的条件下,基于建筑物立面进行特征查找和匹配,实现拼接转换参数的精细化,修正测站平移转换参数和绕Z轴的旋转角,建筑物立面点的法向量Z方向分量很小,在点云中呈现显著特征,提取容易,而立面上的玻璃材质的窗户对激光的反射极为微弱,因此建筑物立面呈现出规则排列的孔洞,本发明正是以这项孔洞为基础,提取建筑物立面点的骨架线,查找特征以实现拼接;
提取建筑物立面点的骨架线采用数学形态学驱动的细化拼接方法;
基于建筑物骨架线求解转换参数分为三步,首先构造尽量满足细化规则的影像,以便得到精良的细化结果;然后使用直线拟合,去除短小的错误骨架线;最后基于最近点匹配交点,并基于空间分布熵选择最优匹配;
(一)构造用于细化的初始影像:设计一种将墙体立面投影成影像的方法:
步骤一,转换该点云的坐标系,使建筑物平面的法向量和Z轴方向保持一致,先统计该立面点的法向量方向,选择法向量最为集中的方向为Z轴方向,Y轴方向为原Z轴方向,X轴方向与Y轴、Z轴垂直,构成右手系;
步骤二,剔除非墙面点,因墙面上的窗户会生成很多杂乱无章的空洞而需要剔除,对点云的Z值建立统计直方图,Z值最为集中的值为中心值,在中心值限差范围内的点均保留,剔除墙面前后的杂物点,然后以XOY平面为投影平面,将点云投影到该平面生成影像,再对影像执行膨胀运算,去除影响细化的微小孔洞,然后执行细化算子,得到骨架线;
(二)直线拟合,去除短小的错误骨架线:将图像空间参数转换到参数空间中,步骤为:
第一步,将参数空间中定义域和值域构成的矩形栅格化成m×m个大小相同的单元,并设置投票矩阵Km×m来记录对应的每个点的信息,并初始化为0矩阵;
第二步,依次取二值影像中像素值不为0的点Wi(xi,yi),代入极坐标方程式,得到对应曲线;
第三步,栅格化曲线;
第四步,这样处理完影像上所有的点,遍历投票矩阵中每个元素,数值较大的元素所对应的参数即为直角坐标系中直线方程式的参数;
借助opencv实现直线提取,通过调节函数的各项参数,剔除短小毛刺,合并共线直线;
(三)基于最近点匹配交点,再基于空间分布熵计算最优匹配:
在去除毛刺骨架线的基础上,使用下式矩阵来遍历整个图像:
进行模板匹配,提取横竖骨架线的交点,作为特征点,然后使用两站点云数据中的临近立面中的互为最临近点的交点做为同名像点,反投影到三维点,得到转换参数,计算其空间分布熵,评价拼接结果;
将参考站的影像左右平移1个、2个、3个交点的平均水平间隔,再用同上方法计算转换参数和空间分布熵,将所有结果按照空间分布熵升序排列,空间分布熵最小的转换参数就是最优的精细化拼接转换参数。
8.根据权利要求1所述的地面三维点云多尺度闭合差校验拼接方法,其特征在于,点云的闭合差模型:在采集点云时,增加测站进行多余观测,构成拼接转换参数闭合差,发现点云拼接中的错误并提高点云拼接精度,将点云拼接的基本模型改为四维的线性变换形式:
Xi+1=SiXi
即将第i+1站点云坐标系转换到第i站的坐标系的拼接转换矩阵为Si,而令Sm代表第一站转换到最后一站的坐标转换矩阵,从第1站经过一系列站点转换再到第1站,坐标转换矩阵应为单位矩阵,即应有闭合方程:
SmSm-1…S2S1=B
B为单位矩阵,点云两两拼接存在累积误差或错误,得到闭合误差S=SmSm-1…S2S1。
9.根据权利要求1所述的地面三维点云多尺度闭合差校验拼接方法,其特征在于,改进ICP配准策略集中在同名像点搜索策略和同名像点筛选:
第一,为在带配准点云K中找到点云W中的对应点,进行同名像点搜索,而原始的ICP方法使用互最邻近点作为查找策略,即K中的ki是W中wi的最临近点,且wi也是ki的最临近点,则认为他们是同名像点,而本发明采用点到面上的最近点的查找策略,其基本步骤是:
第1步,在K中找到wi三个最临近点ki1、ki2、ki3,如果不足3个则不记录该点;
第2步,这三个点构成三角形Ri,过wi做Ri所在平面的垂线,得到垂足b;
第3步,如果垂足e落在Ri中,则认为b和wi同名像点;否则舍弃该点;
第二,同名像点筛选策略就是对找出的同名像点进行进一步检验,剔除误匹配点,采用基于线段长度的条件约束和基于法向量的条件约束;
基于线段长度的条件约束将对应点随机两两组成线段,剔除对应线段长度差超过临界值的错误对应点,基本步骤为:
第①步,在同名像点对中随机取出两对同名像点(wi,wj)-(bi,bj);
第②步,比较线段长度A=||wi-wj||-||bi-bj||;
第③步,如果A大于2倍最佳邻域半径Topt,则淘汰这两对同名像点;
基于法向量的条件约束是每个点对对应的法向矢量夹角不能超过临界值,在同名像点搜索时得到的同名像点对(wi,bi)和三个最临近点ki1、ki2、ki3,它们的法向量分别为m1,m2,m3,m4,m5,如果m1和其它的法向量夹角都大于设定的临界值,则淘汰该点。
10.根据权利要求1所述的地面三维点云多尺度闭合差校验拼接方法,其特征在于,点云多尺度闭合差校验拼接原型系统:分为基础模块、点云拼接模块、可视化交互模块,基础模块完成所有数据的组织管理和前置处理;点云拼接模块是原型系统的核心,完成多站点云数据的配准;可视化交互模块则提供数据浏览、人机交互;
基础模块包括:1.点云读取模块:读取从设备和软件中导出的原始点云,2.压缩存储模块:存储内部数据结构和索引,压缩原始点云数据,导出标准格式的拼接结果,3.点云索引模块:对点云建立索引,提供快速K邻域查询和固定半径邻域查询,4.简化去噪模块:权衡简度、效率、精度,简化点云数据,剔除离散噪声点,5.粗分类模块:将点云划分为地面点、立面点、分裂点;
点云拼接模块包括:6.一阶粗配准模块:投影立面点到水平面,测站两两旋转遍历,得到较好的拼接参数,确定两站之间的Z轴方向平移参数;2.二阶粗配准模块:提起墙面骨架线,精细化配准参数,7.闭合差检校模块:计算所有测站的转换矩阵,然后将闭合差和临界值比较,判断拼接是否存在错误,并分配闭合差,8.点云分布熵模块:统计计算两站拼接时的点云分布熵,做出优选,9.ICP精拼接模块:基于改进的ICP方法,对点云进行精拼接;
可视化交互模块包括:10.三维可视化模块:利用OpenGL实现点云和模型的可视化,11.交互模块:实现对点云场景的控制和选择,12.点云数据管理界面:图层控制和数据导入、导出、处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110850891.XA CN113506376A (zh) | 2021-07-27 | 2021-07-27 | 地面三维点云多尺度闭合差校验拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110850891.XA CN113506376A (zh) | 2021-07-27 | 2021-07-27 | 地面三维点云多尺度闭合差校验拼接方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113506376A true CN113506376A (zh) | 2021-10-15 |
Family
ID=78014166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110850891.XA Pending CN113506376A (zh) | 2021-07-27 | 2021-07-27 | 地面三维点云多尺度闭合差校验拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113506376A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113932727A (zh) * | 2021-11-29 | 2022-01-14 | 中国电建集团成都勘测设计研究院有限公司 | 基于扫描全站仪与gnss的边坡变形监测方法及系统 |
CN114627275A (zh) * | 2022-03-29 | 2022-06-14 | 南京航空航天大学 | 一种基于多源异构数据的整机测量点云融合方法 |
CN114910241A (zh) * | 2022-07-18 | 2022-08-16 | 中国航空工业集团公司沈阳空气动力研究所 | 一种用于风洞模型姿态测量的风洞坐标系转换方法 |
CN115423835A (zh) * | 2022-11-02 | 2022-12-02 | 中汽创智科技有限公司 | 杆状物点云数据处理方法、装置、电子设备及存储介质 |
CN116452648A (zh) * | 2023-06-15 | 2023-07-18 | 武汉科技大学 | 一种基于法向量约束纠正的点云配准方法及系统 |
CN117576172A (zh) * | 2024-01-12 | 2024-02-20 | 法奥意威(苏州)机器人系统有限公司 | 基于改进关键点的配准方法和装置 |
CN117763877A (zh) * | 2024-02-21 | 2024-03-26 | 中南建筑设计院股份有限公司 | 基于plm平台的钢节点通用参数化建模方法和存储介质 |
CN117893412A (zh) * | 2024-03-15 | 2024-04-16 | 北京理工大学 | 一种点云数据滤除方法、装置、设备及存储介质 |
CN117763877B (zh) * | 2024-02-21 | 2024-05-07 | 中南建筑设计院股份有限公司 | 基于plm平台的钢节点通用参数化建模方法和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345617A (zh) * | 2018-09-15 | 2019-02-15 | 武汉智觉空间信息技术有限公司 | 一种基于长条带多站点云的链式高精度拼接与平差方法 |
CN109741257A (zh) * | 2018-12-25 | 2019-05-10 | 鸿视线科技(北京)有限公司 | 全景图全自动拍摄、拼接系统及方法 |
WO2019242174A1 (zh) * | 2018-06-21 | 2019-12-26 | 华南理工大学 | 基于激光雷达的建筑结构自动测量及3d模型生成方法 |
CN111310811A (zh) * | 2020-02-06 | 2020-06-19 | 东华理工大学 | 一种基于多维特征最优组合的大场景三维点云分类方法 |
CN111814874A (zh) * | 2020-07-08 | 2020-10-23 | 东华大学 | 一种用于点云深度学习的多尺度特征提取增强方法及模块 |
CN112712089A (zh) * | 2020-12-31 | 2021-04-27 | 的卢技术有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
-
2021
- 2021-07-27 CN CN202110850891.XA patent/CN113506376A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019242174A1 (zh) * | 2018-06-21 | 2019-12-26 | 华南理工大学 | 基于激光雷达的建筑结构自动测量及3d模型生成方法 |
CN109345617A (zh) * | 2018-09-15 | 2019-02-15 | 武汉智觉空间信息技术有限公司 | 一种基于长条带多站点云的链式高精度拼接与平差方法 |
CN109741257A (zh) * | 2018-12-25 | 2019-05-10 | 鸿视线科技(北京)有限公司 | 全景图全自动拍摄、拼接系统及方法 |
CN111310811A (zh) * | 2020-02-06 | 2020-06-19 | 东华理工大学 | 一种基于多维特征最优组合的大场景三维点云分类方法 |
CN111814874A (zh) * | 2020-07-08 | 2020-10-23 | 东华大学 | 一种用于点云深度学习的多尺度特征提取增强方法及模块 |
CN112712089A (zh) * | 2020-12-31 | 2021-04-27 | 的卢技术有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
江盟 等: "基于投影的点云配准算法", 自动化仪表, no. 04, pages 1 - 6 * |
王金强 等: "基于同名控制点的三维激光点云配准", 科学技术与工程, vol. 12, no. 1, pages 1 - 4 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113932727A (zh) * | 2021-11-29 | 2022-01-14 | 中国电建集团成都勘测设计研究院有限公司 | 基于扫描全站仪与gnss的边坡变形监测方法及系统 |
CN114627275A (zh) * | 2022-03-29 | 2022-06-14 | 南京航空航天大学 | 一种基于多源异构数据的整机测量点云融合方法 |
CN114910241A (zh) * | 2022-07-18 | 2022-08-16 | 中国航空工业集团公司沈阳空气动力研究所 | 一种用于风洞模型姿态测量的风洞坐标系转换方法 |
CN114910241B (zh) * | 2022-07-18 | 2022-09-30 | 中国航空工业集团公司沈阳空气动力研究所 | 一种用于风洞模型姿态测量的风洞坐标系转换方法 |
CN115423835A (zh) * | 2022-11-02 | 2022-12-02 | 中汽创智科技有限公司 | 杆状物点云数据处理方法、装置、电子设备及存储介质 |
CN116452648A (zh) * | 2023-06-15 | 2023-07-18 | 武汉科技大学 | 一种基于法向量约束纠正的点云配准方法及系统 |
CN116452648B (zh) * | 2023-06-15 | 2023-09-22 | 武汉科技大学 | 一种基于法向量约束纠正的点云配准方法及系统 |
CN117576172A (zh) * | 2024-01-12 | 2024-02-20 | 法奥意威(苏州)机器人系统有限公司 | 基于改进关键点的配准方法和装置 |
CN117576172B (zh) * | 2024-01-12 | 2024-04-30 | 法奥意威(苏州)机器人系统有限公司 | 基于改进关键点的配准方法和装置 |
CN117763877A (zh) * | 2024-02-21 | 2024-03-26 | 中南建筑设计院股份有限公司 | 基于plm平台的钢节点通用参数化建模方法和存储介质 |
CN117763877B (zh) * | 2024-02-21 | 2024-05-07 | 中南建筑设计院股份有限公司 | 基于plm平台的钢节点通用参数化建模方法和存储介质 |
CN117893412A (zh) * | 2024-03-15 | 2024-04-16 | 北京理工大学 | 一种点云数据滤除方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113506376A (zh) | 地面三维点云多尺度闭合差校验拼接方法 | |
Yang et al. | An individual tree segmentation method based on watershed algorithm and three-dimensional spatial distribution analysis from airborne LiDAR point clouds | |
Gross et al. | Extraction of lines from laser point clouds | |
Pătrăucean et al. | State of research in automatic as-built modelling | |
Yu et al. | Automated extraction of urban road facilities using mobile laser scanning data | |
Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
Cheng et al. | 3D building model reconstruction from multi-view aerial imagery and lidar data | |
CN110009727A (zh) | 一种具有结构语义的室内三维模型自动重构方法及系统 | |
CN106780386B (zh) | 一种三维激光扫描变形提取可靠性评价方法 | |
Previtali et al. | A flexible methodology for outdoor/indoor building reconstruction from occluded point clouds | |
Ma | Building model reconstruction from LiDAR data and aerial photographs | |
CN114626470B (zh) | 基于多类型几何特征算子的飞机蒙皮关键特征检测方法 | |
CN116844068B (zh) | 建筑测绘方法、系统、计算机设备及存储介质 | |
CN116518864A (zh) | 一种基于三维点云对比分析的工程结构全场变形检测方法 | |
CN116030208A (zh) | 一种真实无人机虚拟仿真输电线路场景搭建方法及系统 | |
Li et al. | Point cloud registration and localization based on voxel plane features | |
CN116091706B (zh) | 多模态遥感影像深度学习匹配的三维重建方法 | |
Tong et al. | Automatic registration of very low overlapping array InSAR point clouds in urban scenes | |
Hebel et al. | Pre-classification of points and segmentation of urban objects by scan line analysis of airborne LiDAR data | |
Jung et al. | Progressive modeling of 3D building rooftops from airborne Lidar and imagery | |
Previtali et al. | Automated road information extraction from high resolution aerial lidar data for smart road applications | |
Zhu et al. | Automatic three-dimensional measurement of large-scale structure based on vision metrology | |
Zhang | Photogrammetric point clouds: quality assessment, filtering, and change detection | |
Tsige | Scan-vs-BIM automated registration using columns segmented by deep learning for construction progress monitoring | |
Zhang et al. | Multi-Data UAV Images for Large Scale Reconstruction of Buildings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |