CN106530345B - 一种同机影像辅助下的建筑物三维激光点云特征提取方法 - Google Patents

Abstract

本发明公开了一种同机影像辅助下的建筑物三维激光点云特征提取方法。利用三维激光扫描系统及相机获得建筑物三维激光点云数据的同时获得同机高分辨率的影像数据，将建筑物三维激光点云与同机影像进行精确配准，获得空间中三维激光点与影像像素之间的对应关系，运用LSD算法对影像数据进行特征提取，得到建筑物影像特征图；然后对建筑物三维激光点云特征进行提取，并基于RANSCA算法对提取出的初始三维激光点云特征进行优化处理，最终得到建筑物三维激光点云特征。本发明能够提高三维激光点云特征提取的精细程度和准确度，有助于建筑物模型构建，对数字城市化的发展及BIM的构建有很大的理论参考价值，能够在生产领域解决更多实际问题。

Description

一种同机影像辅助下的建筑物三维激光点云特征提取方法

技术领域

本发明涉及三维激光点云数据处理领域，具体是指一种同机影像辅助下的建筑物三维激光点云特征提取方法。

背景技术

三维数字城市是未来城市全球信息化发展的趋势，逐渐成为研究的热点。在数字城市地理空间框架建设中，三维数字城市模型既是新颖生动的亮点、更是技术升华的结晶，越来越为人们所重视，越来越多的城市开展了三维建模和应用，构建三维城市中建筑物模型是数字城市必要的步骤和关键内容之一。另外，作为建设领域新兴技术，建筑信息模型BIM(Building Information Model)技术在建筑物信息模型重建、管理等方面的应用也被逐步研究，通过对建筑物进行信息模型的重建，能够获得建筑物全方面的信息，如模型的几何、物理、构造、技术等信息，为建筑物改造、翻新、保护提供决策与服务，同时能够用于建筑物导航定位、突发事件预警等。而BIM技术中几何模型信息是较为重要的信息。

传统的城市建筑物空间信息获取主要依赖于全站仪、航空摄影测量和卫星影像等，但由于数据获取能力的限制，很难有效地进行建筑的三维建模。三维激光扫描技术的广泛应用，逐渐打破了这一瓶颈，且三维激光扫描技术在数字城市及BIM的几何模型构建方面也受到了极大的关注。但三维激光点云具有数据量大、密度高等特征，为数据的存储和处理带来了巨大挑战。如果对建筑物三维激光点云数据进行特征提取，用少量的关键点就能够表达建筑物的立面结构信息，用特征作为建模的约束条件，能够准确表达模型的外观和结构。

发明内容

本发明要解决的技术问题是：避开单纯利用三维激光点云数据的几何信息进行特征提取的缺陷，提供一种同机影像辅助下的建筑物三维激光点云特征提取方法，将建筑物三维激光点云与同机影像进行精确配准，获得空间中三维激光点与影像像素之间的对应关系，运用LSD算法对影像数据进行特征提取，得到建筑物影像特征图；在此基础上，设计算法实现建筑物三维激光点云特征提取，并基于RANSCA算法对提取出的初始三维激光点云特征进行优化处理，最终得到精细、准确的建筑物三维激光点云特征。本发明的同机影像是指三维激光扫描系统在获取三维激光扫描数据的同时，利用配套的高分辨率数码相机同步获取的高分辨率影像。

本发明的技术解决方案是：

一种同机影像辅助下的建筑物三维激光点云特征提取方法，利用三维激光扫描系统及相机，该方法的具体步骤如下：

步骤1，确定相机的内部和外部参数，实现同机影像与三维激光点云的精确配准，得到相机坐标系(X_C,Y_C,Z_C)与空间中三维激光点(X_W,Y_W,Z_W)之间的关系公式：

得到空间中三维激光点(X_W,Y_W,Z_W)与影像像素(u,v)之间的对应关系公式：

其中，空间中三维激光点(X_W,Y_W,Z_W)是指站点配准后工程项目坐标系下三维激光点的坐标；M₁是相机内部参数矩阵，即相机坐标系与图像坐标系相互转换的矩阵；M₂为外部参数矩阵，即相机坐标系与世界坐标系的相互转换的矩阵；Mounting矩阵是装配相机后，相机坐标系与扫描系统坐标系的初始位置关系校正矩阵；COP(Camera Orientation andPosition)矩阵是拍摄纹理时，相机相对于初始位置的旋转矩阵；这些参数在同机影像与三维激光点云配准后能够获得；SOP(Sensor's Orientation and Position)矩阵是不同站的扫描系统坐标系相对于工程坐标系的旋转平移矩阵，在站点配准后能够获得；

步骤2，运用LSD(Line Segment Detector)直线段检测算法提取建筑物影像特征，得到建筑物影像特征图；

步骤3，根据预处理后建筑物三维激光点云数据、建筑物影像特征图、影像与三维激光点云配准后相机内部和外部参数及空间中三维激光点与影像像素之间的对应关系，提取影像像素特征对应的建筑物三维激光点云特征；建筑物影像特征到三维激光点云的映射方法流程如下：

步骤31，记建筑物影像特征图中像素坐标为(U,V)，遍历每一个像素点(U_i,V_i)，判断当前像素点是否为特征像素，如果不是，继续遍历下一个像素点，如果是，保存当前像素点的坐标，最终得到特征像素集合(U_C,V_C)；

步骤32，准备预处理后原始三维激光点云数据(X_W,Y_W,Z_W)及影像与三维激光点云配准后得到的M₁矩阵、Mounting矩阵、COP矩阵和SOP矩阵，遍历每个三维激光点(X_Wi,Y_Wi,Z_Wi)，根据公式(1)，求出对应的相机坐标(X_Ci,Y_Ci,Z_Ci)，从而得到每个三维激光点对应的相机光轴Z_Ci值，公式(2)，求出每个三维激光点对应的影像像素坐标(u_i,v_i)；

步骤33，判断影像特征像素集合(U_C,V_C)中是否存在像素坐标(u_i,v_i)，如果存在，则该像素坐标(u_i,v_i)对应的三维激光点(X_Wi,Y_Wi,Z_Wi)即是所求的三维激光点云特征，保存该像素坐标及对应的三维激光点坐标，最终得到三维激光特征点集合(X_WC,Y_WC,Z_WC)；

步骤4，在RANSAC(RANdom SAmple Consensus)算法的基础上对初始特征点进行直线检测，得到更加准确的建筑物三维激光点云特征，具体的实现流程如下：

步骤41，将步骤3中检测出的三维激光特征点作为初始候选点集合，并记为Q＝{q_j}，选择初始候选点集合Q中的任意两个点{q₁,q₂}；

步骤42，依据两个点{q₁,q₂}的位置坐标构造出三维直线I；

步骤43，计算集合Q中除点{q₁,q₂}外的其他点q_j到直线I的距离值d_j，并统计值d_j中小于距离阈值ξ的点的集合D_I，将集合D_I的个数作为直线I所得分数S_I；

步骤44，重复步骤41到43过程M次，从而选出得分最高的三维直线I^*，次数M的计算公式为：

其中，η是直线I^*之外的点所占的百分比，Ψ为M次采样之后被选中的概率大小；

步骤45，记录直线I^*并在集合Q中移除集合D_I ^*中的点；

步骤46，重复步骤41到45过程，直到从剩余的点中不能够再选出得分大于分数阈值Sˊ的直线。

进一步地，所述步骤2中，可以通过调整LSD函数的尺度缩放参数S的大小来对图像进行重采样，该算法中图像缩放尺度参数S默认大小为0.8，如果检测出的特征有些是不需要的细节特征，可以缩小参数S。在一定范围内S值越小检测出的特征越少，特征的连续性也相对越好，因此可根据需要选择合适的S值。

优选地，所述步骤4中，距离阈值ξ设为集合Q的包围盒的对角线长度的0.02％，概率Ψ设为0.99，η设为0.9。

本发明将三维激光点云数据与同机影像数据结合起来，充分利用影像像素之间邻接关系明显、特征信息丰富、连续和三维激光点云几何定位精度高的优势，克服了单纯利用三维激光点云特征提取过程复杂、会漏检一些曲率变化不明显的特征的缺陷，提高了三维激光点云特征提取的精细程度和准确度，有助于建筑物模型构建，对数字城市化的发展及BIM的构建有很大的理论参考价值，能够在生产领域解决更多实际问题。

附图说明

图1为本发明方法流程示意图；

图2为本发明方法中影像特征到三维激光点云的映射算法流程；

图3为本发明实施例中江西理工大学建测楼三维激光点云特征图，(a)为建测楼三维激光点云特征全局效果图，(b)、(c)为三维激光点云特征优化后套合原始点云数据局部细节图，其中白色点为特征点。

具体实施方式

以下将结合附图，以江西理工大学建测楼三维激光点云特征提取为例，说明本发明的具体实施方法：

1、利用Riegl VZ-1000型三维激光扫描仪及配套的数码相机对江西理工大学建测楼进行数据采集，获得建测楼三维激光点云数据的同时获得同机高分辨率的影像数据。根据建筑物及周围环境进行设站，尽量避开其他物体遮挡。扫描模式设置为Panorama_20，从而获得较密的激光点云数据。

利用RiSCAN PRO软件对获得的三维激光点云数据进行去噪、站点配准操作。对于明显的遮挡点及非建筑噪点如地面、树木、汽车、行人等，直接删除，对于其他肉眼分辨不出的噪声点采用统一采样命令，通过合理设置参数化采样百分比完成采样点云数据的去噪；选择同名点作为激光点云特征进行站点之间的初始配准，通过软件参数化设置公差、最大跌代数及采样大小等一系列参数完成站点之间的精细配准。各站点之间配准后，能够得到不同测站的扫描仪坐标系相对于工程项目坐标系的旋转平移矩阵，即SOP矩阵。

利用RiSCAN PRO软件对相机进行标定，确定相机的内部和外部参数，实现同机影像与三维激光点云的精确配准。首先在各站影像中选择多对同名点进行连接，然后创建Newmouting，分别进行SETTINGS下的三种计算模式，取计算精度最高的作为相机校准参数，最后将新生成的mouting应用于各站点。同机影像与三维激光点云配准后，在RiSCAN PRO软件中可查看相机的内部参数，即M₁矩阵；矩阵是装配相机后，相机坐标系与扫描仪坐标系的初始位置关系校正矩阵，即Mounting矩阵；拍摄纹理时，相机相对于初始位置的旋转矩阵，即COP矩阵。

得到相机坐标系(X_C,Y_C,Z_C)与空间中三维激光点(X_W,Y_W,Z_W)之间的关系公式：

得到空间中三维激光点(X_W,Y_W,Z_W)与影像像素(u,v)之间的对应关系公式：

其中，空间中三维激光点(X_W,Y_W,Z_W)是指站点配准后工程项目坐标系下三维激光点的坐标。

2、运用LSD(Line Segment Detector)直线段检测算法提取建筑物影像特征，得到建筑物影像特征图。

可以通过调整LSD函数的尺度缩放参数S的大小来对图像进行重采样。该算法中图像缩放尺度参数S默认大小为0.8，如果检测出的特征有些是不需要的细节特征，可以缩小参数S。在一定范围内S值越小检测出的特征越少，特征的连续性也相对越好，因此可根据需要选择合适的S值。

影像特征图中建筑物特征部分用白色像素点表示，非特征部分用黑色像素点表示，且特征直线段的像素宽度为单位像素。

3、根据预处理后建筑物三维激光点云数据、建筑物影像特征图、影像与三维激光点云配准后相机内部和外部参数及空间中三维激光点与影像像素之间的对应关系，结合OpenCV库编程实现影像像素特征对应的建筑物三维激光点云特征提取。建筑物影像特征到三维激光点云的映射方法具体实现流程如图2所示，流程描述如下：

1)记建筑物影像特征图中像素坐标为(U,V)，遍历每一个像素点(U_i,V_i)，判断当前像素点是否为特征像素，如果不是，继续遍历下一个像素点，如果是，保存当前像素点的坐标，最终得到特征像素集合(U_C,V_C)；

2)准备预处理后原始三维激光点云数据(X_W,Y_W,Z_W)及影像与三维激光点云配准后得到的M₁矩阵、Mounting矩阵、COP矩阵和SOP矩阵，遍历每个三维激光点(X_Wi,Y_Wi,Z_Wi)，根据相机坐标系与空间中三维激光点之间的关系公式，即公式(1)，求出对应的相机坐标(X_C,Y_C,Z_C)，从而得到每个三维激光点对应的相机光轴Z_Ci值，根据空间中三维激光点与影像像素之间的对应关系公式，即公式(2)，求出每个三维激光点对应的影像像素坐标(u_i,v_i)；

3)判断影像特征像素集合(U_C,V_C)中是否存在像素坐标(u_i,v_i)，如果存在，则该像素坐标(u_i,v_i)对应的三维激光点(X_Wi,Y_Wi,Z_Wi)即是所求的三维激光点云特征，保存该像素坐标及对应的三维激光点坐标，最终得到三维激光特征点集合(X_WC,Y_WC,Z_WC)。

该方法中判断像素是否为特征像素的方法是判断该像素的值是白色还是黑色，若为白色则该像素是特征像素，若为黑色在该像素为非特征像素。

该方法实现过程中涉及到像素坐标值的比较，定义像素坐标UV结构体时，需要定义U,V的排序方式，如：U按数值升序排序，如果U相同，按V数值升序排序。

4、基于PCL点云库，在RANSAC(RANdom SAmple Consensus)算法的基础上对初始特征点进行直线检测，得到更加准确的建筑物三维激光点云特征。具体的实现流程如下：

1)将3中检测出的三维激光特征点作为初始候选点集合，并记为Q＝{q_j}，选择初始候选点集合Q中的任意两个点{q₁,q₂}。

2)依据两个点{q₁,q₂}的位置坐标构造出三维直线I。

3)计算集合Q中除点{q₁,q₂}外的其他点q_j到直线I的距离值d_j，并统计值d_j中小于距离阈值ξ的点的集合D_I，将集合D_I的个数作为直线I所得分数S_I。

4)重复1到3过程M次，从而选出得分最高的三维直线I^*，次数M的计算公式为：

其中，η是直线I^*之外的点所占的百分比，Ψ为M次采样之后被选中的概率大小。

5)记录直线I^*并在集合Q中移除集合D_I ^*中的点。

6)重复1到5过程，直到从剩余的点中不能够再选出得分大于分数阈值Sˊ的直线。

该方法实现过程中，距离阈值ξ设为Q的包围盒的对角线长度的0.02％，概率Ψ设为0.99，η设为0.9。

本实施例江西理工大学建测楼的全部三维激光点云特征进行优化处理后的效果如图3所示，由图可以看出，利用本发明方法所提取的特征较为全面、丰富，能够精细、准确地表达建筑物的结构信息。

Claims (3)

1.一种同机影像辅助下的建筑物三维激光点云特征提取方法，利用三维激光扫描系统及相机，其特征在于，该方法的具体步骤如下：

步骤1，确定相机的内部和外部参数，实现同机影像与三维激光点云的精确配准，得到相机坐标系(X_C,Y_C,Z_C)与空间中三维激光点(X_W,Y_W,Z_W)之间的关系公式：

得到空间中三维激光点(X_W,Y_W,Z_W)与影像像素(u,v)之间的对应关系公式：

其中，空间中三维激光点(X_W,Y_W,Z_W)是指站点配准后工程项目坐标系下三维激光点的坐标；M₁是相机内部参数矩阵，即相机坐标系与图像坐标系相互转换的矩阵；M₂为外部参数矩阵，即相机坐标系与世界坐标系的相互转换的矩阵；Mounting矩阵是装配相机后，相机坐标系与扫描系统坐标系的初始位置关系校正矩阵；COP矩阵是拍摄纹理时，相机相对于初始位置的旋转矩阵；SOP矩阵是不同站的扫描系统坐标系相对于工程坐标系的旋转平移矩阵；

步骤2，运用LSD直线段检测算法提取建筑物影像特征，得到建筑物影像特征图；

步骤3，根据预处理后建筑物三维激光点云数据、建筑物影像特征图、影像与三维激光点云配准后相机内部和外部参数及空间中三维激光点与影像像素之间的对应关系，提取影像像素特征对应的建筑物三维激光点云特征；建筑物影像特征到三维激光点云的映射方法流程如下：步骤31，记建筑物影像特征图中像素坐标为(U,V)，遍历每一个像素点(U_i,V_i)，判断当前像素点是否为特征像素，如果不是，继续遍历下一个像素点，如果是，保存当前像素点的坐标，最终得到特征像素集合(U_C,V_C)；

步骤32，准备预处理后原始三维激光点云数据(X_W,Y_W,Z_W)及影像与三维激光点云配准后得到的M₁矩阵、Mounting矩阵、COP矩阵和SOP矩阵，遍历每个三维激光点(X_Wi,Y_Wi,Z_Wi)，根据公式(1)，求出对应的相机坐标(X_Ci,Y_Ci,Z_Ci)，从而得到每个三维激光点对应的相机光轴Z_Ci值，根据公式(2)，求出每个三维激光点对应的影像像素坐标(u_i,v_i)；

步骤33，判断影像特征像素集合(U_C,V_C)中是否存在像素坐标(u_i,v_i)，如果存在，则该像素坐标(u_i,v_i)对应的三维激光点(X_Wi,Y_Wi,Z_Wi)即是所求的三维激光点云特征，保存该像素坐标及对应的三维激光点坐标，最终得到三维激光特征点集合(X_WC,Y_WC,Z_WC)；

步骤4，在RANSAC算法的基础上对初始三维激光特征点进行直线检测，得到更加准确的建筑物三维激光点云特征，具体的实现流程如下：

步骤41，将步骤3中检测出的三维激光特征点作为初始候选点集合，并记为Q＝{q_j}，选择初始候选点集合Q中的任意两个点{q₁,q₂}；

步骤42，依据两个点{q₁,q₂}的位置坐标构造出三维直线I；

步骤43，计算集合Q中除点{q₁,q₂}外的其他点q_j到直线I的距离值d_j，并统计值d_j中小于距离阈值ξ的点的集合D_I，将集合D_I中点的个数作为直线I所得分数S_I；

步骤44，重复步骤41到43过程M次，从而选出得分最高的三维直线I^*，次数M的计算公式为：

其中，η是直线I^*之外的点所占的百分比，Ψ为直线I^*之外的点经M次采样之后被选中的概率大小；

步骤45，记录直线I^*并在集合Q中移除集合D_I ^*中的点；

步骤46，重复步骤41到45过程，直到从剩余的点中不能够再选出得分大于分数阈值Sˊ的直线。

2.根据权利要求1所述的一种同机影像辅助下的建筑物三维激光点云特征提取方法，其特征在于：所述步骤2中，通过调整LSD函数的尺度缩放参数S的大小来对图像进行重采样，其中参数S默认大小为0.8。

3.根据权利要求1所述的一种同机影像辅助下的建筑物三维激光点云特征提取方法，其特征在于：所述步骤4中，距离阈值ξ设为集合Q的包围盒的对角线长度的0.02％，概率Ψ设为0.99，η设为0.9。