CN109597095A - 背包式三维激光扫描与立体成像组合系统及数据获取方法 - Google Patents

Abstract

本发明公布了一种背包式三维激光扫描与立体成像组合系统及数据获取方法，组合系统，包括二维激光雷达、双目立体相机、惯性测量单元IMU、全球卫星定位系统GPS天线、控制单元、移动电源、支撑杆；各个部件集成设置于背包框架内。控制单元设置软件模块，通过线缆与部件连接，用于控制双目立体相机拍摄和激光雷达采集数据，同时记录IMU和GPS获取的定位和定姿数据；并对获取的数据进行后处理操作，得到并输出三维点云数据，具有位置、姿态信息的彩色影像和/或深度图像数据。本发明集成度高，具有信息量丰富、可量测、便于使用、扩展性强、成本低的技术优势，可广泛应用在资源定量测量和参数反演应用领域。

Description

背包式三维激光扫描与立体成像组合系统及数据获取方法

技术领域

本发明涉及三维数据获取技术，尤其涉及一种背包式三维激光扫描与立体成像组合系统及数据获取方法。

背景技术

随着三维建模、数字城市、森林资源管理、森林参数反演等应用对真三维景观的需要，快速、准确获取目标场景的三维信息已经凸显出较高的经济价值和应用前景。三维激光雷达系统作为主动遥感技术通过向被测物体发射激光束的方式，无需接触被测量物体，能够快速、准确的获取空间场景三维点云数据。三维激光雷达系统可以根据搭载平台的不同分为机载激光雷达系统、车载激光雷达系统、地基激光雷达系统和便携激光雷达系统等。不同平台的三维激光雷达系统所针对的应用场景具有较大的差异。机载激光雷达系统适用于大范围的获取场景顶部的三维点云数据。车载激光雷达系统适用于获取城市路网数据，可有效获取道路两侧地物的三维点云数据，能够与机载雷达系统形成优势互补。地基激光雷达系统使用灵活，适用于小场景局部目标三维信息的获取，但扫描速度慢，后期点云拼接效率低。便携式激光雷达系统可方便的对小型工件进行手持扫描，常用于逆向工程。随着不同需求的涌现，应用激光雷达技术的领域多种多样，在森林资源管理、森林参数反演研究调查领域就急需一种便携、灵活、高精度、实时性强、自动化程度高、可单人作业的三维激光扫描和深度图像获取的作业系统，主要用于常规三维激光扫描系统不能到达和采集的复杂地形区域，以及获取带有位置、姿态信息的彩色影像和深度图像数据。

发明内容

为了克服上述现有三维激光雷达系统的不足，本发明提供一种可单人背负幷可以在移动过程中获取高精度、高密度三维点云与高清连续带有位置和姿态信息的彩色影像和深度图像数据的轻量级背负式移动三维场景数据采集系统。该系统将二维激光雷达、双目立体相机、定位定姿设备集成一体，形成背包式系统，实现三维信息数据获取，包括对三维空间场景扫描与立体成像，能够解决当前尚未有一种在复杂地形中由单人背负可在移动过程中快速获取真实场景的高精度三维点云、带有位置、姿态信息的高清连续彩色影像和深度图像数据，以及解决当前三维激光雷达系统在地物精细结构参数计算应用中系统复杂、体积大、成本高、使用条件苛刻之间矛盾的问题。

本发明提供的背包式三维激光扫描与立体成像组合系统不同于其他三维激光扫描系统，由于其采用了背负式扫描方法，不依附于任何机动载体平台就可进入车载移动测量系统无法进入的复杂地形区域，如路面崎岖不平、林间小道等车辆无法通行的环境。本系统集成了全球定位系统和惯性测量单元，可无需进行点云人工拼接，在行进过程中就能够快速扫描三维场景，幷得到带有位置、姿态信息的彩色影像和深度图像数据，为用户提供快速、机动、灵活的单人背包式三维激光扫描、彩色影像与深度图像采集解决方案。

本发明提供的技术方案是：

一种背包式三维激光扫描与立体成像组合系统，该系统包括硬件部分和软件部分，可同步获取场景中目标地物的三维点云数据和带有位置、姿态信息的彩色影像和高清连续的深度图像数据。

所述背包式三维激光扫描与立体成像组合系统，硬件部分包括二维激光雷达、双目立体相机、惯性测量单元(IMU)、全球卫星定位系统(GPS)天线、控制单元、移动电源、支撑杆、背包框架、移动工作站，除移动工作站外各个组件由背包框架刚性集成为一体。

其中，双目立体相机安装在支撑杆上，与背包框架连接固定，位于背包框架的中部，二维激光雷达位于背包框架的一侧，两个GPS天线分别位于背包框架的两侧，IMU与移动电源位于背包框架的底部。

双目立体相机位于支撑杆的顶部固定在背包框架的正上方，可以在水平方向旋转，根据感兴趣场景在扫描路线的方位，固定于某一方向进行成像。

所述的双目立体相机具有两个镜头可同时对空间进行拍摄，得到两张彩色影像。在后处理阶段，根据双目立体相机的标定参数计算深度信息，从而生成深度图像。

所述的二维激光雷达安装在背包框架的一侧，可对行进路线一侧场景进行连续扫描，采集场景三维点云数据。最大扫描距离为80m，扫描角分辨率和扫描范围可通过控制单元设置。

所述GPS天线和IMU构成定位和定姿系统，可得到系统工作过程中的实时空间位置和设备姿态(俯仰角、偏航角和翻滚角信息)数据用于统一解算三维点云数据。

所述移动电源为系统持续供电，输出电压为24V直流电。可根据作业时间选择多块电池构成电池组为激光雷达、双目立体相机、IMU和GPS持续供电。移动电源为锂电池。

系统还包括移动工作站，移动工作站通过线缆与控制单元连接，为二维激光雷达设置扫描参数与双目立体相机的成像频率。

所述的控制单元，通过线缆与激光雷达、双目立体相机、IMU和GPS连接，用于控制双目立体相机拍摄和激光雷达数据的采集，也同时记录IMU和GPS获取的定位和定姿数据。控制单元设有软件模块，主要完成激光雷达测距和测角数据、双目立体相机成像数据、GPS和IMU的定位、定姿数据，以及传感器的时间同步信息的采集。

在控制单元中设置软件模块，包括：二维激光雷达的扫描参数设置模块、双目立体相机成像频率设置模块、数据后处理模块；其中，数据后处理模块对系统双目立体相机、激光雷达、惯性测量单元和全球定位系统获取的数据进行后处理操作，输出三维点云数据、具有位置、姿态信息的彩色影像和深度图像数据。后处理操作的过程包括以下步骤：

1)加载激光雷达、双目立体相机、惯性测量单元、全球定位系统数据和系统时间同步数据。

2)根据激光雷达的某一时刻的测距和测角数据计算出激光雷达坐标系下的三维坐标数据。

3)利用激光雷达与惯性测量单元在背包框架中的定标后几何关系将步骤2)三维坐标统一解算到IMU坐标系中。

4)读取同一时刻全球定位系统的坐标数据和IMU获取的系统姿态数据，将步骤3)计算的三维坐标统一到全球导航系统所在的空间直角坐标系，将所有经过坐标变换的空间点组合得到环境的真三维点云数据。

5)读取双目立体相机拍摄的同一时刻的彩色立体像对，采用图像匹配算法计算深度图像。

与现有技术相比，本发明的有益效果是：

本发明提供一种背包式三维激光扫描和立体成像组合系统，采用上述技术方案，可完成激光点云、彩色影像和深度图像采集的移动测绘，用于同时获取现实世界环境的三维点云和立体成像，并最大程度地还原了真实的三维空间，具有信息量丰富、可量测、便于使用、扩展性强的特点。本发明具有高集成性，集成了二维激光雷达、双目立体相机、卫星定位、惯性导航单元、控制单元；具有高可靠性、结构紧凑、性能可靠稳定，采用了可更换移动电源供电支持长时间稳定工作，刚性卡板设计确保结构紧凑；系统具有易携带性，设备总重量15kg便于外业人员背负作业。获取的三维点云数据和深度图像可应用于三维建模、数字城市、森林资源调查、森林参数反演等领域。本发明能够解决现有三维激光雷达系统在资源(林业)定量测量和参数反演应用中由于设备复杂体积大、成本高昂、弱灵活性之间的矛盾的问题。通过背包形式可沿规划路线快速获取场景三维激光点云数据，可用于计算地物精细结构参数。

附图说明

图1为背包式三维激光扫描与立体成像组合系统模块结构示意图；

其中：1—双目立体相机；2—支撑杆；3—背包框架；4—全球定位系统基站信息接收天线；5—移动电源；6—控制单元；7—全球定位系统天线；8—移动工作站；9—二维激光雷达；10—惯性测量单元。

图2为激光雷达扫描范围以及激光雷达、惯性测量单元和全球导航系统坐标关系示意图；

其中：o-x_imu,y_imu,z_imu和o-x_lidar,y_lidar,z_lidar分别表示IMU与激光雷达坐标框架，ω和k分别表示IMU瞬时姿态俯仰角、偏航角和翻滚角，(d,θ)表示激光雷达的测量的激光扫描仪坐标系下扫描中心距离目标的距离和角度(d,θ)。

图3为三维点云数据解算流程图。

图4为本发明实施例提供的系统工作流程示意图。

具体实施方式

下面结合附图，通过实施例进一步详细描述本发明，但不以任何方式限制本发明的范围。

一种背包式三维激光扫描与立体成像组合系统，包括硬件部分和软件部分。

一种背包式三维激光扫描与立体成像组合系统，二维激光雷达9是一个可测距和测角的二维激光雷达。

如图1所示，本发明提供的背包式三维激光扫描与立体成像组合系统的硬件部分。本发明将二维激光雷达9、双目立体相机1、IMU 10、GPS 7一体化集成为能够同时获取扫描扫描对象三维点云数据和带有位置、姿态信息的彩色影像和深度图像数据的背包式三维激光扫描与立体成像设备。

如图1所示，双目立体相机1安装于支撑杆2的顶端，固定于背包框架3的中部，用于获取成像方向的彩色影像像对，在后处理阶段生成深度图像。双目立体相机1可在水平方向360旋转，其成像方向可根据感兴趣场景位置进行调整。二维激光雷达9固定于背包框架3的一侧，可获取二维激光雷达9扫描中心距离被测物体表面的距离和扫描角度。全球定位系统天线7对称式固定在背包框架3两侧各一个，可经差分GPS技术得到系统的瞬时空间位置。惯性测量单元10位于背包框架3的底部中心位置，可以获得系统在行进过程中的俯仰角、偏航角和翻滚角信息。移动电源5位于背包框架3的最底部，可向双目立体相机1、二维激光雷达9、全球定位系统7、惯性测量单元10和控制单元6持续供电。控制单元6可向二维激光雷达9发送数据扫描范围、扫描角分辨率和采集信息类型的设置，也同时控制双目立体相机1对环境进行立体成像。

移动工作站8通过线缆与控制单元6连接，用于存储双目立体相机1、二维激光雷达9、全球导航系统和惯性测量单元10采集的数据以及系统同步时间数据。移动工作站8在后处理阶段对采集的数据进行后处理操作，生成带有位置和姿态信息的彩色影像、深度图像、三维点云数据。如图3所示，后处理操作具体实施时，详细步骤如下：

1)移动工作站8通过线缆连接控制单元6，控制单元6通过线缆连接二维激光雷达9，设置扫描范围、扫描分辨率、输出数据类型。正常工作状态时，二维激光雷达9在Y-O-Z平面上(如图2所示)以固定角分辨率获取物体距离二维激光雷达9扫描中心距离、角度和每条扫描廓线的时间信息。

2)读取全球定位系统和惯性测量单元10记录的绝对位置和系统姿态数据，每一条记录都有数据获取时候的时间信息。如图2所示，根据同一时刻二维激光雷达9的获取的激光扫描仪坐标系下的距离和角度(d,θ)数据与定位和定姿数据时间同步进行坐标框架统一，解算出空间直角坐标系或用户自定义坐标系下的具有真实地理坐标的激光点云数据。三维点云数据解算步骤如下：

真三维场景点云解算涉及二维激光雷达9测量距离和角度数据、IMU瞬时姿态数据和GPS瞬时WGS-84坐标系下的坐标数据。考虑二维激光雷达9坐标系、IMU坐标系和GPS坐标系之间的转换。假设测量某一时刻t二维激光雷达9测距与测角数据用d和θ表示，双目立体相机1、二维激光雷达9、全球定位系统和惯性测量单元10刚性固定于背包框架3，相对位置信息经定标后已知。

a、二维激光雷达9坐标系与惯性测量单元10坐标系之间三个偏移分量分别用Δx,Δy和Δz表示，坐标轴之间旋转角度分别用α，β和γ表示，坐标轴三个方向的旋转矩阵分别用R₁,R₂和R₃表示。二维激光雷达9坐标系解算到惯性测量单元10坐标系后的坐标可用式1表示：

b、读取到全球定位系统绝对坐标数据和惯性测量单元10姿态数据，将步骤a计算出的惯性测量单元10坐标系的三维坐标数据转换到统一的空间直角坐标系。惯性测量单元10瞬时姿态俯仰角、偏航角和翻滚角分别用ω和k表示，全球定位系统瞬时大地坐标系下坐标用Z，Y和Z表示。统一后的系统点云坐标(x,y,z)可以用式2表示：

3)读取双目立体相机1在系统工作状态时对场景的成像数据，以及每一组成像数据对应的采集时间，根据数据获取时间和全球定位系统和惯性测量单元10记录的时间同步获取成像像对的绝对位置和姿态数据，双目立体相机1深度图像计算过程如下：

a、首先对双目立体相机1进行标定，得到相机的内外参数和单应矩阵，然后根据标定结果校正原始像对，使原始像对投影到同一个平面且光轴互相平行。

b、对校正后的像对基于能量优化的图像进行匹配，得到匹配结果；根据匹配结果计算每个像素的深度，从而得到深度图像。基于能量优化的图像匹配方法是一种通过定义能量函数(式3)，查找两幅图像灰度值最接近点对的过程，同时也要满足匹配点对在同一幅图像中与临域像元的灰度差异也应相近。

Energy function＝∑|L(i,j)-R(i+Δi,j+Δj)|+∑|p_c-p′| (式3)

其中，|L(i,j)-R(i+Δi,j+Δj)|表示左右图像元灰度值差异，p_c-p′表示同一幅图像中像元与临域像元灰度值差异。

4)系统输出为带有姿态、位置信息的彩色数据、深度图像数据与三维点云数据。

如图4所示，系统组成分为硬件部分和软件部分，硬件设备在系统工作时将双目立体相机1、二维激光雷达9、全球定位系统7和惯性测量单元10数据经控制单元6传输至移动工作站8进行存储和后处理。后处理阶段，读取深度图像数据、二维激光雷达9的测距和测角数据、全球定位系统和惯性测量单元10的系统位置、姿态数据，生成带有位置、姿态信息的深度图像数据和三维点云数据。系统获取的深度图像数据和三维点云数据可用于森林资源管理、森林参数反演、数字城市和三维建模等领域。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种背包式三维激光扫描与立体成像组合系统，包括二维激光雷达、双目立体相机、惯性测量单元IMU、全球卫星定位系统GPS天线、控制单元、移动电源、支撑杆、背包框架、移动工作站，除移动工作站外的各个部件集成设置于背包框架内；

其中，双目立体相机安装在支撑杆上，与背包框架连接固定；双目立体相机用于通过两个镜头对空间进行拍摄，可同时得到两张彩色影像；

二维激光雷达安装在背包框架的一侧，用于对行进路线一侧场景进行连续扫描；

全球卫星定位系统GPS天线和惯性测量单元IMU构成定位和定姿系统，用于获取所述组合系统工作过程中的实时空间位置和设备姿态数据；

所述移动电源用于为激光雷达、双目立体相机、IMU和/或GPS持续供电，输出电压为24V直流电；

所述控制单元设有软件模块，通过线缆与激光雷达、双目立体相机、IMU和GPS连接，用于控制双目立体相机拍摄和激光雷达采集数据，同时记录IMU和GPS获取的定位和定姿数据；所述软件模块用于对双目立体相机、激光雷达、惯性测量单元和/或全球定位系统获取的数据进行后处理操作，获取并输出三维点云数据，具有位置、姿态信息的彩色影像和/或深度图像数据。

2.如权利要求1所述的背包式三维激光扫描与立体成像组合系统，其特征是，所述双目立体相机位于背包框架的中部；所述二维激光雷达位于背包框架的一侧；两个GPS天线分别位于背包框架的两侧；IMU与移动电源位于背包框架的底部。

3.如权利要求1所述的背包式三维激光扫描与立体成像组合系统，其特征是，所述二维激光雷达对行进路线一侧场景进行连续扫描，采集场景三维点云数据，最大扫描距离为80m。

4.如权利要求1所述的背包式三维激光扫描与立体成像组合系统，其特征是，采集的实时空间位置和设备姿态包括俯仰角、偏航角和/或翻滚角信息，用于解算三维点云数据。

5.如权利要求1所述的背包式三维激光扫描与立体成像组合系统，其特征是，可根据作业时间，所述移动电源采用多块电池构成电池组，输出电压为24V直流电。

6.如权利要求1所述的背包式三维激光扫描与立体成像组合系统，其特征是，将双目立体相机安装于支撑杆的顶部，固定在背包框架的正上方，在水平方向上可旋转，可选取扫描路线的方位进行成像。

7.如权利要求1所述的背包式三维激光扫描与立体成像组合系统，其特征是，组合系统还包括移动工作站；所述移动工作站通过线缆与控制单元连接，用于设置二维激光雷达的扫描参数与双目立体相机的成像频率。

8.一种利用背包式三维激光扫描与立体成像组合系统获取三维数据的方法，背包式三维激光扫描与立体成像组合系统将二维激光雷达、双目立体相机、惯性测量单元IMU、全球卫星定位系统GPS天线、控制单元、移动电源、支撑杆集成设置于背包框架内；获取的数据包括：同步获取场景中目标地物的三维点云数据、带有位置和/或姿态信息的彩色影像、高清连续的深度图像数据；

包括如下步骤：

1)在控制单元中设置软件模块，包括：二维激光雷达的扫描参数设置模块、双目立体相机成像频率设置模块、数据后处理模块；

2)可分别通过双目立体相机对空间进行拍摄得到彩色影像、通过二维激光雷达对行进路线一侧场景进行连续扫描获得场景扫描数据；通过全球卫星定位系统GPS天线和惯性测量单元IMU获取实时空间位置和设备姿态数据；获取的数据包括：激光雷达的测距和测角数据、IMU测量的俯仰角、偏航角和翻滚角信息、GPS测量的WGS-84坐标系下的坐标数据、同步数据记录的时间信息和双目立体相机拍摄的彩色像对；

3)通过数据后处理模块对步骤2)得到的数据进行后处理，包括如下操作：

a、加载二维激光雷达、双目立体相机、惯性测量单元IMU、全球定位系统GPS数据和系统时间同步数据；

b、根据二维激光雷达的某一时刻的测距和测角数据，计算出激光雷达坐标系下的三维坐标数据；

c、利用激光雷达与惯性测量单元在背包框架中的定标后几何关系，将步骤b的三维坐标统一解算到IMU坐标系中；

d、读取同一时刻全球定位系统的坐标数据和惯性测量单元IMU获取的系统姿态数据，将步骤c计算的三维坐标统一到全球导航系统所在的空间直角坐标系，将所有经过坐标变换的空间点进行组合，得到测量环境的真三维点云数据；

e、读取双目立体相机拍摄的同一时刻的彩色立体像对，根据双目立体相机标定结果校正原始像对，对校正后的像对基于能量优化函数进行图像匹配，根据匹配结果计算每个像素的深度，从而得到深度图像。

9.如权利要求8所述的方法，其特征是，步骤d中，真三维点云数据解算需要进行激光雷达坐标系、IMU坐标系和GPS坐标系之间的转换；具体过程如下：

d1)测量某一时刻t的二维激光雷达的测距与测角数据，用d和θ表示；

d2)经定标后获取固定于背包框架中的双目立体相机、二维激光雷达、全球定位系统和惯性测量单元的相对位置信息；

d3)通过式1表示二维激光雷达的坐标系解算到惯性测量单元的坐标系后的坐标：

其中，Δx,Δy和Δz分别表示二维激光雷达的坐标系与惯性测量单元的坐标系之间的三个偏移分量；α，β和γ分别表示坐标轴之间的旋转角度；R₁,R₂和R₃分别表示坐标轴三个方向的旋转矩阵；

d4)读取全球定位系统的绝对坐标数据和惯性测量单元的姿态数据，将步骤3)计算得到的惯性测量单元坐标系的三维坐标数据转换到统一的空间直角坐标系；统一后的系统点云坐标(x,y,z)用式2表示：

其中，ω和k分别表示惯性测量单元的瞬时姿态俯仰角、偏航角和翻滚角；X，Y和Z分别表示全球定位系统瞬时大地坐标系下的坐标。

10.如权利要求8所述的方法，其特征是，步骤e中双目立体相机计算深度图像的过程如下：

e1)首先对双目立体相机进行标定，得到相机的内外参数和单应矩阵；

e2)然后根据标定结果校正原始像对，使原始像对投影到同一个平面且光轴互相平行；

e3)对校正后的像对，基于能量优化函数进行图像匹配，得到匹配结果，其中，|L(i,j)-R(i+Δi,j+Δj)|表示左右图像元灰度值差异，p_c-p′表示同一幅图像中像元与临域像元灰度值差异；能量优化函数表示如式3：

Energy function＝∑|L(i,j)-R(i+Δi,j+Δj)|+∑|p_c-p′| (式3)

e4)根据匹配结果计算每个像素的深度，从而得到深度图像。