CN104374376A - 一种车载三维测量系统装置及其应用 - Google Patents

Abstract

一种可行驶区域的三维测量装置和评估系统，包括一种基于旋转激光雷达与相机的三维测量装置，通过电机旋转单线或四线激光雷达实现三维激光扫描，利用单目相机的图像特征匹配估计平台的位置姿态变化，通过运动补偿生成周边环境的三维点云；一种行驶区域的三维评估方法，通过融合相机及激光雷达数据，建立概率的穿越性分析，评估行驶区域。本发明装置及系统相比国际上同类三维测量装置具有廉价、国产化难度较低、易于维护、易于隐蔽等特点，可以有效地实现复杂越野环境的行驶区域评估。

Description

一种车载三维测量系统装置及其应用

技术领域

本发明涉及计算机视觉、三维重建以及多传感器标定技术，尤其涉及一种车载三维测量系统装置及其应用。

背景技术

在复杂越野环境下实现机器人的自主移动在国防安全、运输等领域有着重要的应用需求。然而复杂越野环境下的安全自主移动要求机器人实时地对周围地形特征进行三维测量，检测正负障碍物，并在此基础上建立对周围可行驶区域的正确评估，从而实施合理的机器人运动控制。

可通行区域的检测是机器人自主移动的关键技术，目前国际上的主流方法是利用32线或64线激光雷达对机器人周边环境进行三维扫描并实现可行驶区域评估。然而该设备昂贵、且国产化难度高。特别是设备安装位置一般在车顶上方，突出于车体，为维护及掩蔽等带来困难。

与32线或64线激光不同，单线激光相对廉价，且容易嵌入到车体中，因此国内外也有不少对于单线激光的研究。在美国DARPA无人车比赛中，很多车队利用单线激光进行可通行区域分析。这些方法一般将激光固定在车体上，对环境的检测能力有限。当车辆静止时，激光数据的盲区较大，无法很好的评估可通行区域。

另外，基于立体视觉系统的研究也被开展。这些方法利用左右图像的特征点匹配估计车辆运动并生成三维信息。光照条件的变化给理解图像带来了很大的困难，包括黑暗的环境、阴影、环境光变化的色调等。因此在复杂越野环境下，该方法的鲁棒性及精度均受到极大挑战，未有成熟的应用案例。

发明内容

本发明目的在于提供一种可行驶区域的三维测量装置和评估系统，涉及一种对电机、单线激光或四线激光、相机数据进行融合，生成三维点云并检测可行驶区域的方法。

本发明公开了一个车载三维测量系统装置，包括三个传感器：单目相机、激光扫描仪和旋转电机。单目相机检测环境图像数据，用于估计装置的运动；旋转电机带动激光扫描仪转动，扫描环境的三维距离信息。单目相机与旋转电机固定在同一个支架上，激光扫描仪固定在旋转电机的旋转轴上。这套装置中，相机与电机固定，激光扫描仪可以上下旋转。经过精细的标定，可以计算出三个坐标系的变换矩阵，从而把数据统一到同一个坐标系下。

本发明同时公开了一种可行驶区域的三维测量装置的评估系统，包括以下步骤：

基于单目相机的位置姿态估计：根据单目相机的图像数据，检测图像中的特征点，并将当前帧特征点与上一帧图像特征点进行匹配；通过匹配的特征点，利用对极几何，估计相机的运动，确定当前帧相机的位置。

基于相机与旋转激光的三维点云生成：将激光放置在电机上，由电机带动激光旋转。经过电机与激光之间的标定，将激光数据投影到电机坐标系下；再经过与相机的标定，将激光数据投影到图像上获得对应的颜色信息，生成带颜色的单帧激光数据。最后通过估计的位置姿态，生成对应带颜色的三维点云。

基于三维点云的可通行区域评估：通过三维点云的形状和颜色信息，将一些可穿透的物体滤除(例如杂草等)；将三维点云投影到二维栅格地图上，依照三维点的高度对二维栅格图的格点进行赋值；再通过对于格点的高度以及相邻格点间的高度差进行可通行区域评估。

进一步，所述基于单目相机的位置姿态估计包括：

特征点检测：在图像上检测具有可区分度的特征点，并计算特征点的特征描述向量。

特征点匹配：根据前后帧检测到的特征点，定义距离函数，按照距离函数进行匹配。

运动估计：根据前后帧匹配的特征点，利用对极几何，估计相机运动。

基于相机与旋转激光的三维点云生成包括：

数据融合：通过电机、激光与图像的标定参数，融合三者的数据，生成单帧带颜色的激光点数据。

三维点云生成：利用估计的运动参数，通过单帧的带颜色激光点，生成带颜色的三维点云数据。

基于三维点云的可通行区域评估：

点云聚类：根据三维点云中点与点之间的距离、颜色等信息进行聚类。

可穿透物体滤除：根据点云聚类检测，依照一定的形状、颜色等特征，将一些可穿透的物体(例如草丛)滤除。

栅格地图生成：将过滤后的三维点云投影到二维地图上，依照三维点的高度对二维栅格图的格点进行赋值，得到对应高程图。

可通行区域评估：通过对于格点的高度以及相邻格点间的高度差进行可通行区域评估。

附图说明

图1为本发明的一种可行驶区域的三维测量装置和评估系统的流程图；

图2为基于单目相机的位置姿态估计的流程图；

图3为基于相机与旋转激光的三维点云生成的流程图；

图4为基于三维点云的可通行区域评估的流程图。

有益效果

本发明所述方法，利用旋转电机带动单线或四线激光旋转，扩大了激光的扫描范围。与现有的方案相比，具有以下优势：

1.与32线或64线激光相比：尽管32线或64线三维激光的三维扫描结果较好，但是设备昂贵，国产化难度大。本发明所述设备，价格便宜，约为64线激光的十分之一，但也可以有效的进行三维扫描。另外，32线或64线激光需要架设在车体上方，突出于车体；而本发明所述设备，可以嵌入到车体内部，即不影响车体外观，也可以有效的隐蔽该设备。

2.与单线激光相比：单线激光的扫描范围有限，尤其在车体处于静止状态时，无法有效进行三维扫描。本发明所述设备，有效的扩大了激光的扫描范围，在车体静止的情况下，也可以给出有效的三维重建结果。

3.与立体视觉系统相比：尽管立体视觉系统更为廉价，但是由立体视觉产生的三维重建结果较差，容易受到光线、天气的干扰。而本发明所述设备在加入激光的前提下，可以有效的进行三维重建。

具体实施方式

参照图1至图4对本发明的实例进行说明。

如图1所示，一种可行驶区域的三维测量装置和评估系统包括：

S1、基于单目相机的位置姿态估计：根据单目相机的图像数据，检测图像中的特征点，并将当前帧特征点与上一帧图像特征点进行匹配；通过匹配的特征点，利用对极几何，估计相机的运动，确定当前帧相机的位置。

S2、基于相机与旋转激光的三维点云生成：将激光放置在电机上，由电机带动激光旋转。经过电机与激光之间的标定，将激光数据投影到电机坐标系下；再经过与相机的标定，将激光数据投影到图像上获得对应的颜色信息，生成带颜色的单帧激光数据。最后通过估计的位置姿态，生成对应带颜色的三维点云。

S3、基于三维点云的可通行区域评估：通过三维点云的形状和颜色信息，将一些可穿透的物体滤除(例如杂草等)；将三维点云投影到二维栅格地图上，依照三维点的高度对二维栅格图的格点进行赋值；再通过对于格点的高度以及相邻格点间的高度差进行可通行区域评估。

本发明包括一种基于旋转激光雷达与相机的三维测量装置，通过电机旋转单线或四线激光雷达实现三维激光扫描，利用单目相机的图像特征匹配估计平台的位置姿态变化，通过运动补偿生成周边环境的三维点云；一种行驶区域的三维评估方法，通过融合相机及激光雷达数据，建立概率的穿越性分析，评估行驶区域。本发明装置及系统相比国际上同类三维测量装置具有廉价、国产化难度较低、易于维护、易于隐蔽等特点，可以有效地实现复杂越野环境的行驶区域评估。

传感器系统：

本发明公开了一个车载三维测量系统装置，包括三个传感器：单目相机、激光扫描仪和旋转电机。单目相机检测环境图像数据，用于估计装置的运动；旋转电机带动激光扫描仪转动，扫描环境的三维距离信息。在本发明的一个实例中，单目相机使用的是PointGray公司生产的Flee2高清相机，分辨率为1024×768，帧率为10Hz；激光扫描仪使用的是SICK公司生产的LD-MRS四线激光，扫描距离约为50米，扫描角度约为100度，帧率约为25Hz。电机使用的是MuscleCorporation公司生产的Cool Muscle电机。

整体上，单目相机与电机固定在同一个支架上，激光扫描仪固定在电机的旋转轴上。这套装置中，相机与电机固定，激光扫描仪可以上下旋转。经过精细的标定，可以计算出三个坐标系的变换矩阵，从而把数据统一到同一个坐标系下。

处理流程：

本发明的处理流程包括：基于单目相机的位置姿态估计、基于相机与旋转激光的三维点云生成、基于三维点云的可通行区域评估。以下说明每一步的具体流程。

S11、特征点检测：在一幅图像中，特征点为那些可以描述图像特征的像素点，通常为图像中物体的边缘或角点。这些特征点是图像很重要的特征，对图像图形的理解和分析有很重要的作用。检测一幅图像的特征点需要使用一些模板，对原图像所有像素点逐个做滤波，然后抽取结果中数值最大和最小的一部分点作为特征点。模板的大小一般为3×3或5×5，算法复杂度较小，可以实时检测。在提取出特征点后，需要计算特征描述向量，该向量使用的模板会比检测模板更大。最常用的SIFT特征描述向量使用16×16的模板，将其分为16个4×4的小模板，计算小模板的八个方向梯度，最终整合成128维的向量。

S12、特征点匹配：在检测了相邻两帧图像的特征点后，需要对其进行匹配，以确定当前帧图像的特征点在前一帧图像中的位置。在做特征点匹配时，利用检测所得的特征描述向量，根据一定的距离度量函数，确定每个当前帧特征点与前一帧特征点之间的距离。最后设定一个阈值，将距离小于该阈值的特征点对进行匹配。

S13、相机运动估计：在检测和匹配特征点后，当前帧图像中的特征点在前一帧图像中有对应点。前后两帧图像中的对应点在真实场景中是同一个三维点，因此对相机的运动参数有一定的约束。在确定至少5个这样的约束条件下，相机的运动就可以被估计。通过随机采样的方法枚举5个特征点对，使用对极几何学的约束条件，列出方程组，计算相机运动。再使用剩余的特征点对所求解进行度量。在随机采样一定次数后，选取度量最优值对应的运动作为相机的最终运动。

S21、数据融合：激光扫描仪一次扫描可以检测一个平面上的距离数据。通过检测对应时间下电机的转角，将当前帧的距离信息转换到电机坐标系下，生成对应的三维激光点。同时，通过对相机、电机与激光扫描仪之间的标定参数，将三维激光点投影到二维图像平面上，获取激光点对应的像素值，从而得到激光点对应的颜色信息。将三者数据融合，最终得到带颜色信息的三维激光点数据。

S22、三维点云生成：利用装置的标定参数和所求的相机运动，可以得到不同时刻下该装置的位置姿态。在装置坐标系下的三维激光点可以通过坐标变换转换到世界坐标系下，从而将不同时刻的激光点数据转换到同一个坐标系下。经过一定时间的积累，可生成带颜色的三维点云。

S31、点云聚类：根据三维点云中点与点之间的距离、颜色等信息进行聚类。这里点与点之间的距离采用欧式距离，颜色信息采用RGB颜色空间下的信息。如果两点之间的距离小于一定阈值，且颜色接近，则认为两个点属于同一个物体，聚成一类。

S32、可穿透物体滤除：点云聚类完成后，每一个聚类表示一个物体或者物体的一部分。在野外环境下，草丛等属于可穿透区域。通过聚类后，草丛具有明显的特征(例如表面毛糙、整体呈现绿色)，利用颜色和形状信息，将草丛从点云中滤除，避免草丛对可行驶区域估计的影响。

S33、栅格地图生成：将过滤后的三维点云投影到二维地图上，依照三维点的高度对二维栅格图的格点进行赋值，得到对应高程图。由于在越野环境下有凹障碍的，且在程序运行过程中难免会有误差，如果只保留最高值，有可能将凹障碍掩盖。因此，在每个栅格节点上，保留最高值与最低值。

可通行区域评估：在栅格图中，将高度差较小的相邻节点进行聚类，然后拟合出路面。对于越野环境，影响可通行性的有三个因素：凸障碍、凹障碍和斜坡。凸障碍的特点是障碍物高于地面一定距离，且障碍物后方有一块不可见区域；凹障碍的特点是障碍物低于地面一定距离，且障碍物处有一块不可见区域；斜坡的特点是高度缓慢变化。因此，通过对于格点的高度以及相邻格点间的高度差进行分析，即可检测障碍物与斜坡。根据车辆的运动学参数，障碍物与斜坡是否影响通行具有一个概率分布。依照该概率分布，做出栅格中每个格点的可通行概率。在后续进行轨迹规划时，可以通过轨迹与地图的通行概率进行结合，计算可通行性。

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (5)

1.一种车载三维测量系统装置，其特征在于：包括单目相机、激光扫描仪、旋转电机这三个传感器；其中，单目相机检测环境图像数据，用于估计装置的运动；旋转电机带动激光扫描仪转动，扫描环境的三维距离信息；单目相机与旋转电机固定在同一个支架上，激光扫描仪固定在旋转电机的旋转轴上。

2.一种权利要求1所述装置的应用，其特征在于：包括以下步骤，

基于单目相机的位置姿态估计：根据单目相机的图像数据，检测图像中的特征点，并将当前帧特征点与上一帧图像特征点进行匹配；通过匹配的特征点，利用对极几何，估计相机的运动，确定当前帧相机的位置；

基于相机与旋转激光的三维点云生成：将激光放置在电机上，由电机带动激光旋转，经过电机与激光之间的标定，将激光数据投影到电机坐标系下；再经过与相机的标定，将激光数据投影到图像上获得对应的颜色信息，生成带颜色的单帧激光数据，最后通过估计的位置姿态，生成对应带颜色的三维点云；

基于三维点云的可通行区域评估：通过三维点云的形状和颜色信息，将一些可穿透的物体滤除；将三维点云投影到二维栅格地图上，依照三维点的高度对二维栅格图的格点进行赋值；再通过对于格点的高度以及相邻格点间的高度差进行可通行区域评估。

3.如权利要求2所述的应用，其特征在于：所述基于单目相机的位置姿态估计包括，

特征点检测：在图像上检测具有可区分度的特征点，并计算特征点的特征描述向量；

特征点匹配：根据前后帧检测到的特征点，定义距离函数，按照距离函数进行匹配；

运动估计：根据前后帧匹配的特征点，利用对极几何，估计相机运动。

4.如权利要求2所述的应用，其特征在于：所述基于相机与旋转激光的三维点云生成包括，

数据融合：通过电机、激光与图像的标定参数，融合三者的数据，生成单帧带颜色的激光点数据；

三维点云生成：利用估计的运动参数，通过单帧的带颜色激光点，生成带颜色的三维点云数据。

5.如权利要求2所述的应用，其特征在于：所述基于三维点云的可通行区域评估包括，

点云聚类：根据三维点云中点与点之间的距离、颜色信息进行聚类；

可穿透物体滤除：根据点云聚类检测，依照一定的形状、颜色特征，将一些可穿透的物体滤除；

栅格地图生成：将过滤后的三维点云投影到二维地图上，依照三维点的高度对二维栅格图的格点进行赋值，得到对应高程图；

可通行区域评估：通过对于格点的高度以及相邻格点间的高度差进行可通行区域评估。