CN105574905B

CN105574905B - 一种三维激光点云数据的二维图像化表述方法

Info

Publication number: CN105574905B
Application number: CN201510938881.6A
Authority: CN
Inventors: 庄严; 常欢; 闫飞; 刘莎; 刘一莎
Original assignee: Dalian University of Technology
Current assignee: Dalian University of Technology
Priority date: 2015-12-15
Filing date: 2015-12-15
Publication date: 2018-01-16
Anticipated expiration: 2035-12-15
Also published as: CN105574905A

Abstract

一种三维激光点云数据的二维图像化表述方法，属于影像技术领域。主要由移动机器人、激光扫描器和计算机系统组成；激光扫描器和计算机系统均安装在移动机器人平台上，激光扫描器和计算机系统之间通过数据线进行通信；激光扫描器采集场景的三维点云数据信息，计算机系统将三维激光点云数据转化为二维灰度图像。本发明为基于激光点云数据的场景分割与场景理解提供了有力的支持，能用于大范围数据，适应多种扫描方式，提高了图像的景物边界区分度以及细节质量，纹理更加清晰。

Description

一种三维激光点云数据的二维图像化表述方法

技术领域

本发明属于机器人自主环境感知技术及激光扫描成像领域，涉及到将移动机器人系统采集的三维激光点云数据转化为二维灰度图像以完成对室内外场景的表述。

背景技术

视觉是智能机器人与智能系统进行环境感知的重要手段之一。由于视觉传感器是基于被动感知机理，因此在成像过程中容易受到亮度及光照强度变化等环境因素的影响。此外单目视觉传感器采集到的图像信息缺少空间深度信息，不利于区分具有不同深度信息的景物。

三维激光数据的获取不受亮度及光照强度变化等环境因素的影响，可提供精准的三维空间测量信息。但利用三维点云数据对大范围环境进行表述时，观测视点的选取会直接影响环境感知效果；此外三维激光扫描点的分布是由实际场景特性所决定，三维点的分布无规律可循。考虑二维图像表述符合人类视觉感知习惯且具有像素排列格式规范等优点，因此将三维点云数据转化为景物边缘显著、纹理清晰且有较强场景层次的二维灰度图像，将有助于基于该图像模型的场景认知与理解。目前，各领域研究中使用三维激光点云数据生成的灰度图像模型主要有深度图和方位角图两种。

传统的深度图是通过把激光传感器或其他测距传感器点云数据的深度信息直接映射为灰度值，从而得到灰度图像，参考文献(Anguelov D,Dulong C,Filip D,etal.Google street view:Capturing the world at street level[J].Computer,2010(6):32-38.)。其优点是成像原理简单、计算耗时较少，能够区分出不同深度层次的景物。但其在图像细节和纹理的描述上很不理想，尤其是在描述大范围场景时，对距离的变化很不敏感。生成的图像往往会弱化景物的细节和近距离景物的边界信息，从而给之后的图像处理和理解造成困难。并且由于传统深度图景深方向取决于激光的扫描方向，使得深度图的效果会受到激光扫描方向的影响。

方位角图是另一种常用的由三维激光点云数据生成的灰度图像。此方法是DavideScaramuzza等学者首次提出的，参考文献(Scaramuzza D,Harati A,SiegwartR.Extrinsic self calibration of a camera and a 3d laser range finder fromnatural scenes[C]//Intelligent Robots and Systems,2007.IROS 2007.IEEE/RSJInternational Conference on.IEEE,2007:4164-4169)。方位角图的原理是将每个激光点对应的方位角映射为对应像素的灰度值。其中方位角定义为视点(激光传感器扫描时位置)到当前激光点位置的向量与当前激光点到其右上方邻近激光点的向量的夹角。参考文献(Zhuang Y,Lin X,Hu H,et al.Using Scale Coordination and Semantic Informationfor Robust 3-D Object Recognition by a Service Robot[J].Sensors Journal,IEEE,2015,15(1):37-47.)应用方位角图模型将定点扫描的三维点云数据转换为方位角图，并在此基础上对场景进行识别与理解。从以上文献中可知，方位角图中景物的细节和纹理相对清晰。但图像灰度值完全由方位角决定，不能清楚的区分不同深度层次的景物，并且图像质量受视点选择的影响较大。场景中扫描位置(视点)唯一，限制了实际应用中移动机器人平台的连续工作性能。计算的方位角相对视点产生渐变的趋势，使得整幅图像在横向具有灰度值渐变。

在实际应用中，大范围的场景一般都是采用激光连续扫描的方式采集点云数据，每一帧激光数据都有自己的扫描中心(局部视点)，即使通过优化方法计算出相对较优的全局视点，仍无法有效消除基于视点的构图方法(如方位角图)的局限性。

发明内容

为解决上述问题，本发明提出了一种全新的灰度图像生成方法，完全不依赖于场景视点并且不使用角度计算，这也是本发明与方位角图的本质区别。以最优深度代替传统深度图的深度概念，消除了扫描方向对图像质量的影响。不同于传统的深度图、方位角图的单变量映射到灰度值的做法，本方法通过计算点云对应的最优深度值和方位向量长度，经加权后映射为灰度值，从而生成图像。基于本方法生成的二维灰度图像既具有清晰的细节和纹理特征，又利用深度分布信息强化了图像的空间层次感。本发明可以用于连续扫描的大范围数据，也可以用于定点扫描数据，并且对扫描方式和扫描位置没有特别的要求，有着良好的适应性。

本发明的具体技术方案如下：

一种三维激光点云数据的二维图像化表述方法，主要由移动机器人、激光扫描器和计算机系统组成；激光扫描器和计算机系统均安装在移动机器人平台上，激光扫描器和计算机系统之间通过数据线进行通信；激光扫描器采集图像的三维点云数据信息，计算机系统将三维激光点云数据转化为二维灰度图像；计算机系统软件要求采集的三维激光点云数据可以区分属于每一帧激光线的激光数据点，以便能够使三维激光点云数据以二维数组的形式存储，并且使每个激光点和灰度图的像素点一一对应；将获得的激光点云数据存入二维数组中，使得二维数组的每一列激光点属于同一帧激光线，并在二维数组中截取所需大小的场景，用截取场景的三维点云数据构建灰度图；

具体将三维激光点云数据转化为二维灰度图像计算方法如下：

(1)最优深度对应灰度值的计算

最优深度方向即为能使场景不同层次景物间区分度最大的深度方向；由于场景点云分布的主方向反映了激光点的统计学方向，而激光点的方向即为场景内景物的层次方向，所以垂直于场景点云分布主方向时，最能清楚的区分景物的层次，即最优深度方向垂直于场景点云分布的主方向，本发明将场景点云投影到水平面，运用统计学原理计算场景点云分布的主方向，由此获得场景的最优深度信息：

式(1)为点云在水平面投影的协方差矩阵，其中(x,y)为点云在水平面投影的坐标，cov代表协方差运算；通过计算协方差矩阵的特征向量V₁、V₂即可估计出场景的点云分布主方向和最优深度方向；设|V₁|>|V₂|，则V₁为场景点云分布的主方向；由点云在水平面上的投影区域的主方向向量V₁可求出过原点且平行于V₁的直线l₁的斜率K，进而确定直线l₁的方程:

K*X+Y＝0 (2)

由点到直线的距离公式:

其中D为位于i行j列的激光点P_i,j的投影(x,y)到直线l₁的距离，这个距离便是点云中激光点P_i,j的最优深度D_i,j；将最优深度D_i,j映射至0-255的灰度范围，得到点云中激光点P_i,j对应于最优深度D_i,j的灰度值

其中D_min为点云最优深度值的最小值，D_max为点云最优深度值的最大值；

(2)方位向量长度的计算

对于激光点云中位于第i行j列列的激光点P_i,j，取其上方相邻的激光点P_i-1,j,设点P_i,j到点P_i-1,j的向量为V_d；向量V_d的长度|V_d|即为点P_i,j的方位向量长度L_i,j；方位向量长度能够反应场景中景物的纹理变化，对景物边缘的表现效果尤其明显，所以为了保证较好的效果，在映射为灰度值时不能采用单纯的线性映射；

(3)方位向量长度灰度数值均衡化

求出激光点数量为I*J的点云中每个点所对应的方位向量长度后，在映射为灰度值时，为了保证得到的灰度图具有高对比度、多变的灰度色调和明显的景物边界，对方位向量长度采取灰度数值均衡化；

对I*J个激光点对应的方位向量长度L_i,j按数值大小升序排列，把0-255的灰度值范围视作256个灰度值区间，求出每个灰度值区间所对应的向量长度数据量N：

通过N与升序排列的方位向量长度L_i,j，即可确定每个灰度值区间的端点长度值；从而得到点云中激光点P_i,j对应于方位向量长度L_i,j的灰度值

其中L₀,L₁,L₂…,L₂₅₅为256个灰度值区间的端点长度值；

(4)权重动态调整

将点云中激光点P_i,j对应于最优深度D_i,j的灰度值与对应于方位向量长度L_i,j的灰度值加权平均得到激光点P_i,j在灰度图中对应的灰度值PG_i,j：

其中PG_i,j为灰度图中第i行j列像素的灰度值；a与b为权值，且a+b＝10；此时所生成灰度图的灰度值矩阵的方差δ²为：

其中为灰度图中像素灰度均值；当方差最大时，则意味着灰度图具有高对比度和多变的灰度色调；取使方差最大的权值a与b生成灰度图，此时得到的灰度图是最优的；利用传统求最优解的方法求解式(8)，得到使δ²为最大值的a与b，记做与

(5)生成灰度图

求出使δ²为最大值的权值与后，遍历点云数据中的I*J个激光点，求出每个激光点对应的灰度值：

PG_i,j即为大小为I*J的灰度图中第i行j列像素的灰度值。

本发明灰度图的像素点与点云中的激光点一一对应，有效的提供了信息融合的方法，为基于激光点云数据的场景分割与场景理解提供了有力的支持。与传统的深度图与方位角图构图方法相比，本发明能用于大范围数据，适应多种扫描方式，提高了图像的景物边界区分度以及细节质量，纹理更加清晰。

附图说明

图1为移动机器人平台激光数据采集过程示意图

图2为最优深度计算方式示意图

图3为方位向量长度计算方式示意图

图4为一幅场景对应的三维激光点云数据

图5为图4对应的本发明的灰度图

图6为图4对应的深度图

图7为图4对应的方位角图

图8(a)为图5的超像素分割结果

图8(b)为图6的超像素分割结果

图8(c)为图7的超像素分割结果

具体实施方式

本发明的具体实施方式包括两个方面，一是三维激光点云数据的获取，二是根据三维激光点云数据生成灰度图。

本发明使用的三维激光点云数据可以是由地面移动机器人平台或空中移动机器人平台采集的，也可以是由其他任意采集方式获得的三维激光点云数据。本发明对场地的选取无过多的要求，室内室外环境均可。对场景的扫描方式选用定点扫描方式或连续激光扫描方式均可。要求采集的三维激光点云数据可以区分属于每一帧激光线的激光数据点，以便能够使三维激光点云数据以二维数组的形式存储，并且使每个激光点和灰度图的像素点一一对应。将获得的激光点云数据存入二维数组中，使得二维数组的每一列激光点属于同一帧激光线，并在二维数组中截取所需大小的场景，用截取场景的三维点云数据构建灰度图。

为了验证本方法的有效性，利用场景的三维激光点云数据(如图4所示)来进行灰度图的构建。场景点云的大小为400*300(数据形式为400行300列的二维数组)，即每幅场景中有300帧激光线，每一帧激光线包含400个激光数据点。将点云数据中所有点的Z坐标置零，即把点云所有点投影到水平面上。计算得到点云投影的协方差矩阵：

求协方差矩阵的特征向量，得到点云投影的两个方向向量：

V₁＝(0.998163,0.060591)

V₂＝(-0.060591,0.998163)

根据投影区域的方向向量V₁可求出直线l₁的斜率K，进而确定直线l₁的方程:

16.4738x+y＝0

计算位于i行j列的激光点的投影(x,y)到直线l₁的距离D：

这个距离便是点云中激光点P_i,j的最优深度D_i,j。将最优深度D_i,j映射至0-255的灰度范围，得到点云中激光点P_i,j对应于最优深度D_i,j的灰度值

对于激光点云中位于第i行j列的激光点P_i,j，取其上方相邻的激光点P_i-1,j,设点P_i,j到点P_i-1,j的向量为V_d(如图3所示)。向量V_d的长度|V_d|即为点P_i,j的方位向量长度L_i,j。对120000个激光点对应的方位向量长度L_i,j按数值大小升序排列，把0-255的灰度值范围视作256个灰度值区间，求出每个灰度值区间所对应的向量长度数据量N：

通过N与升序排列的方位向量长度L_i,j，确定每个灰度值区间的端点向量长度值。即可得到点云中激光点P_i,j对应于方位向量长度L_i,j的灰度值

根据灰度图的灰度值矩阵方差公式：

其中

a+b＝10

解得，当使δ²为最大值时

则灰度图中第i行j列像素的灰度值：

得到本发明的灰度图如图4所示。

为了直观的证明本发明较传统方法的优势，生成图3所示的三维点云数据对应的深度图(如图6所示)、方位角图(如图7所示)以及本发明的灰度图(如图5所示)，可见传统深度图在纹理信息上丢失严重，而方位角图的景物边界区分度十分模糊。分别对图5、图6、图7进行超像素分割比较(分割数量为500块)，效果如图8所示。计算超像素分割后，超像素块中的总错分像素点在总像素点中的比例(错误率)，结果如下表所示：

	本发明灰度图	深度图	方位角图
				错误率	2.13％	4.41％	4.25％

可见本发明有着更好的分割效果，与传统的深度图与方位角图构图方法相比，提高了图像的景物边界区分度以及细节质量，图像纹理更加清晰。能为后续的图像分割、物体识别及场景理解等进一步研究提供有效的支持。

Claims

1.一种三维激光点云数据的二维图像化表述方法，其特征在于，完成该方法的系统主要由移动机器人、激光扫描器和计算机系统组成；激光扫描器和计算机系统均安装在移动机器人平台上，激光扫描器和计算机系统之间通过数据线进行通信；激光扫描器采集图像的三维点云数据信息，计算机系统将三维激光点云数据转化为二维灰度图像；计算机系统软件要求采集的三维激光点云数据可以区分属于每一帧激光线的激光数据点，以便能够使三维激光点云数据以二维数组的形式存储，并且使每个激光数据点和灰度图的像素点一一对应；将获得的激光点云数据存入二维数组中，使得二维数组的每一列激光数据点属于同一帧激光线，并在二维数组中截取所需大小的场景，用截取场景的三维点云数据构建灰度图；

(1)最优深度对应灰度值的计算

将场景点云投影到水平面，运用统计学原理计算场景点云分布的主方向，由此获得场景的最优深度信息：

式(1)为点云在水平面投影的协方差矩阵，其中(x,y)为点云在水平面投影的坐标，cov代表协方差运算；通过计算协方差矩阵的特征向量V₁、V₂即可估计出场景的点云分布主方向和最优深度方向；设|V₁|＞|V₂|，则V₁为场景点云分布的主方向；由点云在水平面上的投影区域的主方向向量V₁可求出过原点且平行于V₁的直线l₁的斜率K，进而确定直线l₁的方程:

K*X+Y＝0 (2)

由点到直线的距离公式:

(2)方位向量长度的计算

对于激光点云中位于第i行j列的激光点P_i,j，取其上方相邻的激光点P_i-1,j,设点P_i,j到点P_i-1,j的向量为V_d；向量V_d的长度|V_d|即为点P_i,j的方位向量长度L_i,j；方位向量长度能够反应场景中景物的纹理变化，对景物边缘的表现效果尤其明显，所以为了保证较好的效果，在映射为灰度值时不能采用单纯的线性映射；

(3)方位向量长度灰度数值均衡化

其中L₀,L₁,L₂…,L₂₅₅为256个灰度值区间的端点长度值；

(4)权重动态调整

<mrow> <msup> <mi>&delta;</mi> <mn>2</mn> </msup> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>J</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>I</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>PG</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <mover> <mrow> <mi>P</mi> <mi>G</mi> </mrow> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mrow> <mi>I</mi> <mo>*</mo> <mi>J</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

(5)生成灰度图

PG_i,j即为大小为I*J的灰度图中第i行j列像素的灰度值。