CN104268933A - 一种车载二维激光运动中三维环境扫描成像方法 - Google Patents

Abstract

一种车载二维激光运动中三维环境扫描成像方法，属于测距激光扫描成像及无人驾驶车辆自主环境感知技术领域。本发明提出了一种纹理增强图的计算模型，该模型可实现基于车载二维激光测距数据的三维环境扫描成像，且有效克服了车体不规则运动造成的图像模糊现象，能够获得三维点云数据清晰的二维图像描述，是对三维空间测距信息的补充。本发明提出的纹理增强图，通过计算出一个最优参考向量，使得生成图像的像素灰度值区分度最大，突出了场景中物体的纹理细节，从而为基于激光扫描数据的场景分割、物体识别及场景理解提供有效的支持。本发明可用在无人驾驶车室外场景理解及环境认知等人工智能领域。

Description

一种车载二维激光运动中三维环境扫描成像方法

技术领域

本发明属于测距激光扫描成像及无人驾驶车辆自主环境感知技术领域，涉及到一种车载二维激光运动中对三维环境扫描成像的方法。本发明以无人驾驶车为运动载体，以二维激光测距传感器及惯性导航系统为测量装置，以车载计算机为数据收集及处理平台，对三维环境进行扫描成像。

背景技术

视觉传感器能够提供丰富的环境感知信息，因此计算机视觉成为很多相关领域的研究重点与热点，在人工智能与模式识别领域也得到了长足发展。通常情况下，视觉图像是通过CCD或CMOS相机进行采集的，但在成像过程中容易受到环境的影响，比如光照强度变化、视觉可见度等因素。另一方面，通过相机采集的图片不能获得物体精确的深度信息。相比之下，利用激光测距传感器扫描所获取的点云数据来生成图像，不但能够克服光照变化及可见度对成像的影响，更能发挥出激光精确测距的优势。

传统上利用激光点云数据生成的图像有深度图、反射值图及方位角图。其中深度图仅仅是根据激光传感器测出的距离信息，将其转化为相应的像素灰度值来生成图像。激光点云数据的深度图表述方法具有成像方法简单、计算效率高等特点，但该成像模型对距离变化不够敏感，无法有效反应场景中物体轮廓、边角等细节信息。以SICK LMS291激光测距传感器为例，其平面扫描角度为0-180度，纵向扫描深度范围动态可调，分为8米、16米、32米(距离分辨率为1毫米)、80米(距离分辨率为1厘米)四个扫描范围。采用常用的32米扫描深度时，将其对应到0-255范围的像素灰度值，每个像素灰度值大概对应12.5厘米的范围，因此生成的图像无法有效地区分相邻物体间的边缘变化，不利于后续物体识别及场景理解的应用。

反射值图是根据不同物体对激光束反射率的不同，然后将反射值转化为相应的像素值来生成图像的。自然界中任何物体经受光照射后，对入射光都有吸收与反射现象。不同类型的物质所具有的电磁波性质不同，因此它们反射入射光的性质也不同。对于一定的入射光，不同物质的反射光强度是不一样的，通常用反射率来表示反射光的强度，即物体的反射光能量与入射光能量的百分比。物体反射率的大小，往往与物体本身的性质，以及入射光的波长、入射角的大小有关。一般来说，反射率大的物体，反射入射光的能力越强，对应的灰度图像上的像素灰度值越大，反之，反射率小的物体，反射入射光的能力弱，对应的灰度图像上的像素灰度值就越小。激光点云数据的反射值图描述方法的优点是对场景中大部分物体具有一定的区分度，但由于受到入射角大小、不同物质反射入射光性质不同等因素的影响，有时会出现相邻的不同物体的反射值相近，造成相邻物体的边缘不明显，无法进行有效的识别。

方位角图模型由Davide Scaramuzza等学者首次提出并被应用于摄像机与三维激光扫描仪之间的外部参数标定，方位角图是将每个激光点的方位角转化为对应的像素灰度值来生成图像的。激光点的方位角定义为两个向量的夹角，其中一个向量为视点(激光扫描仪位置)到当前激光点的向量，另一个向量是当前激光点到其邻近的一个激光点的向量，具体可参考文献(Scaramuzza D,HaratiA,Siegwart R.Extrinsic self calibration of a camera and a3d laser range finder fromnatural scenes[C]//Intelligent Robots and Systems,2007.IROS2007.IEEE/RSJInternational Conference on.IEEE,2007:4164-4169)。文献(Zhuang Y,Li Y,andWang W.Robust indoor scene recognition based on3D laser scanning and bearingangle image[C].In Proceeding of the IEEE International Conference on Roboticsand Automation(ICRA),2011.)以方位角图模型为基础，将定点扫描的三维点云数据转换为二维方位角图，进而进行室内场景的识别。从文中可以看出虽然方位角图在描述场景中物体的边缘、边角等等方面具有一定的优点，但也有不足之处。比如由于每个激光点相对于视点的位置不同，即使处于同一物体、同一平面中的激光点，其方位角也不同，导致激光点在方位角图中的灰度值也不同，因此同一地面或同一墙面的像素灰度值出现明显的由左及右渐变趋势，这是不合理的。另一方面由于每个激光点的参考向量均不一样，每个参考向量的方向具有很强的随意性，最终得到的方位角图中，属于不同物体的纹理不够清晰(如图3(b)所示)，不利于后续环境认知与场景理解等应用。

对于工作在室内的移动机器人，其工作范围比较小，室内场景大都是结构化的，比较简单规整，且一般都是采用定点扫描的方式，因此传统的方位角图模型可用于激光定点扫描点云的图像化表述。但对于非结构化的大范围室外场景，场景中的物体比较多样化，结构也较为复杂，且对于以无人驾驶车为代表的室外移动机器人，通常要求其在运行过程中实现对环境的认知与场景理解，也就是要满足车载二维激光运动中进行动态扫描成像的要求。考虑上述因素，传统的深度图、反射值图及方位角图模型均不能满足实际应用的需求。

本发明提出了一种适用于无人驾驶车车载二维激光在车辆行驶过程中完成动态扫描成像的方法，能够满足室外大范围场景下，无人车或移动机器人在运动中实时将激光扫描的点云数据生成纹理清晰的灰度图像，因此命名该图像为纹理增强图。

发明内容

本发明要解决的问题是提供了一种车载二维激光在运动中扫描三维环境并由点云数据生成纹理增强图像的方法。车载二维激光在运动过程中对周围环境进行扫描，得到一系列点云数据后，接着对点云数据进行噪声过滤、位姿矫正等预处理，最后再选取一定范围的激光序列点云数据将其转化为纹理增强图。

本发明的技术方案如下：

为了获得室外大范围场景的扫描数据，我们采用的是二维激光测距传感器纵向扫描加车体移动的方法，车载二维激光测距传感器的具体分布情况见图1，其中方框内的两个二维激光测距传感器是本发明中用到的。

利用上述车载二维激光激光测距传感器进行激光数据的采集，操作方法如下：选取好要采集的场景，初始化系统后即可自动进行数据的采集。由于激光数据是在车辆运动过程中采集的，不可避免的会出现抖动、偏移等现象，因此先采用滤波的方法对噪声点进行过滤，然后再结合惯导的信息对点云数据进行位姿矫正，将点云数据转化到统一的一个全局坐标系下，之后就可以利用这些预处理后的点云数据进行图像模型构建。

1.纹理增强图的生成

(1)纹理增强图模型的基本原理

纹理增强图的计算方法如图2所示，设当前第i行j列的激光点为P_i,j，取其相邻的一个激光点P_i-1,j+1。设当前激光点到相邻激光点的向量为V_p，为了描述向量V_p在三维空间中的方位，还需另一个参考向量V_refer，计算向量V_refer与V_p的夹角θ_i,j，即参考向量夹角，再将θ_i,j映射至灰度0-255范围，即可得到激光点P_i,j在纹理增强图中的像素值：

PV_i,j＝θ_i,j/180*255  (2.1)

其中PV_i,j为纹理增强图中第i行j列像素的灰度值，然后对其它激光点重复此计算即可获得整幅点云场景的完整纹理增强图(如图2中虚线所示)。

(2)最优参考向量V_refer的计算

由前面介绍的纹理增强图的计算方式可知，在遵从一定规则选定相邻激光点后，各个激光点的向量V_p就唯一确定下来了，此时参考向量V_refer对最终生成的图像有着至关重要的作用，参考向量V_refer的选择应满足以下两个要求：一是参考向量的选择不应与激光扫描点有关，最好是所有激光点以同一向量为参考向量，以满足动态扫描的需求；二是这个唯一的参考向量应尽量使得场景中所有激光点的像素值区分度最大，使模型的表述达到最优状态，从而生成纹理清晰的图像。

在满足以上要求的情况下，我们采用如下方法计算最优参考向量V_refer，这是一个典型的优化问题，为此设定了表示不同V_refer下场景中所有激光点方位区分度的目标函数：

$F\left(v_{\mathrm{refer}}\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}|{\mathrm{\θ}}_i\left(v_{\mathrm{refer}}\right)-{\mathrm{\θ}}_j\left(v_{\mathrm{refer}}\right)|---\left(2.2\right)$

其中，N为场景中激光点个数，θ_i、θ_j为对应不同V_refer下第i个和第j个激光点的参考向量夹角。函数F(v_refer)的物理意义为场景中每两个激光点的参考向量夹角之差的总和，当F(v_refer)的值最大时，意味着所有激光点的参考向量夹角之间的区分度最明显，此时的自变量值即为最优解。

针对式2.2，可使用牛顿法或梯度下降法等传统最优化求解方法获得最优解但在实际应用中，由于场景中点云数量巨大，式2.2的计算时间复杂度较高，导致求解最优解时较为耗时，为此在实际应用中使用了一个较简洁的计算方式代替式2.2，即使用场景所有参考向量夹角的方差来近似描述区分度，将式2.2替换为：

$F\left(v_{\mathrm{refer}}\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{({\mathrm{\θ}}_i\left(v_{\mathrm{refer}}\right)-\stackrel{\‾}{\mathrm{\θ}}\left(v_{\mathrm{refer}}\right))}^2---\left(2.3\right)$

其中为整个场景下所有激光点在当前参考向量下的参考向量夹角的均值。此时可利用传统的最优求解方法对式2.3进行求解，可得到最优参考向量

${\hat{v}}_{\mathrm{refer}}=\arg {\max }_{v_{\mathrm{refer}}}F\left(v_{\mathrm{refer}}\right)---\left(2.4\right)$

其中即为最优参考向量，arg max表示求取使得函数F(v_refer)的取值最大时自变量的值。

(3)生成纹理增强图

求出最优参考向量后，遍历场景中的所有激光点，计算各个激光点与相邻点组成的向量与最优参考向量的夹角，并将其映射至灰度区间，即可得到所有激光点在纹理增强图中一一对应的像素值，最终可生成该场景的纹理增强图。由于场景的三维点云数据与生成的纹理增强图中的像素点是一一对应的，激光的测距信息与图像的纹理信息可形成有效的互补，从而为基于激光扫描数据的空间分割、物体识别及场景理解提供有效支持。

本发明所生成的图像有着清晰的纹理，如图4、图5所示，能够有效描述场景中物体的边缘、边角等，且能够满足室外大场景下的动态应用，后续可以运用到室外移动机器人的场景识别、人工智能等领域。

附图说明

图1为无人驾驶车及相关传感器的安装示意图。

图2为纹理增强图计算方式示意图。

图3(a)为一幅场景对应的三维激光点云。

图3(b)表示图3(a)对应的方位角图。

图3(c)表示图3(a)相同场景的纹理增强图。

图4(a)为一幅场景对应的三维激光点云。

图4(b)表示图4(a)对应的纹理增强图。

图5(a)为一幅场景对应的三维激光点云。

图5(b)表示图5(a)对应的纹理增强图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

为了验证本方法的有效性，利用如图1中的无人驾驶智能车来进行纹理增强图的构建。激光传感器采用的是SICK LMS291型激光传感器，其平面扫描角度为0-180度，纵向范围动态可调，分为8米、16米、32米(距离分辨率为1毫米)、80米(距离分辨率为1厘米)四个扫描范围，此处采用32米扫描范围。定位采用的是XW-ADU5600型号的姿态方位组合导航系统，其航向精度小于等于0.2°/L(基线L小于等于3米时)，位置精度水平方向小于等于2米，高程方向小于等于4米，速度精度小于等于0.02m/s，数据更新率为10赫兹，定位时间小于等于60s，定向时间小于等于90s，重捕获时间小于等于10s。下面结合设备来说明本发明的具体实施方式。

本发明的实施方式包括两个方面，一是实验场地的选取及一些参数的设置，二是无人车在运动中自动完成动态点云数据的采集、预处理及纹理增强图的生成。首先我们先选取一个室外的实验场地，场地的选取无太多限制，能够规划出无人车的可行路径即可；规划出无人车的行驶路径后，设置要生成的纹理增强图的场景的大小，其大小与无人车的行驶速度及激光扫描频率等因素有关，并无其它硬性要求。在我们的实施方案中，设定连续获取的250帧序列测距数据作为与一个局部场景相对应的纹理增强图的尺寸大小。

将无人车放置在选好的场景，所有设备通电后，等惯导系统自动完成初始化后启动无人车。启动后，无人车会按照设置好的路径行驶，在行驶过程中激光测距传感器会自动采集点云数据，惯导系统也会记录无人车的位置信息，然后这些数据信息都将传送到计算机。计算机根据接收到的点云数据及定位信息，先对点云数据进行噪声过滤及位姿矫正，然后再根据事先设置好的一幅场景的大小(如250帧激光数据)来生成一系列的场景的纹理增强图，最终结果如图4、图5所示。

Claims (1)

1.一种车载二维激光运动中三维环境扫描成像方法，其特征在于：利用二维激光在运动中扫描三维环境所生成的序列点云数据，计算出一个最优参考向量，再以此为基础计算得到每个激光点的参考向量夹角θ，并将其映射到灰度值0-255范围，得到每个激光点对应的像素灰度值，即得到整幅场景的纹理增强图，具体计算方法如下：

(a)设点云数据中第i行j列的激光点为P_i,j，取其相邻的一个激光点P_i-1,j+1，设激光点P_i,j到P_i-1,j+1的向量为V_p，为了描述向量V_p在三维空间中的方位，还需另一个向量V_refer作为参考基准，计算参考向量V_refer与V_p的夹角θ_i,j，即激光点P_i,j的参考向量夹角；

(b)设在不同参考向量V_refer下，使场景中所有激光点方位区分度最大化的目标函数为 $F\left(V_{\mathrm{refer}}\right)=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}\underset{q=1}{\overset{N}{\mathrm{\Σ}}}|{\mathrm{\θ}}_p\left(V_{\mathrm{refer}}\right)-{\mathrm{\θ}}_q\left(V_{\mathrm{refer}}\right)|,$ 该目标函数的物理意义为场景中每两个激光点的参考向量夹角之差的总和，其中N为场景中激光点个数，θ_p、θ_q为对应某一参考向量V_refer下第p个和第q个激光点的参考向量夹角；

(c)对于(b)中的目标函数F(V_refer)，为了优化求解过程，使用场景中所有激光点的参考向量夹角的方差来近似描述该目标函数，即其中为场景中所有激光点在当前参考向量下的参考向量夹角的均值，θ_k为第k个激光点的参考向量夹角，当F的值最大时，意味着所有激光点的参考向量夹角之间的区分度最大，此时的参考向量为其中argmax表示求取使得函数值最大时的自变量值，即为最优参考向量；

(d)获得最优参考向量后，遍历场景中的每个激光点，计算各个激光点P_i,j到相邻点P_i-1,j+1的向量V_p与的夹角，将其映射至灰度值0-255范围，即可得到与每个激光点一一对应的像素灰度值，最终生成整幅点云场景的纹理增强图。