CN108230242A - 一种从全景激光点云到视频流的转换方法 - Google Patents

Abstract

一种从全景激光点云到视频流的转换方法属于激光点云成像技术领域，将激光点云转换成视频流，实现360度室外场景的可视化，具体为：将全局坐标系下的原始激光点云数据转换到该视角方向下的视角坐标系，将视角坐标系下的激光点云投影到像素坐标系，得到激光测距点与图像像素间的对应关系，并提取激光点云在三个特征通道的特征，将来自多个通道的特征融合后得到一幅纹理清晰灰度图像；完成所有视角方向下的图像生成后，得到一系列的灰度图像，将得到的灰度图像按照固定的顺序和帧率播放，得到视频流。本发明在成像手段上选取多个视角，能够将场景完整还原，并保证场景景物层次关系的不变性；增强成像的视觉效果；可用在移动机器人场景理解等人工智能领域。

Description

一种从全景激光点云到视频流的转换方法

技术领域

本发明属于激光点云成像技术领域，涉及一种从全景激光点云到视频流的转换方法，通过将激光点云转换成视频流，实现360度室外场景的可视化。

背景技术

视觉图像是环境感知的重要手段之一，数据获取便捷，处理手段完善。由于视觉传感器具有被动感光特性，容易受到环境亮度变化的影响，在不同的亮度条件下，成像的质量具有显著差异。

相比较，激光传感器具有主动感光特性，不但能够克服亮度变化对数据质量的影响，还能提供精准的三维空间测量信息，能为三维环境的感知与建模提供一种有效方式。将三维激光点云转为二维图像，便于利用成熟的图像处理领域算法进行特征提取与场景理解。传统激光点云生成的图像主要有深度图、鸟瞰图、方位角图。

深度图通过把激光测距点的深度信息映射为灰度值，进而形成灰度图像，具体算法见参考文献(Fruh C,Zakhor A.Data processing algorithms for generatingtextured 3D building facade meshes from laser scans an camera images[C]//International Symposium on 3d Data Processing Visualization and Transmission,2002.Proceedings.IEEE,2002:834-847.)。因为深度图原理简单、计算成本低，因此被广泛使用。但在景物的边缘描述上不理想，尤其当场景较大时，生成的图像会弱化景物的细节与边界，影响后续场景理解的效果。

鸟瞰图是对场景中的物体在进行水平方向上的投影，它反映了物体在水平面上的相对位置关系。激光测距点在鸟瞰图中的位置由激光测距点的水平坐标确定，激光测距点在鸟瞰图中的颜色值由强度、密度与高度特征确定，具体见文献(Guan H,Li J,Yu Y,etal.Using Mobile LiDAR Data for Rapidly Updating Road Markings[J].IEEETransactions on Intelligent Transportation Systems,2015,16(5):2457-2466.)。激光生成的鸟瞰图常与图像生成的鸟瞰图进行融合，并以此为基础进行地面物体的分割与分类。但由于鸟瞰图视角方向始终保持垂直向下，不能展现出景物在垂直方向上的特征，无法展现出场景的全貌。

方位角图通过比较激光测距点和该激光测距点在特定方向上相邻点的相对关位置关系，并映射成灰度值进行成像。方位角定义为视点到当前激光测距点的向量与当前激光测距点到其相邻点向量的夹角，具体可参考文献(Scaramuzza D,Harati A,SiegwartR.Extrinsic self calibration of a camera and a 3d laser range finder fromnatural scenes[C]//Intelligent Robots and Systems,2007.IROS 2007.IEEE/RSJInternational Conference on.IEEE,2007:4164-4169)。它的优点是可以清晰的反映相邻激光测距点间的位置关系。但这种成像方法要求三维点云以二维扫描序列的方式存储，而很多应用中激光测距系统所获得的三维点云是无序排列的，从而限制了该方法的通用性。

上述基于激光数据生成的图像都有一个共同的局限性，即在生成图像之前都需要选择一个固定视角，这就造成了视野范围有限，无法完整的呈现360度全景范围内的所有景物。为了克服这种局限性，将360度激光点云转化为序列化的二维图像，并以视频流的方式提供给用户，这样更符合人眼的观察习惯。

发明内容

针对传统激光点云成像方法的局限性，本发明提出了将全景激光点云数据转换为视频流的场景可视化方法。该方法在成像手段上选取了多个视角，生成的视频流不仅将场景进行完整的还原，还能保证场景景物层次关系的不变性。为了增强成像的视觉效果，本发明提出了新的颜色映射算法，将来自多个通道的特征进行融合，融合结果不仅保留了原通道的信息，还进一步增强了图片的对比度，使得细节表述更加清晰，为后续点云分割与分类方面的研究奠定了基础。考虑到人眼的观察习惯，该方法利用视角的旋转生成了全景视频流，贴近人眼对360度全景环境的感知过程。

为了达到上述目标，本发明的技术方案如下：

一种从全景激光点云到视频流的转换方法，该转换方法利用三维激光获取的全景激光点云数据，选取视点和以该视点为中心的一组视角方向，对于每一个视角方向：首先将全局坐标系下的原始激光点云数据转换到该视角方向下的视角坐标系，再通过针孔相机模型将视角坐标系下的激光点云投影到像素坐标系，得到激光测距点与图像像素间的对应关系，并提取激光点云在三个特征通道(反射强度、法向量、方位角)上的特征，将来自多个通道的特征进行融合进而得到一幅纹理清晰的灰度图像；完成所有视角方向下的图像生成后，可得到一系列的灰度图像，将得到的灰度图像按照固定的顺序和帧率播放，从而得到一段与该全景场景对应的视频流，包括以下步骤：

第一步，确定视点坐标

根据采集方式不同可以将全景激光数据的获取方式分为移动采集和定点采集。在数据采集过程中，记录激光传感器在不同时刻的位姿会得到传感器的采集轨迹。定点采集时，采集轨迹是一个定点；移动采集时，采集轨迹在水平面的投影是由多个离散点构成的一条离散曲线。

对于定点采集方式，选取激光传感器的采集点作为视点；对于移动采集方式，点云范围更广阔，选取单一视点无法完整的描述整个场景，因此在激光传感器的采集轨迹上等间距选取一定数量的视点。

第二步，确定视角方向

因为视角大小有限，为了完整的将视点周围场景表述出来，在同一视点O'需要生成多幅图片(如图1所示)，即需要生成多个视角方向。因此，过视点O'作m个与水平面平行的方向向量(e₁,e₂,…,e_m)，若方向向量间的关系满足公式(1)，即相邻向量夹角的弧度值满足公式(1)，则可以将这组方向向量选为图像序列的视角方向。

其中，m为方向向量的数量，表示相邻向量夹角的弧度值，π取3.1416。

第三步，全局坐标系到视点坐标系的转换

如图2所示，在全局坐标系XYZ中，根据右手定则以视点O′为坐标原点，视角方向为Y′轴正方向，垂直于水平面向上的方向为Z′轴正方向，建立视点坐标系X′Y′Z′。它可以看作是由全局坐标系XYZ经过旋转平移得到。在全局坐标系XOY平面上取一点设为P(x,y,z)，设与X轴所夹锐角为α，长度为r，则点P在全局坐标系中的坐标x、y、z可表示为：

点P(x,y,z)随全局坐标系绕Z轴旋转和平移后，得到视点坐标系X′Y′Z′中的P′(x′,y′,z′)，设为视点坐标系相对全局坐标系在竖直方向的旋转角，dx、dy、dz是相对全局坐标系的平移量，则P′在全局坐标系中的坐标x′、y′、z′可表示为：

将公式2带入到公式3中可得：

将视点坐标系和全局坐标系中的坐标表示为矩阵形式：[x′,y′,z′,1]^T、[x,y,z,1]^T，可将激光测距点从视点坐标系到全局坐标系的转换关系表示成如下形式。

第四步，三维点云坐标到二维图像坐标的映射

将三维激光点云映射到二维像素平面是一个投影过程，其数学模型可以看作是针孔相机模型。如图3所示，X′Y′Z′为视角坐标系，其中O′为视点，X′轴正方向为视角方向。O″Y″Z″平面为视角坐标系在像素平面的投影坐标系，O′O″间的距离为焦距，P′为激光测距点，P″为成像点。

针孔相机模型的左视图与俯视图如图4所示，设O′O″间的距离为f，则视角坐标系中的激光测距点P′(x′,y′,z′)与投影坐标系中的坐标点P″(x″,y″,z″)之间的关系由三角形相似可得：

针孔相机模型的主视图如图5所示，建立像素坐标系O″′UV,从投影坐标系到像素坐标系的变换的过程是坐标系平移与缩放的过程，投影坐标系中的一个坐标点P″(x″,y″,z″)对应的像素坐标为P″(u,v)。设像素坐标在U轴上缩放了a倍，在V轴上缩放了b倍，其中a、b、f由相机结构确定，又称为相机内参。设c_z和c_y为像素点在像素平面的平移距离，则像素点P″(u,v)的坐标可以表示为：

联立公式6和公式7可得：

视角大小决定了图片的视野范围，如图4所示，定义水平方向的视角大小为2α，竖直方向的视角大小为2β，满足如下关系：

其中x′为激光测距点在视点坐标下的坐标值，z′_max、y′_max表示激光测距点在x′固定时在Z′轴和Y′轴所能取得的最大值。在像素坐标系中，当像素点的横纵坐标取得最大值(2c_y,2c_z)时，公式8可改写成：

联立公式9和公式10，相机模型的内参af与bf可表示为：

其中a和b为激光测距点在投影坐标系到像素坐标系的缩放大小，f为相机焦距即O′O″间的距离。

将公式11带回到公式8，分别将激光测距点P′和像素点P″的坐标表示为[x′,y′,z′]^T、[u,v,1]^T。点云坐标到像素坐标的映射关系如下，其中c_z和c_y为像素点在像素平面的平移距离，α和β为水平和竖直方向的视角大小的一半。

第五步，计算二维灰度图像

计算激光点云数据在二维灰度图像中的灰度值，其目标是使同一类别激光点云间的像素灰度值差距小，不同类别间的像素灰度值差距大。本算法选取反射强度、方位角、法向量这三种特征来生成灰度图像。

反射强度I_u,v反映物体的材质和颜色差异，同种物体的反射强度差距小，不同物体间差距大。

方位角θ_u,v反映了二维序列中相邻激光测距点在三维空间的位置差异，差异越大像素灰度差值越大，算法原理如图6所示，O′为为视点，在像素坐标系O″′UV中，对于图片上的每个像素点P″_u,v，设视点O′到它的向量为若能找到它右上方的像素点P″_u-1,v+1，则设P″_u,v到P″_u-1,v-1的向量为向量与向量之间所夹锐角即为方位角θ_u,v。

点云法向量描述了全局坐标系中激光测距点P及其邻域点所确定平面在空间中的方向，估计点云法线可以近似认为是估计激光测距点P切平面的法线。构造协方差矩阵C，当前激光测距点P邻域内激光测距点数目为k，邻域内激光测距点的质心为特征值和特征向量分别为λ_t其中(λ₀≤λ₁≤λ₂)和其中最小特征值对应的特征向量为法向量，求出它在Z轴方向的分量w，其中P_j代表每个激光测距点的坐标，是最小特征值λ₀所对应的特征向量，是垂直与水平面向上的方向向量。

计算出每个像素对应的激光点在三个特征通道的特征后，按照公式15将其映射到[0,1],进而得到像素在强度、方位角、法向量通道的度量值：I_u,v、θ_u,v、w_u,v：

其中，I_min和I_max表示反射强度的最小和最大值，w_min和w_max表示法向量在竖直方向分量的最小和最大值。

设G为特征融合后灰度图像对应的灰度矩阵，矩阵的行数为M，列数为N。

为了使生成的灰度图在细节表述上更加清晰，本方法将强度、方位角、法向量通道的度量值(I_u,v、θ_u,v、w_u,v)按照公式(17)进行融合，g_u,v为灰度值矩阵G中第u行第v列的元素值，设p和q分别为θ_u,v和w_u,v的权重，即方位角特征和法向量特征对像素灰度的贡献度。

g_u,v＝(pθ_u,v+qw_u,v)×255I_u,v

s.t.p+q＝1,u∈[1,M],v∈[1,N] (17)

为了使生成的灰度图具有多变的灰度色调和较高的对比度，本方法通过计算灰度值矩阵G的方差δ²来确定公式(17)中的权重p和q。如公式(18)所示，代表图片灰度矩阵值G中所有元素的平均值，M与N分别表示灰度值矩阵的行数和列数，即图像的高和宽。

当像素灰度值分布的离散程度较高，即方差δ²较大时，生成的灰度图的对比度较高。联立公式17和公式18解出当δ²取得最大值时的权重p和q，记作和将其带回到公式17便可得到图像中每个像素的灰度值。

第六步，生成视频流

人眼通过光信号来进行感知景物，当光的作用结束后，景物形象还会在视网膜上保留一段时间，这一现象则被称为“视觉暂留”。利用这一现象，如果快速播放生成的灰度图像序列，便会得到一段全景视频流，具体为：重复步骤3～5，直到生成完所有视角方向下的灰度图像；利用“视觉暂留”现象，按照固定的顺序和帧率播放得到的灰度图像序列，进而得到一段全景视频流。

本发明在成像手段上选取了多个视角，生成的视频流不仅将场景进行完整的还原，还能保证场景景物层次关系的不变性。为了增强成像的视觉效果，本发明提出了新的颜色映射算法，将来自多个通道的特征进行融合，融合结果不仅保留了原通道的信息，还进一步增强了图片的对比度，使得细节表述更加清晰，为后续点云分割与分类方面的研究奠定了基础。考虑到人眼的观察习惯，该方法利用视角的旋转生成了全景视频流，贴近人眼对360度全景环境的感知过程。本发明可用在移动机器人场景理解等人工智能领域。

附图说明

图1为一组视角方向以及它们对应的二维图像示意图。

图2为全局坐标系与视点坐标系关系图。

图3为针孔相机模型示意图。

图4(a)为针孔相机模型的左视图。

图4(b)为针孔相机模型的俯视图。

图5为针孔相机模型正视图。

图6为方位角原理图。

图7为原始激光点云数据。

图8为激光强度、方位角、法向量三个特征的单通道灰度图。(a)为激光强度，(b)为方位角，(c)为法向量。

图9为三个特征通道加权融合后的灰度图。

图10为不同视角方向下融合后的灰度图。

具体实施方式

以下具体阐述本发明的实施方案。

一、本发明使用的点云数据由三维激光测距仪获得，图7给出了一组典型的数据，该数据由激光器定点采集得到，将三维激光测距仪所在的采集点选为视点其全局坐标为(0,0,0)。

二、为了减小图像序列中相邻图片差异，需尽可能缩小相邻视角方向间的夹角。在本方案中，选取相邻视角方向向量间的夹角为0.5度，那么在360度的全景范围内将产生720个视角方向，由公式(1)得：

其中表示相邻两个方向向量夹角的弧度值，π值取3.1416。

三、以720个视角方向中的一个为例，把全局坐标系转换到该视角方向下的视点坐标系。在本例中，视点O'的全局坐标为(0,0,0)，则视点坐标系相对于全局坐标系的平移量dx、dy、dz为均为0，若视点坐标系与全局坐标系的夹角为30度，由公式(5)可以得到全局坐标到视点坐标的转换关系：

其中x′、y′、z′为激光测距点在视点坐标系中的坐标，x、y、z为激光测距点在全局坐标系中的坐标。

四、将当前视角坐标系下的三维激光点云映射到二维图像中，设定水平和竖直方向的视角大小(2α和2β)均为120°，像素点在像素平面的平移距离(c_z和c_y)均为120，带入公式(12)中可以得到视点坐标系中的激光测距点到像素坐标系的映射关系：

其中，x′、y′、z′为激光测距点在视点坐标系中的坐标，u、v为激光测距点在像素坐标系中的坐标。

五、分别计算图片中的三个特征通道(反射强度、法向量、方位角)的数量值，并将其按照公式(15)进行归一化，三个通道的灰度图效果如图片8所示。然后根据公式(18)求解灰度值矩阵方差公式：

其中，图片的长和宽均为240，代表像素灰度的平均值，g_u,v表示每个像素的灰度值，当方差δ²取得最大值时解得贡献度为0.712和为0.288，带回到公式(17)中，得到融合后的灰度图如图9所示，其中第v行u列像素的灰度值g_u,v为：

g_u,v＝(0.712θ_u,v+0.288w_u,v)×255I_u,v

其中，I_u,v、θ_u,v、w_u,v为强度通道、方位角通道、法向量分量通道的度量值。

六、随着视角方向不断旋转，如图10所示，得到所有视角方向下的灰度图像。按照图像的排列顺序，以每秒25帧的速度输出视频流，视频流的长度为28.8秒。

Claims (1)

1.一种从全景激光点云到视频流的转换方法，其特征在于：所述的转换方法利用三维激光获取的全景激光点云数据，选取视点和以该视点为中心的一组视角方向，对于每一个视角方向：首先将全局坐标系下的原始激光点云数据转换到该视角方向下的视角坐标系，再通过针孔相机模型将视角坐标系下的激光点云投影到像素坐标系，得到激光测距点与图像像素间的对应关系，并提取激光点云在三个特征通道上的特征，将来自多个通道的特征融合后得到一幅纹理清晰的灰度图像；所有视角方向下的图像生成后，能够得到一系列的灰度图像，将得到的灰度图像按照固定的顺序和帧率播放，从而得到一段与该全景场景对应的视频流；具体步骤如下：

1)确定视点坐标

对于三维激光点云的定点采集方式，选取激光传感器所在的采集点作为视点；对于点云的移动采集方式，在激光传感器的采集轨迹上等间距选取视点；

2)过视点O'作m个与水平面平行的方向向量(e₁,e₂,…,e_m)，若相邻向量夹角的弧度值满足公式(1)，则将这组向量选为图像序列的视角方向；

3)点云中每个激光测距点从全局坐标系到视点坐标系的转换关系如公式(5)所示：

其中，[x′,y′,z′,1]^T、[x,y,z,1]^T表示视点坐标系和全局坐标系的坐标，为视点坐标系相对全局坐标系在竖直方向的旋转角，dx、dy、dz是相对全局坐标系的平移量

4)将三维激光点云映射到二维像素平面是一个投影过程，其数学模型为针孔相机模型；点云到像素的映射关系如公式(12)所示：

其中，[x′,y′,z′]^T和[u,v,1]^T表示激光测距点和图像像素点的坐标，c_z和c_y为像素点在像素平面的平移距离，α和β为水平和竖直方向的视角大小的一半；

5)计算二维灰度图像

选取反射强度、方位角、法向量这三种特征来生成灰度图像；计算每个像素对应的激光点在三个特征通道的特征后，将其按照公式(15)归一化到[0,1]，得到每个像素点在反射强度通道、方位角通道、法向量通道的度量值I_u,v、θ_u,v、w_u,v，公式(15)如下：

其中，I_min和I_max表示反射强度的最小和最大值，w_min和w_max表示法向量在竖直方向分量的最小和最大值；

设方位角特征通道和法向量特征通道的权值为p和q，M与N为图像的高和宽，将特征融合后每个像素点的灰度值g_u,v表示如下：

灰度值矩阵的方差δ²如公式(18)所示，代表图片灰度矩阵值中所有元素的平均值；联立公式(17)和公式(18)，解出当δ²取得最大值时的权重和将其带回到公式(17)得到图像中每个像素的灰度值；

6)生成视频流

重复步骤3)～步骤5)，直到生成完所有视角方向下的灰度图像；利用“视觉暂留”现象，按照固定的顺序和帧率播放得到的灰度图像序列，进而得到一段全景视频流。