CN112991511B - 一种点云数据的展示方法 - Google Patents

Abstract

本发明提供一种点云数据的展示方法，所述方法包括以下步骤，步骤1：创建激光雷达数学模型；步骤2：将所述激光雷达数学模型导入虚拟引擎，并在虚拟引擎中设置仿真实验参数进行虚拟仿真实验，得到激光雷达的点云数据；步骤3：虚拟引擎将所述激光雷达的点云数据写入计算机的共享内存中；步骤4：浏览器端从共享内存向外读取所述激光雷达的点云数据，并进行实时动态展示。本发明利用在虚拟3D场景下建立的激光雷达数学模型，完成障碍物信息的实时、连续获取，实现点云的基于HTTP网络的动态发布与可视化，web端对仿真检测到的点云数据展示能达到毫秒级的响应速度。

Description

一种点云数据的展示方法

技术领域

本发明涉及汽车智能驾驶仿真领域，具体涉及一种点云数据的展示方法。

背景技术

目前国内外已有一些公司机构研究点云数据的可视化解决方案。现有的点云网络可视化技术，一般是对已知实地采集的原始点云数据进行相应的离线技术处理，当浏览器端向服务器端进行数据请求和查询时，完成点云数据在网页中的加载。武汉市测绘研究院利用 WebGL和Potree技术对市内静态场景进行点云构建与可视化；克里特岛技术教育学院开发的3DSYSTEK点云查看器能够在浏览器中实现3D场景选定区域的点云查看；东华理工大学针对兰州机场高速公路采集点云数据，结合WebGIS技术实现公路养护的可视化；专利CN105808672B中提到对海量三维点云数据按照一定的规则进行分块划分并建立空间索引，实现对指定区域点云数据在浏览器端的动态加载与调度。以上方法均是一次性获得整个静态场景的全部点云数据，使得点云数据的组织、处理工作非常繁重，可视化的过程十分占用浏览器资源。再者，一旦场景发生变化，则需要重新采集场景信息生成点云文件，整个流程均需要重新处理，可视化的实时性难以保证。

有鉴于此，特提出本发明。

发明内容

本发明的目的在于提供一种点云数据的展示方法及设备，利用在虚拟3D场景下建立的激光雷达数学模型，完成对虚拟场景信息的实时、连续获取，实现点云的基于HTTP网络的动态发布与可视化， web端对仿真检测到的点云数据展示能达到毫秒级的响应速度。

为实现上述目的，本发明提出如下技术方案：

本发明提供了一种点云数据的展示方法，所述方法包括以下步骤，

步骤1：创建激光雷达数学模型；

步骤2：将所述激光雷达数学模型导入虚拟引擎，并在虚拟引擎中设置仿真实验参数进行虚拟仿真实验，得到激光雷达的点云数据；

步骤3：虚拟引擎将所述激光雷达的点云数据写入计算机的共享内存中；

步骤4：浏览器端从共享内存向外读取所述激光雷达的点云数据，并进行实时动态展示。

优选地，步骤1中创建激光雷达数学模型具体包括以下步骤，

步骤1-1：将所述激光雷达的发射光束简化为射线模型；

步骤1-2：创建所述激光雷达的功能参数模型。

优选地，步骤2中将所述激光雷达数学模型导入虚拟引擎，并在虚拟引擎中设置仿真实验参数进行虚拟仿真实验，得到激光雷达的点云数据具体包括以下步骤，

步骤2-1：根据仿真实验需求，在所述虚拟引擎的3D场景库中选取虚拟仿真场景，创建仿真车辆并设置所述激光雷达与所述仿真车辆的绑定关系；

步骤2-2：将所述激光雷达的坐标系转换成虚拟仿真场景中的仿真车辆车体坐标系，并设置所述激光雷达在所述仿真车辆上的安装位置，确定虚拟仿真实验在虚拟仿真场景中的起始位置；

步骤2-3：初始化所述激光雷达功能参数模型的参数信息，并定义所述激光雷达在虚拟仿真场景中检测到障碍物时返回的点云数据格式；

步骤2-4：所述仿真车辆搭载所述激光雷达在所述虚拟仿真场景中进行虚拟仿真行驶，所述激光雷达进行障碍物检测，得到所述激光雷达检测到障碍物时返回的点云数据。

优选地，步骤3中虚拟引擎将所述激光雷达的点云数据写入计算机的共享内存，具体包括以下步骤：

步骤3-1：创建所述点云数据写入共享内存的文件名和进程互斥锁；

步骤3-2：判断是否存在其他进程对同一共享内存空间进行读写操作，若存在，则所述点云数据的写入进程处于等待状态；否则，所述点云数据的写入进程获得对所述共享内存的写操作权限；

步骤3-3，当所述点云数据的写入进程获得对所述共享内存的写操作权限，通过内存映射方式开辟共享内存空间并获取点云数据写入所述共享内存的地址，将获取到的当前时间戳、点云数据长度和点云数据写入对应地址的共享内存中；

步骤3-4：当所述点云数据的写入进程结束使用共享内存后，取消其在所述共享内存地址空间内的数据文件映像，并释放进程互斥锁。

优选地，步骤4中浏览器端从共享内存向外读取所述激光雷达的点云数据，并进行实时动态展示，具体包括以下步骤：

步骤4-1：浏览器端通过访问步骤3中的共享内存实时读取加盖时间戳的点云数据，并将得到的点云数据转换成序列化的json格式数据；

步骤4-2：将得到的json格式数据添加到消息队列中，规避点云数据丢失的风险；

步骤4-3：根据所述虚拟仿真场景的大小、坐标范围以及激光雷达的实际探测距离，设置WebGL相机的放置位置和观察方向，保证检测到的点云数据在相机的视野范围内；

步骤4-4：采用HTML5中的canvas作为渲染容器，利用WebGL 的开源3D引擎Three.js完成浏览器端的点云可视化显示；

优选地，所述激光雷达的功能参数模型包括实际探测距离及距离分辨率模型，水平视场角、水平视场角分辨率及旋转频率模型，垂直视场角、垂直视场角分辨率及通道数模型。

优选地，所述激光雷达的实际探测值与其距离分辨率模型为

式中，R_truth是激光雷达理论探测值，R_Msr是激光雷达实际探测值，单位为cm；σ为距离分辨率，单位为cm。

优选地，所述激光雷达的水平视场角模型为0°≤θ_h<360°，式中，θ_h是激光雷达水平视场角，单位为度；

所述激光雷达的水平视场角分辨率与其旋转频率的关系模型为

式中，σ_h为水平视场角分辨率，单位为度；N为初设的旋转频率，单位为Hz；C_h为连接水平分辨率与旋转频率的常量，其与具体激光雷达设计的每秒发射点数有关，单位是Hz/度。

优选地，所述激光雷达的垂直视场角模型为θ_{v_min}≤θ_v≤θ_{v_max}；所述激光雷达的垂直视场角分辨率模型为σ_v＝(θ_v1,θ_v2,...θ_vn)，式中，σ_v为垂直视场角分辨率集合，θ_v1是最小垂直视场角，θ_v2是次最小垂直视场角，θ_vn是最大垂直视场角，单位为度，n表示该激光雷达的通道数，无量纲。

与现有技术相比，本发明具有以下有益的技术效果：

目前针对激光雷达的仿真，大多是将仿真输出文件进行后处理，实现点云数据的静态展示。本发明则利用在虚拟3D场景下建立的激光雷达数学模型，完成障碍物信息的实时、连续获取，实现点云的基于HTTP网络的动态发布与可视化，web端对仿真检测到的点云数据展示能达到毫秒级的响应速度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明点云数据展示方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本发明提供了一种点云数据的展示方法，所述方法包括以下步骤，

步骤1：创建激光雷达数学模型

激光雷达的模型首先要进行发射光束的简化，然后对功能参数进行建模，本发明针对当前应用于自动驾驶汽车上的机械式TOF法激光雷达进行建模。

(1)激光雷达发射的单束光是有一定横截面积的近似矩形的光斑，且具有发散性，即光斑会随着距离的增加而变大。光束的发散角为mrad级别，在激光雷达的最大探测距离处呈现的光斑的最大边长约为cm级别。相对于常见物体，激光雷达的发射可看成一条没有粗细的线。为此，激光雷达的发射光束被抽象成为射线模型。该模型方便了对激光雷达功能参数的建模。

(2)功能参数模型

1)探测距离及其分辨率模型

激光雷达探测距离为百米量级，与物体反射率和传输介质相关；测距精度为cm量级，与激光雷达硬件特性相关。为此，激光雷达探测距离为理论探测值与测距误差的叠加。理论探测值由激光雷达在环境中的极限探测能力和极限探测能力范围内的物体属性共同决定。

本发明中激光雷达理论探测值满足如下模型

在激光雷达无效探测距离条件下，本发明采用置零方模拟法，即激光雷达的探测值为0。在激光雷达有效的探测距离范围内，即介于最小和最大探测距离之间时候，本发明采用正态分布模型仿真激光雷达的探测能力，具体如下式所示。

模型中R_truth是激光雷达理论探测值，R_Msr是激光雷达探测值，单位为cm；标准差σ为测距精度，单位为cm。即激光雷达测量值、理论探测值和距离分辨率三者满足正态分布关系。该模型属于超越方程，无法证明求解。本发明采用Box-Muller方法，对未知变量R_Msr进行近似求解，即可在仿真软件中实现。

2)水平视场角、水平视场角分辨率及旋转频率模型

激光雷达的水平视场角、水平视场角分辨率及旋转频率具有一定的关联关系。机械式激光雷达采用的是周扫方式，所以激光雷达的水平视场角范围为360°。本发明采用的模型为

0°≤θ_h<360°

θ_h是激光雷达水平视场角范围，单位为度。

旋转频率是在一定范围内变化的离散整数，其与水平分辨率关系模型为

式中，σ_h为水平分辨率，单位为度；N为初设的旋转频率，单位为Hz；C_h为连接水平分辨率与旋转频率的常量，其与每个公司设计的每秒发射点数有关，单位是Hz/度。

3)垂直视场角、垂直视场角分辨率及通道数模型

激光雷达通道数通常为16、32、64、40，为有限的离散值。本发明的通道数模型为数值模型，即用数学数字度量通道数。

现有激光雷达产品，最大及最小范围的视场角值并非全部对称，本发明采用的模型为

θ_{v_min}≤θ_v≤θ_{v_max}

现有激光雷达产品，仅有16通道数的激光雷达垂直视场角分辨率为均匀的，高于16通道数的激光雷达垂直视场角分辨率是离散非均匀的。本发明的垂直视场角模型为

σ_v＝(θ_v1,θ_v2,...θ_vn)

式中，σ_v为垂直视场角分辨率集合，θ_v1是最小视场角，θ_v2是次最小视场角，θ_vn是最大视场角，单位为度；n表示该激光雷达的通道数，无量纲。

上述模型嵌入到软件中，并进行功能参数初始化。所得到的实例化的激光雷达应用于后续虚拟场景的采集和应用。

步骤2：用户自定义设置仿真实验参数(场景选择、激光雷达安装位置设置)

1.在已有的3D场景库中根据仿真需求选取激光雷达的检测场景，动态创建仿真车辆并设置激光雷达与仿真车辆之间的绑定关系；

2.将激光雷达的坐标系转换成虚拟场景中的车体坐标系，设置激光雷达在车上的安装位置，确定仿真实验在虚拟场景中的起始点；

3.初始化激光雷达的通道数、探测距离、旋转频率、视场角上限值、视场角下限值等参数信息；

4.定义激光雷达在仿真环境中检测到障碍物时返回的数据格式，即点云数据格式，并通过多线程异步处理的方式将获得的点云数据实时写入计算机的指定共享内存中。

步骤3：通过共享内存向浏览器端传输仿真过程中得到的点云数据

1.首先，创建点云数据写入共享内存的文件名称和进程互斥锁；

2.判断其他进程对同一共享内存空间是否存在对点云数据的读、写操作，若已经存在读写操作，则该进程处于等待状态；否则，该进程获得对共享内存的写操作权利；

3.一旦进程获取共享内存的写操作权利，通过内存映射方式开辟共享的内存空间并获取点云数据写入共享内存的地址，将获取到的当前时间戳、点云数据长度和点云数据写入对应地址的内存中；

4.当进程结束使用共享内存后，取消其地址空间内的数据文件映像，并释放互斥锁。

为了能实时获取仿真实验过程中检测到的点云数据，这就对文件的读写速度提出了非常高的要求。共享内存是进程间通信机制中最快的一种方式，执行速度相比直接访问磁盘文件或者数据库有着绝对优势，因为它是内存映射到共享它的进程的地址空间，这样进程可直接操控内存中的数据，该过程不涉及内核，从而避免了IO拷贝的过程，便多个进程进行快速的大数据量的交换，从而大大提升了通信速度。

步骤4：浏览器端实时动态展示(用户实时控制漫游路径、消息队列、毫秒级延时响应)

1.浏览器端通过访问步骤3中的共享内存实时读取加盖时间戳的点云数据，并将得到的数据转换成序列化的json数据格式；

2.将得到的json格式数据添加到消息队列中，规避点云数据丢失的风险；

3.根据3D虚拟场景的大小、坐标范围及激光雷达仿真的探测距离，确定WebGL相机的放置位置和观察方向，以保证检测到的点云数据在相机的视野范围内；

4.点云可视化：采用HTML5中的canvas作为渲染容器，利用WebGL的开源3D引擎Three.js完成浏览器端50ms延时响应的点云可视化显示；

5.点云的可交互操作：用户能通过键盘等其他外部设备的接入实时控制虚拟场景中的漫游路径，且浏览器中点云数据展示部分能对此实时响应；用户还可以旋转、拖拽相机实现观看视角的切换。

目前针对激光雷达的仿真，大多是将仿真输出文件进行后处理，实现点云数据的静态展示。本发明则利用在虚拟3D场景下建立的激光雷达数学模型，完成障碍物信息的实时、连续获取，实现点云的基于HTTP网络的动态发布与可视化，web端对仿真检测到的点云数据展示能达到毫秒级的响应速度，适用于虚拟3D场景、场景人为可控、可扩展性强、实时响应快、支持硬件在环。

上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种点云数据的展示方法，其特征在于，所述方法包括以下步骤，

步骤1：创建激光雷达数学模型；

步骤2：将所述激光雷达数学模型导入虚拟引擎，并在虚拟引擎中设置仿真实验参数进行虚拟仿真实验，得到激光雷达的点云数据；

步骤3：虚拟引擎将所述激光雷达的点云数据写入计算机的共享内存中，包括：

步骤3-1：创建所述点云数据写入共享内存的文件名和进程互斥锁；

步骤3-2：判断是否存在其他进程对同一共享内存空间进行读写操作，若存在，则所述点云数据的写入进程处于等待状态；否则，所述点云数据的写入进程获得对所述共享内存的写操作权限；

步骤3-3，当所述点云数据的写入进程获得对所述共享内存的写操作权限，通过内存映射方式开辟共享内存空间并获取点云数据写入所述共享内存的地址，将获取到的当前时间戳、点云数据长度和点云数据写入对应地址的共享内存中；

步骤3-4：当所述点云数据的写入进程结束使用共享内存后，取消其在所述共享内存地址空间内的数据文件映像，并释放进程互斥锁；

步骤4：浏览器端从共享内存向外读取所述激光雷达的点云数据，并进行实时动态展示，包括：

步骤4-1：浏览器端通过访问步骤3中的共享内存实时读取加盖时间戳的点云数据，并将得到的点云数据转换成序列化的json格式数据；

步骤4-2：将得到的json格式数据添加到消息队列中，规避点云数据丢失的风险；

步骤4-3：根据所述虚拟仿真场景的大小、坐标范围以及激光雷达的实际探测距离，设置WebGL相机的放置位置和观察方向，保证检测到的点云数据在相机的视野范围内；

步骤4-4：采用HTML5中的canvas作为渲染容器，利用WebGL的开源3D引擎Three.js完成浏览器端的点云可视化显示。

2.如权利要求1所述的点云数据的展示方法，其特征在于，步骤1中创建激光雷达数学模型具体包括以下步骤，

步骤1-1：将所述激光雷达的发射光束简化为射线模型；

步骤1-2：创建所述激光雷达的功能参数模型。

3.如权利要求2所述的点云数据的展示方法，其特征在于，步骤2中将所述激光雷达数学模型导入虚拟引擎，并在虚拟引擎中设置仿真实验参数进行虚拟仿真实验，得到激光雷达的点云数据具体包括以下步骤，

步骤2-1：根据仿真实验需求，在所述虚拟引擎的3D场景库中选取虚拟仿真场景，创建仿真车辆并设置所述激光雷达与所述仿真车辆的绑定关系；

步骤2-2：将所述激光雷达的坐标系转换成虚拟仿真场景中的仿真车辆车体坐标系，并设置所述激光雷达在所述仿真车辆上的安装位置，确定虚拟仿真实验在虚拟仿真场景中的起始位置；

步骤2-3：初始化激光雷达功能参数模型的参数信息，并定义所述激光雷达在虚拟仿真场景中检测到障碍物时返回的点云数据格式；

步骤2-4：所述仿真车辆搭载所述激光雷达在所述虚拟仿真场景中进行虚拟仿真行驶，所述激光雷达进行障碍物检测，得到所述激光雷达检测到障碍物时返回的点云数据。

4.如权利要求2所述的点云数据的展示方法，其特征在于，所述激光雷达的功能参数模型包括实际探测值及距离分辨率模型，水平视场角、水平视场角分辨率及旋转频率模型，垂直视场角、垂直视场角分辨率及通道数模型。

5.如权利要求4所述的点云数据的展示方法，其特征在于，所述激光雷达的实际探测值与其距离分辨率模型为

式中，R_truth是激光雷达理论探测值，R_Msr是激光雷达实际探测值，单位为cm；σ为距离分辨率，单位为cm。

6.如权利要求5所述的点云数据的展示方法，其特征在于，所述激光雷达的水平视场角模型为0°≤θ_h＜360°，式中，θ_h是激光雷达水平视场角，单位为度；

所述激光雷达的水平视场角分辨率与其旋转频率的关系模型为

式中，σ_h为水平视场角分辨率，单位为度；N为初设的旋转频率，单位为Hz；C_h为连接水平分辨率与旋转频率的常量，其与具体激光雷达设计的每秒发射点数有关，单位是Hz/度。

7.如权利要求6所述的点云数据的展示方法，其特征在于，所述激光雷达的垂直视场角模型为θ_{v_min}≤θ_v≤θ_{v_max}；所述激光雷达的垂直视场角分辨率模型为σ_v＝(θ_v1，θ_v2，…θ_vn)，式中，σ_v为垂直视场角分辨率集合，θ_v1是最小垂直视场角，θ_v2是次最小垂直视场角，θ_vn是最大垂直视场角，单位为度，n表示该激光雷达的通道数，无量纲。

Images