CN114638942A - 一种异构变分辨率点云成像可视化方法 - Google Patents

Abstract

本发明公开一种异构变分辨率点云成像可视化方法，包括以下步骤：构建异构变分辨率点云成像激光雷达模型；利用所述异构变分辨率点云成像激光雷达模型，对目标物进行异构变分辨率点云成像扫描，采集点云数据，并显示所述点云数据；对可见光波段与所述点云数据进行融合显示。本发明构建异构变分辨率点云成像激光三维成像系统并且能完成异构变分辨率点云成像点云的实时显示，此外基于高精度的三维模型实现可见光波段与点云数据的三维图像融合可视化显示。

Description

一种异构变分辨率点云成像可视化方法

技术领域

本发明涉及光电成像领域，特别是涉及一种异构变分辨率点云成像可视化方法。

背景技术

随着计算机算力的不断提升，近年来三维可视化技术蓬勃发展，基于计算机图形学开发的Unity3D引擎在数据展示、场景漫游、可视化仿真等领域有着得天独厚的优势。

近年来激光三维成像技术以分辨率高、原理简单、探测距离远等优势在视觉导航、航空航天、测绘等领域有着广泛的应用。随着研究的深入，相关研究人员在研究了人眼视觉和激光三维成像技术的基础上提出了基于仿人眼视网膜结构的激光三维成像方法，在兼顾大视场的同时还可以对感兴趣的目标进行高分辨率的成像，因此，基于仿人眼视网膜的异构变分辨率三维点云成像可应用于大视场、实时性、高分辨场合，例如：无人驾驶、智能监控、无人物流。常规的三维点云成像已有较为成熟的可视化平台，但是当前仿人眼激光雷达硬件配置要求高、开发难度大，并没有大规模的应用，并且尚无相关软件对异构变分辨率点云实现可视化。同时，可视化对于异构变分辨率成像设备的研发也有良好的支撑，通过对拟设计的硬件系统进行可视化，更容易体验最终设计的产品效果，从而能够及时发现设计问题。

因此，对于异构变分辨率三维点云成像可视化研发至关重要。

发明内容

本发明的目的是提供一种异构变分辨率点云成像可视化方法，以解决上述现有技术存在的问题，构建异构变分辨率点云成像激光三维成像系统并且能完成异构变分辨率点云成像点云的实时显示，此外基于高精度的三维模型实现可见光波段与点云数据的三维图像融合可视化显示。

为实现上述目的，本发明提供了如下方案：本发明提供一种异构变分辨率点云成像可视化方法，包括以下步骤：

构建异构变分辨率点云成像激光雷达模型；

利用所述异构变分辨率点云成像激光雷达模型，对目标物进行异构变分辨率点云成像扫描，采集点云数据，并显示所述点云数据；

对可见光波段与所述点云数据进行融合显示。

可选地，构建所述异构变分辨率点云成像激光雷达模型时，采用C#环境。

可选地，构建所述异构变分辨率点云成像激光雷达模型包括：

构建异构变分辨率点云成像激光雷达数学物理模型，利用C#语言进行转化，获得初步异构变分辨率点云成像激光雷达模型，将所述初步异构变分辨率点云成像激光雷达模型挂载到Unity3D环境中，获得所述异构变分辨率点云成像激光雷达模型。

可选地，利用所述异构变分辨率点云成像激光雷达模型，对所述目标物进行异构变分辨率点云成像扫描包括：

在所述异构变分辨率点云成像激光雷达模型中，设置扫描的环数M和每一环的扫描点数N，基于所述环数M和所述扫描点数N，计算扫描方案，基于所述扫描方案对所述目标物进行扫描。

可选地，基于所述扫描方案对所述目标物进行扫描包括：

根据所述扫描方案，发射激光脉冲对所述目标物进行扫描，获得目标点深度信息并保存入向量组，判断是否执行到最后一个扫描点，是，则完成一帧图像扫描，不是，则调整激光束到下一个所述扫描点继续扫描。

可选地，显示所述点云数据包括：

根据采集到的所述点云数据，调节所述点云数据的大小、颜色，进行实时显示。

可选地，对可见光波段与所述点云数据进行融合显示包括：

识别渲染对象，加载所述渲染对象，设置所述渲染对象对应的渲染材质和纹理；

对渲染图元进行顶点坐标变换、剪裁，获得顶点坐标、纹理坐标；

将所述顶点坐标、纹理坐标转化为像素坐标，基于所述像素坐标生成像素，组成图片；

将渲染层与点云渲染层进行融合计算，实现所述可见光波段与所述点云数据融合显示。

本发明公开了以下技术效果：

本发明公开的一种异构变分辨率点云成像可视化方法，基于Unity3D平台，结合C#编程语言实现数据的实时可视化显示，同时应用Unity3D的多层渲染实现被扫描的高精度模型在可见光波段与点云数据的融合显示，满足了异构变分辨率点云成像研究时的数据可视化需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中异构变分辨率点云成像可视化方法的流程示意图；

图2为本发明实施例中异构变分辨率点云成像可视化方法的扫描场景图；

图3为本发明实施例中异构变分辨率点云成像目标扫描的流程图；

图4为本发明实施例中异构变分辨率点云成像中单独点云成像可视化与可见光波段与点云数据的融合显示的流程图；

图5为本发明实施例中基于MOEMS扫描系统的异构变分辨率点云成像扫描示意图；

图6为本发明实施例中异构变分辨率点云成像可视化方法的单独点云显示；

图7为本发明实施例中异构变分辨率点云成像可视化方法的可见光波段与点云数据的融合显示。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供一种异构变分辨率点云成像可视化方法，如图1所示，包括：

步骤一、基于C#环境下构建异构变分辨率点云成像激光雷达模型。

如图2所示包含了异构变分辨率点云成像激光雷达模型与被扫描的目标车辆模型。

在光电探测元件的光敏面接收端接收到从目标物体返回的激光回波功率P_r为：

上式中ρ为被探测目标物体的反射率，P_L是发射端激光器的峰值功率，T_E是用来对激光束准直的光学系统透过率，T_R是接收端用于汇聚回波信号在探测元件光敏面的光学系统的透过率，A_R是接收端接收单元的面积，δ为发射端光学系统透镜的光轴与目标物体表面法线的夹角，σ是大气的衰减系数，R是激光雷达与被探测目标表面的距离。

由回波功率的表达式可知，激光束的回波功率受到多种因素的影响，其他条件一定的情况下，伴随着探测距离的增加，回波功率迅速减小，当回波功率小到接收端接收机的最小可探测功率P_r＝P_min的时候，此时对应目标与激光雷达之间的距离就是激光雷达系统最大可探测距离R_max：

在Unity3D引擎中，scene场景支持多种外部导入的三维模型格式，具备非常强大的兼容性。其中对网络、材质、动画、骨骼均支持的有Maya的.mb和.mal格式、3D Studio Max的.maxl格式、Cheetah3D的.jasl格式、Cinema 4D的.c4dl 2格式、Blender的.blendl格式等等。

在本实施例中，本发明应用了在3D Studio Max构建好的异构变分辨率点云成像激光雷达模型并且导入到场景中。然后在官方的AssetStore选取了高精度的车辆三维，并且挂载上相应的算法结构。

首先创建一个用于储存激光雷达具体参数信息的模型，然后在端口处设置ρ(被探测目标物体的反射率)，P_L(发射端激光器的峰值功率)，T_E(用来对激光束准直的光学系统透过率)，T_R(接收端用于汇聚回波信号在探测元件光敏面的光学系统的透过率)，A_R(接收端接收单元的面积)，δ(发射端光学系统透镜的光轴与目标物体表面法线的夹角)，σ(大气的衰减系数)，R(激光雷达与被探测目标表面的距离)，模型接收预设的参数并且通过计算得到激光雷达系统最大可探测距离R_max，并且将此探测距离作为该激光雷达探测的阈值对点云数据进行筛选，假如回波功率低于接收机的最小探测功率，则不会采集该信号。在本实施例中假设光电探测元件的最小可探测功率P_min为1×10^-11W，被探测目标物体的反射率ρ＝0.2，接收端接收单元的面积A_R＝0.22mm²,δ＝0.25，对激光束准直的光学系统透过率T_E＝0.9，接收端用于汇聚回波信号在探测元件光敏面的光学系统的透过率T_R＝0.8。当激光雷达的最大可探测距离为120m时，e^-σR＝0.9，由此可以计算得出激光二极管的发射功率约为20W，最终计算得到激光雷达系统最大可探测距离R_max。因此激光雷达模型将此探测距离作为该激光雷达探测的阈值对点云数据进行筛选，假如回波功率低于接收机的最小探测功率，则不会采集该信号。

步骤二、基于MOEMS扫描系统的异构变分辨率点云成像扫描。

在本实施例中，为了实现对目标车辆模型的覆盖扫描，通过结合图5基于MOEMS扫描系统的异构变分辨率点云成像扫描示意图选取了对应的M与N对目标车辆进行扫描。

在C#编程语言与Unity3D的环境中，本实施例将对应的异构变分辨率点云成像激光雷达模型的数学物理模型转化为C#算法并且继承MonoBehaviour父类载入到模型当中。

为说明异构变分辨率点云成像的扫描过程，结合图3异构变分辨率点云成像目标扫描的流程图进一步说明。算法开始运行后根据设定的M、N值对激光雷达模型进行算法编写并控制其按照人眼感光细胞的排布方式进行异构变分辨率点云成像扫描，通过模拟发射激光脉冲的方式对目标进行探测，将单次扫描获得的目标深度信息存入Vector3向量组中，判断是否进行到最后一个扫描点，假如没有则调控激光束到下一个扫描点，直至完成一帧图像的扫描。

基于C#编程环境与Unity3D平台的可视化方法可以达到非常好的实时性。在上述步骤中，异构变分辨率点云成像激光雷达模型已经完成了对目标车辆的扫描过程，接下来便是对储存在Vector3向量组中的点云数据进行实时显示，本发明为了实现实时扫描显示点云数据，在异构变分辨率点云成像激光雷达扫描的同时就会对扫描到的车辆目标点云数据进行显示，而不是完成一帧画面后才显示。在本实施例中，M代表扫描的圈数，N代表每一圈扫描的点数，其中M设置为7，N设置为21，激光雷达每一次都会从最内层的圈开始进行逐点扫描，当完成一圈的扫描以后扫描点会向外扩张一个单位，直至完成最后一圈最后一个点的扫描，算法会将扫描点重新归置在初始点，至此即完成一帧的点云图像。

步骤三、异构变分辨率点云成像扫描可视化。

为了实现异构变分辨率点云成像扫描可视化，首先要通过构建的激光雷达模型对需要探测的目标进行扫描，模型根据预设的激光雷达参数形成探测阈值对目标进行探测，区别于传统环形扫描的激光雷达，本实施例中的激光雷达模型是以异构变分率的形式对目标物体进行扫描，即对中央区域会进行高分辨率的扫描，为了实现这种形式的扫描成像，本实施例中，构建了基于MOEMS扫描形式的异构变分辨率扫描，通过阈值筛选出可进行显示的点云数据然后进行可视化显示。本步骤中的阈值通过步骤1中所计算出的激光雷达最大探测距离确定，即步骤1中所计算出的激光雷达最大探测距离就是点云采集的阈值。Unity3D环境下的虚拟三维空间本身是可以获取到探测点与激光雷达的距离的，对比此距离与激光雷达的最大探测距离则可完成点云数据的筛选。

具体的，在激光雷达模型的算法运行时，首先进行激光雷达模型初始化，即脚本代码首先会执行Start()中的内容，此部分代码包含异构变分辨率激光雷达初始化参数的一些内容，并且在一个完整的执行周期中，此部分代码只会执行一次。关于异构变分辨率激光雷达模型的数学物理模型部分的代码则会放置在FixedUpdate()中执行，FixedUpdate()将会根据所控制的频率稳定运行，而Update()则会在每一帧执行一次，对于不同的场景，计算机的执行压力也会不同，而可视化场景的运行往往不会稳定在某一确定帧率，而是会有一个漂动，这将极不利于精确的物理运算。

在完成异构变分辨率点云成像激光雷达模型的构建后，下一步需要进行的是保存每一次激光雷达扫描到的目标点云数据，并且将点云数据在三维空间中渲染出来。在对点云数据的渲染中，应用了位于UnityEngine中继承自Component的ParticleSystem。

结合图4，进一步说明异构变分辨率点云成像中单独点云成像可视化，算法开始运行以后由流程图3采集到的Vector3类型的点云向量组将会载入到流程图4中，作为图4最开始的输入项，点云向量组包含了目标的XYZ位置信息，随后点云向量组将会载入ParticleSystem中。在ParticleSystem中，粒子的属性是按照模块进行分组的比如粒子噪声系统与粒子发射系统，这些属性都是以结构体的形式存在的，但是其又区别于正常的C#结构体。其中最关键的区别在于当对模块结构上的属性进行设置的时候不需要将结构分配回到粒子系统组件，因为Unity3D会立即将变量分配到ParticleSystem中。所以在对每一个点云数据进行操作的时候要注意这其中的区别，本实施例中，所用于显示点云的可视化系统可实现点云数据的大小，颜色等参数的调节，这些可以直接在用户操作面板中进行调节。与此同时，系统会通过索引进行判断，在完成最后一个目标点数据的载入后，系统会自检以及初始化设定，并且将采集的点云数据进行实时渲染如图6所示。

步骤四、可见光波段与点云数据的融合显示。

在Unity3D的渲染中，完成每一帧画面的显示通常需要经过应用程序阶段、几何阶段、光栅化阶段这几个步骤。

应用程序阶段主要进行的是识别出哪些潜的渲染对象，然后将其加载到内存中，并且会设置好对象需要渲染的材质和纹理等。

几何阶段主要是负责将CPU传输过来的渲染图元进行顶点坐标变换、剪裁等工作，并且将处理好的顶点坐标、纹理坐标等输送到光栅器中。

光栅化阶段会接收在几何阶段中处理好的顶点坐标、纹理坐标等数据，并且将这些几何数据转化为屏幕上的像素坐标，进而生成像素并且由这些像素组成一幅图片。

通过在Unity3D中将模型渲染层与点云渲染层进行融合计算，最终可实现可见光波段与点云数据的融合如图7所示。在本实施例中，激光雷达模型在对目标进行扫描的时候，会同时返回扫描点的颜色信息。在Unity3D中，物体的颜色信息用四个通道来进行表示，其中有RGB三个通道和一个用来调节透明度的通道，每个通道会被用0-255的Byte值来表示，然后根据所设定的融合模型来对颜色值进行偏离运算最终将会得到可视化的点云。如果在实例中由于车辆模型距离激光雷达较近，所以在进行点云融合可视化的时候RGB以及透明度通道的权值均置为1，假如在面向大场景时由于从传感器处接收到的可见光是从目标出发经过了一定的大气介质，波长会有一定的变化，此时可相应地改变权值的大小。

本发明公开的一种异构变分辨率点云成像可视化方法，在Unity3D中基于C#构建起仿人眼环形扫描的激光雷达的数学物理模型，并且利用此激光雷达模型对目标物体进行扫描，与此同时，利用Unity3D的粒子系统将扫描到目标的点云数据进行实时渲染显示，并且可以实现可见光波段和点云数据的融合显示。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种异构变分辨率点云成像可视化方法，其特征在于，包括以下步骤：

构建异构变分辨率点云成像激光雷达模型；

利用所述异构变分辨率点云成像激光雷达模型，对目标物进行异构变分辨率点云成像扫描，采集点云数据，并显示所述点云数据；

对可见光波段与所述点云数据进行融合显示。

2.根据权利要求1所述的异构变分辨率点云成像可视化方法，其特征在于，构建所述异构变分辨率点云成像激光雷达模型时，采用C#环境。

3.根据权利要求2所述的异构变分辨率点云成像可视化方法，其特征在于，构建所述异构变分辨率点云成像激光雷达模型包括：

构建异构变分辨率点云成像激光雷达数学物理模型，利用C#语言进行转化，获得初步异构变分辨率点云成像激光雷达模型，将所述初步异构变分辨率点云成像激光雷达模型挂载到Unity3D环境中，获得所述异构变分辨率点云成像激光雷达模型。

4.根据权利要求1所述的异构变分辨率点云成像可视化方法，其特征在于，利用所述异构变分辨率点云成像激光雷达模型，对所述目标物进行异构变分辨率点云成像扫描包括：

在所述异构变分辨率点云成像激光雷达模型中，设置扫描的环数M和每一环的扫描点数N，基于所述环数M和所述扫描点数N，计算扫描方案，基于所述扫描方案对所述目标物进行扫描。

5.根据权利要求4所述的异构变分辨率点云成像可视化方法，其特征在于，基于所述扫描方案对所述目标物进行扫描包括：

根据所述扫描方案，发射激光脉冲对所述目标物进行扫描，获得目标点深度信息并保存入向量组，判断是否执行到最后一个扫描点，是，则完成一帧图像扫描，不是，则调整激光束到下一个所述扫描点继续扫描。

6.根据权利要求1所述的异构变分辨率点云成像可视化方法，其特征在于，显示所述点云数据包括：

根据采集到的所述点云数据，调节所述点云数据的大小、颜色，进行实时显示。

7.根据权利要求1所述的异构变分辨率点云成像可视化方法，其特征在于，对可见光波段与所述点云数据进行融合显示包括：

识别渲染对象，加载所述渲染对象，设置所述渲染对象对应的渲染材质和纹理；

对渲染图元进行顶点坐标变换、剪裁，获得顶点坐标、纹理坐标；

将所述顶点坐标、纹理坐标转化为像素坐标，基于所述像素坐标生成像素，组成图片；

将渲染层与点云渲染层进行融合计算，实现所述可见光波段与所述点云数据融合显示。

Images