CN114002701A - 一种实时渲染点云的方法、装置、电子设备及系统 - Google Patents

一种实时渲染点云的方法、装置、电子设备及系统 Download PDF

Info

Publication number
CN114002701A
CN114002701A CN202110873110.9A CN202110873110A CN114002701A CN 114002701 A CN114002701 A CN 114002701A CN 202110873110 A CN202110873110 A CN 202110873110A CN 114002701 A CN114002701 A CN 114002701A
Authority
CN
China
Prior art keywords
point cloud
rendering
data
cloud data
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110873110.9A
Other languages
English (en)
Inventor
黄浩
吴昊
刘贤焯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202110873110.9A priority Critical patent/CN114002701A/zh
Publication of CN114002701A publication Critical patent/CN114002701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及图像处理技术领域，尤其涉及一种实时渲染点云的方法、装置、电子设备及系统。该实时渲染点云的方法包括：利用激光雷达扫描时采集的数据获取点云数据，并对点云数据进行初始化，得到初始化后的点云数据；并行加载初始化后的点云数据，调用Unity引擎将点云数组并行转换为网格顶点；对网格顶点中各顶点坐标进行仿射变换以实现点云渲染。本申请实施例能大幅度降低CPU、内存的性能开销，从而提高实时渲染帧率。

Description

一种实时渲染点云的方法、装置、电子设备及系统
技术领域
本申请涉及基于激光雷达的环境感知技术领域，尤其涉及一种实时渲染点云的方法、装置、电子设备及系统。
背景技术
激光雷达是激光探测及测距系统的简称。激光雷达通过测定传感器或发射器与目标物体之间的传播距离，分析目标物体表面的反射能量大小、反射波谱的幅度、频率和相位等信息，从而呈现出目标物精确的三维(3D)结构信息，由于其定位精度高，算法易实现，受昼夜影响小等诸多优点，成为自动驾驶定位与检测的核心设备。
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合。点云常用来描述3D场景，其产生途径也多种多样，其中激光雷达点云，由激光雷达扫描后处理产生。在自动驾驶领域和遥控遥测领域中，激光雷达点云均有着重要的作用，例如可以用来生成自动驾驶的高精度地图等。而如何高性能的实时渲染点云，成为了自动驾驶可视化系统的重要一环。
发明内容
有鉴于此，本申请实施例提供了一种高性能实时渲染点云的方法、装置、电子设备及系统。
第一方面，本申请一实施例提供了一种实时渲染点云的方法，包括：
利用激光雷达扫描时采集的数据获取点云数据，并对点云数据进行初始化，得到初始化后的点云数据；
并行加载初始化后的点云数据，调用Unity引擎将点云数组并行转换为网格顶点；
对网格顶点中各顶点坐标进行仿射变换以实现点云渲染。
本实施例提供的实时渲染点云的方法，使用Unity引擎中基于网格顶点的渲染方法，能大幅度降低CPU、内存的性能开销，从而提高实时渲染帧率，提供了一种更优的点云渲染解决方案。
作为第一方面的一种实现方式，所述并行加载初始化后的点云数据，调用Unity引擎将点云数组并行转换为网格顶点，包括：
将初始化后的点云数据转化为点云数组后传输至Unity引擎的存储区；
并行处理存储区中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。
作为第一方面的一种实现方式，所述并行加载初始化后的点云数据，调用Unity引擎将点云数组并行转换为网格顶点，包括：
将初始化后的点云数据转化为点云数组后传输至Unity引擎的共享内存；
并行处理共享内存中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。
本实现方式提供的实时渲染点云的方法，通过将点云数组存储于共享内存，主线程和各个作业线程都能访问共享内存，避免了内存拷贝的开销，进一步优化了方案。
作为第一方面的一种实现方式，所述并行加载初始化后的点云数据，调用Unity引擎将点云数组并行转换为网格顶点，包括：
将初始化后的点云数据转化为点云数组后传输至Unity引擎的计算缓存区；
处理计算缓存区中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。
作为第一方面的一种实现方式，对网格顶点中各顶点坐标进行仿射变换以实现点云渲染包括：
在GPU中使用Unity引擎的着色器对网格顶点中各顶点坐标进行拉伸，并计算拉伸之后的新的各顶点坐标，根据各新的各顶点坐标将点云渲染到像素屏幕上。
作为第一方面的一种实现方式，所述对点云数据进行初始化，得到初始化后的点云数据，包括：
将点云数据按预设格式进行初始化，获得预设格式的点云数据。
作为第一方面的一种实现方式，利用激光雷达扫描时采集的数据获取点云数据，包括：
获取激光雷达扫描时采集的深度图像及其基本数据，根据深度图像及其基本数据获取点云数据。
作为第一方面的一种实现方式，基本数据包括采集深度图像时的扫描角度和时间戳。
第二方面，本申请一实施例提供了一种实时渲染点云的装置，包括：
初始化模块，用于利用激光雷达扫描时采集的数据获取点云数据，并对点云数据进行初始化，得到初始化后的点云数据；
转换模块，用于并行加载初始化后的点云数据，将点云数组并行转换为网格顶点；
渲染模块，用于对网格顶点中各顶点坐标进行仿射变换以实现点云渲染；
其中，所述转换模块与所述渲染模块可调用Unity引擎进行工作。
第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面任一实现方式所述的实时渲染点云的方法。
第四方面，本申请实施例提供了一种实时渲染点云的系统，包括：一个或多个激光雷达，和如第三方面所述的电子设备，一个或多个激光雷达连接电子设备。
作为第四方面的一种实现方式，实时渲染点云的系统包括自动驾驶系统或遥感遥测系统。
第五方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一实现方式所述的实时渲染点云的方法。
第六方面，本申请一实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如第一方面或第一方面任一实现方式所述的实时渲染点云的方法。
可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面和第一方面任一实现方式中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种实时渲染点云的系统的结构示意图；
图2是本申请一实施例提供的一种实时渲染点云的方法的实现流程示意图；
图3是本申请一实施例提供的一种实时渲染点云的方法的过程示意图；
图4是本申请一实施例提供的一种实时渲染点云的方法中步骤S110的具体实现流程示意图；
图5是本申请一实施例提供的一种实时渲染点云的方法中步骤S120的具体实现流程示意图
图6是本申请一实施例提供的另一种实时渲染点云的方法的实现流程示意图；
图7是本申请一实施例提供的一种实时渲染点云的装置的结构示意图；
图8是本申请一实施例提供的一种实时渲染点云的装置中初始化模块的结构示意图；
图9是本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本申请说明书中描述的“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
此外，在本申请的描述中，“多个”的含义是两个或两个以上。术语“第一”、“第二”、“第三”和“第四”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
在大规模数据可视化领域，图形渲染速度是其应用开发的最重要因素之一。由于大规模数据可视化通常需要三维表示，Unity引擎作为目前主流的3D可视化引擎，广泛的运用于各种3D渲染实现。
例如自动驾驶系统通常采用64线激光雷达，每秒生成点云的数量较大，达到120万。如果按10Hz的传输频率，在Unity引擎中，每帧需要渲染12万左右的点云数据，传统的渲染方法通常是使用Unity引擎自带的粒子系统，将每个点云中的点对应于每个粒子，并把对应的坐标、颜色赋值给粒子。但大规模的使用粒子特效会造成Draw call高，渲染开销大，CPU占用高等问题。
本申请实施例提供一种实时渲染点云的方法、装置及电子设备，使用Unity引擎的网格过滤器(MeshFilter)来渲染点云，能大幅度降低CPU、内存的性能开销，从而提高实时渲染帧率，提供了一种更优的点云渲染解决方案。
本申请实施例提供的实时渲染点云的方法可应用于电子设备。电子设备包括但不限于计算机、平板电脑、车载终端或服务器等。服务器包括但不限于独立服务器或云服务器等。
在一些实施例中，电子设备与激光雷达作为自动驾驶系统或遥感遥测系统的组成部分。如图1所示，为实时渲染点云的系统，例如自动驾驶系统或遥感遥测系统的结构示意图，实时渲染点云的系统包括电子设备11和激光雷达12。电子设备11与激光雷达12进行有线或无线的连接。
需要说明的是，激光雷达可以根据实际使用场景的不同采用一个或多个，可以采用单线激光雷达和/或多线激光雷达。系统还可以包括更多部件，图1仅作为示例性描述。
图2是本申请一实施例提供的一种实时渲染点云的方法的实现流程示意图，图3是本申请一实施例提供的一种实时渲染点云的方法的实现过程示意图。本申请实施例提供的实时渲染点云的方法适用于对点云数据进行渲染后实现可视化的情形。该方法由实时渲染点云的装置执行，实时渲染点云的装置通常集成于电子设备，例如图1所示的电子设备11。
如图2所示，实时渲染点云的方法可以包括步骤S110至步骤S130。
S110，利用激光雷达扫描时采集的数据获取点云数据，并对点云数据进行初始化，得到初始化后的点云数据。
在一些实施例中，如图1所示，电子设备11连接激光雷达12。激光雷达扫描时采集的数据除深度图像外，还包括采集当前深度图像时的扫描角度及时间戳等基本数据。电子设备按照预设频率获取激光雷达采集的深度图像及基本数据。预设频率可以为系统默认设置，也可以由用户自定义设置。电子设备利用深度图像及基本数据获取点云数据，并对点云数据进行初始化，得到初始化后的点云数据。
作为一非限制性示例，如图4所示，步骤S110具体包括步骤S111和S112。
S111，利用激光雷达扫描时采集的数据获取点云数据。
在一些实施例中，激光雷达扫描时采集的数据包括深度图像，还包括采集当前深度图像时的扫描角度及时间戳等基本数据。
作为一实现方式，如图3所示，电子设备配置有机器人操作系统(Robot OperatingSystem，ROS)，电子设备按固定频率获取激光雷达存储的深度图像及基本数据后，利用ROS将激光雷达采集的深度图像转换为点云数据。
更具体地：将激光雷达采集的深度图像转换为点云数据的计算方法为：
Figure BDA0003189791180000071
其中，(xs,ys,zs)为激光雷达相机坐标系下的点云三维坐标，z为每个像素上的深度，(u,v)为像素坐标，(u0,v0)为图像主点坐标，dx和dy为激光雷达的传感器像元在两个方向上的物理尺寸，f’为焦距(单位为毫米)。
需要说明的是，每个像素对应的点云数据还均赋予激光雷达扫描时采集每帧深度图像的扫描角度和时间戳等基本数据。
S112，初始化点云数据，获得预设格式的点云数据。
将基于步骤S110获取的点云数据，将其按预设格式进行初始化，获得预设格式的点云数据。例如，可以将点云数据转换成多边形档案(Polygon File Format，PLY)文件格式、PCD文件格式或txt文件格式等。需要说明的是，本申请实施例对点云数据的格式不做具体限制，任一格式的点云数据都适用于本申请。
在一些实施例中，将点云数据转换为PLY文件格式，PLY文件格式可以用于描述一个多边形模型。PLY文件格式包括头部和元素列表。头部包括对每个元素类型的描述，元素名，各元素的数量，以及与这个元素关联的不同属性的列表。元素名例如边、顶点和面片等。元素列表包括顶点列表，面片列表，其他元素列表等。
作为一非限制性示例，多边形模型可以通过诸如点云的顶点、顶点之间形成的面等元素及元素列表，诸如扫描角度和时间戳等元素的关联属性进行描述，元素列表包括点云数据中所有顶点的三维坐标。
S120，并行加载初始化后的点云数据，调用Unity引擎将初始化后的点云数据并行转换为网格顶点。
在一些实施例中，获得初始化后的点云数据，并行加载初始化后的点云数组，调用Unity引擎将初始化后的点云数据并行转换成网格顶点。网格顶点包括Unity引擎中网格(Mesh)各顶点的数据，例如坐标数据。
作为一非限制性示例，调用Unity引擎将PLY文件格式的点云数据并行转换成Unity引擎中Mesh各顶点的数据。
在一些实施例中，如图5所示，步骤S120具体包括步骤S121至S122。
S121，将初始化后的点云数据转化为点云数组后传输至Unity引擎的共享内存。
在一些实现方式中，加载初始化后的点云数据，调用Unity引擎将初始化后的点云数据转化为点云数组，进而将点云数组传输至Unity引擎的共享内存中，参见图3所示。主线程和各个作业(job)都能访问共享内存，避免了内存拷贝的开销。
作为一非限制性示例，共享内存可以包括共享内存类型的本地容器(或称为原生容器)(Native Container)。Native Container是Unity提供的一种用于C#与Native进行内存共享的一种容器，避免了内存拷贝的开销。
在其他一些实施例中，进一步地，在步骤S121之后还可根据点云数组在共享内存中的地址赋予每个点云数组相应的索引，以便后续处理过程中可更好并行处理。例如，如图3中所示，激光雷达点云数组a在共享内存中的地址为NativeArray_a；激光雷达点云数组b在共享内存中的地址为NativeArray_b。
S122，并行处理共享内存中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。
在一些实施例中，可通过Unity引擎中的作业系统(job system)并行处理共享内存中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。利用共享内存类型的Native Container，和作业系统(job system)实现点云数据的并行加载，可以提高方案整体性能。
由于获取网格顶点和将顶点数据传输至GPU为异步逻辑指令，并且Unity引擎通常在每个CPU内核有一个工作线程，作业(Jobs)会在这些线程间同步调度。因此，可通过Unity引擎中的job system将异步逻辑指令封装为单独元素，由Unity引擎调度和分配合适的线程，避免直接线程操作，进而避免耗费大量的时间成本。
作为一非限制性示例，继续参见图3所示，调用Unity引擎的网格渲染接口Mesh.SetVertices以及Mesh.UploadMeshData，其中，Mesh.SetVertices用于将点云数组转为网格顶点，Mesh.UploadMeshData用于将设置好的网格顶点数据立即传到GPU。而由于上述过程为异步指令，因此，可通过job system将上述过程封装为多个单独元素，通过多线程直接从Native Container容器同时读取多个点云数组以进行并行处理以获得多个网格顶点并将多个网格顶点从CPU并行加载至GPU。
需要说明的是，可由Unity引擎控制与CPU核数的对应关系，达到最优的运行效果。
S130，对网格顶点中各顶点坐标进行仿射变换以实现点云渲染。
在一些实施例中，继续参见图3所示，在GPU中使用Unity引擎的顶点着色器(Vertex shaders)对各顶点坐标进行拉伸，并计算拉伸之后的新的各顶点坐标，最终根据新的各顶点坐标将点云渲染到像素屏幕上。
具体地，当网格顶点导入到Unity引擎中，可以在顶点着色器中访问到模型的顶点坐标，其中包含了每个顶点的坐标。
顶点变换的第一步：将顶点坐标从模型空间变换到世界空间中，这个变换通常叫做模型变换(Model Transform)。
顶点变换的第二步，就是将顶点坐标从世界空间到观察空间中，这个变换叫观察变换(View Transform)。
第三步，顶点接下来要从观察空间转换到裁剪空间中，这个用于变换的矩阵叫做裁剪矩阵/投影矩阵。投影其实是一个空间的降维，从四维空间到二维屏幕空间。
第四步，经过投影矩阵的变换后就可以进行裁剪工作了，当完成了所有的裁剪工作，就进行真正的投影，得到了真正的像素位置，而不是虚拟的三维坐标。
需要说明的是，在其他实施例中，还可以调用Unity引擎的表面着色器(SurfaceShaders)或固定管线着色器(Fixed Function Shaders)完成对网格顶点的渲染。
本申请实施例通过对Unity引擎中网格过滤器组件的充分利用并结合CPU多线程技术，实现了高性能的点云实时渲染。本方案相对于传统的粒子系统渲染方法，具有Drawcall低、渲染开销小、帧率高的优势。
图6为本申请另一实施例提供了一种实时渲染点云的方法，应理解，本实施例与前述实施例相同之处，此处不再赘述。
如图6所示，一种实时渲染点云的方法包括步骤S210至S240。
S210，利用激光雷达扫描时采集的数据获取点云数据，并对点云数据进行初始化，得到初始化后的点云数据。
S220，将初始化后的点云数据转化为点云数组后传输至Unity引擎的计算缓存区中。
在一些实施例中，调用Unity引擎将初始化后的点云数据并行转化为点云数组，并将点云数组传输至Unity引擎的计算缓存区(computeBuffer)中。
S230，并行处理计算缓存区中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。
S240，对网格顶点中各顶点坐标进行仿射变换以实现点云渲染。
本申请实施例与前述实施例的区别在于，不同于共享内存的方式，采用的是计算缓存区(computeBuffer)存储点云数组，不能并行处理各点云数组，相比于前述实施例内存开销大一些。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请一实施例还提供一种实时渲染点云的装置。该实时渲染点云的装置中未详细描述之处请详见前述方法实施例中的描述。
参见图7，图7是本申请一实施例提供的一种实时渲染点云的装置的示意框图。所述实时渲染点云的装置包括：初始化模块71、转换模块72和渲染模块73。
其中，初始化模块71，用于利用激光雷达扫描时采集的数据获取点云数据，并对点云数据进行初始化，得到初始化后的点云数据；
转换模块72，用于并行加载初始化后的点云数据，将点云数组并行转换为网格顶点；
渲染模块73，用于对网格顶点中各顶点坐标进行仿射变换以实现点云渲染。
在一些实施例中，所述转换模块72与所述渲染模块73可调用Unity引擎进行工作，具体为：
将初始化后的点云数据转化为点云数组后传输至Unity引擎的存储区；
并行处理存储区中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。
作为一实现方式，所述转换模块72，具体用于：
将初始化后的点云数据转化为点云数组后传输至Unity引擎的共享内存；
并行处理共享内存中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。
作为另一实现方式，所述转换模块72，具体用于：
将初始化后的点云数据转化为点云数组后传输至Unity引擎的计算缓存区；
并行处理计算缓存区中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。
在一些实施例中，所述渲染模块73，具体用于：
在GPU中使用Unity引擎的着色器对网格顶点中各顶点坐标进行拉伸，并计算拉伸之后的新的各顶点坐标，根据各新的各顶点坐标将点云渲染到像素屏幕上。
在一些实施例中，如图8所示，所述初始化模块71包括获取子模块711和初始化子模块712。
其中，所述获取子模块711，用于获取激光雷达扫描时采集的深度图像及其基本数据，根据深度图像及其基本数据获取点云数据。
所述初始化子模块712，用于将点云数据按预设格式进行初始化，获得预设格式的点云数据。
本申请一实施例还提供了一种电子设备，如图9所示，电子设备可以包括一个或多个处理器90(图9中仅示出一个)，存储器91以及存储在存储器91中并可在一个或多个处理器90上运行的计算机程序92，例如，实时渲染点云的程序。一个或多个处理器90执行计算机程序92时可以实现实时渲染点云的方法实施例中的各个步骤。或者，一个或多个处理器90执行计算机程序92时可以实现实时渲染点云的装置实施例中各模块/单元的功能，此处不作限制。
本领域技术人员可以理解，图9仅仅是电子设备的示例，并不构成对电子设备的限定。电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
在一个实施例中，所称处理器90可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一个实施例中，存储器91可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器91也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，存储器91还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器91用于存储计算机程序以及电子设备所需的其他程序和数据。存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现实时渲染点云的方法实施例中的步骤。
本申请一实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备可实现实时渲染点云的方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种实时渲染点云的方法，其特征在于，包括：
利用激光雷达扫描时采集的数据获取点云数据，并对点云数据进行初始化，得到初始化后的点云数据；
并行加载初始化后的点云数据，调用Unity引擎将点云数组并行转换为网格顶点；
对网格顶点中各顶点坐标进行仿射变换以实现点云渲染。
2.如权利要求1所述的实时渲染点云的方法，其特征在于，所述并行加载初始化后的点云数据，调用Unity引擎将点云数组并行转换为网格顶点，包括：
将初始化后的点云数据转化为点云数组后传输至Unity引擎的共享内存；
并行处理共享内存中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。
3.如权利要求1所述的实时渲染点云的方法，其特征在于，所述并行加载初始化后的点云数据，调用Unity引擎将点云数组并行转换为网格顶点，包括：
将初始化后的点云数据转化为点云数组后传输至Unity引擎的存储区域；
并行处理存储区域中的点云数组，以获取点云数组的网格顶点，并将网格顶点传输至GPU。
4.如权利要求2或3所述的实时渲染点云的方法，其特征在于，对网格顶点中各顶点坐标进行仿射变换以实现点云渲染包括：
在GPU中使用Unity引擎的着色器对网格顶点中各顶点坐标进行拉伸，并计算拉伸之后的新的各顶点坐标，根据各新的各顶点坐标将点云渲染到像素屏幕上。
5.如权利要求1至3任一项所述的实时渲染点云的方法，其特征在于，所述对点云数据进行初始化，得到初始化后的点云数据，包括：
将点云数据按预设格式进行初始化，获得预设格式的点云数据。
6.如权利要求1至3任一项所述的实时渲染点云的方法，其特征在于，利用激光雷达扫描时采集的数据获取点云数据，包括：
获取激光雷达扫描时采集的深度图像及其基本数据，根据深度图像及其基本数据获取点云数据。
7.一种实时渲染点云的装置，其特征在于，包括：
初始化模块，用于利用激光雷达扫描时采集的数据获取点云数据，并对点云数据进行初始化，得到初始化后的点云数据；
转换模块，用于并行加载初始化后的点云数据，将点云数组并行转换为网格顶点；
渲染模块，用于对网格顶点中各顶点坐标进行仿射变换以实现点云渲染；
其中，所述转换模块与所述渲染模块可调用Unity引擎进行工作。
8.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的实时渲染点云的方法。
9.一种实时渲染点云的系统，其特征在于，包括：一个或多个激光雷达，和如权利要求8所述的电子设备，一个或多个激光雷达连接电子设备。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的实时渲染点云的方法。
CN202110873110.9A 2021-07-30 2021-07-30 一种实时渲染点云的方法、装置、电子设备及系统 Pending CN114002701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110873110.9A CN114002701A (zh) 2021-07-30 2021-07-30 一种实时渲染点云的方法、装置、电子设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110873110.9A CN114002701A (zh) 2021-07-30 2021-07-30 一种实时渲染点云的方法、装置、电子设备及系统

Publications (1)

Publication Number Publication Date
CN114002701A true CN114002701A (zh) 2022-02-01

Family

ID=79921045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110873110.9A Pending CN114002701A (zh) 2021-07-30 2021-07-30 一种实时渲染点云的方法、装置、电子设备及系统

Country Status (1)

Country Link
CN (1) CN114002701A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187713A (zh) * 2022-09-08 2022-10-14 山东信通电子股份有限公司 一种用于加速点云选点操作的方法、设备及介质
CN115393496A (zh) * 2022-10-25 2022-11-25 之江实验室 一种多激光雷达仿真点云的快速绘制方法和装置
CN116188660A (zh) * 2023-04-24 2023-05-30 深圳优立全息科技有限公司 一种基于流式渲染的点云数据处理方法及相关装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187713A (zh) * 2022-09-08 2022-10-14 山东信通电子股份有限公司 一种用于加速点云选点操作的方法、设备及介质
CN115393496A (zh) * 2022-10-25 2022-11-25 之江实验室 一种多激光雷达仿真点云的快速绘制方法和装置
CN115393496B (zh) * 2022-10-25 2023-03-24 之江实验室 一种多激光雷达仿真点云的快速绘制方法和装置
CN116188660A (zh) * 2023-04-24 2023-05-30 深圳优立全息科技有限公司 一种基于流式渲染的点云数据处理方法及相关装置

Similar Documents

Publication Publication Date Title
US10614549B2 (en) Varying effective resolution by screen location by changing active color sample count within multiple render targets
US10438319B2 (en) Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
CN114002701A (zh) 一种实时渲染点云的方法、装置、电子设备及系统
KR101923562B1 (ko) 가변 렌더링 및 래스터화 파라미터 하에서 가변 뷰포트에 대하여 오브젝트를 효율적으로 리렌더링하는 방법
RU2695528C2 (ru) Визуализация изображения данных лазерного сканирования
JP4803594B2 (ja) 局所領域分割による自由視点画像の生成装置およびプログラム
CN116050495A (zh) 用稀疏数据训练神经网络的系统和方法
US11908039B2 (en) Graphics rendering method and apparatus, and computer-readable storage medium
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN110570506B (zh) 一种地图资源管理方法、装置、计算设备及存储介质
GB2406252A (en) Generation of texture maps for use in 3D computer graphics
CN116721231A (zh) 基于无人机机载定位的可扩展场景三维重建方法及系统
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
AU2020449562B2 (en) Geometry-aware augmented reality effects with a real-time depth map
CN117132652A (zh) 基于三维网格的目标点云标记方法、装置、设备及介质
CN116630516B (zh) 一种基于3d特性的2d渲染排序方法、装置、设备及介质
US11302054B2 (en) Varying effective resolution by screen location by changing active color sample count within multiple render targets
CN116704125A (zh) 一种基于三维点云的映射方法、装置、芯片及模组设备
CN115131507B (zh) 图像处理方法、图像处理设备和元宇宙三维重建方法
CN115601275A (zh) 点云增广方法及装置、计算机可读存储介质、终端设备
CN116263981B (zh) 图形处理器、系统、装置、设备及方法
WO2024199097A1 (zh) 一种渲染方法及相应装置
CN113495278B (zh) 用于增强点云数据的方法和装置
CN117876209A (zh) 体素的快速遍历方法、装置、设备及存储介质
EP3441789A1 (en) System and method for processing data and a user device for pre-processing data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination