CN111684494A

CN111684494A - 点云的实时显示方法、装置和计算机存储介质

Info

Publication number: CN111684494A
Application number: CN201980010684.4A
Authority: CN
Inventors: 薛唐立; 马东东
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd; Shenzhen Dajiang Innovations Technology Co Ltd
Priority date: 2019-05-23
Filing date: 2019-05-23
Publication date: 2020-09-18
Also published as: WO2020232715A1

Abstract

本发明提供一种点云的实时显示方法、装置和计算机存储介质，包括：获取初始点云(S201)；对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求(S202)；将所述更新后的点云存储在树形结构的节点中(S203)；显示所述树形结构中至少一个节点的点云(S204)。通过本发明实施的方案能够显著提高渲染速度，保证渲染的流畅，实现对点云的实时显示，从而使用户能够实时查看点云，提高作业效率。

Description

点云的实时显示方法、装置和计算机存储介质

技术领域

本发明总地涉及测绘技术领域，更具体地涉及一种点云的实时显示方法、装置和计算机存储介质。

背景技术

目前测绘领域中，查看生成的点云需要在整个场景或者物体重建完成之后，因此用户无法实时看到重建的效果，也就不能及时确定场景或者物体中哪些区域重建的好，哪些区域并未重建出来。查看重建的效果必须等到整个场景重建完成之后会导致以下几个问题：1、查看场景中任何一块的点云都要等待整个场景重建完成，这往往要等待大量的时间。场景的重建往往需要耗费比较长的时间，短则几十分钟，长则几天，因为只能在整个场景重建完成后才能查看点云的情况，查看点云需要等待很长的时间。2、无法第一时间(如现场采集图片时)看到模型重建的效果，效率低。测绘作业时，经常会出现离开现场回去重建了很长时间后，发现有些地方由于拍摄的不好无法重建，需要再次采集图像的情况。这就需要返回取景地重新拍摄，浪费大量的人力、时间成本。3、等待整个场景重建完成后才能让用户查看点云，用户体验不好。

因此，鉴于上述问题，本发明提供一种新的点云的实时显示方法、装置和计算机存储介质。

发明内容

为了解决上述问题中的至少一个而提出了本发明。具体地，本发明一方面提供一种点云的实时显示方法，所述实时显示方法包括：

获取初始点云；

对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；

将所述更新后的点云存储在树形结构的节点中；

显示所述树形结构中至少一个节点的点云。

本发明再一方面提供一种点云的实时显示装置，所述实时显示装置包括：

获取模块，用于获取初始点云；

分层模块，用于对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；

存储模块，用于将所述更新后的点云存储在树形结构的节点中；

显示模块，用于显示所述树形结构中至少一个节点的点云。

本发明另一方面提供一种点云的实时显示装置，所述装置包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的所述指令，使得所述处理器执行前述的点云的实时显示方法。

本发明又一方面提供一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现前述的点云的实时显示方法。

根据本发明实施例的点云的实时显示方法和装置，其通过对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；将所述更新后的点云存储在树形结构的节点中；显示所述树形结构中至少一个节点的点云，能够显著提高渲染速度，保证渲染的流畅，实现对点云的实时显示，从而使用户能够实时查看点云，提高作业效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一个实施例中的无人机测绘场景的示意图；

图2示出了本发明一个实施例中的点云的实时显示方法的示意图流程图；

图3示出了本发明一个实施例中的三层四叉树结构的示意图；

图4示出了本发明一个实施例中的点云和真实地理信息对齐后的示意图；

图5示出了本发明一个实施例中的点云的实时显示装置的示意性框图；

图6示出了本发明再一个实施例中的点云的实时显示装置的示意性框图；

图7示出了本发明一个实施例中的点云的实时显示系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。

在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。

为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

下面结合附图，对本申请的点云的实时显示方法和装置、系统进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

请参照图1，图1为本发明一个实施例中的无人机测绘场景的示意图，无人机测绘系统包括无人机101，地面站102。无人机101具体可以是执行测绘任务的无人机。可选的，无人机101可以是多旋翼无人机，示例的，可以是四旋翼无人机、六旋翼无人机、八旋翼无人机；无人机101还可以是垂直起降无人机，该垂直起降无人机上具有旋翼动力系统和固定翼动力系统；无人机101还可以是固定翼无人机。地面站102可以是遥控器、智能手机、平板电脑、地面控制站、膝上型电脑、手表、手环等及其组合，在本实施例中，地面站102具体可以是如图1所示的PC地面站。地面站102可以根据测绘任务目标区域的定位信息，确定测绘航线信息，该目标区域可以是测绘人员在地面站102的用户界面上选择的区域，或者该目标区域可以是根据测绘人员在地面站102上输入的信息确定的区域。地面站102将测绘航线信息发送给无人机101。无人机101通过云台搭载有拍摄设备，无人机101根据该测绘航线信息运动的过程中通过拍摄设备拍摄多张二维图像，并将二维图像序列发送给地面站102。地面站102通过三维重建算法对二维图像序列进行处理可以得到初始点云，通过对初始点云进行采样可以获得具有不同层级的更新后的点云，其中，更新后的点云中不同层级的点云满足不同的采样间隔要求，将更新后的点云存储在树形结构的节点中，进一步地，地面站102可以实时显示树形结构中至少一个节点的点云。

本发明实施例通过对初始点云进行采样，选择性的显示部分的点云，能够显著提高渲染速度，保证渲染的流畅，实现对点云的实时显示，也即在无人机101执行测绘任务的过程中，地面站102可以实时显示三维重建的结果，从而使测绘人员能够实时查看三维重建效果，提高效率。

下面，参考图2对本发明一个实施例中的点云的实时显示方法进行描述。

在一个实施例中，如图2所示，该点云的实时显示方法200包括以下步骤S201至步骤S204，其中，在步骤S201中，获取初始点云。

初始点云可以是通过三维重建而获得，例如，获取初始点云的方法包括：获取拍摄目标区域的至少部分区域生成的二维图片；利用三维重建算法对所述二维图片进行重建，以生成所述初始点云，其中，二维图片可以是包括多张二维图片的二维图片集。二维图片集可以是对目标区域或目标物体进行多角度拍摄得到的图片集。本发明实施例对拍摄二维图片集的拍摄设备不做限定，其可以为任意的拍摄设备，例如相机。该拍摄设备可以为无人机、三脚架、车辆、飞机及卫星等不同平台中的拍摄设备，作为一个示例，该拍摄设备可以为无人机中的拍摄设备。

初始点云还可以是通过激光雷达或毫米波雷达实时获取的点云，该激光雷达或毫米波雷达可以搭载在例如无人机、三脚架、车辆、飞机及卫星等不同平台上。

由于每次渲染的点云加载需要时间，时间长短随着点云的增大而增长，如果点云比较大，就会出现上一块点云没有加载完，就需要渲染下一块点云的情况，会造成渲染的卡顿和延迟，渲染效果不流畅，因此，在本发明的一个实施例中，所述初始点云为整个目标区域的点云中的若干分块中的一个分块，例如该些分块可以具有大体相同的文件大小，更一步，每获取到预设文件大小的初始点云，则对该预设文件大小的初始点云采用本发明实施例提供的点云的实时显示方法进行实时显示，其中，该预设文件大小可以根据实际显示的情况进行合理设定，例如预设文件大小的范围在100kb至10Mb之间，例如，100kb、1Mb、2Mb、3Mb、4Mb、5Mb等，数值的大小可以根据计算机的运算能力进行设定。在一个示例中，还可以通过点云的数量限定初始点云的预设文件大小，例如，初始点云为具有预设点云数量的点云，也即每获得预设点云数量的初始点云，则对该初始点云采用本实施例提供的点云的实时显示方法进行实时显示。通过使得每次渲染显示的初始点云的文件大小大体相同，可以避免由于初始点云的尺寸不同而导致的加载时间不同，导致的渲染的卡顿和延迟，渲染效果不流畅问题，从而提高渲染速度，保证渲染的流畅。

继续如图2所示，在步骤S202中，对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求，通过采样减少需要显示的点云的数目，不需要一次性加载全部数据，从而可以提升渲染速度，使显示变得流畅。

在一个示例中，随着物体、模型远离或者靠近观察者可以显示不同层级的点云。当物体距离视点很近时，可以显示较为精细的层级，而当物体距离视点很远时，可以显示较为粗糙的层级，同时也并不会导致视觉质量的下降。进一步地，当物体处于可见范围之外的时候，将不再需要进行渲染。由此，不需要一次性加载全部数据，从而使显示变的流畅。

具体地，可以根据任意适合的方法对该初始点云进行采样，例如随机采样、泊松圆盘采样等。在本实施例中，主要以泊松圆盘采样为例对本发明实施例的方法进行说明。

在一个示例中，所述更新后的点云包括第一层级至第n层级，其中，每个层级具有不同精细程度的点云，例如，第一层级为最粗糙层级，而第n层级为最精细层级，该n的数值可以是任意大于或等于2的整数，具体的分级数量可以根据实际的需要进行合理的设定，在此对其进行具体限定。

在一个示例中，任一层级中两个点云点之间的距离大于或等于预设采样间隔，不同层级对应于不同的预设采样间隔，例如，从第一层至第n层级预设采样间隔的数值依次降低，更进一步，例如，第n层级的预设采样间隔为第n-1层级的预设采样间隔的二分之一。可选地，所述第n层级的预设采样间隔与地面采样距离(GSD，Ground sample distance)相等，其中，该地面采样距离表示一个像素代表的实际距离。通过依次降低预设采样间隔，使得从第一层级至第n层级的更新后的点云具有不同的精细程度。

在一个具体实施例中，更新后的点云分为三个层级，所述对所述初始点云进行采样，以获得具有不同层级的更新后的点云，具体包括：将所述初始点云中点云间隔大于或等于第一预设采样间隔的点云放到第一层级，例如，将包括4200个点云的初始点云中大于或等于第一预设采样间隔的200个点云放到第一层级；将所述第一层级以外的点云中点云间隔大于或等于第二预设采样间隔的点云放到第二层级，例如，将所述第一层级以外的点云中点云间隔大于或等于第二预设采样间隔的800个点云放到第二层级；将所述第一层级和所述第二层级以外的点云放到第三层级，例如剩余的3200个点云放到第三层级，以获得具有三个分层的所述更新后的点云，或者，将所述第一层级和所述第二层级以外的点云中点云间隔大于或等于第三预设采样间隔的点云放到第三层级，以获得具有三个分层的所述更新后的点云。其中，第一预设采样间隔大于所述第二预设采样间隔，第二预设采样间隔大于第三预设采样间隔，更具体地，还可以是第二预设采样间隔是第一预设采样间隔的二分之一，第三预设采样间隔是第二预设采样间隔的二分之一，第三预设采样间隔还可以与地面采样距离(GSD，Ground sample distance)相等。通过将最精细层的采样间隔设置成地面采样距离，可以使得显示最精细层的点云时可以准确还原目标区域信息。

在一个示例中，更新后的点云会存储到树形结构的节点中，为了提高每个节点的点云的加载速度，可以使树形结构的每个节点中存储的点云数量小于预设点云数量，例如小于7000个点云，这样加载每个节点的点云时则不会超过预设文件大小，例如不会超过1Mb，数值的大小可以根据计算机的运算能力进行设定。

在一个示例中，当本发明的方法用于测绘的场景时，高度方向变化范围一般比水平方向变化范围小的多，因此可以仅仅对水平方向(例如、东、北)进行采样。

继续如图2所示，在步骤S203中，将所述更新后的点云存储在树形结构的节点中。

所述树形结构可以是任意适合的树形结构中，例如二叉树、三叉树、四叉树、八叉树等，其中，在本实施例中，主要以四叉树为例进行解释和说明书。例如，对于每个更新后的点云用四叉树的结构来存储。例如，如图3所示的三层的四叉树结构，该四叉树结构中每个父节点具有四个子节点。

经过上述采样之后，将所述更新后的点云存储在树形结构的节点中，在一个示例中，以三个层级的更新后的点云为例，将所述更新后的点云存储在树形结构的节点中具体包括：将所述第一层级的点云存储在所述树形结构的根节点中，其中，所述树形结构中的每个父节点具有m个子节点，所述m为大于或等于2的正整数。例如，四叉树的每个父节点具有4个子节点；将所述第二层级的点云划分至m个(例如4个)栅格中，将所述m个栅格中每个栅格的点云分别存储在所述根节点下的m个(例如4个)第一子节点中，其中，每个栅格对应一个子节点；将所述第三层级的点云划分至m×m个(例如16个)栅格中，将所述m×m个栅格中每个栅格的点云分别存储至所述m个第一子节点作为父节点下的m×m个第二子节点中，其中，每个栅格对应一个第二子节点。通过上述方法将点云以树形结构的形式存储。

在一个实施例中，本发明实施例的方法还包括：根据所述节点内存储的点云的点云信息生成节点模型属性信息；根据所述节点模型属性信息和所述点云信息生成预定类型的数据文件，进而产生了待加载显示的点云所需的预定类型的数据文件，这些文件还可以存入磁盘。

所述预设类型的数据文件包括第一类型的数据文件和第二类型的数据文件，所述第一类型的数据文件包括所述节点模型属性信息，所述第二类型的数据文件包括所述点云信息。可选地，第一类型的数据文件包括json文件，第二类型的数据文件包括pnts文件。

可选地，所述节点模型属性信息包括第一模型属性信息、第二模型属性信息和第三模型属性信息，其中，第一模型属性信息包括包围盒(bounding Volume)，用于指示包裹点云的形状，例如方盒形(box)、不规则区域形(region)、球形(sphere)等。

第二模型属性信息包括几何误差(geometric Error)，用于指示显示所述不同层级中的哪一个层级，几何误差代表的意思是实际的几何误差(米)在当前的缩放比例下投影到屏幕上的像素距离，例如：几何误差为0.3米，表示实际场景中0.3米的距离在当前的缩放比例下投影到屏幕上的像素距离。在一个实施例中，可以以1个像素为门限，在放大过程中，如果有一个层级的几何误差对应的投影像素距离从小于1变大到大于1，那就要显示下一个更精细层级，在缩小过程中，如果有一个层级的几何误差对应的投影像素距离从大于1减小到小于1则就要加载下一个更粗糙层级。对于不同层级其具有的几何误差也不同，例如每个层级的几何误差和采样间隔呈比例关系，采样间隔越大该几何误差也越大。

第三模型属性信息用于在显示不同层级时决定是替换当前显示的层级还是在当前显示的层级上添加其他层级，第三模型属性信息可以包括添加(add)和替换(replace)两种选择。

在一个示例中，节点模型属性信息还包括内容(content)，用于描述具体点云信息，还包括内容包围盒(content.boundingVolume)类似于前文的包围盒(boundingVolume)属性，也是包裹点云数据的区域，不过比前者要更加紧的包裹点云，内容包围盒是可选择的，还包括content.uri，其指明真实的点云，即第二类型的数据文件(例如pnts文件)的名称。json文件还包括孩子(children)，children部分的内容也包含上面的属性，其用来记录点云的不同层级。

在一个示例中，所述第二类型的数据文件包括所述点云信息，其用于存储点云信息，可选地，所述点云信息包括每个点云的位置、颜色和法向量中的至少一种信息，或者还可以包括每个点云的其他信息，例如反射率信息。

在一个示例中，第二类型的数据文件包括pnts文件，pnts文件是一个二进制文件，pnts文件包括体(Body)字段，其包每个点云的位置、颜色和法向量中的至少一种信息。

可选地，一个节点会对应一个json文件，每个点云会对应一个pnts文件。

在一个示例中，为了使点云信息和真实的地理信息贴合，本发明实施例的方法还包括将所述更新后的点云的坐标系转换到世界坐标系，其中，所述世界坐标系包括地心地固坐标系。例如，将更新后的点云的局部坐标系(例如东北天)转换到地心地固坐标系(如WGS 84坐标系)。具体地，可以通过任意适合的方法实现该坐标系转换，例如，计算所述更新后的点云的局部坐标系(例如东北天)到地心地固坐标系(如WGS 84坐标系)的变换矩阵，将该变换矩阵存储在第一类型的数据文件中，例如存储在json文件中，在加载点云时会自动将点云进行转换。如图4中箭头所指的区域所示，通过将点云转换到世界坐标系中，可以使得实时显示的点云与真实的地理信息贴合到一起，使用户能够及时、直观地查看到模型重建的效果，从而可以立即判断出无法重建或者重建效果不好的区域，从而在测绘现场即可再次对目标区域进行拍摄，节省人力和时间成本。

继续参考图2，在步骤S204中，显示所述树形结构中至少一个节点的点云。

在一个示例中，所述显示所述树形结构中至少一个节点的点云，包括：根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云。

更进一步地，不同层级的更新后的点云具有不同的几何误差，所述根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云，具体包括：确定所述几何误差大于或等于所述显示界面上一个像素对应的实际距离的层级为预定显示层级；根据所述显示区域确定显示所述预定显示层级中至少一个节点的点云，例如，具有三个层级的更新后的点云，其不同层级会有不同的几何误差，比如第一层级的几何误差是0.6m，第二层级的几何误差是0.3m，第三层级的几何误差是0.15m。若此时显示界面上一个像素对应的实际距离为0.15m，则可以显示第一层级、第二层级、第三层级，若显示界面上一个像素对应0.3m，则可以显示第一层级、第二层级。此外，根据显示区域确定要显示哪些节点的点云，例如对显示界面的左上角进行放大的过程中，在对应显示更精细层时，只需要显示更精细层中左上角区域对应节点的点云即可。通过根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云，可以减少需要显示的点云的数目，不需要一次性加载全部数据，从而可以提升渲染速度，使显示变得流畅。

下面，参考图5对本发明一个实施例中的点云的实时显示装置进行描述，该装置可以用于实现前述的方法。其中，图5示出了本发明一个实施例中的点云的实时显示装置的示意性框图。

如图5所示，所述实时显示装置500包括获取模块501，获取模块501用于获取初始点云。

在一个示例中，初始点云可以是通过三维重建而获得，所述实时显示装置还包括二维图片获取模块和三维重建模块，二维图片获取模块用于获取拍摄目标区域的至少部分区域生成的二维图片；三维重建模块用于利用三维重建算法对所述二维图片进行重建，以生成所述初始点云。

所述实时显示装置还包括拍摄模块(例如拍摄设备)，用于拍摄目标区域的至少部分区域生成所述二维图片。本发明实施例对拍摄二维图片集的拍摄设备不做限定，其可以为任意的拍摄设备，例如相机。该拍摄设备可以为无人机、三脚架、车辆、飞机及卫星等不同平台中的拍摄设备，作为一个示例，该拍摄模块可以设置在无人机上。

在其他示例中，所述初始点云还可以为通过激光雷达或毫米波雷达实时获取的点云。该激光雷达或毫米波雷达可以搭载在例如无人机、三脚架、车辆、飞机及卫星等不同平台上。

由于每次渲染的点云加载需要时间，时间长短随着点云的增大而增长，如果点云比较大，就会出现上一块点云没有加载完，就需要渲染下一块点云的情况，会造成渲染的卡顿和延迟，渲染效果不流畅，因此，在本发明的一个实施例中，所述初始点云为整个目标区域的点云中的若干分块中的一个分块，例如该些分块可以具有大体相同的文件大小，更一步，每获取到预设文件大小的初始点云，则对该预设文件大小的初始点云采用本发明实施例的提供的点云的实时显示装置进行实时显示，其中，该预设文件大小可以根据实际显示的情况进行合理设定，例如预设文件大小的范围在100kb至10Mb之间，例如，100kb、1Mb、2Mb、3Mb、4Mb、5Mb等，数值的大小可以根据计算机的运算能力进行设定。在一个示例中，还可以通过点云的数量限定初始点云的预设文件大小，例如，初始点云为具有预设点云数量的点云，也即每获得预设点云数量的初始点云，则对该初始点云采用本实施例中提供的点云的实时显示装置进行实时显示。通过使得每次渲染显示的初始点云的文件大小大体相同，可以避免由于初始点云的尺寸不同而导致的加载时间不同，导致的渲染的卡顿和延迟，渲染效果不流畅问题，从而提高渲染速度，保证渲染的流畅。

继续如图5所示，所述实时显示装置500还包括分层模块502，用于对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求。

在一个示例中，任一层级中两个点云点之间的距离大于或等于预设采样间隔，不同层级对应于不同的预设采样间隔，例如，从第一层至第n层级预设采样间隔的数值依次降低，更进一步，例如，第n层级的预设采样间隔为第n-1层级的预设采样间隔的二分之一。可选地，所述第n层级的预设采样间隔与地面采样距离(GSD，Ground sample distance)相等，其中，该地面采样距离表示一个像素代表的实际距离，通过将最精细层的采样间隔设置成地面采样距离，可以使得显示最精细层的点云时可以准确还原目标区域信息。并且通过依次降低预设采样间隔，使得从第一层级至第n层级的更新后的点云具有不同的精细程度。

在本发明的装置用于测绘的场景时，高度方向变化范围一般比水平方向变化范围小的多，因此可以仅仅对水平方向(例如、东、北)进行采样。

在一个具体示例中，所述分层模块502具体用于：将所述初始点云中点云间隔大于或等于第一采样间隔的点云放到第一层级；将所述第一层级以外的点云中点云间隔大于或等于第二采样间隔的点云放到第二层级；将所述第一层级和所述第二层级以外的点云放到第三层级，以获得具有三个分层的所述更新后的点云。

继续如图5所示，所述实时显示装置500还包括存储模块503，用于将所述更新后的点云存储在树形结构的节点中。

在一个示例中，以三个层级的更新后的点云为例，存储模块503具体用于：将所述第一层级的点云存储在所述树形结构的根节点中，其中，所述树形结构中的每个父节点具有m个子节点，所述m为大于或等于2的正整数，例如，四叉树的每个父节点具有4个子节点；将所述第二层级的点云划分至m个(例如4个)栅格中，将所述m个栅格中每个栅格的点云分别存储在所述根节点下的m个(例如4个)第一子节点中，其中，每个栅格对应一个子节点；将所述第三层级的点云划分至m×m个(例如16个)栅格中，将所述m×m个栅格中每个栅格的点云分别存储至所述m个第一子节点作为父节点下的m×m个第二子节点中，其中，每个栅格对应一个第二子节点。通过上述方法将点云以树形结构的形式存储。

在一个实施例中，所述实时显示装置还包括节点模型属性信息生成模块，用于根据所述节点内存储的点云的点云信息生成节点模型属性信息；实时显示装置还包括数据文件生成模块用于根据所述节点模型属性信息和所述点云信息生成预定类型的数据文件，进而产生了待加载显示的点云所需的预定类型的数据文件，这些文件还可以存入磁盘。

所述预设类型的数据文件包括第一类型的数据文件和第二类型的数据文件，所述第一类型的数据文件包括所述节点模型属性信息，所述第二类型的数据文件包括所述点云信息。可选地，第一类型的数据文件包括json文件，第二类型的数据文件包括pnts文件。其中，第一类型的数据文件和第二类型的数据文件的描述可以参考前述方法实施例，在此不再进行重复描述。

在一个示例中，所述第二类型的数据文件包括所述点云信息，其用于存储点云信息，可选地，所述点云信息包括每个点云的位置、颜色和法向量中的至少一种信息，或者还可以包括每个点云的其他信息。

在一个示例中，为了使点云信息和真实的地理信息贴合，本发明实施例的装置还包括转换模块，用于将所述更新后的点云的坐标系转换到世界坐标系，其中，所述世界坐标系包括地心地固坐标系。例如，将更新后的点云的局部坐标系(例如东北天)转换到地心地固坐标系(如WGS 84坐标系)。具体地，可以通过任意适合的方法实现该坐标系转换，例如，计算所述更新后的点云的局部坐标系(例如东北天)到地心地固坐标系(如WGS 84坐标系)的变换矩阵，将该变换矩阵存储在第一类型的数据文件中，例如存储在json文件中，在加载点云时会自动将点云进行转换，从而和真实地理信息贴合到一起，使用户能够及时、直观地查看到模型重建的效果，从而立即判断出无法重建或者重建效果不好的区域，从而在测绘现场即可再次对目标区域进行拍摄，节省人力和时间成本。

继续如图5所示，所述实时显示装置500还包括显示模块504，用于显示所述树形结构中至少一个节点的点云。

在一个示例中，显示模块504具体用于：根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云。

更进一步地，不同层级的更新后的点云具有不同的几何误差，显示模块504具体用于：确定所述几何误差大于或等于所述显示界面上一个像素对应的实际距离的层级为预定显示层级；根据所述显示区域确定显示所述预定显示层级中至少一个节点的点云，根据显示区域确定要显示哪些节点的点云，例如对显示界面的左上角进行放大的过程中，在对应显示更精细层时，只需要显示更精细层中左上角区域对应节点的点云即可。

根据本发明实施例的点云的实时显示装置，其通过分层模块对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；通过存储模块将所述更新后的点云存储在树形结构的节点中；通过显示模块显示所述树形结构中至少一个节点的点云，能够显著提高渲染速度，保证渲染的流畅，实现对点云的实时显示，从而能够实时查看点云的效果，提高效率。

另外，本发明实施例中还提供一种点云的实时显示装置，如图6所示，所述点云的实时显示装置600包括一个或多个存储装置602，存储装置602用于存储可执行指令，还包括一个或多个处理器601，单独地或共同的工作，所述处理器用于执行前述实施例中的点云的实时显示方法200中的相关步骤。

所述处理器601可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，所述处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。例如，处理器601能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。

所述存储装置602可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的点云的实时显示方法和装置以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

在一种实施方式中，点云的实时显示装置还包括输入装置，所述输入装置可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。此外，所述输入装置也可以是任何接收信息的接口。

在一种实施方式中，点云的实时显示装置还包括输出装置，所述输出装置可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器(例如向用户显示点云等)、扬声器等中的一个或多个。此外，所述输出装置也可以是任何其他具备输出功能的设备。

在一种实施方式中，点云的实时显示装置还包括通信接口，通信接口用于点云的实时显示装置600和其他设备之间进行通信，包括有线或者无线方式的通信。点云的实时显示装置600可以接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G或它们的组合。在一个示例性实施例中，通信接口还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

示例性地，本发明实施例的点云的实时显示装置可以被实现为诸如桌面型计算机、平板电脑、笔记本电脑等终端，或者包括这些终端的点云的实时显示装置和系统等。

在一个实施例中，点云的实时显示方法包括以下步骤：获取初始点云；对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；将所述更新后的点云存储在树形结构的节点中；显示所述树形结构中至少一个节点的点云。该实时显示方法能够显著提高渲染速度，保证渲染的流畅，实现对点云的实时显示，从而能够实时查看点云的效果，提高效率。

图7示出了一种应用在测绘领域的点云的实时显示系统，该实时显示系统包括可移动平台，例如无人机。在进行测绘工作时，无人机上设置的拍摄设备采集目标区域的二维图片(例如码流图片)，并将该二维图片传送到地面站软件的后端程序，后端程序解析后传送给三维重建算法进行场景重建，重建算法处理一些图片序列后把生成的点云保存到磁盘，同时给后端发送模拟生成信号(例如标志位)以通知后端有新的点云生成，后端接收到该信号后，通知前端显示模块有新的点云生成，前端显示模块从磁盘中加载该点云进行显示，从而实现三维点云的实时显示。本发明实施例在无人机采集图片的同时就能把已经采集的目标区域的点云显示出来。除无人机之外，其他模块均可以在前述实施例中所示的点云的实时显示装置600上实现，例如笔记本电脑、桌面型计算机等。其中，在前端显示模块执行前述实施例中的点云的实时显示方法200的相关步骤。

点云生成算法会不断的生成点云，为了获得稳定的显示，点云生成的算法每次产生的点云大小基本一致。当无人机上配备有激光雷达时，激光雷达产生的点云也可用采用本发明实施例提出的实施显示方法。

另外，本发明另一实施例中还提供一种计算机存储介质，在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行存储器存储的所述程序指令，以实现本文所述的本发明实施例中(由处理器实现)的功能以及/或者其它期望的功能，例如以执行根据本发明实施例的前述实施例中的点云的实时显示方法200中的相关步骤。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

综上所述，根据本发明实施例的点云的实时显示方法、装置和系统可以流畅实时的渲染显示大规模点云，而且点云能和地理信息贴合，而无需再等整个场景均重建完成后再查看重建效果，显著缩短了等待时间，改善了用户体验。并且，由于能即时(例如在采集目标区域的图片时)即可查看到模型重建的效果，所以效率高，避免出现由于图像采集的不好，离开现场回去重建了很长时间，发现有些地方由于拍摄的不好无法重建，需要再次返回取景地重新拍摄采集图像的情况的出现，节约了大量的人力和时间成本。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种点云的实时显示方法，其特征在于，所述实时显示方法包括：

获取初始点云；

将所述更新后的点云存储在树形结构的节点中；

显示所述树形结构中至少一个节点的点云。

2.如权利要求1所述的实时显示方法，其特征在于，所述更新后的点云包括第一层级至第n层级，所述第一层级对应所述树形结构的根字节。

3.如权利要求2所述的实时显示方法，其特征在于，任一层级中两个点云之间的距离大于或等于预设采样间隔，不同层级对应于不同的预设采样间隔，第n层的预设采样间隔为第n-1层级的预设采样间隔的二分之一。

4.如权利要求3所述的实时显示方法，其特征在于，所述第n层级的预设采样间隔与地面采样距离相等。

5.如权利要求1所述的实时显示方法，其特征在于，所述对所述初始点云进行采样，以获得具有不同层级的更新后的点云，具体包括：

将所述初始点云中点云间隔大于或等于第一采样间隔的点云放到第一层级；

将所述第一层级以外的点云中点云间隔大于或等于第二采样间隔的点云放到第二层级；

将所述第一层级和所述第二层级以外的点云放到第三层级，以获得具有三个分层的所述更新后的点云。

6.如权利要求5所述的实时显示方法，其特征在于，将所述更新后的点云存储在树形结构的节点中，具体包括：

将所述第一层级的点云存储在所述树形结构的根节点中，其中，所述树形结构中的每个父节点具有m个子节点，所述m为大于或等于2的正整数；

将所述第二层级的点云划分至m个栅格中，将所述m个栅格中每个栅格的点云分别存储在所述根节点下的m个第一子节点中；

将所述第三层级的点云划分至m×m个栅格中，将所述m×m个栅格中每个栅格的点云分别存储至所述m个第一子节点作为父节点下的m×m个第二子节点中。

7.如权利要求1所述的实时显示方法，其特征在于，所述树形结构的每个节点中存储的点云数量小于预设点云数量。

8.如权利要求1所述的实时显示方法，其特征在于，所述显示所述树形结构中至少一个节点的点云，包括：

根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云。

9.如权利要求8所述的实时显示方法，其特征在于，不同层级的更新后的点云具有不同的几何误差，所述根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云，包括：

确定所述几何误差大于或等于所述显示界面上一个像素对应的实际距离的层级为预定显示层级；

根据所述显示区域确定显示所述预定显示层级中至少一个节点的点云。

10.如权利要求9所述的实时显示方法，其特征在于，每个层级的几何误差和预设采样间隔呈比例关系。

11.如权利要求1所述的实时显示方法，其特征在于，所述树形结构包括四叉树结构或八叉树结构。

12.如权利要求1所述的实时显示方法，其特征在于，使用泊松圆盘采样对所述初始点云进行采样。

13.如权利要求1所述的实时显示方法，其特征在于，还包括：

根据所述节点内存储的点云的点云信息生成节点模型属性信息；

根据所述节点模型属性信息和所述点云信息生成预定类型的数据文件。

14.如权利要求13所述的实时显示方法，其特征在于，所述预设类型的数据文件包括第一类型的数据文件和第二类型的数据文件，所述第一类型的数据文件包括所述节点模型属性信息，所述第二类型的数据文件包括所述点云信息。

15.如权利要求13所述的实时显示方法，其特征在于，所述节点模型属性信息包括：

第一模型属性信息，用于指示包裹点云的形状；

第二模型属性信息，用于指示显示所述不同层级中的哪一个层级；

第三模型属性信息，用于在显示不同层级时决定是替换当前显示的层级还是在当前显示的层级上添加其他层级。

16.如权利要求13所述的实时显示方法，其特征在于，所述点云信息包括每个点云的位置、颜色和法向量中的至少一种信息。

17.如权利要求1所述的实时显示方法，其特征在于，所述实时显示方法还包括：

获取拍摄目标区域的至少部分区域生成的二维图片；

利用三维重建算法对所述二维图片进行重建，以生成所述初始点云。

18.如权利要求1所述的实时显示方法，其特征在于，所述初始点云为通过激光雷达或毫米波雷达实时获取的点云。

19.如权利要求1所述的实时显示方法，其特征在于，还包括：

将所述更新后的点云的坐标系转换到世界坐标系。

20.如权利要求19所述的实时显示方法，其特征在于，所述世界坐标系包括地心地固坐标系。

21.如权利要求1所述的实时显示方法，其特征在于，所述初始点云为整个目标区域的点云中的若干分块中的一个分块。

22.一种点云的实时显示装置，其特征在于，所述实时显示装置包括：

获取模块，用于获取初始点云；

显示模块，用于显示所述树形结构中至少一个节点的点云。

23.如权利要求22所述的实时显示装置，其特征在于，所述更新后的点云包括第一层级至第n层级，所述第一层级对应所述树形结构的根字节。

24.如权利要求23所述的实时显示装置，其特征在于，

任一层级中两个点云之间的距离大于或等于预设采样间隔，不同层级对应于不同的预设采样间隔，第n层的预设采样间隔为第n-1层级的预设采样间隔的二分之一。

25.如权利要求24所述的实时显示装置，其特征在于，所述第n层级的预设采样间隔与地面采样距离相等。

26.如权利要求23所述的实时显示装置，其特征在于，所述分层模块，具体用于：

27.如权利要求26所述的实时显示装置，其特征在于，所述存储模块具体用于：

28.如权利要求22所述的实时显示装置，其特征在于，所述树形结构的每个节点中存储的点云数量小于预设点云数量。

29.如权利要求22所述的实时显示装置，其特征在于，所述显示模块具体用于：

30.如权利要求29所述的实时显示装置，其特征在于，不同层级的更新后的点云具有不同的几何误差，所述显示模块更具体地用于：

31.如权利要求30所述的实时显示装置，其特征在于，每个层级的几何误差和预设采样间隔呈比例关系。

32.如权利要求22所述的实时显示装置，其特征在于，所述树形结构包括四叉树结构或八叉树结构。

33.如权利要求22所述的实时显示装置，其特征在于，使用泊松圆盘采样对所述初始点云进行采样。

34.如权利要求22所述的实时显示装置，其特征在于，所述实时显示装置还包括：

节点模型属性信息生成模块，用于根据所述节点内存储的点云的点云信息生成节点模型属性信息；

数据文件生成模块，用于根据所述节点模型属性信息和所述点云信息生成预定类型的数据文件。

35.如权利要求34所述的实时显示装置，其特征在于，所述预设类型的数据文件包括第一类型的数据文件和第二类型的数据文件，所述第一类型的数据文件包括所述节点模型属性信息，所述第二类型的数据文件包括所述点云信息。

36.如权利要求34所述的实时显示装置，其特征在于，所述节点模型属性信息包括：

第一模型属性信息，用于指示包裹点云的形状；

37.如权利要求34所述的实时显示装置，其特征在于，所述点云信息包括每个点云的位置、颜色和法向量中的至少一种信息。

38.如权利要求22所述的实时显示装置，其特征在于，所述实时显示装置还包括：

二维图片获取模块，用于获取拍摄目标区域的至少部分区域生成的二维图片；

三维重建模块，用于利用三维重建算法对所述二维图片进行重建，以生成所述初始点云。

39.如权利要求22所述的实时显示装置，其特征在于，所述初始点云为通过激光雷达或毫米波雷达实时获取的点云。

40.如权利要求38所述的实时显示装置，其特征在于，所述实时显示装置还包括拍摄模块，用于拍摄目标区域的至少部分区域生成所述二维图片。

41.如权利要求40所述的实时显示装置，其特征在于，所述拍摄模块设置在无人机上。

42.如权利要求22所述的实时显示装置，其特征在于，所述实时显示装置还包括：

转换模块，用于将所述更新后的点云的坐标系转换到世界坐标系。

43.如权利要求42所述的实时显示装置，其特征在于，所述世界坐标系包括地心地固坐标系。

44.一种点云的实时显示装置，其特征在于，所述装置包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的所述指令，使得所述处理器执行权利要求1至21中任一项所述的点云的实时显示方法。

45.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至21中任一项所述的点云的实时显示方法。