CN106600570A - 一种基于云计算的海量点云滤波方法 - Google Patents

Abstract

本发明提供一种基于云计算的海量点云滤波方法。所述方法通过多台计算机构建的云平台对海量点云数据进行处理，实现点云数据的滤波。主要包含以下步骤：（1）读入海量点云；（2）从调度云平台获取虚拟化硬件资源；（3）对输入点云进行划分；（4）将每一个划分出的小块点云分发到不同计算机或同一计算机的不同线程中，采用改进的形态学滤波器方法对其进行滤波处理；（5）合并处理结果，并返回给客户端。和现有基于单机的处理模式相比，本发明提供了一种基于云计算的海量点云滤波方法，能利用多台计算机构成云计算集群，将任务划分为一系列小任务，通过在不同计算机中并行计算，可以显著提高海量点云滤波效率，克服现在单机串行处理的性能瓶颈。

Description

一种基于云计算的海量点云滤波方法

技术领域

本发明属于机载激光雷达数据处理领域，具体涉及一种基于云计算的海量点云滤波方法。

背景技术

“数字地球”的理念正受到各国广泛关注，它对地球系统环境的可持续发展、资源环境的动态监测、国防安全等都具有非常重要的作用，空间信息获取技术是构建数字地球的关键技术，也是构建数字地球的基础，空间数字信息的获取方式和技术手段多种多样，如统计技术、直接测量技术、模拟信息的数字化技术和遥感对地观测技术等，机载激光雷达是近年来新发展的对地三维空间信息探测技术，融合了激光测距、计算机处理、高精度动态载体姿态测量（INS）和高精度动态GPS 差分定位等技术。它可以快速、主动、实时、直接获得大范围地表及地物密集采样点的三维信息，代表了对地观测领域的一个新的发展方向。

激光雷达点云数据是涵盖地面和地物的一系列不规则分布的三维激光点，如何从大量不规则三维激光点云数据中分别过滤出地面点和地物点已经成为近几年来激光雷达数据处理的研究热点，同时，点云数据的滤波也是生成数字地面模型（DTM）、数字高程模型（DEM）、数字正射影像（DOM）和数字表面模型（DSM）的重要基础，通过滤波可以将地面点和地物点反射的点云分离，从而分别进行处理利用。

目前，常见的点云滤波方法包括移动窗口滤波法、基于坡度的点云滤波方法以及数学形态学滤波法，其中，移动窗口滤波法首先给定一个移动窗口和高差阈值，运用移动窗口来寻找其中的最低点，从而计算得到一个初步的地形模型，以该地形模型为参考，将所有高差值超过给定阈值的点过滤掉，从而获得一个较为精确的数字高程模型，迭代减小移动窗口，最终过滤掉所有的非地面点，这种算法适用于地形较为平坦的区域。基于坡度变化的滤波方法，其基本思想是利用地形坡度的变化特征实现滤波，即当两个相邻点高程值差异较大时，这种高程突变由地形引起的可能性较小，因此可以判断其中高程值较大的点为非地面点，通过将两点间高差阈值定义为其距离的函数，完成对点云的滤波处理。数学形态学滤波的主要思想是将地面之上的建筑物和植被腐蚀至地面，然后再进行膨胀恢复，运算过程为：移动一个固定大小的窗口（结构元素），通过“开”运算得到新的高程值，如果新的高程值与原始高程值之差在阈值范围内，则判断为地面点，否则为地物点。由于固定窗口大小无法适用于所有情况，因此可对传统数学形态学方法进行改进，采用渐进增大的滤波窗口和阈值，逐渐滤除地物点。

云计算是以分布式技术和虚拟化技术为基础，网络为载体，提供基础架构、平台、软件等服务为形式，整合大规模可灵活扩展的IT资源（计算、存储、网络、应用等）进行协同工作的计算体系，在云计算模式下，不同种类的IT服务按照用户的需求规模和要求动态构建、运营和维护，用户一般以即用即付方式支付其利用资源的费用，云是一些可以自我维护和管理的虚拟计算资源，通常是一些计算机集群，包括计算服务器、存储服务和宽带资源等。

随着激光雷达技术和无人机技术的不断发展，获取的点云密度越来越大、点云数量越来越多，给单机模式处理点云带来了非常大的困难。单机处理海量点云数据时，处理时间显著增加，甚至导致计算机内存和CPU资源耗尽，通过将点云滤波处理同云计算结合，可以利用多台计算机组成的集群单元同时执行数据处理任务，显著提高处理速度，同时由于云计算的可扩展特性，理论上可以无限扩展集群规模，因此可以应对任意数量的点云滤波需求。

发明内容

为了解决海量点云数据在滤波时耗时长、占用单台设备资源多的情况，本发明提供了一种基于云计算的海量点云滤波方法，所述方法通过调度云平台对海量点云数据的处理进行调度，所述方法包括以下步骤：

步骤1：读入点云数据；

步骤2：获取虚拟化硬件资源；

步骤3：将输入的完整点云进行划分；

步骤4：依据所述虚拟化硬件资源对点云进行分布式计算，完成滤波处理；

步骤5：合并处理的结果并返回给客户端。

所述调度云平台包括计算服务和管理服务；所述管理服务包括硬件资源管理服务和协调管理服务；所述硬件资源管理服务用于获取点云处理可用的计算机集群硬件资源，所述硬件资源包括计算机资源、网络资源和存储资源；所述协调管理服务采用虚拟化技术将所述硬件资源映射为虚拟化硬件资源。

所述协调管理服务包括计算机资源管理服务、数据模型管理服务、作业管理服务和分布式并行计算服务；所述计算资源管理服务将所述硬件资源映射为虚拟化硬件资源；所述数据模型管理服务通过海量数据存储技术将输入点云数据分布存储在不同硬件资源中；所述作业管理服务包括点云处理任务分配、点云处理任务协调、以及点云处理任务监控。

步骤4中所述的分布式计算包括单机多CPU并行计算模式、集群内分布式计算模式。

所述单机多CPU并行计算模式为：将点云滤波任务分解为多个子任务后，单台计算机内部的多个CPU采用多线程的方式同时对所述子任务并行计算；所述计算机包括由管理服务和计算服务组成的并行计算服务单元；所述管理服务用于提供点云数据导入服务、点云数据划分服务、计算任务通信服务和计算任务调度服务；所述计算服务用于提供并行滤波算法。

所述集群内分布式并行计算模式为：点云滤波的各个计算机通过局域网进行连接，形成计算机集群单元；所述计算机包括所述并行计算服务单元；通过虚拟化技术和桌面云技术将所述计算机硬件资源整合为计算资源池、网络资源池、和存储资源池；所述计算机集群单元内的点云滤波任务发起计算机负责滤波任务的管理服务工作，其他所述计算机负责所述点云滤波任务的计算服务工作，实现点云滤波任务的分布式并行计算。

所述步骤5中通过对海量点云滤波任务进行服务封装将滤波结果反馈给客户端；服务封装包括计算机模式服务封装、在线分析服务封装和在线分析人机界面封装；采用面向服务架构的服务封装技术，将海量点云滤波以服务形式提供给客户端，客户端通过输入点云数据、设置相关参数，即可获取点云滤波结果。

所述计算模式服务封装通过分布式的并行计算协调管理服务接口进行封装；所述在线分析服务封装对海量点云滤波功能模块进行服务封装，为客户端提供海量点云在线分析滤波功能；所述在线分析滤波人机界面封装为客户端提供海量点云在线分析滤波的可视化人机界面。

与现有技术相比，本发明的优点在于：

1、本发明提供了一种基于云计算的海量点云滤波方法，最大程度地利用现有硬件资源形成计算资源池，同时各计算机可根据自身情况保留各自的私有计算资源，既能满足云计算技术的硬件需求，又能满足个计算机的私有计算需求；

2、本发明提供了一种基于云计算的海量点云滤波方法，适用范围广，适用灵活性高；根据各计算任务的计算量大小、并行任务颗粒度大小及实时性要求，可灵活选择合适的计算模式，既能满足超大规模点云的滤波计算要求，又能保证较小规模计算任务不占用过多资源，减少不必要的通讯时间；

3、本发明提供了一种基于云计算的海量点云滤波方法，采用面向服务的架构（serviceoriented architecture，SOA）的服务封装技术，将每一种主要功能都包装成服务的形式供各应用使用，且各服务之间的耦合度低，显著提高了海量点云滤波的开发效率，避免了软件的重复开发与维护；

4、本发明提供了一种基于云计算的海量点云滤波方法，单机多CPU并行计算方法采用多线程执行点云滤波任务，使得计算机每个CPU核能同时进行任务执行，提高分布式计算的速度。

本发明提供了一种基于云计算的海量点云滤波方法，采用分布式计算技术和并行计算技术，以服务形式为海量点云滤波任务提供支撑，能够显著提高执行效率，充分利用调度云平台提供的全局调度功能，实现各子任务的协调执行。

附图说明

图1是本发明实施例中一种基于云计算的海量点云滤波方法流程图；

图2是本发明实施例中海量点云分布式并行计算模式拓扑图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。

本发明根据海量点云滤波的技术特点，结合云计算技术，以面向服务架构为基本思路，在调度云平台的基础上，提出了一种适用与海量点云快速滤波的分布式并行处理方法。

具体步骤为：

调度云平台包括计算服务和管理服务，管理服务包括硬件资源管理服务和协调管理服务；协调管理服务包括计算资源管理服务、数据模型管理服务、作业管理服务和分布式并行计算服务；硬件资源管理服务获取可用的计算机集群的硬件资源；硬件资源包括计算机资源、网络资源和存储资源；计算资源管理服务采用虚拟化技术将硬件资源映射为虚拟化硬件资源；数据模型管理服务通过数据分布式存储技术，将海量点云存储在不同计算机资源内；作业管理服务包括点云滤波任务分配、点云滤波任务协调和点云滤波任务监控。

海量点云滤波任务分配指负责发起分布式并行计算任务和负载任务均衡，根据客户端计算要求，分配可用硬件资源及软件资源；海量点云滤波任务协调指负责调度作业及各个子任务之间的通信；海量点云滤波任务监控指负责切取检查点、进程迁移、容错性问题，一方面避免个别任务执行异常，通过任务转移和任务恢复策略提高可用性，另一方面能充分利用调度云平台，通过计算硬件资源管理服务将作业分散到空闲的计算机中，提高硬件利用率和任务执行效率。

步骤一：采用虚拟化技术将硬件资源映射为虚拟化硬件资源；虚拟化硬件资源为调度云平台的中间层或客户端提供所需的计算方法、网络和存储资源，实现硬件资源的按需分配和快速部署。

步骤二：读入需进行滤波处理的海量点云数据，点云数据以文件形式存储，文件格式为Las或者PCD。

步骤三：根据所在集群的硬件资源情况、点云数量、滤波参数以及客户端其他要求，对输入点云进行划分，将海量点云划分为小规模多块点云数据。当待滤波点云数量较少时，仍然采用单机处理模式，避免不必要的网络开销；当点云数量较大，单机已经无法处理时，根据步骤一获得的资源情况，将输入点云划分为对应数量的小块点云，具体的划分规则采用空间划分的形式，通过将由完整点云组成的大空间平均划分为多个小空间，每个小空间内的点云被分到一个块中。

步骤四：通过分布式并行计算对点云数据进行滤波。分布式并行云计算包括单机多核CPU并行计算模式和集群内分布式并行计算模式。

（1）单机多CPU并行计算模式为：步骤三已将完整海量点云按空间划分为多个包含少量点云的块，调度平台将完整海量点云滤波的任务分解为多个小块点云的滤波子任务，通过计算机内部的多核CPU采用多线程的方式对子任务进行并行计算；计算机包括由管理服务和计算服务组成的并行计算服务单元，用于支撑计算机并行计算模式；管理服务用于提供计算任务通信服务和计算任务调度服务；计算服务用于提供并行优化算法。

（2）集群内分布式并行计算模式为：集群内所有计算机通过局域网连接，形成计算机集群单元；计算机集群单元的每个计算机包括由管理服务和计算服务组成的分布式并行计算服务单元，用于支撑计算机分布式并行计算模式，并通过虚拟化技术和桌面云技术将各个计算机的硬件资源整合为计算资源池、网络资源池、存储资源池；计算机集群单元内的海量点云滤波任务发起计算机负责点云滤波的管理服务工作，其他计算机负责点云滤波的计算服务工作，实现海量点云滤波的分布式并行计算。步骤三已将完整海量点云按空间划分为多个包含少量点云的块，调度平台将完整海量点云滤波的任务分解为多个小块点云的滤波子任务。由协调管理服务完成对滤波子任务的分配，并对计算机集群单元内的分布式并行执行的进程进行管理。

海量点云滤波处理对分别采用单机多核CPU并行计算模式、集群内分布式并行计算模型执行海量点云的滤波任务时的计算规模、计算性能、计算精度和计算实时性进行评估，并依据评估结果选取合适的计算模式进行点云滤波。单机多CPU并行计算模式适用于计算量适中、并行任务粒度小，实时性要求高的点云滤波。集群内分布式并行计算模式适用于计算量大、计算任务多、并行任务粒度适中并且对实时性要求一般的点云滤波。

在选取合适的计算模式后，每个任务被分配到具体执行线程，此时采用改进的形态学滤波器方法对小块点云进行滤波，分离出地面点和地物点，以一个线程的处理步骤为例，讲述具体操作步骤：

首先，线程将点云数据读入到内存，读取方式根据文件格式而异，读取PCD格式的数据可采用PCL中自带的点云读取方法；读取Las格式可采用LasTool提供的读取方法。读取成功后，点云以数组形式存储中内存中。遍历所有点云，找到X、Y坐标的最大和最小值，根据规则网格大小计算出规则网格的行、列值，此规则网格用于存放点云数据。新建一个二维数组用于表示规则网格，再将点云存入其中，实现从三维离散点云到二维规则网格的映射，映射的规则为：根据每一个点的X、Y计算该点落入的格网坐标，如果格网内无点落入，则直接放进去；如果该坐标内已经有点存在，则把该点的Z值与格网内的点Z值进行比较，存放Z较小的点，循环直到遍历完所有点。接着计算滤波窗口和对应高度阈值，在改进的形态学滤波器方法中，使用了渐进增大的窗口对点云进行滤波处理，窗口从小变大，滤波的效果对应从小物体到大物体被滤除。滤波窗口和高度阈值计算步骤为：滤波窗口从零开始按指数增加，不超过设定的最大窗口值；第一次计算时，高度阈值取设定的初始值，接下来的迭代计算高度阈值取坡度、前后窗口差、格网大小三者的乘积，再加上初始值，如果计算结果大于设定的最大高度阈值，取最大高度阈值。经过以上步骤，二维数组中已经存放了Z值较低的点，但是仍然有很多数组元素未被赋值，为空。因此利用插值方法，填补这些点。插值方法选择最近邻插值，取一为空元素周围八个邻居然后取高度均值，就是该点的高程值；同时将X、Y值都设置为零，以和原始数据中的点进行区分。插值完成之后，将数组复制搭配另一个数组，因为后续的计算基于原始数组，会改变其中元素的值，利用一个新数组保存原始的信息，最后的地面点可从其中得到。然后对插值完成的数组进行形态学“开”运算，对于每一个元素，先进行“腐蚀”，再进行“膨胀”运算，取运算后的高程值和原始高程值进行对比，如果小于高度阈值则判断为地面点，大于高度阈值判断为地物点。最后把地面点和地物点分开存储，存储格式可以采用Las或者PCD。

步骤五：通过对海量点云滤波算法进行服务封装将滤波结果反馈给客户端。利用服务封装技术，将每一种主要功能都包装成服务的形式，且各服务之间互相独立，只开放功能接口，结合海量点云滤波处理的应用，将服务封装为三个层面：计算模式服务封装、在线分析服务封装和人机界面封装；对调度云平台进行服务封装采用面向服务架构的服务封装技术，将海量点云滤波方法以服务形式提供给客户端，客户端通过传入点云数据、设置处理参数，获取滤波处理后的结果。

虽然已结合优选实施方案和特定实施例描述了本公开的内容，但并不意味着本公开内容的范围仅限于所阐述的特定实施方案，因为此处的实施方案在所有方面均为描述目的而不为限制目的。对本领域技术人员而言，显然可以对本公开内容做出修改和变更而不脱离原范围和精神。基于本申请中的实施例，本领域普通技术人员在没有做出任何创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

Claims (6)

1.一种基于云计算的海量点云滤波方法，其特征在于，所述方法通过调度云平台对海量点云滤波进行调度；所述方法包括下述步骤：

步骤1：读入点云数据；

步骤2：获取虚拟化硬件资源；

步骤3：将输入的完整点云进行划分；

步骤4：依据所述虚拟化硬件资源对点云进行分布式并行滤波处理；

步骤5：合并处理的结果并返回给客户端。

2.如权利要求1所述的一种基于云计算的海量点云滤波方法，其特征在于，所述调度云平台包括计算服务和管理服务；所述管理服务包括硬件资源管理和协调管理服务；所述硬件资源管理服务用于获取计算机集群的硬件资源，所述硬件资源包括计算机资源、网络资源和存储资源；所述协调管理服务采用虚拟化技术将所述硬件资源映射为虚拟化硬件资源。

3.如权利要求2所述的一种基于云计算的海量点云滤波方法，其特征在于，所述协调管理服务包括计算资源管理服务、数据模型管理服务、作业管理服务和分布式并行计算服务；所述计算资源管理服务将所述硬件资源映射为虚拟化硬件资源；所述数据模型管理服务将点云数据进行分布式存储；所述作业管理服务包括点云滤波任务分配、点云滤波作业协调和点云滤波任务监控。

4.如权利要求1所述的一种基于云计算的海量点云滤波方法，其特征在于，所述步骤4中采用的分布式并行计算模式包括单机多核CPU并行计算模式以及集群内分布式并行计算模式；

所述单机多核CPU并行计算模式为：将点云滤波任务分解为多个子任务后，单台计算机内部的多个CPU采用多线程的方式同时对所述子任务并行计算；所述计算机包括由管理服务和计算服务组成的并行计算服务单元；所述管理服务用于提供点云数据导入服务、点云数据划分服务、计算任务通信服务和计算任务调度服务；所述计算服务用于提供并行优化算法；

所述集群内分布式并行计算模式为：点云滤波的各个计算机通过局域网进行连接，形成计算机集群单元；所述计算机包括所述并行计算服务单元；通过虚拟化技术和桌面云技术将所述计算机硬件资源整合为计算资源池、网络资源池、和存储资源池；所述计算机集群单元内的点云滤波任务发起计算机负责滤波任务的管理服务工作，其他所述计算机负责所述点云滤波任务的计算服务工作，实现点云滤波任务的分布式并行计算。

5.如权利要求1所述的一种基于云计算的海量点云滤波方法，其特征在于，所述步骤4中的滤波方法为改进的形态学滤波器方法；

所述改进的形态学滤波器方法为：采用规则网格对输入点云数据进行采样，所述采样指利用点云X、Y值计算其应该落入哪一个格网，如果有多个点同时进入一个格网，保留高程值最小的点；对所述规则网格中空白的格网进行内插，所述内插采用最近邻内插规则，对空白区域进行填补；使用渐进增长的滤波窗口和高差阈值对点云数据进行迭代处理，所述处理指利用“腐蚀”和“膨胀”构成的“开”运算计算所述规则网格中的每一个点的高程值；将原始高程值和所述“开”运算得到的新的高程值进行差运算，如果结果大于所述高差阈值，则判断为地物点，如果结果小于所述高差阈值，则判断为地面点。

6.如权利要求1所述的一种基于云计算的海量点云滤波方法，其特征在于，所述步骤5中通过对海量点云滤波任务进行服务封装将滤波结果反馈给客户端；服务封装包括计算机模式服务封装、在线分析服务封装和在线分析人机界面封装；采用面向服务架构的服务封装技术，将海量点云滤波以服务形式提供给客户端，客户端通过输入点云数据、设置相关参数，即可获取点云滤波结果；

所述计算模式服务封装通过分布式的并行计算协调管理服务接口进行封装；所述在线分析服务封装对海量点云滤波功能模块进行服务封装，为客户端提供海量点云在线分析滤波功能；所述在线分析滤波人机界面封装为客户端提供海量点云在线分析滤波的可视化人机界面。