CN112988079B - 一种面向超海量点云的管理方法及系统 - Google Patents

Abstract

本发明涉及点云数据处理技术领域，公开了一种面向超海量点云的管理方法及系统，包括，将合格点云数据存储到存储服务器；任务管理器向管理服务器发送数据处理任务；管理服务器调度数据库内目标文件路径；点云处理单机向存储服务器下载合格点云数据；点云处理单机将合格点云数据处理成成果点云数据；管理服务器将成果点云数据转码，生成动态点云数据及其关联的动态文件路径；展示终端获取动态文件路径，从存储管理器下载动态点云数据，展示终端对动态点云数据进行动态加载并显示。本发明通过对系统进行功能管理和传输对象管理，对数据采用动态加载和任务协同处理模式，实现对超海量点云数据的极速处理。

Description

一种面向超海量点云的管理方法及系统

技术领域

本发明涉及点云数据处理技术领域，公开了一种面向超海量点云的管理方法及系统。

背景技术

通过测量仪器得到的产品外观表面的点数据集合也称之为点云，单个点数据信息包括三维坐标、激光反射强度和颜色信息。点云文件就是点数据信息的集合。

以激光扫描系统为例，其沿着某一轨迹采集数据，多个高频采样激光头数据相互叠加，产生海量三维点云数据，其数据量随着轨迹的延长而线性增加。一个小时内，可获取数据量高达1TB，多个设备逐日工作数据累计，形成PB级别的超海量点云文件，单在数据量方面即对后续数据存储、数据管理、任务处理,如点云解析、滤波、去噪、分类、分析、目标提取等等工作、数据展示带来巨大的挑战。

现有处理超海量点云数据缺乏系统的方法，通常采用原始方式，表现为：1.数据存储在单机上，由于点云文件体积庞大，无法通过互联网实时传输，因此被处理的数据必须和处理数据的软件存储在同一台单机上。2.数据管理难度大，由于数据庞大，单机无法存储所有数据，导致数据分散，数据存在重复、易丢失、重复处理、数据记录不完整的问题；3.任务处理效率低，由于数据存储分散，通常任务处理需要依赖其他单机上的数据时，需要来回拷贝，导致数据编辑效率低下、数据丢失、进度不可控、无法协同编辑等问题；4.由于存储和编辑分散在各个单机，数据处理成果也必然分散在各个单机，不能全部加载和预览。

基于此，针对现有的对于超海量点云数据处理工作的四大难点：数据存储、数据管理、任务处理、数据展示，很有必要提出一种面向超海量点云的管理方法及系统。

发明内容

为了解决上述问题，本发明提供一种面向超海量点云的管理方法，其特征在于，包括以下步骤，

步骤一，将合格点云数据存储到存储服务器，生成对应的目标文件路径；将目标文件路径存入数据库；

步骤二，任务管理器向管理服务器发送数据处理任务；管理服务器绑定数据处理任务与关联数据处理任务所需的目标文件路径；管理服务器调度数据库内目标文件路径；

步骤三，点云处理单机上的点云处理软件接收数据处理任务，获取关联的目标文件路径，根据目标文件路径向存储服务器下载合格点云数据；

步骤四，点云处理单机将合格点云数据处理成成果点云数据；点云处理单机将成果点云数据上传至存储服务器；

步骤五，管理服务器将成果点云数据转码，生成动态点云数据及其关联的动态文件路径；动态点云数据支持动态加载；管理服务器将动态文件路径存入数据库；

步骤六，展示终端获取动态文件路径，展示终端对动态点云数据进行动态加载并显示。

本方法的优点在于：

1.将传输对象进行拆分：将核心对象点云数据拆分为点云数据和文件路径，管理服务器、任务管理器存储关于点云数据的信息以及与点云处理单机、展示终端交换的点云数据信息及其相关联的文件路径。需要操作点云数据的只有点云处理单机执行任务和展示终端显示点云数据，通过高速交换网络获取，传输速度远高于磁盘介质拷贝。避免线路拥堵造成数据读取延迟。

2.对点云文件进行动态加载：传统加载文件方式由于电脑内存的限制，无法实现海量数据的加载显示，动态加载支持PB级大小的点云文件加载显示。

进一步，步骤一中所述存储服务器连接有数据处理器，数据处理器自动获取原始点云数据，数据处理器按照预设的筛选算法对原始点云数据进行筛选，得到可用于存储的合格点云数据。

存储服务器空间有限，为了有效利用存储空间，同时提高系统对数据的读取效率，原始数据经数据处理器筛选后，将筛选后的合格的点云数据存入存储服务器，作为合格点云数据。筛选不依赖于人工操作，由系统自动完成，减少人工成本，提高任务处理的总体速度。

进一步，所述筛选算法包括对原始点云数据做降噪处理，剔除原始点云数据中离散的、集合数量小于预设数值的点。

原始点云数据中离散的、集合数量小于预设数值的点属于不合格点云数据，为了提高存储服务器利用率和系统整体工作效率，将不合格点云数据剔除。

进一步，所述筛选算法包括对原始点云数据做自动分类处理，自动提取地面点、杆塔、电力线和植被的数据。

为了提高系统整体工作效率，存入存储服务器的数据必须是杆塔数据，对于不需要的地面点、电力线和植被数据需要再存储前剔除。

进一步，所述筛选算法还包括对基于定位信号质量的原始点云数据做筛选，将低于标准的原始点云数据剔除。

在天气较差或附近有干扰的情况下，每个点记录的定位信号数字较低，将低于标准的原始点云数据剔除，减少质量不合格的原始点云数据。

进一步，所述筛选算法包括将新采集的点云数据与已有的点云数据进行对比，将相同的点云数据进行文件合并、合并后再采样。

采用以上策略，能够在保障采集点云数据的前提下，去除重复数据、减小文件体积、减少文件数量，从而得到尽可能小而全的原始点云数据量。

进一步，所述筛选算法还包括采集原始点云时对应采集区域的定位精度，定位精度与采集原始点云数据中每个点云数据的时间一一对应；中心控制端将同一时间段同一采集区域内定位精度较差的点云数据删除掉。

通过定位精度将质量不合格的点云数据删掉。

进一步，在步骤四和步骤五之间，点云处理单机将成果点云数据上传至存储服务器后，将点云处理单机上的任务数据、合格点云数据和成果点云数据删除。

本发明还提供了一种面向超海量点云的管理系统，包括通过高速交换网络进行信息传输的存储服务器、管理服务器、任务管理器、处理机组和展示终端；

所述存储服务器连接有数据处理器；数据处理器从原始点云数据中筛选合格点云数据存入存储服务器；存储服务器存储目标点云文件和动态点云文件；

所述管理服务器连接有数据库；数据库存储目标文件路径和动态文件路径；

管理服务器将成果点云数据转码成动态点云数据；管理服务器绑定数据处理任务与任务对应的目标文件路径；管理服务器调度目标文件路径及动态文件路径；

所述任务管理器向管理服务器发送数据处理任务；

所述处理机组由多个点云处理单机组成；点云处理单机接收数据处理任务，获取关联的目标文件路径；下载对应合格点云数据；将合格点云数据转码成成果点云数据；点云处理单机将成果点云数据上传至存储服务器；

所述展示终端下载动态点云数据，进行动态加载并显示。

本系统的优点在于：

1.对系统的功能拆分：存储服务器存储点云文件，任务管理器管理点云处理任务，点云处理单机专门负责执行点云处理任务，管理服务器负责存储文件路径、管理整个系统运行、管理数据以及交换点云文件。对不同点云数据的数据存储、数据管理、任务处理，各设备同时工作，互不影响，大大提高系统对数据的处理及读取效率。

2.采用任务协同处理模式：本系统基于高速传输网络以及任务统一创建和分配模式，由传统单机处理单独任务模式，改为多机协同处理模式，实现任务协同处理，大大提高任务处理时效。

进一步，所述任务管理器实时监控各点云处理单机业务处理情况，向各点云处理单机均衡分配处理任务。

为了提高处理机组整体工作效率，任务分配器对各点云处理单机业务处理情况进行实时监控，根据点云处理单机的数据处理量，向各点云单机均衡分配数据处理任务。当点云处理单机出现异常时，发出告警。

附图说明

图1为本发明实施例1的工作原理图；

图2为本发明实施例1的工作流程图；

图3为本发明实施例2的工作流程图。

具体实施方式

下面通过具体实施方式进一步详细说明：

说明书附图中的附图标记包括：高速交换网络W、存储管理器S、数据处理器H、数据库D、管理服务器M、任务管理器T、展示终端Z、处理机组P、点云文件路径R、点云数据O、下载点云数据On、任务T1、任务T2、任务Tn、文件路径R1、文件路径R2、文件路径Rn、单机Pn、成果点云Cn、成果点云路径DRn、成果云数据Dn。

实施例1

实施例1基本如附图1和附图2所示：

本实施例1应用于A市某输电线路电力巡检项目点云数据处理。总文件数量4598个，大小1102.3GB。传统点云数据管理系统是在每个单机存储部分点云，采用多台单机或增加硬盘容量的方式实现存储扩容，这种存储的方式存储量有限、查询效率低下，本项目的数据如果全部拷贝到一台电脑上，至少需要10个小时。同时受电脑自身内存以及网速限制，无法加载全部数据来检查数据或查看成果点云，普通电脑一般只能加载不超过内容容量的文件，如电脑内存32G，大约也只能加载32GB的文件，无法全部加载。而采用超海量点云的管理系统来管理该项目，由于数据入库上传采用高速网络，时间只需30分钟以内。处理后的成果数据(810GB)经过管理服务器转码，可以实现810GB成果点云一次性动态显示预览，延迟小于0.03秒。

具体实施方式如下：本实施例采用的超海量点云的管理系统，包括通过高速交换网络W进行信息传输的存储服务器S、任务管理器T、和展示终端Z、管理服务器M；管理服务器M连接有数据库D。存储服务器S连接有数据处理器H。数据处理器H从原始点云数据中筛选合格点云数据存入存储服务器S，同时生成对应的目标文件路径；将目标文件路径存入数据库D；存储服务器S存储目标点云文件和动态点云文件；

处理机组P由15个点云处理单机组成；点云处理单机接收数据处理任务，获取关联的目标文件路径；根据目标文件路径向存储服务器下载合格点云数据；处理机组P将合格点云数据处理成成果点云数据；处理机组P将成果点云数据上传至存储服务器S；

为了提高处理机组整体工作效率，任务分配器对各点云处理单机业务处理情况进行实时监控，根据点云处理单机的数据处理量，向各点云单机均衡分配数据处理任务。当点云处理单机出现异常时，发出告警；

管理服务器M将成果点云数据转码成动态点云数据；任务管理器T向管理服务器M发送数据处理任务；管理服务器M绑定数据处理任务与关联数据处理任务所需的目标文件路径；管理服务器M调度数据库D内目标文件路径；

管理服务器M将成果点云数据转码，生成动态点云数据及其关联的动态文件路径；动态点云数据支持动态加载；管理服务器M将动态文件路径存入数据库D；

展示终端Z获取动态文件路径，从存储管理器S下载动态点云数据，展示终端Z对动态点云数据进行动态加载并显示。

如图2所示，原始海量点云数据在存入存储服务器后，生成点云文件路径R，同时将点云数据O经过对应点云处理单机Pn下载点云数据On，而在形成点云数据O的时候，点云文件路径R创建任务，分别创建任务T1、任务T2至任务Tn，每个任务都对应有文件路径，例如任务T1对应文件路径R1，任务T2对应文件路径R2，任务Tn对应文件路径Rn，对应的任务分配给单机Pn，点云处理单机Pn在接收到对应任务和对应点云数据后处理任务，形成成果点云Cn，存入存储服务器转化为动态文本格式，形成成果点云路径DRn，对应成果点云数据Dn，展示中断只需要获取成果点云路径DRn，就能够动态加载成果点云数据Dn。

本实施例通过将传输对象进行拆分的方法，将核心对象点云数据拆分为点云数据和文件路径，管理服务器、任务管理器存储关于点云数据的信息以及与点云处理单机、展示终端交换的点云数据信息及其相关联的文件路径。整个系统中需要操作点云数据的只有点云处理单机执行任务和展示终端显示点云数据，通过高速交换网络获取，传输速度远高于磁盘介质拷贝，避免线路拥堵造成数据读取延迟。

由于本系统对点云文件进行动态加载，与传统内存加载方式相比，不受电脑内存的限制，直接实现对海量数据的加载显示，动态加载支持PB级大小的点云文件，通过本发明提供的一种面向超海量点云的管理系统，数据延迟只需0.03秒，响应时间仅为传统数据提取方式的几百分之一，数据处理时间约为传统方式是的5%。

实施例2

实施例2基本如附图3所示，无人机搭载激光雷达进行户外作业，作业102个架次，采集到激光原始点云数据219G，激光雷达存储的原始点云数据通过千兆FTP，被下载到PC端，完成户外数据采集工作。

下载后的海量数据，被分批次上传到海量点云处理平台，通过万兆网上传，上传后自动进行POS云解算、点云自动解析、点云自动赋色、自动去噪等策略，将生成的合格点云数据158G存储到服务器。从上传数据到生成合格点云数据，全过程共计耗时4小时17分。任务管理器T基于存储的合格点云数据，分配点云处理任务，PC端接收任务、处理任务。

处理后的成果数据上传回点云处理平台，在展示终端进行成果展示。用户从发出数据提取请求到读取数据，只需0.03秒，响应时间仅为传统数据提取方式的几十分之一。

实施例3

实施例3与实施例1和实施例2的不同之处在于，本实施例中的筛选算法为通过数据处理器H对点云数据进行降噪处理，对点云中离散的、集合数量小于预设数值的点剔除。同时，数据处理器H对原始点云数据做自动分类处理，自动提取地面点、杆塔、电力线，植被，只保留杆塔的数据。此外，数据处理器H还将新采集的原始点云数据与已有的原始点云数据进行对比，将相同的原始点云数据进行文件合并、合并后再采样，达到去除重复数据、减小文件体积、减少文件数量的目的。

实施例4

实施例4与实施例1、实施例2和实施例3的不同之处在于，数据处理器H还对基于定位信号质量的原始点云数据做筛选。在天气较差或附近有干扰的情况下，每个点记录的定位信号数字较低，将低于标准的原始点云数据剔除，减少质量不合格的原始点云数据。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.一种面向超海量点云的管理方法，其特征在于，包括以下步骤，

步骤一，将合格点云数据存储到存储服务器，生成对应的目标文件路径；将目标文件路径存入数据库；

步骤二，任务管理器向管理服务器发送数据处理任务；管理服务器绑定数据处理任务与关联数据处理任务所需的目标文件路径；管理服务器调度数据库内目标文件路径；

步骤三，点云处理单机上的点云处理软件接收数据处理任务，获取关联的目标文件路径，根据目标文件路径向存储服务器下载合格点云数据；

步骤四，点云处理单机将合格点云数据处理成成果点云数据；点云处理单机将成果点云数据上传至存储服务器；

步骤五，管理服务器将成果点云数据转码，生成动态点云数据及其关联的动态文件路径；动态点云数据支持动态加载；管理服务器将动态文件路径存入数据库；

步骤六，展示终端获取动态文件路径，展示终端对动态点云数据进行动态加载并显示；

步骤一中所述存储服务器连接有数据处理器，数据处理器自动获取原始点云数据，数据处理器按照预设的筛选算法对原始点云数据进行筛选，得到可用于存储的合格点云数据；

所述筛选算法包括对原始点云数据做自动分类处理，自动提取地面点、杆塔、电力线和植被的数据；

所述筛选算法包括对原始点云数据做降噪处理，剔除原始点云数据中离散的、集合数量小于预设数值的点；

所述筛选算法包括采集原始点云时，采集对应区域的定位精度信息，定位精度与采集原始点云数据中每个点云数据的时间一一对应；数据处理器将同一时间段、同一采集区域内定位精度较差的点云数据删除；

所述点云处理单机将合格点云数据处理成成果点云数据为，点云解析、滤波、去噪、分类、分析、目标提取。

2.根据权利要求1所述的面向超海量点云的管理方法，其特征在于，所述筛选算法包括将新采集的点云数据与已有的点云数据进行对比，将相同的点云数据进行文件合并、合并后再采样。

3.根据权利要求1所述的面向超海量点云的管理方法，其特征在于，所述筛选算法还包括对基于定位信号质量的原始点云数据做筛选，将低于标准的原始点云数据剔除。

4.根据权利要求1所述的面向超海量点云的管理方法，其特征在于，在步骤四和步骤五之间，点云处理单机将成果点云数据上传至存储服务器后，将点云处理单机上的任务数据、合格点云数据和成果点云数据删除。

5.一种面向超海量点云的管理系统，其特征在于，包括通过高速交换网络进行信息传输的存储服务器、管理服务器、任务管理器、处理机组和展示终端；

所述存储服务器连接有数据处理器；数据处理器从原始点云数据中筛选合格点云数据存入存储服务器；存储服务器存储目标点云文件和动态点云文件；

数据处理器按照预设的筛选算法对原始点云数据进行筛选，得到可用于存储的合格点云数据；所述筛选算法包括对原始点云数据做自动分类处理，自动提取地面点、杆塔、电力线和植被的数据；

所述管理服务器连接有数据库；数据库存储目标文件路径和动态文件路径；

管理服务器将成果点云数据转码成动态点云数据；管理服务器绑定数据处理任务与任务对应的目标文件路径；管理服务器调度目标文件路径及动态文件路径；

所述任务管理器向管理服务器发送数据处理任务；

所述处理机组由多个点云处理单机组成；点云处理单机接收数据处理任务，获取关联的目标文件路径；下载对应合格点云数据；将合格点云数据转码成成果点云数据；点云处理单机将成果点云数据上传至存储服务器；

所述展示终端下载动态点云数据，进行动态加载并显示；

所述筛选算法包括对原始点云数据做降噪处理，剔除原始点云数据中离散的、集合数量小于预设数值的点；

所述筛选算法包括采集原始点云时，采集对应区域的定位精度信息，定位精度与采集原始点云数据中每个点云数据的时间一一对应；数据处理器将同一时间段、同一采集区域内定位精度较差的点云数据删除。

6.根据权利要求5所述的一种面向超海量点云的管理系统，其特征在于，所述任务管理器实时监控各点云处理单机业务处理情况，向各点云处理单机均衡分配处理任务。

Images