CN113934535A - 海量点云数据处理方法、装置、服务器及系统 - Google Patents

海量点云数据处理方法、装置、服务器及系统 Download PDF

Info

Publication number
CN113934535A
CN113934535A CN202111180896.2A CN202111180896A CN113934535A CN 113934535 A CN113934535 A CN 113934535A CN 202111180896 A CN202111180896 A CN 202111180896A CN 113934535 A CN113934535 A CN 113934535A
Authority
CN
China
Prior art keywords
point cloud
cloud data
processing
task
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111180896.2A
Other languages
English (en)
Inventor
许柔娜
吴蔚
李行义
曾伟雄
陈隽敏
黄俊达
雷新
薛菲
赖惠婷
邓超怡
饶著
谢烨妍
梁韵诗
蔡斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Kenuo Surveying Engineering Co ltd
Original Assignee
Guangdong Kenuo Surveying Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Kenuo Surveying Engineering Co ltd filed Critical Guangdong Kenuo Surveying Engineering Co ltd
Priority to CN202111180896.2A priority Critical patent/CN113934535A/zh
Publication of CN113934535A publication Critical patent/CN113934535A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5066Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种海量点云数据处理方法、装置、服务器及系统。海量点云数据处理方法包括如下步骤:获取若干点云数据处理任务,对若干点云数据处理任务进行分析获得各个点云数据处理任务的运算量;获取各个节点处理器的处理能力,根据处理能力以及各个点云数据处理的运算量对处理时长进行预测获得若干节点处理预估时长;其中,节点处理预估时长为预测的各个节点处理器对各个点云数据处理任务的处理时长;获取各个节点处理器的待处理任务量,根据待处理任务量以及节点处理预估时长将各个点云数据处理任务分发至各个节点处理器;通过各个节点处理器对点云数据处理任务进行处理,能够对海量点云数据进行高效处理,点云数据检测结果反馈及时。

Description

海量点云数据处理方法、装置、服务器及系统
技术领域
本发明涉及点云数据处理领域,特别是涉及一种海量点云数据处理方法、装置、服务器及系统。
背景技术
在无人机航测巡视应用中,通过无人机采集大量的点云数据,并将点云数据集中于单个数据处理器上进行运算处理。由于需要对较多的点云数据进行处理,工作量大,专业性强,因此对用于处理点云数据的处理器的性能要求非常高,数据处理时对单机版的点云数据处理器的系统资源消耗非常大。因此,应用一般的单机版的点云数据处理器对海量点云数据进行处理时,会存在海量点云数据处理时间长,对海量点云数据处理不够及时,易造成点云数据处理检测结果反馈不及时,时效性差。
发明内容
为克服相关技术中存在的问题,本发明实施例提供了一种海量点云数据处理方法、装置、服务器及系统,所述海量点云数据处理方法通过服务器对各个点云处理任务进行管理以及任务分发,并通过各个节点处理器执行各个点云处理任务,从而能够对海量点云数据进行高效处理,点云数据检测结果反馈及时,时效性较好。
根据本发明实施例的第一方面,提供一种海量点云数据处理方法,包括如下步骤:
获取若干点云数据处理任务,对若干所述点云数据处理任务进行分析获得各个点云数据处理任务的运算量;
获取各个节点处理器的处理能力,根据所述处理能力以及所述各个点云数据处理的运算量对处理时长进行预测获得若干节点处理预估时长;其中,所述节点处理预估时长为预测的各个节点处理器对各个点云数据处理任务的处理时长;
获取各个节点处理器的待处理任务量,根据所述待处理任务量以及所述节点处理预估时长将各个点云数据处理任务分发至各个节点处理器;
通过各个节点处理器对其接收到的点云数据处理任务进行处理。
根据本发明实施例的第二方面,提供一种海量点云数据处理装置,包括:
第一获取模块,用于获取若干点云数据处理任务,对若干所述点云数据处理任务进行分析获得各个点云数据处理任务的运算量;
第二获取模块,用于获取各个节点处理器的处理能力,根据所述处理能力以及所述各个点云数据处理的运算量对处理时长进行预测获得若干节点处理预估时长;其中,所述节点处理预估时长为预测的各个节点处理器对各个点云数据处理任务的处理时长;
任务分发模块,用于获取各个节点处理器的待处理任务量,根据所述待处理任务量以及所述节点处理预估时长将各个点云数据处理任务分发至各个节点处理器;
点云数据处理模块,用于通过各个节点处理器对其接收到的点云数据处理任务进行处理。
根据本发明实施例的第三方面,提供一种海量点云数据处理服务器,包括:处理器和存储器;所述存储器通过通信总线与处理器电连接;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如上任意一项实施例所述的海量点云数据处理方法。
根据本发明实施例的第四方面,提供一种海量点云数据处理系统,包括服务器和若干节点处理器;
所述服务器获取各个节点处理器当前任务的处理进度以及待处理任务数量,根据所述当前任务的处理进度以及待处理任务数量,获得各个节点处理器的待处理任务量;对待分发的点云数据处理任务按照优先级排序,获得处理任务列表;获取所述处理任务列表中的各个点云数据处理任务的节点处理预估时长;根据各个节点处理器的待处理任务量,以及所述各个点云数据处理任务的节点处理预估时长,将各个点云数据处理任务分发至对应的节点处理器;
若干所述节点处理器与所述服务器建立通信连接,接收所述服务器分发的点云数据处理任务并处理。
应用本申请的上述技术方案,通过服务器对各个点云数据处理任务进行任务分析,并对各个节点处理器的任务处理能力以及进度进行管理,从而将各个点云数据处理任务合理分发至各个节点处理器,通过各个节点处理器执行各个点云处理任务,从而能够对海量点云数据进行高效处理。相对于现有技术方案中通过单机版的处理器对点云数据进行处理的方式,本申请基于消息队列机制,通过多个节点处理器对海量点云数据进行并行处理,具有较快的数据处理速度,检测结果反馈及时,有利于无人机光航测巡视的普及应用。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1为本发明实施例示出的海量点云数据处理方法的流程示意图;
图2为本发明实施例示出的海量点云数据处理方法的节点流程示意图;
图3为本发明实施例示出的点云数据处理的流程框图;
图4为本发明实施例示出的海量点云数据处理方法的步骤S2的流程示意图;
图5为本发明实施例示出的海量点云数据处理方法的步骤S3的流程示意图;
图6为本发明实施例示出的海量点云数据处理装置的结构示意图;
图7为本发明实施例示出的海量点云数据处理服务器的结构示意图;
图8为本发明实施例示出的海量点云数据处理系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在无人机航测巡视应用中,需要对大量的点云数据进行处理,工作量大,专业性强,因此对用于处理点云数据的处理器的性能要求非常高,数据处理时对单机版的点云数据处理器的系统资源消耗非常大。因此,应用一般的单机版的点云数据处理器对海量点云数据进行处理时,会存在海量点云数据处理时间长,对海量点云数据处理不够及时,易造成点云数据处理检测结果反馈不及时,时效性差。
基于上述技术问题,本发明实施例的海量点云数据处理方法,意在通过服务器对各个点云处理任务进行管理以及任务分发,并通过各个节点处理器执行各个点云处理任务,从而能够对海量点云数据进行高效处理,点云数据检测结果反馈及时,时效性较好。
以下通过具体的实施例进行说明。
根据本发明实施例的第一方面,公开了一种海量点云数据处理方法,应用于智能设备,所述智能设备可以通过纯软件的方式实现本申请海量点云数据处理方法,也可以采用软硬件结合的方式来实现。本实施例中,所述海量点云数据处理方法应用于无人机航测巡视应用中点云数据处理设备,即智能设备。智能设备可以为计算机、交互平板、服务器等智能设备。本申请的智能设备可以为用于处理海量点云数据的服务器。
请同时参阅图1、图2和图3,图1为本发明实施例示出的海量点云数据处理方法的流程示意图;图2为本发明实施例示出的海量点云数据处理方法的节点流程示意图;图3为本发明实施例示出的点云数据处理的流程框图。
该海量点云数据处理方法,包括以下步骤:
S1:获取若干点云数据处理任务,对若干所述点云数据处理任务进行分析获得各个点云数据处理任务的运算量。
本实施例中,通过安装于无人机上的航测设备进行飞行航测,采集到的海量点云原始数据保存于无人机上的航测设备的存储器中,当无人机航测任务结束后,将航测设备上的存储器与数据上传设备连接,通过数据上传设备将海量点云原始数据上传至服务器上,再通过服务器执行本发明中的海量点云数据处理方法对海量点云原始数据进行处理。
在一个可选的实施例中,航测设备的存储器可以与用于数据结果展示的浏览器设备进行连接,用户对浏览器设备进行操作将存储器上的海量原始点云数据上传至服务器中。
在一个可选的实施例中,无人机上的航测设备可以设置有用于将原始点云数据回传至服务器的无线通信模块,通过无线通信模块与服务器建立实时连接,及时将采集到的原始点云数据回传到服务器上,便于服务器及时对点云数据进行处理,提高点云数据处理的时效性。其中,所述无线通信模块可以为4G通信模块,或5G通信模块,还可以其他的通信模块。
在一个可选的实施例中,请参阅图4,图4为本发明实施例示出的海量点云数据处理方法的步骤S2的流程示意图。
步骤S1包括:
S11:接收若干原始点云数据,根据所述原始点云数据建立点云数据处理任务。
原始点云数据有各台无人机进行飞行航测所采集到的待处理的相关原始数据,原始点云数据的数据量通常非常大,并形成海量点云数据,即包括非常多个点云数据集合。每一个原始点云数据需要进行不同的数据处理,因此,需要根据原始点云数据建立对应的点云数据处理任务。
S12:对各个点云数据处理任务进行分类获得任务处理类别。
由于各个点云数据处理任务的类别不同,所需要时间以及对处理器性能的要求不同,因此,需要对各个点云数据处理任务进行分类获得任务处理类别。从而便于将同一类型的点云数据处理任务进行集中处理以提高数据处理效率,或者将同一类型的点云数据处理任务进行合理的分配。
其中,任务处理类别包括至少一种以下数据处理类别:
点云数据分段上传,将获取到的点云数据进行切片,点云数据中的点对点配准,对多个相近的点云数据进行合并,将点云数据中的噪声数据切除,将点云数据中的噪点滤波去除,将点云数据的类型进行分类,对各个点云数据的隐患点进行识别。
其中,当点云数据分段上传时,在前端界面实时展示上传的进度;且对应的点云数据分段上传任务设定有唯一的ID号,当网络中断时,点云数据上传被中断,在网络恢复正常后,可以根据点云数据分段上传的任务ID号进行断点续传,从而解决了网络不稳定的情况下对大数据量的上传问题。
将获取到的点云数据进行切片,即将点云数据切割成若干个非常小的数据集合,即可以在前端界面进行展示。
点云数据中的点对点配准:当点云效果较差时,可以选用激光点云数据与可见光点云数据进行点对点的匹配,根据不同的数据获取不同的数据类型进行组合后重新合成一份最新且有效的点云数据。
对多个相近的点云数据进行合并:确定同一个坐标系的点云数据,将多个附近的点云数据进行拼接合并,重新生成一份完整的点云数据。
将点云数据中的噪声数据切除:根据用户选择的裁切宽度,且在海量展示点云中选取需要的裁切点对点云进行切档。切档可以将点云多余部分去除,减轻处理器对点云处理的压力。
将点云数据中的噪点滤波去除:将点云数据中存在的噪点通过点云滤波的算法进行去除,减少对点云分类与后续操作的影响。
将点云数据的类型进行分类:将点云中存在的类型进行自动分类或手动分类。分类的类型可以包括:地面、植被、杆塔、电力线、噪点、高植被、隐患点、上交跨、下交跨、河流、公路、铁路、建筑物、路灯等类型。
对各个点云数据的隐患点进行识别:通过设置不同点云中不同类型的安全距离作为隐患标准,当不同类型的点云小于隐患标准时,会自动在点云上将其修改为隐患分类。
在一个可选的实施例中,若分发至各个节点处理器进行点云数据处理时,出现了数据处理异常无法再进行数据处理,此时,可以将该处理器上的所有未完成的点云数据处理任务重新加入分发之前的节点再次进行分发。
因此,对各个点云数据处理任务进行分类获得任务处理类别,包括:
接收各个节点处理器反馈的未处理完的点云数据处理任务,对根据所述原始点云数据建立的点云数据处理任务,以及各个节点处理器反馈的未处理完的点云数据处理任务进行分类获得任务处理类别,以便于将未处理完毕的点云数据处理任务进行重新分发处理。
S13:对各个所述原始点云数据进行数据量分析,获得各个所述点云数据处理任务的待处理数据量,以便于对各个点云数据处理认为的运算量进行准确运算。
S14:根据所述任务处理类别以及与所述点云数据处理任务对应的待处理数据量,获得各个点云数据处理任务的运算量。
不同的任务处理类别会具有不用的运算量,且点云数据量的多少也会对数据处理的速度造成一定的影响,因此,本实施例中,可以根据所述任务处理类别以及与所述点云数据处理任务对应的待处理数据量,获得各个点云数据处理任务的运算量,以便于对各个点云数据处理任务进行合理的分发。
S2:获取各个节点处理器的处理能力,根据所述处理能力以及所述各个点云数据处理的运算量对处理时长进行预测,获得若干节点处理预估时长;其中,所述节点处理预估时长为预测的各个节点处理器对各个点云数据处理任务的处理时长。
由于每个节点处理器的性能不一样,因此对数据的处理能力也会不一样,会产生不一样的处理时长,在将点云数据处理任务分发前需要根据节点处理器的处理能力来分发任务。
各个点云数据处理的运算量也会对数据处理时长造成一定的影响,因此,本实施例中,根据所述处理能力以及所述各个点云数据处理的运算量对处理时长进行预测,获得若干节点处理预估时长,使得获得的节点处理预估时长会较为准确,以便于更加合理的分发任务。
S3:获取各个节点处理器的待处理任务量,根据所述待处理任务量以及所述节点处理预估时长将各个点云数据处理任务分发至各个节点处理器。
由于各个节点处理分发有多个数据处理任务,基于消息队列机制将各个点云数据处理任务分发至各个节点时,需要获取各个节点处理器的待处理任务量,并根据所述待处理任务量以及所述节点处理预估时长将各个点云数据处理任务分发至各个节点处理器。
在一个可选的实施例中,请参阅图5,图5为本发明实施例示出的海量点云数据处理方法的步骤S3的流程示意图。
步骤S3包括:
S31:获取各个节点处理器当前任务的处理进度以及待处理任务数量,根据所述当前任务的处理进度以及待处理任务数量,获得各个节点处理器的待处理任务量。
由于节点处理器当前正在处理的任务可能会需要一定的处理时间,因此在计算各个节点处理器的待处理任务量时,结合当前任务的处理进度来获取待处理任务量会更加的准确,有利于合理分发点云数据处理任务。
S32:对待分发的点云数据处理任务按照优先级排序,获得处理任务列表,以便于将各个点云数据处理任务进行合理分发。
各个点云数据处理任务都属于一种任务类别,每一种任务类别都具有不同的缓急程度,因此,通过对待分发的点云数据处理任务按照优先级排序,可以较为合理分发点云数据处理任务,有利于提高检测结果的时效性。
S33:获取所述处理任务列表中的各个点云数据处理任务的节点处理预估时长。
每一个处理任务列表中的各个点云数据处理任务均具有不同的节点处理预估时长,以便于合理分发各个点云数据处理任务。
S34:根据各个节点处理器的待处理任务量,以及所述各个点云数据处理任务的节点处理预估时长,将各个点云数据处理任务分发至对应的节点处理器。
在一个可选的实施例中,获取优先级别最高的点云数据处理任务,以及优先级别最高的点云数据处理任务的节点处理预估时长,将优先级别最高的点云数据处理任务分发至能够最快处理该任务的节点处理器。
S4:通过各个节点处理器对其接收到的点云数据处理任务进行处理。
相比于原技术方案中仅通过单机版的处理器进行点云数据处理,本实施例通过各个节点处理器对其接收到的点云数据处理任务进行处理,能够多线程并行处理各个任务,加快处理速度,有利于提高检测结果的时效性。
由于单机版的处理器进行点云数据处理之后仅能在唯一的服务器上进行展示,不利于点云数据结果的共享,因此在一个可选的实施例中,步骤S4之后还包括步骤:接收各个节点处理器反馈的结果数据并汇总形成待展示数据,响应于浏览器端的数据展示请求,向所述浏览器端发送对应的待展示数据。最终达到可从网页端查看海量数据的实时展示,实现对监测海量数据的可视化及空间查询,对于提高点云数据的实时应用与提高点云数据的研究有重大作用。
在响应于浏览器端的数据展示请求时,基于心跳机制响应于浏览器端的数据展示请求,以便于及时接收到浏览器端的展示请求,及时响应,提高用户体验。
其中,浏览器端的浏览器设备可以为桌上电脑、交互平板、智能手机、以及其他的智能设备。用户通过在智能设备上以特定的账号密码登录之后,即可进入点云数据处理系统中,便于用户查看不同时间节点下的点云效果可视化视图。
应用本申请的上述技术方案,通过服务器对各个点云数据处理任务进行任务分析,并对各个节点处理器的任务处理能力以及进度进行管理,从而将各个点云数据处理任务合理分发至各个节点处理器,通过各个节点处理器执行各个点云处理任务,从而能够对海量点云数据进行高效处理。相对于现有技术方案中通过单机版的处理器对点云数据进行处理的方式,本申请基于消息队列机制,通过多个节点处理器对海量点云数据进行并行处理,具有较快的数据处理速度,检测结果反馈及时,有利于无人机光航测巡视的普及应用。并且,便于用户从多个浏览器端对点云数据结果进行查看,达到实时共享的目的,使用较为方便,提升了用户体验。
本申请的技术方案可以应用于无人机巡检隐患分析,后续也可应用于建筑施工预警、区域工程监管、生态工程监管等场景中,对经济社会发展提供可靠的支撑和保障。
根据本发明实施例的第二方面,公开了一种海量点云数据处理装置,该装置可以用于执行本申请对应实施例海量点云数据处理方法的内容,并具备相应的功能和有益效果。对于本申请海量点云数据处理装置实施例中未披露的细节,请参照本申请海量点云数据处理方法的内容。
请参阅图6,图6为本发明实施例示出的海量点云数据处理装置的结构示意图。
所述海量点云数据处理装置600,包括:
第一获取模块610,用于获取若干点云数据处理任务,对若干所述点云数据处理任务进行分析获得各个点云数据处理任务的运算量;
第二获取模块620,用于获取各个节点处理器的处理能力,根据所述处理能力以及所述各个点云数据处理的运算量对处理时长进行预测获得若干节点处理预估时长;其中,所述节点处理预估时长为预测的各个节点处理器对各个点云数据处理任务的处理时长;
任务分发模块630,用于获取各个节点处理器的待处理任务量,根据所述待处理任务量以及所述节点处理预估时长将各个点云数据处理任务分发至各个节点处理器;
点云数据处理模块640,用于通过各个节点处理器对其接收到的点云数据处理任务进行处理。
相对于现有技术方案中,本海量点云数据处理装置通过单机版的处理器对点云数据进行处理的方式,本申请基于消息队列机制,通过多个节点处理器对海量点云数据进行并行处理,具有较快的数据处理速度,检测结果反馈及时,有利于无人机光航测巡视的普及应用。
值得注意的是,上述实施例提供的海量点云数据处理装置在执行上述海量点云数据处理方法时,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分发由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的海量点云数据处理装置与海量点云数据处理方法实施例属于同一构思,其体现过程详见实施例,这里不再赘述。
根据本发明实施例的第三方面,提供一种海量点云数据处理服务器700,请参阅图7,图7为本发明实施例示出的海量点云数据处理服务器的结构示意图。
海量点云数据处理服务器700包括:处理器710和存储器740;所述存储器740通过通信总线750与处理器710电连接;其中,所述存储器740存储有计算机程序,所述计算机程序适于由所述处理器710加载并执行如上任意一项实施例所述的海量点云数据处理方法。
所述服务器700包括至少一个处理器710、至少一个网络接口720、用户接口730、存储器740以及至少一个通信总线750。其中,通信总线750用于实现这些组件之间的连接通信。
其中,用户接口730可以包括用于连接显示屏的接口,和用于连接摄像头的接口,可选用户接口730还可以包括标准的有线接口、无线接口。
其中,网络接口720可选包括标准的有线接口、无线接口(如WIFI接口)。
其中,处理器710可以包括一个或多个处理核心。处理器710利用各种接口和线路连接整个智能设备700内的各个部分,通过运行或执行存储在处理器710内的指令、程序、代码集或指令集,以及调用存储在存储器740内的数据,执行智能设备700的各种功能和处理数据。可选的,处理器710可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmablelogic arrays,PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器710中,单独通过一块芯片进行实现。
其中,存储器740可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器740包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器740可用于存储指令、程序、代码、代码集或指令集。存储器740可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器740可选的还可以是至少一个位于远离前述处理器710的存储装置。如图7所示,作为一种计算机存储介质的存储器740中可以包括操作系统、网络通信模块、用户接口模块以及智能设备的操作应用程序。
在图7所示的服务器700中,用户接口730主要用于为用户提供输入的接口,用于接收用户上传的点云原始数据;而处理器710可以用于调用存储器740中存储的智能设备的操作应用程序,并执行上述实施例中海量点云数据处理方法中的相关操作。
上述智能设备可以用于执行本申请对应实施例海量点云数据处理方法的内容,并具备相应的功能和有益效果。
根据本发明实施例的第四方面,提供一种海量点云数据处理系统,请参阅图8,图8为本发明实施例示出的海量点云数据处理系统的结构示意图。
海量点云数据处理系统包括服务器801和若干节点处理器802;
所述服务器801获取各个节点处理器802当前任务的处理进度以及待处理任务数量,根据所述当前任务的处理进度以及待处理任务数量,获得各个节点处理器的待处理任务量;对待分发的点云数据处理任务按照优先级排序,获得处理任务列表;获取所述处理任务列表中的各个点云数据处理任务的节点处理预估时长;根据各个节点处理器的待处理任务量,以及所述各个点云数据处理任务的节点处理预估时长,将各个点云数据处理任务分发至对应的节点处理器;
若干所述节点处理器802与所述服务器801建立通信连接,接收所述服务器801分发的点云数据处理任务并处理。
海量点云数据处理系统还包括若干浏览器803和若干航测设备804。
其中,浏览器803用于向用户进行数据结果展示,浏览器903可以为桌上电脑、交互平板、智能手机以及其他智能设备的浏览器。
其中,航测设备804可以为安装于无人机上的各种航测设备,用于采集点云数据。
根据本发明实施例的第五方面,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上任意一项实施例所述的海量点云数据处理方法中的相关操作,且具备相应的功能和有益效果。其中,计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种海量点云数据处理方法,其特征在于,包括如下步骤:
获取若干点云数据处理任务,对若干所述点云数据处理任务进行分析获得各个点云数据处理任务的运算量;
获取各个节点处理器的处理能力,根据所述处理能力以及所述各个点云数据处理的运算量对处理时长进行预测获得若干节点处理预估时长;其中,所述节点处理预估时长为预测的各个节点处理器对各个点云数据处理任务的处理时长;
获取各个节点处理器的待处理任务量,根据所述待处理任务量以及所述节点处理预估时长将各个点云数据处理任务分发至各个节点处理器;
通过各个节点处理器对其接收到的点云数据处理任务进行处理。
2.根据权利要求1所述的海量点云数据处理方法,其特征在于,所述获取若干点云数据处理任务,对若干所述点云数据处理任务进行分析获得各个点云数据处理任务的运算量,包括:
接收若干原始点云数据,根据所述原始点云数据建立点云数据处理任务;
对各个点云数据处理任务进行分类获得任务处理类别;
对各个所述原始点云数据进行数据量分析,获得各个所述点云数据处理任务的待处理数据量;
根据所述任务处理类别以及与所述点云数据处理任务对应的待处理数据量,获得各个点云数据处理任务的运算量。
3.根据权利要求2所述的海量点云数据处理方法,其特征在于,所述任务处理类别包括至少一种以下数据处理类别:
点云数据分段上传,将获取到的点云数据进行切片,点云数据中的点对点配准,对多个相近的点云数据进行合并,将点云数据中的噪声数据切除,将点云数据中的噪点滤波去除,将点云数据的类型进行分类,对各个点云数据的隐患点进行识别。
4.根据权利要求2所述的海量点云数据处理方法,其特征在于,所述对各个点云数据处理任务进行分类获得任务处理类别,包括:
接收各个节点处理器反馈的未处理完的点云数据处理任务,对根据所述原始点云数据建立的点云数据处理任务,以及各个节点处理器反馈的未处理完的点云数据处理任务进行分类获得任务处理类别。
5.根据权利要求1所述的海量点云数据处理方法,其特征在于,所述获取各个节点处理器的待处理任务量,根据所述待处理任务量以及所述节点处理预估时长将各个点云数据处理任务分发至各个节点处理器,包括:
获取各个节点处理器当前任务的处理进度以及待处理任务数量,根据所述当前任务的处理进度以及待处理任务数量,获得各个节点处理器的待处理任务量;
对待分发的点云数据处理任务按照优先级排序,获得处理任务列表;
获取所述处理任务列表中的各个点云数据处理任务的节点处理预估时长;
根据各个节点处理器的待处理任务量,以及所述各个点云数据处理任务的节点处理预估时长,将各个点云数据处理任务分发至对应的节点处理器。
6.根据权利要求1所述的海量点云数据处理方法,其特征在于,所述根据各个节点处理器的待处理任务量,以及所述各个点云数据处理任务的节点处理预估时长,将各个点云数据处理任务分发至对应节点处理器时,
获取优先级别最高的点云数据处理任务,以及优先级别最高的点云数据处理任务的节点处理预估时长,将优先级别最高的点云数据处理任务分发至能够最快处理该任务的节点处理器。
7.根据权利要求1所述的海量点云数据处理方法,其特征在于,还包括步骤:
接收各个节点处理器反馈的结果数据并汇总形成待展示数据,响应于浏览器端的数据展示请求,向所述浏览器端发送对应的待展示数据。
8.一种海量点云数据处理装置,其特征在于,包括:
第一获取模块,用于获取若干点云数据处理任务,对若干所述点云数据处理任务进行分析获得各个点云数据处理任务的运算量;
第二获取模块,用于获取各个节点处理器的处理能力,根据所述处理能力以及所述各个点云数据处理的运算量对处理时长进行预测获得若干节点处理预估时长;其中,所述节点处理预估时长为预测的各个节点处理器对各个点云数据处理任务的处理时长;
任务分发模块,用于获取各个节点处理器的待处理任务量,根据所述待处理任务量以及所述节点处理预估时长将各个点云数据处理任务分发至各个节点处理器;
点云数据处理模块,用于通过各个节点处理器对其接收到的点云数据处理任务进行处理。
9.一种海量点云数据处理服务器,其特征在于,包括:处理器和存储器;所述存储器通过通信总线与处理器电连接;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1至7中任意一项所述的海量点云数据处理方法。
10.一种海量点云数据处理系统,其特征在于,包括服务器和若干节点处理器;
所述服务器获取各个节点处理器当前任务的处理进度以及待处理任务数量,根据所述当前任务的处理进度以及待处理任务数量,获得各个节点处理器的待处理任务量;对待分发的点云数据处理任务按照优先级排序,获得处理任务列表;获取所述处理任务列表中的各个点云数据处理任务的节点处理预估时长;根据各个节点处理器的待处理任务量,以及所述各个点云数据处理任务的节点处理预估时长,将各个点云数据处理任务分发至对应的节点处理器;
若干所述节点处理器与所述服务器建立通信连接,接收所述服务器分发的点云数据处理任务并处理。
CN202111180896.2A 2021-10-11 2021-10-11 海量点云数据处理方法、装置、服务器及系统 Pending CN113934535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111180896.2A CN113934535A (zh) 2021-10-11 2021-10-11 海量点云数据处理方法、装置、服务器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111180896.2A CN113934535A (zh) 2021-10-11 2021-10-11 海量点云数据处理方法、装置、服务器及系统

Publications (1)

Publication Number Publication Date
CN113934535A true CN113934535A (zh) 2022-01-14

Family

ID=79278102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111180896.2A Pending CN113934535A (zh) 2021-10-11 2021-10-11 海量点云数据处理方法、装置、服务器及系统

Country Status (1)

Country Link
CN (1) CN113934535A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579268A (zh) * 2022-01-30 2022-06-03 阿里巴巴(中国)有限公司 资源调度方法以及装置
CN116095753A (zh) * 2023-04-10 2023-05-09 北京东远润兴科技有限公司 协同计算方法、装置、设备及存储介质
CN114579268B (zh) * 2022-01-30 2024-10-25 阿里巴巴(中国)有限公司 资源调度方法以及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229511A (zh) * 2017-05-11 2017-10-03 东软集团股份有限公司 集群任务均衡调度方法、装置、存储介质及电子设备
CN111708639A (zh) * 2020-06-22 2020-09-25 中国科学技术大学 任务调度系统及方法、存储介质及电子设备
CN111767121A (zh) * 2019-04-02 2020-10-13 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111782677A (zh) * 2020-05-27 2020-10-16 中国平安财产保险股份有限公司 基于多引擎数据分群方法、装置、计算机设备和存储介质
CN112948111A (zh) * 2021-02-26 2021-06-11 北京奇艺世纪科技有限公司 一种任务分配方法、装置、设备及计算机可读介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229511A (zh) * 2017-05-11 2017-10-03 东软集团股份有限公司 集群任务均衡调度方法、装置、存储介质及电子设备
CN111767121A (zh) * 2019-04-02 2020-10-13 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111782677A (zh) * 2020-05-27 2020-10-16 中国平安财产保险股份有限公司 基于多引擎数据分群方法、装置、计算机设备和存储介质
CN111708639A (zh) * 2020-06-22 2020-09-25 中国科学技术大学 任务调度系统及方法、存储介质及电子设备
CN112948111A (zh) * 2021-02-26 2021-06-11 北京奇艺世纪科技有限公司 一种任务分配方法、装置、设备及计算机可读介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579268A (zh) * 2022-01-30 2022-06-03 阿里巴巴(中国)有限公司 资源调度方法以及装置
CN114579268B (zh) * 2022-01-30 2024-10-25 阿里巴巴(中国)有限公司 资源调度方法以及装置
CN116095753A (zh) * 2023-04-10 2023-05-09 北京东远润兴科技有限公司 协同计算方法、装置、设备及存储介质
CN116095753B (zh) * 2023-04-10 2023-06-30 北京东远润兴科技有限公司 协同计算方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108353090B (zh) 用于改进对分布式网络中的传感器流数据的处理的方法
CN108039959B (zh) 一种数据的态势感知方法、系统及相关装置
CN113569117B (zh) 一种基于工业互联网大数据服务的云平台系统及方法
CN105898205B (zh) 用于由多个摄像头监视目标对象的方法和装置
US11456932B2 (en) System capacity heatmap
CN110347694B (zh) 一种基于物联网的设备监控方法、装置及系统
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN111858284A (zh) 一种人工智能服务器的资源监控方法和装置
CN114265680A (zh) 一种海量数据处理方法、装置、电子设备及存储介质
CN113934535A (zh) 海量点云数据处理方法、装置、服务器及系统
Guo Application of meteorological big data
CN114741171A (zh) 一种数据挖掘方法、装置、电子设备、介质及计算机产品
CN108804210B (zh) 一种云平台的资源配置方法及装置
Bai et al. Cooperverse: A mobile-edge-cloud framework for universal cooperative perception with mixed connectivity and automation
CN112486676B (zh) 一种基于边缘计算的数据共享分发装置
CN117762968A (zh) 一种数据聚合方法、系统、设备及存储介质
CN113362090B (zh) 一种用户行为数据处理方法和装置
CN115567563B (zh) 基于端边云的综合交通枢纽监测预警系统及其控制方法
CN113761306A (zh) 一种车端数据处理方法及装置
CN115439015B (zh) 基于数据中台的局域电网数据管理方法、装置及设备
CN116821493A (zh) 消息推送方法、装置、计算机设备及存储介质
CN116050159A (zh) 一种仿真场景集生成方法、装置、设备及介质
CN114987494A (zh) 驾驶场景处理方法、装置及电子设备
CN115269519A (zh) 一种日志检测方法、装置及电子设备
CN115278529A (zh) 一种移动终端分布可视化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination