CN115424022B - 输电走廊地面点云分割方法、装置和计算机设备 - Google Patents
输电走廊地面点云分割方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN115424022B CN115424022B CN202211368302.5A CN202211368302A CN115424022B CN 115424022 B CN115424022 B CN 115424022B CN 202211368302 A CN202211368302 A CN 202211368302A CN 115424022 B CN115424022 B CN 115424022B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- information
- feature
- visible light
- geometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种输电走廊地面点云分割方法、装置和计算机设备,涉及人工智能技术领域。所述方法包括:获取针对输电走廊采集的待分割的点云数据,所述待分割的点云数据包括激光点云特征信息和可见光图像特征信息;根据所述激光点云特征信息,确定点云几何特征信息;对所述激光点云特征信息、所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到多模态特征融合信息;将所述多模态特征融合信息输入点云特征提取模型,得到所述待分割的点云数据中每个点属于地面的概率;基于所述概率,对所述待分割的点云数据进行点云分割,得到点云分割结果。采用本方法能够有效提高对于多种复杂环境的点云分割准确率。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及一种输电走廊地面点云分割方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
高电压等级的输电走廊通常位于崇山峻岭中,由于地理因素的影响,输电走廊往往存在线路长度长,地面坡度大,海拔高低悬殊,地表植被覆盖率高等特点。
现有的技术往往通过单一的特征进行点云地面分割,如通过高程信息进行点云地面分割的平面栅格法,通过计算法向量进行点云地面分割的点云法向量分割法,通过RANSAC(RANdom SAmple Consensus,随机抽样一致算法)等平面拟合算法进行点云地面分割的模型拟合法,通过区域生长等算法进行点云地面分割的面元网格法。这些算法只能满足地面平坦、干扰较少的简单场景,而对于线路长度长,地面坡度大,海拔高低悬殊,地表植被覆盖率高的输电走廊,点云分割准确率极差。
发明内容
基于此,有必要针对上述技术问题,提供一种准确性更好的输电走廊地面点云分割方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种输电走廊地面点云分割方法。所述方法包括:
获取针对输电走廊采集的待分割的点云数据,所述待分割的点云数据包括激光点云特征信息和可见光图像特征信息;
根据所述激光点云特征信息,确定点云几何特征信息;
对所述激光点云特征信息、所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到多模态特征融合信息;
将所述多模态特征融合信息输入点云特征提取模型,得到所述待分割的点云数据中每个点属于地面的概率;
基于所述概率,对所述待分割的点云数据进行点云分割,得到点云分割结果。
在其中一个实施例中,所述激光点云特征信息包括点云位置坐标信息,所述根据所述激光点云特征信息,得到点云几何特征信息,包括:
根据所述激光点云特征信息中的所述点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量;
将所述点云粗糙度、所述点云高斯曲率和所述点云法向量,确定为所述点云几何特征信息。
在其中一个实施例中,所述根据所述激光点云特征信息中的所述点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量,包括:
获取预设的最近邻范围;
根据所述最近邻范围和所述点云位置坐标信息,得到所述点云粗糙度、所述点云高斯曲率和所述点云法向量。
在其中一个实施例中,所述激光点云特征信息包括点云位置坐标信息、反射强度信息和回波次数信息,所述对所述激光点云特征信息、所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到多模态特征融合信息,包括:
对所述激光点云特征信息中的所述反射强度信息和所述回波次数信息,与所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到第一特征融合信息;
将所述激光点云特征信息中的点云位置坐标信息和所述第一特征融合信息进行拼接处理,得到第一特征拼接信息;
对所述第一特征拼接信息进行全局特征提取处理,得到所述多模态特征融合信息。
在其中一个实施例中,所述对所述激光点云特征信息中的所述反射强度信息和所述回波次数信息,与所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到第一特征融合信息,包括:
对所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到第二特征融合信息;
将所述反射强度信息、所述回波次数信息和所述第二特征融合信息进行拼接处理,得到第二特征拼接信息;
对所述第二特征拼接信息进行全局特征提取处理,得到所述第一特征融合信息。
在其中一个实施例中,所述对所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到第二特征融合信息,包括:
分别对所述可见光图像特征信息和所述点云几何特征信息进行全局特征提取处理,得到可见光图像全局特征信息和点云几何全局特征信息;
将所述可见光图像全局特征信息和所述点云几何特征全局信息进行拼接处理,得到第二特征融合信息。
在其中一个实施例中,所述基于所述概率,对所述待分割的点云数据进行点云分割,得到点云分割结果,包括:
获取预设的概率阈值;
针对所述待分割的点云数据中的任一个点,若所述任一个点属于地面的概率大于所述概率阈值,则确定所述任一个点为地面点;
若所述任一个点属于地面的概率小于或等于所述概率阈值,则确定所述任一个点为非地面点。
第二方面,本申请还提供了一种输电走廊地面点云分割装置。所述装置包括:
点云获取模块,用于获取针对输电走廊采集的待分割的点云数据,所述待分割的点云数据包括激光点云特征信息和可见光图像特征信息;
几何信息获取模块,用于根据所述激光点云特征信息,确定点云几何特征信息;
特征融合模块,用于对所述激光点云特征信息、所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到多模态特征融合信息;
概率获取模块,用于将所述多模态特征融合信息输入点云特征提取模型,得到所述待分割的点云数据中每个点属于地面的概率;
点云划分模块,用于基于所述概率,对所述点云数据进行点云分割,得到点云分割结果。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取针对输电走廊采集的待分割的点云数据,所述待分割的点云数据包括激光点云特征信息和可见光图像特征信息;
根据所述激光点云特征信息,确定点云几何特征信息;
对所述激光点云特征信息、所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到多模态特征融合信息;
将所述多模态特征融合信息输入点云特征提取模型,得到所述待分割的点云数据中每个点属于地面的概率;
基于所述概率,对所述待分割的点云数据进行点云分割,得到点云分割结果。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取针对输电走廊采集的待分割的点云数据,所述待分割的点云数据包括激光点云特征信息和可见光图像特征信息;
根据所述激光点云特征信息,确定点云几何特征信息;
对所述激光点云特征信息、所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到多模态特征融合信息;
将所述多模态特征融合信息输入点云特征提取模型,得到所述待分割的点云数据中每个点属于地面的概率;
基于所述概率,对所述待分割的点云数据进行点云分割,得到点云分割结果。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取针对输电走廊采集的待分割的点云数据,所述待分割的点云数据包括激光点云特征信息和可见光图像特征信息;
根据所述激光点云特征信息,确定点云几何特征信息;
对所述激光点云特征信息、所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到多模态特征融合信息;
将所述多模态特征融合信息输入点云特征提取模型,得到所述待分割的点云数据中每个点属于地面的概率;
基于所述概率,对所述待分割的点云数据进行点云分割,得到点云分割结果。
上述输电走廊地面点云分割方法、装置、计算机设备、存储介质和计算机程序产品,通过将点云的激光点云特征、可见光图像特征和点云几何特征三种不同模态的特征进行融合,随后经过点云特征提取模型,完成对点云的特征提取,得到点云中每个点属于地面的概率,从而得到点云分割结果。能够有效提高对多种复杂环境的点云分割准确率。
附图说明
图1为一个实施例中输电走廊地面点云分割方法的流程示意图;
图2为一个实施例中多模态特征融合信息确定步骤的流程示意图;
图3为一个实施例中第一特征融合信息确定步骤的流程示意图;
图4为另一个实施例中输电走廊地面点云分割方法的流程示意图;
图5为一个实施例中多模态特征融合模型的结构框图;
图6为一个实施例中点云特征提取模型的结构框图;
图7为一个实施例中输电走廊地面点云分割装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种输电走廊地面点云分割方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤101,获取针对输电走廊采集的待分割的点云数据,待分割的点云数据包括激光点云特征信息和可见光图像特征信息。
其中,点云数据包括地面点云数据和非地面点云数据,地面点云数据和非地面点云数据均包括激光点云特征信息和可见光图像特征信息。
其中,激光点云特征信息包括点云位置坐标信息、反射强度信息和回波次数信息。
进一步地,反射强度信息和回波次数信息是激光扫描过程中所获得的特定参数,反射强度信息与被扫描对象的表面材质、入射角方向等有关,回波次数信息与激光接触到的反射面数量等有关。
其中,可见光图像特征信息包括真色彩信息,即RGB信息。
示例性地,获取通过激光雷达扫描得到针对输电走廊的激光点云特征信息,即表征被扫描对象表面属性的特征信息,同时根据由可见光摄像获取的图像与激光点云特征信息进行位置对齐和融合,得到点云的可见光图像特征信息。将激光点云特征信息和可见光图像特征信息作为点云数据。
步骤102,根据激光点云特征信息,确定点云几何特征信息。
其中,点云几何特征信息表征每个点与最近邻拟合表面之间的关系,可以反映出点云表面的特征;点云几何特征信息包括点云粗糙度、点云高斯曲率和点云法向量。
进一步地,点云粗糙度是表征点云表面属性的特征;点云高斯曲率是表征点云表面光滑情况的特征;点云法向量是点云表面法线的方向向量,具有刚体运动不变性。
示例性地,基于激光点云特征信息中的点云位置坐标信息,通过公开的方法,计算出每个点对应的粗糙度、高斯曲率和法向量,全部点的粗糙度、高斯曲率和法向量分别组成点云粗糙度、点云高斯曲率和点云法向量,作为点云几何特征信息。
步骤103,对激光点云特征信息、可见光图像特征信息和点云几何特征信息进行特征融合处理,得到多模态特征融合信息。
示例性地,将获取到的激光点云特征信息、可见光图像特征信息和点云几何特征信息通过预先训练好的多层感知机模型进行全局特征提取,并通过特征拼接模型进行特征融合处理,最后得到多模态特征融合信息。
步骤104,将多模态特征融合信息输入点云特征提取模型,得到待分割的点云数据中每个点属于地面的概率。
示例性地,为了更好地提取多模态信息中的特征,并且运算模型更多地关注全局特征,可以使用预先训练好的U型网络作为点云特征提取模型。将获取到的多模态特征融合信息作为点云特征提取模型的输入,得到点云数据中每个点属于地面的概率信息。
步骤105,基于概率,对待分割的点云数据进行点云分割,得到点云分割结果。
示例性地,根据点云中每个点属于地面的概率信息,对全部点进行分类处理,可以分为地面和非地面两类;并基于分类结果去对点云进行区域划分,将划分结果作为点云分割结果。
上述输电走廊地面点云分割方法中,通过将点云的激光点云特征、可见光图像特征和点云几何特征三种不同模态的特征进行融合,随后经过点云特征提取模型,完成对点云的特征提取,得到点云中每个点属于地面的概率,从而得到点云分割结果。能够有效提高对多种复杂环境的点云分割准确率。
在其中一个实施例中,激光点云特征信息包括点云位置坐标信息,上述步骤102根据激光点云特征信息,确定点云几何特征信息,还可以通过以下步骤实现:
步骤一,根据激光点云特征信息中的点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量;
步骤二,将点云粗糙度、点云高斯曲率和点云法向量,确定为点云几何特征信息。
在同一个实施例中,上述步骤根据激光点云特征信息中的点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量,还可以通过以下步骤实现:
步骤一,获取预设的最近邻范围;
步骤二,根据最近邻范围和点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量。
示例性地,根据激光点云特征信息中的点云位置坐标信息,基于预设的最近邻范围,得到点云中每个点的最近邻点集,举例说明,可以根据点之间的直线距离范围确定最近邻点集,也可以根据附近点的数量范围确定最近邻点集。根据最近邻点集的点云位置坐标信息,得到对应的拟合平面,根据拟合平面计算得到每个点的粗糙度、高斯曲率和法向量。根据全部点的粗糙度、高斯曲率和法向量,组成点云粗糙度、点云高斯曲率和点云法向量,即为点云的点云几何特征信息。
本实施例中,通过点云位置坐标信息计算得到点云粗糙度、点云高斯曲率和点云法向量,组成的点云几何特征信息,是反映点云表面属性的特征信息。将点云几何特征信息作为其中一种模态的特征信息去进行点云分割,能够更好地应对复杂环境的点云分割,得到更准确的点云分割结果。
在其中一个实施例中,激光点云特征信息包括点云位置坐标信息、反射强度信息和回波次数信息,如图2所示,上述步骤103对激光点云特征信息、可见光图像特征信息和点云几何特征信息进行特征融合处理,得到多模态特征融合信息,还可以通过以下步骤实现:
步骤201,对激光点云特征信息中的反射强度信息和回波次数信息,与可见光图像特征信息和点云几何特征信息进行特征融合处理,得到第一特征融合信息;
步骤202,将激光点云特征信息中的点云位置坐标信息进行校准处理,得到校准后的点云位置坐标信息;
步骤203,将校准后的点云位置坐标信息和第一特征融合信息进行拼接处理,得到第一特征拼接信息;
步骤204,对第一特征拼接信息进行全局特征提取处理,得到多模态特征融合信息。
其中,校准处理可以是将点云位置坐标信息进行旋转处理。
示例性地,可以将特征信息全部以矩阵的形式进行表示。因为点云有旋转不变形,所以将激光点云特征信息中的点云位置坐标信息利用预设的旋转矩阵进行旋转处理完成校准;同时将激光点云特征信息中的反射强度信息和回波次数信息,与可见光图像特征信息和点云几何特征信息通过预先训练好的多层感知机处理后,进行拼接融合处理,得到第一特征融合信息;将校准完成后的点云位置坐标信息和第一特征融合信息进行拼接处理,得到第一特征拼接信息,即组合为一个多层感知机的输入,然后通过预先训练好的多层感知机对第一特征拼接信息进行全局特征提取,得到可以表征多模态特征对于整个点云的全局特征的多模态特征融合信息。
本实施例中,将点云位置坐标信息通过校准处理可以使得点云位置坐标信息中的特征更易于被提取,进而使得最终点云分割的结果更准确。同时,将全部特征信息进行特征融合处理之后,得到能够表征全局特征的多模态特征融合信息,可以更好地反映点云的特征,进而得到更准确的点云分割结果。
在其中一个实施例中,如图3所示,上述步骤201对激光点云特征信息中的反射强度信息和回波次数信息,与可见光图像特征信息和点云几何特征信息进行特征融合处理,得到第一特征融合信息,还可以通过以下步骤实现:
步骤301,对可见光图像特征信息和点云几何特征信息进行特征融合处理,得到第二特征融合信息;
步骤302,将反射强度信息、回波次数信息和第二特征融合信息进行拼接处理,得到第二特征拼接信息;
步骤303,对第二特征拼接信息进行全局特征提取处理,得到第一特征融合信息。
示例性地,将可见光图像特征信息和点云几何特征信息通过预先训练好的多层感知机处理后,进行拼接融合处理,得到第二特征融合信息;将激光点云特征信息中的反射强度信息和回波次数信息与第二特征融合信息进行拼接处理,得到第二特征拼接信息,即组合为一个多层感知机的输入,然后通过预先训练好的多层感知机对第二特征拼接信息进行全局特征提取,得到可以表征反射强度信息、回波次数信息和第二特征融合信息对于整个点云的全局特征的第一特征融合信息。
本实施例中,将可见光图像特征信息、点云几何特征信息和反射强度信息与回波次数信息进行特征融合处理之后,得到能够表征全局特征的第一特征融合信息,可以更好地反映点云的多维度特征,进而得到更准确的点云分割结果。
在其中一个实施例中,上述步骤301对可见光图像特征信息和点云几何特征信息进行特征融合处理,得到第二特征融合信息,还可以通过以下步骤实现:
步骤一,分别对可见光图像特征信息和点云几何特征信息进行全局特征提取处理,得到可见光图像全局特征信息和点云几何全局特征信息;
步骤二,将可见光图像全局特征信息和点云几何特征全局信息进行拼接处理,得到第二特征融合信息。
示例性地,将可见光图像特征信息通过预先训练好的多层感知机进行全局特征提取,得到可以表征可见光图像特征信息对于整个点云的全局特征;同时将点云几何特征信息通过预先训练好的多层感知机进行全局特征提取,得到可以表征点云几何特征信息对于整个点云的全局特征;将可见光图像全局特征信息和点云几何特征全局信息进行特征拼接处理,得到第二特征融合信息,即作为一个整体去进行后续步骤。
本实施例中,将可见光图像特征信息和点云几何特征信息进行特征融合处理之后,得到能够表征全局特征的第二特征融合信息,可以更好地反映点云的多维度特征,进而得到更准确的点云分割结果。
在其中一个实施例中,上述步骤105基于概率,对待分割的点云数据进行点云分割,得到点云分割结果,还可以通过以下步骤实现:
步骤一,获取预设的概率阈值;
步骤二,针对待分割的点云数据中的任一个点,若任一个点属于地面的概率大于概率阈值,则确定任一个点为地面点;
步骤三,若任一个点属于地面的概率小于或等于概率阈值,则确定任一个点为非地面点。
示例性地,可以预先设定概率阈值,当获得点云中每个点属于地面的概率之后,与概率阈值进行比较;若点的概率超过阈值,则确定点为地面;若点的概率不超过阈值,则确定点为非地面。通过将全部点进行分类之后,根据分类结果,将同为地面的点所在的区域划分为地面,另外的点所在的区域划分为非地面,进而得到点云的区域分割结果,作为最终的点云分割结果。
本实施例中,根据点云中每个点属于地面的概率对点云的点进行分类,进而对点云进行区域分割,得到点云分割结果。实现了利用得到的概率结果,准确地对点云划分出地面与非地面的目的。
在另一个实施例中,如图4所示,提供了一种输电走廊地面点云分割方法,本实施例中,包括以下步骤:
步骤401,获取针对输电走廊采集的待分割的点云数据,待分割的点云数据包括激光点云特征信息和可见光图像特征信息。
步骤402,根据激光点云特征信息中的点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量,作为点云几何特征信息。
步骤403,分别对可见光图像特征信息和点云几何特征信息进行全局特征提取处理,得到可见光图像全局特征信息和点云几何全局特征信息。
步骤404,将可见光图像全局特征信息和点云几何特征全局信息进行拼接处理,得到第二特征融合信息。
步骤405,将反射强度信息、回波次数信息和第二特征融合信息进行拼接处理,得到第二特征拼接信息。
步骤406,对第二特征拼接信息进行全局特征提取处理,得到第一特征融合信息。
步骤407,将激光点云特征信息中的点云位置坐标信息进行校准处理,得到校准后的点云位置坐标信息。
步骤408,将校准后的点云位置坐标信息和第一特征融合信息进行拼接处理,得到第一特征拼接信息。
步骤409,对第一特征拼接信息进行全局特征提取处理,得到多模态特征融合信息。
步骤410,将多模态特征融合信息输入点云特征提取模型,得到待分割的点云数据中每个点属于地面的概率。
步骤411,获取预设的概率阈值,针对待分割的点云数据中的任一个点,若任一个点属于地面的概率大于概率阈值,则确定任一个点为地面点。
步骤412,若任一个点属于地面的概率小于或等于概率阈值,则确定任一个点为非地面点。
本实施例中,通过将点云的激光点云特征、可见光图像特征和点云几何特征三种不同模态的特征提取全局特征并进行融合,得到多模态特征融合信息,然后将多模态特征融合信息经过点云特征提取模型,完成对点云的特征提取,得到点云中每个点属于地面的概率,基于概率进行点云区域的划分,从而得到点云分割结果。能够有效提高对多种复杂环境下输电走廊的地面点云分割准确率。
为了便于本领域技术人员理解本申请实施例,以下结合附图的具体示例对本申请进行说明。本示例中,用矩阵形式表示点云的特征信息。其中,
激光点云特征信息中的位置坐标信息由x、y、z表示,反射强度由intensity表示,回波次数由returnnumber表示,矩阵为:
可见光图像特征信息由是真色彩信息,由RGB三原色表示,矩阵为:
图4所示的步骤402,在本示例中的具体计算方法为:
点云粗糙度:选取离每个点最近的3个点拟合平面,作为最近邻点集的最佳拟合平面,拟合平面的截距式方程为x/a+y/b+z/c=1,其中a、b、c分别为拟合平面在x轴、y轴、z轴上的截距;通过公式vi=Biαi-li,计算得到第i个点的粗糙度,其中
其中i表示点云中点的标号,计算出每个点的粗糙度后,组合成点云粗糙度矩阵V。
点云法向量:通过公式
点云高斯曲率:通过公式
计算得到第i个点的高斯曲率,其中
将点云粗糙度矩阵V、点云高斯曲率矩阵K和点云法向量矩阵N组合成点云几何特征信息矩阵,矩阵为
如图5所示,通过多模态特征融合模型对得到的激光点云特征信息矩阵、可见光图像特征信息矩阵和点云几何特征信息矩阵进行特征融合处理,得到多模态特征融合信息。其中,图4所示的步骤403至步骤409标记于图5中。
如图6所示,将得到的多模态特征信息通过由U型网络构成的点云特征提取模型得到每个点属于地面的概率;U型网络具体由两个下采样层(即池化层)、两个上采样层(即反卷积层)和多个多层感知机组成。
最后根据0.5的概率阈值将点云中的每个点进行分类,概率大于0.5的点为地面,反之为非地面;根据分类结果得到点云的区域分割结果,从而实现点云分割。
需要说明的是,本示例中的所有模型均通过预先训练确定具体的模型参数值,训练方法不做限定。
本实施例中,通过将点云的激光点云特征、可见光图像特征和点云几何特征三种不同模态的特征提取全局特征并进行融合,得到多模态特征融合信息,然后将多模态特征融合信息经过U型网络构成的点云特征提取模型,完成对点云的特征提取,得到点云中每个点属于地面的概率,U型网络结构不仅能够聚焦于全局特征,也能够找回一些容易损失的边缘局部特征;基于概率进行点云区域的划分,从而得到点云分割结果。能够有效提高对多种复杂环境下输电走廊的地面点云分割准确率。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的输电走廊地面点云分割方法的输电走廊地面点云分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个输电走廊地面点云分割装置实施例中的具体限定可以参见上文中对于输电走廊地面点云分割方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种输电走廊地面点云分割装置,包括:点云获取模块701、几何信息获取模块702、特征融合模块703、概率获取模块704和点云划分模块705,其中:
点云获取模块701,用于获取针对输电走廊采集的待分割的点云数据,待分割的点云数据包括激光点云特征信息和可见光图像特征信息;
几何信息获取模块702,用于根据激光点云特征信息,确定点云几何特征信息;
特征融合模块703,用于对激光点云特征信息、可见光图像特征信息和点云几何特征信息进行特征融合处理,得到多模态特征融合信息;
概率获取模块704,用于将多模态特征融合信息输入点云特征提取模型,得到待分割的点云数据中每个点属于地面的概率;
点云划分模块705,用于基于概率,对待分割的点云数据进行点云分割,得到点云分割结果。
在一个实施例中,激光点云特征信息包括点云位置坐标信息,上述几何信息获取模块702还用于,根据激光点云特征信息中的点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量;将点云粗糙度、点云高斯曲率和点云法向量,确定为点云几何特征信息。
在一个实施例中,上述几何信息获取模块702还用于,获取预设的最近邻范围;根据最近邻范围和点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量。
在一个实施例中,激光点云特征信息包括点云位置坐标信息、反射强度信息和回波次数信息,上述特征融合模块703还用于,对激光点云特征信息中的反射强度信息和回波次数信息,与可见光图像特征信息和点云几何特征信息进行特征融合处理,得到第一特征融合信息;将激光点云特征信息中的点云位置坐标信息进行校准处理,得到校准后的点云位置坐标信息;将校准后的点云位置坐标信息和第一特征融合信息进行拼接处理,得到第一特征拼接信息;对第一特征拼接信息进行全局特征提取处理,得到多模态特征融合信息。
在一个实施例中,上述特征融合模块703还用于,对可见光图像特征信息和点云几何特征信息进行特征融合处理,得到第二特征融合信息;将反射强度信息、回波次数信息和第二特征融合信息进行拼接处理,得到第二特征拼接信息;对第二特征拼接信息进行全局特征提取处理,得到第一特征融合信息。
在一个实施例中,上述特征融合模块703还用于,分别对可见光图像特征信息和点云几何特征信息进行全局特征提取处理,得到可见光图像全局特征信息和点云几何全局特征信息;将可见光图像全局特征信息和点云几何特征全局信息进行拼接处理,得到第二特征融合信息。
在一个实施例中,上述点云划分模块705还用于,获取预设的概率阈值;针对待分割的点云数据中的任一个点,若任一个点属于地面的概率大于概率阈值,则确定任一个点为地面点;若任一个点属于地面的概率小于或等于概率阈值,则确定任一个点为非地面点。
上述输电走廊地面点云分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储点云数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种输电走廊地面点云分割方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种输电走廊地面点云分割方法,其特征在于,所述方法包括:
获取针对输电走廊采集的待分割的点云数据,所述待分割的点云数据包括激光点云特征信息和可见光图像特征信息;其中,所述可见光图像特征信息根据由可见光摄像获取的图像与激光点云特征信息进行位置对齐和融合得到;
根据所述激光点云特征信息,确定点云几何特征信息;其中,所述激光点云特征信息包括点云位置坐标信息、反射强度信息和回波次数信息;
对所述激光点云特征信息中的所述反射强度信息和所述回波次数信息,与所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到第一特征融合信息;
将所述激光点云特征信息中的点云位置坐标信息进行校准处理,得到校准后的点云位置坐标信息;其中,所述校准处理为将点云位置坐标信息进行旋转处理;
将所述校准后的点云位置坐标信息和所述第一特征融合信息进行拼接处理,得到第一特征拼接信息;
对所述第一特征拼接信息进行全局特征提取处理,得到多模态特征融合信息;
将所述多模态特征融合信息输入点云特征提取模型,得到所述待分割的点云数据中每个点属于地面的概率;其中,所述点云特征提取模型由U型网络构成,所述U型网络包括两个采样层、两个反卷积层和感知机;
基于所述概率,对所述待分割的点云数据进行点云分割,得到点云分割结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述激光点云特征信息,确定点云几何特征信息,包括:
根据所述激光点云特征信息中的所述点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量;
将所述点云粗糙度、所述点云高斯曲率和所述点云法向量,确定为所述点云几何特征信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述激光点云特征信息中的所述点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量,包括:
获取预设的最近邻范围;
根据所述最近邻范围和所述点云位置坐标信息,得到所述点云粗糙度、所述点云高斯曲率和所述点云法向量。
4.根据权利要求1所述的方法,其特征在于,所述对所述激光点云特征信息中的所述反射强度信息和所述回波次数信息,与所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到第一特征融合信息,包括:
对所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到第二特征融合信息;
将所述反射强度信息、所述回波次数信息和所述第二特征融合信息进行拼接处理,得到第二特征拼接信息;
对所述第二特征拼接信息进行全局特征提取处理,得到所述第一特征融合信息。
5.根据权利要求4所述的方法,其特征在于,所述对所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到第二特征融合信息,包括:
分别对所述可见光图像特征信息和所述点云几何特征信息进行全局特征提取处理,得到可见光图像全局特征信息和点云几何全局特征信息;
将所述可见光图像全局特征信息和所述点云几何特征全局信息进行拼接处理,得到第二特征融合信息。
6.根据权利要求1所述的方法,其特征在于,所述基于所述概率,对所述待分割的点云数据进行点云分割,得到点云分割结果,包括:
获取预设的概率阈值;
针对所述待分割的点云数据中的任一个点,若所述任一个点属于地面的概率大于所述概率阈值,则确定所述任一个点为地面点;
若所述任一个点属于地面的概率小于或等于所述概率阈值,则确定所述任一个点为非地面点。
7.一种输电走廊地面点云分割装置,其特征在于,所述装置包括:
点云获取模块,用于获取针对输电走廊采集的待分割的点云数据,所述待分割的点云数据包括激光点云特征信息和可见光图像特征信息;所述点云数据包括地面点云数据和地表植被点云数据;其中,所述可见光图像特征信息根据由可见光摄像获取的图像与激光点云特征信息进行位置对齐和融合得到;
几何信息获取模块,用于根据所述激光点云特征信息,确定点云几何特征信息;其中,所述激光点云特征信息包括点云位置坐标信息、反射强度信息和回波次数信息;
特征融合模块,用于对所述激光点云特征信息中的所述反射强度信息和所述回波次数信息,与所述可见光图像特征信息和所述点云几何特征信息进行特征融合处理,得到第一特征融合信息;将所述激光点云特征信息中的点云位置坐标信息进行校准处理,得到校准后的点云位置坐标信息;其中,所述校准处理为将点云位置坐标信息进行旋转处理;将所述校准后的点云位置坐标信息和所述第一特征融合信息进行拼接处理,得到第一特征拼接信息;对所述第一特征拼接信息进行全局特征提取处理,得到多模态特征融合信息;
概率获取模块,用于将所述多模态特征融合信息输入点云特征提取模型,得到所述待分割的点云数据中每个点属于地面的概率;其中,所述点云特征提取模型由U型网络构成,所述U型网络包括两个采样层、两个反卷积层和感知机;
点云划分模块,用于基于所述概率,对所述待分割的点云数据进行点云分割,得到点云分割结果。
8.根据权利要求7所述的装置,其特征在于,所述几何信息获取模块还用于,根据激光点云特征信息中的点云位置坐标信息,得到点云粗糙度、点云高斯曲率和点云法向量;将点云粗糙度、点云高斯曲率和点云法向量,确定为点云几何特征信息。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211368302.5A CN115424022B (zh) | 2022-11-03 | 2022-11-03 | 输电走廊地面点云分割方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211368302.5A CN115424022B (zh) | 2022-11-03 | 2022-11-03 | 输电走廊地面点云分割方法、装置和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115424022A CN115424022A (zh) | 2022-12-02 |
CN115424022B true CN115424022B (zh) | 2023-03-03 |
Family
ID=84208377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211368302.5A Active CN115424022B (zh) | 2022-11-03 | 2022-11-03 | 输电走廊地面点云分割方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115424022B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114118247A (zh) * | 2021-11-18 | 2022-03-01 | 同济大学 | 一种基于多传感器融合的无锚框3d目标检测方法 |
CN114120110A (zh) * | 2021-11-22 | 2022-03-01 | 中国科学院紫金山天文台 | 一种混杂场景机载激光点云分类的多粒度计算方法 |
CN114299542A (zh) * | 2021-12-29 | 2022-04-08 | 北京航空航天大学 | 一种基于多尺度特征融合的视频行人重识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112380893A (zh) * | 2020-09-15 | 2021-02-19 | 广东电网有限责任公司 | 一种机载激光点云数据的输电线走廊自动识别方法 |
CN114332104B (zh) * | 2022-03-09 | 2022-07-29 | 南方电网数字电网研究院有限公司 | 电网输电场景rgb点云语义分割多阶段模型联合优化方法 |
-
2022
- 2022-11-03 CN CN202211368302.5A patent/CN115424022B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114118247A (zh) * | 2021-11-18 | 2022-03-01 | 同济大学 | 一种基于多传感器融合的无锚框3d目标检测方法 |
CN114120110A (zh) * | 2021-11-22 | 2022-03-01 | 中国科学院紫金山天文台 | 一种混杂场景机载激光点云分类的多粒度计算方法 |
CN114299542A (zh) * | 2021-12-29 | 2022-04-08 | 北京航空航天大学 | 一种基于多尺度特征融合的视频行人重识别方法 |
Non-Patent Citations (2)
Title |
---|
一种融合多特征聚类集成的室内点云分割方法;曾碧 等;《计算机工程》;20180331;第44卷(第3期);第281-286页 * |
基于Lidar数据面向自动驾驶的快速地面点分割方法研究;程杰;《中国优秀硕士学位论文全文数据库工程科技II辑》;20220215(第02期);第C035-271页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115424022A (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11568639B2 (en) | Systems and methods for analyzing remote sensing imagery | |
CN109816012B (zh) | 一种融合上下文信息的多尺度目标检测方法 | |
US20210390329A1 (en) | Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium | |
KR20210002104A (ko) | 목표 검출 및 목표 검출 네트워크의 훈련 | |
CN103337052B (zh) | 面向宽幅遥感影像的自动几何纠正方法 | |
CN111860695A (zh) | 一种数据融合、目标检测方法、装置及设备 | |
CN112990010B (zh) | 点云数据处理方法、装置、计算机设备和存储介质 | |
Leng et al. | A multi‐scale plane‐detection method based on the Hough transform and region growing | |
CN115601511B (zh) | 三维重建方法、装置、计算机设备及计算机可读存储介质 | |
US20220277581A1 (en) | Hand pose estimation method, device and storage medium | |
Wang et al. | Voxel segmentation-based 3D building detection algorithm for airborne LIDAR data | |
Michael et al. | A general framework for human-machine digitization of geographic regions from remotely sensed imagery | |
Laupheimer et al. | The importance of radiometric feature quality for semantic mesh segmentation | |
Liu et al. | Comparison of 2D image models in segmentation performance for 3D laser point clouds | |
CN115424022B (zh) | 输电走廊地面点云分割方法、装置和计算机设备 | |
CN116758223A (zh) | 基于双角度多光谱图像的三维多光谱点云重建方法、系统及设备 | |
CN115239899B (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
Yang et al. | Weak texture remote sensing image matching based on hybrid domain features and adaptive description method | |
Ahmad et al. | Resource efficient mountainous skyline extraction using shallow learning | |
CN115544189A (zh) | 语义地图更新方法、装置和计算机存储介质 | |
CN115544191A (zh) | 基于三维点云众包式语义地图的更新方法和装置 | |
CN113065521A (zh) | 物体识别方法、装置、设备及介质 | |
Widyaningrum et al. | Tailored features for semantic segmentation with a DGCNN using free training samples of a colored airborne point cloud | |
CN115984583B (zh) | 数据处理方法、装置、计算机设备、存储介质和程序产品 | |
He | Research on outdoor garden scene reconstruction based on PMVS Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |