CN115049938B - 一种点云图像处理方法及系统 - Google Patents

一种点云图像处理方法及系统 Download PDF

Info

Publication number
CN115049938B
CN115049938B CN202210979093.1A CN202210979093A CN115049938B CN 115049938 B CN115049938 B CN 115049938B CN 202210979093 A CN202210979093 A CN 202210979093A CN 115049938 B CN115049938 B CN 115049938B
Authority
CN
China
Prior art keywords
point cloud
point
cloud data
neighborhood
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210979093.1A
Other languages
English (en)
Other versions
CN115049938A (zh
Inventor
闵星
柏文锋
邓显威
罗海涛
刘志锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Metro Design and Research Institute Co Ltd
Original Assignee
Guangzhou Metro Design and Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Metro Design and Research Institute Co Ltd filed Critical Guangzhou Metro Design and Research Institute Co Ltd
Priority to CN202210979093.1A priority Critical patent/CN115049938B/zh
Publication of CN115049938A publication Critical patent/CN115049938A/zh
Application granted granted Critical
Publication of CN115049938B publication Critical patent/CN115049938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的实施例公开了一种点云图像处理方法及系统，方法包括：对采集的点云图像进行数据预处理；对预处理后的点云数据进行标签制作和分块处理；对处理后的点云数据进行n次下采样，采用卷积神经网络提取高维特征；对处理后的点云数据采用自适应高程插值方法进行n次上采样，输出各点的类别预测值；对组合分类后的点云数据进行参数纠正，调整类别分布的权重参数；对训练好的模型进行测试。系统包括：图像预处理模块，分类模块，下采样模块，上采样模块，参数调整模块和测试模块。本发明能够有效识别点云图像中各类地物，提高了图像地物识别精度。

Description

一种点云图像处理方法及系统
技术领域
本发明涉及点云分类技术领域，特别涉及一种点云图像处理方法及系统。
背景技术
点云图像数据是通过三维激光扫描仪或照相式扫描仪获得的用于展现物体形状、大小、位置的三维坐标点的集合。例如，三维地图或者地球仪的生成都是把点云数据进行精确地转换而得到的。随着激光扫描、倾斜摄影等各种现实采集(reality capture)装备快速发展，点云图像数据已成为继矢量地图和影像数据之后的第三类重要的时空数据源，在各个领域科学研究和工程建设中发挥越来越重要的作用。
在点云深度学习中常将点云转换成格网或体素，但转换成格网的方法不可避免造成信息的丢失，而转换成体素的方法容易造成内存的溢出。当前，直接对点云进行端到端处理已经成为主流，但是直接对点云端对端处理常存在以下缺点：(1)点云端对端深度学习处理中没有依据机载点云的特点进行信息采集，只采集了邻域点信息，缺乏邻域范围内中心点和邻域点关系特征的提取；(2)点云端对端深度学习处理中直接用邻域特征代替中心点特征会对点云处理的鲁棒性提出更高要求；(3)点云端对端深度学习处理中的插值方法未能充分利用地物的高程特性，导致点云分类的精度降低。
发明内容
有鉴于此，本发明实施例的目的在于提供一种点云图像处理方法及系统，能够有效识别点云中各类地物，提高了地物识别精度。
第一方面，本发明实施例提供了一种点云图像处理方法，其中，包括：
对采集的点云图像进行数据预处理。
对预处理后的点云数据进行标签制作和分块处理。
对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征。
对处理后的点云数据采用自适应高程插值方法进行n次上采样，运用跳跃连接的方式连接到下采样对应层，在最后一层进行全连接，输出各点的类别预测值。
对组合分类后的点云数据进行参数纠正，调整类别分布的权重参数。
对训练好的模型进行测试，将测试集分块，将测试集切割成固定方块保证每个小方块间存在重叠，测试训练好的模型，得到各点的预测类别。
所述对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征中，采用卷积神经网络提取高维特征包括：
将局部范围内中心点特征、邻域点关系特征、点云坐标的归一化值按公式
Figure GDA0003901033060000021
进行组合。
其中，Fi表示点i的特征向量，MLP表示多层感知机运算，Δpij表示归一化坐标，
Figure GDA0003901033060000022
表示连接运算，fi′表示中心点特征，Fjj′表示邻域点j和邻域点j′间的关系特征，N(i)表示i点的邻域范围。
Fjj′的表达方式为
Figure GDA0003901033060000023
其中，Δfjj′表示邻域点j和邻域点j′的特征差值，M表示邻域点个数， Wjj′表示自适应权值。
Wjj′的计算公式为Wjj′＝MLP(Fj-Fj′)|j,j′∈N(i)。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述对采集的点云图像进行数据预处理，包括：
导入采集的航带数据进行航带拼接，对点云数据中的地物进行粗分类，分离出房屋，以房屋为基准对航带进行修正。
进行高斯滤波，去除点云数据中的离群点、噪声点和孤立点。
基于距离进行抽稀，设置临近两点云之间的最短距离，对点云进行精简。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对预处理后的点云数据进行标签制作和分块处理，包括：
根据点云图和正射影像对预处理后的点云数据做标签，标注成不同的地物类别，并转换为通用格式。
将标注后的点云划分为训练集、验证集和测试集，将点云分割成规定大小的方块，采集固定数目的采样点，设置模型训练参数。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述模型训练参数包括批大小、轮次，学习率，衰减率和优化器。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述对处理后的点云数据采用自适应高程插值方法进行n次上采样，运用跳跃连接的方式连接到下采样对应层，在最后一层进行全连接，输出各点的类别预测值中，自适应高程插值的方程为：
Figure GDA0003901033060000031
其中，f(l-1)(x)表示第l-1层的特征，f(l)(x)表示第l层的特征，j 表示邻域点，wij表示权值大小，wij的计算公式为
Figure GDA0003901033060000032
其中，dij表示点i与点j的水平距离，w_zij表示高程系数，w_zij的计算公式为
Figure GDA0003901033060000033
其中，zij表示点i与点j之间的高差，
Figure GDA0003901033060000034
表示zij的平均值。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述对组合分类后的点云数据进行参数纠正，调整类别分布的权重参数，包括：
在网络模型的最后一层采用全连接层，预测出各点归为某类的概率密度。
将预测结果和真实值进行比较，采用损失函数调整类别分布的权重参数。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，对所述训练好的模型进行多次重复测试，选取最大值。
结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，还包括重复进行对处理后的点云数据进行n次下采样，对处理后的点云数据采用自适应高程插值方法进行n次上采样，对组合分类后的点云数据进行参数纠正，选取最优模型。
结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述选取最优模型包括：
在每个训练轮次中，计算训练模型的总体精度和平均交并比mIoU，并且每m轮次就保存一次训练参数。
当本轮的平均交并比mIoU数值大于上次时，则保存验证模型参数，若小于上次则丢弃。
第二方面，本发明实施例还提供了一种点云图像处理系统，其中，包括：
图像预处理模块，用于对采集的点云图像进行数据预处理。
分类模块，用于对预处理后的点云数据进行标签制作和分块处理。
下采样模块，用于对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征。
上采样模块，用于对处理后的点云数据采用自适应高程插值方法进行 n次上采样，运用跳跃连接的方式连接到下采样对应层，在最后一层进行全连接，输出各点的类别预测值。
参数调整模块，用于对组合分类后的点云数据进行参数纠正，调整类别分布的权重参数。
测试模块，用于对训练好的模型进行测试，将测试集分块将测试集切割成固定方块保证每个小方块间存在重叠，测试训练好的模型，得到各点的预测类别。
所述下采样模块用于对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征，包括：
将局部范围内中心点特征、邻域点关系特征、点云坐标的归一化值按公式
Figure GDA0003901033060000051
进行组合。
其中，Fi表示点i的特征向量，MLP表示多层感知机运算，Δpij表示归一化坐标，
Figure GDA0003901033060000052
表示连接运算，fi′表示中心点特征，Fjj′表示邻域点j和邻域点j′间的关系特征，N(i)表示i点的邻域范围。
Fjj′的表达方式为
Figure GDA0003901033060000053
其中，Δfjj′表示邻域点j和邻域点j′的特征差值，M表示邻域点个数， Wjj′表示自适应权值。
Wjj′的计算公式为Wjj′＝MLP(Fj-Fj′)|j,j′∈N(i)。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述图像预处理模块包括：
航带修正单元，用于导入采集的航带数据进行航带拼接，对点云数据中的地物进行粗分类，分离出房屋，以房屋为基准对航带进行修正。
噪声去除单元，用于进行高斯滤波，去除点云数据中的离群点、噪声点和孤立点。
抽稀处理单元，用于基于距离进行抽稀，设置临近两点云之间的最短距离，对点云进行精简。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述分类模块包括：
标签制作单元，用于根据点云图和正射影像对预处理后的点云数据做标签，标注成不同的地物类别，并转换为通用格式。
分块处理单元，用于将标注后的点云划分为训练集、验证集和测试集，将点云分割成规定大小的方块，采集固定数目的采样点，设置模型训练参数。
结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述参数调整模块包括：
密度预测单元，用于在网络模型的最后一层采用全连接层，预测出各点归为某类的概率密度。
损失调整单元，用于将预测结果和真实值进行比较，采用损失函数调整类别分布的权重参数。
结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，还包括优化模块，用于重复进行对处理后的点云数据进行n次下采样，对处理后的点云数据采用自适应高程插值方法进行n次上采样，对组合分类后的点云数据进行参数纠正，选取最优模型。
结合第二方面，本发明实施例提供了第二方面的第五种可能的实施方式，其中，所述优化模块包括：
交并比计算单元，用于在每个训练轮次中，计算训练模型的总体精度和平均交并比mIoU，并且每m轮次就保存一次训练参数。
比较单元，用于当本轮的平均交并比mIoU数值大于上次时，则保存验证模型参数，若小于上次则丢弃。
本发明实施例的有益效果是：
本发明根据采集点云的特点，提出了一种点云图像处理方法及系统，充分利用了点云数据自身特点，克服了传统点云分类方法需人工设计特征和模型适应性不强的缺点。处理精度高，具有独特的处理优势。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明点云图像处理方法的流程图
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件能够以各种不同的配置来布置和设计。
请参照图1，本发明的第一个实施例提供一种点云图像处理方法，其中，包括：
对采集的点云图像进行数据预处理。
对预处理后的点云数据进行标签制作和分块处理。
对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征。
对处理后的点云数据采用自适应高程插值方法进行n次上采样，运用跳跃连接的方式连接到下采样对应层，在最后一层进行全连接，输出各点的类别预测值。
对组合分类后的点云数据进行参数纠正，调整类别分布的权重参数。
对训练好的模型进行测试，将测试集分块，将测试集切割成固定方块保证每个小方块间存在重叠，测试训练好的模型，得到各点的预测类别。
所述对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征中，采用卷积神经网络提取高维特征包括：
在特征提取时需不断扩大卷积神经网络的感受野，并减少采样点的个数用以提取点云的高维信息。点云中包含众多特征：邻域特征、中心点特征以及邻域点间的关系特征。为丰富局部邻域信息的描述，将局部范围内中心点特征、邻域点关系特征、点云坐标的归一化值按公式
Figure GDA0003901033060000081
进行组合。
其中，Fi表示点i的特征向量，MLP表示多层感知机运算，Δpij表示归一化坐标，
Figure GDA0003901033060000082
表示连接运算，fi′表示中心点特征，Fjj′表示邻域点j和邻域点j′间的关系特征，N(i)表示i点的邻域范围。
Fjj′的表达方式为
Figure GDA0003901033060000083
其中，Δfjj′表示邻域点j和邻域点j′的特征差值，M表示邻域点个数， Wjj′表示自适应权值。
Wjj′的计算公式为Wjj′＝MLP(Fj-Fj′)|j,j′∈N(i)。
其中，所述对采集的点云图像进行数据预处理，包括：
导入采集的航带数据进行航带拼接，对点云数据中的地物进行粗分类，分离出房屋，以房屋为基准对航带进行修正。
进行高斯滤波，去除点云数据中的离群点、噪声点和孤立点。
基于距离进行抽稀，设置临近两点云之间的最短距离，对点云进行精简。
其中，所述对预处理后的点云数据进行标签制作和分块处理，包括：
根据点云图和正射影像对预处理后的点云数据做标签，标注成不同的地物类别，并转换为通用格式。
将标注后的点云划分为训练集、验证集和测试集，将点云分割成规定大小的方块，采集固定数目的采样点，设置模型训练参数。
其中，所述模型训练参数包括批大小、轮次，学习率，衰减率和优化器。
其中，所述对处理后的点云数据采用自适应高程插值方法进行n次上采样，运用跳跃连接的方式连接到下采样对应层，在最后一层进行全连接，输出各点的类别预测值中，自适应高程插值的方程为：
Figure GDA0003901033060000091
其中，f(l-1)(x)表示第l-1层的特征，f(l)(x)表示第l层的特征，j 表示邻域点，wij表示权值大小，wij的计算公式为
Figure GDA0003901033060000092
其中，dij表示点i与点j的水平距离，w_zij表示高程系数，w_zij的计算公式为
Figure GDA0003901033060000093
其中，zij表示点i与点j之间的高差，
Figure GDA0003901033060000094
表示zij的平均值。
其中，所述对组合分类后的点云数据进行参数纠正，调整类别分布的权重参数，包括：
在网络模型的最后一层采用全连接层，预测出各点归为某类的概率密度。
将预测结果和真实值进行比较，采用损失函数调整类别分布的权重参数。
其中，对所述训练好的模型进行多次重复测试，选取最大值。
其中，还包括重复进行对处理后的点云数据进行n次下采样，对处理后的点云数据采用自适应高程插值方法进行n次上采样，对组合分类后的点云数据进行参数纠正，选取最优模型。
其中，所述选取最优模型包括：
在每个训练轮次中，计算训练模型的总体精度和平均交并比mIoU，并且每m轮次就保存一次训练参数。
当本轮的平均交并比mIoU数值大于上次时，则保存验证模型参数，若小于上次则丢弃。
请参照图1，本发明的第二个实施例提供了对机载点云中地物进行分类的方法的具体实施例，其中，采用的机载激光雷达仪器型号为ALS50，平均航高为500米，视场角为45度，点云平均密度为4-8个/米2。
本发明实施例中数据集中的训练集和测试集预定义9种类别地物，分别为电力线、低矮植物、地面、车辆、栅栏、屋顶、屋面、墙面、树木。
本发明实施例中模型训练的硬件设备为NVIDIA Tesla V100 GPU，采用PyTorch框架。
步骤1：图像预处理。包括机载点云航带拼接、噪声去除和抽稀处理。图像预处理阶段利用TerraSolid软件中的TerraMatch模块进行航带的拼接，TerraScan模块进行粗分类，再依据粗分类的房屋对航带进修正，最后采用高斯滤波方法对点云进行抽稀。
步骤2：标签制作。包括依据点云图、正射影像对机载点云做标签，将其标注成不同的地物类别，并将最终成果转换为通用格式。在点云标注中，采用TerraSolid软件中的TerraScan模块将各激光点预定义为9种类别，最后将点云保存为txt格式。
步骤3，分块处理。包括数据集制作，将点云分割成规定大小的方块，对分块后的点云采集固定数目的采样点，并设置模型参数。
将标注后的点云划分为训练集、验证集和测试集。其中训练集和测试集为随机块，方块在水平方向上大小为40m×40m。从方块中随机采集4096 个点，并输入模型进行训练。训练参数如批大小、轮次、学习率、衰减率和优化器分别设置为3、6、0.001、0.007、Adam。
步骤4，下采样特征提取。包括对点云进行n次下采样，采用卷积神经网络提取高维特征。为充分捕获机载点云的特性，在下采样中需收集中心点特征和邻域点关系特征。利用如下组合公式对局部范围内中心点特征、邻域点关系特征、点云坐标归一化值进行组合：
Figure GDA0003901033060000101
其中，Fi表示点i的特征向量，MLP表示多层感知机运算，Δpij表示归一化坐标，
Figure GDA0003901033060000111
表示连接运算，fi′表示中心点特征，Fjj′表示邻域点j和邻域点j′间的关系特征，N(i)表示i点的邻域范围。
将分块后的点云进行n＝4次下采样，第一层的采样点数是1024，MLP 层数为(128，128，256)，利用所述组合公式将邻域关系特征和中心点特征进行合并。第二层的采样点数是256，MLP层数为(256，256，512)，利用所述组合公式将邻域关系特征和中心点特征进行合并。第三层的采样点数是64，MLP层数为(512，512，1024)，利用所述组合公式将邻域关系特征和中心点特征进行合并。第四层的采样点数是16，MLP层数为(1024， 1024，2048)，利用所述组合公式将邻域关系特征和中心点特征进行合并。
邻域范围内收集不同特征后评价指标的比较结果如表1所示。其中，模型(a)只包含中心点特征，模型(b)只包含邻域关系特征，模型(c) 包含中心点特征和邻域关系特征。
如表1所示，模型(c)包含了中心点特征和邻域关系特征，其总体精度和平均F1指数都为最高，表明丰富邻域范围内的特征有利于提高模型精度。
表1
Figure GDA0003901033060000112
步骤5，上采样特征还原。包括对点云采用自适应高程插值方法进行 n次上采样，在最后一层进行全连接，输出各点的类别预测值。
对点云进行n＝4次上采样，第一层上采样点数是64，MLP层数为 (3072，1024，512)。第二层的采样点数是256，MLP层数为(1024，512， 256)。第三层的采样点数是1024，MLP层数为(512，256，128)。第四层的采样点数是4096，MLP层数为(128，128，128)。对特征进行一次全连接，预测出机载的类别预测概率。在上采样插值中采用自适应高程的插值方法，并且采用跳跃连接的方式将对应层特征进行连接。采用所述自适应高程插值方法后的地物识别评价指标如表2所示。
表2
Figure GDA0003901033060000121
表2中平均精度、平均召回率和平均F1指数分别表示9类地物的精度平均值、召回率平均值和F1指数平均值。
如表2所示，所述自适应高程插值方法的平均F1指数和总体精度分别提高了0.4％和0.8％，表明所述自适应高程插值方法能够有效提高机载点云地物识别精度。
步骤6，参数纠正。采用损失函数进行参数纠正，在网络模型的最后一层采用全连接层，预测出各点归为某类的概率密度。将预测结果和真实值进行比较，采用损失函数调整类别分布的权重参数。
采用CB-loss系列损失函数对模型参数进行修正，并计算模型的梯度值，计算模型的总体精度。在训练完模型后进行模型验证，首先将验证集输入模型，然后计算模型在验证集中的总体精度和平均交并比mIoU。
为了筛选合适的损失函数，并测试CB-loss系列损失函数的效果，对常见的损失函数进行比较，评价结果如表3所示。
表3
Figure GDA0003901033060000122
表3中CB-sigmoid、CB-softmax、CB-Focalloss都为CB-loss系列损失函数，分别表示基于sigmoid的平衡类损失函数、基于softmax的平衡类损失函数和基于Focalloss的平衡类损失函数；平均精度、平均召回率和平均F1指数分别表示9类地物的精度平均值、召回率平均值和F1指数平均值。
如表3所示，交叉熵损失函数的平均F1指数和总体精度最低，但 CB-Focalloss损失函数平均F1指数和总体精度都为最高，CB-Focalloss 损失函数分类性能最优。CB-Focalloss损失函数包含特定类别的焦点损失权重因子，小类别样本权值在处理时将增加，符合机载点云地物分类的情况。因此，实施例中采用CB-Focalloss损失函数。
步骤7，最优模型选取。循环步骤4～步骤6共t轮次，将模型参数训练调整到最优。在每个训练轮次中需计算训练模型的总体精度和平均交并比mIoU，并且每m轮次就保存一次训练参数。在模型验证时需计算模型的总体精度和平均交并比，当本次的平均交并比mIoU数值大于上次时则保存验证模型参数，若小于则丢弃。
重复步骤4～步骤6t＝64轮次，每轮次都计算训练集中的总体精度，并且每m＝5轮次保存一次模型的训练参数。每轮次计算验证模型的总体精度和平均交并比mIoU，依据mIoU的大小确定最优模型。
步骤8：模型测试。将测试集切割成固定方块，并保证每个小方块间存在重叠，测试训练好的模型得到各点的预测类别。为使预测精度更高，可采用多次预测取最大值的方法。
在模型测试时，首先在测试集中分割出一个水平方向上40m×40m的方块，所述方块以20m的步进值上下左右移动，直到覆盖整个测试集。然后将所述测试集中的方块输入最优模型进行测试得到各点的预测类别。为增强预测结果的可靠性，采用模型5次预测取最大值的方法。
本发明的第三个实施例提供了一种点云图像处理系统，其中，包括：
图像预处理模块，用于对采集的点云图像进行数据预处理。
分类模块，用于对预处理后的点云数据进行标签制作和分块处理。
下采样模块，用于对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征。
上采样模块，用于对处理后的点云数据采用自适应高程插值方法进行 n次上采样，运用跳跃连接的方式连接到下采样对应层，在最后一层进行全连接，输出各点的类别预测值。
参数调整模块，用于对组合分类后的点云数据进行参数纠正，调整类别分布的权重参数。
测试模块，用于对训练好的模型进行测试，将测试集分块将测试集切割成固定方块保证每个小方块间存在重叠，测试训练好的模型，得到各点的预测类别。
所述下采样模块用于对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征，包括：
将局部范围内中心点特征、邻域点关系特征、点云坐标的归一化值按公式
Figure GDA0003901033060000141
进行组合。
其中，Fi表示点i的特征向量，MLP表示多层感知机运算，Δpij表示归一化坐标，
Figure GDA0003901033060000142
表示连接运算，fi′表示中心点特征，Fjj′表示邻域点j和邻域点j′间的关系特征，N(i)表示i点的邻域范围。
Fjj′的表达方式为
Figure GDA0003901033060000143
其中，Δfjj′表示邻域点j和邻域点j′的特征差值，M表示邻域点个数， Wjj′表示自适应权值。
Wjj′的计算公式为Wjj′＝MLP(Fj-Fj′)|j,j′∈N(i)。
其中，所述图像预处理模块包括：
航带修正单元，用于导入采集的航带数据进行航带拼接，对点云数据中的地物进行粗分类，分离出房屋，以房屋为基准对航带进行修正。
噪声去除单元，用于进行高斯滤波，去除点云数据中的离群点、噪声点和孤立点。
抽稀处理单元，用于基于距离进行抽稀，设置临近两点云之间的最短距离，对点云进行精简。
其中，所述分类模块包括：
标签制作单元，用于根据点云图和正射影像对预处理后的点云数据做标签，标注成不同的地物类别，并转换为通用格式。
分块处理单元，用于将标注后的点云划分为训练集、验证集和测试集，将点云分割成规定大小的方块，采集固定数目的采样点，设置模型训练参数。
其中，所述参数调整模块包括：
密度预测单元，用于在网络模型的最后一层采用全连接层，预测出各点归为某类的概率密度。
损失调整单元，用于将预测结果和真实值进行比较，采用损失函数调整类别分布的权重参数。
其中，还包括优化模块，用于重复进行对处理后的点云数据进行n次下采样，对处理后的点云数据采用自适应高程插值方法进行n次上采样，对组合分类后的点云数据进行参数纠正，选取最优模型。
其中，所述优化模块包括：
交并比计算单元，用于在每个训练轮次中，计算训练模型的总体精度和平均交并比mIoU，并且每m轮次就保存一次训练参数。
比较单元，用于当本轮的平均交并比mIoU数值大于上次时，则保存验证模型参数，若小于上次则丢弃。
本发明实施例旨在保护一种点云图像处理方法及系统，具备如下效果：
本发明根据采集点云的特点，提出了一种点云图像处理方法及系统，充分利用了机载点云自身特点，克服了传统点云分类方法需人工设计特征和模型适应性不强的缺点。处理精度高，具有独特的处理优势。
本发明实施例所提供的点云图像处理方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述点云图像处理方法，从而能够有效识别机载点云中各类地物，提高地物识别精度。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种点云图像处理方法，其特征在于，包括：
对采集的点云图像进行数据预处理；
对预处理后的点云数据进行标签制作和分块处理；
对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征；
对处理后的点云数据采用自适应高程插值方法进行n次上采样，连接到下采样对应层，在最后一层进行全连接，输出各点的类别预测值；
对组合分类后的点云数据进行参数纠正，调整类别分布的权重参数；
对训练好的模型进行测试，将测试集分块，测试训练好的模型，得到各点的预测类别；
所述对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征中，采用卷积神经网络提取高维特征包括：
将局部范围内中心点特征、邻域点关系特征、点云坐标的归一化值按公式
Figure FDA0003901033050000011
进行组合；
其中，Fi表示点i的特征向量，MLP表示多层感知机运算，Δpij表示归一化坐标，
Figure FDA0003901033050000012
表示连接运算，f′i表示中心点特征，Fjj′表示邻域点j和邻域点j′间的关系特征，N(i)表示i点的邻域范围；
Fjj′的表达方式为
Figure FDA0003901033050000013
其中，Δfjj′表示邻域点j和邻域点j′的特征差值，M表示邻域点个数，Wjj′表示自适应权值；
Wjj′的计算公式为Wjj′＝MLP(Fj-Fj′)|j,j′∈N(i)。
2.根据权利要求1所述的点云图像处理方法，其特征在于，所述对采集的点云图像进行数据预处理，包括：
导入采集的航带数据进行航带拼接，对点云数据中的地物进行粗分类，分离出第一预设类型对象，以第一预设类型对象为基准对航带进行修正；
进行高斯滤波，去除点云数据中的离群点、噪声点和孤立点；
基于距离进行抽稀，设置临近两点云之间的最短距离，对点云进行精简。
3.根据权利要求1所述的点云图像处理方法，其特征在于，所述对预处理后的点云数据进行标签制作和分块处理，包括：
根据点云图和正射影像对预处理后的点云数据做标签，标注成不同的地物类别，并转换为通用格式；
将标注后的点云划分为训练集、验证集和测试集，将点云分割成规定大小的方块，采集固定数目的采样点，设置模型训练参数。
4.根据权利要求3所述的点云图像处理方法，其特征在于，
所述模型训练参数包括批大小、轮次，学习率，衰减率和优化器。
5.根据权利要求1所述的点云图像处理方法，其特征在于，所述对处理后的点云数据采用自适应高程插值方法进行n次上采样，连接到下采样对应层，在最后一层进行全连接，输出各点的类别预测值中，自适应高程插值的方程为：
Figure FDA0003901033050000021
其中，f(l-1)(x)表示第(l-1)层的特征，f(l)(x)表示第l层的特征，j表示邻域点，wij表示权值大小，wij的计算公式为
Figure FDA0003901033050000022
其中，dij表示点i与点j的水平距离，w_zij表示高程系数，w_zij的计算公式为
Figure FDA0003901033050000023
其中，zij表示点i与点j之间的高差，
Figure FDA0003901033050000024
表示zij的平均值。
6.根据权利要求1所述的点云图像处理方法，其特征在于，所述对组合分类后的点云数据进行参数纠正，调整类别分布的权重参数，包括：
在网络模型的最后一层采用全连接层，预测出各点归为某类的概率密度；
将预测结果和真实值进行比较，采用损失函数调整类别分布的权重参数。
7.根据权利要求1所述的点云图像处理方法，其特征在于，对所述训练好的模型进行多次重复测试，选取最大值。
8.根据权利要求1所述的点云图像处理方法，其特征在于，还包括重复进行对处理后的点云数据进行n次下采样，对处理后的点云数据采用自适应高程插值方法进行n次上采样，对组合分类后的点云数据进行参数纠正，选取最优模型。
9.根据权利要求8所述的点云图像处理方法，其特征在于，所述选取最优模型包括：
在每个训练轮次中，计算训练模型的总体精度和平均交并比mIoU，并且每m轮次就保存一次训练参数；
当本轮的平均交并比mIoU数值大于上次时，则保存验证模型参数，若小于上次则丢弃。
10.一种点云图像处理系统，其特征在于，包括：
图像预处理模块，用于对采集的点云图像进行数据预处理；
分类模块，用于对预处理后的点云数据进行标签制作和分块处理；
下采样模块，用于对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征；
上采样模块，用于对处理后的点云数据采用自适应高程插值方法进行n次上采样，连接到下采样对应层，在最后一层进行全连接，输出各点的类别预测值；
参数调整模块，用于对组合分类后的点云数据进行参数纠正，调整类别分布的权重参数；
测试模块，用于对训练好的模型进行测试，将测试集分块，测试训练好的模型，得到各点的预测类别；
所述下采样模块用于对处理后的点云数据进行n次下采样，收集中心点特征和邻域点关系特征，采用卷积神经网络提取高维特征，包括：
将局部范围内中心点特征、邻域点关系特征、点云坐标的归一化值按公式
Figure FDA0003901033050000041
进行组合；
其中，Fi表示点i的特征向量，MLP表示多层感知机运算，Δpij表示归一化坐标，
Figure FDA0003901033050000042
表示连接运算，f′i表示中心点特征，Fjj′表示邻域点j和邻域点j′间的关系特征，N(i)表示i点的邻域范围；
Fjj′的表达方式为
Figure FDA0003901033050000043
其中，Δfjj′表示邻域点j和邻域点j′的特征差值，M表示邻域点个数，Wjj′表示自适应权值；
Wjj′的计算公式为Wjj′＝MLP(Fj-Fj′)|j,j′∈N(i)。
11.根据权利要求10所述的点云图像处理系统，其特征在于，所述图像预处理模块包括：
航带修正单元，用于导入采集的航带数据进行航带拼接，对点云数据中的地物进行粗分类，分离出第一预设类型对象，以第一预设类型对象为基准对航带进行修正；
噪声去除单元，用于进行高斯滤波，去除点云数据中的离群点、噪声点和孤立点；
抽稀处理单元，用于基于距离进行抽稀，设置临近两点云之间的最短距离，对点云进行精简。
12.根据权利要求10所述的点云图像处理系统，其特征在于，所述分类模块包括：
标签制作单元，用于根据点云图和正射影像对预处理后的点云数据做标签，标注成不同的地物类别，并转换为通用格式；
分块处理单元，用于将标注后的点云划分为训练集、验证集和测试集，将点云分割成规定大小的方块，采集固定数目的采样点，设置模型训练参数。
13.根据权利要求10所述的点云图像处理系统，其特征在于，所述参数调整模块包括：
密度预测单元，用于在网络模型的最后一层采用全连接层，预测出各点归为某类的概率密度；
损失调整单元，用于将预测结果和真实值进行比较，采用损失函数调整类别分布的权重参数。
14.根据权利要求10所述的点云图像处理系统，其特征在于，还包括优化模块，用于重复进行对处理后的点云数据进行n次下采样，对处理后的点云数据采用自适应高程插值方法进行n次上采样，对组合分类后的点云数据进行参数纠正，选取最优模型。
15.根据权利要求14所述的点云图像处理系统，其特征在于，所述优化模块包括：
交并比计算单元，用于在每个训练轮次中，计算训练模型的总体精度和平均交并比mIoU，并且每m轮次就保存一次训练参数；
比较单元，用于当本轮的平均交并比mIoU数值大于上次时，则保存验证模型参数，若小于上次则丢弃。
CN202210979093.1A 2022-08-16 2022-08-16 一种点云图像处理方法及系统 Active CN115049938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210979093.1A CN115049938B (zh) 2022-08-16 2022-08-16 一种点云图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210979093.1A CN115049938B (zh) 2022-08-16 2022-08-16 一种点云图像处理方法及系统

Publications (2)

Publication Number Publication Date
CN115049938A CN115049938A (zh) 2022-09-13
CN115049938B true CN115049938B (zh) 2022-11-29

Family

ID=83168069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210979093.1A Active CN115049938B (zh) 2022-08-16 2022-08-16 一种点云图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN115049938B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257597A (zh) * 2020-10-22 2021-01-22 中国人民解放军战略支援部队信息工程大学 一种点云数据的语义分割方法
CN112818999A (zh) * 2021-02-10 2021-05-18 桂林电子科技大学 一种基于卷积神经网络的复杂场景3d点云语义分割方法
CN113392841A (zh) * 2021-06-03 2021-09-14 电子科技大学 一种基于多特征信息增强编码的三维点云语义分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133227A (zh) * 2017-11-29 2018-06-08 北京数字绿土科技有限公司 激光雷达点云数据分类方法及装置
CN113128405B (zh) * 2021-04-20 2022-11-22 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257597A (zh) * 2020-10-22 2021-01-22 中国人民解放军战略支援部队信息工程大学 一种点云数据的语义分割方法
CN112818999A (zh) * 2021-02-10 2021-05-18 桂林电子科技大学 一种基于卷积神经网络的复杂场景3d点云语义分割方法
CN113392841A (zh) * 2021-06-03 2021-09-14 电子科技大学 一种基于多特征信息增强编码的三维点云语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于徕卡MS60与深度图像的变形监测研究;闵星 等;《测绘通报》;20210930(第9期);第165-168段 *

Also Published As

Publication number Publication date
CN115049938A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN109344921B (zh) 一种基于深度神经网络模型的图像识别方法、装置及设备
CN110852225B (zh) 基于深度卷积神经网络的遥感影像红树林提取方法及系统
CN113537138B (zh) 一种基于轻量化神经网络的交通标志识别方法
CN110046550B (zh) 基于多层特征学习的行人属性识别系统及方法
CN110148117B (zh) 基于电力图像的电力设备缺陷识别方法、装置与存储介质
CN109753996B (zh) 基于三维轻量化深度网络的高光谱图像分类方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN113673509A (zh) 一种基于图像文本的仪表检测分类方法
CN112507888A (zh) 建筑物识别方法及装置
CN115393690A (zh) 一种轻量化神经网络的空对地观测多目标识别方法
CN114565842A (zh) 基于Nvidia Jetson嵌入式硬件的无人机实时目标检测方法及系统
CN113496221B (zh) 基于深度双边滤波的点监督遥感图像语义分割方法及系统
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN116977747B (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法
CN117710841A (zh) 一种无人机航拍图像的小目标检测方法、装置
CN116503677B (zh) 一种湿地分类信息提取方法、系统、电子设备及存储介质
CN115049938B (zh) 一种点云图像处理方法及系统
CN116012709B (zh) 一种高分辨率遥感影像建筑物提取方法及系统
US20220366242A1 (en) Information processing apparatus, information processing method, and storage medium
CN115761268A (zh) 一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法
CN112989912B (zh) 一种基于无人机图像的油茶果品种识别方法
CN114863223A (zh) 结合去噪自编码器与场景增强的高光谱弱监督分类方法
CN114494893A (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN116263735A (zh) 神经网络的鲁棒性评估方法、装置、设备及存储介质
CN114693922A (zh) 一种基于对抗神经网络的语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant