CN114612751A - 一种基于语义学习的整机点云数据的下采样方法 - Google Patents

一种基于语义学习的整机点云数据的下采样方法 Download PDF

Info

Publication number
CN114612751A
CN114612751A CN202210511610.2A CN202210511610A CN114612751A CN 114612751 A CN114612751 A CN 114612751A CN 202210511610 A CN202210511610 A CN 202210511610A CN 114612751 A CN114612751 A CN 114612751A
Authority
CN
China
Prior art keywords
point cloud
sampling
data
complete machine
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210511610.2A
Other languages
English (en)
Other versions
CN114612751B (zh
Inventor
汪俊
单忠德
张凯钧
李子宽
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210511610.2A priority Critical patent/CN114612751B/zh
Publication of CN114612751A publication Critical patent/CN114612751A/zh
Application granted granted Critical
Publication of CN114612751B publication Critical patent/CN114612751B/zh
Priority to US18/316,317 priority patent/US11830164B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义学习的整机点云数据的下采样方法，包括：步骤S1、根据点云语义学习原理构建基于特征学习的多输入编码器；所述多输入编码器分别将整机点云数据和特征点数据作为输入，进行数据特征融合，然后通过解码器进行解码；骤S2、构建并训练基于语义学习的点云特征权重计算网络，计算得到待测量每个点的特征权重；步骤S3、对步骤S2得到的权重结果进行空间加权采样，基于高斯分布的空间采样原理进行下采样。本发明通过加入关键特征点的信息来约束采样过程，既解决了整机点云数据过大无效信息较多需要采样处理的问题，又保证了关键特征点区域的点云信息不会因采样而缺失，保证了输出采样结果的有效可靠。

Description

一种基于语义学习的整机点云数据的下采样方法
技术领域
本发明属于三维数据可视化技术领域，具体涉及一种基于语义学习的整机点云数据的下采样方法。
背景技术
随着激光雷达和三维扫描技术的发展和普及，激光雷达和三维扫描技术被广泛应用于测绘，电力线巡检，数字城市，古建筑保护，军工设备测量以及数字孪生等领域。三维扫描技术在使用过程中能快速地获取海量的三维点云数据，这些数据往往具有上亿量级的规模。尤其在整机测量领域，飞机由于尺寸大形状结构复杂，测量的整机点云规模十分巨大，这也导致了需要占用更多的资源空间，且存在大量冗余的信息，这对基于整机点云的检测工作增加了许多难度，所以对点云进行降采样工作具有十分重要的意义。如何实现大规模点云有效降采样，并且保证关键点云信息的完整性，是目前亟待解决的热门问题。
近年来，随着国内外对三维数据研究的不断深入，也提出了很多点云降采样的方法，传统的分块降采样方法通过对不同区域设置不同采样间隔，来达到不同密度的采样效果，但该方法需要进行繁琐复杂的操作，需要大量人工干预，操作方式十分不友好，不利于生产效率的提高。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于语义学习的整机点云数据的下采样方法，通过加入关键特征点的信息来约束采样过程，既解决了整机点云数据过大无效信息较多需要采样处理的问题，又保证了关键特征点区域的点云信息不会因采样而缺失，保证了输出采样结果的有效可靠。
为实现上述技术目的，本发明采取的技术方案为：
一种基于语义学习的整机点云数据的下采样方法，包括：
步骤S1、根据点云语义学习原理构建基于特征学习的多输入编码器；
所述多输入编码器分别将整机点云数据和特征点数据作为输入，进行数据特征融合，然后通过解码器进行解码；
步骤S2、构建并训练基于语义学习的点云特征权重计算网络，计算得到待测量每个点的特征权重；
步骤S3、对步骤S2得到的权重结果进行空间加权采样，基于高斯分布的空间采样原理进行下采样。
为优化上述技术方案，采取的具体措施还包括：
上述的步骤S1包括：
步骤S101、根据整机点云和关键特征点进行同步输入的需求，设计多输入编码器，通过编码器的特征升维后融合，实现数据结构的统一，完成多输入特征数据的融合；
步骤S102、对S101得到的多输入特征融合后的数据，进行解码器操作。
上述的解码器有4个卷积层构成，经过解码器解码的编码器数据与融合前的数据在结构上维度统一，保证编码信息的完整性。
上述的步骤S2包括：
步骤S201、设计基于语义学习的点云特征值计算网络；
步骤S202、根据整机点云和特征点的标准数据集进行训练，训练若干次得到一个标准值的训练权重，将其设置为网络的基本参数；
再输入待测量的整机点云和特征点，完成数据各个点的特征权重值预测。
上述的步骤S2还包括：
步骤S203、将预测得到的特征权重值储存成label，将label在标量场中显示，得到每个点的特征权重分布图。
上述的步骤S202具体为：
步骤S20201、根据生产过程的整机测量点云数据库，收集大量整机测量数据，用人工的方法分割出关键特征点，并以飞机不同部位的重要程度为标准，按照重要程度设置不同的权重值，权重值由0到1分别代表最不重要和最重要，构建整机点云和特征点的标准数据集；
步骤S20202、对基于语义学习的点云特征权重计算网络进行训练。
训练的第一阶段为前向传播，分别从整机点云和特征点云中选择一个点云样本；
训练的第二阶段为反向传播，通过实际输出与理想输出之间的差值，按照梯度下降的极小化目标函数的方法进行反向传播调整卷积核的内参，完成训练过程；
步骤S20203、将待预量的整机点云和特征点数据输入权重计算网络中测试，得到预测的各个点的特征权重值。
上述的步骤S3包括：
步骤S301、设置采样器，采样器拾取到步骤S2的输出结果，进行采样操作，通过标签记录的权重值，进行空间加权采样；
步骤S302、基于高斯分布的空间采样原理进行下采样：
将S301采样得到的权重结果按照最大值和最小值分别对应到高斯曲线的最高值和最低值，对最高值的地方进行最小的空间降采样，对最低值的地方进行最大的空间降采样。
本发明具有以下有益效果：
本发明利用基于语义学习的整机点云数据下采样方法，能实现大规模点云有效降采样，并且保证关键点云信息的完整性，提供了高效的整机点云降采样方法，解决现有技术中传统的点云分块降采样方式中需要大量人工干预导致的生产效率低下的问题。
附图说明
图 1为本发明基于语义学习的整机点云数据下采样方法流程图；
图2为根据本发明步骤S1的实施原理图；
图3为根据本发明步骤S2的实施原理图；
图4为根据本发明步骤S3的实施原理图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
如图1-4所示，一种基于语义学习的整机点云数据下采样方法，包括如下步骤：
步骤S1、根据点云语义学习远离构建基于特征学习的多输入编码器。分别将整机点云数据和特征点数据进行输入，进行数据特征融合。包括：
步骤S101、设计编码器：
将输入的整机点云记作
Figure 705202DEST_PATH_IMAGE001
,特征点记作
Figure 158180DEST_PATH_IMAGE002
。
编码器包含过滤层和密集块，过滤器的第一层会将点云映射到一维向量上。由于整机点云个数远远大于特征点的个数，会通过：
Figure 612295DEST_PATH_IMAGE003
过滤器卷积层的大小和步幅分别为
Figure 390895DEST_PATH_IMAGE004
和1。这样可以保证点云输入的任意大小。
密集块包含若干卷积层，密集块架构可以在编码网络中尽可能地保留深层特征。
步骤S102、编码器的输出将作为解码器的输入。
使用这种简单有效的架构来重建最终的融合点云。
解码器包含4个卷积层，分别由C1、C2、C3、C4表示，其输出结果可以表示为
Figure 664882DEST_PATH_IMAGE005
。
Figure 187130DEST_PATH_IMAGE006
的维度为
Figure 230172DEST_PATH_IMAGE007
，其中
Figure 182603DEST_PATH_IMAGE008
表示输入的两个点云中更大的维度，编码器会将输出的维度自动匹配为输入点云的更大的维度，保证编码信息的完整性。
步骤S2、构建基于语义学习的权重计算网络。
步骤S201、设计基于语义学习的点云特征权重计算网络。
输入为S1阶段的输出
Figure 943886DEST_PATH_IMAGE009
，维度
Figure 4246DEST_PATH_IMAGE007
，先经过共享的特征增强器，然后连续经过两个卷积层，通过该网络进行权重估计。
步骤S202、根据整机点云和特征点的标准数据集进行训练，训练若干次得到一个标准值的训练权重，将其设置为网络的基本参数；
再输入待测量的整机点云和特征点，完成数据各个点的特征权重值预测。
训练的第一阶段为前向传播，分别从整机点云和特征点云中选择一个点云样本，记作
Figure 167374DEST_PATH_IMAGE010
和
Figure 287777DEST_PATH_IMAGE011
于此同时之对应的权重值为
Figure 801935DEST_PATH_IMAGE012
。
若
Figure 665985DEST_PATH_IMAGE013
则单通道输入。
计算实际输出
Figure 418041DEST_PATH_IMAGE014
与理想输出
Figure 974924DEST_PATH_IMAGE015
之间的差值，其中：
Figure 710799DEST_PATH_IMAGE016
。
训练的第二阶段为反向传播，通过实际输出
Figure 378541DEST_PATH_IMAGE017
与理想输出
Figure 250682DEST_PATH_IMAGE018
之间的差值
Figure 978466DEST_PATH_IMAGE019
，按照梯度下降的极小化目标函数的方法进行反向传播调整卷积核的内参，完成训练过程。
再将待预测的整机点云和关键特征点数据放在点云特征权重计算网络中测试，得到预测的权重值。
步骤S203、将得到的权重值进行保存，存成单独的label，其中每个label对应各自点的特征值，将label在标量场中显示，得到每个点的特征权重分布图，可视化输出结果。
步骤S3、基于高斯分布的空间采样原理进行下采样，包括：
步骤S301、设置采样器，采样器拾取到步骤S2的输出结果，进行采样操作，通过标签记录的权重值，进行空间加权采样。
步骤S302、设计一种基于高斯分布的点云采样方法。根据高斯分布的概率密度函数
Figure 201637DEST_PATH_IMAGE020
。
将S301的权重结果的最大值对应到高斯曲线的最高值，即
Figure 407490DEST_PATH_IMAGE021
对应的值。
将S301的权重结果的最小值对应到高斯曲线的最低值，即对应值为0。
对最高值的地方进行最小的空间降采样，对最低值的地方进行最大的空间降采样。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于语义学习的整机点云数据的下采样方法，其特征在于，包括：
步骤S1、根据点云语义学习原理构建基于特征学习的多输入编码器；
所述多输入编码器分别将整机点云数据和特征点数据作为输入，进行数据特征融合，然后通过解码器进行解码，解码数据即为待测量；
步骤S2、构建并训练基于语义学习的点云特征权重计算网络，计算得到待测量每个点的特征权重；
步骤S3、对步骤S2得到的权重结果进行空间加权采样，基于高斯分布的空间采样原理进行下采样。
2.根据权利要求1所述的一种基于语义学习的整机点云数据的下采样方法，其特征在于，所述步骤S1包括：
步骤S101、根据整机点云和关键特征点进行同步输入的需求，设计多输入编码器，通过编码器的特征升维后融合，实现数据结构的统一，完成多输入特征数据的融合；
步骤S102、对S101得到的多输入特征融合后的数据，进行解码器操作。
3.根据权利要求2所述的一种基于语义学习的整机点云数据的下采样方法，其特征在于，所述解码器有4个卷积层构成，经过解码器解码的编码器数据与融合前的数据在结构上维度统一，保证编码信息的完整性。
4.根据权利要求1所述的一种基于语义学习的整机点云数据的下采样方法，其特征在于，所述步骤S2包括：
步骤S201、设计基于语义学习的点云特征值计算网络；
步骤S202、根据整机点云和特征点的标准数据集进行训练，训练若干次得到一个标准值的训练权重，将其设置为网络的基本参数；
再输入待测量的整机点云和特征点，完成数据各个点的特征权重值预测。
5.根据权利要求4所述的一种基于语义学习的整机点云数据的下采样方法，其特征在于，所述步骤S2还包括：
步骤S203、将预测得到的特征权重值储存成label，将label在标量场中显示，得到每个点的特征权重分布图。
6.根据权利要求1所述的一种基于语义学习的整机点云数据的下采样方法，其特征在于，所述步骤S202具体为：
步骤S20201、根据生产过程的整机测量点云数据库，收集大量整机测量数据，用人工的方法分割出关键特征点，并以飞机不同部位的重要程度为标准，按照重要程度设置不同的权重值，权重值由0到1分别代表最不重要和最重要，构建整机点云和特征点的标准数据集；
步骤S20202、对基于语义学习的点云特征权重计算网络进行训练；
训练的第一阶段为前向传播，分别从整机点云和特征点云中选择一个点云样本；
训练的第二阶段为反向传播，通过实际输出与理想输出之间的差值，按照梯度下降的极小化目标函数的方法进行反向传播调整卷积核的内参，完成训练过程；
步骤S20203、将待预量的整机点云和特征点数据输入权重计算网络中测试，得到预测的各个点的特征权重值。
7.根据权利要求1所述的一种基于语义学习的整机点云数据的下采样方法，其特征在于，所述步骤S3包括：
步骤S301、设置采样器，采样器拾取到步骤S2的输出结果，进行采样操作，通过标签记录的权重值，进行空间加权采样；
步骤S302、基于高斯分布的空间采样原理进行下采样：
将S301采样得到的权重结果按照最大值和最小值分别对应到高斯曲线的最高值和最低值，对最高值的地方进行最小的空间降采样，对最低值的地方进行最大的空间降采样。
CN202210511610.2A 2022-05-12 2022-05-12 一种基于语义学习的整机点云数据的下采样方法 Active CN114612751B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210511610.2A CN114612751B (zh) 2022-05-12 2022-05-12 一种基于语义学习的整机点云数据的下采样方法
US18/316,317 US11830164B2 (en) 2022-05-12 2023-05-12 Semantic learning-based down-sampling method of point cloud data of aircraft

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210511610.2A CN114612751B (zh) 2022-05-12 2022-05-12 一种基于语义学习的整机点云数据的下采样方法

Publications (2)

Publication Number Publication Date
CN114612751A true CN114612751A (zh) 2022-06-10
CN114612751B CN114612751B (zh) 2022-08-05

Family

ID=81870607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210511610.2A Active CN114612751B (zh) 2022-05-12 2022-05-12 一种基于语义学习的整机点云数据的下采样方法

Country Status (2)

Country Link
US (1) US11830164B2 (zh)
CN (1) CN114612751B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409161A (zh) * 2022-07-06 2024-01-16 戴尔产品有限公司 点云处理方法和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105928457A (zh) * 2016-06-21 2016-09-07 大连理工大学 一种全向三维激光彩色扫描系统及其方法
CN107092021A (zh) * 2017-04-05 2017-08-25 天津珞雍空间信息研究院有限公司 车载激光雷达三维扫描方法、地物分类方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116132671A (zh) * 2020-06-05 2023-05-16 Oppo广东移动通信有限公司 点云压缩方法、编码器、解码器及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105928457A (zh) * 2016-06-21 2016-09-07 大连理工大学 一种全向三维激光彩色扫描系统及其方法
CN107092021A (zh) * 2017-04-05 2017-08-25 天津珞雍空间信息研究院有限公司 车载激光雷达三维扫描方法、地物分类方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
单忠德等: "复合材料预制体成形制造工艺与装备研究", 《中国机械工程》 *
裴焱栋等: "基于内容和语义的三维模型检索综述", 《计算机应用》 *

Also Published As

Publication number Publication date
US20230306557A1 (en) 2023-09-28
US11830164B2 (en) 2023-11-28
CN114612751B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN111127538B (zh) 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN111784041A (zh) 一种基于图卷积神经网络的风电功率预测方法及系统
CN111178149B (zh) 一种基于残差金字塔网络的遥感影像水体自动提取方法
CN114049545B (zh) 一种基于点云体素的台风定强方法、系统、设备及介质
CN111104850B (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN110197035B (zh) 一种航道水下地形变化分析系统及方法
CN113610778A (zh) 一种基于语义分割的桥梁表面裂纹检测方法与系统
CN114612751B (zh) 一种基于语义学习的整机点云数据的下采样方法
CN115100549A (zh) 一种基于改进YOLOv5的输电线路金具检测方法
CN115587646A (zh) 基于时空特征融合的近海叶绿素a浓度预测方法及系统
CN114493052A (zh) 多模型融合自适应新能源功率预测方法和系统
CN115204032A (zh) 一种基于多通道智能模型的enso预测方法及装置
CN114331842A (zh) 结合地形特征的dem超分辨率重建方法
CN112950617A (zh) 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法
CN115859116A (zh) 一种基于径向基函数回归插值法的海洋环境场重建方法
Lin et al. BEARNet: A novel buildings edge-aware refined network for building extraction from high-resolution remote sensing images
CN113222209A (zh) 基于域适应的区域尾气迁移预测方法、系统及存储介质
CN117171375A (zh) 地下洞室海量点云数据的双层快速索引方法及系统
CN117496377A (zh) 基于无人机监测河口湿地连通度的方法
Li et al. Learning to holistically detect bridges from large-size vhr remote sensing imagery
CN115952743A (zh) 耦合随机森林和hasm的多源降水数据协同降尺度方法和系统
CN116401939A (zh) 一种基于梯度约束神经网络的北极海冰短期预报方法
CN115393735A (zh) 基于改进U-Net的遥感影像建筑物提取方法
CN113780358A (zh) 一种基于无锚网络的实时金具检测方法
CN113919533A (zh) 一种基于人工智能的空气质量溯源预报方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant