CN113689329B - 一种用于稀疏点云增强的最短路径插值法 - Google Patents

一种用于稀疏点云增强的最短路径插值法 Download PDF

Info

Publication number
CN113689329B
CN113689329B CN202110746807.XA CN202110746807A CN113689329B CN 113689329 B CN113689329 B CN 113689329B CN 202110746807 A CN202110746807 A CN 202110746807A CN 113689329 B CN113689329 B CN 113689329B
Authority
CN
China
Prior art keywords
point cloud
point
shortest path
enhancement
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110746807.XA
Other languages
English (en)
Other versions
CN113689329A (zh
Inventor
方宇
李皓宇
宁业衍
杨蕴杰
杨皓
张汝枭
陶翰中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN202110746807.XA priority Critical patent/CN113689329B/zh
Publication of CN113689329A publication Critical patent/CN113689329A/zh
Application granted granted Critical
Publication of CN113689329B publication Critical patent/CN113689329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)

Abstract

本发明属于点云数据增强的技术领域，公开了一种用于稀疏点云增强的最短路径插值法，其特征在于：在两个无序点云数据集上各自建立神经网络，确保点云数据集排列不变性，分别记为点云S1、点云S2，然后，从所述点云S1、点云S2中找出一一对应的特征点，并组成源对，最后，利用EMD距离模型，计算得到各个所述源对之间的最短路径，根据所述最短路径对应的函数生成对应的插值点集，即为两个无序点云数据集所需的增强点集。

Description

一种用于稀疏点云增强的最短路径插值法
技术领域
本发明涉及点云数据增强的技术领域，尤其涉及一种用于稀疏点云增强的最短路径插值法。
背景技术
三维点云数据经过去噪、精简等预处理和粗拼接后，使不同视场下的多幅点云数据具有比较接近的初始位置，能够满足精拼接ICP算法对两幅点云初始位置的要求。目前点云数据的精拼接方面国内外研究学者提出了很多算法：基于角不变特性算法、遗传优化算法、迭代最近点算法(ICP)等。但是ICP算法只是局部收敛到最佳，对点云初始估计位置有一定的限制。也就是说要求比较好的初始拼接，并且要求两幅点云有包含关系，否则会很大程度影响本算法的收敛性，甚至会出现错误拼接。因此在进行ICP算法精拼接之前，需要对两幅点云进行初次拼接，以获得比较接近的两幅点云位置。ICP算法的关键是在不同的点云数据中搜索到用于精拼接的准确配准点对，以完成拼接。
为了提高三维点云精拼接的拼接精度要求，就需要对点云进行增强。点云增强技术致力于处理点缺失共同定位问题和不同的噪声对点云拼接的影响，即在原有的点云中增加新的点，此方法是基于两种假设：第一，加入的点能使ICP算法更好的探索解空间，而不是仅仅把两片点云拼接在一起；第二，新加入的点能减少原有导致拼接误差的部分，并能提高ICP算法输出的整体质量。
现阶段三维点云数据处理过程中存在如下几个方面的问题：
(1)所获取的点云数据只是深度信息，如需进行数据处理，首先得进行深度信息转换为坐标信息。
(2)在点云数据获取中，可能由于采集环境的问题或者采集样本的性质因素，导致某些所需要的特征信息没有采集到。
(3)在点云拼接时，为了满足工业需要和提高拼接效率的要求，大量点云被精简，导致在精拼接中特征点匹配等过程中找不到对应点云中的最近匹配点，导致误差增大。
现在的点云扩增数据的技术一般用于点云的补洞，还没有找到用在稀疏点云增强中的。
发明内容
本发明提供了一种用于稀疏点云增强的最短路径插值法，能够有效解决上述问题，填补了稀疏点云增强技术的空白。
本发明可通过以下技术方案实现：
一种用于稀疏点云增强的最短路径插值法，在两个无序点云数据集上各自建立神经网络，确保点云数据集排列不变性，分别记为点云S1、点云S2，然后，从所述点云S1、点云S2中找出一一对应的特征点，并组成源对，最后，利用EMD距离模型，计算得到各个所述源对之间的最短路径，根据所述最短路径对应的函数生成对应的插值点集，即为两个无序点云数据集所需的增强点集。
进一步，利用全局特征法找出点云S1、点云S2中的特征点，再利用双射赋值法从点云S1、点云S2中的特征点中找出一一对应的特征点，组成源对。
进一步，所述EMD距离模型设置如下
Figure BDA0003144571250000021
其中，
Figure BDA0003144571250000022
点云S1、点云S2之间的双射赋值后的集合，N表示源对的个数，xi表示点云S1中的特征点，yφ(i)表示点云S2中对应xi的特征点；
所述最短路径对应的函数设置如下
Figure BDA0003144571250000031
其中，ui＝(1-λ)·xi+λ·yΦ(i)表示点云S2中对应xi的特征点，λ∈[0,1]表示点云增强的比率，
对应的插值点集设置为
Figure BDA0003144571250000032
进一步，所述最短路径插值法用于两个无序点云数据集进行粗配准后的精确配准过程中。
本发明有益的技术效果在于：
1)此方法基于EMD距离模型，计算简单，容易理解。
2)基于最短路径插值法提出了不同于二维图像增强的插值的最优分配路径函数，此插值法可用于无序且排列不变的点集合。
附图说明
图1为本发明的总体流程示意图；
图2为本发明的源对之间的最短路径和非最短路径示意图。
具体实施方式
下面结合附图及较佳实施例详细说明本发明的具体实施方式。
如图1所示，本发明提供了一种用于稀疏点云增强的最短路径插值法，用于两个无序点云数据集进行粗配准后的精确配准过程中，在两个无序点云数据集上各自建立神经网络，确保点云数据集排列不变性，分别记为点云S1、点云S2，然后，从所述点云S1、点云S2中找出一一对应的特征点，并组成源对，最后，利用EMD距离模型，计算得到各个所述源对之间的最短路径，根据所述最短路径对应的函数生成对应的插值点集，即为两个无序点云数据集所需的增强点集。这样，利用EMD距离模型可以非常方便地计算出源对之间的最短路径，进而得到相应的插值点集，完成对稀疏点云数据集的增强，整个过程计算量小，速度快，响应时间短。具体如下：
步骤一、建立神经网络
由于点云数据集是一种无规则无序的散乱点数据集，通过共享多层感知和最大池化操作来学习全局特征，以确保点云数据集的排列不变性，并进行参数化调整卷积滤波器，使得2D卷积扩展到3D点云应用，处理完成后的两个无序点云数据集分别记为点云S1、点云S2。
步骤二、找出源对
利用全局特征法找出点云S1、点云S2中的特征点，再利用双射赋值法从点云S1、点云S2中的特征点中找出一一对应的特征点，组成源对。
全局特征法采用现有技术中的快速点特征直方图描述子(FPFH)进行全局特征点的描述和选取。
双射赋值法是用于点云特征点匹配的一种方法，之所以叫双射赋值，是为了提高两点云特征点匹配的精度，保证S1对应与S2的同时，也要保证从S2也能对应回S1。这里我们采用的特征点匹配的方法是提取特征法，有提取平面特征、提取轮廓曲线等,这种方式要求点云有比较明显的特征。通过提取点云特征轮廓曲线，取拼接过程中可以重合的点，并且在这些点周围选取距离最短的点且法相夹角一样的点，将这些点一一对应作为点云源对。
步骤三、建立EMD距离模型，找出各个源对之间的最短路径，进而得到插值点集
EMD距离模型不仅能很好地捕捉两个点云之间的几何形状，还能捕捉局部细节以及密度分布，最短路径的属性确保了插值数据上点云标签分布的唯一性。当计算不同来源的插值时，由最短路径插值生成的插值比由非最短路径插值生成的插值更具区别性，这样，新加入的点能使ICP算法更好的探索解空间，而不是仅仅把两片点云拼接在一起；同时，能减少原有导致拼接误差的部分，并能提高ICP算法输出的整体质量。
图2显示了两个点云数据集中不同的点之间的插值路径。当保证最短路径的属性(如图2a所示)，不同的点云数据集中的一对点的插值路径可能不会在复杂的度量空间中相交，而在非最短路径插值中(如图2b所示)，路径可能有极大概率相互交织，很难区分混合数据中数据的来源。由此可见，最短路径插值生成的插值比非最短路径插值生成的插值路径更加具有区别性。
为了定义点云的插值，必须首先选择一个合理的距离度量，本发明选择基于所选距离度量的最短路径插值函数。对于点云而言，最适合的距离度量是EMD距离——EarthMover’s Distance，这个图像距离模型可以很好的捕捉这两点云之间的几何形状，还能捕捉局部细节以及密度分布。
利用EMD距离模型，能够测量点云数据集S1中的每个点：xi∈S1与之相匹配的点云数据集S2中的对应点：yj∈S2所需要的最小总位移量，即源对之间的最短路径。该EMD距离模型设置如下：
Figure BDA0003144571250000051
其中，
Figure BDA0003144571250000053
表示两个点云数据集之间的双射赋值的集合，给出了两个点云数据集中各个特征点之间的一一对应关系，即为源对集合，N表示源对的个数，yφ(i)表示点云S2中对应xi的特征点。
该最短路径对应的函数设置为
Figure BDA0003144571250000052
此时，λ∈[0,1]表示表示点云增强的比率，ui＝(1-λ)·xi+λ·yΦ(i)表示到第i个源对中的两个特征点的最短路径点，其中，yΦ(i)表示点云S2中对应xi的特征点，那么由最短路径对应的函数生成插值点集
Figure BDA0003144571250000061
就是稀疏点云增强所需的增广数据。/>
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (2)

1.一种用于稀疏点云增强的最短路径插值法，其特征在于：在两个无序点云数据集上各自建立神经网络，确保点云数据集排列不变性，分别记为点云S1、点云S2，然后，从所述点云S1、点云S2中找出一一对应的特征点，并组成源对，最后，利用EMD距离模型，计算得到各个所述源对之间的最短路径，根据所述最短路径对应的函数生成对应的插值点集，即为两个无序点云数据集所需的增强点集；
利用全局特征法找出点云S1、点云S2中的特征点，再利用双射赋值法从点云S1、点云S2中的特征点中找出一一对应的特征点，组成源对；
所述EMD距离模型设置如下
Figure FDA0004156982730000011
其中，
Figure FDA0004156982730000012
点云S1、点云S2之间的双射赋值后的集合，N表示源对的个数，xi表示点云S1中的特征点，yφ(i)表示点云S2中对应xi的特征点；
所述最短路径对应的函数设置如下
Figure FDA0004156982730000013
其中，ui＝(1-λ)·xi+λ·yΦ(i)表示到第i个源对中的两个特征点的最短路径点，λ∈[0,1]表示点云增强的比率，
对应的插值点集设置为
Figure FDA0004156982730000014
2.根据权利要求1所述的用于稀疏点云增强的最短路径插值法，其特征在于：所述最短路径插值法用于两个无序点云数据集进行粗配准后的精确配准过程中。
CN202110746807.XA 2021-07-02 2021-07-02 一种用于稀疏点云增强的最短路径插值法 Active CN113689329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110746807.XA CN113689329B (zh) 2021-07-02 2021-07-02 一种用于稀疏点云增强的最短路径插值法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110746807.XA CN113689329B (zh) 2021-07-02 2021-07-02 一种用于稀疏点云增强的最短路径插值法

Publications (2)

Publication Number Publication Date
CN113689329A CN113689329A (zh) 2021-11-23
CN113689329B true CN113689329B (zh) 2023-06-02

Family

ID=78576912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110746807.XA Active CN113689329B (zh) 2021-07-02 2021-07-02 一种用于稀疏点云增强的最短路径插值法

Country Status (1)

Country Link
CN (1) CN113689329B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880547B (zh) * 2023-03-02 2023-11-21 宁波微科光电股份有限公司 基于图像点云数据的异物检测方法、装置及其存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740227A (zh) * 2018-12-26 2019-05-10 江南大学 基于特征识别的微型复杂零件建模方法
CN109887012A (zh) * 2019-01-09 2019-06-14 天津大学 一种结合自适应搜索点集的点云配准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467753B (zh) * 2010-11-04 2013-10-09 中国科学院深圳先进技术研究院 基于骨架配准的时变点云重建方法及系统
WO2019060450A1 (en) * 2017-09-19 2019-03-28 The Broad Institute, Inc. METHODS AND SYSTEMS FOR RECONSTRUCTION OF DEVELOPMENT LANDSCAPES BY OPTIMAL TRANSPORT ANALYSIS
CN107749079B (zh) * 2017-09-25 2020-03-17 北京航空航天大学 一种面向无人机扫描重建的点云质量评价和轨迹规划方法
CN109242873B (zh) * 2018-08-22 2022-10-11 浙江大学 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
CN110163799B (zh) * 2019-05-05 2023-05-05 杭州电子科技大学上虞科学与工程研究院有限公司 一种基于深度学习的超分辨率点云生成方法
CN111208533A (zh) * 2020-01-09 2020-05-29 上海工程技术大学 一种基于激光雷达的实时地面检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740227A (zh) * 2018-12-26 2019-05-10 江南大学 基于特征识别的微型复杂零件建模方法
CN109887012A (zh) * 2019-01-09 2019-06-14 天津大学 一种结合自适应搜索点集的点云配准方法

Also Published As

Publication number Publication date
CN113689329A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN106296693B (zh) 基于3d点云fpfh特征实时三维空间定位方法
Zhang et al. An efficient approach to directly compute the exact Hausdorff distance for 3D point sets
WO2018127007A1 (zh) 深度图获取方法及系统
CN106780751A (zh) 基于改进的屏蔽泊松算法的三维点云重建方法
CN102306396A (zh) 一种三维实体模型表面有限元网格自动生成方法
CN113763269B (zh) 一种用于双目图像的立体匹配方法
CN113689329B (zh) 一种用于稀疏点云增强的最短路径插值法
CN113052955A (zh) 一种点云补全方法、系统及应用
CN114863062B (zh) 基于点、体素特征表示的工业场景3d点云模型构建方法
CN111462211B (zh) 一种基于卷积神经网络的双目视差计算方法
Tabib et al. Learning-based hole detection in 3D point cloud towards hole filling
Jiang et al. Skeleton extraction from point clouds of trees with complex branches via graph contraction
CN112489097A (zh) 基于混合2d卷积和伪3d卷积的立体匹配方法
CN102289661A (zh) 一种基于谱匹配的三维网格模型的匹配方法
Yu et al. An improved ICP point cloud registration algorithm based on three-points congruent sets
CN115147471A (zh) 一种基于曲率密度特征的激光点云自动配准方法
Qi et al. Robust slicing procedure based on surfel-grid
Brahmachari et al. View clustering of wide-baseline n-views for photo tourism
Lv et al. The application of a complex composite fractal interpolation algorithm in the seabed terrain simulation
CN111047687A (zh) 一种基于三维t样条的异质材料实体建模方法
Shi et al. Improved ICP point cloud registration based on KDTree
Guo et al. CT-block: a novel local and global features extractor for point cloud
CN111260711B (zh) 一种弱监督可信代价传播的视差估计方法
Patel An Incremental Based Approach for 3D Multi-Angle Point Cloud Stitching Using ICP and KNN
Xu et al. Dense stereo matching optimization algorithm based on image segmentation and ORB gravitational field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant