CN112116720A - 三维点云的增广方法、装置、存储介质及计算机设备 - Google Patents

三维点云的增广方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN112116720A
CN112116720A CN202010984057.5A CN202010984057A CN112116720A CN 112116720 A CN112116720 A CN 112116720A CN 202010984057 A CN202010984057 A CN 202010984057A CN 112116720 A CN112116720 A CN 112116720A
Authority
CN
China
Prior art keywords
point cloud
dimensional point
matrix
dimensional
augmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010984057.5A
Other languages
English (en)
Inventor
张国辉
郭玲玲
宋晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010984057.5A priority Critical patent/CN112116720A/zh
Priority to PCT/CN2020/136369 priority patent/WO2021169498A1/zh
Publication of CN112116720A publication Critical patent/CN112116720A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种三维点云的增广方法、装置、存储介质及计算机设备，涉及图像处理领域。其中方法包括：获取三维点云的点位置矩阵；利用多层卷积网络，对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵；根据三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵；根据三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。上述方法可以得到准确性较高的不同形状的增广的三维点云数据，且保证了数据的准确性和真实性，上述方式有效的提升了三维点云的数据量，有利于后续对三维点云数据进行分类操作。

Description

三维点云的增广方法、装置、存储介质及计算机设备
技术领域
本发明涉及图像处理领域，尤其是涉及一种三维点云的增广方法、装置、存储介质及计算机设备。
背景技术
随着三维成像技术的发展，结构光测量、激光扫描、激光测距等技术趋于成熟，物体表面的三维坐标能够精准而快速的获取，从而生成场景的三维数据，便于人们能够更好地感知和理解周围环境。三维数据包含了场景的深度信息，能够表示物体的表面形状，在机器人、AR/VR、人机交互、遥感测绘等多个领域具有广阔的应用前景。
三维数据由传感器直接获得，可以表示为深度图、三维点云、网格和CAD等多种形式。其中，三维点云获取较为便捷，易于存储，具有离散和稀疏特性，方便扩展为高维的特征信息，是近年来的研究主流方向。
然而，与二维图像中像素的规则排列方式不同，三维点云是无序的，并且常常是非均匀分布的，即不同局部区域的点云密度常常不等，此外，三维空间中物体的形变较二维图像更为复杂，除三个维度的仿射变换外，还有非刚体形变需要考虑。基于上述原因，在对三维点云进行分类时，需要突破的难题之一就是三维点云规模远远小于二维图形的规模，无法满足深度神经网络的训练要求，而短时间内想要积累大量的三维点云也很难做到，因此需要对现有的三维点云进行增广，但是，以往针对二维图像的增广方法，如图像的缩放，旋转，随机裁剪等方法应用在三维点云上，其准确性和真实性均不理想。
发明内容
有鉴于此，本申请提供了一种三维点云的增广方法、装置、存储介质及计算机设备，主要目的在于解决三维点云数据少且增广的增广数据准确性和真实性较差的技术问题。
根据本发明的第一个方面，提供了一种三维点云的增广方法，该方法包括：
获取三维点云的点位置矩阵；
利用多层卷积网络，对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵；
根据三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵；
根据三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。
根据本发明的第二个方面，提供了一种三维点云的增广装置，该装置包括：
数据获取模块，用于获取三维点云的点位置矩阵；
特征提取模块，用于利用多层卷积网络，对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵；
数据变换模块，用于根据三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵；
数据增广模块，用于根据三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。
根据本发明的第三个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述三维点云的增广方法。
根据本发明的第四个方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述三维点云的增广方法。
本发明提供的一种三维点云的增广方法、装置、存储介质及计算机设备，首先获取三维点云的点位置矩阵，然后利用多层卷积网络，对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵，继而根据三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵，最后根据三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。上述方法通过三维点云数据中点的特征对原始三维点云数据进行形状变换和点位移变换，可以得到准确性较高的不同形状的增广的三维点云数据，且增广后的三维点云数据同样具有噪声干扰，保证了数据的真实性，上述方式有效的提升了三维点云的数据量，且保证了数据的准确性和真实性，有利于后续对三维点云数据进行分类操作。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了本发明实施例提供的一种三维点云的增广方法的流程示意图；
图2示出了本发明实施例提供的另一种三维点云的增广方法的流程示意图；
图3示出了本发明实施例提供的一种三维点云增广器的工作流程示意图；
图4示出了本发明实施例提供的一种三维点云增广器和三维点云分类器的工作流程示意图；
图5示出了本发明实施例提供的一种三维点云的增广装置的结构示意图；
图6示出了本发明实施例提供的另一种三维点云的增广装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在一个实施例中，如图1所示，提供了一种三维点云的增广方法，以该方法应用于客户端或服务器等计算机设备上为例进行说明，包括以下步骤：
101、获取三维点云的点位置矩阵。
其中，三维点云(3D point cloud)也称3D点云，是指在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。三维点云可以从多种渠道获取到，例如通过CAD模型直接获取，或者通过LiDAR传感器或三维摄像装置的扫描获取，进一步的，三维点云的点位置矩阵是三维点云的数据表达方式，因此，三维点云的点位置矩阵也可以简称为三维点云数据。
具体的，计算机设备可以通过多种方式获取到三维点云的点位置矩阵，例如，可以通过计算机设备的输入设备获取到输入的三维点云的点位置矩阵，也可以通过三维摄像装置的点云数据转换模块获取到三维点云的点位置矩阵。其中，三维点云的点位置矩阵是由三维点云中所有点的三维坐标构成的矩阵，即三维点云的点位置矩阵是一个nx3的矩阵，其中n是三维点云的点数，在这个矩阵中，点的排列顺序不影响点在矩阵结构中的表示方式，即三维点云的点位置矩阵中各点的排列方式是无序的，例如，相同的三维点云可以由两个完全不同的点位置矩阵表示。
需要说明的是，三维点云数据最常用的采集方式是通过传感器或三维摄像装置扫描获得，但是在获取三维点云数据时，由于设备精度的限制，操作者经验的不一致，环境因素的影响以及电磁波的衍射特性，加之被测物体表面性质变化和数据拼接配准操作过程的影响，三维点云数据中将不可避免的出现一些噪声，因此，通过传感器或三维摄像装置扫描获取到的三维点云数据会出现不同程度的点云扰动和异常值，这意味着三维点云中的任何一个点都有一定的概率位于它被采样的位置附近的某一半径范围内，或者出现在三维空间的任意位置上。
102、利用多层卷积网络，对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵。
具体的，计算机设备可以将三维点云的点位置矩阵输入到训练好的多层卷积网络中，并利用多层卷积网络对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵。其中，卷积网络可以是三维点云神经网络，例如PointNet或Pointnet++等，具体的，PointNet和Pointnet可以通过对称函数解决三维点云的点位置矩阵中点的无序问题，PointNet可以将输入的三维点云的点位置矩阵进行逐点的特征抽象，并通过对称函数得到全局特征向量。在此基础上，PointNet++改进了无法获取各点间局部相关性特征的问题，设计了层级结构，从而使训练后的神经网络更适应非均匀分布的点云数据。
在本实施例中，三维点云的特征矩阵与三维点云的点位置矩阵不是一一对应的关系，并且为了降低计算量，三维点云的特征矩阵的维度可以小于三维点云的点位置矩阵的维度。此外，对于不同的三维点云的点位置矩阵来说，其特征矩阵也是不同的。
103、根据三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵。
其中，变换矩阵指的是一种可以对坐标系进行转换的矩阵，变换矩阵可以对当前空间中的点或向量进行坐标变换，而不会升高或降低当前空间的维度，在本实施例中，变换矩阵可以包括形状变换矩阵和点位移变换矩阵。其中，点位移变换矩阵可以对三维点云的点位置矩阵中的任意点进行任意维度的平移操作，以模拟传感器或三维成像装置在采集数据时带来的噪声干扰，形状变换矩阵可以改变三维点云的原有位姿(位置和姿态)，例如，形状变换矩阵可以将三维点云的点位置矩阵绕原点旋转一定角度，和/或对三维点云的点位置矩阵按照一定比例进行缩放等。
具体的，计算机设备可以根据三维点云的特征矩阵匹配出三维点云的形状变换参数和点位移变换参数，例如，三维点云的形状变换参数可以包括三维点云的旋转角度和/或缩放比例，点位移变换参数可以包括三维点云需要平移的点以及平移点的移动位移量，即利用三维点云的特征矩阵，可以匹配出三维点云的点位置矩阵的旋转角度和/或缩放比例，以及匹配出三维点云的点位置矩阵中需要移动的点和点的移动位移量。进一步的，根据匹配出的三维点云的形状变换参数和点位移变换参数进行计算，即可得到三维点云的形状变换矩阵和点位移变换矩阵。
104、根据三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。
具体的，计算机设备可以根据三维点云的点位置矩阵、以及三维点云的形状变换矩阵和点位移变换矩阵，通过一系列的矩阵计算，得到增广的三维点云的点位置矩阵。在本实施例中，可以将三维点云的点位置矩阵和三维点云的形状变换矩阵相乘，得到形状变换的三维点云的点位置矩阵，然后再将形状变换的三维点云的点位置矩阵与点位移变换矩阵相加，得到增广的三维点云的点位置矩阵。
在本实施例中，对三维点云的点位置矩阵进行增广可以将一个三维点云数据变换成多个三维点云数据，从而有效的提升三维点云的数据量，这种方式简单直观，且成本低效果好。可以理解的是，对于不同的三维点云，其形状变换的幅度应是不同的，其原因在于增广的三维点云是通过原始的三维点云经过一定变换得到的，而不是通过传感器采集得到的，如果没有三维点云的特征进行限制，增广的三维点云的准确性和真实性将难以得到保障。
本实施例提供的三维点云的增广方法，首先获取三维点云的点位置矩阵，然后利用多层卷积网络，对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵，继而根据三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵，最后根据三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。上述方法通过三维点云数据中点的特征对原始三维点云数据进行形状变换和点位移变换，可以得到准确性较高的不同形状的增广的三维点云数据，且增广后的三维点云数据同样具有噪声干扰，保证了数据的真实性，上述方式有效的提升了三维点云的数据量，且保证了数据的准确性和真实性，有利于后续对三维点云数据进行分类操作。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的实施过程，提供了三维点云的增广方法，如图2所示，该方法包括以下步骤：
201、获取三维点云的点位置矩阵。
其中，三维点云可以从多种渠道获取到，例如通过CAD模型直接获取，或者通过LiDAR传感器或三维摄像装置的扫描获取，进一步的，三维点云的点位置矩阵是三维点云的数据表达方式，因此，三维点云的点位置矩阵也可以简称为三维点云数据。
具体的，计算机设备可以通过多种方式获取到三维点云的点位置矩阵，例如，可以通过计算机设备的输入设备获取到输入的三维点云的点位置矩阵，也可以通过三维摄像装置的点云数据转换模块获取到三维点云的点位置矩阵。其中，三维点云的点位置矩阵是由三维点云中所有点的三维坐标构成的矩阵，即三维点云的点位置矩阵是一个nx3的矩阵，其中n是三维点云的点数，在这个矩阵中，点的排列顺序不影响点在矩阵结构中的表示方式，即三维点云的点位置矩阵中各点的排列方式是无序的，例如，相同的三维点云可以由两个完全不同的点位置矩阵表示。
需要说明的是，三维点云数据最常用的采集方式是通过传感器或三维摄像装置扫描获得，但是在获取三维点云数据时，由于设备精度的限制，操作者经验的不一致，环境因素的影响以及电磁波的衍射特性，加之被测物体表面性质变化和数据拼接配准操作过程的影响，三维点云数据中将不可避免的出现一些噪声，因此，通过传感器或三维摄像装置扫描获取到的三维点云数据会出现不同程度的点云扰动和异常值，这意味着三维点云中的任何一个点都有一定的概率位于它被采样的位置附近的某一半径范围内，或者出现在三维空间的任意位置上。
202、利用多层卷积网络，对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵。
具体的，计算机设备可以将三维点云的点位置矩阵输入到训练好的多层卷积网络中，并利用多层卷积网络对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵。其中，卷积网络可以是三维点云神经网络，例如PointNet或Pointnet++等，具体的，PointNet和Pointnet可以通过对称函数解决三维点云的点位置矩阵中点的无序问题，PointNet可以将输入的三维点云的点位置矩阵进行逐点的特征抽象，并通过对称函数得到全局特征向量。在此基础上，PointNet++改进了无法获取各点间局部相关性特征的问题，设计了层级结构，从而使训练后的神经网络更适应非均匀分布的点云数据。
在本实施例中，三维点云的特征矩阵与三维点云的点位置矩阵不是一一对应的关系，并且为了降低计算量，三维点云的特征矩阵的维度可以小于三维点云的点位置矩阵的维度。此外，对于不同的三维点云的点位置矩阵来说，其特征矩阵也是不同的。
203、根据三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵。
具体的，计算机设备可以根据三维点云的特征矩阵匹配出三维点云的形状变换参数和点位移变换参数，例如，三维点云的形状变换参数可以包括三维点云的旋转角度和/或缩放比例，点位移变换参数可以包括三维点云需要平移的点以及平移点的移动位移量，即利用三维点云的特征矩阵，可以匹配出三维点云的点位置矩阵的旋转角度和/或缩放比例，以及匹配出三维点云的点位置矩阵中需要移动的点和点的移动位移量，其中，在匹配三维点云的点位移变换参数时，可以借助高斯函数进行匹配，以提高模拟点云扰动的真实感。进一步的，根据匹配出的三维点云的形状变换参数和点位移变换参数进行计算，即可得到三维点云的形状变换矩阵和点位移变换矩阵。
204、根据三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。
具体的，计算机设备可以根据三维点云的点位置矩阵、以及三维点云的形状变换矩阵和点位移变换矩阵，通过一系列的矩阵计算，得到增广的三维点云的点位置矩阵。在本实施例中，可以将三维点云的点位置矩阵和三维点云的形状变换矩阵相乘，得到形状变换的三维点云的点位置矩阵，然后再将形状变换的三维点云的点位置矩阵与点位移变换矩阵相加，得到增广的三维点云的点位置矩阵。
205、将增广的三维点云的点位置矩阵输入到三维点云分类器中，得到增广的三维点云的分类结果。
206、将增广的三维点云的分类结果输入到多层卷积网络中，并判断多层卷积网络的损失值是否在第一预设范围内。
207、若多层卷积网络的损失值未在第一预设范围内，则根据增广的三维点云的分类结果调整多层卷积网络的参数。
208、判断三维点云分类器的损失值是否在第二预设范围内。
209、若三维点云分类器的损失值未在第二预设范围内，则根据增广的三维点云的分类结果，调整三维点云分类器的参数。
具体的，如果将上述步骤201-204理解为一个三维点云增广方法的黑盒子(以下简称增光器)的话，其过程就可以简单的描述为：将原始的三维点云数据输入到增广器中，从而输出一个增广的三维点云数据，即利用增广器可以对原始的三维点云数据进行增广，以得到增广的三维点云数据。在本实施例中，为了使增广器输出的数据更加真实和准确，可以通过生成对抗网络，对增广器的参数进行持续改进，增广器的生成对抗对象可以为三维点云分类器(以下简称分类器)，具体的，增广器和分类器是联合训练的，为了使增广器生成的样本随着分类器准确度的提升变得更准确和真实，可以通过损失函数(Loss Function)来衡量增广器和分类器的神经网络是否训练到位，其中增广器的训练损失函数如下：
LossA＝|1-exp[L(p')-αL(p)]|
其中，LossA为增广器的损失，L(P)为原始三维点云的交叉熵损失，L(P’)为增广的三维点云的交叉熵损失，α为交叉熵损失参数，α的值大于1，该参数可用于限制增广的三维点云和原始三维点云的差异程度，当分类器越准确时，获取的三维点云也越准确和真实。
进一步的，分类器的训练损失函数如下：
LossC＝L(p′)+L(p)+β||F′P-FP||2
其中，LossC为分类器的损失，L(P)为原始三维点云的交叉熵损失，L(P’)为增广的三维点云的交叉熵损失，F’p为增广的三维点云的特征矩阵，Fp为原始三维点云的特征矩阵，β为特征变化参数，由上述分类器的损失函数可以看出，分类器的损失不仅包含三维点云的交叉熵损失，还用提取的特征矩阵的差值作为正则化项，以此限制三维点云的特征分布。
具体的，增广器的工作流程如图3所示，增广器和分类器联合训练的工作流程如图4所示，增广器和分类器联合训练的过程包括如下步骤：首先将增广的三维点云数据作为样本数据输入到分类器中进行分类，得到增广的三维点云的分类结果，然后将增广的三维点云的分类结果分别反馈至分类器和增广器中，继而根据三维点云的分类结果分别调整分类器和多层卷积网络的参数，直至分类器和增广器的损失值控制在预设范围内。通过这种方式，可以使多层卷积网络提取出的特征更加准确，进而使得匹配出的形状变换矩阵和点位移变换矩阵更准确，进一步也使得输出的增广的三维点云的点位置矩阵更加准确和真实。在本实施例中，增广器通过在训练中学习形状变换和点位移变换的组合来提升分类器的分类效果，而分类器则在逐渐学习的过程中并变得更加准确，随着训练的深入，增广器生成的三维点云数据也会对分类器更有挑战性，本实施例借鉴了生成对抗网络的思想，采用端到端的方法同时优化了增广器和分类器。
进一步的，在增广器和分类器联合训练的过程中，可以不断的通过增广器的训练损失函数计算增广器的损失，以及通过分类器的训练损失函数计算分类器的损失，当增广器的损失和分类器的损失到达预定范围内之后，可以停止增广器和分类器的训练。在本实施例中，对于每一个输入增广器中的三维点云数据，都可以采用上述方法进行循环增广和分类，以得到更准确和真实的增广的三维点云数据，以及得到更准确的三维点云分类结果。
进一步的，本实施例具体可以应用于三维活体识别(三维活体识别可以简单的理解为人脸识别，但三维活体识别并不局限于人脸识别)领域中，上述方法通过对每一个样本进行特征提取并采取对抗学习策略共同优化增广器网络和分类器网络，可以使得增广器学习产生出最适合分类器的样本。而且，本实施例还提供了一个可学习的点增强的形状变换矩阵和点位移的线性变换矩阵，并提出了具体的损失函数来限制增广器和分类器的训练程度。本实施例提出的三维点云的增广方法可以大幅提升三维活体识别的分类精度，实验表明，应用本实施例提出的三维点云增广方法，可以使三维活体正样本通过率达到99.6％，而对应的三维活体负样本的误识别率仅有0.1％。这种三维点云的增广方法可以用于后续任意的三维分类任务中，对于目前三维点云样本较少的情况，可以起到非常大的提升作用。
本实施例提出的三维点云的增广方法，可以根据样本的特征，为每一个样本回归出一个特定的特征矩阵，并采用形状变换和点位移的线性变换方式对三维点云数据进行增广，使得增广的三维点云数据正确率更高，此外，本实施例还采取了对抗学习的策略同时优化增广器网络和分类器网络，使增广器可以学习产生出最适合分类器的样本。因此，本实施例提出的三维点云的增广方法可以有效的解决三维点云样本较少以及增广的三维点云准确度较低的问题。
进一步的，作为图1、图2所示方法的具体实现，本实施例提供了一种三维点云的增广装置，如图5所示，该装置包括：数据获取模块31、特征提取模块32、数据变换模块33和数据增广模块34。
数据获取模块31，可用于获取三维点云的点位置矩阵；
特征提取模块32，可用于利用多层卷积网络，对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵；
数据变换模块33，可用于根据三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵；
数据增广模块34，可用于根据三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。
在具体的应用场景中，所述数据变换模块33，具体可用于根据三维点云的特征矩阵，匹配出三维点云的形状变换参数和点位移变换参数；根据三维点云的形状变换参数和点位移变换参数，得到三维点云的形状变换矩阵和点位移变换矩阵。
在具体的应用场景中，所述数据变换模块33，具体可用于根据三维点云的特征矩阵，匹配出三维点云的旋转角度和/或缩放比例。
在具体的应用场景中，所述数据变换模块33，具体可用于根据三维点云的特征矩阵，利用高斯函数匹配出三维点云的移动点和移动点的移动位移量。
在具体的应用场景中，所述数据增广模块34，具体可用于将三维点云的点位置矩阵和三维点云的形状变换矩阵相乘，得到形状变换的三维点云的点位置矩阵；将形状变换的三维点云的点位置矩阵与点位移变换矩阵相加，得到增广的三维点云的点位置矩阵。
在具体的应用场景中，如图6所示，本装置还包括数据分类模块35、数据反馈模块36和参数调整模块37，所述数据分类模块35具体可用于将增广的三维点云的点位置矩阵输入到三维点云分类器中，得到增广的三维点云的分类结果；所述数据反馈模块36具体可用于将增广的三维点云的分类结果输入到多层卷积网络中，并判断多层卷积网络的损失值是否在第一预设范围内；参数调整模块37具体可用于若多层卷积网络的损失值未在第一预设范围内，则根据增广的三维点云的分类结果调整多层卷积网络的参数。
在具体的应用场景中，所述数据反馈模块36具体还可用于判断三维点云分类器的损失值是否在第二预设范围内；所述参数调整模块37具体还可用于若三维点云分类器的损失值未在第二预设范围内，则根据增广的三维点云的分类结果，调整三维点云分类器的参数。
需要说明的是，本实施例提供的一种三维点云的增广装置所涉及各功能单元的其它相应描述，可以参考图1、图2中的对应描述，在此不再赘述。
基于上述如图1、图2所示方法，相应的，本实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1、图2所示的三维点云的增广方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该待识别软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1、图2所示的方法，以及图5和图6所示的三维点云的增广装置实施例，为了实现上述目的，本实施例还提供了一种三维点云的增广的实体设备，具体可以为个人计算机、服务器、智能手机、平板电脑、智能手表、或者其它网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1、图2所示的方法。
可选的，该实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的一种三维点云的增广的实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和待识别软件资源的程序，支持信息处理程序以及其它待识别软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，首先获取三维点云的点位置矩阵，然后利用多层卷积网络，对三维点云的点位置矩阵进行特征提取，得到三维点云的特征矩阵，继而根据三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵，最后根据三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。与现有技术相比，可得到准确性较高的不同形状的增广的三维点云数据，且增广后的三维点云数据同样具有噪声干扰，保证了数据的真实性，上述方式有效的提升了三维点云的数据量，且保证了数据的准确性和真实性，有利于后续对三维点云数据进行分类操作。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种三维点云的增广方法，其特征在于，所述方法包括：
获取三维点云的点位置矩阵；
利用多层卷积网络，对所述三维点云的点位置矩阵进行特征提取，得到所述三维点云的特征矩阵；
根据所述三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵；
根据所述三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。
2.根据权利要求1所述的方法，其特征在于，所述根据三维点云的特征矩阵，确定三维点云的变换矩阵和点位移变换矩阵，包括：
根据所述三维点云的特征矩阵，匹配出三维点云的形状变换参数和点位移变换参数；
根据所述三维点云的形状变换参数和点位移变换参数，得到三维点云的形状变换矩阵和点位移变换矩阵。
3.根据权利要求2所述的方法，其特征在于，所述根据三维点云的特征矩阵，匹配出三维点云的变换矩阵参数，包括：
根据所述三维点云的特征矩阵，匹配出三维点云的旋转角度和/或缩放比例。
4.根据权利要求2所述的方法，其特征在于，所述根据所述三维点云的特征矩阵，匹配出三维点云的点位移变换参数，包括：
根据所述三维点云的特征矩阵，利用高斯函数匹配出三维点云的移动点和所述移动点的移动位移量。
5.根据权利要求1所述的方法，其特征在于，所述根据三维点云的点位置矩阵、三维点云的变形状换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵，包括：
将所述三维点云的点位置矩阵和所述三维点云的形状变换矩阵相乘，得到形状变换的三维点云的点位置矩阵；
将所述形状变换的三维点云的点位置矩阵与所述点位移变换矩阵相加，得到增广的三维点云的点位置矩阵。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述增广的三维点云的点位置矩阵输入到三维点云分类器中，得到所述增广的三维点云的分类结果；
将所述增广的三维点云的分类结果输入到所述多层卷积网络中，并判断所述多层卷积网络的损失值是否在第一预设范围内；
若所述多层卷积网络的损失值未在第一预设范围内，则根据所述增广的三维点云的分类结果调整所述多层卷积网络的参数。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
判断所述三维点云分类器的损失值是否在第二预设范围内；
若所述三维点云分类器的损失值未在第二预设范围内，则根据所述增广的三维点云的分类结果，调整所述三维点云分类器的参数。
8.一种三维点云的增广装置，其特征在于，所述装置包括：
数据获取模块，用于获取三维点云的点位置矩阵；
特征提取模块，用于利用多层卷积网络，对所述三维点云的点位置矩阵进行特征提取，得到所述三维点云的特征矩阵；
数据变换模块，用于根据所述三维点云的特征矩阵，确定三维点云的形状变换矩阵和点位移变换矩阵；
数据增广模块，用于根据所述三维点云的点位置矩阵、三维点云的形状变换矩阵和点位移变换矩阵，得到增广的三维点云的点位置矩阵。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010984057.5A 2020-09-18 2020-09-18 三维点云的增广方法、装置、存储介质及计算机设备 Pending CN112116720A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010984057.5A CN112116720A (zh) 2020-09-18 2020-09-18 三维点云的增广方法、装置、存储介质及计算机设备
PCT/CN2020/136369 WO2021169498A1 (zh) 2020-09-18 2020-12-15 三维点云的增广方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010984057.5A CN112116720A (zh) 2020-09-18 2020-09-18 三维点云的增广方法、装置、存储介质及计算机设备

Publications (1)

Publication Number Publication Date
CN112116720A true CN112116720A (zh) 2020-12-22

Family

ID=73800074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010984057.5A Pending CN112116720A (zh) 2020-09-18 2020-09-18 三维点云的增广方法、装置、存储介质及计算机设备

Country Status (2)

Country Link
CN (1) CN112116720A (zh)
WO (1) WO2021169498A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462348A (zh) * 2021-02-01 2021-03-09 知行汽车科技（苏州）有限公司 激光点云数据增广的方法、装置及存储介质
WO2022193604A1 (en) * 2021-03-16 2022-09-22 Huawei Technologies Co., Ltd. Devices, systems, methods, and media for point cloud data augmentation using model injection
CN116740820A (zh) * 2023-08-16 2023-09-12 南京理工大学 基于自动增广的单视角点云三维人体姿态与形状估计方法
CN114663810B (zh) * 2022-03-21 2023-11-10 中国电信股份有限公司 基于多模态的物体图像增广方法及装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241258A (zh) * 2021-12-09 2022-03-25 深圳慕智科技有限公司 一种面向自动驾驶雷达点云数据的扩增与优化方法
CN117635896B (zh) * 2024-01-24 2024-04-05 吉林大学 基于汽车车身点云运动预测的点云拼接方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765584A (zh) * 2018-05-31 2018-11-06 深圳市易成自动驾驶技术有限公司 激光点云数据集增广方法、装置及可读存储介质
CN110197223A (zh) * 2019-05-29 2019-09-03 北方民族大学 基于深度学习的点云数据分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846974B2 (en) * 2014-12-05 2017-12-19 Stmicroelectronics S.R.L. Absolute rotation estimation including outlier detection via low-rank and sparse matrix decomposition
CN109344786A (zh) * 2018-10-11 2019-02-15 深圳步智造科技有限公司 目标识别方法、装置及计算机可读存储介质
CN111028279A (zh) * 2019-12-12 2020-04-17 商汤集团有限公司 点云数据处理方法及装置、电子设备和存储介质
CN111047596A (zh) * 2019-12-12 2020-04-21 中国科学院深圳先进技术研究院 一种三维点云实例分割方法、系统及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765584A (zh) * 2018-05-31 2018-11-06 深圳市易成自动驾驶技术有限公司 激光点云数据集增广方法、装置及可读存储介质
CN110197223A (zh) * 2019-05-29 2019-09-03 北方民族大学 基于深度学习的点云数据分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RUIHUI LI ET AL: "PointAugment: an Auto-Augmentation Framework for Point Cloud Classification", HTTP://ARXIV.ORG/ABS/2002.10876, pages 1 - 10 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462348A (zh) * 2021-02-01 2021-03-09 知行汽车科技（苏州）有限公司 激光点云数据增广的方法、装置及存储介质
WO2022193604A1 (en) * 2021-03-16 2022-09-22 Huawei Technologies Co., Ltd. Devices, systems, methods, and media for point cloud data augmentation using model injection
CN114663810B (zh) * 2022-03-21 2023-11-10 中国电信股份有限公司 基于多模态的物体图像增广方法及装置、设备及存储介质
CN116740820A (zh) * 2023-08-16 2023-09-12 南京理工大学 基于自动增广的单视角点云三维人体姿态与形状估计方法
CN116740820B (zh) * 2023-08-16 2023-10-31 南京理工大学 基于自动增广的单视角点云三维人体姿态与形状估计方法

Also Published As

Publication number Publication date
WO2021169498A1 (zh) 2021-09-02

Similar Documents

Publication Publication Date Title
CN112116720A (zh) 三维点云的增广方法、装置、存储介质及计算机设备
CN111043988B (zh) 一种基于图形学和深度学习的单张条纹投影测量方法
CN109272543B (zh) 用于生成模型的方法和装置
CN111126385A (zh) 一种可变形活体小目标的深度学习智能识别方法
CN112270332A (zh) 一种基于子流稀疏卷积的三维目标检测方法及系统
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN104299241A (zh) 基于 Hadoop 的遥感图像显著性目标检测方法及系统
CN111401180B (zh) 神经网络识别模型训练方法、装置、服务器及存储介质
CN117372604B (zh) 一种3d人脸模型生成方法、装置、设备及可读存储介质
CN112184785B (zh) 基于mcd度量和vtm的多模态遥感图像配准方法
CN117392187A (zh) 基于空间注意力模型的sar图像变化检测方法及设备
CN117132737A (zh) 一种三维建筑模型构建方法、系统及设备
CN115965788B (zh) 基于多视角图结构特征注意力卷积的点云语义分割方法
Li et al. Research on the improvement of vision target tracking algorithm for Internet of things technology and Simple extended application in pellet ore phase
CN116310194A (zh) 一种配电站房三维模型重建方法、系统、设备和存储介质
Stypułkowski et al. Representing point clouds with generative conditional invertible flow networks
CN111914751B (zh) 一种图像人群密度识别检测方法及系统
CN115240240A (zh) 基于yolo网络的红外人脸识别方法及系统
CN114140495A (zh) 基于多尺度Transformer的单目标跟踪方法
Zhang et al. Edge Detection from RGB‐D Image Based on Structured Forests
CN113781541A (zh) 基于神经网络的三维图像处理方法、装置及电子设备
CN104182749B (zh) 图像处理装置、图像处理方法以及电子设备
Lin et al. 6D object pose estimation with pairwise compatible geometric features
Li et al. Rfid dynamic performance measurement system embedded in multiscale deep learning
Guo et al. Fast Visual Tracking using Memory Gradient Pursuit Algorithm.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40040165

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination