CN110910463A - 全视角点云数据定长有序化编码方法、设备及存储介质 - Google Patents

全视角点云数据定长有序化编码方法、设备及存储介质 Download PDF

Info

Publication number
CN110910463A
CN110910463A CN201910973193.1A CN201910973193A CN110910463A CN 110910463 A CN110910463 A CN 110910463A CN 201910973193 A CN201910973193 A CN 201910973193A CN 110910463 A CN110910463 A CN 110910463A
Authority
CN
China
Prior art keywords
point cloud
coordinate system
point
data
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910973193.1A
Other languages
English (en)
Other versions
CN110910463B (zh
Inventor
刘希龙
陈梦娟
顾庆毅
颜廷钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Institute of Automation of Chinese Academy of Science
Original Assignee
Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences, Institute of Automation of Chinese Academy of Science filed Critical Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Priority to CN201910973193.1A priority Critical patent/CN110910463B/zh
Publication of CN110910463A publication Critical patent/CN110910463A/zh
Application granted granted Critical
Publication of CN110910463B publication Critical patent/CN110910463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种全视角点云数据定长有序化编码方法、设备及存储介质，所述方法包括如下步骤：获取点云并归一化处理；构建包含多个坐标系的规范坐标系集；基于所述规范坐标系集，对所述点云进行重编码，计算并记录获得的交点数据，得到定长有序的三维结构数据；将所述三维数据转化为定长有序的一维结构数据。该方法可以将具有任意数量点的点云数据编码为定长结构的点云数据，具有速度快，方法简单易实施，编码后数据易于后续处理等优点。

Description

全视角点云数据定长有序化编码方法、设备及存储介质
技术领域
本发明属于计算机视觉和图像处理领域，涉及三维点云编码方法。
背景技术
随着三维传感设备的广泛应用，物体三维信息的获得与处理如三维重建受到越来越多的重视。点云是立体视觉和激光扫描仪等三维传感设备的原始输出，是三维视觉领域最基本的数据格式之一，它是获取物体三维信息和随后重建物体表面的基础，这种格式的数据通常以无序的形式记录被观测物体表面大量空间点的三维坐标。点云数据处理就是通过对大量具有坐标信息的点进行分析来获得这些点所表征物体的类别、位姿、三维等信息的过程。点云数据的无序性使得相关计算需要大量的计算资源，直接影响了后续的数据分析。
目前市面上常用的解决点云无序性的方法有三种。
第一种方法是模拟二维图像中的像素点，将点云转化为空间三维体素，该方法消除了点云的无序性，但计算复杂度仍然很高。
第二种方法是利用点云数据中各点相对位置关系对原始点云数据中的点重新排序，例如k-d tree结构和octree结构，但这种方法获得的数据只反映点云数据中各点间的位置关系，没有从原始点云数据中提取出全局特征，在点云识别领域作用有限。
第三种方法是利用对称函数，只要点云数据中包含的点信息不变，无论点的排序如何变化，对称函数总能从中提取到相同的信息。
深度网络pointnet使用了对称函数max-pooling，在对点云数据中所有点进行一系列同样运算后，获得运算结果中的最大值，在点云分类上取得了良好的效果，但max-pooling会导致点云原始信息的大量丢失,后续改进效果不佳，成果难以进一步提升。山东大学李团队设计的深度网络pointnet设计使用x-ray矩阵，用x-ray矩阵与原始点云数据相乘获得新的点云数据，当原始点云数据中点的顺序发生改变，x-ray矩阵也会相应发生改变，令获得的点云数据保持不变，该方法不会导致点云信息丢失，但其计算复杂度极高，且难以获得完美的x-ray矩阵。
发明内容
发明目的：提供一种全视角点云数据定长有序化编码方法，以解决现有技术存在的上述问题。
技术方案：全视角点云数据定长有序化编码方法，包括如下步骤：
获取点云并归一化处理；
构建包含多个坐标系的规范坐标系集；
基于所述规范坐标系集，对所述点云进行重编码，计算并记录获得的交点数据，得到定长有序的三维结构数据；
将所述三维数据转化为定长有序的一维结构数据。
在进一步的实施例中，所述获取点云并归一化处理的过程进一步为：
去除点云中的离群点，设置以点云重心为坐标原点的新坐标系；
获取新坐标系中距离原点最远的点，以最远点和原点间的欧式距离为单位距离，方向保持原坐标系方向不变，以新坐标系中的原始点云作为输出，得到归一化的初始点云和新坐标系。
在进一步的实施例中，在构建新坐标系前，使用主向量分析法调整点云姿态。
在进一步的实施例中，所述构建包含多个坐标系的规范坐标系集的过程进一步为：
将规范坐标系集中的坐标系分成若干组，相同组别的坐标系，其x轴在新坐标系中方向相同
在进一步的实施例中，所述计算并记录获得的交点数据的过程具体为：
计算规范坐标系x轴在正方向与点云所表征物体表面相交点附近的拟合平面的近似方程；
计算规范坐标系x轴在正方向与点云所表征物体表面的相交点近似坐标。
在进一步的实施例中，当规范坐标系x轴在正方向与点云所表征物体表面没有交点时，构建以新坐标系的原点为球心，半径为1的单位球体球面，采用规范坐标系x轴正方向与球面的交点作为规范坐标系x轴在正方向与点云所表征物体表面的相交点。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。
有益效果：输入为任意长度的无序点云数据，输出为具有定长结构的有序点云编码数据。该方法可以保证：表征相似物体的多个不同点云数据，经过点云编码之后，获得的定长数据彼此间具有极高的相似性，并且通过比较获得的定长数据间的编码码值差异，可度量物体相似度。
附图说明
图1是本发明的流程图。
图2a和图2b是表征相同物体的两份点云数据。
图3a和图3b是经过重编码后的点云数据效果图。
具体实施方式
如图1所示，描述本发明的具体处理过程和技术细节。
步骤一，对输入点云进行归一化处理
去除原始点云数据中明显离群点，根据情况决定是否使用主向量分析(PCA)调整点云姿态，获得点云T。设置新的坐标系，该坐标系以点云T重心为坐标原点，获得T中距原点最远的点，以最远点和原点间的欧氏距离为单位距离，方向保持原坐标系方向不变，以新坐标系中的原始点云作为输出，得到归一化的初始点云P与新坐标系{G}。
步骤二，在以G原点为球心，半径为1的单位球体内建立规范化坐标系集{Sn}规范化坐标系集{Sn}中单个坐标系{S}可由以下方式获得：一个原点与坐标轴方向与{G}完全相同的初始坐标系{O}，仅令{O}绕任意轴(除x轴以外)旋转一次，使其x轴方向变为(α,β,γ),旋转矩阵记作M,再将其原点坐标平移到(x,y,z)。变换后的坐标系{S}可用w(x,y,z,α,β,γ)表示，其中(x,y,z)表示坐标系{S}的原点在{G}下的笛卡尔坐标，(α,β,γ)表示{S}的x轴正方向在{G}中的方向。
为使坐标系集{Sn}中的坐标系更均匀的分布于空间，并使后续计算更为简单，将{Sn}中的坐标系分为m组，每组共w个坐标系，并利用斐波那契球构建坐标系集{Sm}。相同组别的坐标系，其x轴方向(αn,βn,γn)是相同的，由以下公式给出：
γn＝(2*n-1)/2-1
Figure BDA0002232782760000031
Figure BDA0002232782760000032
其中：
Figure BDA0002232782760000033
此外，第i组别中第k个坐标系wik的空间原点位置(xik,yik,zik)由以下公式给出：
Figure BDA0002232782760000034
Figure BDA0002232782760000041
Figure BDA0002232782760000042
Figure BDA0002232782760000043
步骤三，计算坐标系wik的x轴在正方向与P所表征物体表面相交点附近的拟合平面的近似方程。
以坐标系wik的x轴正方向为圆柱中轴线，以0.2为圆柱半径，记录P中所有落在圆柱内的点，点集集合为V{A1,A2…}，这些点即空间中位于wik的x轴附近的点。分别计算V中各点Ai到wik的原点距离d和它的临近点{Ai1,Ai2,Ai3},Ai的临近点指的是V中除Ai自身以外，离Ai最近的三个点。选择可以通过自身与其临近点拟合出P所表征物体表面，且满足wik的x轴穿过此拟合表面，且距离原点最小的点Ae。此时点Ae与其3个临近点拟合的平面记为F,4个点坐标分别记作[X1 Y1 Z1],[X2 Y2 Z2],[X3 Y3 Z3],[X3 Y3 Z3]如果无法找到这些点，则拟合平面F表示为以{G}的原点为球心，半径为1的单位球体球面。
步骤四、计算坐标系{wik}的x轴正方向与P所表征物体表面的交点Q。
a,当F是以{G}的原点为球心，半径为1的单位球体球面时，使用球面方程与wik位姿计算交点Q。交点坐标Q(Xik,Yik,Znik)计算过程由以下公式给出：
Figure BDA0002232782760000044
Figure BDA0002232782760000045
b,当F是由P中4个空间点拟合时，利用双线性内插法，使用4点坐标与wik位姿计算交点Q(Xik,Yik,Zik),计算过程由以下公式给出：
Figure BDA0002232782760000046
Figure BDA0002232782760000051
Figure BDA0002232782760000052
步骤五，重复步骤三到步骤四，根据各坐标系在坐标系集中的顺序，对原始点云进行顺序固定的重编码，并将获得的交点依次记录，获得定长有序的三维结构数据。
步骤六，根据获得的三维结构数据，按照顺序计算数据中的点与其重编码时对应的坐标系原点间的距离，将定长有序的三维结构数据转化为定长有序的一维结构数据。
实施案例：
本专利使用的原始数据集由两部分组成，第一部分是ModelNet40数据集，ModelNet40数据集是点云集ModelNet的子集，具有40类超过10000个经过人工验证方向的点云数据，是目前最流行的点云数据集之一。第二部分为自制点云数据集，由人工采集点云数据或CAD转化的点云数据集组成。
对表征同一个物体，但具有不同数目及大小的点云数据进行重编码，比较编码后的误差。
步骤一：从数据集中取出表征同样物体，点云数目不同，点云空间坐标几乎没有重合的两份点云数据PointCloud1和PointCloud2。图2a和图2b是两幅点云图分别展示的图像。
步骤二：根据事先建立的规范坐标系集，将两份点云数据归一化后进行重编码，经过重编码后的点云数据都成为具有7200个点的点云数据，编码后的数据如图3a和图3b所示。
步骤三：计算两份点云数据重编码后的误差，根据重编码后的具有7200个一维数据的定长一维结构数据，计算这两个数据集的差距，计算公式如下：
Figure BDA0002232782760000053
其中a(i),b(i)分别表示重编码后的两份定长一维结构数据第i位数据。
两份重编后的点云数据比较误差D＝0.016，由实验结果可知，该编码方式对点云数和空间坐标完全不同的，表征同一个物体的点云进行编码后，两个点云的误差极小，因此该编码方式可以有效的用于点云识别和点云分割等领域。
总之，基于上述对不同点云处理方法的分析，同时考虑到点云处理的自动化程度，稳定性及速度等因素，本发明提出了一种基于原始点云位姿信息的规范化点云编码方法，将原始点云编码为定长有序的结构数据，以利于后续点云处理。该方法可以将具有任意数量点的点云数据编码为定长结构的点云数据，具有速度快，方法简单易实施，编码后数据易于后续处理等优点。
以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (8)

1.全视角点云数据定长有序化编码方法，其特征在于，包括如下步骤：
获取点云并归一化处理；
构建包含多个坐标系的规范坐标系集；
基于所述规范坐标系集，对所述点云进行重编码，计算并记录获得的交点数据，得到定长有序的三维结构数据；
将所述三维数据转化为定长有序的一维结构数据。
2.根据权利要求1所述的全视角点云数据定长有序化编码方法，其特征在于，所述获取点云并归一化处理的过程进一步为：
去除点云中的离群点，设置以点云重心为坐标原点的新坐标系；
获取新坐标系中距离原点最远的点，以最远点和原点间的欧式距离为单位距离，方向保持原坐标系方向不变，以新坐标系中的原始点云作为输出，得到归一化的初始点云和新坐标系。
3.根据权利要求2所述的全视角点云数据定长有序化编码方法，其特征在于，在构建新坐标系前，使用主向量分析法调整点云姿态。
4.根据权利要求1所述的全视角点云数据定长有序化编码方法，其特征在于，所述构建包含多个坐标系的规范坐标系集的过程进一步为：
将规范坐标系集中的坐标系分成若干组，相同组别的坐标系，其x轴在新坐标系中方向相同。
5.根据权利要求1所述的全视角点云数据定长有序化编码方法，其特征在于，所述计算并记录获得的交点数据的过程具体为：
计算规范坐标系x轴在正方向与点云所表征物体表面相交点附近的拟合平面的近似方程；
计算规范坐标系x轴在正方向与点云所表征物体表面的相交点近似坐标。
6.根据权利要求5所述的全视角点云数据定长有序化编码方法，其特征在于，当规范坐标系x轴在正方向与点云所表征物体表面没有交点时，构建以新坐标系的原点为球心，半径为1的单位球体球面，采用规范坐标系x轴正方向与球面的交点作为规范坐标系x轴在正方向与点云所表征物体表面的相交点。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201910973193.1A 2019-10-14 2019-10-14 全视角点云数据定长有序化编码方法、设备及存储介质 Active CN110910463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910973193.1A CN110910463B (zh) 2019-10-14 2019-10-14 全视角点云数据定长有序化编码方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910973193.1A CN110910463B (zh) 2019-10-14 2019-10-14 全视角点云数据定长有序化编码方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110910463A true CN110910463A (zh) 2020-03-24
CN110910463B CN110910463B (zh) 2021-05-14

Family

ID=69815478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910973193.1A Active CN110910463B (zh) 2019-10-14 2019-10-14 全视角点云数据定长有序化编码方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110910463B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393514A (zh) * 2021-06-11 2021-09-14 中国科学院自动化研究所 一种三维无序点云数据处理方法、系统及设备
CN117388831A (zh) * 2023-12-13 2024-01-12 中科视语(北京)科技有限公司 相机和激光雷达联合标定方法、装置、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761683A (zh) * 2014-01-17 2014-04-30 广东电网公司电力科学研究院 火电厂三维虚拟可视化展示方法
CN107123161A (zh) * 2017-06-14 2017-09-01 西南交通大学 一种基于narf和fpfh的接触网零全网三维重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761683A (zh) * 2014-01-17 2014-04-30 广东电网公司电力科学研究院 火电厂三维虚拟可视化展示方法
CN107123161A (zh) * 2017-06-14 2017-09-01 西南交通大学 一种基于narf和fpfh的接触网零全网三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROMAN KLOKOV等: ""Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models"", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
王乔: ""基于区域特征分解的多传感器测量与混合建模研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393514A (zh) * 2021-06-11 2021-09-14 中国科学院自动化研究所 一种三维无序点云数据处理方法、系统及设备
CN117388831A (zh) * 2023-12-13 2024-01-12 中科视语(北京)科技有限公司 相机和激光雷达联合标定方法、装置、电子设备及介质
CN117388831B (zh) * 2023-12-13 2024-03-15 中科视语(北京)科技有限公司 相机和激光雷达联合标定方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN110910463B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN108509848B (zh) 三维物体的实时检测方法及系统
Roveri et al. Pointpronets: Consolidation of point clouds with convolutional neural networks
US11941753B2 (en) Face pose estimation/three-dimensional face reconstruction method, apparatus, and electronic device
JP7373554B2 (ja) クロスドメイン画像変換
CA2423212C (en) Apparatus and method for generating a three-dimensional representation from a two-dimensional image
WO2019068167A1 (en) OBJECT RECOGNITION METHOD
CN113159056B (zh) 图像分割方法、装置、设备及存储介质
CN111127631A (zh) 基于单图像的三维形状和纹理重建方法、系统及存储介质
US20130182960A1 (en) Method and apparatus for encoding geometry patterns, and method for apparatus for decoding geometry patterns
CN110910463B (zh) 全视角点云数据定长有序化编码方法、设备及存储介质
CN115100185A (zh) 图像处理方法、装置、计算机设备和存储介质
US10475238B2 (en) Hölder adaptive image synthesis
CN110147460B (zh) 基于卷积神经网络与多视角图的三维模型检索方法及装置
Li et al. Silhouette-assisted 3d object instance reconstruction from a cluttered scene
CN116310462B (zh) 一种基于秩约束自表示的图像聚类方法及装置
Yin et al. Virtual reconstruction method of regional 3D image based on visual transmission effect
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN108564661B (zh) 一种基于增强现实场景的记录方法
CN115830375A (zh) 点云分类方法及装置
CN111681309B (zh) 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台
CN111414802B (zh) 蛋白质数据特征提取方法
Liu et al. Rocnet: Recursive octree network for efficient 3d deep representation
Pohle-Fröhlich et al. Roof Segmentation based on Deep Neural Networks.
CN112184611A (zh) 图像生成模型训练方法以及装置
Bründl et al. Semantic part segmentation of spatial features via geometric deep learning for automated control cabinet assembly

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District

Patentee after: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Patentee after: Zhongke Nanjing artificial intelligence Innovation Research Institute

Address before: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District

Patentee before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Patentee before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES