CN117372483A - 一种点云数据处理方法、装置、设备及介质 - Google Patents
一种点云数据处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117372483A CN117372483A CN202311170730.1A CN202311170730A CN117372483A CN 117372483 A CN117372483 A CN 117372483A CN 202311170730 A CN202311170730 A CN 202311170730A CN 117372483 A CN117372483 A CN 117372483A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- transformation matrix
- source point
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 105
- 239000011159 matrix material Substances 0.000 claims abstract description 70
- 230000009466 transformation Effects 0.000 claims abstract description 65
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 87
- 230000006870 function Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 21
- 241000283973 Oryctolagus cuniculus Species 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种点云数据处理方法、装置、设备及介质，包括以下步骤：获取目标图像，根据所述目标图像的结构特征，获得源点云数据；对所述源点云数据进行预处理；将所述源点云数据中每个点云的法向量投射到预设的高斯球上，根据不同方向法向量的分布情况，以获得法向量权重；构建所述源点云数据与目标点云数据的初始对应关系，以获得初始变换矩阵；根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵；将所述最优变换矩阵作用于所述源点云数据进行迭代，以将所述源点云数据变换为新的点云数据，本申请具有提高了点云配准精度、同时提高了收敛速度的优点。
Description
技术领域
本申请涉及图像数据处理技术领域，尤其涉及一种点云数据处理方法、装置、设备及介质。
背景技术
迭代最近点(ICP)方法是目前使用最广泛的点云配准方法之一，已广泛应用到智能导航、无人驾驶、人脸识别等各个领域。由于初始配准一般用来确定初始位姿使得两幅点云图像大致重合，为了进一步提高配准精度，大多会使用ICP方法作为精配准方法进行优化。
而现有的ICP配准方法存在配准精度较低、收敛速度较慢的缺点，难以满足更高要求的运用需求。
发明内容
本申请的主要目的在于提供一种点云数据处理方法、装置、设备及介质，旨在解决现有ICP配准方法配准精度较低、收敛速度较慢的技术问题。
为实现上述目的，本申请提供一种点云数据处理方法，包括以下步骤：
获取目标图像，根据所述目标图像的结构特征，获得源点云数据；
对所述源点云数据进行预处理；
将所述源点云数据中每个点云的法向量投射到预设的高斯球上，根据不同方向法向量的分布情况，以获得法向量权重；
构建所述源点云数据与目标点云数据的初始对应关系，以获得初始变换矩阵；
根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵；
将所述最优变换矩阵作用于所述源点云数据进行迭代，以将所述源点云数据变换为新的点云数据。
可选地，所述根据不同方向法向量的分布情况，以获得法向量权重，包括：
采用kd-tree算法进行k近邻搜索，对搜索的k个近邻点进行平面拟合，以获得法向量；
获取所述法向量相同方向上的点云数量n，以获得每个点云的法向量权重W，W＝1/n。
可选地，所述根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵，包括：
将所述法向量权重W引入目标函数，使所述目标函数的值最小，以获得最优变换矩阵；其中，所述目标函数的表达式为：
式中，Mopt为最优变换矩阵，M为初始变换矩阵，Si为所述源点云数据中的点云，di为所述目标点云数据中的点云，ni为di处的单位法向矢量。
可选地，所述构建所述源点云数据与目标点云数据的初始对应关系，包括：
对所述源点云数据中每个点云在所述目标点云数据中查找最近的点，以所述最近的点作为对应点；
通过所述对应点构建所述源点云数据与目标点云数据的初始对应关系。
可选地，所述将所述最优变换矩阵作用于所述源点云数据进行迭代，以将所述源点云数据变换为新的点云数据的步骤之后，还包括以下步骤：
根据判断函数来判断所述迭代是否终止；其中，所述判断函数的表达式为：
式中，d表示代价阈值，n表示点云的数量，Qi表示目标点云数据，Pi表示源点云数据；
判断条件为：若代价阈值d大于预设的阈值τ，则重新查找所述对应点，以继续迭代；若代价阈值d小于预设的阈值τ或者达到预设的迭代次数k，则停止迭代。
可选地，所述根据判断函数来判断所述迭代是否终止的步骤之后，还包括以下步骤：
建立误差分析模型；
基于所述误差分析模型，通过碰撞检测算法寻找所述源点云数据中每一个点云到所述目标点云数据的三角网格中距离最近的三角形图元；
获取所述源点云数据中每一个点云与最近的所述三角形图元的距离；
获取所述距离在所述三角形图元的法线方向上的分量，所述分量为所述源点云数据相对于所述目标点云数据的误差。
可选地，所述构建所述源点云数据与目标点云数据的初始对应关系，以获得初始变换矩阵的步骤与所述根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵的步骤之间，还包括以下步骤：
根据所述初始对应关系，获取多个所述源点云数据与所述目标点云数据之间的对应点对；
剔除错误的所述对应点对。
可选地，所述对所述源点云数据进行预处理，包括：
建立kd-tree；
基于所述kd-tree，获得所述源点云数据的点距；
去除所述源点云数据中的噪声点；
对去除噪声点后的源点云数据进行降采样。
为实现上述目的，本申请还提供一种点云数据处理装置，包括：
点云提取模块，用于获取目标图像，根据所述目标图像的结构特征，获得源点云数据；
预处理模块，对所述源点云数据进行预处理；
权重获取模块，用于将所述源点云数据中每个点云的法向量投射到预设的高斯球上，根据不同方向法向量的分布情况，以获得法向量权重；
初始矩阵获取模块，用于构建所述源点云数据与目标点云数据的初始对应关系，以获得初始变换矩阵；
最优矩阵获取模块，用于根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵；
迭代模块，用于将所述最优变换矩阵作用于所述源点云数据进行迭代，以将所述源点云数据变换为新的点云数据。
为实现上述目的，本申请还提供一种计算机设备，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现上述的方法。
为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现上述的方法。
本申请所能实现的有益效果如下：
本申请考虑到输入的源点云数据的质量是影响配准效果的关键因素之一，为了得到最佳匹配效果，在进行配准之前，因此对源点云数据进行了预处理，同时考虑到几何结构信息对配准效果的影响，从法向量这个特征入手，将源点云数据的法向量投射到高斯球上，高斯球上不同方向分布的法向量数量不一，但是每个方向的法向量总收益相同，因此每个法向量对应的点分配的权重与该方向分布法向量的数量成反比，利用法向量权重结合点到平面的误差度量方法即可计算最优变换矩阵，从而将最优变换矩阵作用于源点云数据进行迭代，以将源点云数据变换为新的点云数据，从而提高了收敛速度，改善了配准精度。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本申请的实施例中涉及的硬件运行环境的计算机设备结构示意图；
图2为本申请的实施例中一种点云数据处理方法的流程示意图；
图3为本申请的实施例中兔子点云数据法向量在高斯球上的分布图；
图4为本申请的实施例中兔子点云数据的配准效果图；
图5为现有基于DNSS的ICP配准方法获得的兔子点云截面曲线效果图；
图6为现有基于点到平面的ICP配准方法获得的兔子点云截面曲线效果图；
图7为基于本申请的方法获得的兔子点云截面曲线效果图；
图8为本申请的实施例中球面点云数据法向量在高斯球上的分布图；
图9为本申请的实施例中球面点云数据的配准效果图；
图10为现有点到平面的ICP配准方法与本申请的方法获得的球面点云截面曲线效果对比图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
在本申请中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
实施例1
参照图1，图1为本实施例方案涉及的硬件运行环境的计算机设备结构示意图，如图1所示，该计算机设备可以包括：处理器1001，例如中央处理器(Central ProcessingUnit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在图1所示的计算机设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本实施例计算机设备中的处理器1001、存储器1005可以设置在计算机设备中，所述计算机设备通过处理器1001调用存储器1005中存储的点云数据处理装置，并执行本实施例提供的点云数据处理方法。
参照图2，基于前述硬件环境，本实施例还提供一种点云数据处理方法，包括以下步骤：
步骤S100：获取目标图像，根据所述目标图像的结构特征，获得源点云数据；
步骤S200：对所述源点云数据进行预处理；
步骤S300：将所述源点云数据中每个点云的法向量投射到预设的高斯球上，根据不同方向法向量的分布情况，以获得法向量权重；
步骤S400：构建所述源点云数据与目标点云数据的初始对应关系，以获得初始变换矩阵；
步骤S500：根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵；
步骤S600：将所述最优变换矩阵作用于所述源点云数据进行迭代，以将所述源点云数据变换为新的点云数据。
由于原始ICP方法对初始配准条件要求相对严格，要求待配准点云的重叠度很高，否则容易陷入局部最优，为了提升该方法的性能，国内外学者不断对其进行改进，例如，Chen和Medioni使用点到面的距离来代替原始ICP中的点到点距离，有效减少迭代次数，提高收敛速度；Granger和Pennec将配准问题定义为转换的一般性最大似然(ML)估计，并提出了使用期望最大化(EM)原理即EM-ICP的改进ICP；Tamaki等人为了提高EM-ICP的计算效率，使用CUDA实现了EM-ICP；Yang等人提出了全局最优ICP方法，将ICP与分支定界相结合以进行旋转估计，但是此方法更适用于小型场景；刘哲等人研究了一种改进的基于PCA的快速ICP点云配准方法，解决了原始ICP精配准方法无法处理初始位姿相差较大的点云从而陷入局部最优的问题；Kwok提出的基于DNSS的ICP配准方法，虽然能够提高点云配准的精度，但是普适性不好，适用于几何结构复杂、特征较多的点云，且耗费整体配准时间。Yingxiao Xu为了解决噪声、离群点等点集配准问题，提出了一种鲁棒的加权缩放迭代最近点方法，基于点对之间的欧式距离，设计了点对加权方法，以减少离群点和噪声点对变换矩阵解的影响。综上所述，现有的ICP配准方法存在精度较低、收敛速度较慢、普适性不好等问题。
因此，在本实施例中，目标图像指的是需要进行位姿检测的具有三维结构的物体图像，例如飞机部件的图像，考虑到源点云数据的质量是影响配准效果的关键因素之一，为了得到最佳匹配效果，在进行配准之前，因此对源点云数据进行了预处理，同时考虑到几何结构信息对配准效果的影响，从法向量这个特征入手，将源点云数据的法向量投射到高斯球上，高斯球上不同方向分布的法向量数量不一，但是每个方向的法向量总收益相同，因此每个法向量对应的点分配的权重与该方向分布法向量的数量成反比，利用法向量权重结合点到平面的误差度量方法即可计算最优变换矩阵，从而将最优变换矩阵作用于源点云数据进行迭代，以将源点云数据变换为新的点云数据，从而提高了收敛速度，改善了配准精度，上述步骤S200-S500即为点云配准过程。
需要说明的是，将物体表面每点的法向向量映射到一个单位球上，这个球称为高斯参考球(简称高斯球)，其映射过程为：将法向的起点平移至高斯参考球的球心，每个法向量会与高斯参考球的球面有一个交点，这个交点就称为法向在高斯球上的高斯映像。
作为一种可选的实施方式，所述根据不同方向法向量的分布情况，以获得法向量权重，包括：
采用kd-tree算法进行k近邻搜索，对搜索的k个近邻点进行平面拟合，以获得法向量；
获取所述法向量相同方向上的点云数量n，以获得每个点云的法向量权重W，W＝1/n。
在本实施例中，考虑到几何结构信息对配准效果的影响，从法向量这个特征入手，将点云的法向量投射到高斯球上，高斯球上不同方向分布的法向量数量不一，但是每个方向的法向量总收益相同，因此每个法向量对应的点分配的权重与该方向分布法向量的数量成反比，因此可利用法向量权重辅以约束查找对应点，具体计算方式如下：
计算权重首先需要计算点云的法向量，点云的法向量计算可采用kd-tree进行k近邻搜索，对搜索的k个近邻点进行平面拟合，最终求出法向量，求解公式如下：
对于三维点云，假设平面方程为ax+by+cz+d＝0，式中，a、b、c表示平面方程的系数，d表示代价阈值；将k个点分别带进去得到优化目标函数为：
进行求导可得Ax＝0，其中，
x＝(a b C)T
拟合平面的法向量即为ATA的最小特征值对应的特征向量，法向量求出后需统计各个方向法向量分布的数量，假设两个点的法向量分别为(x1,y1,z1)和(x2,y2,z2)，两个法向量方向相同即夹角θ为0，对应公式如下：
统计具备相同方向法向量的点云的数量之后，各个方向的总收益为1，假设某法向量方向上有n个点，则每个点的法向量权重为W＝1/n，从而实现对法向量权重的计算。
因此本方法还具有以下优点：
适用于所有的点云数据：虽然给予不同的点赋予不同的权重，但是不像现有的关键点提取的方法只适用于特征比较复杂的几何模型，本实施例基于法向量权重改进的ICP方法适用于任何点云数据模型，只是对于球面和平面这种每个点都具有相同权重影响因子的点云数据没有体现出本方法的优势而已，但同样适用。
需要说明的是，Kd-tree是一种以二叉树为原型处理高维数据空间的数据结构，广泛应用于范围搜索和最近邻搜索，kd-tree是二进制空间划分树的一种特殊情况，由于三维点云的数目一般都比较大，所以，使用kd-tree来进行检索，可以减少很多的时间消耗，可以确保点云的关联点寻找和配准处于实时的状态。
作为一种可选的实施方式，所述根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵，包括：
将所述法向量权重W引入目标函数，使所述目标函数的值最小，以获得最优变换矩阵；其中，所述目标函数的表达式为：
式中，Mopt为最优变换矩阵，M为初始变换矩阵，Si为所述源点云数据中的点云，di为所述目标点云数据中的点云，ni为di处的单位法向矢量。
在本实施例中，大多数物体几何结构较为复杂，投射在高斯球上的法向量并不是均匀分布的，此时所有匹配点赋予相同权重无法计算最优配准结果，同时导致收敛速度减慢，所以结合物体的几何结构信息分配权重，改善配准精度，因此本实施例通过引入权重因子W辅以约束计算最优变换矩阵，如果Si＝(Six,Siy,Siz,1)T是源点云数据上的点云，则di＝(dix,diy,diz,1)T是对应的目标点云数据中的点云，并且ni＝(nix,niy,niz,0)T是di处的单位法向矢量，则每次ICP迭代计算的目的是找到Mopt，根据上式即可获得最优变换矩阵，具有指导意义，其中Mopt即为4×4的3D刚体变换矩阵。
作为一种可选的实施方式，所述构建所述源点云数据与目标点云数据的初始对应关系，包括：
对所述源点云数据中每个点云在所述目标点云数据中查找最近的点，以所述最近的点作为对应点；
通过所述对应点构建所述源点云数据与目标点云数据的初始对应关系。
在本实施例中，该步骤通过查找对应点，即通过对源点云数据中每一个点在目标点云数据中查找对应点，对应点的寻找规则为找到距离查找点最近的点，通过上述对应点即可建立源点云和目标点云的初始对应关系。
作为一种可选的实施方式，所述将所述最优变换矩阵作用于所述源点云数据进行迭代，以将所述源点云数据变换为新的点云数据的步骤之后，还包括以下步骤：
根据判断函数来判断所述迭代是否终止；其中，所述判断函数的表达式为：
式中，d表示代价阈值，n表示点云的数量，Qi表示目标点云数据，Pi表示源点云数据；
判断条件为：若代价阈值d大于预设的阈值τ，则重新查找所述对应点，以继续迭代；若代价阈值d小于预设的阈值τ或者达到预设的迭代次数k，则停止迭代。
在本实施例中，还增加了迭代是否终止的判断步骤，通过该步骤中的判断函数，可准确有效地进行算法收敛的判断，具有指导性，从而提高了收敛速度。
作为一种可选的实施方式，所述根据判断函数来判断所述迭代是否终止的步骤之后，还包括以下步骤：
建立误差分析模型；
基于所述误差分析模型，通过碰撞检测算法寻找所述源点云数据中每一个点云到所述目标点云数据的三角网格中距离最近的三角形图元；
获取所述源点云数据中每一个点云与最近的所述三角形图元的距离；
获取所述距离在所述三角形图元的法线方向上的分量，所述分量为所述源点云数据相对于所述目标点云数据的误差。
在本实施例中，可建立基于AABB Tree的误差分析模型，然后通过碰撞检测算法寻找源点云数据(即待检测点云)中每一个点到目标点云三角网格中距离最近的一个三角形图元，在找到距离待检测点距离最近的三角形图元并求出其到三角形图元距离之后，计算出该距离在三角形图元法线方向上的分量，则为待检测点相对于参考三角网格(目标点云)的误差，从而获得对应点之间的距离偏差，对配准结果进行误差分析，该方法解决了利用传统kdtree方法查找最近点误差较大的问题。
需要说明的是，AABB Tree(即AABB树组件)提供了静态数据结构和算法，以支持对有限的3D对象集执行相交和距离查询，可以查询存储在数据结构中的一组几何对象，以进行相交检测、相交计算和距离计算；碰撞检测算法有很多，直接检测代价很大，一般使用多种算法进行优化首先会对物体生成包围盒，例如AABB包围盒，该盒的面平行于XYZ轴，对包围盒是否碰撞进行检测，如果包围盒碰撞，那么就需要进一步检测，还会对物体生成凸多面体进行包围，当然碰撞检测一般针对的是动态物体和动态物体或者动态物体和静态物体，碰撞检测算法为现有技术，这里不再赘述。
作为一种可选的实施方式，所述构建所述源点云数据与目标点云数据的初始对应关系，以获得初始变换矩阵的步骤与所述根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵的步骤之间，还包括以下步骤：
根据所述初始对应关系，获取多个所述源点云数据与所述目标点云数据之间的对应点对；
剔除错误的所述对应点对。
在本实施例中，为了降低其他杂散点云对配准的精度的影响，还增加了去掉部分错误对应点对的步骤，去除错误对应点对可通过简单的设置阈值等方式实现。
作为一种可选的实施方式，所述对所述源点云数据进行预处理，包括：
建立kd-tree；
基于所述kd-tree，获得所述源点云数据的点距；
去除所述源点云数据中的噪声点；
对去除噪声点后的源点云数据进行降采样。
在本实施例中，为了得到最佳匹配效果，在进行配准之前，对源点云数据进行预处理，主要包含四步：建立kdtree、点距计算、去除噪声和降采样等；其中，Kdtree是一种以二叉树为原型处理高维数据空间的数据结构，广泛应用于范围搜索和最近邻搜索，不管是点云预处理的点距计算等还是后面的ICP配准都会用到kdtree,利用树的深度优先搜索加快处理数据的速度；对于后续的去除离群点和降采样都需要用到搜索半径或距离等相关参数，所以对于原始输入点云的点距进行计算，以方便后续参数的设置；在数据采集的过程中难免会出现噪声，对于很明显的噪声点要予以去除，避免影响后续配准效果；参与配准点云的数量直接影响到点云配准的速度，所以进行降采样合理的缩减点云的数量是提升配准速度的重要方法之一。
综上所述，本申请的方法在提高点云配准精度的同时，也保证了配准速度，而且适用于所有的几何模型，对于几何结构较为复杂的结合结构模型优势更为明显，同时采用基于AABB TREE的误差分析模型取代传统的kdtree方法查找最近点方法计算配准误差，结果更加准确。对图像处理和三维重建的发展有良好的推动作用，特别是在飞机装配领域进行高精度装配和提高飞机装配效率起到了较大的积极作用。
实施例2
本实施例为验证本实施例1的方法在配准精度和速度两个方面的优势，与基于DNSS的ICP配准方法和点到平面的ICP方法利用三维点云模型进行仿真实验，并将配准结果进行比较，兔子的点云数量在35900左右，几何结构较为复杂。
图3是兔子点云数据的法向量在高斯球上的分布图，可以看出兔子点云数据的法向量相对分散。下面分别采用基于DNSS的点到平面ICP方法、点到平面的ICP方法以及本申请的方法进行点云配准，配准结果如图4所示，从左到右依次为兔子点云配准之前的图像、使用基于DNSS的ICP方法进行配准后的结果、使用点到平面的ICP方法进行配准后的结果以及使用实施例1的方法进行配准后的结果。从图4可以看到三种方法进行点云配准的效果都比较不错，为了进一步比较三种方法的配准配准效果，将配准后的源点云和目标点云沿着XZ平面在位置度为-0.1064获取截面曲线，理想配准的结果应该是目标点云与源点云的曲线完全重合形成一条光滑的曲线，相反，如果两条曲线的点对之间相差越大，配准效果越不理想，依次获得对应的截面曲线如图5-图7所示，并结合下表1，可以看到点到平面ICP方法虽然速度较快，但是截面曲线吻合度最低，基于DNSS的点到平面ICP方法虽然配准误差最小，但是它在提取关键点时耗费了大量的时间，所以速度较慢，而实施例1的方法则综合了前两者的优势，配准误差小，配准速度快。
表1
实施例1的方法的实施方案为：为了得到最佳匹配效果，在进行配准之前，对点云数据进行预处理，提高输入点云数据的质量，利用基于法向量权重改进的迭代最近点(ICP)方法通过将点云的法向量投射到高斯球上，统计不同方向法向量的分布情况，结合物体的几何结构信息赋予相应的权重，利用法向量权重结合点到平面的误差度量方法计算最优刚体变换矩阵，完成精配准，提高配准精度，优化配准效果，最后采用基于AABB TREE的误差分析模型在点云配准的基础上进行碰撞检测寻求最近点，获得对应点之间的距离偏差，对配准结果进行误差分析。
图8为球面点云数据法向量在高斯球上的分布，可以看到由于球面点云数据几何结构比较单一，所以它的法向量分布比较集中。由于基于DNSS的点到平面ICP方法需要点云具有足够复杂的几何特征以供关键点的提取，对于球面这种简单几何结构的点云数据无法提取关键点，所以分别采用点到平面的ICP方法以及实施例1的方法进行点云配准，配准结果如图9所示。
从图9中可以看出，对于球面点云配准，点到平面的ICP方法和实施例1的方法都能够进行配准，为了更好的比较两者方法的优劣，对于配准后的源点云和目标点云在YZ平面位置度为50.2230获取截面曲线，结果如图10所示，图中左侧曲线为点到平面ICP方法的截面曲线，图中右侧曲线为实施例1的方法的截面曲线，结合下表2分析，实施例1的方法在配准球面点云数据时，配准精度比点到平面的ICP方法显著提高，不管几何结构简单或是复杂，目标点云和源点云重叠度高或是低，实施例1的方法在配准速度要优于基于DNSS的点到平面ICP配准方法，与改进前的点到平面的ICP配准方法相比配准精度大大提高，而且实施例1的方法适用于所有的点云数据，对于几何结构相对简单，法向量分布不均匀的点云数据配准效果更显著。
表2
实施例3
基于与前述实施例相同的发明思路，本实施例还提供一种点云数据处理装置，包括：
点云提取模块，用于获取目标图像，根据所述目标图像的结构特征，获得源点云数据；
预处理模块，对所述源点云数据进行预处理；
权重获取模块，用于将所述源点云数据中每个点云的法向量投射到预设的高斯球上，根据不同方向法向量的分布情况，以获得法向量权重；
初始矩阵获取模块，用于构建所述源点云数据与目标点云数据的初始对应关系，以获得初始变换矩阵；
最优矩阵获取模块，用于根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵；
迭代模块，用于将所述最优变换矩阵作用于所述源点云数据进行迭代，以将所述源点云数据变换为新的点云数据。
本实施例的装置中各模块的相关解释和举例可参照前述实施例的方法，这里不再赘述。
实施例4
基于与前述实施例相同的发明思路，本实施例提供一种计算机设备，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现上述的方法。
实施例5
基于与前述实施例相同的发明思路，本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现上述的方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种点云数据处理方法，其特征在于，包括以下步骤：
获取目标图像，根据所述目标图像的结构特征，获得源点云数据；
对所述源点云数据进行预处理；
将所述源点云数据中每个点云的法向量投射到预设的高斯球上，根据不同方向法向量的分布情况，以获得法向量权重；
构建所述源点云数据与目标点云数据的初始对应关系，以获得初始变换矩阵；
根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵；
将所述最优变换矩阵作用于所述源点云数据进行迭代，以将所述源点云数据变换为新的点云数据。
2.如权利要求1所述的一种点云数据处理方法，其特征在于，所述根据不同方向法向量的分布情况，以获得法向量权重，包括：
采用kd-tree算法进行k近邻搜索，对搜索的k个近邻点进行平面拟合，以获得法向量；
获取所述法向量相同方向上的点云数量n，以获得每个点云的法向量权重W，W＝1/n。
3.如权利要求2所述的一种点云数据处理方法，其特征在于，所述根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵，包括：
将所述法向量权重W引入目标函数，使所述目标函数的值最小，以获得最优变换矩阵；其中，所述目标函数的表达式为：
式中，Mopt为最优变换矩阵，M为初始变换矩阵，Si为所述源点云数据中的点云，di为所述目标点云数据中的点云，ni为di处的单位法向矢量。
4.如权利要求2或3所述的一种点云数据处理方法，其特征在于，所述构建所述源点云数据与目标点云数据的初始对应关系，包括：
对所述源点云数据中每个点云在所述目标点云数据中查找最近的点，以所述最近的点作为对应点；
通过所述对应点构建所述源点云数据与目标点云数据的初始对应关系。
5.如权利要求4所述的一种点云数据处理方法，其特征在于，所述将所述最优变换矩阵作用于所述源点云数据进行迭代，以将所述源点云数据变换为新的点云数据的步骤之后，还包括以下步骤：
根据判断函数来判断所述迭代是否终止；其中，所述判断函数的表达式为：
式中，d表示代价阈值，n表示点云的数量，Qi表示目标点云数据，Pi表示源点云数据；
判断条件为：若代价阈值d大于预设的阈值τ，则重新查找所述对应点，以继续迭代；若代价阈值d小于预设的阈值τ或者达到预设的迭代次数k，则停止迭代。
6.如权利要求5所述的一种点云数据处理方法，其特征在于，所述根据判断函数来判断所述迭代是否终止的步骤之后，还包括以下步骤：
建立误差分析模型；
基于所述误差分析模型，通过碰撞检测算法寻找所述源点云数据中每一个点云到所述目标点云数据的三角网格中距离最近的三角形图元；
获取所述源点云数据中每一个点云与最近的所述三角形图元的距离；
获取所述距离在所述三角形图元的法线方向上的分量，所述分量为所述源点云数据相对于所述目标点云数据的误差。
7.如权利要求1所述的一种点云数据处理方法，其特征在于，所述构建所述源点云数据与目标点云数据的初始对应关系，以获得初始变换矩阵的步骤与所述根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵的步骤之间，还包括以下步骤：
根据所述初始对应关系，获取多个所述源点云数据与所述目标点云数据之间的对应点对；
剔除错误的所述对应点对。
8.如权利要求1所述的一种点云数据处理方法，其特征在于，所述对所述源点云数据进行预处理，包括：
建立kd-tree；
基于所述kd-tree，获得所述源点云数据的点距；
去除所述源点云数据中的噪声点；
对去除噪声点后的源点云数据进行降采样。
9.一种点云数据处理装置，其特征在于，包括：
点云提取模块，用于获取目标图像，根据所述目标图像的结构特征，获得源点云数据；
预处理模块，对所述源点云数据进行预处理；
权重获取模块，用于将所述源点云数据中每个点云的法向量投射到预设的高斯球上，根据不同方向法向量的分布情况，以获得法向量权重；
初始矩阵获取模块，用于构建所述源点云数据与目标点云数据的初始对应关系，以获得初始变换矩阵；
最优矩阵获取模块，用于根据所述法向量权重和所述初始变换矩阵，获得最优变换矩阵；
迭代模块，用于将所述最优变换矩阵作用于所述源点云数据进行迭代，以将所述源点云数据变换为新的点云数据。
10.一种计算机设备，其特征在于，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如权利要求1-7中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311170730.1A CN117372483A (zh) | 2023-09-12 | 2023-09-12 | 一种点云数据处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311170730.1A CN117372483A (zh) | 2023-09-12 | 2023-09-12 | 一种点云数据处理方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117372483A true CN117372483A (zh) | 2024-01-09 |
Family
ID=89404883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311170730.1A Pending CN117372483A (zh) | 2023-09-12 | 2023-09-12 | 一种点云数据处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372483A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689698A (zh) * | 2024-02-04 | 2024-03-12 | 安徽蔚来智驾科技有限公司 | 点云配准方法、智能设备及存储介质 |
-
2023
- 2023-09-12 CN CN202311170730.1A patent/CN117372483A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689698A (zh) * | 2024-02-04 | 2024-03-12 | 安徽蔚来智驾科技有限公司 | 点云配准方法、智能设备及存储介质 |
| CN117689698B (zh) * | 2024-02-04 | 2024-04-19 | 安徽蔚来智驾科技有限公司 | 点云配准方法、智能设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yuan et al. | 3D point cloud matching based on principal component analysis and iterative closest point algorithm | |
| CN117372483A (zh) | 一种点云数据处理方法、装置、设备及介质 | |
| Zhou et al. | A bayesian mixture model for multi-view face alignment | |
| CN114677418B (zh) | 一种基于点云特征点提取的配准方法 | |
| CN112837354B (zh) | 一种基于gpu的ndt点云配准算法、装置及电子设备 | |
| CN111415379A (zh) | 一种基于布谷鸟优化的三维点云数据配准方法 | |
| CN114612665B (zh) | 基于法向量直方图特征的位姿估计及动态车辆检测方法 | |
| CN112200915B (zh) | 一种基于靶标三维模型纹理影像的前后形变量检测方法 | |
| CN113706381A (zh) | 一种三维点云数据的拼接方法及装置 | |
| CN116758126A (zh) | 一种基于相似三角形的误匹配剔除的快速点云配准方法 | |
| Wei et al. | Optimization of 3-D pose measurement method based on binocular vision | |
| CN112132180A (zh) | 一种基于改进鲸鱼算法优化的模糊c核均值聚类分割方法 | |
| Chen et al. | Deep learning feature representation for image matching under large viewpoint and viewing direction change | |
| CN113759928B (zh) | 用于复杂大尺度室内场景的移动机器人高精度定位方法 | |
| Anderson et al. | Delaunay walk for fast nearest neighbor: accelerating correspondence matching for ICP | |
| CN115661218B (zh) | 一种基于虚拟超点的激光点云配准方法和系统 | |
| CN116503452A (zh) | 一种基于sift特征提取的点云配准方法 | |
| Li-Juan et al. | A new method for pose estimation from line correspondences | |
| Tanaka et al. | Learning to bundle-adjust: A graph network approach to faster optimization of bundle adjustment for vehicular slam | |
| CN115578417A (zh) | 一种基于特征点深度的单目视觉惯性里程计方法 | |
| CN112150546B (zh) | 一种基于辅助点几何约束的单目视觉位姿估计方法 | |
| CN112446952B (zh) | 三维点云法向量的生成方法、装置、电子设备及存储介质 | |
| Zhao et al. | The Z-axis, X-axis, Weight and Disambiguation Methods for Constructing Local Reference Frame in 3D Registration: An Evaluation | |
| Yu et al. | SCP-SLAM: accelerating DynaSLAM with static confidence propagation | |
| CN111210507B (zh) | 一种面向多视图三维重建的初始视图选取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |