CN114332191A - 三维点云误差补偿方法及装置 - Google Patents

Abstract

本发明提供一种三维点云误差补偿方法及装置，该三维点云误差补偿方法包括：获取至少三个目标姿态标定板点云图像，所述至少三个目标姿态标定板点云图像为对目标标定板在不同姿态下拍摄到的；基于所述至少三个目标姿态标定板点云图像，确定点云补偿系数；获取待校正点云图像；基于所述点云补偿系数和所述待校正点云图像，确定校正后点云图像。本发明提供的三维点云误差补偿方法及装置，通过根据至少三个目标姿态标定板点云图像，确定点云补偿系数，利用点云补偿系数对待校正点云图像进行补偿，得到校正后点云图像，这样能够对立体相机拍摄得到的三维点云进行补偿，能够提高三维图像和真实场景的一致性，能够使得提取到的数据更加准确真实。

Description

三维点云误差补偿方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种三维点云误差补偿方法及装置。

背景技术

随着智能制造和交互技术的蓬勃发展，三维相机成为其中不可或缺的基础硬件设备和数据处理核心技术，在工业制造、生物医学、移动支付以及军事导航等领域都有着广阔的应用前景。三维相机能够获取目标场景的三维点云坐标信息，相较于常规的二维相机多了一个深度估计参数，三维图像与二维图像相比，多了一个深度的纬度，可以为后端开发提供额外的数据处理自由度，具有重要的应用价值。

基于结构光的立体相机具有较高的测量精度，已逐渐成为工业制造中的常规传感器设备，用于引导机械臂、检测工件或者切割焊接等工业场合。然而由于工业施工现场环境的复杂性，立体相机可能使用一段时间后会出现点云误差增大的情况。即使立体相机的防护等级较高，但其由于一般基于三角测量理论，也存在固有的深度方向的测量误差，且随着深度的增加而变大，这种误差会导致三维图像失真，提取到的数据不够准确。

发明内容

本发明提供一种三维点云误差补偿方法及装置，用以解决现有技术中随着深度的增加而变大，这种误差会导致三维图像失真，提取到的数据不够准确的缺陷，实现提高三维图像和真实场景的一致性，能够使得提取到的数据更加准确真实。

本发明提供一种三维点云误差补偿方法，该三维点云误差补偿方法包括：获取至少三个目标姿态标定板点云图像，所述至少三个目标姿态标定板点云图像为对目标标定板在不同姿态下拍摄到的；基于所述至少三个目标姿态标定板点云图像，确定点云补偿系数；获取待校正点云图像；基于所述点云补偿系数和所述待校正点云图像，确定校正后点云图像。

根据本发明提供的一种三维点云误差补偿方法，所述基于所述至少三个目标姿态标定板点云图像，确定点云补偿系数，包括：基于所述至少三个目标姿态标定板点云图像，确定至少三组目标特征点集；基于所述至少三组目标特征点集，确定所述点云补偿系数。

根据本发明提供的一种三维点云误差补偿方法，所述基于所述至少三组目标特征点集，确定所述点云补偿系数，包括：获取每组目标特征点集对应的目标标定板上的特征点真实距离；基于所述至少三组目标特征点集以及对应的所述特征点真实距离，确定所述点云补偿系数。

根据本发明提供的一种三维点云误差补偿方法，所述点云补偿系数包括三个坐标轴对应的坐标补偿因子；

所述基于所述至少三组目标特征点集以及对应的所述特征点真实距离，确定所述点云补偿系数，包括：基于所述目标特征点集中的目标特征点的三维坐标，确定多个所述目标点之间的特征点测量距离；基于至少三组所述目标特征点集对应的所述特征点测量距离与所述特征点真实距离，确定所述三个坐标轴对应的坐标补偿因子。

根据本发明提供的一种三维点云误差补偿方法，在所述基于所述至少三组目标特征点集，确定所述点云补偿系数，之前，还包括：去除所述至少三组目标特征点集中偏差值大于偏差阈值的目标特征点，得到至少三组降噪特征点集；基于所述至少三组降噪特征点集，确定所述点云补偿系数。

根据本发明提供的一种三维点云误差补偿方法，所述基于所述点云补偿系数和所述待校正点云图像，确定校正后点云图像，包括：基于所述待校正点云图像，确定多个待校正点云坐标；基于所述点云补偿系数，对所述多个待校正点云坐标进行补偿，得到多个校正后点云坐标；基于所述多个校正后点云坐标，确定所述校正后点云图像。

本发明还提供一种三维点云误差补偿装置，该三维点云误差补偿装置包括：第一获取模块，用于获取至少三个目标姿态标定板点云图像，所述至少三个目标姿态标定板点云图像为对目标标定板在不同姿态下拍摄到的；第一确定模块，用于基于所述至少三个目标姿态标定板点云图像，确定点云补偿系数；第二获取模块，用于获取待校正点云图像；第二确定模块，用于基于所述点云补偿系数和所述待校正点云图像，确定校正后点云图像。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维点云误差补偿方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维点云误差补偿方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述三维点云误差补偿方法的步骤。

本发明提供的三维点云误差补偿方法及装置，通过根据至少三个目标姿态标定板点云图像，确定点云补偿系数，利用点云补偿系数对待校正点云图像进行补偿，得到校正后点云图像，这样能够对立体相机拍摄得到的三维点云进行补偿，能够提高三维图像和真实场景的一致性，能够使得提取到的数据更加准确真实。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的三维点云误差补偿方法的流程示意图；

图2是本发明提供的三维点云误差补偿方法的原理示意图；

图3是本发明提供的三维点云误差补偿装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图4描述本发明的三维点云误差补偿方法及装置。

如图1所示，本发明提供一种三维点云误差补偿方法，该三维点云误差补偿方法包括如下步骤110至步骤140。

步骤110、获取至少三个目标姿态标定板点云图像，至少三个目标姿态标定板点云图像为对目标标定板在不同姿态下拍摄到的。

可以理解的是，该三维点云误差补偿方法可以应用于立体相机，立体相机可以具有处理器，处理器能够执行该三维点云误差补偿方法，在对立体相机进行三维点云误差补偿之时，可以将目标标定板放置在立体相机的拍摄范围，此处可以将立体相机的镜头朝向目标标定板，目标标定板可以为棋盘格形式的标定板，也可以使用圆点、标准球或者其他类型的标定板，可以拍摄到至少三个目标姿态标定板点云图像，目标姿态标定板点云图像可以为三个、四个或者多个，此处不具体限定目标姿态标定板点云图像的拍摄数量，目标姿态标定板点云图像可以包括3D点云和2D场景图数据，至少三个目标姿态标定板点云图像所对应的目标标定板的摆放姿态各不相同，可以使用同一个目标标定板，通过挪动目标标定板的位置，来实现对不同摆放姿态的目标标定板的拍摄过程，目标姿态标定板点云图像也可以是对三个不同姿态的目标标定板进行拍摄得到的。

如图2所示，S1、S2和S3分别为置于立体相机C₀视野内的3个不同姿态的目标标定板，立体相机分别采集对应的目标姿态标定板点云图像。

步骤120、基于至少三个目标姿态标定板点云图像，确定点云补偿系数。

可以理解的是，可以根据至少三个目标姿态标定板点云图像，来求出点云补偿系数，比如，可以利用函数求出三个目标姿态标定板点云图像的彼此之间的偏差值，根据偏差值来得到点云补偿系数。

当然，可以已知目标标定板的形状尺寸，对于目标标定板上的多个目标特征点之间的真实距离可以是已知的，那么，可以根据目标姿态标定板点云图像中提取出多个目标特征点之间的测量距离，将多个目标特征点之间的测量距离与对应的多个目标特征点之间的真实距离进行比较，求出点云补偿系数，点云补偿系数用于对立体相机后续拍摄到的待校正点云图像进行误差补偿。

步骤130、获取待校正点云图像。

可以理解的是，可以通过立体相机拍摄到真实场景下的待校正点云图像，待校正点云图像是立体相机在使用阶段所获取到的真实物体的图像，待校正点云图像可能存在误差，需要对待校正点云图像进行误差补偿。

步骤140、基于点云补偿系数和待校正点云图像，确定校正后点云图像。

可以理解的是，在上述步骤中得到了点云补偿系数和待校正点云图像的基础上，可以利用点云补偿系数对待校正点云图像进行校正，比如可以将待校正点云图像中的目标特征点的坐标进行补偿，可以在目标特征点的坐标基础上，进行百分比膨胀缩放，还可以将点云补偿系数与待校正点云图像相乘，还可以采用神经网络模型的方式进行计算，具体的计算方法此处不进行限定，本领域技术人员可以根据点云补偿系数的具体形式来确定基于点云补偿系数和待校正点云图像得到校正后点云图像的具体方法。

值得一提的是，本发明这种三维点云误差补偿方法，可以基于点云膨胀收缩的误差形式建立误差补偿模型；通过相机视野内的标定板采样信息提取特征点对，并以标定板尺度为理论值构建关于补偿因子的方程组，以最小化尺度误差为目标优化求解方程组，得到补偿因子；在实际测量时，利用所提误差模型求取的补偿因子对拍摄的三维点云数据进行误差补偿，得到校正后的点云坐标。基于实际点云膨胀收缩的误差模型求解补偿参数，可有效解决立体相机使用过程中点云误差变大的问题；补偿过程方便快捷，易于工程项目现场使用；无需高精度滑轨，可与各种基于点云的后处理算法进行融合实施。

本发明提供的三维点云误差补偿方法，通过根据至少三个目标姿态标定板点云图像，确定点云补偿系数，利用点云补偿系数对待校正点云图像进行补偿，得到校正后点云图像，这样能够对立体相机拍摄得到的三维点云进行补偿，能够提高三维图像和真实场景的一致性，能够使得提取到的数据更加准确真实。

在一些实施例中，上述步骤120、基于至少三个目标姿态标定板点云图像，确定点云补偿系数，包括：基于至少三个目标姿态标定板点云图像，确定至少三组目标特征点集；基于至少三组目标特征点集，确定点云补偿系数。

可以理解的是，可以从目标姿态标定板点云图像中提取目标特征点集，目标特征点集可以包括标定板上不同位置的特征点，比如角点或者圆中心点，不同位置的特征点可以依据标定板的规格来组成目标特征点集，目标特征点集中可以至少包括两个目标特征点。

可以根据至少三组目标特征点集，来计算得到点云补偿系数，也就是将目标姿态标定板点云图像以特征点的形式来求出误差，并计算出使得误差值无限小所对应的点云补偿系数。

在一些实施例中，基于至少三个目标姿态标定板点云图像，确定点云补偿系数，还可以利用函数求出三个目标姿态标定板点云图像的彼此之间的偏差值，比如可以直接对图像的分辨率、大小和颜色等物理参数进行作差，得到偏差值，根据偏差值来得到点云补偿系数。

当然，可以已知目标标定板的形状尺寸，对于目标标定板上的多个目标特征点之间的真实距离可以是已知的，那么，可以根据目标姿态标定板点云图像中提取出多个目标特征点之间的测量距离，将多个目标特征点之间的测量距离与对应的多个目标特征点之间的真实距离进行比较，求出点云补偿系数。

在一些实施例中，基于至少三组目标特征点集，确定点云补偿系数，包括：获取每组目标特征点集对应的目标标定板上的特征点真实距离；基于至少三组目标特征点集以及对应的特征点真实距离，确定点云补偿系数。

可以理解的是，立体相机的点云误差通常表现为以视点为中心的膨胀收缩形式，从而导致点云测量的绝对尺度偏差增大，且有累积效应，测点间距越大误差也越大，误差就表现为测量距离和真实距离之间的差距，而目标特征点集就能够反映出这种测量距离，可以根据至少三组目标特征点集来计算出这种测量距离，再将测量距离和真实距离进行结合，得到点云补偿系数。

在一些实施例中，点云补偿系数包括三个坐标轴对应的坐标补偿因子。

基于至少三组目标特征点集以及对应的特征点真实距离，确定点云补偿系数，包括：基于目标特征点集中的目标特征点的三维坐标，确定多个目标点之间的特征点测量距离；基于至少三组目标特征点集对应的特征点测量距离与特征点真实距离，确定三个坐标轴对应的坐标补偿因子。

可以理解的是，可以构建三维坐标系，三维坐标系中可以有x、y和z三个坐标轴，对应的点云补偿系数包括三个坐标轴对应的坐标补偿因子k_x、k_y和k_z。

分别设校正前后的目标特征点的坐标为P(x,y,z)和P′(x′,y′,z′)，以一阶膨胀缩放百分比为例，则二者满足下式：

对于目标标定板上的两个测量点M₁和N₁，若其真实间距为L₁，那么误差值E₁可由下式进行表达：

当点云误差表现为膨胀时，E₁>0；当点云误差表现为收缩时，E₁<0。误差补偿的最终目的即为最小化E，使其接近为0，即：

这里存在三个未知数k_x、k_y和k_z，理论上采集3对测量点，构建3个方程组即可求解得到坐标补偿因子。但由于公式中存在开方和平方的高次项，且考虑到噪点等因素，一般需要采集多组测量点对，构成冗余方程组，并基于线性方程组的最小二乘SVD方法求解坐标补偿因子k_x、k_y和k_z。

由于存在高次项，不满足线性条件，故需对误差表达式进行调整，当误差E＝0时，测量点间距等于实际的点距。设有t个采样点对，则存在下式：

将坐标补偿因子带入，得到下式：

整理化简后得到：

令(1+k_x)²＝u_x、(1+k_y)²＝u_y以及(1+k_z)²＝u_z，带入至方程组得到：

可进一步将其改写为矩阵形式，如下所示：

此时根据实际场景中采集的t组目标标定板的目标特征点集[M_t,N_t]，以及真实距离L_t，即可构建上述包含坐标补偿因子的线性方程组。其线性方程组具有Ax＝b形式，一般采集目标特征点集的数量至少在3组以上，故矩阵A的秩大于方程组未知数的个数3，可使用SVD分解得到该线性方程组的最小二乘解u_x、u_y和u_z，进一步地求出坐标补偿因子为：

注意，这里当求得的坐标补偿因子大于0时，表明当前点云误差为收缩形式；反之小于0时，表明点云误差为膨胀形式。

在一些实施例中，基于点云补偿系数和待校正点云图像，确定校正后点云图像，包括：基于待校正点云图像，确定多个待校正点云坐标；基于点云补偿系数，对多个待校正点云坐标进行补偿，得到多个校正后点云坐标；基于多个校正后点云坐标，确定校正后点云图像。

可以理解的是，将求得的坐标补偿因子k_x、k_y和k_z代入待校正点云图像对应的待校正点云坐标，即可得到校正后点云坐标P′(x′,y′,z′)，从而减小实际误差，保持点云精度。

以上改进的最小二乘求解仅是一种误差方程组的优化求解方式。

也可以考虑引入随机抽样一致性(RANSAC)思想进一步优化求解过程，提升算法的抗噪能力。

以上仅为采用一阶函数的方式构造补偿因子，更进一步地也可以扩展至多阶函数构造补偿参数，进而得到更优良的校正效果。

同时也可以采用多元非线性回归或者设计神经网络等拟合求解算法，得到补偿因子。

在一些实施例中，在基于至少三组目标特征点集，确定点云补偿系数之前，还包括：去除至少三组目标特征点集中偏差值大于偏差阈值的目标特征点，得到至少三组降噪特征点集；基于至少三组降噪特征点集，确定点云补偿系数。

可以理解的是，在上文论述的基础上，由于实际测量时提取的测量点对有可能为偏差过大的噪点，故可进一步将线性方程组筛选一下，排除一些偏差过大的噪点对，从而优化补偿因子的求解。

下面对本发明提供的三维点云误差补偿装置进行描述，下文描述的三维点云误差补偿装置与上文描述的三维点云误差补偿方法可相互对应参照。

如图3所示，本发明还提供一种三维点云误差补偿装置，该三维点云误差补偿装置包括：第一获取模块310、第一确定模块320、第二获取模块330和第二确定模块340。

第一获取模块310，用于获取至少三个目标姿态标定板点云图像，至少三个目标姿态标定板点云图像为对目标标定板在不同姿态下拍摄到的。

第一确定模块320，用于基于至少三个目标姿态标定板点云图像，确定点云补偿系数。

第二获取模块330，用于获取待校正点云图像。

第二确定模块340，用于基于点云补偿系数和待校正点云图像，确定校正后点云图像。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行三维点云误差补偿方法，该方法包括：获取至少三个目标姿态标定板点云图像，至少三个目标姿态标定板点云图像为对目标标定板在不同姿态下拍摄到的；基于至少三个目标姿态标定板点云图像，确定点云补偿系数；获取待校正点云图像；基于点云补偿系数和待校正点云图像，确定校正后点云图像。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的三维点云误差补偿方法，该方法包括：获取至少三个目标姿态标定板点云图像，至少三个目标姿态标定板点云图像为对目标标定板在不同姿态下拍摄到的；基于至少三个目标姿态标定板点云图像，确定点云补偿系数；获取待校正点云图像；基于点云补偿系数和待校正点云图像，确定校正后点云图像。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的三维点云误差补偿方法，该方法包括：获取至少三个目标姿态标定板点云图像，至少三个目标姿态标定板点云图像为对目标标定板在不同姿态下拍摄到的；基于至少三个目标姿态标定板点云图像，确定点云补偿系数；获取待校正点云图像；基于点云补偿系数和待校正点云图像，确定校正后点云图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维点云误差补偿方法，其特征在于，包括：

获取至少三个目标姿态标定板点云图像，所述至少三个目标姿态标定板点云图像为对目标标定板在不同姿态下拍摄到的；

基于所述至少三个目标姿态标定板点云图像，确定点云补偿系数；

获取待校正点云图像；

基于所述点云补偿系数和所述待校正点云图像，确定校正后点云图像。

2.根据权利要求1所述的三维点云误差补偿方法，其特征在于，所述基于所述至少三个目标姿态标定板点云图像，确定点云补偿系数，包括：

基于所述至少三个目标姿态标定板点云图像，确定至少三组目标特征点集；

基于所述至少三组目标特征点集，确定所述点云补偿系数。

3.根据权利要求2所述的三维点云误差补偿方法，其特征在于，所述基于所述至少三组目标特征点集，确定所述点云补偿系数，包括：

获取每组目标特征点集对应的目标标定板上的特征点真实距离；

基于所述至少三组目标特征点集以及对应的所述特征点真实距离，确定所述点云补偿系数。

4.根据权利要求3所述的三维点云误差补偿方法，其特征在于，所述点云补偿系数包括三个坐标轴对应的坐标补偿因子；

所述基于所述至少三组目标特征点集以及对应的所述特征点真实距离，确定所述点云补偿系数，包括：

基于所述目标特征点集中的目标特征点的三维坐标，确定多个所述目标点之间的特征点测量距离；

基于至少三组所述目标特征点集对应的所述特征点测量距离与所述特征点真实距离，确定所述三个坐标轴对应的坐标补偿因子。

5.根据权利要求2所述的三维点云误差补偿方法，其特征在于，在所述基于所述至少三组目标特征点集，确定所述点云补偿系数，之前，还包括：

去除所述至少三组目标特征点集中偏差值大于偏差阈值的目标特征点，得到至少三组降噪特征点集；

基于所述至少三组降噪特征点集，确定所述点云补偿系数。

6.根据权利要求1至5中任一项所述的三维点云误差补偿方法，其特征在于，所述基于所述点云补偿系数和所述待校正点云图像，确定校正后点云图像，包括：

基于所述待校正点云图像，确定多个待校正点云坐标；

基于所述点云补偿系数，对所述多个待校正点云坐标进行补偿，得到多个校正后点云坐标；

基于所述多个校正后点云坐标，确定所述校正后点云图像。

7.一种三维点云误差补偿装置，其特征在于，包括：

第一获取模块，用于获取至少三个目标姿态标定板点云图像，所述至少三个目标姿态标定板点云图像为对目标标定板在不同姿态下拍摄到的；

第一确定模块，用于基于所述至少三个目标姿态标定板点云图像，确定点云补偿系数；

第二获取模块，用于获取待校正点云图像；

第二确定模块，用于基于所述点云补偿系数和所述待校正点云图像，确定校正后点云图像。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述三维点云误差补偿方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维点云误差补偿方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维点云误差补偿方法的步骤。

Images