CN109509226A - 三维点云数据配准方法、装置、设备及可读存储介质 - Google Patents

三维点云数据配准方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109509226A
CN109509226A CN201811425692.9A CN201811425692A CN109509226A CN 109509226 A CN109509226 A CN 109509226A CN 201811425692 A CN201811425692 A CN 201811425692A CN 109509226 A CN109509226 A CN 109509226A
Authority
CN
China
Prior art keywords
point cloud
cloud data
camera
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811425692.9A
Other languages
English (en)
Other versions
CN109509226B (zh
Inventor
李晋芳
李明
蔡小娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201811425692.9A priority Critical patent/CN109509226B/zh
Publication of CN109509226A publication Critical patent/CN109509226A/zh
Application granted granted Critical
Publication of CN109509226B publication Critical patent/CN109509226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种三维点云数据配准方法、装置、设备及计算机可读存储介质。其中，方法包括利用RGB‑D相机从多个角度采集同时包含待测物体和人工标识图的多张图像和各自对应的点云数据，多帧点云数据可拼接为待测物体全貌；根据RGB‑D相机的内参矩阵和畸变系数，及各图像中人工标识图的预设特征点的像素坐标值，计算得到每张图像对应相机的旋转矩阵和平移矩阵；对各点云数据与相应旋转矩阵和平移矩阵进行运算，得到同一坐标系下的点云数据，完成点云数据的配准。本申请不仅对不同图像帧之间的点云数据集无要求，还提升了三维点云数据的配准效率，降低了三维点云数据的配准误差。

Description

三维点云数据配准方法、装置、设备及可读存储介质
技术领域
本发明实施例涉及数字化设计与制造技术领域，特别是涉及一种三维点云数据配准方法、装置、设备及计算机可读存储介质。
背景技术
三维点云数据被广泛应用于各个领域中，如工业零部件的生产、产品质量控制、生物医学、文物、建筑保护等。在三维重建数据的获取过程中，由于数据采集装置一次采集的范围有限，需要分别从多个角度采集数据或者多个设备同时从不同角度进行数据采集才能取得三维物体表面的完整信息。由于这些数据不是同一设备在同一时间采集的数据，在后续处理时需要通过3D点云数据配准技术，来将多个点云配准到同一个坐标系下，以此获得物体表面完整的信息，形成能完整描述物体的三维点云模型。
传统的数据采集设备为三维激光扫描仪，获取三维激光扫描仪采集的点云数据后，使用最近邻点迭代算法(ICP)进行点云配准。ICP算法本质为基于最小二乘的最优匹配算法，重复寻找对应点和最优刚体变换，直到满足某个收敛准则，迭代终止。
但是，ICP算法要求一个数据点集必须是另一个点集的子集，然而在实际数据扫描过程中，点云数据彼此之间只是部分重叠，一个点集完全覆盖另一个点集是很难做到的；此外，ICP算法迭代第一步要求确定初始位姿，初始位姿对最后的配准精度有很大的影响，如果初始位姿与真实情况相差大，ICP算法的解很可能陷入局部最优，因此对初始位姿的误差有一定要求；最后，ICP算法中使用一个点集的所有点进行点对搜索，寻找同名点对耗时长、效率低，甚至还会引进错误的点对。
鉴于此，如何解决相关技术中存在的各种弊端，是本领域技术人员亟待解决的问题。
发明内容
本公开实施例提供了一种三维点云数据配准方法、装置、设备及计算机可读存储介质，不仅对不同图像帧之间的点云数据集无要求，还提升了三维点云数据的配准效率，降低了三维点云数据的配准误差。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种三维点云数据配准方法，包括：
获取RGB-D相机采集的同时包含待测物体和人工标识图的多张图像和各自相对应的点云数据，所述待测物体的全貌由多帧点云数据拼接而成；所述人工标识图设置在所述待测物体周边；
根据所述RGB-D相机的内参矩阵和畸变系数，及各图像中人工标识图的预设特征点的像素坐标值，计算得到所述RGB-D相机的位姿矩阵；所述位姿矩阵由每张图像对应相机的旋转矩阵和平移矩阵构成；
对各点云数据与所述位姿矩阵进行运算，得到同一坐标系下的点云数据，以完成点云数据的配准。
可选的，所述根据所述RGB-D相机的内参矩阵和畸变系数，及各图像中人工标识图的预设特征点的像素坐标值，计算得到所述RGB-D相机的位姿矩阵包括：
调用Opencv开源程序库中的cvSetMouseCallback方法动态显示各图像特征点的像素坐标值；
输入所述内参矩阵和所述畸变系数，根据各图像中所述人工标识图的预设特征点的像素坐标值，利用PNP算法解算各图像的旋转矩阵和平移矩阵。
可选的，所述根据各图像中所述人工标识图的预设特征点的像素坐标值，利用PNP算法解算各图像的旋转矩阵和平移矩阵为：
对每一张图像，所述人工标识图的4个特征点的像素坐标为(x'0，y'0)、(x′1，y′1)、(x'2，y'2)、(x′3，y′3)，各特征点对应的世界坐标(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)；
利用PNP算法计算每张图像在世界坐标系下的旋转矩阵和平移矩阵，作为所述RGB-D相机的位姿矩阵。
可选的，所述对各点云数据与所述位姿矩阵进行运算，得到同一坐标系下的点云数据包括：
对每组点云数据，根据下述公式进行反求，以将相机坐标系中的各点云数据转化为世界坐标系下的点云数据：
式中，相机坐标系的坐标点为(xc，yc，zc)，世界坐标系下的坐标点为(xw，yw，zw)，R为当前点云数据的旋转矩阵，T为当前点云数据的平移矩阵。
可选的，根据所述RGB-D相机的内参矩阵和畸变系数为：
预先利用张正友标定方法计算RGB-D相机的内参矩阵和畸变系数。
本发明实施例另一方面提供了一种三维点云数据配准装置，包括：
信息获取模块，用于获取RGB-D相机采集的同时包含待测物体和人工标识图的多张图像和各自相对应的点云数据，所述待测物体的全貌由多帧点云数据拼接而成；所述人工标识图设置在所述待测物体周边；
位姿矩阵计算模块，用于根据所述RGB-D相机的内参矩阵和畸变系数，及各图像中人工标识图的预设特征点的像素坐标值，计算得到所述RGB-D相机的位姿矩阵；所述位姿矩阵由每张图像对应相机的旋转矩阵和平移矩阵构成；
点云数据配准模块，用于对各点云数据与所述位姿矩阵进行运算，得到同一坐标系下的点云数据，以完成点云数据的配准。
可选的，所述位姿矩阵计算模块包括：
像素坐标值显示子模块，用于调用Opencv开源程序库中的cvSetMouseCallback方法动态显示各图像特征点的像素坐标值；
计算子模块，用于输入所述内参矩阵和所述畸变系数，根据各图像中所述人工标识图的预设特征点的像素坐标值，利用PNP算法解算各图像的旋转矩阵和平移矩阵。
可选的，所述点云数据配准模块包括：
坐标转化子模块，用于对每组点云数据，根据下述公式进行反求，以将相机坐标系中的各点云数据转化为世界坐标系下的点云数据：
式中，相机坐标系的坐标点为(xc，yc，zc)，世界坐标系下的坐标点为(xw，yw，zw)，R为当前点云数据的旋转矩阵，T为当前点云数据的平移矩阵。
本发明实施例还提供了一种三维点云数据配准设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述三维点云数据配准方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有三维点云数据配准程序，所述三维点云数据配准程序被处理器执行时实现如前任一项所述三维点云数据配准方法的步骤。
本申请提供的技术方案的优点在于，不需要遍历点云数据集，只需要提取多帧可拼接待测物体和人工标识图全貌的图像中人工标识图的特征点，计算出每帧图片的旋转矩阵和平移矩阵，最后将对应图像帧的点云数据帧乘上计算得到的位姿矩阵即可完成不同角度帧之间的点云数据配准，处理效率高，耗时短；由于人工标识图为人工设定，图上的特征明显，提取的特征点准确，计算得到相机的旋转和平移矩阵也相对准确，进而配准的点云数据的误差小，有效的降低了点云数据配准的误差率；由于解算变换参数矩阵平移矩阵时只用到了图像帧数据，各点云数据帧之间不参与运算，相互独立，故对不同图像帧之间的点云数据集无要求。
此外，本发明实施例还针对三维点云数据配准方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维点云数据配准方法的流程示意图；
图2为本公开根据一示例性实施例示出的一种人工标识图的示意图；
图3为本发明实施例提供的三维点云数据配准装置的一种具体实施方式结构图；
图4为本发明实施例提供的三维点云数据配准系统的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种三维点云数据配准方法的流程示意图，本发明实施例可包括以下内容：
S101：获取RGB-D相机采集的同时包含待测物体和人工标识图的多张图像和各自相对应的点云数据。
人工标识图为具有明显特征点(或者是显著特征点)的图像，用于作为点云数据配准过程中的参考标准，本领域技术人员可根据实际情况进行选取，例如图2所示的一种人工标识图。这些明显特征点具有标准像素值，标准像素值为这些特征点在特定坐标系(例如世界坐标系)下的像素坐标值，且各特征点的标准像素点预先存储在系统中，显著特征点的个数可为4个，或者其他个数，本申请对此不做任何限定。
人工标识图可贴置待测物体附近，具体位置可由待测物体的实际处境和RGB-D相机的图像采集角度确定，以使保证图像质量的基础上可将待测物体和人工标识图采集在同一张图像中。
待测物体的全貌可由多帧点云数据拼接而成，例如RGB-D相机可从3-4个不同的角度对待测物体和人工标识图进行拍照，每个角度可保存一张彩色图像和一组相对应的点云数据，也即图像和点云数据具有对应关系，每个拍照角度采集的点云数据拼接起来，可得到待测物体全貌。
S102：根据RGB-D相机的内参矩阵和畸变系数，及各图像中人工标识图的预设特征点的像素坐标值，计算得到RGB-D相机的位姿矩阵。
RGB-D相机的内参矩阵和畸变系数可采用相关技术中任何一种标定方法的实现过程进行计算，本申请对此不做任何限定。
预设特征点为人工标识图中的显著特征点，也就是特征比较明显的像素点。在采集得到的每幅图像中，依次计算得到每幅图像中每个预设特征点的像素坐标值，将计算得到的像素坐标值与标准坐标系下的像素坐标值(例如世界坐标)进行对比，结合RGB-D相机的内参矩阵和畸变系数，得到每张图像的旋转矩阵和平移矩阵，每张图像的旋转矩阵和平移矩阵构成RGB-D相机的位姿矩阵。旋转矩阵和平移矩阵可用来表征人工标识图中的特征点在相机坐标系(相机采集的图像)与特定坐标系(世界坐标系)下的映射变换关系。
S103：对各点云数据与位姿矩阵进行运算，得到同一坐标系下的点云数据，以完成点云数据的配准。
每张图像具有与其相对应的点云数据，且每张图像都具有一组旋转矩阵和平移矩阵，通过将点云数据与相对应的旋转矩阵和平移矩阵进行计算，便可分别将点云数据转换到同一坐标系下的数据，即将相机坐标系下的点云数据均可规整到同一个坐标系(例如世界坐标系)下，从而完成不同图像帧(不同角度)之间点云数据的配准。
在本发明实施例提供的技术方案中，不需要遍历点云数据集，只需要提取多帧可拼接待测物体和人工标识图全貌的图像中人工标识图的特征点，计算出每帧图片的旋转矩阵和平移矩阵，最后将对应图像帧的点云数据帧乘上计算得到的位姿矩阵即可完成不同角度帧之间的点云数据配准，处理效率高，耗时短；由于人工标识图为人工设定，图上的特征明显，提取的特征点准确，计算得到相机的旋转和平移矩阵也相对准确，进而配准的点云数据的误差小，有效的降低了点云数据配准的误差率；由于解算变换参数矩阵平移矩阵时只用到了图像帧数据，各点云数据帧之间不参与运算，相互独立，故对不同图像帧之间的点云数据集无要求。
在一种具体的实施方式中，可预先利用张正友标定方法计算RGB-D相机的内参矩阵和畸变系数，计算过程可如下所述：
计算单应性矩阵H：
设三维世界坐标系的点为X＝[X Y Z 1]T，二维相机平面坐标系可为m＝[u v 1]T，标定用的棋盘格平面到图像平面的单应性关系为：
s0m＝K[R,T]X；
其中，s0为尺度因子，K为内参矩阵，R为旋转矩阵，T为平移矩阵。令
其中，s0对于齐次坐标来说，不会改变齐次坐标值。张氏标定法中，将世界坐标系构建在棋盘格平面上，令棋盘格平面为Z＝0的平面，则可得：
K[r1 r2 t]叫做单应性矩阵H，即：
H＝[h1 h2 h3]＝λK[r1 r2 t]；
H为一个齐次矩阵，所以有8个未知数，至少需要8个方程，每对对应点能提供两个方程，所以至少需要四个对应点，就可以算出世界平面到图像平面的单应性矩阵H。
由单应性矩阵H公式可得：
由于旋转矩阵是个酉矩阵，r1和r2正交，可得：
r1 Tr2＝0；
||r1||＝||r2||＝1
代入可得：
即每个单应性矩阵能提供两个方程，而内参矩阵包含5个参数，要求解，至少需要3个单应性矩阵。为了得到三个不同的单应性矩阵，可使用至少三幅棋盘格平面的图片进行标定。通过改变相机与标定板之间的相对位置来得到三个不同的图片。
为了方便计算，可定义如下：
其中，α、β和γ为相机相对于世界坐标系的三个欧拉角，B为一个对称阵，所以B的有效元素为六个，让这六个元素写成向量b，即：
b＝[B11 B12 B22 B13 B23 B33]T；
推导得：
vij＝[hi1hj1 hi1hj2+hi2hj1 hi2hj2 hi3hj1+hi1hj3 hi3hj2+hi2hj3 hi3hj3]；
利用约束条件可以得到：
通过上式，至少需要三幅包含棋盘格的图像，可以计算得到B，然后通过cholesky分解，得到相机的内参矩阵K。
畸变表达式满足下式：
其中，(u，v)是理想无畸变的像素坐标，是实际畸变后的像素坐标。(u0，v0)代表主点，(x，y)是理想无畸变的连续图像坐标，是实际畸变后的连续图像坐标。k1和k2为前两阶的畸变参数。
化作矩阵形式：
记Dk＝d，则可计算得到畸变系数k为k＝[k1 k2]T＝(DTD)-1DTd。
可选的，在计算图像中各特征点的像素坐标值，可调用Opencv开源程序库中的cvSetMouseCallback方法动态显示各图像像素的坐标值；然后提取各图像中人工标识图的预设特征点的像素坐标值，根据各图像中人工标识图的预设特征点的像素坐标值和这些预设特征点在特定坐标系(世界坐标系)下的像素坐标值，利用PNP算法(Opencv开源程序库中的solvePnP)解算各图像的旋转矩阵和平移矩阵。
举例来说，使用Opencv开源程序库中的solvePnP方法，输入RGB-D相机内参矩阵和畸变参数、人工标识图的特征点的像素坐标(例如图2中四个直角作为特征点，其像素坐标为(x'0，y'0)、(x′1，y′1)、(x'2，y'2)、(x′3，y′3))以及对应特征点的世界坐标值(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3))，求解出当前获取图像帧的相机在世界坐标系下的R(旋转矩阵)与T(平移矩阵)。
对每组点云数据，可根据下述公式进行反求，将相机坐标系和世界坐标系进行映射变换，即将相机坐标系中的各点云数据转化为世界坐标系下的点云数据：
式中，相机坐标系的坐标点为(xc，yc，zc)，世界坐标系下的坐标点为(xw，yw，zw)，R为当前点云数据的旋转矩阵，T为当前点云数据的平移矩阵，r1 r2 r3 t分别为计算得到的旋转矩阵和平移矩阵的值。
由上可知，本发明实施例相比于ICP算法，具有配准效率高，耗时短，配准误差小，对不同帧之间的点云数据集无要求等优点。
本发明实施例还针对三维点云数据配准方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的三维点云数据配准装置进行介绍，下文描述的三维点云数据配准装置与上文描述的三维点云数据配准方法可相互对应参照。
参见图3，图3为本发明实施例提供的三维点云数据配准装置在一种具体实施方式下的结构图，该装置可包括：
信息获取模块301，用于获取RGB-D相机采集的同时包含待测物体和人工标识图的多张图像和各自相对应的点云数据，待测物体的全貌由多帧点云数据拼接而成；人工标识图设置在待测物体周边。
位姿矩阵计算模块302，用于根据RGB-D相机的内参矩阵和畸变系数，及各图像中人工标识图的预设特征点的像素坐标值，计算得到RGB-D相机的位姿矩阵；位姿矩阵由每张图像对应相机的旋转矩阵和平移矩阵构成。
点云数据配准模块303，用于对各点云数据与位姿矩阵进行运算，得到同一坐标系下的点云数据，以完成点云数据的配准。
可选的，在本实施例的一些实施方式中，所述位姿矩阵计算模块302可以包括：
像素坐标值显示子模块，用于调用Opencv开源程序库中的cvSetMouseCallback方法动态显示各图像特征点的像素坐标值；
计算子模块，用于输入内参矩阵和畸变系数，根据各图像中人工标识图的预设特征点的像素坐标值，利用PNP算法解算各图像的旋转矩阵和平移矩阵。
在一些具体的实施方式中，所述位姿矩阵计算模块302还可以为对每一张图像，人工标识图的4个特征点的像素坐标为(x'0，y'0)、(x′1，y′1)、(x'2，y'2)、(x′3，y′3)，各特征点对应的世界坐标(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)；利用PNP算法计算每张图像在世界坐标系下的旋转矩阵和平移矩阵，作为RGB-D相机的位姿矩阵的模块。
此外，在本实施例的另一些实施方式中，所述位姿矩阵计算模块302例如还可以为预先利用张正友标定方法计算RGB-D相机的内参矩阵和畸变系数的模块。
可选的，在其他实施方式中，所述点云数据配准模块303还可包括：
坐标转化子模块，用于对每组点云数据，根据下述公式进行反求，以将相机坐标系中的各点云数据转化为世界坐标系下的点云数据：
式中，相机坐标系的坐标点为(xc，yc，zc)，世界坐标系下的坐标点为(xw，yw，zw)，R为当前点云数据的旋转矩阵，T为当前点云数据的平移矩阵。
本发明实施例所述三维点云数据配准装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例不仅对不同图像帧之间的点云数据集无要求，还提升了三维点云数据的配准效率，降低了三维点云数据的配准误差。
本发明实施例还提供了一种三维点云数据配准设备，具体可包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如上任意一实施例所述三维点云数据配准方法的步骤。
本发明实施例所述三维点云数据配准设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例不仅对不同图像帧之间的点云数据集无要求，还提升了三维点云数据的配准效率，降低了三维点云数据的配准误差。
本发明实施例还提供了一种计算机可读存储介质，存储有三维点云数据配准程序，所述三维点云数据配准程序被处理器执行时如上任意一实施例所述三维点云数据配准方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例不仅对不同图像帧之间的点云数据集无要求，还提升了三维点云数据的配准效率，降低了三维点云数据的配准误差。
本发明实施例最后还提供了一种三维点云数据配准系统，请参阅图4，可包括RGB-D相机41、人工标识图42及处理器43。
RGB-D相机41用于同时采集待测物体的彩色图片和表面点云数据，相比于传统的三维激光扫描获取点云数据的方式，降低了设备成本和操作复杂度。
人工标识图42设置在待测物体周边。
处理器43用于执行计算机程序以实现如上任意一实施例所述三维点云数据配准方法的步骤。
本发明实施例所述三维点云数据配准系统的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例不仅对不同图像帧之间的点云数据集无要求，还提升了三维点云数据的配准效率，降低了三维点云数据的配准误差。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种三维点云数据配准方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种三维点云数据配准方法，其特征在于，包括：
获取RGB-D相机采集的同时包含待测物体和人工标识图的多张图像和各自相对应的点云数据，所述待测物体的全貌由多帧点云数据拼接而成；所述人工标识图设置在所述待测物体周边；
根据所述RGB-D相机的内参矩阵和畸变系数，及各图像中人工标识图的预设特征点的像素坐标值，计算得到所述RGB-D相机的位姿矩阵；所述位姿矩阵由每张图像对应相机的旋转矩阵和平移矩阵构成；
对各点云数据与所述位姿矩阵进行运算，得到同一坐标系下的点云数据，以完成点云数据的配准。
2.根据权利要求1所述的三维点云数据配准方法，其特征在于，所述根据所述RGB-D相机的内参矩阵和畸变系数，及各图像中人工标识图的预设特征点的像素坐标值，计算得到所述RGB-D相机的位姿矩阵包括：
调用Opencv开源程序库中的cvSetMouseCallback方法动态显示各图像特征点的像素坐标值；
输入所述内参矩阵和所述畸变系数，根据各图像中所述人工标识图的预设特征点的像素坐标值，利用PNP算法解算各图像的旋转矩阵和平移矩阵。
3.根据权利要求2所述的三维点云数据配准方法，其特征在于，所述根据各图像中所述人工标识图的预设特征点的像素坐标值，利用PNP算法解算各图像的旋转矩阵和平移矩阵为：
对每一张图像，所述人工标识图的4个特征点的像素坐标为(x'0，y'0)、(x'1，y'1)、(x'2，y'2)、(x'3，y'3)，各特征点对应的世界坐标(x0，y0，z0)、(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)；
利用PNP算法计算每张图像在世界坐标系下的旋转矩阵和平移矩阵，作为所述RGB-D相机的位姿矩阵。
4.根据权利要求1至3任意一项所述的三维点云数据配准方法，其特征在于，所述对各点云数据与所述位姿矩阵进行运算，得到同一坐标系下的点云数据包括：
对每组点云数据，根据下述公式进行反求，以将相机坐标系中的各点云数据转化为世界坐标系下的点云数据：
式中，相机坐标系的坐标点为(xc，yc，zc)，世界坐标系下的坐标点为(xw，yw，zw)，R为当前点云数据的旋转矩阵，T为当前点云数据的平移矩阵。
5.根据权利要求4所述的三维点云数据配准方法，其特征在于，根据所述RGB-D相机的内参矩阵和畸变系数为：
预先利用张正友标定方法计算RGB-D相机的内参矩阵和畸变系数。
6.一种三维点云数据配准装置，其特征在于，包括：
信息获取模块，用于获取RGB-D相机采集的同时包含待测物体和人工标识图的多张图像和各自相对应的点云数据，所述待测物体的全貌由多帧点云数据拼接而成；所述人工标识图设置在所述待测物体周边；
位姿矩阵计算模块，用于根据所述RGB-D相机的内参矩阵和畸变系数，及各图像中人工标识图的预设特征点的像素坐标值，计算得到所述RGB-D相机的位姿矩阵；所述位姿矩阵由每张图像对应相机的旋转矩阵和平移矩阵构成；
点云数据配准模块，用于对各点云数据与所述位姿矩阵进行运算，得到同一坐标系下的点云数据，以完成点云数据的配准。
7.根据权利要求6所述的三维点云数据配准装置，其特征在于，所述位姿矩阵计算模块包括：
像素坐标值显示子模块，用于调用Opencv开源程序库中的cvSetMouseCallback方法动态显示各图像特征点的像素坐标值；
计算子模块，用于输入所述内参矩阵和所述畸变系数，根据各图像中所述人工标识图的预设特征点的像素坐标值，利用PNP算法解算各图像的旋转矩阵和平移矩阵。
8.根据权利要求6或7所述的三维点云数据配准装置，其特征在于，所述点云数据配准模块包括：
坐标转化子模块，用于对每组点云数据，根据下述公式进行反求，以将相机坐标系中的各点云数据转化为世界坐标系下的点云数据：
式中，相机坐标系的坐标点为(xc，yc，zc)，世界坐标系下的坐标点为(xw，yw，zw)，R为当前点云数据的旋转矩阵，T为当前点云数据的平移矩阵。
9.一种三维点云数据配准设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述三维点云数据配准方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有三维点云数据配准程序，所述三维点云数据配准程序被处理器执行时实现如权利要求1至5任一项所述三维点云数据配准方法的步骤。
CN201811425692.9A 2018-11-27 2018-11-27 三维点云数据配准方法、装置、设备及可读存储介质 Active CN109509226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811425692.9A CN109509226B (zh) 2018-11-27 2018-11-27 三维点云数据配准方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811425692.9A CN109509226B (zh) 2018-11-27 2018-11-27 三维点云数据配准方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109509226A true CN109509226A (zh) 2019-03-22
CN109509226B CN109509226B (zh) 2023-03-28

Family

ID=65750816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811425692.9A Active CN109509226B (zh) 2018-11-27 2018-11-27 三维点云数据配准方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109509226B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110010249A (zh) * 2019-03-29 2019-07-12 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN110120013A (zh) * 2019-05-15 2019-08-13 深圳市凌云视迅科技有限责任公司 一种点云拼接方法及装置
CN110120090A (zh) * 2019-04-01 2019-08-13 贝壳技术有限公司 三维全景模型构建方法、装置及可读存储介质
CN110163797A (zh) * 2019-05-31 2019-08-23 四川大学 一种标定转台位姿关系实现任意角点云拼接的方法及装置
CN110196044A (zh) * 2019-05-28 2019-09-03 广东亿嘉和科技有限公司 一种基于gps闭环检测的变电站巡检机器人建图方法
CN110197509A (zh) * 2019-04-30 2019-09-03 上海理工大学 一种基于彩色人工标识的相机位姿求解法
CN111009002A (zh) * 2019-10-16 2020-04-14 贝壳技术有限公司 点云配准检测方法、装置以及电子设备、存储介质
CN111046765A (zh) * 2019-12-02 2020-04-21 北京深测科技有限公司 一种用于高铁的危险预警方法和系统
CN111210466A (zh) * 2020-01-14 2020-05-29 华志微创医疗科技（北京）有限公司 多视角点云配准方法、装置以及计算机设备
CN111260781A (zh) * 2020-01-15 2020-06-09 北京云迹科技有限公司 一种生成图像信息的方法、装置和电子设备
CN111428719A (zh) * 2020-04-02 2020-07-17 广东工业大学 一种物体姿态估计方法、装置及电子设备和存储介质
CN111598773A (zh) * 2020-04-03 2020-08-28 西安电子科技大学 一种乳腺表面轮廓获取方法、获取装置及电子设备
CN111612845A (zh) * 2020-04-13 2020-09-01 江苏大学 一种基于移动标定板的激光雷达与相机联合标定方法
CN111767767A (zh) * 2019-05-24 2020-10-13 北京京东尚科信息技术有限公司 室内物体的检测方法、装置、电子设备与存储介质
CN111915681A (zh) * 2019-05-08 2020-11-10 长沙智能驾驶研究院有限公司 多组3d相机群的外参标定方法、装置、存储介质及设备
CN112150595A (zh) * 2020-09-21 2020-12-29 广东博智林机器人有限公司 一种点云数据处理方法、装置、设备及介质
WO2021051407A1 (zh) * 2019-09-20 2021-03-25 深圳市大疆创新科技有限公司 一种点云显示方法、设备、可移动平台及存储介质
CN112634439A (zh) * 2020-12-25 2021-04-09 北京奇艺世纪科技有限公司 一种3d信息展示方法及装置
CN112668505A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备
CN112790786A (zh) * 2020-12-30 2021-05-14 无锡祥生医疗科技股份有限公司 点云数据配准方法、装置、超声设备及存储介质
CN113327318A (zh) * 2021-05-18 2021-08-31 禾多科技（北京）有限公司 图像显示方法、装置、电子设备和计算机可读介质
CN113532311A (zh) * 2020-04-21 2021-10-22 广东博智林机器人有限公司 点云拼接方法、装置、设备和存储设备
CN113590904A (zh) * 2020-04-30 2021-11-02 顺丰科技有限公司 装箱可视化处理方法、装置、计算机设备和存储介质
CN113689492A (zh) * 2021-10-22 2021-11-23 浙江建木智能系统有限公司 一种基于单目相机的海面测距方法和系统
CN113768419A (zh) * 2021-09-17 2021-12-10 安克创新科技股份有限公司 确定扫地机清扫方向的方法、装置及扫地机
CN113808096A (zh) * 2021-09-14 2021-12-17 成都主导软件技术有限公司 一种非接触式的螺栓松动检测方法及其系统
CN114061488A (zh) * 2021-11-15 2022-02-18 华中科技大学鄂州工业技术研究院 一种物体测量方法、系统以及计算机可读存储介质
CN114882085A (zh) * 2022-05-20 2022-08-09 中山大学 一种基于单一立方体三维点云配准方法及系统
CN115239776A (zh) * 2022-07-14 2022-10-25 阿波罗智能技术(北京)有限公司 点云的配准方法、装置、设备和介质
CN115330652A (zh) * 2022-08-15 2022-11-11 北京城市网邻信息技术有限公司 点云拼接方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232388A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
US20090232355A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
CN105118086A (zh) * 2015-06-30 2015-12-02 东莞市盟拓光电科技有限公司 3d-aoi设备中的3d点云数据配准方法及系统
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
CN107292921A (zh) * 2017-06-19 2017-10-24 电子科技大学 一种基于kinect相机的快速三维重建方法
CN107945220A (zh) * 2017-11-30 2018-04-20 华中科技大学 一种基于双目视觉的重建方法
CN108692661A (zh) * 2018-05-08 2018-10-23 深圳大学 基于惯性测量单元的便携式三维测量系统及其测量方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232388A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
US20090232355A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
CN105118086A (zh) * 2015-06-30 2015-12-02 东莞市盟拓光电科技有限公司 3d-aoi设备中的3d点云数据配准方法及系统
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
CN107292921A (zh) * 2017-06-19 2017-10-24 电子科技大学 一种基于kinect相机的快速三维重建方法
CN107945220A (zh) * 2017-11-30 2018-04-20 华中科技大学 一种基于双目视觉的重建方法
CN108692661A (zh) * 2018-05-08 2018-10-23 深圳大学 基于惯性测量单元的便携式三维测量系统及其测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢晓燕等: "一种全自动三维点云配准及比例约束方法", 《计算机技术与发展》 *

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110010249B (zh) * 2019-03-29 2021-04-27 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN110010249A (zh) * 2019-03-29 2019-07-12 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN110120090B (zh) * 2019-04-01 2020-09-25 贝壳找房(北京)科技有限公司 三维全景模型构建方法、装置及可读存储介质
CN110120090A (zh) * 2019-04-01 2019-08-13 贝壳技术有限公司 三维全景模型构建方法、装置及可读存储介质
CN110197509B (zh) * 2019-04-30 2023-07-11 上海理工大学 一种基于彩色人工标识的相机位姿求解法
CN110197509A (zh) * 2019-04-30 2019-09-03 上海理工大学 一种基于彩色人工标识的相机位姿求解法
CN111915681B (zh) * 2019-05-08 2023-12-29 长沙智能驾驶研究院有限公司 多组3d相机群的外参标定方法、装置、存储介质及设备
CN111915681A (zh) * 2019-05-08 2020-11-10 长沙智能驾驶研究院有限公司 多组3d相机群的外参标定方法、装置、存储介质及设备
CN110120013B (zh) * 2019-05-15 2023-10-20 深圳市凌云视迅科技有限责任公司 一种点云拼接方法及装置
CN110120013A (zh) * 2019-05-15 2019-08-13 深圳市凌云视迅科技有限责任公司 一种点云拼接方法及装置
CN111767767A (zh) * 2019-05-24 2020-10-13 北京京东尚科信息技术有限公司 室内物体的检测方法、装置、电子设备与存储介质
CN110196044A (zh) * 2019-05-28 2019-09-03 广东亿嘉和科技有限公司 一种基于gps闭环检测的变电站巡检机器人建图方法
CN110163797A (zh) * 2019-05-31 2019-08-23 四川大学 一种标定转台位姿关系实现任意角点云拼接的方法及装置
CN110163797B (zh) * 2019-05-31 2020-03-31 四川大学 一种标定转台位姿关系实现任意角点云拼接的方法及装置
WO2021051407A1 (zh) * 2019-09-20 2021-03-25 深圳市大疆创新科技有限公司 一种点云显示方法、设备、可移动平台及存储介质
CN111009002A (zh) * 2019-10-16 2020-04-14 贝壳技术有限公司 点云配准检测方法、装置以及电子设备、存储介质
CN111046765A (zh) * 2019-12-02 2020-04-21 北京深测科技有限公司 一种用于高铁的危险预警方法和系统
CN111046765B (zh) * 2019-12-02 2023-07-14 北京深测科技有限公司 一种用于高铁的危险预警方法和系统
CN111210466A (zh) * 2020-01-14 2020-05-29 华志微创医疗科技（北京）有限公司 多视角点云配准方法、装置以及计算机设备
CN111260781B (zh) * 2020-01-15 2024-04-19 北京云迹科技股份有限公司 一种生成图像信息的方法、装置和电子设备
CN111260781A (zh) * 2020-01-15 2020-06-09 北京云迹科技有限公司 一种生成图像信息的方法、装置和电子设备
CN111428719A (zh) * 2020-04-02 2020-07-17 广东工业大学 一种物体姿态估计方法、装置及电子设备和存储介质
CN111598773A (zh) * 2020-04-03 2020-08-28 西安电子科技大学 一种乳腺表面轮廓获取方法、获取装置及电子设备
CN111612845A (zh) * 2020-04-13 2020-09-01 江苏大学 一种基于移动标定板的激光雷达与相机联合标定方法
CN113532311A (zh) * 2020-04-21 2021-10-22 广东博智林机器人有限公司 点云拼接方法、装置、设备和存储设备
CN113532311B (zh) * 2020-04-21 2023-06-09 广东博智林机器人有限公司 点云拼接方法、装置、设备和存储设备
CN113590904A (zh) * 2020-04-30 2021-11-02 顺丰科技有限公司 装箱可视化处理方法、装置、计算机设备和存储介质
CN112150595A (zh) * 2020-09-21 2020-12-29 广东博智林机器人有限公司 一种点云数据处理方法、装置、设备及介质
CN112634439B (zh) * 2020-12-25 2023-10-31 北京奇艺世纪科技有限公司 一种3d信息展示方法及装置
CN112634439A (zh) * 2020-12-25 2021-04-09 北京奇艺世纪科技有限公司 一种3d信息展示方法及装置
CN112790786A (zh) * 2020-12-30 2021-05-14 无锡祥生医疗科技股份有限公司 点云数据配准方法、装置、超声设备及存储介质
CN112668505A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备
US11893884B2 (en) 2020-12-30 2024-02-06 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device
CN113327318A (zh) * 2021-05-18 2021-08-31 禾多科技（北京）有限公司 图像显示方法、装置、电子设备和计算机可读介质
CN113808096A (zh) * 2021-09-14 2021-12-17 成都主导软件技术有限公司 一种非接触式的螺栓松动检测方法及其系统
CN113808096B (zh) * 2021-09-14 2024-01-30 成都主导软件技术有限公司 一种非接触式的螺栓松动检测方法及其系统
CN113768419A (zh) * 2021-09-17 2021-12-10 安克创新科技股份有限公司 确定扫地机清扫方向的方法、装置及扫地机
CN113689492B (zh) * 2021-10-22 2022-02-11 浙江建木智能系统有限公司 一种基于单目相机的海面测距方法和系统
CN113689492A (zh) * 2021-10-22 2021-11-23 浙江建木智能系统有限公司 一种基于单目相机的海面测距方法和系统
CN114061488A (zh) * 2021-11-15 2022-02-18 华中科技大学鄂州工业技术研究院 一种物体测量方法、系统以及计算机可读存储介质
CN114061488B (zh) * 2021-11-15 2024-05-14 华中科技大学鄂州工业技术研究院 一种物体测量方法、系统以及计算机可读存储介质
CN114882085A (zh) * 2022-05-20 2022-08-09 中山大学 一种基于单一立方体三维点云配准方法及系统
CN114882085B (zh) * 2022-05-20 2023-02-14 中山大学 一种基于单一立方体三维点云配准方法及系统
CN115239776A (zh) * 2022-07-14 2022-10-25 阿波罗智能技术(北京)有限公司 点云的配准方法、装置、设备和介质
CN115330652A (zh) * 2022-08-15 2022-11-11 北京城市网邻信息技术有限公司 点云拼接方法、设备及存储介质

Also Published As

Publication number Publication date
CN109509226B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN109509226A (zh) 三维点云数据配准方法、装置、设备及可读存储介质
Moxey et al. Hypercomplex correlation techniques for vector images
RU2215326C2 (ru) Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта
TWI569229B (zh) 資料之登錄方法
CN111723691B (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN109727308A (zh) 实体物件的三维点云模型生成设备及生成方法
CN111401266B (zh) 绘本角点定位的方法、设备、计算机设备和可读存储介质
CN112132907B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN110223226A (zh) 全景图像拼接方法及系统
CN114666564B (zh) 一种基于隐式神经场景表示进行虚拟视点图像合成的方法
EP3186787A1 (en) Method and device for registering an image to a model
CN109559349A (zh) 一种用于标定的方法和装置
CN106991697A (zh) 胸部数字影像的心胸比测量方法
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
CN115953533A (zh) 三维人体重建方法及装置
US20220084291A1 (en) Augmented reality display method and device for chip structure, and readable storage medium
CN112446926A (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
US20220148314A1 (en) Method, system and computer readable media for object detection coverage estimation
CN105488764B (zh) 鱼眼图像校正方法及装置
Wang et al. Compenhr: Efficient full compensation for high-resolution projector
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN114511637A (zh) 一种基于构造强特征的弱特征物体图像三维重建系统及方法
CN113159158A (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant