CN115830089A - 一种结合关键点信息的点云配准方法及其应用 - Google Patents

Abstract

本发明公开了一种结合关键点信息的点云配准方法，在工件上预先标记关键点；获取模板工件点云，解算关键点的三维坐标存储到模板关键点集；获取实测工件点云，解算关键点的三维坐标存储到实测关键点集；利用最近邻搜索方法获得实测匹配点集；利用模板工件点云、实测匹配点集、模板工件点云、模板关键点集构建目标函数；利用最优化方法迭代求解目标函数，得出旋转矩阵R和平移矩阵t，完成模板工件点云与实测工件点云之间的配准。本方法增加关键点信息约束，得到了更加准确的配准结果，有效得出了工件上的关键点的旋转平移量，为装配轨迹修正提供了有效依据，保障了精准装配的顺利进行。

Description

一种结合关键点信息的点云配准方法及其应用

技术领域

本发明涉及点云配准领域，具体涉及一种结合关键点信息的点云配准方法及其应用。

背景技术

点云配准(Point Cloud Registration)指的是输入两幅点云Ps(s代表source)和Pt(t代表target)，输出一个旋转平移关系使得Ps和Pt的重合程度尽可能高。目前，传统的点云配准方法为ICP方法(Iterative Closest Point)，ICP方法的核心思想是基于当前的Ps在Pt中的最近点，求解变换，反复迭代得出最优解。目前，ICP方法只考虑工件整体形貌的对齐，无法兼顾特定的关键区域是否对齐，容易出现局部区域匹配不准确的问题。而在自动化装配领域，需要保障待装配工件准确安装(如销孔配合)，即：装配的关键点(如螺纹孔、销孔、螺钉等)需要重点关注，配准结果的准确性将直接影响装配结果。

机器人批量装配工件时，机器人通常会先示教一条装配轨迹，此轨迹能够保障首个工件(基准工件)的准确装配，而后续装配应用中，由于同一型号的多个工件会存在制造偏差，并且不同工件放置也存在不同，这就导致装配轨迹不能完全匹配所有待装配工件，即：机器人装配剩余工件时轨迹并不准确。这就需要获得待装配工件与基准工件之间的旋转平移关系，利用其修正装配轨迹，保障装配过程的顺利进行。但是，利用现有ICP方法获得的旋转平移关系精度无法满足装配工艺要求。

发明内容

为了解决上述技术问题，本发明提供一种结合关键点信息的点云配准方法，在现有ICP方法的基础上增加关键点信息约束，得到了更加准确的配准结果，有效得出了工件上的关键点的旋转平移量，为装配轨迹修正提供了有效依据，保障了精准装配的顺利进行。

为此，本发明的技术方案如下：

一种结合关键点信息的点云配准方法，在工件上预先标记关键点，所述关键点包括工件表面的孔、角点、柱状凸起、棱边中点和平面质心点；当关键点为棱边中点时，棱边的方向与点云所在空间坐标系的任一个坐标轴重合，所述棱边中点为棱边的几何中心点；当关键点为平面质心点时，其所在平面的法向量与点云所在空间坐标系的任一个坐标轴重合；

获取基准工件点云，框选其中的感兴趣区域点云存储为模板工件点云；在该点云中，解算关键点的三维坐标，存储到模板关键点集；

利用以下步骤进行点云配准：

1)获取实际场景点云，进行预处理，将预处理后的点云记为实测工件点云；在该点云中，解算关键点的三维坐标，存储到实测关键点集；

所述实测工件点云中包含与基准工件相同型号的工件点云；

对于模板工件点云中的三维点，利用最近邻搜索方法从实测工件点云中查找到与其距离最接近的点，将查找到的点存储到实测匹配点集；

2)构建目标函数E(R,t：

其中，p_i表示模板工件点云中的一点，q_i表示实测匹配点集中的一点，k_i表示q_i点的法向量，n表示模板工件点云中点的个数；h_j表示模板关键点集中的一点，g_j表示实测关键点集中的一点，m表示关键点的个数；λ为预设的权重值；s_i表示关键点的监控方向，其取值为(1,0,0)、(0,1,0)、(0,0,1)、(1,0,1)、(0,1,1)、(1,1,0)、(1,1,1)中的一个；

利用最优化方法迭代求解目标函数E(R,t，得出旋转矩阵R和平移矩阵t，完成模板工件点云与实测工件点云之间的配准。

优选，在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

在基准二维图像中，人工框选关键点所在区域的图像存储为图像I；将图像I中的各点对应在基准工件点云中的三维点存储到备选点集；

利用以下方式，解算关键点的三维坐标：

当关键点为圆孔、腰孔或者多边形孔时，利用备选点集对应拟合圆、椭圆或者多边形，将拟合出的图形的几何中心处的点坐标记为关键点的三维坐标；

当关键点为圆柱或者棱柱时，利用备选点集拟合圆柱或者棱柱，获得圆柱或者棱柱的中轴线，再利用备选点集拟合平面，将中轴线与拟合出的平面的交点记为关键点的三维坐标；

当关键点为角点时，利用备选点集拟合两条直线，将两条直线的交点记为关键点的三维坐标；

当关键点为棱边中点时，利用备选点集拟合直线，将备选点集的质心点投影到拟合出的直线上，将投影点坐标记为的关键点的三维坐标；

当关键点为平面质心点时，利用备选点集拟合平面，将备选点集的质心点投影到拟合出的平面上，将投影点坐标记为的关键点的三维坐标；

步骤1)中，在实测二维图像中，利用图像I进行模板匹配，将匹配得出区域记为新的图像I，将新的图像I中的各点对应在实测工件点云中的三维点存储到新的备选点集，采用相同的方式，利用新的备选点集，解算关键点的三维坐标。

优选，在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

在基准二维图像中，人工框选关键点所在区域的图像存储为图像I；将图像I中的各点对应在基准工件点云中的三维点存储到备选点集；

利用以下方式，解算关键点的三维坐标：

当关键点为圆孔、腰孔、多边形孔、圆柱、棱柱、棱边中点或者平面质心点时，在图像I中，对关键点进行边缘提取，得到关键点边缘轮廓线，再求取边缘轮廓线的几何中心处的像素坐标；根据相机成像模型，获得该像素坐标在相机坐标系下的坐标S；利用相机坐标系的原点和坐标S在建立空间直线L1；利用备选点集拟合空间平面；求取空间直线L1和空间平面之间的交点，将交点坐标记为关键点的三维坐标；

当关键点为角点时，在图像I中对形成角点的两条边进行边缘提取，再利用提取到边缘点拟合得到两条直线，记两条直线的交点在相机坐标系下的坐标为坐标A；利用相机坐标系的原点和坐标A建立空间直线L2；利用备选点集拟合空间平面；求取空间直线L2和空间平面之间的交点，将交点坐标记为关键点的三维坐标；

步骤1)中，在实测二维图像中，利用图像I进行模板匹配，将匹配得出区域记为新的图像I，将新的图像I中的各点对应在实测工件点云中的三维点存储到新的备选点集，采用相同的方式，利用新的图像I和新的备选点集，解算关键点的三维坐标。

为了准确获取实测工件点云，剔除背景点云，优选，在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

步骤1)中，对实际场景点云进行以下预处理，从实际场景点云中筛选出实测工件点云：

查找模板工件点云在基准二维图像中所对应的各个二维像素点，将查找到的所有像素点形成的图像区域记为区域一；在基准二维图像中人工设置选框，所述选框内像素点数量大于区域一并且完全覆盖住区域一；将选框内的图像区域另存为特征图，选取特征图上的至少四个点记为特征点；

分别以每个特征点为中心，框选基准二维图像中的局部小区域，在步骤1)中，分别利用每个局部小区域在实测二维图像中进行模板匹配，将匹配出的区域记为区域二，将区域二的中心点记为适配点；

利用特征点和适配点解算单应性矩阵；

再利用单应性矩阵将特征图上的单个二维像素点分别转换到实测二维图像中，得到其在实测二维图像中的像素坐标，将该像素坐标对应在实际场景中点云中的三维点存储到实测工件点云；遍历特征图上的各个二维像素点，采用相同的方式将各个对应的三维点存储到实测工件点云。

优选，所述特征点均布在特征图中。为了便于查找，优选，所述特征点为特征图的四个角点。

优选，利用最优化方法迭代求解目标函数E(R,t时，旋转矩阵R和平移矩阵t的初始值通过单应性矩阵SVD分解获得。

优选，

进一步，步骤1)最近邻搜索方法为kd树搜索方法或八叉树搜索方法。

进一步，步骤2)最优化方法为线性最小二乘法、高斯-牛顿法或Levenberg-Marquardt方法；

利用最优化方法迭代求解目标函数E(R,t时，旋转矩阵R和平移矩阵t的初始值通过粗配准获得，或者，将旋转矩阵R和平移矩阵t的初始值设置为单位矩阵。

作为本方法一种应用，所述关键点为装配点；在步骤2)之后还进行步骤3)，装配工件：

3)将得出的旋转矩阵R和平移矩阵t反馈到机器人控制器，修正机器人装配轨迹；

所述机器人装配轨迹为：机器人能够准确装配基准工件的运动轨迹。

与现有技术相比较，本申请提供的方法具有以下优点：

(1)传统的ICP方法只约束了工件表面整体形貌点云的贴合，配准结果只能保证工件整体轮廓的定位精度，容易出现局部特征配准错误的问题。本发明方法同时考虑了工件表面整体形貌信息和局部关键点特征的边缘信息，能够得出更为准确的配准结果。

(2)解算关键点的过程中，采用了二维图像与三维点云相结合的方式，有效抑制噪声点的干扰，结果更加准确，通过框选关键点区域的方式，减少了运算量。

(3)对实际场景点云预处理，利用模板匹配与单应性矩阵解算相结合的方式，快速获得有效配准区域，减少了目标函数中，参与解算的点云数量，提升了计算速度。

附图说明

图1是点云配准前的模板工件点云与实测工件点云示意图；

图2是具体实施方式中基准二维图像示意图；

图3是具体实施方式中在基准二维图像中框选出图像I的示意图；

图4是具体实施方式中实测二维图像示意图；

图5是具体实施方式中在实测二维图像中匹配出新的图像I的示意图；

图6是具体实施方式中点云配准后的模板工件点云与实测工件点云示意图；

图7是具体实施方式中在基准二维图像中获取特征图和特征点的示意图。

具体实施方式

以下结合附图和具体实施方式对本发明的技术方案进行详细描述。

一种结合关键点信息的点云配准方法，在工件上预先标记关键点，关键点包括工件表面的孔、角点、柱状凸起、棱边中点和平面质心点；当关键点为棱边中点时，棱边的方向与点云所在空间坐标系的任一个坐标轴重合，棱边中点为棱边的几何中心点；当关键点为平面质心点时，其所在平面的法向量与点云所在空间坐标系的任一个坐标轴重合；

获取基准工件点云，框选其中的感兴趣区域点云存储为模板工件点云；在该点云中，解算关键点的三维坐标，存储到模板关键点集；

利用以下步骤进行点云配准：

1)获取实际场景点云，进行预处理，将预处理后的点云记为实测工件点云；在该点云中，解算关键点的三维坐标，存储到实测关键点集；

实测工件点云中包含与基准工件相同型号的工件点云；

对于模板工件点云中的三维点，利用最近邻搜索方法(kd树搜索方法或八叉树搜索方法)从实测工件点云中查找到与其距离最接近的点，将查找到的点存储到实测匹配点集；

2)构建目标函数E(R,t：

其中，p_i表示模板工件点云中的一点，q_i表示实测匹配点集中的一点，k_i表示q_i点的法向量，n表示模板工件点云中点的个数；h_j表示模板关键点集中的一点，g_j表示实测关键点集中的一点，m表示关键点的个数；λ为预设的权重值；s_i表示关键点(h_j或者g_j)的监控方向，其取值为(1,0,0)、(0,1,0)、(0,0,1)、(1,0,1)、(0,1,1)、(1,1,0)、(1,1,1)中的一个；

其中(1,0,0)表示关键点监控X轴方向的偏移、(0,1,0)表示关键点监控Y轴方向的偏移、(0,0,1)表示关键点监控Z轴方向的偏移、(1,0,1)表示关键点同时监控X轴和Z轴方向的偏移、(0,1,1)表示关键点同时监控Y轴和Z轴方向的偏移、(1,1,0)表示关键点同时监控X轴和Y轴方向的偏移、(1,1,1)表示关键点同时监控X轴、Y轴和Z轴方向的偏移。其根据实际情况(如装配要求)设置。

利用最优化方法迭代求解目标函数E(R,t，得出旋转矩阵R和平移矩阵t，完成模板工件点云与实测工件点云之间的配准。

作为一种优选的实施方式，

最优化方法为线性最小二乘法、高斯-牛顿法或Levenberg-Marquardt方法；

利用最优化方法迭代求解目标函数E(R,t时，旋转矩阵R和平移矩阵t的初始值通过粗配准获得，或者，将旋转矩阵R和平移矩阵t的初始值设置为单位矩阵。

具体的，解算关键点的三维坐标的方式包括以下两种：

方式一：

在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

在基准二维图像中，人工框选关键点所在区域的图像存储为图像I；将图像I中的各点对应在基准工件点云中的三维点存储到备选点集；

利用以下方式，解算关键点的三维坐标：

当关键点为圆孔、腰孔或者多边形孔时，利用备选点集对应拟合圆、椭圆或者多边形，将拟合出的图形的几何中心处的点坐标记为关键点的三维坐标；

当关键点为圆柱或者棱柱时，利用备选点集拟合圆柱或者棱柱，获得圆柱或者棱柱的中轴线，再利用备选点集拟合平面，将中轴线与拟合出的平面的交点记为关键点的三维坐标；

当关键点为角点时，利用备选点集拟合两条直线，将两条直线的交点记为关键点的三维坐标；

当关键点为棱边中点时，利用备选点集拟合直线，将备选点集的质心点投影到拟合出的直线上，将投影点坐标记为的关键点的三维坐标；

当关键点为平面质心点时，利用备选点集拟合平面，将备选点集的质心点投影到拟合出的平面上，将投影点坐标记为的关键点的三维坐标；

步骤1)中，在实测二维图像中，利用图像I进行模板匹配，将匹配得出区域记为新的图像I，将新的图像I中的各点对应在实测工件点云中的三维点存储到新的备选点集，采用相同的方式，利用新的备选点集，解算关键点的三维坐标。

方式二：

在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

在基准二维图像中，如图3所示，人工框选关键点所在区域的图像存储为图像I；将图像I中的各点对应在基准工件点云中的三维点存储到备选点集；

利用以下方式，解算关键点的三维坐标：

当关键点为圆孔、腰孔、多边形孔、圆柱、棱柱、棱边中点或者平面质心点时，在图像I中，对关键点进行边缘提取，得到关键点边缘轮廓线，再求取边缘轮廓线的几何中心处的像素坐标；根据相机成像模型，获得该像素坐标在相机坐标系下的坐标S；利用相机坐标系的原点(0，0，0)和坐标S在建立空间直线L1；利用备选点集拟合空间平面；求取空间直线L1和空间平面之间的交点，将交点坐标记为关键点的三维坐标；

当关键点为角点时，在图像I中对形成角点的两条边进行边缘提取，再利用提取到边缘点拟合得到两条直线，记两条直线的交点在相机坐标系下的坐标为坐标A；利用相机坐标系的原点和坐标A建立空间直线L2；利用备选点集拟合空间平面；求取空间直线L2和空间平面之间的交点，将交点坐标记为关键点的三维坐标；

步骤1)中，如图5所示，在实测二维图像中，利用图像I进行模板匹配，将匹配得出区域记为新的图像I，将新的图像I中的各点对应在实测工件点云中的三维点存储到新的备选点集，采用相同的方式，利用新的图像I和新的备选点集，解算关键点的三维坐标。

下面以图2中的工件为例，进行示例性阐述：

一种结合关键点信息的点云配准方法，在工件上预先标记关键点，本实施例中，如图2所示，关键点选取为工件左下方孔；实际应用时，也可以选择多个关键点，如将工件中的3个孔全部标记为关键点。

获取基准工件点云，框选其中的感兴趣区域点云(去除背景点云，仅保留整体工件点云)存储为模板工件点云；在该点云中，解算关键点的三维坐标(方式二)，存储到模板关键点集；

利用以下步骤进行点云配准：

1)获取实际场景点云，进行预处理，将预处理后的点云记为实测工件点云；在该点云中，解算关键点的三维坐标(方式二)，存储到实测关键点集；

实测工件点云中包含与基准工件相同型号的工件点云；实测工件点云不仅包含工件点云，还包含工件周围区域的部分点云；

为了准确获取实测工件点云，剔除背景点云，本实施例中，对实际场景点云进行以下预处理，从实际场景点云中筛选出实测工件点云：

在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像(如图2)；将实际场景中点云对应的二维图像记为实测二维图像(如图4)；

如图7所示，查找模板工件点云在基准二维图像中所对应的各个二维像素点，将查找到的所有像素点形成的图像区域记为区域一；在基准二维图像中人工设置选框，选框内像素点数量大于区域一并且完全覆盖住区域一；将选框内的图像区域另存为特征图，选取特征图上的至少四个点记为特征点；

即：基准二维图像包含特征图、特征图包含区域一。

为了获得更加准确的单应性矩阵，特征点均布在特征图中。本实施例中，为了便于查找，如图7所示，特征点为特征图的四个角点。

分别以每个特征点为中心，框选基准二维图像中的局部小区域，在步骤1)中，分别利用每个局部小区域在实测二维图像中进行模板匹配，将匹配出的区域记为区域二，将区域二的中心点记为适配点；

利用多个特征点和多个适配点解算单应性矩阵；

再利用单应性矩阵将特征图上的单个二维像素点分别转换到实测二维图像中，得到其在实测二维图像中的像素坐标，将该像素坐标对应在实际场景中点云中的三维点存储到实测工件点云；遍历特征图上的各个二维像素点，采用相同的方式将对应的三维点存储到实测工件点云。

接下来，进行以下处理：

对于模板工件点云中的三维点，利用最近邻搜索方法(kd树搜索方法)从实测工件点云中查找到与其距离最接近的点，将查找到的点存储到实测匹配点集；

2)构建目标函数E(R,t：

其中，p_i表示模板工件点云中的一点，q_i表示实测匹配点集中的一点，k_i表示q_i点的法向量，n表示模板工件点云中点的个数；h_j表示模板关键点集中的一点，g_j表示实测关键点集中的一点，m表示关键点的个数(本实施例中，m＝1)；λ为预设的权重值，

s_i表示关键点的监控方向，本实施例中，取值为(1,1,1)；

利用最优化方法迭代求解目标函数E(R,t，得出旋转矩阵R和平移矩阵t，完成模板工件点云与实测工件点云之间的配准。

其中，旋转矩阵R和平移矩阵t的初始值通过单应性矩阵SVD分解获得。

作为一种应用，关键点为装配点；在步骤2)之后还进行步骤3)，装配工件：

3)将得出的旋转矩阵R和平移矩阵t反馈到机器人控制器，修正机器人装配轨迹；

机器人装配轨迹为：机器人能够准确装配基准工件的运动轨迹。

如图1为点云配准前的模板工件点云与实测工件点云示意图，可以看出两者位置存在较大偏移，在这样的条件下，机器人无法对实测工件进行准确的装配，采用本方法处理后的点云配准效果，如图6所示，配准后的点云不仅实现了工件整体对齐，更兼顾了关键点(装配孔)位置的对齐，定位结果更加精准；应用于装配领域，能够使得关键点准确装配(如销孔配合)。

前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (10)

1.一种结合关键点信息的点云配准方法，在工件上预先标记关键点，所述关键点包括工件表面的孔、角点、柱状凸起、棱边中点和平面质心点；当关键点为棱边中点时，棱边的方向与点云所在空间坐标系的任一个坐标轴重合，所述棱边中点为棱边的几何中心点；当关键点为平面质心点时，其所在平面的法向量与点云所在空间坐标系的任一个坐标轴重合；

获取基准工件点云，框选其中的感兴趣区域点云存储为模板工件点云；在该点云中，解算关键点的三维坐标，存储到模板关键点集；

其特征在于，利用以下步骤进行点云配准：

1)获取实际场景点云，进行预处理，将预处理后的点云记为实测工件点云；在该点云中，解算关键点的三维坐标，存储到实测关键点集；

所述实测工件点云中包含与基准工件相同型号的工件点云；

对于模板工件点云中的三维点，利用最近邻搜索方法从实测工件点云中查找到与其距离最接近的点，将查找到的点存储到实测匹配点集；

2)构建目标函数E(R,t)：

其中，p_i表示模板工件点云中的一点，q_i表示实测匹配点集中的一点，k_i表示q_i点的法向量，n表示模板工件点云中点的个数；h_j表示模板关键点集中的一点，g_j表示实测关键点集中的一点，m表示关键点的个数；λ为预设的权重值；s_i表示关键点的监控方向，其取值为(1,0,0)、(0,1,0)、(0,0,1)、(1,0,1)、(0,1,1)、(1,1,0)、(1,1,1)中的一个；

利用最优化方法迭代求解目标函数E(R,t)，得出旋转矩阵R和平移矩阵t，完成模板工件点云与实测工件点云之间的配准。

2.如权利要求1所述结合关键点信息的点云配准方法，其特征在于：在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

在基准二维图像中，人工框选关键点所在区域的图像存储为图像I；将图像I中的各点对应在基准工件点云中的三维点存储到备选点集；

利用以下方式，解算关键点的三维坐标：

当关键点为圆孔、腰孔或者多边形孔时，利用备选点集对应拟合圆、椭圆或者多边形，将拟合出的图形的几何中心处的点坐标记为关键点的三维坐标；

当关键点为圆柱或者棱柱时，利用备选点集拟合圆柱或者棱柱，获得圆柱或者棱柱的中轴线，再利用备选点集拟合平面，将中轴线与拟合出的平面的交点记为关键点的三维坐标；

当关键点为角点时，利用备选点集拟合两条直线，将两条直线的交点记为关键点的三维坐标；

当关键点为棱边中点时，利用备选点集拟合直线，将备选点集的质心点投影到拟合出的直线上，将投影点坐标记为的关键点的三维坐标；

当关键点为平面质心点时，利用备选点集拟合平面，将备选点集的质心点投影到拟合出的平面上，将投影点坐标记为的关键点的三维坐标；

步骤1)中，在实测二维图像中，利用图像I进行模板匹配，将匹配得出区域记为新的图像I，将新的图像I中的各点对应在实测工件点云中的三维点存储到新的备选点集，采用相同的方式，利用新的备选点集，解算关键点的三维坐标。

3.如权利要求1所述结合关键点信息的点云配准方法，其特征在于：在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

在基准二维图像中，人工框选关键点所在区域的图像存储为图像I；将图像I中的各点对应在基准工件点云中的三维点存储到备选点集；

利用以下方式，解算关键点的三维坐标：

当关键点为圆孔、腰孔、多边形孔、圆柱、棱柱、棱边中点或者平面质心点时，在图像I中，对关键点进行边缘提取，得到关键点边缘轮廓线，再求取边缘轮廓线的几何中心处的像素坐标；根据相机成像模型，获得该像素坐标在相机坐标系下的坐标S；利用相机坐标系的原点和坐标S在建立空间直线L1；利用备选点集拟合空间平面；求取空间直线L1和空间平面之间的交点，将交点坐标记为关键点的三维坐标；

当关键点为角点时，在图像I中对形成角点的两条边进行边缘提取，再利用提取到边缘点拟合得到两条直线，记两条直线的交点在相机坐标系下的坐标为坐标A；利用相机坐标系的原点和坐标A建立空间直线L2；利用备选点集拟合空间平面；求取空间直线L2和空间平面之间的交点，将交点坐标记为关键点的三维坐标；

步骤1)中，在实测二维图像中，利用图像I进行模板匹配，将匹配得出区域记为新的图像I，将新的图像I中的各点对应在实测工件点云中的三维点存储到新的备选点集，采用相同的方式，利用新的图像I和新的备选点集，解算关键点的三维坐标。

4.如权利要求1所述结合关键点信息的点云配准方法，其特征在于：在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

步骤1)中，对实际场景点云进行以下预处理，从实际场景点云中筛选出实测工件点云：

查找模板工件点云在基准二维图像中所对应的各个二维像素点，将查找到的所有像素点形成的图像区域记为区域一；在基准二维图像中人工设置选框，所述选框内像素点数量大于区域一并且完全覆盖住区域一；将选框内的图像区域另存为特征图，选取特征图上的至少四个点记为特征点；

分别以每个特征点为中心，框选基准二维图像中的局部小区域，在步骤1)中，分别利用每个局部小区域在实测二维图像中进行模板匹配，将匹配出的区域记为区域二，将区域二的中心点记为适配点；

利用特征点和适配点解算单应性矩阵；

再利用单应性矩阵将特征图上的单个二维像素点分别转换到实测二维图像中，得到其在实测二维图像中的像素坐标，将该像素坐标对应在实际场景中点云中的三维点存储到实测工件点云；遍历特征图上的各个二维像素点，采用相同的方式将各个对应的三维点存储到实测工件点云。

5.如权利要求4所述结合关键点信息的点云配准方法，其特征在于：所述特征点均布在特征图中。

6.如权利要求4所述结合关键点信息的点云配准方法，其特征在于：利用最优化方法迭代求解目标函数E(R,t)时，旋转矩阵R和平移矩阵t的初始值通过单应性矩阵SVD分解获得。

7.如权利要求1所述结合关键点信息的点云配准方法，其特征在于：

8.如权利要求1所述结合关键点信息的点云配准方法，其特征在于：步骤1)最近邻搜索方法为kd树搜索方法或八叉树搜索方法。

9.如权利要求1所述结合关键点信息的点云配准方法，其特征在于：步骤2)最优化方法为线性最小二乘法、高斯-牛顿法或Levenberg-Marquardt方法；

利用最优化方法迭代求解目标函数E(R,t)时，旋转矩阵R和平移矩阵t的初始值通过粗配准获得，或者，将旋转矩阵R和平移矩阵t的初始值设置为单位矩阵。

10.如权利要求1所述结合关键点信息的点云配准方法，其特征在于：所述关键点为装配点；在步骤2)之后还进行步骤3)，装配工件：

3)将得出的旋转矩阵R和平移矩阵t反馈到机器人控制器，修正机器人装配轨迹；

所述机器人装配轨迹为：机器人能够准确装配基准工件的运动轨迹。

Images