CN114694134A - 一种基于深度相机点云数据的托盘识别和定位方法 - Google Patents

Abstract

本发明公开了一种基于深度相机点云数据的托盘识别和定位方法，包括如下步骤：使用深度相机获取场景点云数据，对点云数据进行处理，对点云数据进行裁剪得到较好的点云数据。对处理后的点云进行滤波、聚类、分割以及点云模板匹配，得到与托盘模板匹配最高的点云数据作为托盘的实际点云数据。完成托盘的识别后对托盘点云再次进行裁剪，根据托盘点云数据进行托盘的位置计算以及和实际坐标系的角度偏移计算，可以降低工业应用成本，逻辑简单、准确可靠，可以增强对复杂环境的应对能力，提高托盘识别效率。

Description

一种基于深度相机点云数据的托盘识别和定位方法

技术领域

本发明涉及点云处理和识别领域，特别是涉及一种基于深度相机点云数据的托盘识别和定位方法。

背景技术

随着中国经济的快速发展，传统依靠人力的企业搬运环节开始由机械化向自动化、智能化转型，工厂内部物流、仓储物流对柔性化程度较高的自动化搬运设备的需求增长迅速，而叉车作为物流搬运设备中的主力军，逐渐开始向智能识别、自主导航定位等先进的技术靠拢，智能叉车就是在此背景下进行研究与设计，在大型物流仓库中，传统的货物搬运都是人工操作叉车进行叉取货物然后放至指定地点，在这个过程中需要大量的人力资源，定位困难，搬运效率低。

发明内容

针对上述问题，本发明提供了一种基于深度相机点云数据的托盘识别和定位方法，具有逻辑简单、计算效率高，可以提高定位和搬运效率的优点。

本发明的技术方案是：

一种基于深度相机点云数据的托盘识别和定位方法，步骤如下：

S1、通过深度相机获取场景点云数据；

S2、对获取的场景点云数据进行距离分隔；

S3、采集托盘模板数据；

S4、将分隔后的点云数据与采集的托盘模板数据进行匹配，实现托盘识别，同时得到托盘点云；

S5、对托盘点云进行二次分隔得到托盘正面立柱点云；

S6、根据托盘正面立柱点云数据确定托盘中心位置和中心轴角度，对托盘进行导航定位。

所述S1中，深度相机需要提前确定位置，并得到深度相机与标准坐标系的转换关系，对深度相机点云数据进行预处理，将点云数据与地面在高度上进行分离。

所述S2，点云距离分隔采用欧式距离分隔，根据距离将相机点云数据分为N类，根据需要设置分隔距离与每个类别点云数据大小。

所述相机点云数据分类如下：

1)、将输入的点云数据根据欧几里得方法进行距离聚类；

2)、对输入的无序点云创建Kd-Tree表达P，实现快速搜索；

3)、设置空的聚类列表C，以及等待被检查的点集Q，对于P中的每个点Pi，进行下列步骤：

将pi添加到当前点集Q；

对Q中的每个点pi，执行:

搜索pi为中心，半径为d_th的球面内的所有点构造集合P_k^i，对P_k^i中每一个点p_k^i，若未处理过，加入到Q中；

当Q中所有点都被处理过，将Q加入聚类列表C，将Q重新置空；

4)、当所有点pi都被处理时，算法终止。此时C中存放了所有聚类。

所述S4中，采用最近邻迭代方法(ICP)的数据配准算法将分割后的每一类点云数据和采集的托盘模板进行匹配，计算匹配得分最高的即为托盘所在的点云。

所述匹配公式如下：

其中Q为点集，i＝1,2,3，...表示第一个点集，即每一类的点云数据，Pi，i＝1,2,3,...表示第二个点集，即托盘模板的点云数据。两个点集的对齐配准转换为使目标函数最小，R为旋转矩阵，T为平移矩阵，即待配准点云数据与参考点云数据之间的旋转参数和平移参数，使得两点集数据之间满足某种度量准则下的最优匹配。

本发明的有益效果是：

使用自动识别与定位托盘的方法，然后采用固定路径的自动导航方式来进行叉取与放货，而在物流仓库中，叉车按照固定路径导航进行巡线导航，当叉车移动至物料前面的时候，会开启深度相机进行点云数据采集，利用点云数据识别托盘中心孔的位置，从而计算得到叉车叉齿与插孔的距离，采用并行处理算法执行模板匹配算法，以提高计算效率，减少托盘点云的匹配时间，采用对深度相机原始点云进行高度上的裁剪，使得深度相机原始点云与地面分离开来，可以避免地面点云对模板匹配的影响，可以降低地面点云对原始点云的影响以及提高匹配效率。

附图说明

图1是本发明实施例所述一种基于深度相机点云数据的托盘识别和定位方法的识别方法流程图；

图2是本发明实施例所述一种基于深度相机点云数据的托盘识别和定位方法的定位方法流程图。

具体实施方式

下面结合附图对本发明的实施例作进一步说明。

实施例：

如图1-图2所示，一种基于深度相机点云数据的托盘识别和定位方法，其特征在于，步骤如下：

S1、通过深度相机获取场景点云数据；

S2、对获取的场景点云数据进行距离分隔；

S3、采集托盘模板数据；

S4、将分隔后的点云数据与采集的托盘模板数据进行匹配，实现托盘识别，同时得到托盘点云；

S5、对托盘点云进行二次分隔得到托盘正面立柱点云；

S6、根据托盘正面立柱点云数据确定托盘中心位置和中心轴角度，对托盘进行导航定位。

S1中，深度相机需要提前确定位置，并得到深度相机与标准坐标系的转换关系，对深度相机点云数据进行预处理，将点云数据与地面在高度上进行分离，其中，托盘识别根据通信接受IntelRealsense深度相机发布的相机点云，同时需要对原始点云进行预处理，预处理包括对相机深度点云数据的坐标转换，需要将相机坐标系下的每一点坐标转换到以叉车为原点的基准坐标系中，除此之外还需要限制相机的范围，减小范围外的点云噪声对托盘点云的影响。

S2，点云距离分隔采用欧式距离分隔，根据距离将相机点云数据分为N类，根据需要设置分隔距离与每个类别点云数据大小，由于在相机视野范围内会有很多类的点云，因此对处理后的点云进行欧式距离聚类，根据距离将点云分成不同的类，分割后的不同类点云会用于后续模板匹配，从而匹配出与模板匹配度最高的一类点云，即为识别出相机点云数据中托盘的点云。

相机点云数据分类如下：

1)、将输入的点云数据根据欧几里得方法进行距离聚类；

2)、对输入的无序点云创建Kd-Tree表达P，实现快速搜索；

3)、设置空的聚类列表C，以及等待被检查的点集Q，对于P中的每个点Pi，进行下列步骤：

将pi添加到当前点集Q；

对Q中的每个点pi，执行:

搜索pi为中心，半径为d_th的球面内的所有点构造集合P_k^i，对P_k^i中每一个点p_k^i，若未处理过，加入到Q中；

当Q中所有点都被处理过，将Q加入聚类列表C，将Q重新置空；

4)、当所有点pi都被处理时，算法终止。此时C中存放了所有聚类。

S4中，采用最近邻迭代方法(ICP)的数据配准算法将分割后的每一类点云数据和采集的托盘模板进行匹配，计算匹配得分最高的即为托盘所在的点云。

匹配公式如下：

其中Q为点集，i＝1,2,3，...表示第一个点集，即每一类的点云数据，Pi，i＝1,2,3,...表示第二个点集，即托盘模板的点云数据。两个点集的对齐配准转换为使目标函数最小，R为旋转矩阵，T为平移矩阵，即待配准点云数据与参考点云数据之间的旋转参数和平移参数，使得两点集数据之间满足某种度量准则下的最优匹配，包括如下步骤：

1)、计算P中的每一个点在Q点集中的对应最近点；

2)、求得使上述对应点对平均距离最小的刚体变换，求得平移参数和旋转参数；

3)、对P使用上一步求得的平移和旋转参数，得到新的变换点集P′；

4)、如果新的变换点集与参考点集满足上面目标函数要求，即两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集P′；

作为新的输入继续迭代，直到达到目标函数的要求。

完成预处理点云数据中每一类的匹配以及其对应的匹配得分，计算得到匹配得分最高的一类点云数据即场景中托盘的点云，完成点云数据中托盘的识别。

根据ICP(最近邻迭代方法)的模板匹配方法将欧式距离分割后的不同类点云进行模板匹配，通过求取源点云和目标点云之间的对应点，基于对应点对构造旋转平移矩阵，并利用所求矩阵，将源点云变换到目标点云的坐标系下，估计变换后源点云与目标点云的误差函数，若误差函数值大于阀值，则迭代进行上述运算直到满足给定的误差要求，从而计算相机点云和模板点云之间的匹配度，匹配度最高的一类点云即为托盘。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种基于深度相机点云数据的托盘识别和定位方法，其特征在于，步骤如下：

S1、通过深度相机获取场景点云数据；

S2、对获取的场景点云数据进行距离分隔；

S3、采集托盘模板数据；

S4、将分隔后的点云数据与采集的托盘模板数据进行匹配，实现托盘识别，同时得到托盘点云；

S5、对托盘点云进行二次分隔得到托盘正面立柱点云；

S6、根据托盘正面立柱点云数据确定托盘中心位置和中心轴角度，对托盘进行导航定位。

2.根据权利要求1所述的一种基于深度相机点云数据的托盘识别和定位方法，其特征在于，所述S1中，深度相机需要提前确定位置，并得到深度相机与标准坐标系的转换关系，对深度相机点云数据进行预处理，将点云数据与地面在高度上进行分离。

3.根据权利要求1所述的一种基于深度相机点云数据的托盘识别和定位方法，其特征在于，所述S2，点云距离分隔采用欧式距离分隔，根据距离将相机点云数据分为N类，根据需要设置分隔距离与每个类别点云数据大小。

4.根据权利要求3所述的一种基于深度相机点云数据的托盘识别和定位方法，其特征在于，所述深度相机点云数据分类如下：

1)、将输入的点云数据根据欧几里得方法进行距离聚类；

2)、对输入的无序点云创建Kd-Tree表达P，实现快速搜索；

3)、设置空的聚类列表C，以及等待被检查的点集Q，对于P中的每个点Pi，进行下列步骤：

将pi添加到当前点集Q；

对Q中的每个点pi，执行:

搜索pi为中心，半径为d_th的球面内的所有点构造集合P_k^i，对P_k^i中每一个点p_k^i，若未处理过，加入到Q中；

当Q中所有点都被处理过，将Q加入聚类列表C，将Q重新置空；

4)、当所有点pi都被处理时，算法终止。此时C中存放了所有聚类。

5.根据权利要求1所述的一种基于深度相机点云数据的托盘识别和定位方法，其特征在于，所述S4中，采用最近邻迭代方法(ICP)的数据配准算法将分割后的每一类点云数据和采集的托盘模板进行匹配，计算匹配得分最高的即为托盘所在的点云。

6.根据权利要求4或5所述的一种基于深度相机点云数据的托盘识别和定位方法，其特征在于，所述匹配公式如下：

其中Q为点集，i＝1,2,3，...表示第一个点集，即每一类的点云数据，Pi，i＝1,2,3,...表示第二个点集，即托盘模板的点云数据。两个点集的对齐配准转换为使目标函数最小，R为旋转矩阵，T为平移矩阵，即待配准点云数据与参考点云数据之间的旋转参数和平移参数，使得两点集数据之间满足某种度量准则下的最优匹配。

Images