CN105976375A - 一种基于rgb-d类传感器的托盘识别和定位方法 - Google Patents

Abstract

本发明公开了一种基于RGB‑D类传感器的托盘识别和定位方法S1.通过传感器获取深度图像；S2.对所述深度图像的点云进行平面分割，得到一个或多个平面，构成一个平面集；S3.从所述平面集中确定可能包含托盘的相关平面；S4.根据预设的托盘模板对所述相关平面进行匹配，识别相关平面中托盘的位置并进行定位。本发明具有识别效率高、定位精确等优点。

Description

一种基于RGB-D类传感器的托盘识别和定位方法

技术领域

本发明涉及一种图像识别技术领域，尤其涉及一种基于RGB-D类传感器的托盘识别和定位方法。

背景技术

近两年，我国社会物流总费用占GDP的比重保持在18％左右，这一比例是发达国家的2倍，高于全球平均水平约6.5个百分点，这说明我国物流成本偏高。据统计，1977-1981年，在美国国内生产总值中，物流成本高达16.8％，到1997年物流成本大幅度下降到10.9％，这种成本的下降显著地提高了美国经济的竞争力，是美国经济再度繁荣的一个重要因素。

在自动化和半自动化仓储系统，托盘的识别和定位在其中占有重要地位。托盘是指用于集装、堆放、搬运和运输过程中，放置货物和制品的水平平台装置，广泛应用于生产、流通、仓储等领域。托盘的识别是指在叉车上安装传感器必要的传感器检测并识别仓库中的托盘，而定位是指在识别的基础上根据传感器信息解算出托盘相对于叉车的三维坐标信息。

目前的检测技术根据是否要改造托盘分为两种：1、在托盘端面贴标识：即在端面的不同部位粘贴人工标记，例如在托盘端面的两侧和中间粘贴黑白相间的同心圆，或者在整个端面粘贴高反射率的反射带。在传感器数据中利用模式识别的相关技术识别这些人工标记完成托盘的识别和定位。但在托盘端面贴标识的方法限制了托盘的流通性，并且在托盘的使用过程中容易磨损。此外，从经济成本考虑，应用推广涉及到对大量现有托盘的改造，人力成本和时间成本较高。2、不对托盘进行改造的方法：此类方法利用托盘自身已有的特征完成识别，例如检测托盘端面的两个缺口是一种常见方法。但该方法几乎全部基于水平安装的平面激光雷达，而平面激光雷达在垂直方向视野有限，对托盘的识别需要货叉的运动进行补偿，效率较低。此外，从经济成本考虑，目前激光雷达的造价较高，不利于应用推广。

根据使用的传感器也分为两种：1、使用CCD/CMOS摄像头，但CCD/CMOS摄像头对环境光照条件要求较高，不适合光照不均匀或者经常变化的环境，并且通过单个CCD/CMOS摄像头很难得到深度信息。2、使用激光雷达传感器，但由于其视野有限，识别效率较低。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，提供一种识别效率高、定位精确的基于RGB-D类传感器的托盘识别和定位方法。

为解决上述技术问题，本发明提出的技术方案为：一种基于RGB-D类传感器的托盘识别和定位方法，包括如下步骤：

S1.通过传感器获取深度图像；

S2.对所述深度图像的点云进行平面分割，得到一个或多个平面，构成一个平面集；

S3.从所述平面集中确定可能包含托盘的相关平面；

S4.根据预设的托盘模板对所述相关平面进行匹配，识别相关平面中托盘的位置并进行定位。

作为本发明的进一步改进，所述步骤S2的具体步骤包括：

S2.1.通过所述深度图像中点的邻域关系，将深度图像划分为子窗口；

S2.2.计算每个子窗口中点的散布矩阵，并根据该散布矩阵的特征值确定所述子窗口的平面度，并将所述子窗口标记为平面子窗口或非平面子窗口；

S2.3.对相邻的满足预设的同平面标准的平面子窗口合并，得到一个或多个子窗口的集合，每个集合构成一个平面。

作为本发明的进一步改进，所述步骤S2.3的具体步骤包括：

S2.3.1.将所有平面子窗口标记为未分割；

S2.3.2.选择平面度最优的未分割的平面子窗口为种子窗口，并标记为已分割；

S2.3.3.判断种子窗口的相邻的子窗口是否满足预设的同平面标准，是则将所述相邻的子窗口标记为已分割，并与所述种子窗口合并，生成新的种子窗口，否则丢弃该相邻的子窗口，重复步骤S2.3.3直到所述种子窗口不再有相邻子窗口合并，得到待定平面；

S2.3.4.重复步骤S2.3.2和步骤S2.3.3，直到所有平面子窗口全部标记为已分割，得到一个或多个待定平面；

S2.3.5.判断所述待定平面中的子窗口数是否大于预设的阈值，是则确定为平面，否则确定为非平面。

作为本发明的进一步改进，所述步骤S2.3.3中同平面标准包括：

B1.判断所述相邻子窗口的几何中心与所述种子窗口的距离是否小于预设的距离阈值；

B2.判断所述相邻子窗口的局部平面与所述种子窗口的法线之间的夹角是否小于预设的角度阈值；

B3.判断所述相邻子窗口与所述种子窗口合并后的平面拟合标准差是否小于预设的拟合阈值；

同时满足时所述B1，B2，B3时，判定所述相邻子窗口满足同平面标准，否则判定所述相邻子窗口不满足同平面标准。

作为本发明的进一步改进，所述步骤S3的具体步骤包括：

S3.1.判断所述平面的法向量与水平面的夹角是否超出预设的夹角门槛值，是则判定为非相关平面，否则跳转至步骤S3.2；

S3.2.确定所述平面两侧的边界，计算其宽度，以及该宽度与预设的托盘宽度之间的宽度差，判断所述宽度差是否超出预设的宽度差门槛值，是则判定为非相关平面，否则判定为相关平面。

作为本发明的进一步改进，所述步骤S4的具体步骤包括：

S4.1.将所述相关平面从三维空间投影至二维空间的栅格中，生成二值图像；

S4.2.将所述预设的托盘模板在所述二值图像上滑动，计算所述托盘模板的匹配度，获得匹配度最高的托盘模板，以及该托盘模块在所述二值图像中的位置；

S4.3.将所述二值图像中与所述托盘模板匹配的像素投影回三维空间，获取其空间坐标。

作为本发明的进一步改进，所述二值图像的分辨率与所述托盘模板的分辨率相同。

作为本发明的进一步改进，所述步骤S1之后，还包括对所述深度图像进行预处理的步骤；所述预处理包括对所述深度图像进行降噪处理和/或消除无效点处理。

与现有技术相比，本发明的优点在于：本发明托盘识别效率高、定位精确。

附图说明

图1为本发明具体实施例流程图。

图2为本发明具体实施例对平面子窗口合并流程图。

图3为本发明具体实施例根据托盘模板进行匹配流程图。

图4为本发明具体实施例托盘模板示意图。

图5为本发明具体实施例对图像预处理效果图。

图6为本发明具体实施例平面边线拟合结果示意图。

图7为本发明具体实施例三维空间至二维空间投影效果图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1所示，本实施例一种基于RGB-D类传感器的托盘识别和定位方法，包括如下步骤：S1.通过传感器获取深度图像；S2.对深度图像的点云进行平面分割，得到一个或多个平面，构成一个平面集；S3.从平面集中确定可能包含托盘的相关平面；S4.根据预设的托盘模板对相关平面进行匹配，识别相关平面中托盘的位置并进行定位。

在本实施例中，传感器获取深度图像后，对深度图像进行降噪和/或消除无效点的预处理。如图5所示，通过预处理，可提高传感器所获取深度图像的质量，进而提高后续步骤中图像识别与定位的效率和精度。

在本实施例中，步骤S2的具体步骤为：S2.1.通过深度图像中点的邻域关系，将深度图像划分为子窗口；S2.2.计算每个子窗口中点的散布矩阵，并根据该散布矩阵的特征值确定子窗口的平面度，并将子窗口标记为平面子窗口或非平面子窗口；S2.3.对相邻的满足预设的同平面标准的平面子窗口合并，得到一个或多个子窗口的集合，每个集合至少包含一个子窗口，每个集合构成一个平面。

在本实施例中，步骤S2.3的具体步骤为：S2.3.1.将所有平面子窗口标记为未分割；S2.3.2.选择平面度最优的未分割的平面子窗口为种子窗口，并标记为已分割；S2.3.3.判断种子窗口的相邻的子窗口是否满足预设的同平面标准，是则将相邻的子窗口标记为已分割，并与种子窗口合并，生成新的种子窗口，否则丢弃该相邻的子窗口，重复步骤S2.3.3直到种子窗口不再有相邻子窗口合并，得到待定平面；S2.3.4.重复步骤S2.3.2和步骤S2.3.3，直到所有平面子窗口全部标记为已分割，得到一个或多个待定平面；S2.3.5.判断待定平面中的子窗口数是否大于预设的阈值，是则确定为平面，否则确定为非平面。

在本实施例中，将进行预处理后的图像按照图像中点的邻域关系，进行平面分割，划分为不同的子窗口，每个子窗口所在的平面可用黑森(Hessian)方程表示为如式(1)所示，

$\hat{n}\·p=d---\left(1\right)$

式(1)中，为平面的法向量，p是平面上任意一点，d是坐标原点到平面的距离。

如图2所示，在得到不同的子窗口后，计算每个子窗口的散布矩阵S，如式(2)所示，

$S=\underset{i=1}{\overset{M}{\Σ}}(p_i-m){(p_i-m)}^T---\left(2\right)$

式(2)中，S为散布矩阵，p_i(i＝1,2,3,…,M)为子窗口中的三维点，m为子窗口中全部点的几何中心。该散步矩阵S为三维对称正定矩阵。

并对该散布矩阵进行特征分解，计算得到散布矩阵S的三个特征向量λ₁、λ₂、λ₃，假设特征向量λ₁＜λ₂＜λ₃。根据传感器的分辨率和噪声确定的预设阈值η，判断对于各子窗口，如式(3)所示的不等式是否成立，

λ₁＜ηλ₂ (3)

成立则判定该子窗口为平面子窗口，不成立则判定该子窗口为非平面子窗口。

同时，以特征向量的比值λ₁/λ₂作为子窗口平面度的判读准则，该比值越小，表明子窗口的平面度越好。

将所有平面子窗口初始化为未分割子窗口，并选择平面度最好的未分割子窗口作为种子窗口，将该种子窗口标记为已分割。依次判断与该种子窗口相邻的子窗口是否满足预设的同平面标准，是则将该相邻的子窗口标记为已分割，并与该种子窗口合并，否则将该相邻的子窗口丢弃，不执行合并操作。重复该步骤直到该种子窗口不再有相邻的子窗口合并，得到一个待定平面。重复该步骤，直到所有的平面子窗口都已标记为已分割，通过该步骤，可得到一个或多个待定平面，构成一个待定平面的集合。判断该待定平面中的子窗口数是否大于预设的阈值，是则确定为平面，否则确定为非平面。从而得到一个或多个平面。

在本实施例中，预设的同平面标准为：B1.判断相邻子窗口的几何中心与种子窗口的距离是否小于预设的距离阈值；B2.判断相邻子窗口的局部平面与种子窗口的法线之间的夹角是否小于预设的角度阈值；B3.判断相邻子窗口与种子窗口合并后的平面拟合标准差是否小于预设的拟合阈值；同时满足时B1，B2，B3时，判定相邻子窗口满足同平面标准，否则判定相邻子窗口不满足同平面标准。当然，同平面的判定准则可根据实际情况选择B1、B2、B3中的一个或多个，也可以选择采用其它同平面判定准则。

在本实施例中，步骤S3的具体步骤为：S3.1.判断平面的法向量与水平面的夹角是否超出预设的夹角门槛值，是则判定为非相关平面，否则跳转至步骤S3.2；S3.2.确定平面两侧的边界，计算其宽度，以及该宽度与预设的托盘宽度之间的宽度差，判断宽度差是否超出预设的宽度差门槛值，是则判定为非相关平面，否则判定为相关平面。在本实施例中，采用RANSAC拟合的方法确定平面两侧的边界线，拟合结果如图6所示，当采用Kinect 2.0的RGB-D传感器时，预设的夹角门槛值的取值范围为5度至15度，宽度差门槛值的取值范围为托盘宽度的10％至20％。

如图3所示，在本实施例中，步骤S4的具体步骤为：S4.1.将相关平面从三维空间投影至二维空间的栅格中，生成二值图像；S4.2.将预设的托盘模板在二值图像上滑动，计算托盘模板的匹配度，获得匹配度最高的托盘模板，以及该托盘模块在二值图像中的位置；S4.3.将二值图像中与托盘模板匹配的像素投影回三维空间，获取其空间坐标。

在本实施例中，将相关平面从三维空间投影至二维空间的栅格中的赋值规则：如果对应的栅格中有三维点的投影点，则赋值为1，否则，赋值为0。赋值完毕后，生成对应的二值图像。栅格的分辨率与托盘模板的分辨率相同，所生成的二值图像的分辨率与托盘模板的分辨率相同，投影效果如图7所示。将托盘模板在二值图像上滑动，每次滑动步长为1个像素，并按照如式(4)计算托盘模板与二值图像之间的匹配度，

$\mathrm{\χ}=\frac{\mathrm{\θ}-\mathrm{\μ}}{1-\mathrm{\μ}}---\left(4\right)$

式(4)中，χ为匹配度，θ为托盘模板在当前位置和其对应二值图像子窗口中像素值相同的个数与托盘模板像素总数的比值，μ为托盘模板中像素值为1的像素数与其总像素数的比值。通过对所有托盘模板进行滑动匹配，得到具有最高匹配度的托盘模板，以及该托盘模板在二值图像中的位置，判断该托盘模拟的匹配度是否高于预设的匹配阈值，是则根据该托盘模板在二值图像中的位置，将二值图像中与托盘模板匹配的像素投影回三维空间，获得并保存其空间坐标。通过对所有相关平面进行滑动匹配，即识别各相关平面中的托盘并确定托盘的位置。

在本实施例中，如图4所示，托盘模板的制作方法为：测量托盘端面各部分的长度，将其离散化为栅格二值图像，托盘端面实体部分对应像素点为1，缺口部分对应像素点为0。其中栅格的边长根据传感器的分辨率和系统要求的精度确定。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (8)

1.一种基于RGB-D类传感器的托盘识别和定位方法，其特征在于，包括如下步骤：

S1.通过传感器获取深度图像；

S2.对所述深度图像的点云进行平面分割，得到一个或多个平面，构成一个平面集；

S3.从所述平面集中确定可能包含托盘的相关平面；

S4.根据预设的托盘模板对所述相关平面进行匹配，识别相关平面中托盘的位置并进行定位。

2.根据权利要求1所述的基于RGB-D类传感器的托盘识别和定位方法，其特征在于，所述步骤S2的具体步骤包括：

S2.1.通过所述深度图像中点的邻域关系，将深度图像划分为子窗口；

S2.2.计算每个子窗口中点的散布矩阵，并根据该散布矩阵的特征值确定所述子窗口的平面度，并将所述子窗口标记为平面子窗口或非平面子窗口；

S2.3.对相邻的满足预设的同平面标准的平面子窗口合并，得到一个或多个子窗口的集合，每个集合构成一个平面。

3.根据权利要求2所述的基于RGB-D类传感器的托盘识别和定位方法，其特征在于，所述步骤S2.3的具体步骤包括：

S2.3.1.将所有平面子窗口标记为未分割；

S2.3.2.选择平面度最优的未分割的平面子窗口为种子窗口，并标记为已分割；

S2.3.3.判断种子窗口的相邻的子窗口是否满足预设的同平面标准，是则将所述相邻的子窗口标记为已分割，并与所述种子窗口合并，生成新的种子窗口，否则丢弃该相邻的子窗口，重复步骤S2.3.3直到所述种子窗口不再有相邻子窗口合并，得到待定平面；

S2.3.4.重复步骤S2.3.2和步骤S2.3.3，直到所有平面子窗口全部标记为已分割，得到一个或多个待定平面；

S2.3.5.判断所述待定平面中的子窗口数是否大于预设的阈值，是则确定为平面，否则确定为非平面。

4.根据权利要求3所述的基于RGB-D类传感器的托盘识别和定位方法，其特征在于，所述步骤S2.3.3中同平面标准包括：

B1.判断所述相邻子窗口的几何中心与所述种子窗口的距离是否小于预设的距离阈值；

B2.判断所述相邻子窗口的局部平面与所述种子窗口的法线之间的夹角是否小于预设的角度阈值；

B3.判断所述相邻子窗口与所述种子窗口合并后的平面拟合标准差是否小于预设的拟合阈值；

同时满足时所述B1，B2，B3时，判定所述相邻子窗口满足同平面标准，否则判定所述相邻子窗口不满足同平面标准。

5.根据权利要求1至4任一项所述的基于RGB-D类传感器的托盘识别和定位方法，其特征在于，所述步骤S3的具体步骤包括：

S3.1.判断所述平面的法向量与水平面的夹角是否超出预设的夹角门槛值，是则判定为非相关平面，否则跳转至步骤S3.2；

S3.2.确定所述平面两侧的边界，计算其宽度，以及该宽度与预设的托盘宽度之间的宽度差，判断所述宽度差是否超出预设的宽度差门槛值，是则判定为非相关平面，否则判定为相关平面。

6.根据权利要求5所述的基于RGB-D类传感器的托盘识别和定位方法，其特征在于，所述步骤S4的具体步骤包括：

S4.1.将所述相关平面从三维空间投影至二维空间的栅格中，生成二值图像；

S4.2.将所述预设的托盘模板在所述二值图像上滑动，计算所述托盘模板的匹配度，获得匹配度最高的托盘模板，以及该托盘模块在所述二值图像中的位置；

S4.3.将所述二值图像中与所述托盘模板匹配的像素投影回三维空间，获取其空间坐标。

7.根据权利要求6所述的基于RGB-D类传感器的托盘识别和定位方法，其特征在于：所述二值图像的分辨率与所述托盘模板的分辨率相同。

8.根据权利要求7所述的基于RGB-D类传感器的托盘识别和定位方法，其特征在于：所述步骤S1之后，还包括对所述深度图像进行预处理的步骤；所述预处理包括对所述深度图像进行降噪处理和/或消除无效点处理。