CN113989366A - 一种托盘定位方法及装置 - Google Patents

Abstract

本发明公开了一种托盘定位方法及装置，涉及托盘定位技术领域，主要目的在于提高托盘定位的计算效率和精确度；主要技术方案包括：获取托盘的二维图像和点云数据；确定所述二维图像中所述托盘对应的像素位置；将所述点云数据中对应于所述像素位置的点云选取为感兴趣托盘点云；对所述感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云；基于所述精确托盘点云，确定所述托盘的定位信息。

Description

一种托盘定位方法及装置

技术领域

本发明涉及托盘定位技术领域，特别是涉及一种托盘定位方法及装置。

背景技术

随着科技的发展，工业自动化应用而生，为降低人力劳动成本，仓储环境下通常采用AGV叉车等智能搬运设备进行搬运货物。AGV叉车等智能搬运设备搬运的是用于放置货物的托盘。托盘盛放物品，再通过AGV叉车等智能搬运设备将托盘托起，搬运到相应位置。

AGV叉车等智能搬运设备的工作重点在于，如何获取托盘在空间中的位置，以指导AGV到达该位置完成货物搬运。目前，定位托盘在空间上位置的方法包括二维图像处理技术和三维点云处理技术。二维处理技术受限于仓储环境，仓储环境复杂多变的环境光照等外界因素使得图像之间的差异较大，对目标的特征提取造成干扰，设算法的鲁棒性、适应性较差，导致托盘定位的精确度较低。三维点云处理技术，由于点云数据量较大，计算效率较低，很难满足工业应用的实时性要求。

发明内容

有鉴于此，本发明提出了一种托盘定位方法及装置，主要目的在于提高托盘定位的计算效率和精确度。

为了达到上述目标，主要采用了如下技术方案：

第一方面，本发明提供了一种托盘定位方法，该方法包括：

获取托盘的二维图像和点云数据；

确定所述二维图像中所述托盘对应的像素位置；

将所述点云数据中对应于所述像素位置的点云选取为感兴趣托盘点云；

对所述感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云；

基于所述精确托盘点云，确定所述托盘的定位信息。

第二方面，本发明提供了一种托盘定位装置，该装置包括：

获取单元，用于获取托盘的二维图像和点云数据；

第一确定单元，用于确定所述二维图像中所述托盘对应的像素位置；

选取单元，用于将所述点云数据中对应于所述像素位置的点云选取为感兴趣托盘点云；

配准单元，用于对所述感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云；

第二确定单元，用于基于所述精确托盘点云，确定所述托盘的定位信息。

第三方面，本发明提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的托盘定位方法。

第四方面，本发明提供了一种存储管理设备，所述存储管理设备包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于运行所述程序以执行第一方面所述的托盘定位方法。

借由上述技术方案，本发明提供的托盘定位方法及装置，当托盘需要搬运时，获取托盘的二维图像和点云数据。然后确定二维图像中托盘对应的像素位置，并将点云数据中对应于像素位置的点云选取为感兴趣托盘点云。对感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云。最后基于精确托盘点云确定托盘的定位信息。可见，本发明提供的方案同时使用了二维图像处理技术和三维点云处理技术。使用二维图像处理技术获取托盘在二维图像中的像素位置，然后通过像素位置提取托盘在三维点云数据中的目标点云，即获取对应的感兴趣托盘点云，又通过三维点云处理技术对托盘的感兴趣托盘点进行筛选，利用筛选后的精确托盘点云确定托盘定位信息。因此，本发明提供的方案能够准确地提取托盘的感兴趣区域点云，这也有效地减少了确定托盘定位信息所需的点云数量，从而提高托盘定位的计算效率和精确度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一个实施例提供的一种托盘定位方法的流程图；

图2示出了本发明另一个实施例提供的一种托盘的示意图；

图3示出了本发明一个实施例提供的一种托盘定位装置的结构示意图；

图4示出了本发明另一个实施例提供的一种托盘定位装置的结构示意图。

具体实施方式

下面将参照附图更加详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

随着科技的发展，工业自动化应运而生，为降低人力劳动成本，仓储环境下通常采用AGV叉车等智能搬运设备进行搬运货物。AGV叉车等智能搬运设备搬运的是用于放置货物的托盘。托盘盛放物品，再通过AGV叉车等智能搬运设备将托盘托起，搬运到相应位置。

AGV叉车等智能搬运设备的工作重点在于，如何获取托盘在空间中的位置，以指导AGV到达该位置完成货物搬运。目前，获取托盘在空间上的位置方法包括如下四种：第一种，采用基于颜色、边缘、角点的特征对托盘的图像进行分割的视觉检测算法。此种方法很容易受到外部实际环境光照等因素对特征提取的干扰，算法的鲁棒性和适应性较差。第二种，采用视觉标签的检测方法定位托盘。此种方法在托盘的立柱面贴视觉标志，视觉标志一般是二维码或者其他容易识别的条码，然后通过寻找视觉标志找到托盘，视觉标志成为托盘检测的影响因素，但是当视觉标志受到污损就会大大地影响托盘检测结果。第三种，采用基于Harr-like、LBP特征实现托盘的定位，这种定位方法依赖当前托盘的位姿状态，最佳情况是保持托盘立柱面与传感器成像面保持平行。然而在实际应用场景中，托盘的位姿不确定性很大，不能完全保持相对稳定的姿态，因此相关的算法有很大的局限性，造成托盘定位的精确度较低。第四种，采用基于三维点云的方法定位托盘，此种方式由于点云数据量较大，导致计算效率较低，很难满足工业应用的实时性要求。

可见，现有的托盘定位的方法存在上述中所提及的计算效率和精确度较低的缺陷，因此，针对上述缺陷，本发明实施例提出了一种托盘定位方法及装置，以提高托盘定位的计算效率和精确度。下面对本发明实施例提出的托盘定位方法及装置进行具体说明。

如图1所示，本发明实施例提供了一种托盘定位方法，该方法主要包括：

101、获取托盘的二维图像和点云数据。

本发明实施例提出的托盘定位方法用于定位出仓储环境中的托盘，以辅助AGV叉车等智能搬运设备准确的搬运托盘。

在实际应用中，3D相机安装于AGV叉车等智能搬运设备上，该3D相机具有采集二维图像和点云数据的功能。当智能搬运设备到达固定位置时，向上位机软件系统发起请求，然后上位机软件系统控制3D相机进行拍照，获取托盘的二维图像和三维点云数据。需要说明的是，固定位置判定为，智能搬运设备与托盘之间的距离不小于预设距离阈值时，判定智能搬运设备达到固定位置。

托盘的二维图像和点云数据为同一场景下采集的数据，其二者存在对应关系。相机坐标系满足右手定则，当面向相机镜头时，向左为X坐标轴正方向，向下为Y坐标轴正方向，向前为Z坐标轴正方向。因此，确定各平面在相机深度方向的值即为Z坐标轴的值。

102、确定所述二维图像中所述托盘对应的像素位置。

确定二维图像中托盘对应的像素位置的具体过程为：利用深度学习托盘目标检测模型对二维图像进行托盘检测，获取托盘对应的像素位置。

这里所述的深度学习托盘目标检测模型具有识别托盘并返回其在图像中的像素位置的功能。该深度学习托盘目标检测模型为预先训练好的模型，在需要识别二维图像中托盘的像素位置时，直接使用即可。

深度学习托盘目标检测模型可通过如下方式获取：采集大量针对托盘的二维图像，将所采集的二维图像制作为深度学习目标检测使用的VOC（Visual Object Classes，可视对象类）数据格式的数据集，并按照设定比例，比如7：3的比例分配给训练集和测试集。然后，选择检测模型，设置模型的训练参数，然后将训练集作为检测模型输入，训练该模型。然后使用测试集对训练后的模型进行测试，测试满足设定的准确率时，则模型训练成功，将训练成功的模型作为深度学习托盘目标检测模型。这里所述的深度学习托盘目标检测模型的具体类型本发明实施例不做具体限定，可以基于具体的业务需求选用。示例性的，该检测模型为Yolov3模型。这里所述的二维图像均为托盘立柱面的图像，托盘立柱面为叉车对所述托盘的可叉取面。如图2所示，20为托盘，阴影对应的A面即为托盘立柱面。

像素位置为二维图像中托盘所在的位置，该像素位置通过如下几个参数表示：像素点坐标、像素宽度和像素高度，其中，像素坐标点为托盘中的目标点在二维图像中的坐标，像素宽度为以像素坐标点为基准确定的托盘在二维图像中的宽度，像素高度为以像素坐标点为基准确定的托盘在二维图像中的高度。其中，该目标点可以基于业务要求确定，其可以是托盘左上角、托盘左下角、托盘右上角、托盘右下角。

示例性的，像素位置以托盘左上角定义，则像素位置为(X,Y,H,W)，托盘左上角的像素点坐标（X,Y）以及托盘在二维图像中的像素宽度H和像素高度W。

103、将所述点云数据中对应于所述像素位置的点云选取为感兴趣托盘点云。

选取感兴趣托盘点云的方法包括如下两种：

第一种，将点云数据中所有对应于像素位置的点云均选取为感兴趣托盘点云。

第二种，为了保证托盘定位的精确度，则选取感兴趣托盘点云的具体方法包括如下步骤一至步骤二：

步骤一，校准所述像素位置，获取目标像素位置；

由于二维图像在采集时，可能受到一些光照、遮挡等环境因素的影响，导致其内的托盘的像素位置与托盘的真实位置存在一定的误差。因此，为了保证托盘定位的精确度，需要校准像素位置。

校准像素位置的具体方法为：利用像素位置所涉及的像素点坐标、像素宽度和像素高度各自对应的校验值，校验像素位置，得到目标像素位置。其中，像素点坐标、像素宽度和像素高度其各自对应的校验值，用于增大或减少其各自的现有值。

示例性的，像素位置以托盘左上角定义，像素位置为(X,Y,H,W)。根据点云数据按行保存的特点，公式i=a×Y+X，计算可得托盘左上角像素点对应的点在三维点云数据存储中的索引号，其中，a的大小基于相机的分辨率确定，比如，Basler ToF相机提供640 × 480像素的分辨率，则a取值为640。由于考虑目标检测所得像素位置存在误差，因此将托盘左上角的起始点设置为i=640×（Y-10）+（X-10），因此目标像素位置对应的参数设置为(X-10,Y-10,H+20,W+20)，其中托盘目标所在的像素位置的像素宽度和像素高度变为H+20和W+20。这里所述的目标像素位置即为感兴趣托盘点云的选取范围。

步骤二，将所述点云数据中对应于所述目标像素位置的点云选取为感兴趣托盘点云。

在选取感兴趣点云时，首先将点云数据中对应于目标像素位置的点云，确定为感兴趣点云。然后对感兴趣点云进行体素滤波处理，获取感兴趣托盘点云。体素滤波处理主要用于减少点云的数量，这种方法可以减少感兴趣托盘点云的数量，从而减少托盘定位的计算量，提高托盘定位的计算效率。

104、对所述感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云。

为了提高托盘定位的精确度，则需要对感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云。该精确托盘点云的获取方法包括如下步骤一至步骤三：

步骤一，确定所述托盘模板点云的特征描述子以及所述感兴趣托盘点云的特征描述子。

在配准时需要使用托盘模板点云，该托盘模板点云是预先制作好的托盘点云模板，在使用时直接调取即可。下面对该托盘模板点云的制作过程进行说明：首先采集托盘的点云数据，并提取其托盘立柱面，比如，模板点云，即为图2托盘立柱面A对应的 M型的点云。当然为了减少模板点云中点云的数量，可对所提取的托盘立柱面对应的点云进行体素滤波处理。这里所涉及的托盘立柱面具有明显的结构特征，选择立柱面作为模板，一方面其明显的结构特征对于托盘特征提取具有优势，另一方面大大减少了可以表征托盘的点云数据量，在后续托盘识别时，起到提高计算效率的作用。另外，托盘立柱面为叉车对托盘的可叉取面，对于叉车移动托盘有较大的指导作用。

对于点云来说，点云中任意一点与其周围的邻域点之间存在空间关系，特征描述子可描述这个空间关系，特征描述子可以基于点与其k邻域之间的关系，获得最好的点云表面变化情况，以描述点云的几何特征。因此，需要确定出托盘模板点云的特征描述子以及感兴趣托盘点云的特征描述子。这里所述的特征描述子的具体类型可以基于业务要求确定。示例性的，本发明实施例所用的特征描述子为FPFH（Fast Point Feature Histograms，快速点特征直方图）特征描述子。

步骤二，将所述托盘模板点云及其对应的特征描述子、所述感兴趣托盘点云及其对应的特征描述子，作为第一配准算法的输入，得到所述托盘模板点云与感兴趣托盘点云之间的变换矩阵。

第一配准算法的具体算法类型可基于业务需求确定，本实施例不做具体限定。示例性的，第一配准算法为SCP（Sample Consensus Prerejective，刚性物体位姿估计）算法。

SCP算法确定感兴趣托盘点云与托盘模板点云的变换矩阵的具体过程为：第一步，定义变换矩阵T=argmin ε（T）=argmin∑（T _p-q）²，使得托盘模板点云P上的任意一点p与感兴趣托盘点云Q中的任意一点q之间的距离平方和最小化。第二步，通过最近邻匹配，在托盘模板点云P中找到n≥3个随机对象点，并在感兴趣托盘点云Q中找到它们对应的点。第三步，使用n个采样对应点估计一个假设变换T，并将假设变换矩阵T应用于托盘模板点云P上。第四步，采用空间最近邻域搜索方法在变换后的托盘模板点云与感兴趣托盘点云Q之间找到内点，然后采用欧氏距离阈值进行判断，如果内点数低于设定阈值，返回第二步。第五步，使用内点对应重新估计一个假设变换。第六步，通过将内点代入上述公式，计算ε（T）的值，如果值为目前为止的最小值，设置当前T作为托盘模板点云与感兴趣托盘点云之间的变换矩阵。

步骤三，将所述托盘模板点云、所述感兴趣托盘点云以及所述变换矩阵，作为第二配准算法的输入，得到所述精确托盘点云。

第二配准算法的具体算法类型可基于业务需求确定，本实施例不做具体限定。示例性的，第二配准算法为ICP（Iterative Closest Point，迭代最近点）算法。

ICP算法确定精确托盘点云的具体过程为：第一步，定义均方误差

，P_s和P_t是托盘模板点云和感兴趣托盘点云中的对应点，R和t分别表示旋转矩阵和平移向量。第二步，根据SCP获得的对应关系“变换矩阵”，对托盘模板点云施加初始变换T，得到新的点云。第三步，在感兴趣托盘点云P_t中寻找与P_s最近的点云，形成对应点对。第四步，计算ε（T）的值。第五步，设置误差和迭代次数阈值，直到收敛， 若不收敛，返回第一步。

105、基于所述精确托盘点云，确定所述托盘的定位信息。

托盘的定位信息包括中心坐标和/或位姿数据，这两种可以同时使用，或单独使用。

第一种，基于精确托盘点云确定托盘的中心坐标的具体过程包括如下步骤一至步骤三：

步骤一，从所述精确托盘点云中，选取所述托盘在相机坐标系下的各坐标轴对应的最大坐标值和最小坐标值。

相机坐标系为三维坐标系，其包括有三个坐标轴，这三个坐标轴分别为X坐标轴、Y坐标轴、Z坐标轴。从精确托盘点云中选取托盘在相机坐标系下的各坐标轴对应的最大坐标值和最小坐标值：Xmax、Xmin、Ymax、Ymin、Zmax、Zmin。

步骤二，对于各所述坐标轴均执行：将所述坐标轴对应的最大坐标值和最小坐标值的平均值，确定为所述托盘在所述坐标轴的中心坐标值。

确定托盘在坐标轴的中心坐标值分别为：

，

，

。

步骤三，基于各所述坐标轴对应的中心坐标值，生成所述托盘的中心对应的中心坐标。

托盘的中心对应的中心坐标为（Xcenter，Ycenter，Zcenter）。AGV叉车等智能搬运设备根据该中心坐标，便可确认出托盘的中心位置，便于确定叉车叉子端的移动的偏移量。

所述方法还包括：

进一步的，为了确定托盘是否为可搬运或便于搬运的状态，则需要确定精确托盘点云对应的质心和中心，在相机坐标系的同一坐标轴上的坐标值。并基于这两个坐标值的比对结果，确定托盘的放置情况。

这里所述的质心可从精确托盘点云中直接获取。这里所述的同一坐标轴可以基于业务要求确定，可选的，该坐标轴可以为Y轴。对比质心和中心的Y坐标值。若托盘点云的质心的Y坐标值大于中心的Y坐标值，即托盘正向放置，说明叉车等智能搬运设备可以对该托盘进行搬运。若托盘点云的质心的Y坐标值小于中心的Y坐标值，说明该托盘可以存在反向放置或存在其他特殊情况，叉车等智能搬运设备不便进行搬运，需要发出提示，进行后续处理。

第二种，基于所述精确托盘点云确定所述托盘的位姿数据的具体过程包括如下步骤一至步骤二：

步骤二，对于每一个所述坐标轴均执行：将所述精确托盘点云投影于所述坐标轴对应的坐标平面，将投影而得的散点拟合成一条直线，确定所述坐标轴与所述直线的夹角。

坐标轴包括有X坐标轴、Y坐标轴、Z坐标轴，其处理方式基于相同，下面以Z坐标轴为例进行说明：将精确托盘点云投影于相机坐标系下的xz平面。由于精确托盘点云是托盘立柱面对应的点云，投影后近似为直线，因此可依据最小二乘法对投影对应的散点拟合成一条直线，求直线与Z坐标轴的夹角，该所求得的夹角即为托盘立柱面与Z坐标轴的夹角。同理，确定托盘立柱面与X坐标轴的夹角，托盘立柱面与Y坐标轴的夹角。

步骤三，基于各所述坐标轴对应的夹角，生成所述托盘的位姿数据。

各坐标轴对应的夹角体现了托盘立柱面的位姿，因此基于各坐标轴对应的夹角，生成托盘的位姿数据，这个位姿数据代表托盘的位姿。基于位姿数据叉车等智能搬运设备便可调整叉子的角度，从而实现托盘的搬运。

本发明实施例提供的托盘定位方法，当托盘需要搬运时，获取托盘的二维图像和点云数据。然后确定二维图像中托盘对应的像素位置，并将点云数据中对应于像素位置的点云选取为感兴趣托盘点云。对感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云。最后基于精确托盘点云确定托盘的定位信息。可见，本发明实施例提供的方案同时使用了二维图像处理技术和三维点云处理技术。使用二维图像处理技术获取托盘在二维图像中的像素位置，然后通过像素位置提取托盘在三维点云数据中的目标点云，即获取对应的感兴趣托盘点云，又通过三维点云处理技术对托盘的感兴趣托盘点进行筛选，利用筛选后的精确托盘点云确定托盘定位信息。因此，本发明实施例提供的方案能够准确地提取托盘的感兴趣区域点云，这也有效地减少了确定托盘定位信息所需的点云数量，从而提高托盘定位的计算效率和精确度。

进一步的，依据上述方法实施例，本发明的另一个实施例还提供了一种托盘定位装置，如图3所示，所述装置包括：

获取单元31，用于获取托盘的二维图像和点云数据；

第一确定单元32，用于确定所述二维图像中所述托盘对应的像素位置；

选取单元33，用于将所述点云数据中对应于所述像素位置的点云选取为感兴趣托盘点云；

配准单元34，用于对所述感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云；

第二确定单元35，用于基于所述精确托盘点云，确定所述托盘的定位信息。

本发明实施例提供的托盘定位装置，当托盘需要搬运时，获取托盘的二维图像和点云数据。然后确定二维图像中托盘对应的像素位置，并将点云数据中对应于像素位置的点云选取为感兴趣托盘点云。对感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云。最后基于精确托盘点云确定托盘的定位信息。可见，本发明实施例提供的方案同时使用了二维图像处理技术和三维点云处理技术。使用二维图像处理技术获取托盘在二维图像中的像素位置，然后通过像素位置提取托盘在三维点云数据中的目标点云，即获取对应的感兴趣托盘点云，又通过三维点云处理技术对托盘的感兴趣托盘点进行筛选，利用筛选后的精确托盘点云确定托盘定位信息。因此，本发明实施例提供的方案能够准确地提取托盘的感兴趣区域点云，这也有效地减少了确定托盘定位信息所需的点云数量，从而提高托盘定位的计算效率和精确度。

可选的，如图4所示，所述选取单元33包括：

校准模块331，用于校准所述像素位置，获取目标像素位置；

选取模块332，用于将所述点云数据中对应于所述像素位置的点云选取为感兴趣托盘点云。

可选的，如图4所示，校准模块331，具体用于利用所述像素位置所涉及的像素点坐标、像素宽度和像素高度各自对应的校验值，校验所述像素位置，得到所述目标像素位置，其中，所述像素点坐标、所述像素宽度和所述像素高度其各自对应的校验值，用于增大或减少其各自的现有值。

可选的，如图4所示，选取模块32，具体用于将所述点云数据中对应于所述目标像素位置的点云，确定为感兴趣点云；对所述感兴趣点云进行体素滤波处理，获取所述感兴趣托盘点云。

可选的，如图4所示，第二确定单元35所涉及的定位信息包括所述中心坐标和/或位姿数据。

可选的，如图4所示，定位信息为中心坐标时，第二确定单元35包括：

第一确定模块351，用于从所述精确托盘点云中，选取所述托盘在相机坐标系下的各坐标轴对应的最大坐标值和最小坐标值；对于各所述坐标轴均执行：将所述坐标轴对应的最大坐标值和最小坐标值的平均值，确定为所述托盘在所述坐标轴的中心坐标值；基于各所述坐标轴对应的中心坐标值，生成所述托盘的中心对应的中心坐标。

可选的，如图4所示，定位信息为位姿数据时，第二确定单元35包括：

第二确定模块352，用于针对每一个所述坐标轴均执行：将所述精确托盘点云投影于所述坐标轴对应的坐标平面，将投影而得的散点拟合成一条直线，确定所述坐标轴与所述直线的夹角；基于各所述坐标轴对应的夹角，生成所述托盘的位姿数据。

可选的，如图4所示，第二确定单元35还包括：

第三确定模块353，用于确定所述精确托盘点云对应的质心和中心，在所述相机坐标系的同一坐标轴上的坐标值；基于两个所述坐标值的比对结果，确定所述托盘的放置情况。

可选的，如图4所示，配准单元34，具体用于确定所述托盘模板点云的特征描述子以及所述感兴趣托盘点云的特征描述子；将所述托盘模板点云及其对应的特征描述子、所述感兴趣托盘点云及其对应的特征描述子，作为第一配准算法的输入，得到所述托盘模板点云与感兴趣托盘点云之间的变换矩阵；将所述托盘模板点云、所述感兴趣托盘点云以及所述变换矩阵，作为第二配准算法的输入，得到所述精确托盘点云。

可选的，如图4所示，第一确定单元32，具体用于利用深度学习托盘目标检测模型对所述二维图像进行托盘检测，获取所述托盘对应的像素位置。

本发明实施例提供的托盘定位装置中，各个功能模块运行过程中所采用的方法详解可以参见图1方法实施例的对应方法详解，在此不再赘述。

进一步的，依据上述实施例，本发明的另一个实施例还提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行图1述的托盘定位方法。

进一步的，依据上述实施例，本发明的另一个实施例还提供了一种存储管理设备，所述存储管理设备包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于运行所述程序以执行图1所述的托盘定位方法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照本公开的实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种托盘定位方法，其特征在于，所述方法包括：

获取托盘的二维图像和点云数据；

确定所述二维图像中所述托盘对应的像素位置；

将所述点云数据中对应于所述像素位置的点云选取为感兴趣托盘点云；

对所述感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云；

基于所述精确托盘点云，确定所述托盘的定位信息。

2.根据权利要求1所述的方法，其特征在于，将所述点云数据中对应于所述像素位置的点云选取为感兴趣托盘点云，包括：

校准所述像素位置，获取目标像素位置；

将所述点云数据中对应于所述目标像素位置的点云选取为感兴趣托盘点云。

3.根据权利要求2所述的方法，其特征在于，将所述点云数据中对应于所述目标像素位置的点云选取为感兴趣托盘点云，包括：

将所述点云数据中对应于所述目标像素位置的点云，确定为感兴趣点云；

对所述感兴趣点云进行体素滤波处理，获取所述感兴趣托盘点云；

和/或，

校准所述像素位置，获取目标像素位置，包括：

利用所述像素位置所涉及的像素点坐标、像素宽度和像素高度各自对应的校验值，校验所述像素位置，得到所述目标像素位置，其中，所述像素点坐标、所述像素宽度和所述像素高度其各自对应的校验值，用于增大或减少其各自的现有值。

4.根据权利要求1所述的方法，其特征在于，所述定位信息包括中心坐标，则基于所述精确托盘点云，确定所述托盘的定位信息，包括：

从所述精确托盘点云中，选取所述托盘在相机坐标系下的各坐标轴对应的最大坐标值和最小坐标值；

对于各所述坐标轴均执行：将所述坐标轴对应的最大坐标值和最小坐标值的平均值，确定为所述托盘在所述坐标轴的中心坐标值；

基于各所述坐标轴对应的中心坐标值，生成所述托盘的中心对应的中心坐标。

5.根据权利要求1所述的方法，其特征在于，所述定位信息包括位姿数据，则基于所述精确托盘点云，确定所述托盘的定位信息，包括：

针对每一个所述坐标轴均执行：将所述精确托盘点云投影于所述坐标轴对应的坐标平面，将投影而得的散点拟合成一条直线，确定所述坐标轴与所述直线的夹角；

基于各所述坐标轴对应的夹角，生成所述托盘的位姿数据。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

确定所述精确托盘点云对应的质心和中心，在相机坐标系的同一坐标轴上的坐标值；

基于两个所述坐标值的比对结果，确定所述托盘的放置情况。

7.根据权利要求1-6中任一所述的方法，其特征在于，对所述感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云，包括：

确定所述托盘模板点云的特征描述子以及所述感兴趣托盘点云的特征描述子；

将所述托盘模板点云及其对应的特征描述子、所述感兴趣托盘点云及其对应的特征描述子，作为第一配准算法的输入，得到所述托盘模板点云与感兴趣托盘点云之间的变换矩阵；

将所述托盘模板点云、所述感兴趣托盘点云以及所述变换矩阵，作为第二配准算法的输入，得到所述精确托盘点云；

和/或，

确定所述二维图像中所述托盘对应的像素位置，包括：

利用深度学习托盘目标检测模型对所述二维图像进行托盘检测，获取所述托盘对应的像素位置。

8.一种托盘定位装置，其特征在于，所述装置包括：

获取单元，用于获取托盘的二维图像和点云数据；

第一确定单元，用于确定所述二维图像中所述托盘对应的像素位置；

选取单元，用于将所述点云数据中对应于所述像素位置的点云选取为感兴趣托盘点云；

配准单元，用于对所述感兴趣托盘点云和托盘模板点云进行配准处理，得到精确托盘点云；

第二确定单元，用于基于所述精确托盘点云，确定所述托盘的定位信息。

9.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求7中任意一项所述的托盘定位方法。

10.一种存储管理设备，其特征在于，所述存储管理设备包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于运行所述程序以执行权利要求1至权利要求7中任意一项所述的托盘定位方法。

Images