CN109795830A - 自动定位物流托盘的方法及装置 - Google Patents

Abstract

本公开实施例涉及计算机视觉技术，提供一种自动定位物流托盘的方法及装置，其中，方法包括：图像采集步骤，进行双目RGB图像采集，得到待处理图像，待处理图像中包括托盘图像；关键点定位步骤，基于关键点定位网络对托盘图像进行关键点定位，得到多个托盘孔洞关键点；关键点坐标计算步骤，基于托盘孔洞关键点进行计算，得到托盘孔洞关键点的三维坐标；托盘位姿确定步骤，基于托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。本实施例提高了叉取物流托盘的准确性。

Description

自动定位物流托盘的方法及装置

技术领域

本发明涉及计算机视觉技术，尤其涉及一种自动定位物流托盘的方法及装置。

背景技术

近年来，随着计算机网络技术的迅猛发展，物流行业也随之逐渐壮大，物流仓库中，货物会摆放在各种规格的物流托盘上，司机通过叉车对托盘进行叉取，从而对货物进行运输传送。这种人工运输的方式效率较低。相关技术中，通过手动定义一些识别规则采用相机对托盘进行定位识别，但是对环境变化、托盘摆放的要求较高，鲁棒性不足。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种自动定位物流托盘的方案。

根据本发明实施例的其中一方面，提供一种自动定位物流托盘的方法，方法包括：图像采集步骤，进行双目RGB图像采集，得到待处理图像，待处理图像中包括托盘图像；关键点定位步骤，基于关键点定位网络对托盘图像进行关键点定位，得到多个托盘孔洞关键点的像素点坐标；关键点坐标计算步骤，基于托盘孔洞关键点的像素点坐标进行计算，得到托盘孔洞关键点的三维坐标；托盘位姿确定步骤，基于托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。

在一例中，托盘孔洞关键点包括托盘孔洞图像的角点。

在一例中，方法还包括：托盘检测步骤，基于托盘检测网络检测待处理图像中的托盘图像，得到托盘检测框；关键点定位步骤，包括：基于关键点定位网络对托盘检测框内的托盘图像进行关键点定位，得到多个托盘孔洞关键点。

在一例中，待处理图像包括第一目图像采集设备采集的第一图像，以及第二目图像采集设备采集的第二图像；关键点坐标计算步骤还包括：关键点深度计算步骤，对第一图像、第二图像的视差图采用预设算法进行计算，得到托盘孔洞关键点的深度；基于托盘孔洞关键点的深度、托盘孔洞关键点的像素点坐标计算得到托盘孔洞关键点的三维坐标。

在一例中，关键点坐标计算步骤，包括：第一光心直线方程获取步骤，基于托盘孔洞关键点分别与第一目光心、第二目光心的连线所在的直线，以及第一目预设坐标系、第二目预设坐标系，获得第一光心直线方程；第二光心直线方程获取步骤，基于第一光心直线方程，以及第一目预设坐标系与第二目预设坐标系之间的旋转矩阵与平移矩阵，获取第二光心直线方程；基于第一光心直线方程与第二光心直线方程，获取托盘孔洞关键点的三维坐标。

在一例中，第一目图像采集设备、第二目图像采集设备平行放置且成像平面共面，第一目图像采集设备对应的第一坐标系与第二目图像采集设备对应的第二坐标系中存在共线坐标轴，且第一目图像采集设备、第二目图像采集设备的光心之间设置预设间距；关键点坐标计算步骤，包括：基于预设间距与第一目图像采集设备、第二目图像采集设备的焦距，以及第一图像和第二图像中托盘孔洞关键点像素点坐标，获取托盘孔洞关键点的三维坐标。

在一例中，托盘位姿确定步骤，包括：叉车位姿获取步骤，基于第一目预设坐标系、第二目预设坐标系进行计算，获取叉车位姿；基于叉车位姿，获取托盘的三维位姿。

在一例中，方法还包括：待处理图像裁剪步骤，基于托盘检测框对待处理图像进行裁剪，得到裁剪后的待处理图像；关键点定位步骤，基于关键点定位网络对裁剪后的待处理图像进行关键点定位，得到多个托盘孔洞关键点。

在一例中，托盘位姿确定步骤，包括：叉车位姿获取步骤，基于第一目预设坐标系、第二目预设坐标系进行计算，获取叉车位姿；基于叉车位姿，获取托盘的三维位姿。

在一例中，待处理图像裁剪步骤，基于托盘检测框对待处理图像进行裁剪，得到裁剪后的待处理图像；关键点定位步骤，基于关键点定位网络对裁剪后的待处理图像进行关键点定位，得到多个托盘孔洞关键点。

根据本发明实施例的另一方面，提供一种自动定位物流托盘的装置，其中，包括：图像采集模块，用于进行双目RGB图像采集，得到待处理图像，待处理图像中包括托盘图像；关键点定位模块，基于关键点定位网络对托盘图像进行关键点定位，得到多个托盘孔洞关键点的像素点坐标；关键点坐标计算模块，用于基于托盘孔洞关键点的像素点坐标进行计算，得到托盘孔洞关键点的三维坐标；托盘位姿确定模块，用于基于托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。

根据本发明实施例的另一方面，提供一种自动叉取物流托盘的方法，包括：定位步骤，基于上述任一实施例的自动定位物流托盘的方法获得物流托盘的三维位姿；叉取步骤，根据物流托盘的三维位姿，叉取物流托盘。

在一例中，叉取步骤，包括：托盘孔洞选取步骤，基于货叉的间距选取与货叉的间距匹配的托盘孔洞，得到待选取托盘孔洞。

根据本发明实施例的另一方面，提供一种自动叉取物流托盘的叉车，包括叉车本体，并通过上述自动叉取物流托盘的方法实施例的自动叉取物流托盘的方法自动叉取物流托盘。

根据本发明实施例的另一方面，提供一种电子设备，其中，包括：存储器，用于存储计算机程序；处理器，用于执行存储器中存储的计算机程序，且计算机程序被执行时，实现上述任一实施例的自动定位物流托盘的方法。

根据本发明实施例的另一方面，提供一种计算机可读存储介质，存储有计算机程序，其中，计算机程序被处理器执行时，实现上述任一实施例的自动定位物流托盘的方法。

基于上述自动定位物流托盘的方法及装置、自动叉取物流托盘的方法、电子设备、计算机可读存储介质，本发明通过基于关键点定位网络对托盘图像进行关键点定位，基于托盘孔洞关键点计算得到托盘孔洞关键点的三维坐标；基于托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿，提高了物流托盘定位的准确性，适用于不同规格、不同材料、不同颜色、不同新旧程度的物流托盘。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了本发明的自动定位物流托盘的方法的一个实施例的流程示意图；

图2示出了本发明的自动定位物流托盘的方法的另一实施例的流程示意图；

图3示出了本发明的自动定位物流托盘的方法的另一实施例的流程示意图；

图4示出了本发明的自动定位物流托盘的方法的另一实施例的流程示意图；

图5示出了本发明的自动定位物流托盘的方法的另一实施例的流程示意图；

图6示出了本发明的自动定位物流托盘的方法的另一实施例的流程示意图；

图7示出了本发明的自动定位物流托盘的装置一个实施例的结构示意图；

图8示出了本发明的自动定位物流托盘的装置另一实施例的结构示意图；

图9示出了本发明的自动叉取物流托盘的方法的一个实施例的流程示意图；

图10示出了本发明的自动叉取物流托盘的方法的另一实施例的流程示意图；

图11示出了本发明的电子设备的一个实施例的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

本发明实施例可以应用于终端设备、计算机系统及服务器等电子设备，其可与众多其它通用或者专用的计算系统环境或者配置一起操作。适于与终端设备、计算机系统以及服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子，包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统以及服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

图1为本发明自动定位物流托盘的方法一个实施例的流程图。如图1所示，该实施例方法包括：图像采集步骤100、关键点定位步骤200、关键点坐标计算步骤300、托盘位姿确定步骤400，下面结合图1对本实施例的自动定位物流托盘的方法进行详细说明。

图像采集步骤100，进行双目RGB图像采集，得到待处理图像，待处理图像中包括托盘图像。

双目立体视觉是融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像。双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。

本实施例采用双目RGB图像采集设备安装在叉车上，利用深度学习的方法对托盘进行定位识别。本实施例不同于一般的双目灰度相机，采用双目RGB彩色图像采集设备，可以是本发明中的图像采集模块10，也可以是集成在叉车上的其他图像采集设备，如双目RGB照相机、双目RGB摄像机、双目RGB摄像头等图像采集设备。

在使用上述双目RGB图像采集设备过程中，首先标定每个图像采集设备的内参，并标定两个图像采集设备之间的外参；之后，对于每个图像采集设备，我们使用深度网络检测物流托盘位置，之后用深度网络提取托盘各个关键点的像素点坐标；最后，结合图像采集设备的外参与关键点像素点坐标，对物流托盘进行定位。

在进行图像采集步骤100之前，选定分辨率符合要求的双目RGB图像采集设备，标定每个双目RGB图像采集设备的内参及双目RGB图像采集设备间的相对位置关系(即外参)；对于每个RGB图像采集设备，给定包含物流托盘的图像作为输入，用深度网络检测物流托盘，并预测预先设定各个关键点(如托盘底面两个洞上的8个角点)的像素坐标。通过手机或者各式摄像机拍摄采集各式托盘在各式地面、各种背景、各种角度距离下的图片，之后人工标注托盘各关键点的像素坐标。通过关键点标注结果裁剪原始图片，训练关键点定位网络。

关键点定位步骤200，基于关键点定位网络对托盘图像进行关键点定位，得到多个托盘孔洞关键点。在上述关键点定位网络通过训练达到标准之后用来对双目RGB图像采集设备采集的包括至少一个物流托盘的图像进行关键点的定位。可以准确得到双目RGB图像采集设备采集的包含物流托盘中的托盘孔洞关键点。

关键点坐标计算步骤300，基于托盘孔洞关键点进行计算，得到托盘孔洞关键点的三维坐标。可以选用双目RGB图像采集设备如双目照相机或者双目摄像机，通过对RGB图像采集设备的内部参数矫正之后使双目RGB图像采集设备的内部参数一样。在使用过程中将RGB图像采集设备平行放置，使它们的光轴相互平行，另有一对坐标轴共线，两个成像平面共面，双目RGB图像采集设备的光心有一个固定的距离d，这样求解图像点的世界坐标时只涉及摄像机内参数。

托盘位姿确定步骤400，基于托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。

位姿，指代物流托盘到叉车的旋转矩阵、平移矩阵，即一个空间坐标系到另一个空间坐标系的变换；通过在物流托盘正面定义三维坐标系，求得托盘上多个托盘孔洞关键点的三维坐标，即可确定托盘空间坐标系，即可求得托盘相对于相机坐标系的旋转矩阵、平移矩阵；假定相机坐标系与叉车坐标系间的旋转矩阵、平移矩阵已知，即可求得物流托盘相对于叉车的位姿，即托盘空间坐标系相对于叉车空间坐标系的旋转矩阵与平移矩阵。

通过计算得到托盘的三维位姿后，叉车可根据该三维位姿对物流托盘进行自动叉取，避免了人工肉眼确定物流托盘进行叉取造成的视觉误差，提高了物流托盘叉取的准确性及叉取效率。

采用本实施例的自动定位物流托盘的方法，可处理各式不同规格(如尺寸不同)、不同材料(如木质、塑料)、不同颜色、不同新旧程度的物流托盘；可以通过学习使得网络适应各种环境；可以通过补充训练数据来解决一些极端情况，如遮挡，更通用，且更鲁棒。

图2示出了本发明自动定位物流托盘的方法的另一些实施例的流程示意图，如图2所示，本实施例的自动定位物流托盘的方法还包括：托盘检测步骤500，基于托盘检测网络检测待处理图像中的托盘图像，得到托盘检测框。在得到托盘检测框之后，关键点定位步骤200可以包括：基于关键点定位网络对托盘检测框内的托盘图像进行关键点定位，得到多个托盘孔洞关键点。

通过在关键点定位之对待处理图像中的托盘图像进行检测，并获得托盘检测框可缩小关键点定位的区域范围，降低关键点定位误差概率，提高托盘孔洞关键点定位的准确性。

在使用托盘检测网络之前可以对选取的检测网络进行托盘检测训练。进行图像采集步骤100之前通过关键点标注结果生成托盘的检测框，训练检测网络；可以采用faster-rcnn网络、retinanet网络、SSD网络、yolo网络、rcnn网络、mask rcnn网络可以作为检测网络进行训练。训练检测网络的一般步骤是：采集托盘图片数据、标注托盘在图片中的检测框，利用标注结果作为监督信息训练检测网络；只要在测试集上的检测结果符合预期，训练后的检测网络皆可以用于托盘检测的托盘检测网络。在一例中，采用现state of art的深度检测网络，如retinanet网络。

图3示出了本发明的自动定位物流托盘的方法的另一实施例的流程示意图。在本实施例中，待处理图像包括第一目图像采集设备采集的第一图像，以及第二目图像采集设备采集的第二图像。如图3所示，本实施例的自动定位物流托盘的方法中关键点坐标计算步骤300，包括：托盘孔洞关键点像素点坐标获取步骤310，基于第一目预设坐标系、第二目预设坐标系分别获取托盘孔洞关键点的像素点坐标，关键点深度计算步骤310，对第一图像、第二图像的视差图采用预设算法进行计算，得到托盘孔洞关键点的深度。根据托盘孔洞关键点的深度，上述关键点坐标计算步骤300可以包括基于托盘孔洞关键点的深度、托盘孔洞关键点的像素点坐标计算得到托盘孔洞关键点的三维坐标。

通过双目RGB图像采集设备采集的待处理图像确定托盘孔洞关键点在各自RGB图像采集设备的坐标系下的二维平面坐标，并通过前述实施例中双目RGB图像采集设备各自坐标系之间的位置关系，确定托盘孔洞关键点的三维坐标，使关键点的定位更准确。

图4示出了本发明自动定位物流托盘的方法的另一些实施例的流程示意图，如图4所示，关键点坐标计算步骤300，包括：第一光心直线方程获取步骤320，基于托盘孔洞关键点分别与第一目光心、第二目光心的连线所在的直线，以及第一目预设坐标系、第二目预设坐标系，获得第一光心直线方程；第二光心直线方程获取步骤330，基于第一光心直线方程，以及第一目预设坐标系与第二目预设坐标系之间的旋转矩阵与平移矩阵，获取第二光心直线方程；关键点坐标计算步骤300具体为，基于第一光心直线方程与第二光心直线方程，获取托盘孔洞关键点的三维坐标。

本实施例中，输入关键点在双目RGB图像采集设备左右两目的像素点坐标，通过双目RGB图像采集设备的内参，可以得到双目RGB图像采集设备各目坐标系下，各个关键点分别与双目RGB图像采集设备左右目相机光心连线所在直线分别在左右目相机坐标系下的直线方程。结合双目RGB图像采集设备的外参，得到2条直线同在左目相机坐标系下的直线方程；求得的2条空间直线的交点，即可得到关键点在相机坐标系下的三维坐标。

在一例中，计算托盘孔洞关键点的三维坐标的算法为：

设定某关键点在左右目下的像素点坐标分别为

结合双目RGB图像采集设备的内部参数矩阵A计算像素点的归一化坐标，其中，双目RGB图像采集设备的内部参数矩阵A如下，

左右目像素点的归一化坐标如下

则该像素点通过双目RGB图像采集设备光心与像素点的空间直线方程可以表示为

其中i＝1，2

具体算法为：

1、应用上述算法计算得到同一孔洞关键点在双目RGB图像采集设备的坐标系下通过光心的空间直线方程；

2、结合双目RGB图像采集设备间的外部参数将其中一目RGB图像采集设备相应的孔洞关键点的直线方程统一到另一目RGB图像采集设备的坐标系下。设定采用直线上一点(mx，my，mz)与直线的方向向量(m，n，p)，得到

则双目RGB图像采集设备直线可分别表示为

line1＝mx₁，my₁，mz₁，m₁，n₁，p₁

line2＝mx₂，my₂，mz₂，m₂，n₂，p₂

3、利用最小二乘法Ex＝b求得两空间直线的交点坐标，该交点坐标即为托盘孔洞关键点的三维坐标，其中，

托盘孔洞关键点的三维坐标即为xyz＝inv(E)*b，其中inv为取反运算，inv(E)可以理解为E^-1，与本实施例中上述计算像素点归一化坐标中A^-1的计算方法相同。

采用本实施例的上述算法计算所得的孔洞关键点三维坐标与前述实施例采用的算法计算得到的孔洞关键点三维坐标相同，并且对双目RGB图像采集设备的要求较低。

除上述实施例中所涉及的算法计算得到托盘孔洞关键点的三维坐标外，还可以通过其他算法得到托盘孔洞关键点的三维坐标，以下对该其他算法进行详细说明。

假设一个RGB图像采集设备C1的坐标系为O₁x₁y₁z₁，另一个RGB图像采集设备C₂坐标系为O₂x₂y₂z₂，焦距为f，RGB图像采集设备间距为d，任何空间点P的坐标在C₁下为(x₁，y₁，z₁)，在C₂坐标系下为(x₂，y₂，z₂)，在左摄像机中的图像点坐标为(u₁，v₁)，在右摄像机中的图像点坐标为(u₂，v₂)。双目RGB图像采集设备满足如下关系

世界坐标系与摄像机坐标系的关系可表述如下

连理上述两式，可得

x₁-x₂＝d

进而可得，托盘孔洞关键点的深度得到RGB图像采集设备图像的视差图，根据相似三角形原理，视差满足

综上各式通过计算可得托盘孔洞关键点的三维坐标为

本实施例中对双目RGB图像采集设备的内参需相同或接近，以保障采样质量和计算结果的准确性。

本实施例通过上述方式确定托盘孔洞关键点的三维坐标，使得叉车定位孔洞更准确，有益于叉车对物流托盘的准确叉取。

图5示出了本发明自动定位物流托盘的方法的另一些实施例的流程示意图，如图5所示，托盘位姿确定步骤400，包括：叉车位姿获取步骤410，基于第一目预设坐标系、第二目预设坐标系进行计算，获取叉车位姿；基于叉车位姿，获取托盘的三维位姿。其中，第一目预设坐标系可以是左目相机的相机坐标系，相应的，第二目预设坐标系为右目相机的相机坐标系；第一目预设坐标系也可以是右目相机的相机坐标系，相应的，第二目预设坐标系为左目相机的相机坐标系。

通过双目RGB图像采集设备结合检测网络与关键点定位网络，确定物流托盘上用于货叉插入的两个洞的关键点坐标，进而系统自动调节货叉将货叉插进物流托盘的孔洞中，在此过程中系统既可以调节货叉的高度，还可以通过调整叉车的方向进而调整货叉的方向。叉车方向的调节是基于上述托盘位姿确定的。物流托盘相对于叉车的位姿确定之后可以实现叉车的自动转向调节，调节准确，避免了人工目测调节叉车以及货叉对物流托盘进行叉取造成的叉取不准确的缺陷。

图6示出了本发明自动定位物流托盘的方法的另一些实施例的流程示意图，如图6所示，本实施例的方法还包括：待处理图像裁剪步骤600，基于托盘检测框对待处理图像进行裁剪，得到裁剪后的待处理图像；在获得裁剪后的待处理图像后，上述关键点定位步骤200可以基于关键点定位网络对裁剪后的待处理图像进行关键点定位，得到多个托盘孔洞关键点。

上述本实施例中，在类似tx2的包含图形处理器(Graphics Processing Unit，GPU)处理单元的嵌入式平台上，双目RGB图像采集设备采集待处理图像，通过tx2上提供的传输接口(如网口、usb接口)即可实现图像传输，类似硬件平台上会运行类似友帮拓(ubntu)的linux系统。通过对待处理图像进行裁剪，既提高了图片在托盘检测网络与关键点定位网络的传输速率，还在一定程度上避免了关键点检测网络的工作负担，避免了关键点检测网络对托盘孔洞关键点之外的其他易混淆的错误定位，提高托盘孔洞关键点的定位准确性。

本发明另一方面提供一种自动定位物流托盘的装置，图7示出了本发明的自动定位物流托盘的装置的一个实施例的结构示意图，如图7所示，本发明的自动定位物流托盘的装置包括图像采集模10、关键点定位模块20、关键点坐标计算模块30、托盘位姿确定模块40，其中，图像采集模10用于进行双目RGB图像采集，得到待处理图像，待处理图像中包括托盘图像；关键点定位模块20用于基于关键点定位网络对托盘图像进行关键点定位，得到多个托盘孔洞关键点；关键点坐标计算模块30用于基于托盘孔洞关键点进行计算，得到托盘孔洞关键点的三维坐标；托盘位姿确定模块40用于基于托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。

采用本实施例的自动定位物流托盘的装置可以处理各式不同规格(如尺寸不同)、不同材料(如木质、塑料)、不同颜色、不同新旧程度的托盘；可以通过学习使得关键点定位网络适应各种环境；可以通过补充训练数据来解决一些极端情况，如遮挡。本实施例的自动定位物流托盘的装置更通用，且更鲁棒。

图8示出了本发明的自动定位物流托盘的装置的另一实施例的结构示意图，在一例中，本发明的自动定位物流托盘的装置还可以包括：托盘检测模块50，其中，托盘检测模块50用于基于托盘检测网络检测待处理图像中的托盘图像，得到托盘检测框；关键点定位模块20还用于基于关键点定位网络对托盘检测框内的托盘图像进行关键点定位，得到多个托盘孔洞关键点。

在一例中，待处理图像包括第一目图像采集设备采集的第一图像，以及第二目图像采集设备采集的第二图像；关键点坐标计算模块30还包括关键点深度计算单元31，其中，关键点深度计算单元31用于对第一图像、第二图像的视差图采用预设算法进行计算，得到托盘孔洞关键点的深度；关键点坐标计算模块30还用于基于托盘孔洞关键点的深度、托盘孔洞关键点的像素点坐标计算得到托盘孔洞关键点的三维坐标。

在一例中，关键点坐标计算模块30包括第一光心直线方程获取单元32与第二光心直线方程获取单元33，其中，第一光心直线方程获取单元32用于基于托盘孔洞关键点分别与第一目光心、第二目光心的连线所在的直线，以及第一目预设坐标系、第二目预设坐标系，获得第一光心直线方程；第二光心直线方程获取单元33用于基于第一光心直线方程，以及第一目预设坐标系与第二目预设坐标系之间的旋转矩阵与平移矩阵，获取第二光心直线方程。关键点坐标计算模块30还用于基于第一光心直线方程与第二光心直线方程，获取托盘孔洞关键点的三维坐标。

在一例中，第一目图像采集设备、第二目图像采集设备平行放置且成像平面共面，第一目图像采集设备对应的第一坐标系与第二目图像采集设备对应的第二坐标系中存在共线坐标轴，且第一目图像采集设备、第二目图像采集设备的光心之间设置预设间距。关键点坐标计算模块30，还用于基于预设间距与第一目图像采集设备、第二目图像采集设备的焦距，以及第一图像和第二图像中托盘孔洞关键点像素点坐标，获取托盘孔洞关键点的三维坐标。

在一例中，托盘位姿确定模块40包括叉车位姿获取单元41，其中，叉车位姿获取单元41用于基于第一目预设坐标系、第二目预设坐标系进行计算，获取叉车位姿。托盘位姿确定模块40具体用于基于叉车位姿，获取托盘的三维位姿。

在一例中，本发明的自动定位物流托盘的装置还包括待处理图像裁剪模块60，其中，待处理图像裁剪模块60用于基于托盘检测框对待处理图像进行裁剪，得到裁剪后的待处理图像。关键点定位模块20用于基于关键点定位网络对裁剪后的待处理图像进行关键点定位，得到多个托盘孔洞关键点。

本发明实施例的另一方面，提供一种自动叉取物流托盘的方法。

图9示出了本发明的自动叉取物流托盘的方法的一个实施例的流程示意图。如图9所示，本实施例的自动叉取物流托盘的方法包括：定位步骤1000与叉取步骤2000。

下面结合图9对本实施例的自动叉取物流托盘的方法进行详细说明。

定位步骤1000，基于如上述任一自动定位物流托盘的方法实施例获得物流托盘的三维位姿。通过确定物流托盘的三维位姿，可得到叉车的货叉到达物流托盘孔洞的旋转与平移。叉车依据计算得出的旋转与平移可以将货叉准确地插入物流托盘的孔洞中。采用数据定位的方式定位物流托盘，并根据计算得出的旋转与平移进行货叉的调整，避免了人为视觉判断存在的失误，提高了叉车叉取物流托盘的准确性。

叉取步骤2000，根据物流托盘的三维位姿，叉取物流托盘。采用本实施例的自动叉取物流托盘的方法，可实现叉车对物流托盘的准确叉取，还降低了人工操作叉车叉取物流托盘的人工成本，避免了人工操作准确度较低的缺陷。

图10示出了本发明的自动叉取物流托盘的方法的另一实施例的流程示意图，如图10所示，本实施例的叉取步骤2000包括：托盘孔洞选取步骤2001，基于货叉间距选取与货叉间距匹配的托盘孔洞图像，得到待选取托盘孔洞图像；基于关键点定位网络对待选取托盘孔洞图像进行关键点定位，得到多个托盘孔洞关键点。

用于叉取物流托盘的货叉之间的间距是一定的，需要根据货叉的间距对选择定位的孔洞。物流托盘上的孔洞数量可以只有两个，也可以有多个以适用于不同货叉进行叉取。托盘孔洞关键点包括托盘孔洞图像的角点。通过定位托盘孔洞的角点，将货叉插入同一托盘孔洞的角点包围的区域内，可避免货叉对物流托盘造成冲击以致结构受到损伤。在定位孔洞关键点的过程中选取适用于货叉的孔洞进行定位，可有效避免货叉与物流托盘不匹配的现象产生。

本发明实施例的另一方面，提供一种自动叉取物流托盘的叉车，包括叉车本体，并通过如上述自动叉取物流托盘的方法实施例的自动叉取物流托盘的方法自动叉取物流托盘。本实施例实现叉车叉取物流托盘自动化，既可以提高物流托盘叉取的准确性，还降低了人工成本。

图11示出了本发明的电子设备的一个实施例的结构示意图。下面参考图11，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。如图11所示，该电子设备该电子设备包括处理器和存储器。电子设备也可以包括输入输出装置，还可以包括图像采集装置。存储器、输入输出装置和图像采集装置均通过总线与处理器连接。其中，存储器，用于存储处理器执行的指令；处理器，用于调用存储器存储的指令，并执行上述实施例涉及的自动定位物流托盘的方法。

本发明实施例中处理器可调用存储器存储的指令，进行双目RGB图像采集，得到待处理图像，待处理图像中包括托盘图像；基于关键点定位网络对托盘图像进行关键点定位，得到多个托盘孔洞关键点；基于托盘孔洞关键点进行计算，得到托盘孔洞关键点的三维坐标；基于托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。其中，电子设备执行自动定位物流托盘的过程，可参阅上述实施例描述的自动定位物流托盘的实施过程，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在计算机上运行时，执行上述实施例涉及的方法。

本发明实施例还提供一种包含指令的计算机程序产品，当包含指令的计算机程序产品在计算机上运行时，使得计算机执行上述实施例涉及的方法。

在一个或多个可选实施方式中，本公开实施例还提供了一种计算机可读存储介质，用于存储计算机可读指令，该指令被执行时使得计算机执行上述任一可能的实现方式中的自动定位物流托盘的方法。在另一个可选例子中，该计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本发明的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (14)

1.一种自动定位物流托盘的方法，其中，包括：

图像采集步骤，进行双目RGB图像采集，得到待处理图像，所述待处理图像中包括托盘图像；

关键点定位步骤，基于关键点定位网络对所述托盘图像进行关键点定位，得到多个托盘孔洞关键点的像素点坐标；

关键点坐标计算步骤，基于所述托盘孔洞关键点的像素点坐标进行计算，得到托盘孔洞关键点的三维坐标；

托盘位姿确定步骤，基于所述托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。

2.根据权利要求1所述的方法，其中，所述托盘孔洞关键点包括所述托盘孔洞图像的角点。

3.根据权利要求1所述的方法，其中，所述方法还包括：

托盘检测步骤，基于托盘检测网络检测所述待处理图像中的所述托盘图像，得到托盘检测框；

所述关键点定位步骤，包括：

基于关键点定位网络对所述托盘检测框内的所述托盘图像进行关键点定位，得到多个托盘孔洞关键点。

4.根据权利要求1所述的方法，其中，所述待处理图像包括第一目图像采集设备采集的第一图像，以及第二目图像采集设备采集的第二图像；所述关键点坐标计算步骤还包括：

关键点深度计算步骤，对所述第一图像、所述第二图像的视差图采用预设算法进行计算，得到所述托盘孔洞关键点的深度；

基于所述托盘孔洞关键点的深度、所述托盘孔洞关键点的像素点坐标计算得到所述托盘孔洞关键点的三维坐标。

5.根据权利要求4所述的方法，其中，所述关键点坐标计算步骤，包括：

第一光心直线方程获取步骤，基于所述托盘孔洞关键点分别与第一目光心、第二目光心的连线所在的直线，以及第一目预设坐标系、第二目预设坐标系，获得第一光心直线方程；

第二光心直线方程获取步骤，基于所述第一光心直线方程，以及所述第一目预设坐标系与所述第二目预设坐标系之间的旋转矩阵与平移矩阵，获取第二光心直线方程；

基于第一光心直线方程与所述第二光心直线方程，获取所述托盘孔洞关键点的三维坐标。

6.根据权利要求4所述的方法，其中，所述第一目图像采集设备、所述第二目图像采集设备平行放置且成像平面共面，第一目图像采集设备对应的第一坐标系与第二目图像采集设备对应的第二坐标系中存在共线坐标轴，且所述第一目图像采集设备、所述第二目图像采集设备的光心之间设置预设间距；

所述关键点坐标计算步骤，包括：基于所述预设间距与所述第一目图像采集设备、所述第二目图像采集设备的焦距，以及所述第一图像和第二图像中托盘孔洞关键点像素点坐标，获取所述托盘孔洞关键点的三维坐标。

7.根据权利要求5所述的方法，其中，所述托盘位姿确定步骤，包括：

叉车位姿获取步骤，基于所述第一目预设坐标系、第二目预设坐标系进行计算，获取叉车位姿；

基于所述叉车位姿，获取所述托盘的三维位姿。

8.根据权利要求3所述的方法，其中，所述方法还包括：

待处理图像裁剪步骤，基于所述托盘检测框对所述待处理图像进行裁剪，得到裁剪后的待处理图像；

所述关键点定位步骤，基于关键点定位网络对所述裁剪后的待处理图像进行关键点定位，得到多个所述托盘孔洞关键点。

9.一种自动定位物流托盘的装置，其中，包括：

图像采集模块，用于进行双目RGB图像采集，得到待处理图像，所述待处理图像中包括托盘图像；

关键点定位模块，基于关键点定位网络对所述托盘图像进行关键点定位，得到多个托盘孔洞关键点的像素点坐标；

关键点坐标计算模块，用于基于所述托盘孔洞关键点的像素点坐标进行计算，得到托盘孔洞关键点的三维坐标；

托盘位姿确定模块，用于基于所述托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。

10.一种自动叉取物流托盘的方法，其中，包括：

定位步骤，基于如权利要求1-8所述的自动定位物流托盘的方法获得所述物流托盘的三维位姿；

叉取步骤，根据所述物流托盘的所述三维位姿，叉取所述物流托盘。

11.如权利要求10所述的自动叉取物流托盘的方法，其中，所述叉取步骤，包括：

托盘孔洞选取步骤，基于货叉的间距选取与所述货叉的间距匹配的所述托盘孔洞，得到待选取托盘孔洞。

12.一种自动叉取物流托盘的叉车，其中，包括叉车本体，并通过如权利要求10或11所述的自动叉取物流托盘的方法自动叉取物流托盘。

13.一种电子设备，其中，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现权利要求1-8任一所述的自动定位物流托盘的方法。

14.一种计算机可读存储介质，存储有计算机程序，其中，所述计算机程序被处理器执行时，实现权利要求1-8任一所述的自动定位物流托盘的方法。