CN109829947A - 位姿确定方法、托盘装载方法、装置、介质及电子设备 - Google Patents

Abstract

本公开涉及计算机技术领域，具体涉及一种位姿确定方法、托盘装载方法、位姿确定装置、托盘装载装置、计算机可读存储介质及电子设备。本公开实施例提供的位姿确定方法包括：通过图像采集设备获取包含目标对象的图像；基于所述图像确定所述目标对象的多个特征点，并获取各个所述特征点在所述图像中的像素坐标；将所述像素坐标输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息；根据所述深度信息和所述旋转角度信息确定所述目标对象相对于所述图像采集设备的位姿信息。本公开实施例提供的位姿确定方法可以提高位姿预测的鲁棒性和普适性。

Description

位姿确定方法、托盘装载方法、装置、介质及电子设备

技术领域

本公开涉及计算机技术领域，具体涉及一种位姿确定方法、托盘装载方法、位姿确定装置、托盘装载装置、计算机可读存储介质及电子设备。

背景技术

位姿测量在诸多技术领域均有着广泛应用，尤其是在工业机器人的自动化控制方面，对静态物体或者动态物体在三维空间中的位置和姿态信息进行准确测量是控制机器人完成空间任务的重要组成部分。

例如在仓储物流领域，需要叉车对托盘上的货物进行大量的运输传送。传统的托盘运输方式是由司机在获取运输信息后，开动叉车或者手推叉车叉取托盘，对托盘货物进行装载传输，需要耗费较大的人力，且效率较低。若能感知托盘相对于叉车的三维位姿，就能在计算机控制下实现叉车自动叉取托盘，不仅可以降低人工成本而且可以提高工作效率。

现有的位姿估计算法一般基于传统的三维视觉方法，例如用于解决非接触三维测量问题的基于透视投影的PnP算法(Perspective-n-Point)，这类方法普遍存在对噪声敏感、不够鲁棒的缺陷，仅能应用于一些简单的环境场景，而且通常需要提前获知对象的尺寸信息，普适性较差。因此，如何能够提高位姿估计的鲁棒性和普适性是目前亟待解决的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种位姿确定方法、托盘装载方法、位姿确定装置、托盘装载装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制而导致的鲁棒性和普适性较差的技术问题。

根据本公开的一个方面，提供一种位姿确定方法，其特殊之处在于，包括：

通过图像采集设备获取包含目标对象的图像；

基于所述图像确定所述目标对象的多个特征点，并获取各个所述特征点在所述图像中的像素坐标；

将所述像素坐标输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息；

根据所述深度信息和所述旋转角度信息确定所述目标对象相对于所述图像采集设备的位姿信息。

在本公开的一种示例性实施方式中，所述将所述像素坐标输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息包括：

获取所述图像采集设备的参数信息，并基于所述参数信息确定内参矩阵；

通过所述内参矩阵将所述像素坐标转换为单位深度平面处的三维坐标；

根据所述特征点的所述三维坐标生成一维向量；

将所述一维向量输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息。

在本公开的一种示例性实施方式中，所述根据所述特征点的所述三维坐标生成一维向量包括：

将各个所述特征点的三维坐标按照预设顺序排列以生成一维向量。

在本公开的一种示例性实施方式中，所述图像采集设备的参数信息包括第一轴向的归一化焦距、第二轴向的归一化焦距以及光心坐标。

在本公开的一种示例性实施方式中，所述旋转角度信息为罗德里格斯旋转向量。

在本公开的一种示例性实施方式中，所述预先训练的神经网络为包括多个全连接层和多个激活层的带有残差连接的多层感知器。

在本公开的一种示例性实施方式中，所述激活层使用线性整流函数作为激活函数。

在本公开的一种示例性实施方式中，所述预先训练的神经网络通过如下步骤训练得到：

确定多个样本对象，并获取各个所述样本对象上多个样本特征点在一预设坐标系下的三维坐标；

基于所述三维坐标，通过模拟各个所述样本对象的旋转和平移生成与样本位姿信息相关联的各个所述样本特征点的样本像素坐标；

利用所述样本位姿信息和所述样本像素坐标对初始神经网络进行训练以得到所述预先训练的神经网络。

在本公开的一种示例性实施方式中，用于训练所述初始神经网络的样本像素坐标是带有高斯噪声的像素坐标。

在本公开的一种示例性实施方式中，用于训练所述神经网络的损失函数是带有权重衰减的损失函数。

根据本公开的一个方面，提供一种托盘装载方法，应用于具有图像采集设备的托盘装载机构，其特殊之处在于，所述方法包括以下步骤：

将待装载的托盘作为目标对象，利用如以上所述的位姿确定方法确定所述托盘相对于所述托盘装载机构的位姿信息；

基于所述位姿信息调整所述托盘装载机构相对于所述托盘的位置姿态，并通过所述托盘装载机构装载所述托盘。

根据本公开的一个方面，提供一种位姿确定装置，其特殊之处在于，包括：

图像采集模块，被配置为通过图像采集设备获取包含目标对象的图像；

坐标获取模块，被配置为基于所述图像确定所述目标对象的多个特征点，并获取各个所述特征点在所述图像中的像素坐标；

神经网络模块，被配置为将所述像素坐标输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息；

位姿确定模块，被配置为根据所述深度信息和所述旋转角度信息确定所述目标对象相对于所述图像采集设备的位姿信息。

根据本公开的一个方面，提供一种托盘装载装置，应用于具有图像采集设备的托盘装载机构，其特殊之处在于，包括：

位姿确定单元，被配置为将待装载的托盘作为目标对象，利用如以上所述的位姿确定方法确定所述托盘相对于所述托盘装载机构的位姿信息；

托盘装载单元，被配置为基于所述位姿信息调整所述托盘装载机构相对于所述托盘的位置姿态，并通过所述托盘装载机构装载所述托盘。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特殊之处在于，所述计算机程序被处理器执行时实现以上任一所述的方法。

根据本公开的一个方面，提供一种电子设备，其特殊之处在于，包括处理器和存储器；其中，存储器用于存储所述处理器的可执行指令，所述处理器被配置为经由执行所述可执行指令来执行以上任一所述的方法。

在本公开实施例所提供的位姿确定方法中，通过采集目标对象的图像并检测其上多个特征点的像素坐标，利用预先训练的神经网络即可预测目标对象相对于图像采集设备的位姿信息，该方法可以通过补充训练的方式不断提高神经网络的鲁棒性，进而提高位姿确定方法的鲁棒性。另外，该方法不必预先获取目标对象的尺寸信息，具有更加广泛的普遍适用性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施方式中一种位姿确定方法的步骤流程图。

图2示意性示出本公开另一示例性实施方式中位姿确定方法的部分步骤流程图。

图3示出本公开示例性实施方式中神经网络的组成示意图。

图4示意性示出本公开另一示例性实施方式中位姿确定方法的部分步骤流程图。

图5示意性示出本公开示例性实施方式中一种托盘装载方法的步骤流程图。

图6示出本公开示例性实施方式中的一种托盘结构示意图。

图7示意性示出位于图6中托盘正面的特征点分布情况。

图8示意性示出本公开示例性实施方式中一种位姿确定装置的组成框图。

图9示意性示出本公开示例性实施方式中一种托盘装载装置的组成框图。

图10示意性示出本公开示例性实施方式中一种程序产品的示意图。

图11示意性示出本公开示例性实施方式中一种电子设备的模块示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的示例性实施方式中首先提供一种位姿确定方法，该方法可以用于确定物体在三维空间中的位置和姿态信息。如图1所示，本示例性实施方式提供的位姿确定方法主要可以包括以下步骤：

步骤S110.通过图像采集设备获取包含目标对象的图像。

本步骤首先通过图像采集设备获取包含一目标对象的图像，其中图像采集设备可以是摄像机、摄影机等任意的能够采集动态图像或者静态图像的设备。目标对象作为图像采集设备的图像采集对象，也是本示例性实施方式中需要进行位姿估计的对象。举例而言，目标对象可以是用于承载货物的托盘，而图像采集设备可以是安装在叉车或者其他用于装载运输托盘的机械设备上的相机或者摄像机。

步骤S120.基于图像确定目标对象的多个特征点，并获取各个特征点在图像中的像素坐标。

基于步骤S110中获取到的带有目标对象的图像，本步骤可以从中确定目标对象的多个特征点，并且在当前图像的图像坐标系下获取各个特征点的像素坐标。特征点可以是根据目标对象的自身属性预先确定的，例如针对用于承载货物的托盘，可以根据托盘的结构特点选取位于托盘正面各个边角处的若干特征点。一般而言，可以将图像中的某一指定像素点作为原点建立以像素为单位的图像坐标系。例如可以将图像中位于左上角的第一个像素点作为原点建立一直角坐标系，在该图像坐标系下，某一特征点所在像素的行数和列数即表示为该特征点的像素坐标。确定特征点并获取其像素坐标的具体方式可以是采用基于卷积神经网络的特征检测算法，另外也可以采用其他任意的检测算法，本示例性实施方式对此不做特殊限定。

步骤S130.将像素坐标输入预先训练的神经网络以得到各个特征点的深度信息以及目标对象的旋转角度信息。

本步骤可以利用一预先训练完成的神经网络对目标对象的位姿状态进行估计，具体可以将步骤S120中得到的目标对象的各个特征点的像素坐标作为输入，通过预先训练的神经网络进行计算即可得到各个特征点的深度信息以及目标对象的旋转角度信息。其中，深度信息可以反映目标对象各个特征点在垂直于图像所在平面的轴向上相对于图像采集设备的位置深度，旋转角度信息可以反映目标对象相对于图像采集设备的姿态变化程度。在本示例性实施方式中，目标对象的旋转角度信息可以用罗德里格斯旋转向量来表示，避免了预测旋转矩阵带来的冗余或者预测欧拉角的周期性问题。另外，在本示例性实施方式中，还可以根据具体的应用需求补充场景数据对神经网络进行继续训练，使得网络学习能够获得更高的鲁棒性。

步骤S140.根据深度信息和旋转角度信息确定目标对象相对于图像采集设备的位姿信息。

由步骤S130通过神经网络预测得到各个特征点的深度信息后即可得到各个特征点在三维空间坐标系下的三维坐标，然后通过拟合各点在三维空间坐标系下的平面方程，得到一中心点坐标作为平移基准，再结合通过神经网络预测得到的旋转角度信息便可以得到目标对象相对于图像采集设备的位置和姿态变化，即可以确定目标对象的位姿信息。

在本示例性实施方式提供的位姿确定方法中，通过采集目标对象的图像并检测其上多个特征点的像素坐标，利用预先训练的神经网络即可预测目标对象相对于图像采集设备的位姿信息，该方法可以通过补充训练的方式不断提高神经网络的鲁棒性，进而提高位姿确定方法的鲁棒性。另外，该方法不必预先获取目标对象的尺寸信息，具有更加广泛的普遍适用性。

参考图2所示的方法步骤，在本公开的另一示例性实施方式中，步骤S130.将像素坐标输入预先训练的神经网络以得到各个特征点的深度信息以及目标对象的旋转角度信息，可以进一步包括以下步骤：

步骤S210.获取图像采集设备的参数信息，并基于参数信息确定内参矩阵。

本步骤所获取的图像采集设备的参数信息主要是指图像采集设备的内部固有参数，例如至少可以包括第一轴向的归一化焦距f_x、第二轴向的归一化焦距f_y以及光心坐标(c_x,c_y)。其中，f为图像采集设备的焦距，单位可以是mm；dx和dy分别是第一轴向和第二轴向上单位像素的尺寸大小，单位可以是mm/pixel。

基于获取到的以上参数信息可以确定图像采集设备的内参矩阵A：

步骤S220.通过内参矩阵将像素坐标转换为单位深度平面处的三维坐标。

内参矩阵可以作为图像采集设备所采集到的图像在三维空间坐标系与二维图像坐标系之间的转换媒介，换言之，通过内参矩阵可以将以物理单位计量的三维坐标转换为以像素单位计量的像素坐标。相应地，利用内参矩阵的逆矩阵可以将像素坐标转换为三维坐标。假设三维空间中某一点在三维空间坐标系下的三维坐标为(x,y,z)，而在图像坐标系下的像素坐标为(u,v)，那么参考针孔相机模型可以得到：

其中，以(x′,y′,1)表示在三维空间坐标系中相对于图像采集设备的单位深度平面处的三维坐标，将上式表示为矩阵形式即为：

由该式可以变换得到：

亦即可以通过内参矩阵将目标对象各个特征点的像素坐标转换为单位深度平面处的三维坐标。

步骤S230.根据特征点的三维坐标生成一维向量。

本步骤将把步骤S220中获得的各个特征点的三维坐标做展平处理以生成一维向量，例如其中一种展平方式可以是将各个特征点的三维坐标按照预设顺序依次排列以生成一维向量，假设本示例性实施方式中存在N个特征点，那么坐标总数量即为N*3，做展平处理后将得到一个3N*1的一维向量。

步骤S240.将一维向量输入预先训练的神经网络以得到各个特征点的深度信息以及目标对象的旋转角度信息。

由步骤S230得到一维向量后，本步骤再将其输入预先训练的神经网络便可以输出得到各个特征点的深度信息以及目标对象的旋转角度信息。

在本示例性实施方式中，利用图像采集设备的参数信息将像素坐标转换为三维空间坐标系下的三维坐标，可以实现作为输入的像素坐标与图像采集设备的解耦，使得位姿确定方法能够适配各种不同类型或者不同型号的摄影机、摄像机等图像采集设备，进一步提高位姿确定方法的普遍适用性。

参考图3所示的模型框图，在以上示例性实施方式所提供的位姿确定方法中，用于预测目标对象位姿信息的预先训练的神经网络可以是包括多个全连接层和多个激活层的带有残差连接的多层感知器(Multi-Layer Perceptron，MLP)。其中，激活层可以使用线性整流函数(Rectified Linear Unit，ReLU)作为激活函数，通过模拟非线性映射实现非线性激活。

参考图4所示的方法步骤，在本公开的一种示例性实施方式中，位姿确定方法所使用的预先训练的神经网络可以通过如下步骤训练得到：

步骤S410.确定多个样本对象，并获取各个样本对象上多个样本特征点在一预设坐标系下的三维坐标。

为了提高神经网络的普遍适用性，本步骤可以确定与目标对象相关的多个样本对象，例如目标对象是载物托盘，那么可以选取多种不同类型或者不同型号的托盘作为样本对象。针对每一个样本对象，可以确定位于其上的多个样本特征点，并获取各个样本特征点在一预设坐标系下的三维坐标。其中，预设坐标系可以是以一虚拟相机为基准建立的三维坐标系，该虚拟相机用于模拟采集样本对象的图像。

步骤S420.基于三维坐标，通过模拟各个样本对象的旋转和平移生成与样本位姿信息相关联的各个样本特征点的样本像素坐标。

在预设坐标系下，模拟各个样本对象相对于虚拟相机进行旋转和平移可以获得相应的样本位姿信息，同时也可以基于三维坐标和样本位姿信息确定样本对象上各个样本特征点的样本像素坐标。其中，样本位姿信息可以表示为虚拟相机的外参矩阵[R∣T]，矩阵R用于反映样本对象相对于虚拟相机的旋转，矩阵T用于反映样本对象相对于虚拟相机的平移。同时，为了将样本数据与相机参数进行解耦，本步骤还可以在坐标转换中引入虚拟相机的内参矩阵。参考针孔相机模型可以将坐标的转换和生成方式表示如下：

上式中S表示样本特征点在预设坐标系中相对于虚拟相机的深度信息，(X,Y,Z)表示样本特征点在预设坐标系中的三维坐标，(U,V)则表示样本特征点在图像坐标系下的样本像素坐标。

步骤S430.利用样本位姿信息和样本像素坐标对初始神经网络进行训练以得到预先训练的神经网络。

利用步骤S420中生成的样本数据，本步骤将样本像素坐标作为输入，以样本位姿信息作为监督信息对初始神经网络进行训练。训练过程中为了降低噪声敏感度，可以为样本像素坐标添加不同幅度的高斯噪声以模拟实际工况。另外，在本示例性实施方式中训练的神经网络，可以移除现有神经网络中常用的BatchNorm操作，同时可以移除常用在全连接的Dropout操作。另外，本示例性实施方式还可以在用于训练神经网络的损失函数中添加权重衰减(weight decay)，以便调节模型复杂度对损失函数的影响，防止过拟合。

在本示例性实施方式中，通过模拟样本对象相对于虚拟相机的旋转和平移等位姿变换，可以生成大量的样本数据，几乎没有数据成本，具有普适性强、迁移简单的优点。

基于以上实施例提供的位姿确定方法，本公开在另一示例性实施方式中还提供一种托盘装载方法，该方法主要应用于具有图像采集设备的托盘装载机构。其中，图像采集设备可以是摄像机、摄影机等任意的能够采集动态图像或者静态图像的设备，托盘装载机构可以是叉车、叉车上安装的叉取机构或者其他任意的用于装载托盘的机械结构。

如图5所示，本示例性实施方式提供的托盘装载方法主要可以包括以下步骤：

步骤S510.将待装载的托盘作为目标对象，利用如以上各实施例中所提供的位姿确定方法确定所述托盘相对于托盘装载机构的位姿信息。

根据以上实施例提供的位姿确定方法，本步骤可以将待装载的托盘作为目标对象，利用托盘装载机构上安装的图像采集设备采集托盘的图像，进而利用以上各实施例中提供的神经网络预测得到该托盘相对于托盘装载机构的位姿信息。图6所示为一种九脚网格托盘，图7示出了位于该托盘正面的特征点的分布情况。当然，在其他一些示例性实施方式中，对应于不同类型的托盘，也可以使用其他任意的特征点标记方式，本公开对此不做特殊限定。

步骤S520.基于位姿信息调整托盘装载机构相对于托盘的位置姿态，并通过托盘装载机构装载托盘。

基于步骤S510所确定的位姿信息，本步骤可以控制托盘装载机构进行旋转或者平移运动，从而调整托盘装载机构相对于托盘的位置和姿态，进而使得托盘装载机构能够完成对托盘的装载动作。

在本示例性实施方式提供的托盘装载方法中，只需要对待装载托盘一个侧面上的特征点进行标记，而不需要考虑其他侧面的情况，因此可以避免货物遮挡的问题。

需要说明的是，虽然以上示例性实施方式以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或者必须执行全部的步骤才能实现期望的结果。附加地或者备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本公开的示例性实施方式中，还提供一种对应于以上实施例中位姿确定方法的位姿确定装置。如图8所示，位姿确定装置800主要可以包括：图像采集模块810、坐标获取模块820、神经网络模块830和位姿确定模块840。

其中，图像采集模块810被配置为通过图像采集设备获取包含目标对象的图像。图像采集模块810首先通过图像采集设备获取一目标对象的图像，其中图像采集设备可以是摄像机、摄影机等任意的能够采集动态图像或者静态图像的设备。目标对象作为图像采集设备的图像采集对象，也是本示例性实施方式中需要进行位姿估计的对象。举例而言，目标对象可以是用于承载货物的托盘，而图像采集设备可以是安装在叉车或者其他用于装载运输托盘的机械设备上的相机或者摄像机。

坐标获取模块820被配置为基于图像确定目标对象的多个特征点，并获取各个特征点在图像中的像素坐标。基于图像采集模块810获取到的带有目标对象的图像，坐标获取模块820可以从中确定目标对象的多个特征点，并且在当前图像的图像坐标系下获取各个特征点的像素坐标。特征点可以是根据目标对象的自身属性预先确定的，例如针对用于承载货物的托盘，可以根据托盘的结构特点选取位于托盘正面各个边角处的若干特征点。一般而言，可以将图像中的某一指定像素点作为原点建立以像素为单位的图像坐标系。例如可以将图像中位于左上角的第一个像素点作为原点建立一直角坐标系，在该图像坐标系下，某一特征点所在像素的行数和列数即表示为该特征点的像素坐标。确定特征点并获取其像素坐标的具体方式可以是采用基于卷积神经网络的特征检测算法，另外也可以采用其他任意的检测算法，本示例性实施方式对此不做特殊限定。

神经网络模块830被配置为将像素坐标输入预先训练的神经网络以得到各个特征点的深度信息以及目标对象的旋转角度信息。神经网络模块830可以利用一预先训练完成的神经网络对目标对象的位姿状态进行估计，具体可以将坐标获取模块820得到的目标对象的各个特征点的像素坐标作为输入，通过预先训练的神经网络进行计算即可得到各个特征点的深度信息以及目标对象的旋转角度信息。其中，深度信息可以反映目标对象各个特征点在垂直于图像所在平面的轴向上相对于图像采集设备的位置深度，旋转角度信息可以反映目标对象相对于图像采集设备的姿态变化程度。在本示例性实施方式中，目标对象的旋转角度信息可以用罗德里格斯旋转向量来表示，避免了预测旋转矩阵带来的冗余或者预测欧拉角的周期性问题。另外，在本示例性实施方式中，还可以根据具体的应用需求补充场景数据对神经网络进行继续训练，使得网络学习能够获得更高的鲁棒性。

位姿确定模块840被配置为根据深度信息和旋转角度信息确定目标对象相对于图像采集设备的位姿信息。

由神经网络模块830通过神经网络预测得到各个特征点的深度信息后即可得到各个特征点在三维空间坐标系下的三维坐标，然后通过拟合各点在三维空间坐标系下的平面方程，得到一中心点坐标作为平移基准，再结合通过神经网络预测得到的旋转角度信息便可以得到目标对象相对于图像采集设备的位置和姿态变化，即可以确定目标对象的位姿信息。

在本示例性实施方式提供的位姿确定装置中，通过采集目标对象的图像并检测其上多个特征点的像素坐标，利用预先训练的神经网络即可预测目标对象相对于图像采集设备的位姿信息，该装置可以通过补充训练的方式不断提高神经网络的鲁棒性，进而提高位姿确定方法的鲁棒性。另外，该装置不必预先获取目标对象的尺寸信息，具有更加广泛的普遍适用性。

在本公开的另一示例性实施方式中，还提供一种托盘装载装置，该装置主要应用于具有图像采集设备的托盘装载机构。其中，图像采集设备可以是摄像机、摄影机等任意的能够采集动态图像或者静态图像的设备，托盘装载机构可以是叉车、叉车上安装的叉取机构或者其他任意的用于装载托盘的机械结构。

如图9所示，在本示例性实施方式中，托盘装载装置900主要可以包括：位姿确定单元910和托盘装载单元920。

其中，位姿确定单元910被配置为将待装载的托盘作为目标对象，利用如以上各实施例中所提供的位姿确定方法确定托盘相对于托盘装载机构的位姿信息。根据以上实施例提供的位姿确定方法，位姿确定单元910可以将待装载的托盘作为目标对象，利用托盘装载机构上安装的图像采集设备采集托盘的图像，进而利用以上各实施例中提供的神经网络预测得到该托盘相对于托盘装载机构的位姿信息。

托盘装载单元920被配置为基于位姿信息调整托盘装载机构相对于托盘的位置姿态，并通过托盘装载机构装载托盘。基于位姿确定单元910所确定的位姿信息，托盘装载单元920可以控制托盘装载机构进行旋转或者平移运动，从而调整托盘装载机构相对于托盘的位置和姿态，进而使得托盘装载机构能够完成对托盘的装载动作。

在本示例性实施方式提供的托盘装载装置中，只需要对待装载托盘一个侧面上的特征点进行标记，而不需要考虑其他侧面的情况，因此可以避免货物遮挡的问题。

上述位姿确定装置以及托盘装载装置的其他具体细节已经在对应的位姿确定方法和托盘装载方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在本公开的示例性实施方式中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现本公开的上述的方法。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码；该程序产品可以存储在一个非易失性存储介质(可以是CD-ROM、U盘或者移动硬盘等)中或网络上；当所述程序产品在一台计算设备(可以是个人计算机、服务器、终端装置或者网络设备等)上运行时，所述程序代码用于使所述计算设备执行本公开中上述各示例性实施例中的方法步骤。

参见图10所示，根据本公开的实施方式的用于实现上述方法的程序产品1000，其可以采用便携式紧凑磁盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备(例如个人计算机、服务器、终端装置或者网络设备等)上运行。然而，本公开的程序产品不限于此。在本示例性实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或者多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。

可读存储介质例如可以为但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件、或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任意可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户计算设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN)等)连接到用户计算设备；或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。

在本公开的示例性实施方式中，还提供一种电子设备，所述电子设备包括至少一个处理器以及至少一个用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为经由执行所述可执行指令来执行本公开中上述各示例性实施例中的方法步骤。

下面结合图11对本示例性实施方式中的电子设备1100进行描述。电子设备1100仅仅为一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

参见图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：至少一个处理单元1110、至少一个存储单元1120、连接不同系统组件(包括处理单元1110和存储单元1120)的总线1130、显示单元1140。

其中，存储单元1120存储有程序代码，所述程序代码可以被处理单元1110执行，使得处理单元1110执行本公开中上述各示例性实施例中的方法步骤。

存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元1121(RAM)和/或高速缓存存储单元1122，还可以进一步包括只读存储单元1123(ROM)。

存储单元1120还可以包括具有一组(至少一个)程序模块1125的程序/实用工具1124，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用各种总线结构中的任意总线结构的局域总线。

电子设备1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户可以与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)、广域网(WAN)和/或公共网络，例如因特网)通信。如图11所示，网络适配器1160可以通过总线1130与电子设备1100的其他模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

本领域技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

上述所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中，如有可能，各实施例中所讨论的特征是可互换的。在上面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组件、材料等。在其它情况下，不详细示出或描述公知结构、材料或者操作以避免模糊本公开的各方面。

Claims (15)

1.一种位姿确定方法，其特征在于，包括：

通过图像采集设备获取包含目标对象的图像；

基于所述图像确定所述目标对象的多个特征点，并获取各个所述特征点在所述图像中的像素坐标；

将所述像素坐标输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息；

根据所述深度信息和所述旋转角度信息确定所述目标对象相对于所述图像采集设备的位姿信息。

2.根据权利要求1所述的位姿确定方法，其特征在于，所述将所述像素坐标输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息包括：

获取所述图像采集设备的参数信息，并基于所述参数信息确定内参矩阵；

通过所述内参矩阵将所述像素坐标转换为单位深度平面处的三维坐标；

根据所述特征点的所述三维坐标生成一维向量；

将所述一维向量输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息。

3.根据权利要求2所述的位姿确定方法，其特征在于，所述根据所述特征点的所述三维坐标生成一维向量包括：

将各个所述特征点的三维坐标按照预设顺序排列以生成一维向量。

4.根据权利要求2所述的位姿确定方法，其特征在于，所述图像采集设备的参数信息包括第一轴向的归一化焦距、第二轴向的归一化焦距以及光心坐标。

5.根据权利要求1所述的位姿确定方法，其特征在于，所述旋转角度信息为罗德里格斯旋转向量。

6.根据权利要求1-5中任意一项所述的位姿确定方法，其特征在于，所述预先训练的神经网络为包括多个全连接层和多个激活层的带有残差连接的多层感知器。

7.根据权利要求6所述的位姿确定方法，其特征在于，所述激活层使用线性整流函数作为激活函数。

8.根据权利要求6所述的位姿确定方法，其特征在于，所述预先训练的神经网络通过如下步骤训练得到：

确定多个样本对象，并获取各个所述样本对象上多个样本特征点在一预设坐标系下的三维坐标；

基于所述三维坐标，通过模拟各个所述样本对象的旋转和平移生成与样本位姿信息相关联的各个所述样本特征点的样本像素坐标；

利用所述样本位姿信息和所述样本像素坐标对初始神经网络进行训练以得到所述预先训练的神经网络。

9.根据权利要求8所述的位姿确定方法，其特征在于，用于训练所述初始神经网络的样本像素坐标是带有高斯噪声的像素坐标。

10.根据权利要求8所述的位姿确定方法，其特征在于，用于训练所述神经网络的损失函数是带有权重衰减的损失函数。

11.一种托盘装载方法，应用于具有图像采集设备的托盘装载机构，其特征在于，所述方法包括以下步骤：

将待装载的托盘作为目标对象，利用如权利要求1-10中任意一项所述的位姿确定方法确定所述托盘相对于所述托盘装载机构的位姿信息；

基于所述位姿信息调整所述托盘装载机构相对于所述托盘的位置姿态，并通过所述托盘装载机构装载所述托盘。

12.一种位姿确定装置，其特征在于，包括：

图像采集模块，被配置为通过图像采集设备获取包含目标对象的图像；

坐标获取模块，被配置为基于所述图像确定所述目标对象的多个特征点，并获取各个所述特征点在所述图像中的像素坐标；

神经网络模块，被配置为将所述像素坐标输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息；

位姿确定模块，被配置为根据所述深度信息和所述旋转角度信息确定所述目标对象相对于所述图像采集设备的位姿信息。

13.一种托盘装载装置，应用于具有图像采集设备的托盘装载机构，其特征在于，包括：

位姿确定单元，被配置为将待装载的托盘作为目标对象，利用如权利要求1-10中任意一项所述的位姿确定方法确定所述托盘相对于所述托盘装载机构的位姿信息；

托盘装载单元，被配置为基于所述位姿信息调整所述托盘装载机构相对于所述托盘的位置姿态，并通过所述托盘装载机构装载所述托盘。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11中任意一项所述的方法。

15.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器被配置为经由执行所述可执行指令来执行权利要求1-11中任意一项所述的方法。