CN115139304B - 一种搬运机械手控制方法及系统 - Google Patents

Abstract

本发明提供一种搬运机械手控制方法及系统，其中，方法包括：步骤1：获取待搬运区域内的码垛的第一图像；步骤2：基于第一图像，确定码垛中的搬运目标；步骤3：控制搬运机械手将搬运目标搬运至预设的放置位置。本发明的搬运机械手控制方法及系统，对搬运机械手进行控制，可以实现对码垛内的物件进行依次搬运，工作人员无需将物件平铺在待搬运区域内，避免物件平铺比较占地方的问题产生，另外，工作人员只需将事先码放好的码垛转移至待搬运区域内等待搬运即可，提升了便捷性。

Description

一种搬运机械手控制方法及系统

技术领域

本发明涉及机械手技术领域，特别涉及一种搬运机械手控制方法及系统。

背景技术

目前，利用搬运机械手对物件进行搬运时，多将物件互相间隔一定距离平铺在待搬运区域内，控制搬运机械手前往待搬运区域内对物件一一进行搬运。但是，物件平铺比较占地方，而且当距离机械手较近的物件被搬运后，工作人员需要对距离机械手较远的物件转移进行一一转移，比较麻烦。

因此，亟需一种解决办法。

发明内容

本发明目的之一在于提供了一种搬运机械手控制方法，对搬运机械手进行控制，可以实现对码垛内的物件进行依次搬运，工作人员无需将物件平铺在待搬运区域内，避免物件平铺比较占地方的问题产生，另外，工作人员只需将事先码放好的码垛转移至待搬运区域内等待搬运即可，提升了便捷性。

本发明实施例提供的一种搬运机械手控制方法，包括：

步骤1：获取待搬运区域内的码垛的第一图像；

步骤2：基于第一图像，确定码垛中的搬运目标以及搬运目标的第一位置；

步骤3：基于第一位置，控制搬运机械手将搬运目标搬运至预设的放置位置。

优选的，步骤1：获取待搬运区域内的码垛的第一图像，包括：

通过设置在待搬运区域旁的图像采集设备获取待搬运区域内的码垛的第一图像；

和/或，

通过待搬运区域旁的作业人员佩戴的作业记录仪获取待搬运区域内的码垛的第一图像。

优选的，步骤2：基于第一图像，确定码垛中的搬运目标，包括：

基于第一图像，确定码垛中分垛的数目；

若数目为1，将码垛中最上层的第一物件作为码垛中的搬运目标；

否则，基于第一图像，确定码垛中各个分垛之间的第一位置关系以及各个分垛上最上层的第二物件之间的第二位置关系；

基于预设的第一特征提取模板，对第一位置关系和第二位置关系进行特征提取，获得多个关系特征值；

基于多个关系特征值，确定码垛中的搬运目标；

基于第一图像，确定搬运目标的第一位置；

其中，基于多个关系特征值，确定码垛中的搬运目标，包括：

获取预设的搬运目标确定模型；

将多个关系特征值输入至搬运目标确定模型，由搬运目标确定模型从第二物件中确定码垛中的搬运目标；

或，

基于关系特征值，构建第一位置关系和第二位置关系的关系描述向量；

获取预设的搬运目标确定结果对照库；

从搬运目标确定结果对照库中对照确定关系描述向量对应的搬运目标确定结果；

基于搬运目标确定结果，从第二物件中确定码垛中的搬运目标。

优选的，步骤3：基于第一位置，控制搬运机械手将搬运目标搬运至预设的放置位置，包括：

获取搬运机械手当前的第二位置；

规划搬运机械手从第二位置前往第一位置旁的第一行驶路线；

基于第一行驶路线，控制搬运机械手前往第一位置旁；

当搬运机械手抵达第一位置旁后，获取搬运目标的第二图像；

基于第二图像，确定搬运目标的物件类型和物件姿态；

获取物件类型对应的预设的夹取姿态对照库；

从夹取姿态对照库中对照确定物件姿态对应的夹取姿态；

获取物件类型对应的预设的第一夹持力度；

控制搬运机械手前往第一位置以夹取姿态和第一夹持力度夹取搬运目标；

当搬运机械手夹取搬运目标后，规划搬运机械手从第一位置前往放置位置旁的第二行驶路线；

基于第二行驶路线，控制搬运机械手前往放置位置旁；

当搬运机械手抵达放置位置旁后，获取夹取姿态对应的预设的放置姿态；

控制搬运机械手以放置姿态将搬运目标放置于放置位置。

优选的，控制搬运机械手前往放置位置旁时，还包括：

获取搬运机械手运动时的运动参数；

基于预设的第二特征提取模板，对运动参数进行特征提取，获得多个参数特征值；

基于多个参数特征值，构建运动参数的参数描述向量；

获取物件类型对应的预设的夹持力度调整对照库；

从夹持力度调整对照库中对照确定参数描述向量对应的第二夹持力度；

调整搬运机械手以第二夹持力度夹持搬运目标。

本发明实施例提供的一种搬运机械手控制系统，包括：

获取模块，用于获取待搬运区域内的码垛的第一图像；

确定模块，用于基于第一图像，确定码垛中的搬运目标以及搬运目标的第一位置；

控制模块，用于基于第一位置，控制搬运机械手将搬运目标搬运至预设的放置位置。

优选的，获取模块获取待搬运区域内的码垛的第一图像，包括：

通过设置在待搬运区域旁的图像采集设备获取待搬运区域内的码垛的第一图像；

和/或，

通过待搬运区域旁的作业人员佩戴的作业记录仪获取待搬运区域内的码垛的第一图像。

优选的，确定模块基于第一图像，确定码垛中的搬运目标，包括：

基于第一图像，确定码垛中分垛的数目；

若数目为1，将码垛中最上层的第一物件作为码垛中的搬运目标；

否则，基于第一图像，确定码垛中各个分垛之间的第一位置关系以及各个分垛上最上层的第二物件之间的第二位置关系；

基于预设的第一特征提取模板，对第一位置关系和第二位置关系进行特征提取，获得多个关系特征值；

基于多个关系特征值，确定码垛中的搬运目标；

基于第一图像，确定搬运目标的第一位置；

其中，确定模块基于多个关系特征值，确定码垛中的搬运目标，包括：

获取预设的搬运目标确定模型；

将多个关系特征值输入至搬运目标确定模型，由搬运目标确定模型从第二物件中确定码垛中的搬运目标；

或，

基于关系特征值，构建第一位置关系和第二位置关系的关系描述向量；

获取预设的搬运目标确定结果对照库；

从搬运目标确定结果对照库中对照确定关系描述向量对应的搬运目标确定结果；

基于搬运目标确定结果，从第二物件中确定码垛中的搬运目标。

优选的，控制模块基于第一位置，控制搬运机械手将搬运目标搬运至预设的放置位置，包括：

获取搬运机械手当前的第二位置；

规划搬运机械手从第二位置前往第一位置旁的第一行驶路线；

基于第一行驶路线，控制搬运机械手前往第一位置旁；

当搬运机械手抵达第一位置旁后，获取搬运目标的第二图像；

基于第二图像，确定搬运目标的物件类型和物件姿态；

获取物件类型对应的预设的夹取姿态对照库；

从夹取姿态对照库中对照确定物件姿态对应的夹取姿态；

获取物件类型对应的预设的第一夹持力度；

控制搬运机械手前往第一位置以夹取姿态和第一夹持力度夹取搬运目标；

当搬运机械手夹取搬运目标后，规划搬运机械手从第一位置前往放置位置旁的第二行驶路线；

基于第二行驶路线，控制搬运机械手前往放置位置旁；

当搬运机械手抵达放置位置旁后，获取夹取姿态对应的预设的放置姿态；

控制搬运机械手以放置姿态将搬运目标放置于放置位置。

优选的，控制模块控制搬运机械手前往放置位置旁时，还包括：

获取搬运机械手运动时的运动参数；

基于预设的第二特征提取模板，对运动参数进行特征提取，获得多个参数特征值；

基于多个参数特征值，构建运动参数的参数描述向量；

获取物件类型对应的预设的夹持力度调整对照库；

从夹持力度调整对照库中对照确定参数描述向量对应的第二夹持力度；

调整搬运机械手以第二夹持力度夹持搬运目标。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为物件单独码放成一垛的场景示意图；

图2为物件组合码放成多垛的场景示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供了一种搬运机械手控制方法，包括：

步骤1：获取待搬运区域内的码垛的第一图像；

步骤2：基于第一图像，确定码垛中的搬运目标以及搬运目标的第一位置；

步骤3：基于第一位置，控制搬运机械手将搬运目标搬运至预设的放置位置。

上述技术方案的工作原理及有益效果为：

待搬运区域由现场内的工作人员预先靠近现场内的搬运机械手就近设置。工作人员事先对需要进行搬运的物件进行码放，码放的物件形成一个码垛，再将码垛转移至待搬运区域内。

在待搬运区域旁设置多个摄像机，用于拍摄待搬运区域内的码垛的第一图像，通过第一图像可以查看到码垛的各个侧面和上面。

基于第一图像，确定码垛中的搬运目标，搬运目标为搬运机械手每次即将要搬运的物件，例如：基于第一图像，确定码垛的最上层的物件，并作为搬运目标，使得搬运机械手对码垛进行由上至下的逐一物件搬运。

基于第一图像，再确定搬运目标的第一位置，第一位置为搬运目标在第一图像中的位置。

预设的放置位置由现场内的工作人员根据需求预先设置，为物件需要搬运至的位置。基于第一位置，控制搬运机械手将搬运目标搬运至预设的放置位置时，控制搬运机械手移动至第一位置旁，对搬运目标进行夹取，夹取完成后，送至放置位置，实现搬运。

本申请对搬运机械手进行控制，可以实现对码垛内的物件进行依次搬运，工作人员无需将物件平铺在待搬运区域内，避免物件平铺比较占地方的问题产生，另外，工作人员只需将事先码放好的码垛转移至待搬运区域内等待搬运即可，提升了便捷性。

本发明实施例提供了一种搬运机械手控制方法，步骤1：获取待搬运区域内的码垛的第一图像，包括：

通过设置在待搬运区域旁的图像采集设备获取待搬运区域内的码垛的第一图像；

和/或，

通过待搬运区域旁的作业人员佩戴的作业记录仪获取待搬运区域内的码垛的第一图像。

上述技术方案的工作原理及有益效果为：

“和/或”指的是待搬运区域内的码垛的第一图像的获取有两种方案，可以择一方案进行，也可以选择两种方案并行。

两种方案分别为：第一种，在待搬运区域旁设置图像采集设备，图像采集设备为摄像机，设置图像采集设备时，以图像采集设备可以协作拍摄到待摆放区域内的码垛的各个侧面和上面为准，通过图像采集设备获取第一图像；第二种，待搬运区域旁的作业人员佩戴作业记录仪，作业记录仪为头戴式，内置有摄像头，可以拍摄作业人员的第一视角图像，当作业人员在待搬运区域旁进行码垛搬运等作业时，作业记录仪会拍摄到码垛的侧面和上面，因此，可通过作业记录仪获取第一图像。

本申请引入两种方案用以获取第一图像，提升了第一图像的获取全面性，现场内可以根据事情进行选择。

本发明实施例提供了一种搬运机械手控制方法，步骤2：基于第一图像，确定码垛中的搬运目标，包括：

基于第一图像，确定码垛中分垛的数目；

若数目为1，将码垛中最上层的第一物件作为码垛中的搬运目标；

否则，基于第一图像，确定码垛中各个分垛之间的第一位置关系以及各个分垛上最上层的第二物件之间的第二位置关系；

基于预设的第一特征提取模板，对第一位置关系和第二位置关系进行特征提取，获得多个关系特征值；

基于多个关系特征值，确定码垛中的搬运目标；

基于第一图像，确定搬运目标的第一位置；

其中，基于多个关系特征值，确定码垛中的搬运目标，包括：

获取预设的搬运目标确定模型；

将多个关系特征值输入至搬运目标确定模型，由搬运目标确定模型从第二物件中确定码垛中的搬运目标；

或，

基于关系特征值，构建第一位置关系和第二位置关系的关系描述向量；

获取预设的搬运目标确定结果对照库；

从搬运目标确定结果对照库中对照确定关系描述向量对应的搬运目标确定结果；

基于搬运目标确定结果，从第二物件中确定码垛中的搬运目标。

上述技术方案的工作原理及有益效果为：

一般的，堆垛的类型分为两种：第一种，如图1所示，物件单独码放成一垛，即分垛的数目为1；第二种，如图2所示，物件组合码放成多垛，分别为A垛、B垛和C垛，各垛贴靠在一起，形成一个整体的堆垛，即分垛的数目大于1。因此，确定码垛中搬运机械手即将要搬运的搬运目标时，需要分情况进行确定。

基于第一图像，确定码垛中分垛的数目，分析第一图像中单独码放的物件形成的堆垛的垛数，可基于现有技术范畴中的图像识别技术实现。

若分垛的数目为1，则堆垛的类型为第一种，搬运机械手每次只需对堆垛最上层的物件进行搬运即可，因此，将码垛中最上层的第一物件作为码垛中的搬运目标。

若分垛的数目不为1，则堆垛的类型为第二种。由于分垛之间是贴靠码放，分垛之间相互支撑，若对每一分垛从上至下依次搬运完再对其余分垛从上至下依次搬运，可能会导致分垛之间支撑不稳定，甚至倒塌。因此，需要基于堆垛的码放情况确定搬运机械手即将要搬运的搬运目标。

堆垛的码放情况为码垛中各个分垛之间的第一位置关系以及各个分垛上最上层的第二物件之间的第二位置关系，各个分垛之间的第一位置关系具体为分垛之间的距离关系，各个分垛上最上层的第二物件之间的第二位置关系具体为第二物件之间的距离关系。

第一位置关系和第二位置关系可基于第一图像确定，先从第一图像上确定各个分垛的位置区域，基于位置区域之间的位置关系确定各个分垛之间的第一位置关系，同理，先从第一图像上确定各个分垛上最上层的第二物件的物件位置，基于物件位置之间的关系确定各个分垛上最上层的第二物件之间的第二位置关系，可基于现有技术范畴中的图像识别技术实现。

引入预设的第一特征提取模板，对第一位置关系和第二位置关系进行特征提取，获得多个关系特征值，关系特征值具体为各个分垛的中心点之间的水平距离，各个分垛上最上层的第二物件的中心点之间的水平距离和垂直距离（水平距离是指水平方向上的距离，垂直距离为两者的高度差），第一特征提取模板为适配于提取这类关系特征值由工作人员预先制定的特征提取模板，具体为提取堆垛中各个分垛的中心点之间的水平距离、提取各个分垛上最上层的第二物件的中心点之间的水平距离和提取各个分垛上最上层的第二物件的中心点之间的垂直距离，系统在进行特征提取时，对照着该特征提取模板，进行对应特征的提取。

“或”指的是基于多个关系特征值，确定码垛中的搬运目标的确定方案有两种，可以择一进行。两种确定方案分别为：

第一种，引入预设的搬运目标确定模型，搬运目标确定模型具体为：工作人员预先进行实验，实验内容为：人工基于不同码垛中各个分垛之间的位置关系以及各个分垛上最上层的第二物件之间的位置关系提取出的关系特征值确定码垛中的搬运目标，收集实验过程中基于关系特征值确定码垛中的搬运目标的确定逻辑过程和确定结果，将两者作为训练样本，对神经网络模型进行训练，当神经网络模型训练完成（训练至收敛）后，将神经网络模型作为搬运目标确定模型，搬运目标确定模型能够代替人工基于关系特征值判断码垛中的搬运目标，可以实现。逻辑过程和确定结果具体为：以图2为例， A垛最上层的物件与B垛、C垛的最上层物件的存在高度差，A垛、B垛和C垛之间的水平距离很近，因此，将A垛最上层的物件作为搬运目标，“A垛最上层的物件与B垛、C垛的最上层物件的存在高度差，A垛、B垛和C垛之间的水平距离很近，因此，将A垛最上层的物件作为搬运目标”则为逻辑过程，逻辑结果为将A垛最上层的物件作为搬运目标。另外，搬运目标确定模型以卷积神经网络模型（CNN）作为模型训练架构。训练步骤具体为：将包含上述逻辑过程和确定结果的大量训练样本输入卷积神经网络模型，训练样本经过卷积神经网络模型中的卷积层、下采样层、全连接层向前传播输出一个输出值，将该输出值与卷积神经网络模型的输出误差比较值进行比较，确定输出误差值，若误差较大，将输出误差值返回到卷积神经网络模型中，分别获取卷积神经网络模型的全连接层、下采样层和卷积层的误差，累加计算获得总误差，若总误差较小，则为收敛，将卷积神经网络模型作为搬运目标确定模型。

神经网络模型以及利用有针对性的训练样本对神经网络模型进行训练，获得代替对应人工进行对应针对性操作的人工智能模型均属于现有技术范畴，不作赘述。

第二种，基于多个关系特征值，构建第一位置关系和第二位置关系的关系描述向量，基于数据信息构建向量以及数据信息的描述向量均属于现有技术范畴，不作赘述。引入预设的搬运目标确定结果对照库，搬运目标确定结果由工作人员预先进行实验，实验内容为：人工基于不同码垛中各个分垛之间的位置关系以及各个分垛上最上层的第二物件之间的位置关系提取出的关系特征值确定码垛中的搬运目标（例如：如图2所示，A垛最上层的物件与B垛、C垛的最上层物件的存在高度差，A垛、B垛和C垛之间的水平距离很近，因此，将A垛最上层的物件作为搬运目标），实验后，收集搬运目标确定结果，将关系特征值构建成关系描述向量，将关系描述向量与搬运目标确定结果进行配对，获得配对项，基于各个配对项，构建搬运目标确定结果对照库，便于对照查询。从搬运目标确定结果对照库中对照确定关系描述向量对应的搬运目标确定结果，搬运目标确定结果具体为码垛中哪一个物件应作为搬运机械手即将要搬运的物件。搬运目标确定结果中指明需要搬运的目标，因此，基于搬运目标确定结果，从第二物件中确定码垛中的搬运目标。

本申请根据堆垛的两种不同类型，分别进行针对性的搬运目标确定，一般的，现场中堆垛的码放均会出现这两种类型，提升了系统的适用性，同时，也更加智能化。

本发明实施例提供了一种搬运机械手控制方法，步骤3：基于第一位置，控制搬运机械手将搬运目标搬运至预设的放置位置，包括：

获取搬运机械手当前的第二位置；

规划搬运机械手从第二位置前往第一位置旁的第一行驶路线；

基于第一行驶路线，控制搬运机械手前往第一位置旁；

当搬运机械手抵达第一位置旁后，获取搬运目标的第二图像；

基于第二图像，确定搬运目标的物件类型和物件姿态；

获取物件类型对应的预设的夹取姿态对照库；

从夹取姿态对照库中对照确定物件姿态对应的夹取姿态；

获取物件类型对应的预设的第一夹持力度；

控制搬运机械手前往第一位置以夹取姿态和第一夹持力度夹取搬运目标；

当搬运机械手夹取搬运目标后，规划搬运机械手从第一位置前往放置位置旁的第二行驶路线；

基于第二行驶路线，控制搬运机械手前往放置位置旁；

当搬运机械手抵达放置位置旁后，获取夹取姿态对应的预设的放置姿态；

控制搬运机械手以放置姿态将搬运目标放置于放置位置。

上述技术方案的工作原理及有益效果为：

控制搬运机械手对搬运目标进行搬运时，获取搬运机械手当前的第二位置，搬运机械手会记录当前自身所处的位置，因此，第二位置可与搬运机械手进行对接获取。规划搬运机械手从第二位置前往第一位置旁的第一行驶路线，基于起止位置规划机械手的移动路线属于现有技术范畴，不作赘述。

基于第一行驶路线，控制搬运机械手前往第一位置旁，控制搬运机械手沿第一行驶路线移动，来到第一位置旁。

当搬运机械手抵达第一位置旁后，获取搬运目标的第二图像，第二图像的获取也通过设置于搬运机械手的手心处的摄像机拍摄获取，搬运机械手来到第一位置旁时，手心对准搬运目标，即可获取到。

基于第二图像，确定搬运目标的物件类型和物件姿态，物件类型可以基于图像识别技术，确定物件的形状和颜色等，基于形状和颜色等确定物件类型，例如：铝壳，物件姿态具体为物件哪几个面在夹取时没有遮挡或障碍物，例如：如图2所示，A垛中的最上层物件的四个侧面和上面在夹取时没有遮挡或障碍物。

引入物件类型对应的预设的夹取姿态对照库，夹取姿态对照库具体为：由工作人员预先进行实验，实验内容为：对码垛进行随机摆放，从摆放完成的码垛中选择一个物件作为搬运目标，记录搬运目标哪几个面没有遮挡作为物体姿态，判断搬运机械手的机械爪夹取搬运目标哪几个面合适，判断完成后，将判断的机械爪夹取搬运目标的哪几个面时机械手的姿态作为搬运机械手的夹取姿态，记录该夹取姿态，将记录的物体姿态和夹取姿态进行一一配对，获得配对项，基于配对项，构建夹取姿态对照库，可以实现。以二爪机械手为例，具体实验记录数据如表格1所示：

表格1

一般的，实验过程中，判断二爪机械手适宜的夹取姿态时，只需判断物件的对立面是否有遮挡，若没有，以二爪机械手夹持对立面作为夹取姿态即可。

从夹取姿态对照库中对照确定物件姿态对应的夹取姿态。

引入物件类型对应的预设的第一夹持力度，预设的第一夹持力度具体为：由工作人员预先进行实验，实验内容为：测试不同物件类型的物件最适宜的夹持力度，最适宜的标准是保证物件无损坏且在搬运过程中物件不滑落，根据实验结果确定的物件类型适宜的夹取力度，可以实现，适宜的夹取力度的单位可以用机械手的最大夹取力度的百分比代替。以二爪机械手为例，具体实验记录数据如表格2所示：

表格2

控制搬运机械手前往第一位置以夹取姿态和第一夹持力度夹取搬运目标，即控制搬运机械手以多大力度夹持搬运目标的哪几个面。

同理的，当搬运机械手夹取搬运目标后，规划搬运机械手从第一位置前往放置位置旁的第二行驶路线，基于第二行驶路线，控制搬运机械手前往放置位置旁。

当搬运机械手抵达放置位置旁后，引入夹取姿态对应的预设的放置姿态，预设的放置姿态具体为：由工作人员预先进行实验，实验内容为：控制搬运机械手夹持物件的哪几个面后，进行搬运，确定以物件的哪个面着地适宜，物件的其他面对准什么方向适宜，将物件适宜的着地面、物件的其他面适宜的对方向作为放置姿态，可以实现。

控制搬运机械手以放置姿态将搬运目标放置于放置位置，即控制搬运机械手将物件以哪个面着地，其他面对准什么方向。

本申请控制搬运机械手以适宜的夹取姿态和合适的夹取力度对搬运目标进行搬运，提升了搬运的效率，也避免了对物件造成损伤，另外，以合适的放置姿态将搬运目标放置于放置位置，十分智能化。

本发明实施例提供了一种搬运机械手控制方法，控制搬运机械手前往放置位置旁时，还包括：

获取搬运机械手运动时的运动参数；

基于预设的第二特征提取模板，对运动参数进行特征提取，获得多个参数特征值；

基于多个参数特征值，构建运动参数的参数描述向量；

获取物件类型对应的预设的夹持力度调整对照库；

从夹持力度调整对照库中对照确定参数描述向量对应的第二夹持力度；

调整搬运机械手以第二夹持力度夹持搬运目标。

上述技术方案的工作原理及有益效果为：

搬运机械手运动时的运动参数具体为：搬运机械手的移动速度和搬运机械手的各个关节的晃动幅度，移动速度搬运机械手自身会记录，对接获取即可，搬运机械手的各个关节的震动幅度可在关节上设置晃动传感器获取。

机械手移动速度较快时，停止时，惯性越大，对夹持物件的稳定性造成影响，另外，由于关节上的电机运行以及关节之间的连接结构长时间使用后牢固性下降等原因，关节可能会出现轻微晃动，对夹持物件的稳定性造成影响。

因此，引入预设的第二特征提取模板，对运动参数进行特征提取，获得多个参数特征值，参数特征值具体为：搬运机械手的移动速度值、搬运机械手的移动加速度（加速度求取为现有技术范畴，不作赘述）和搬运机械手的各个关节的晃动幅度值，第二特征提取模板为适配于提取这类参数特征值由工作人员预先制定的特征提取模板，具体为提取机械手运动参数中搬运机械手的移动速度值、提取机械手运动参数中搬运机械手的移动加速度以及提取机械手运动参数中搬运机械手的各个关节的晃动幅度值，系统在进行特征提取时，对照着该特征提取模板，进行对应特征的提取。基于多个参数特征值，构建运动参数的参数描述向量，基于数据信息构建向量以及数据信息的描述向量均属于现有技术范畴，不作赘述。

引入物件类型对应的预设的夹持力度调整对照库，预设的夹持力度调整对照库具体为：由工作人员事先进行实验，实验内容为：当搬运机械手夹取该物件类型的物件时，随机调整搬运机械手的运动参数，若发生物件掉落，就重复使搬运机械手以刚刚调整的运动参数夹取物件，同时，适当调大夹持力度，多次实验，记录调整的不同运动参数下，如何调整搬运机械手的夹持力度能够保证物件不掉落，基于记录结果，构建夹持力度调整对照库，可以实现。从夹持力度调整对照库中对照确定参数描述向量对应的第二夹持力度。第二夹持力度大于物件类型对应的第一夹持力度。参数调整量的单位也可以用机械手的最大夹取力度的百分比指代，参数调整量为相对于物件类型对应的第一夹持力度而言进行调整的量，以二爪机械手为例，二爪机械手正常运动时移动速度为0.15m/s，匀速运动，加速度为0，关节的晃动值接近为0，基本不晃动，晃动值由晃动传感器采集，晃动值的单位一般用较于静止时（晃动值0）的数值增大程度的百分比指代，具体实验记录如表格3所示：

表格3

调整搬运机械手以第二夹持力度夹持搬运目标。本申请在搬运机械手搬运物件的过程中，根据搬运机械手的运动参数，动态调整搬运机械手的夹持力度，避免物件掉落，提升了安全性，同时，也更加智能化。

本发明实施例提供了一种搬运机械手控制系统，包括：

获取模块，用于获取待搬运区域内的码垛的第一图像；

确定模块，用于基于第一图像，确定码垛中的搬运目标以及搬运目标的第一位置；

控制模块，用于基于第一位置，控制搬运机械手将搬运目标搬运至预设的放置位置。

本发明实施例提供了一种搬运机械手控制系统，获取模块获取待搬运区域内的码垛的第一图像，包括：

通过设置在待搬运区域旁的图像采集设备获取待搬运区域内的码垛的第一图像；

和/或，

通过待搬运区域旁的作业人员佩戴的作业记录仪获取待搬运区域内的码垛的第一图像。

本发明实施例提供了一种搬运机械手控制系统，确定模块基于第一图像，确定码垛中的搬运目标，包括：

基于第一图像，确定码垛中分垛的数目；

若数目为1，将码垛中最上层的第一物件作为码垛中的搬运目标；

否则，基于第一图像，确定码垛中各个分垛之间的第一位置关系以及各个分垛上最上层的第二物件之间的第二位置关系；

基于预设的第一特征提取模板，对第一位置关系和第二位置关系进行特征提取，获得多个关系特征值；

基于多个关系特征值，确定码垛中的搬运目标；

基于第一图像，确定搬运目标的第一位置；

其中，确定模块基于多个关系特征值，确定码垛中的搬运目标，包括：

获取预设的搬运目标确定模型；

将多个关系特征值输入至搬运目标确定模型，由搬运目标确定模型从第二物件中确定码垛中的搬运目标；

或，

基于关系特征值，构建第一位置关系和第二位置关系的关系描述向量；

获取预设的搬运目标确定结果对照库；

从搬运目标确定结果对照库中对照确定关系描述向量对应的搬运目标确定结果；

基于搬运目标确定结果，从第二物件中确定码垛中的搬运目标。

本发明实施例提供了一种搬运机械手控制系统，控制模块基于第一位置，控制搬运机械手将搬运目标搬运至预设的放置位置，包括：

获取搬运机械手当前的第二位置；

规划搬运机械手从第二位置前往第一位置旁的第一行驶路线；

基于第一行驶路线，控制搬运机械手前往第一位置旁；

当搬运机械手抵达第一位置旁后，获取搬运目标的第二图像；

基于第二图像，确定搬运目标的物件类型和物件姿态；

获取物件类型对应的预设的夹取姿态对照库；

从夹取姿态对照库中对照确定物件姿态对应的夹取姿态；

获取物件类型对应的预设的第一夹持力度；

控制搬运机械手前往第一位置以夹取姿态和第一夹持力度夹取搬运目标；

当搬运机械手夹取搬运目标后，规划搬运机械手从第一位置前往放置位置旁的第二行驶路线；

基于第二行驶路线，控制搬运机械手前往放置位置旁；

当搬运机械手抵达放置位置旁后，获取夹取姿态对应的预设的放置姿态；

控制搬运机械手以放置姿态将搬运目标放置于放置位置。

本发明实施例提供了一种搬运机械手控制系统，控制模块控制搬运机械手前往放置位置旁时，还包括：

获取搬运机械手运动时的运动参数；

基于预设的第二特征提取模板，对运动参数进行特征提取，获得多个参数特征值；

基于多个参数特征值，构建运动参数的参数描述向量；

获取物件类型对应的预设的夹持力度调整对照库；

从夹持力度调整对照库中对照确定参数描述向量对应的第二夹持力度；

调整搬运机械手以第二夹持力度夹持搬运目标。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种搬运机械手控制方法，其特征在于，包括：

步骤1：获取待搬运区域内的码垛的第一图像；

步骤2：基于所述第一图像，确定所述码垛中的搬运目标以及所述搬运目标的第一位置；

步骤3：基于所述第一位置，控制搬运机械手将所述搬运目标搬运至预设的放置位置；

所述步骤2：基于所述第一图像，确定所述码垛中的搬运目标，包括：

基于所述第一图像，确定所述码垛中分垛的数目；

若所述数目为1，将所述码垛中最上层的第一物件作为所述码垛中的搬运目标；

否则，基于所述第一图像，确定所述码垛中各个所述分垛之间的第一位置关系以及各个所述分垛上最上层的第二物件之间的第二位置关系；

基于预设的第一特征提取模板，对所述第一位置关系和所述第二位置关系进行特征提取，获得多个关系特征值；

基于所述多个关系特征值，确定所述码垛中的搬运目标；

基于所述第一图像，确定所述搬运目标的第一位置；

其中，所述基于所述多个关系特征值，确定所述码垛中的搬运目标，包括：

获取预设的搬运目标确定模型；

将所述多个关系特征值输入至所述搬运目标确定模型，由所述搬运目标确定模型从所述第二物件中确定所述码垛中的搬运目标；

或，

基于所述关系特征值，构建所述第一位置关系和所述第二位置关系的关系描述向量；

获取预设的搬运目标确定结果对照库；

从所述搬运目标确定结果对照库中对照确定所述关系描述向量对应的搬运目标确定结果；

基于所述搬运目标确定结果，从所述第二物件中确定所述码垛中的搬运目标。

2.如权利要求1所述的一种搬运机械手控制方法，其特征在于，所述步骤1：获取待搬运区域内的码垛的第一图像，包括：

通过设置在待搬运区域旁的图像采集设备获取待搬运区域内的码垛的第一图像；

和/或，

通过待搬运区域旁的作业人员佩戴的作业记录仪获取待搬运区域内的码垛的第一图像。

3.如权利要求1所述的一种搬运机械手控制方法，其特征在于，所述步骤3：基于所述第一位置，控制搬运机械手将所述搬运目标搬运至预设的放置位置，包括：

获取搬运机械手当前的第二位置；

规划所述搬运机械手从所述第二位置前往所述第一位置旁的第一行驶路线；

基于所述第一行驶路线，控制所述搬运机械手前往所述第一位置旁；

当所述搬运机械手抵达所述第一位置旁后，获取所述搬运目标的第二图像；

基于所述第二图像，确定所述搬运目标的物件类型和物件姿态；

获取所述物件类型对应的预设的夹取姿态对照库；

从所述夹取姿态对照库中对照确定所述物件姿态对应的夹取姿态；

获取所述物件类型对应的预设的第一夹持力度；

控制所述搬运机械手前往所述第一位置以所述夹取姿态和所述第一夹持力度夹取所述搬运目标；

当所述搬运机械手夹取所述搬运目标后，规划所述搬运机械手从所述第一位置前往所述放置位置旁的第二行驶路线；

基于所述第二行驶路线，控制所述搬运机械手前往所述放置位置旁；

当所述搬运机械手抵达所述放置位置旁后，获取所述夹取姿态对应的预设的放置姿态；

控制所述搬运机械手以所述放置姿态将所述搬运目标放置于所述放置位置。

4.如权利要求3所述的一种搬运机械手控制方法，其特征在于，所述控制所述搬运机械手前往所述放置位置旁时，还包括：

获取所述搬运机械手运动时的运动参数；

基于预设的第二特征提取模板，对所述运动参数进行特征提取，获得多个参数特征值；

基于所述多个参数特征值，构建所述运动参数的参数描述向量；

获取所述物件类型对应的预设的夹持力度调整对照库；

从所述夹持力度调整对照库中对照确定所述参数描述向量对应的第二夹持力度；

调整所述搬运机械手以所述第二夹持力度夹持所述搬运目标。

5.一种搬运机械手控制系统，其特征在于，包括：

获取模块，用于获取待搬运区域内的码垛的第一图像；

确定模块，用于基于所述第一图像，确定所述码垛中的搬运目标以及所述搬运目标的第一位置；

控制模块，用于基于所述第一位置，控制搬运机械手将所述搬运目标搬运至预设的放置位置；

所述确定模块基于所述第一图像，确定所述码垛中的搬运目标，包括：

基于所述第一图像，确定所述码垛中分垛的数目；

若所述数目为1，将所述码垛中最上层的第一物件作为所述码垛中的搬运目标；

否则，基于所述第一图像，确定所述码垛中各个所述分垛之间的第一位置关系以及各个所述分垛上最上层的第二物件之间的第二位置关系；

基于预设的第一特征提取模板，对所述第一位置关系和所述第二位置关系进行特征提取，获得多个关系特征值；

基于所述多个关系特征值，确定所述码垛中的搬运目标；

基于所述第一图像，确定所述搬运目标的第一位置；

其中，所述确定模块基于所述多个关系特征值，确定所述码垛中的搬运目标，包括：

获取预设的搬运目标确定模型；

将所述多个关系特征值输入至所述搬运目标确定模型，由所述搬运目标确定模型从所述第二物件中确定所述码垛中的搬运目标；

或，

基于所述关系特征值，构建所述第一位置关系和所述第二位置关系的关系描述向量；

获取预设的搬运目标确定结果对照库；

从所述搬运目标确定结果对照库中对照确定所述关系描述向量对应的搬运目标确定结果；

基于所述搬运目标确定结果，从所述第二物件中确定所述码垛中的搬运目标。

6.如权利要求5所述的一种搬运机械手控制系统，其特征在于，所述获取模块获取待搬运区域内的码垛的第一图像，包括：

通过设置在待搬运区域旁的图像采集设备获取待搬运区域内的码垛的第一图像；

和/或，

通过待搬运区域旁的作业人员佩戴的作业记录仪获取待搬运区域内的码垛的第一图像。

7.如权利要求5所述的一种搬运机械手控制系统，其特征在于，所述控制模块基于所述第一位置，控制搬运机械手将所述搬运目标搬运至预设的放置位置，包括：

获取搬运机械手当前的第二位置；

规划所述搬运机械手从所述第二位置前往所述第一位置旁的第一行驶路线；

基于所述第一行驶路线，控制所述搬运机械手前往所述第一位置旁；

当所述搬运机械手抵达所述第一位置旁后，获取所述搬运目标的第二图像；

基于所述第二图像，确定所述搬运目标的物件类型和物件姿态；

获取所述物件类型对应的预设的夹取姿态对照库；

从所述夹取姿态对照库中对照确定所述物件姿态对应的夹取姿态；

获取所述物件类型对应的预设的第一夹持力度；

控制所述搬运机械手前往所述第一位置以所述夹取姿态和所述第一夹持力度夹取所述搬运目标；

当所述搬运机械手夹取所述搬运目标后，规划所述搬运机械手从所述第一位置前往所述放置位置旁的第二行驶路线；

基于所述第二行驶路线，控制所述搬运机械手前往所述放置位置旁；

当所述搬运机械手抵达所述放置位置旁后，获取所述夹取姿态对应的预设的放置姿态；

控制所述搬运机械手以所述放置姿态将所述搬运目标放置于所述放置位置。

8.如权利要求7所述的一种搬运机械手控制系统，其特征在于，所述控制模块控制所述搬运机械手前往所述放置位置旁时，还包括：

获取所述搬运机械手运动时的运动参数；

基于预设的第二特征提取模板，对所述运动参数进行特征提取，获得多个参数特征值；

基于所述多个参数特征值，构建所述运动参数的参数描述向量；

获取所述物件类型对应的预设的夹持力度调整对照库；

从所述夹持力度调整对照库中对照确定所述参数描述向量对应的第二夹持力度；

调整所述搬运机械手以所述第二夹持力度夹持所述搬运目标。