CN110076772B - 一种机械臂的抓取方法及装置 - Google Patents

一种机械臂的抓取方法及装置 Download PDF

Info

Publication number
CN110076772B
CN110076772B CN201910268008.9A CN201910268008A CN110076772B CN 110076772 B CN110076772 B CN 110076772B CN 201910268008 A CN201910268008 A CN 201910268008A CN 110076772 B CN110076772 B CN 110076772B
Authority
CN
China
Prior art keywords
preset
camera
image
mechanical arm
current position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910268008.9A
Other languages
English (en)
Other versions
CN110076772A (zh
Inventor
张兆旭
汪鹏飞
卢维
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910268008.9A priority Critical patent/CN110076772B/zh
Publication of CN110076772A publication Critical patent/CN110076772A/zh
Application granted granted Critical
Publication of CN110076772B publication Critical patent/CN110076772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明公开了一种机械臂的抓取方法及装置。所述方法包括：控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到第一摄像头对应的第一位姿信息；并根据第一位姿信息，确定机械臂的末端在当前位置时对应的运动信息，从而控制机械臂按照运动信息移动至述预设位置并抓取目标。本发明实施例中，将预设的神经网络模型应用到控制设备中，能够实时地根据采集到的图像对机械臂进行控制；进一步地，利用预设的神经网络模型能够直接估计出机械臂的运动信息，无需获取摄像头的内部参数，进而也无需进行手眼标定环节，过程简便，步骤简单，且计算误差较小。

Description

一种机械臂的抓取方法及装置
技术领域
本发明涉及机器人技术领域，尤其涉及一种机械臂的抓取方法及装置。
背景技术
机器人视觉系统通过视觉获取周围环境的几何信息，并将这些信息用于运动规划与控制。例如，可以通过采集安装在机械臂末端的摄像头所拍摄到的图像，来确定机械臂的运动信息，进而对机械臂的运动进行控制，从而能够抓取目标。现有技术在确定机械臂的运动信息时，通常需要根据摄像头的内部参数，对摄像头进行手眼标定，这种方法过程比较复杂，误差较大。
基于此，目前亟需一种机械臂的抓取方法，用于解决现有技术中采用手眼标定的方式计算复杂且计算结果误差较大的问题。
发明内容
本发明实施例提供一种机械臂的抓取方法及装置，以解决现有技术中采用手眼标定的方式计算复杂且计算结果误差较大的技术问题。
本发明实施例提供一种机械臂的抓取方法，所述方法包括：
控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息；所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像，所述预设位置为预先设置的所述机械臂能够抓取目标的位置；所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化；所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的，所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化；所述第一摄像头设置于所述机械臂的末端；
所述控制设备至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息；
所述控制设备控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。
本发明实施例中，将预设的神经网络模型应用到控制设备中，能够实时地根据采集到的图像对机械臂进行控制；进一步地，利用预设的神经网络模型能够直接估计出机械臂的运动信息，无需获取摄像头的内部参数，进而也无需进行手眼标定环节，过程简便，步骤简单，且计算误差较小。
在一种可能的实现方式中，所述预设的神经网络模型包括光流预测模型和位姿预测模型；所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的；所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的。
在一种可能的实现方式中，所述控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息之前，还包括：
所述控制设备接收到用户发送的抓取命令后，通过第二摄像头获取第二图像；所述第二摄像头设置于所述机械臂的操作环境中；
所述控制设备若确定所述第二图像中存在抓取目标，则通过所述第一摄像头在所述当前位置对所述抓取目标进行拍摄，得到所述第一图像。
在一种可能的实现方式中，所述控制设备至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息，包括：
所述控制设备根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在所述当前位置时对应的运动信息；所述雅克比矩阵是根据雅克比矩阵的观测向量确定的，所述雅克比矩阵的观测向量是根据预设的回归预测模型确定的；
其中，所述雅克比矩阵为：
Figure BDA0002017462160000031
所述雅克比矩阵的观测向量为：
Figure BDA0002017462160000032
所述预设的回归预测模型为：
Figure BDA0002017462160000033
其中，hk、uk、Wk、Vk为k时刻噪声参数；hk-1、uk-1、Wk-1、Vk-1为k-1时刻噪声参数；λ＝(k-1)/k；
Figure BDA0002017462160000034
为xk的预测值；
Figure BDA0002017462160000035
为xk的估计值；
Figure BDA0002017462160000036
Figure BDA0002017462160000037
Figure BDA0002017462160000038
为k时刻和k-1时刻
Figure BDA0002017462160000039
的差值，
Figure BDA00020174621600000310
为Pk的估计值，Pk为状态估计协方差矩阵；ΔLk为k时刻和k-1时刻Lk的差值；
Figure BDA00020174621600000311
Figure BDA00020174621600000312
在一种可能的实现方式中，所述第一位姿信息包括所述第一摄像头自所述当前位置至所述预设位置时的位移和转动角度；所述机械臂的末端在当前位置时对应的运动信息包括所述机械臂的末端在当前位置时的线速度和角速度；
所述控制设备根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在当前位置时对应的运动信息，包括：
所述控制设备根据所述位移和转动角度，确定所述第一摄像头在所述当前位置时的线速度和角速度；
所述控制设备根据所述第一摄像头在所述当前位置时的线速度和角速度，以及所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在当前位置时的线速度和角速度。
在一种可能的实现方式中，所述第一摄像头在所述当前位置时的线速度和角速度通过以下方式确定：
Figure BDA0002017462160000041
其中，vc为所述第一摄像头在所述当位置时的线速度；ωc为所述第一摄像头在所述当前位置时的角速度；λ为预设的比例系数；
Figure BDA0002017462160000042
为预估的所述第一摄像头的旋转矩阵；tc为所述第一摄像头自所述当前位置至所述预设位置时的位移；uc为所述第一摄像头自所述当前位置至所述预设位置时的转动角度。
在一种可能的实现方式中，所述样本图像通过以下方式得到：
根据预设的变化参数，对所述预设图像进行转动，得到所述样本图像。
本发明实施例提供一种机械臂的抓取装置，所述装置包括：
输入单元，用于将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息；所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像，所述预设位置为预先设置的所述机械臂能够抓取目标的位置；所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化；所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的，所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化；所述第一摄像头设置于所述机械臂的末端；
处理单元，用于至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息；
控制单元，用于控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。
在一种可能的实现方式中，所述预设的神经网络模型包括光流预测模型和位姿预测模型；所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的；所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的。
在一种可能的实现方式中，所述装置还包括：
获取单元，用于在接收到用户发送的抓取命令后，通过第二摄像头获取第二图像；所述第二摄像头设置于所述机械臂的操作环境中；以及若确定所述第二图像中存在抓取目标，则通过所述第一摄像头在所述当前位置对所述抓取目标进行拍摄，得到所述第一图像。
在一种可能的实现方式中，所述处理单元具体用于：
根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在所述当前位置时对应的运动信息；所述雅克比矩阵是根据雅克比矩阵的观测向量确定的，所述雅克比矩阵的观测向量是根据预设的回归预测模型确定的；
其中，所述雅克比矩阵为：
Figure BDA0002017462160000051
所述雅克比矩阵的观测向量为：
Figure BDA0002017462160000052
所述预设的回归预测模型为：
Figure BDA0002017462160000053
其中，hk、uk、Wk、Vk为k时刻噪声参数；hk-1、uk-1、Wk-1、Vk-1为k-1时刻噪声参数；λ＝(k-1)/k；
Figure BDA0002017462160000054
为xk的预测值；
Figure BDA0002017462160000055
为xk的估计值；
Figure BDA0002017462160000056
Figure BDA0002017462160000057
Figure BDA0002017462160000058
为k时刻和k-1时刻
Figure BDA0002017462160000059
的差值，
Figure BDA00020174621600000510
为Pk的估计值，Pk为状态估计协方差矩阵；ΔLk为k时刻和k-1时刻Lk的差值；
Figure BDA0002017462160000061
Figure BDA0002017462160000062
在一种可能的实现方式中，所述第一位姿信息包括所述第一摄像头自所述当前位置至所述预设位置时的位移和转动角度；所述机械臂的末端在当前位置时对应的运动信息包括所述机械臂的末端在当前位置时的线速度和角速度；
所述处理单元具体用于：
根据所述位移和转动角度，确定所述第一摄像头在所述当前位置时的线速度和角速度；以及根据所述第一摄像头在所述当前位置时的线速度和角速度，以及所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在当前位置时的线速度和角速度。
在一种可能的实现方式中，所述第一摄像头在所述当前位置时的线速度和角速度通过以下方式确定：
Figure BDA0002017462160000063
其中，vc为所述第一摄像头在所述当位置时的线速度；ωc为所述第一摄像头在所述当前位置时的角速度；λ为预设的比例系数；
Figure BDA0002017462160000064
为预估的所述第一摄像头的旋转矩阵；tc为所述第一摄像头自所述当前位置至所述预设位置时的位移；uc为所述第一摄像头自所述当前位置至所述预设位置时的转动角度。
在一种可能的实现方式中，所述样本图像通过以下方式得到：
根据预设的变化参数，对所述预设图像进行转动，得到所述样本图像。
本申请实施例的还提供一种装置，该装置具有实现上文所描述的机械臂的抓取方法的功能。该功能可以通过硬件执行相应的软件实现，在一种可能的设计中，该装置包括：处理器、收发器、存储器；该存储器用于存储计算机执行指令，该收发器用于实现该装置与其他通信实体进行通信，该处理器与该存储器通过该总线连接，当该装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该装置执行上文所描述的机械臂的抓取方法。
本发明实施例还提供一种计算机存储介质，所述存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的机械臂的抓取方法。
本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种可能的实现方式中所描述的机械臂的抓取方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。
图1为本发明实施例适用的场景示意图；
图2为本发明实施例提供的一种机械臂的抓取方法所对应的流程示意图；
图3a为本发明实施例提供的一种预设的神经网络模型对应的结构示意图；
图3b为本发明实施例提供的另一种预设的神经网络模型对应的结构示意；
图4为本发明实施例提供的一种样本图像的获取方法所对应的示意图；
图5为本发明实施例提供的一种机械臂的抓取装置的结构示意图。
具体实施方式
下面结合说明书附图对本申请进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例中。
图1示例性示出了本发明实施例适用的场景示意图。该场景中包括机械臂101、摄像头102和摄像头103。其中，摄像头102设置于机械臂101末端，摄像头103设置于该场景中。本发明实施例中，摄像头102由于安装在机械臂101末端，因此可以随着机械臂101运动，摄像头102的视野范围具有一定的局限性，但获取的视野精准度较高。摄像头103固定安装在机械臂101操作环境中，其视野范围广泛，不易跟丢物体，但精准性不如摄像头102。
基于图1所示的场景，图2示例性示出了本发明实施例提供的一种机械臂的抓取方法所对应的流程示意图。如图2所示，具体包括如下步骤：
步骤201，控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到第一摄像头对应的第一位姿信息。
步骤202，控制设备至少根据第一位姿信息，确定机械臂的末端在当前位置时对应的运动信息。
步骤203，控制设备控制机械臂按照运动信息移动至预设位置并抓取目标。
本发明实施例中，将预设的神经网络模型应用到控制设备中，能够实时地根据采集到的图像对机械臂进行控制；进一步地，利用预设的神经网络模型能够直接估计出机械臂的运动信息，无需获取摄像头的内部参数，进而也无需进行手眼标定环节，过程简便，步骤简单，且计算误差较小。
具体来说，在执行步骤201之前，控制设备在接收到用户发送的抓取命令后，可以通过第二摄像头获取第二图像；进而，可以在确定第二图像中存在抓取目标之后，可以通过第一摄像头在当前位置对抓取目标进行拍摄，得到第一图像。其中，第一摄像头可以设置于机械臂的末端，例如第一摄像头可以为图1中示出的摄像头102；第二摄像头可以设置于机械臂的操作环境中，例如第二摄像头可以为图1中示出的摄像头103。
步骤201中，预设图像可以为第一摄像头在预设位置所拍摄得到的图像，其中，预设位置为预先设置的机械臂能够抓取目标的位置。也就是说，控制设备可以通过比较第一图像和预设图像，来确定第一摄像头在当前位置和预设位置之间的差距，进而确定第一位姿信息。进一步地，第一位姿信息可以为第一摄像头自当前位置至预设位置的位姿变化。
本发明实施例中，可以采用预设的神经网络模型来确定第一位姿信息。如图3a所示，为本发明实施例提供的一种预设的神经网络模型对应的结构示意图。采用图3a所示的神经网络结构，可以根据第一摄像头在任意位置拍摄得到的样本图像、预设图像以及样本位姿信息训练神经网络，从而得到该预设的神经网络模型。其中，样本位姿信息可以为第一摄像头自任意位置至预设位置时的位姿变化。
如图3b所示，为本发明实施例提供的另一种预设的神经网络模型对应的结构示意图。预设的神经网络模型可以包括光流预测模型和位姿预测模型。采用图3b所示的神经网络结构，可以根据样本图像、预设图像以及样本图像与所述预设图像之间的光流预测结果训练得到光流预测模型；并且可以根据样本图像与预设图像之间的光流预测结果和样本位姿信息训练得到位姿预测模型。
进一步地，样本图像的获取方式有多种，一个示例中，可以根据预设的变化参数，对预设图像进行转动，从而得到样本图像。如图4所示，为本发明实施例提供的一种样本图像的获取方法所对应的示意图。具体来说，可以在真实环境中获取一张摄像头在初始位置(记为r0)内的图像(记为I0)，并根据根据摄像头在初始位置所对应的几何关系，设置r1，r2，r3，…，ri等i个虚拟位置，摄像头在每个虚拟位置所获得的图像(记为I1，I2，I3，…，Ii)可以对应于一组摄像头的位姿信息。采用这种方式，无需做大量的数据收集工作，节省了数据收集的实际，并且能够最大可能的覆盖更多的情况。
在其它可能的示例中，也可以通过收集大量的真实世界的机械臂操作环节数据来获取样本图像，具体不做限定。
步骤202中，控制设备可以根据第一位姿信息和第一摄像头与机械臂末端的雅克比矩阵，确定机械臂的末端在所述当前位置时对应的运动信息。
进一步地，第一位姿信息可以包括第一摄像头自当前位置至所述预设位置时的位移和转动角度；机械臂的末端在当前位置时对应的运动信息可以包括机械臂的末端在当前位置时的线速度和角速度。
更进一步地，控制设备可以根据位移和转动角度，确定第一摄像头在当前位置时的线速度和角速度；进而，可以根据第一摄像头在当前位置时的线速度和角速度，以及第一摄像头与机械臂末端的雅克比矩阵，确定机械臂的末端在当前位置时的线速度和角速度。
其中，雅克比矩阵可以是根据雅克比矩阵的观测向量确定的，而雅克比矩阵的观测向量可是根据预设的回归预测模型确定的。
具体来说，所述雅克比矩阵(Jr)可以表示为：
Figure BDA0002017462160000101
所述雅克比矩阵的观测向量(xk)可以表示为：
Figure BDA0002017462160000102
所述预设的回归预测模型可以表示为：
Figure BDA0002017462160000103
其中，hk、uk、Wk、Vk为k时刻噪声参数；hk-1、uk-1、Wk-1、Vk-1为k-1时刻噪声参数；λ＝(k-1)/k；
Figure BDA0002017462160000104
为xk的预测值；
Figure BDA0002017462160000105
为xk的估计值；
Figure BDA0002017462160000106
Figure BDA0002017462160000107
Figure BDA0002017462160000108
为k时刻和k-1时刻
Figure BDA0002017462160000109
的差值，
Figure BDA00020174621600001010
为Pk的估计值，Pk为状态估计协方差矩阵；ΔLk为k时刻和k-1时刻Lk的差值；
Figure BDA00020174621600001011
Figure BDA00020174621600001012
而，第一摄像头在所述当前位置时的线速度和角速度可以通过公式(1)确定：
Figure BDA00020174621600001013
其中，vc为所述第一摄像头在所述当位置时的线速度；ωc为所述第一摄像头在所述当前位置时的角速度；λ为预设的比例系数；
Figure BDA00020174621600001014
为预估的所述第一摄像头的旋转矩阵；tc为所述第一摄像头自所述当前位置至所述预设位置时的位移；uc为所述第一摄像头自所述当前位置至所述预设位置时的转动角度。
为了更加清楚地说明上述计算过程，下面对此进行详细描述。
本方案采用经典的比例控制率，将步骤201中神经网络得到的摄像头的位移和转动角度映射到摄像头相机的线速度和角速度，即可以通过上述公式(1)确定。
进一步地，机械臂视觉伺服系控制系统可以包括三种雅克比矩阵，分别为交互雅克比矩阵、手眼雅克比矩阵和机械臂雅克比矩阵。本发明实施例可以采用自适应卡尔曼滤波对手眼雅克比矩阵进行在线估计。其中，摄像头线速度和角速度与机械臂末端的线速度和角速度的关系可以通过公式(2)确定：
Figure BDA0002017462160000111
其中，vc为所述第一摄像头在所述当位置时的线速度；ωc为所述第一摄像头在所述当前位置时的角速度；vr为机械臂的末端在当前位置时的线速度；ωr为机械臂的末端在当前位置时的线速度；Jr为雅克比矩阵。
L＝[l1，…，l6]T表示摄像机末端位置及姿态，rk表示机械臂末端位置及姿态，
Figure BDA0002017462160000112
与
Figure BDA0002017462160000113
二者之间的关系可以通过公式(3)表示：
Lk+1-Lk＝Jr·Δrk 公式(3)
其中，k为迭代次数，Jr表示为：
Figure BDA0002017462160000114
根据上述关系，可以建立离散线性方程，如公式(4)所示：
Figure BDA0002017462160000116
其中wk’和vk’表示均值不为零的高斯白噪声矩阵，满足E(w′k)＝uk，E(v′k)＝hk，并且有：
Figure BDA0002017462160000115
为了将卡尔曼滤波应用到在线估计过程中，离散线性方程可以转化为公式(5)：
Figure BDA0002017462160000121
其中，wk和vk可以表示均值为零且不相关的高斯白噪声，wk～N(0,W)，vk～N(0,V)。
设计自适应卡尔曼滤波器，在系统噪声未知的条件下对雅克比矩阵进行在线估计。系统变量回归预测模型为：
Figure BDA0002017462160000122
其中，hk、uk、Wk、Vk为k时刻噪声参数；hk-1、uk-1、Wk-1、Vk-1为k-1时刻噪声参数；λ＝(k-1)/k；
Figure BDA0002017462160000123
为xk的预测值；
Figure BDA0002017462160000124
为xk的估计值；
Figure BDA0002017462160000125
Figure BDA0002017462160000126
Figure BDA0002017462160000127
为k时刻和k-1时刻
Figure BDA0002017462160000128
的差值，
Figure BDA0002017462160000129
为Pk的估计值，Pk为状态估计协方差矩阵；ΔLk为k时刻和k-1时刻Lk的差值；
Figure BDA00020174621600001210
Figure BDA00020174621600001211
上述算法流程及伪代码设计如下：
S1：设置手眼雅克比矩阵的初始值。使机械臂产生六组正交运动，生成两个6*6的矩速度矩阵，分别表示摄像头产生的运动信息和机械臂的末端产生的运动信息。手眼雅克比矩阵的初始值可以设置为：
Figure BDA00020174621600001212
S2：设置自适应卡尔曼滤波器的初始值。将雅克比矩阵的初始值转化为36*1的矩阵，作为卡尔曼滤波器状态向量的初始值，设置噪声参数hk、uk、Wk、Vk，并利用机械臂的末端的位置变化值构建状态转移矩阵Ck。
S3：作为主体循环模块，根据回归预测模型对hk、uk、Wk、Vk进行估计，利用卡尔曼滤波的预测模型，校正模型以及卡尔曼增益的计算方法对参数进行循环计算，并将每一次循环得到的xk e转化为雅克比矩阵Jr。
具体的代码表示如下：
For k＝0；k＜iteration；k++do
设置Kalman滤波器初始值hk、uk、Wk、Vk，Jr→x0，△rk→C0
回归估计：
Figure BDA0002017462160000131
预测：
Figure BDA0002017462160000132
Kalman增益:
Figure BDA0002017462160000133
校正：
Figure BDA0002017462160000134
转化：
Figure BDA0002017462160000135
End
注：Pk为状态估计协方差矩阵，
Figure BDA0002017462160000136
为Pk的预测值和估计值。
更进一步地，将xk e转化为雅克比矩阵之后，可以利用机械臂雅克比矩阵将第一摄像头的线速度和角速度映射到机械臂关节的角速度，具体可以通过公式(6)确定：
Figure BDA0002017462160000137
其中，An为n自由度的机械臂关节的角速度；Ja为机械臂的雅克比矩阵；(JrJa)+为矩阵伪逆。
步骤203中，控制设备可以根据步骤202计算得到的数据，控制机械臂移动到预设位置并抓取目标。
基于同样的发明构思，本发明实施例提供一种机械臂的抓取装置，如图5所示，所述装置包括输入单元501、处理单元502、控制单元503和获取单元504；
其中，输入单元501，用于将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息；所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像，所述预设位置为预先设置的所述机械臂能够抓取目标的位置；所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化；所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的，所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化；所述第一摄像头设置于所述机械臂的末端；
处理单元502，用于至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息；
控制单元503，用于控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。
在一种可能的实现方式中，所述预设的神经网络模型包括光流预测模型和位姿预测模型；所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的；所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的。
在一种可能的实现方式中，所述装置还包括：
获取单元504，用于在接收到用户发送的抓取命令后，通过第二摄像头获取第二图像；所述第二摄像头设置于所述机械臂的操作环境中；以及若确定所述第二图像中存在抓取目标，则通过所述第一摄像头在所述当前位置对所述抓取目标进行拍摄，得到所述第一图像。
在一种可能的实现方式中，所述处理单元502具体用于：
根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在所述当前位置时对应的运动信息；所述雅克比矩阵是根据雅克比矩阵的观测向量确定的，所述雅克比矩阵的观测向量是根据预设的回归预测模型确定的；
其中，所述雅克比矩阵为：
Figure BDA0002017462160000151
所述雅克比矩阵的观测向量为：
Figure BDA0002017462160000152
所述预设的回归预测模型为：
Figure BDA0002017462160000153
其中，hk、uk、Wk、Vk为k时刻噪声参数；hk-1、uk-1、Wk-1、Vk-1为k-1时刻噪声参数；λ＝(k-1)/k；
Figure BDA0002017462160000154
为xk的预测值；
Figure BDA0002017462160000155
为xk的估计值；
Figure BDA0002017462160000156
Figure BDA0002017462160000157
Figure BDA0002017462160000158
为k时刻和k-1时刻
Figure BDA0002017462160000159
的差值，
Figure BDA00020174621600001510
为Pk的估计值，Pk为状态估计协方差矩阵；ΔLk为k时刻和k-1时刻Lk的差值；
Figure BDA00020174621600001511
Figure BDA00020174621600001512
在一种可能的实现方式中，所述第一位姿信息包括所述第一摄像头自所述当前位置至所述预设位置时的位移和转动角度；所述机械臂的末端在当前位置时对应的运动信息包括所述机械臂的末端在当前位置时的线速度和角速度；
所述处理单元502具体用于：
根据所述位移和转动角度，确定所述第一摄像头在所述当前位置时的线速度和角速度；以及根据所述第一摄像头在所述当前位置时的线速度和角速度，以及所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在当前位置时的线速度和角速度。
在一种可能的实现方式中，所述第一摄像头在所述当前位置时的线速度和角速度通过以下方式确定：
Figure BDA0002017462160000161
其中，vc为所述第一摄像头在所述当位置时的线速度；ωc为所述第一摄像头在所述当前位置时的角速度；λ为预设的比例系数；
Figure BDA0002017462160000162
为预估的所述第一摄像头的旋转矩阵；tc为所述第一摄像头自所述当前位置至所述预设位置时的位移；uc为所述第一摄像头自所述当前位置至所述预设位置时的转动角度。
在一种可能的实现方式中，所述样本图像通过以下方式得到：
根据预设的变化参数，对所述预设图像进行转动，得到所述样本图像。
本申请实施例的还提供一种装置，该装置具有实现上文所描述的机械臂的抓取方法的功能。该功能可以通过硬件执行相应的软件实现，在一种可能的设计中，该装置包括：处理器、收发器、存储器；该存储器用于存储计算机执行指令，该收发器用于实现该装置与其他通信实体进行通信，该处理器与该存储器通过该总线连接，当该装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该装置执行上文所描述的机械臂的抓取方法。
本发明实施例还提供一种计算机存储介质，所述存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的机械臂的抓取方法。
本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种可能的实现方式中所描述的机械臂的抓取方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种机械臂的抓取方法，其特征在于，所述方法包括：
控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息；所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像，所述预设位置为预先设置的所述机械臂能够抓取目标的位置；所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化；所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的，所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化；所述第一摄像头设置于所述机械臂的末端；所述预设的神经网络模型包括光流预测模型和位姿预测模型；所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的；所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的；
所述控制设备至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息；
所述控制设备控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。
2.根据权利要求1所述的方法，其特征在于，所述控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息之前，还包括：
所述控制设备接收到用户发送的抓取命令后，通过第二摄像头获取第二图像；所述第二摄像头设置于所述机械臂的操作环境中；
所述控制设备若确定所述第二图像中存在抓取目标，则通过所述第一摄像头在所述当前位置对所述抓取目标进行拍摄，得到所述第一图像。
3.根据权利要求1所述的方法，其特征在于，所述控制设备至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息，包括：
所述控制设备根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在所述当前位置时对应的运动信息；所述雅克比矩阵是根据雅克比矩阵的观测向量确定的，所述雅克比矩阵的观测向量是根据预设的回归预测模型确定的。
4.根据权利要求3所述的方法，其特征在于，所述第一位姿信息包括所述第一摄像头自所述当前位置至所述预设位置时的位移和转动角度；所述机械臂的末端在当前位置时对应的运动信息包括所述机械臂的末端在当前位置时的线速度和角速度；
所述控制设备根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在当前位置时对应的运动信息，包括：
所述控制设备根据所述位移和转动角度，确定所述第一摄像头在所述当前位置时的线速度和角速度；
所述控制设备根据所述第一摄像头在所述当前位置时的线速度和角速度，以及所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在当前位置时的线速度和角速度。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述样本图像通过以下方式得到：
根据预设的变化参数，对所述预设图像进行转动，得到所述样本图像。
6.一种机械臂的抓取装置，其特征在于，所述装置包括：
输入单元，用于将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息；所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像，所述预设位置为预先设置的所述机械臂能够抓取目标的位置；所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化；所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的，所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化；所述第一摄像头设置于所述机械臂的末端；所述预设的神经网络模型包括光流预测模型和位姿预测模型；所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的；所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的；
处理单元，用于至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息；
控制单元，用于控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。
7.一种计算机可读存储介质，其特征在于，所述存储介质存储有指令，当所述指令在计算机上运行时，使得计算机实现执行权利要求1至5中任一项所述的方法。
8.一种计算机设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求1至5中任一权利要求所述的方法。
CN201910268008.9A 2019-04-03 2019-04-03 一种机械臂的抓取方法及装置 Active CN110076772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910268008.9A CN110076772B (zh) 2019-04-03 2019-04-03 一种机械臂的抓取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910268008.9A CN110076772B (zh) 2019-04-03 2019-04-03 一种机械臂的抓取方法及装置

Publications (2)

Publication Number Publication Date
CN110076772A CN110076772A (zh) 2019-08-02
CN110076772B true CN110076772B (zh) 2021-02-02

Family

ID=67414243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910268008.9A Active CN110076772B (zh) 2019-04-03 2019-04-03 一种机械臂的抓取方法及装置

Country Status (1)

Country Link
CN (1) CN110076772B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7383255B2 (ja) 2019-08-22 2023-11-20 ナブテスコ株式会社 情報処理システム、情報処理方法、建設機械
CN110621150B (zh) * 2019-09-20 2020-11-10 上海节卡机器人科技有限公司 印制电路板的组装方法及相关装置
CN111015655B (zh) * 2019-12-18 2022-02-22 深圳市优必选科技股份有限公司 机械臂抓取方法、装置、计算机可读存储介质及机器人
CN111230877B (zh) * 2020-02-06 2021-07-30 腾讯科技（深圳）有限公司 移动物品的方法及智能设备
EP4166281A4 (en) * 2020-07-29 2024-03-13 Siemens Ltd China METHOD AND APPARATUS ALLOWING A ROBOT TO GRIP A THREE-DIMENSIONAL OBJECT
CN112164112A (zh) * 2020-09-14 2021-01-01 北京如影智能科技有限公司 一种获取机械臂位姿信息的方法及装置
CN112232202A (zh) * 2020-10-15 2021-01-15 广州富港万嘉智能科技有限公司 机械手组装方法、计算机可读存储介质及智能机械手
CN113799127B (zh) * 2021-09-15 2023-05-23 华南理工大学 光学双目定位系统下六自由度机械臂无标定位姿定位方法
CN114083532B (zh) * 2021-11-09 2023-07-21 广州富港生活智能科技有限公司 一种机械臂控制方法及装置
CN114083545B (zh) * 2022-01-24 2022-07-01 之江实验室 一种基于视觉感知的运动物体机器人抓取方法及装置
WO2024021104A1 (zh) * 2022-07-29 2024-02-01 西门子股份公司 机械臂控制方法、装置、系统、电子设备和存储介质
CN116214524B (zh) * 2023-05-08 2023-10-03 国网浙江省电力有限公司宁波供电公司 用于油样回收的无人机抓载方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721444B1 (en) * 1999-03-19 2004-04-13 Matsushita Electric Works, Ltd. 3-dimensional object recognition method and bin-picking system using the method
JP3865703B2 (ja) * 2002-10-25 2007-01-10 ファナック株式会社 物品搬送システム及び搬送方法
JP2009000782A (ja) * 2007-06-21 2009-01-08 Idec Corp ロボット制御システムおよびロボットハンド
US20150142171A1 (en) * 2011-08-11 2015-05-21 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
JP6364836B2 (ja) * 2014-03-14 2018-08-01 セイコーエプソン株式会社 ロボット、ロボットシステム、及び制御装置
CN109407603B (zh) * 2017-08-16 2020-03-06 北京猎户星空科技有限公司 一种控制机械臂抓取物体的方法及装置

Also Published As

Publication number Publication date
CN110076772A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110076772B (zh) 一种机械臂的抓取方法及装置
Zhu et al. Dual-arm robotic manipulation of flexible cables
Koenemann et al. Real-time imitation of human whole-body motions by humanoids
Navarro-Alarcon et al. Model-free visually servoed deformation control of elastic objects by robot manipulators
Liu et al. Uncalibrated visual servoing of robots using a depth-independent interaction matrix
JP2019093461A (ja) 把持システム、学習装置、把持方法、及び、モデルの製造方法
Richter et al. Augmented reality predictive displays to help mitigate the effects of delayed telesurgery
CN110253574B (zh) 一种多任务机械臂位姿检测和误差补偿方法
JP2019014030A (ja) ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法
Wu et al. Hand-eye calibration and inverse kinematics of robot arm using neural network
US11185980B2 (en) Machine learning-based systems and methods for controlling robotic object picking and placement in training and run time environments
US9283676B2 (en) Real-time robotic grasp planning
CN110744541A (zh) 一种视觉引导的水下机械臂控制方法
CN113232019A (zh) 机械臂控制方法、装置、电子设备及存储介质
CN112123341B (zh) 机器人双臂协调运动控制方法、装置和电子设备
Li et al. Neural learning and kalman filtering enhanced teaching by demonstration for a baxter robot
Xu et al. Uncalibrated visual servoing of mobile manipulators with an eye-to-hand camera
CN114536346B (zh) 一种基于人机协作和视觉检测的机械臂精确路径规划方法
Sidiropoulos et al. A human inspired handover policy using gaussian mixture models and haptic cues
Mohebbi et al. An eye-in-hand stereo visual servoing for tracking and catching moving objects
CN113561172B (zh) 一种基于双目视觉采集的灵巧手控制方法及装置
CN114111772B (zh) 一种基于数据手套的水下机器人软体作业手位置跟踪方法
CN109542094B (zh) 无期望图像的移动机器人视觉镇定控制
Du et al. Human-manipulator interface using particle filter
Xu et al. A fast and straightforward hand-eye calibration method using stereo camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant