CN110076772A - 一种机械臂的抓取方法及装置 - Google Patents
一种机械臂的抓取方法及装置 Download PDFInfo
- Publication number
- CN110076772A CN110076772A CN201910268008.9A CN201910268008A CN110076772A CN 110076772 A CN110076772 A CN 110076772A CN 201910268008 A CN201910268008 A CN 201910268008A CN 110076772 A CN110076772 A CN 110076772A
- Authority
- CN
- China
- Prior art keywords
- camera
- mechanical arm
- image
- current location
- posture information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种机械臂的抓取方法及装置。所述方法包括:控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中,得到第一摄像头对应的第一位姿信息;并根据第一位姿信息,确定机械臂的末端在当前位置时对应的运动信息,从而控制机械臂按照运动信息移动至述预设位置并抓取目标。本发明实施例中,将预设的神经网络模型应用到控制设备中,能够实时地根据采集到的图像对机械臂进行控制;进一步地,利用预设的神经网络模型能够直接估计出机械臂的运动信息,无需获取摄像头的内部参数,进而也无需进行手眼标定环节,过程简便,步骤简单,且计算误差较小。
Description
技术领域
本发明涉及机器人技术领域,尤其涉及一种机械臂的抓取方法及装置。
背景技术
机器人视觉系统通过视觉获取周围环境的几何信息,并将这些信息用于运动规划与控制。例如,可以通过采集安装在机械臂末端的摄像头所拍摄到的图像,来确定机械臂的运动信息,进而对机械臂的运动进行控制,从而能够抓取目标。现有技术在确定机械臂的运动信息时,通常需要根据摄像头的内部参数,对摄像头进行手眼标定,这种方法过程比较复杂,误差较大。
基于此,目前亟需一种机械臂的抓取方法,用于解决现有技术中采用手眼标定的方式计算复杂且计算结果误差较大的问题。
发明内容
本发明实施例提供一种机械臂的抓取方法及装置,以解决现有技术中采用手眼标定的方式计算复杂且计算结果误差较大的技术问题。
本发明实施例提供一种机械臂的抓取方法,所述方法包括:
控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中,得到所述第一摄像头对应的第一位姿信息;所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像,所述预设位置为预先设置的所述机械臂能够抓取目标的位置;所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化;所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的,所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化;所述第一摄像头设置于所述机械臂的末端;
所述控制设备至少根据所述第一位姿信息,确定所述机械臂的末端在所述当前位置时对应的运动信息;
所述控制设备控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。
本发明实施例中,将预设的神经网络模型应用到控制设备中,能够实时地根据采集到的图像对机械臂进行控制;进一步地,利用预设的神经网络模型能够直接估计出机械臂的运动信息,无需获取摄像头的内部参数,进而也无需进行手眼标定环节,过程简便,步骤简单,且计算误差较小。
在一种可能的实现方式中,所述预设的神经网络模型包括光流预测模型和位姿预测模型;所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的;所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的。
在一种可能的实现方式中,所述控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中,得到所述第一摄像头对应的第一位姿信息之前,还包括:
所述控制设备接收到用户发送的抓取命令后,通过第二摄像头获取第二图像;所述第二摄像头设置于所述机械臂的操作环境中;
所述控制设备若确定所述第二图像中存在抓取目标,则通过所述第一摄像头在所述当前位置对所述抓取目标进行拍摄,得到所述第一图像。
在一种可能的实现方式中,所述控制设备至少根据所述第一位姿信息,确定所述机械臂的末端在所述当前位置时对应的运动信息,包括:
所述控制设备根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵,确定所述机械臂的末端在所述当前位置时对应的运动信息;所述雅克比矩阵是根据雅克比矩阵的观测向量确定的,所述雅克比矩阵的观测向量是根据预设的回归预测模型确定的;
其中,所述雅克比矩阵为:
所述雅克比矩阵的观测向量为:
所述预设的回归预测模型为:
其中,hk、uk、Wk、Vk为k时刻噪声参数;hk-1、uk-1、Wk-1、Vk-1为k-1时刻噪声参数;λ=(k-1)/k;为xk的预测值;为xk的估计值; 为k时刻和k-1时刻的差值,为Pk的估计值,Pk为状态估计协方差矩阵;ΔLk为k时刻和k-1时刻Lk的差值;
在一种可能的实现方式中,所述第一位姿信息包括所述第一摄像头自所述当前位置至所述预设位置时的位移和转动角度;所述机械臂的末端在当前位置时对应的运动信息包括所述机械臂的末端在当前位置时的线速度和角速度;
所述控制设备根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵,确定所述机械臂的末端在当前位置时对应的运动信息,包括:
所述控制设备根据所述位移和转动角度,确定所述第一摄像头在所述当前位置时的线速度和角速度;
所述控制设备根据所述第一摄像头在所述当前位置时的线速度和角速度,以及所述第一摄像头与所述机械臂末端的雅克比矩阵,确定所述机械臂的末端在当前位置时的线速度和角速度。
在一种可能的实现方式中,所述第一摄像头在所述当前位置时的线速度和角速度通过以下方式确定:
其中,vc为所述第一摄像头在所述当位置时的线速度;ωc为所述第一摄像头在所述当前位置时的角速度;λ为预设的比例系数;为预估的所述第一摄像头的旋转矩阵;tc为所述第一摄像头自所述当前位置至所述预设位置时的位移;uc为所述第一摄像头自所述当前位置至所述预设位置时的转动角度。
在一种可能的实现方式中,所述样本图像通过以下方式得到:
根据预设的变化参数,对所述预设图像进行转动,得到所述样本图像。
本发明实施例提供一种机械臂的抓取装置,所述装置包括:
输入单元,用于将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中,得到所述第一摄像头对应的第一位姿信息;所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像,所述预设位置为预先设置的所述机械臂能够抓取目标的位置;所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化;所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的,所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化;所述第一摄像头设置于所述机械臂的末端;
处理单元,用于至少根据所述第一位姿信息,确定所述机械臂的末端在所述当前位置时对应的运动信息;
控制单元,用于控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。
在一种可能的实现方式中,所述预设的神经网络模型包括光流预测模型和位姿预测模型;所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的;所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的。
在一种可能的实现方式中,所述装置还包括:
获取单元,用于在接收到用户发送的抓取命令后,通过第二摄像头获取第二图像;所述第二摄像头设置于所述机械臂的操作环境中;以及若确定所述第二图像中存在抓取目标,则通过所述第一摄像头在所述当前位置对所述抓取目标进行拍摄,得到所述第一图像。
在一种可能的实现方式中,所述处理单元具体用于:
根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵,确定所述机械臂的末端在所述当前位置时对应的运动信息;所述雅克比矩阵是根据雅克比矩阵的观测向量确定的,所述雅克比矩阵的观测向量是根据预设的回归预测模型确定的;
其中,所述雅克比矩阵为:
所述雅克比矩阵的观测向量为:
所述预设的回归预测模型为:
其中,hk、uk、Wk、Vk为k时刻噪声参数;hk-1、uk-1、Wk-1、Vk-1为k-1时刻噪声参数;λ=(k-1)/k;为xk的预测值;为xk的估计值; 为k时刻和k-1时刻的差值,为Pk的估计值,Pk为状态估计协方差矩阵;ΔLk为k时刻和k-1时刻Lk的差值;
在一种可能的实现方式中,所述第一位姿信息包括所述第一摄像头自所述当前位置至所述预设位置时的位移和转动角度;所述机械臂的末端在当前位置时对应的运动信息包括所述机械臂的末端在当前位置时的线速度和角速度;
所述处理单元具体用于:
根据所述位移和转动角度,确定所述第一摄像头在所述当前位置时的线速度和角速度;以及根据所述第一摄像头在所述当前位置时的线速度和角速度,以及所述第一摄像头与所述机械臂末端的雅克比矩阵,确定所述机械臂的末端在当前位置时的线速度和角速度。
在一种可能的实现方式中,所述第一摄像头在所述当前位置时的线速度和角速度通过以下方式确定:
其中,vc为所述第一摄像头在所述当位置时的线速度;ωc为所述第一摄像头在所述当前位置时的角速度;λ为预设的比例系数;为预估的所述第一摄像头的旋转矩阵;tc为所述第一摄像头自所述当前位置至所述预设位置时的位移;uc为所述第一摄像头自所述当前位置至所述预设位置时的转动角度。
在一种可能的实现方式中,所述样本图像通过以下方式得到:
根据预设的变化参数,对所述预设图像进行转动,得到所述样本图像。
本申请实施例的还提供一种装置,该装置具有实现上文所描述的机械臂的抓取方法的功能。该功能可以通过硬件执行相应的软件实现,在一种可能的设计中,该装置包括:处理器、收发器、存储器;该存储器用于存储计算机执行指令,该收发器用于实现该装置与其他通信实体进行通信,该处理器与该存储器通过该总线连接,当该装置运行时,该处理器执行该存储器存储的该计算机执行指令,以使该装置执行上文所描述的机械臂的抓取方法。
本发明实施例还提供一种计算机存储介质,所述存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的机械臂的抓取方法。
本发明实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各种可能的实现方式中所描述的机械臂的抓取方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍。
图1为本发明实施例适用的场景示意图;
图2为本发明实施例提供的一种机械臂的抓取方法所对应的流程示意图;
图3a为本发明实施例提供的一种预设的神经网络模型对应的结构示意图;
图3b为本发明实施例提供的另一种预设的神经网络模型对应的结构示意;
图4为本发明实施例提供的一种样本图像的获取方法所对应的示意图;
图5为本发明实施例提供的一种机械臂的抓取装置的结构示意图。
具体实施方式
下面结合说明书附图对本申请进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例中。
图1示例性示出了本发明实施例适用的场景示意图。该场景中包括机械臂101、摄像头102和摄像头103。其中,摄像头102设置于机械臂101末端,摄像头103设置于该场景中。本发明实施例中,摄像头102由于安装在机械臂101末端,因此可以随着机械臂101运动,摄像头102的视野范围具有一定的局限性,但获取的视野精准度较高。摄像头103固定安装在机械臂101操作环境中,其视野范围广泛,不易跟丢物体,但精准性不如摄像头102。
基于图1所示的场景,图2示例性示出了本发明实施例提供的一种机械臂的抓取方法所对应的流程示意图。如图2所示,具体包括如下步骤:
步骤201,控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中,得到第一摄像头对应的第一位姿信息。
步骤202,控制设备至少根据第一位姿信息,确定机械臂的末端在当前位置时对应的运动信息。
步骤203,控制设备控制机械臂按照运动信息移动至预设位置并抓取目标。
本发明实施例中,将预设的神经网络模型应用到控制设备中,能够实时地根据采集到的图像对机械臂进行控制;进一步地,利用预设的神经网络模型能够直接估计出机械臂的运动信息,无需获取摄像头的内部参数,进而也无需进行手眼标定环节,过程简便,步骤简单,且计算误差较小。
具体来说,在执行步骤201之前,控制设备在接收到用户发送的抓取命令后,可以通过第二摄像头获取第二图像;进而,可以在确定第二图像中存在抓取目标之后,可以通过第一摄像头在当前位置对抓取目标进行拍摄,得到第一图像。其中,第一摄像头可以设置于机械臂的末端,例如第一摄像头可以为图1中示出的摄像头102;第二摄像头可以设置于机械臂的操作环境中,例如第二摄像头可以为图1中示出的摄像头103。
步骤201中,预设图像可以为第一摄像头在预设位置所拍摄得到的图像,其中,预设位置为预先设置的机械臂能够抓取目标的位置。也就是说,控制设备可以通过比较第一图像和预设图像,来确定第一摄像头在当前位置和预设位置之间的差距,进而确定第一位姿信息。进一步地,第一位姿信息可以为第一摄像头自当前位置至预设位置的位姿变化。
本发明实施例中,可以采用预设的神经网络模型来确定第一位姿信息。如图3a所示,为本发明实施例提供的一种预设的神经网络模型对应的结构示意图。采用图3a所示的神经网络结构,可以根据第一摄像头在任意位置拍摄得到的样本图像、预设图像以及样本位姿信息训练神经网络,从而得到该预设的神经网络模型。其中,样本位姿信息可以为第一摄像头自任意位置至预设位置时的位姿变化。
如图3b所示,为本发明实施例提供的另一种预设的神经网络模型对应的结构示意图。预设的神经网络模型可以包括光流预测模型和位姿预测模型。采用图3b所示的神经网络结构,可以根据样本图像、预设图像以及样本图像与所述预设图像之间的光流预测结果训练得到光流预测模型;并且可以根据样本图像与预设图像之间的光流预测结果和样本位姿信息训练得到位姿预测模型。
进一步地,样本图像的获取方式有多种,一个示例中,可以根据预设的变化参数,对预设图像进行转动,从而得到样本图像。如图4所示,为本发明实施例提供的一种样本图像的获取方法所对应的示意图。具体来说,可以在真实环境中获取一张摄像头在初始位置(记为r0)内的图像(记为I0),并根据根据摄像头在初始位置所对应的几何关系,设置r1,r2,r3,…,ri等i个虚拟位置,摄像头在每个虚拟位置所获得的图像(记为I1,I2,I3,…,Ii)可以对应于一组摄像头的位姿信息。采用这种方式,无需做大量的数据收集工作,节省了数据收集的实际,并且能够最大可能的覆盖更多的情况。
在其它可能的示例中,也可以通过收集大量的真实世界的机械臂操作环节数据来获取样本图像,具体不做限定。
步骤202中,控制设备可以根据第一位姿信息和第一摄像头与机械臂末端的雅克比矩阵,确定机械臂的末端在所述当前位置时对应的运动信息。
进一步地,第一位姿信息可以包括第一摄像头自当前位置至所述预设位置时的位移和转动角度;机械臂的末端在当前位置时对应的运动信息可以包括机械臂的末端在当前位置时的线速度和角速度。
更进一步地,控制设备可以根据位移和转动角度,确定第一摄像头在当前位置时的线速度和角速度;进而,可以根据第一摄像头在当前位置时的线速度和角速度,以及第一摄像头与机械臂末端的雅克比矩阵,确定机械臂的末端在当前位置时的线速度和角速度。
其中,雅克比矩阵可以是根据雅克比矩阵的观测向量确定的,而雅克比矩阵的观测向量可是根据预设的回归预测模型确定的。
具体来说,所述雅克比矩阵(Jr)可以表示为:
所述雅克比矩阵的观测向量(xk)可以表示为:
所述预设的回归预测模型可以表示为:
其中,hk、uk、Wk、Vk为k时刻噪声参数;hk-1、uk-1、Wk-1、Vk-1为k-1时刻噪声参数;λ=(k-1)/k;为xk的预测值;为xk的估计值; 为k时刻和k-1时刻的差值,为Pk的估计值,Pk为状态估计协方差矩阵;ΔLk为k时刻和k-1时刻Lk的差值;
而,第一摄像头在所述当前位置时的线速度和角速度可以通过公式(1)确定:
其中,vc为所述第一摄像头在所述当位置时的线速度;ωc为所述第一摄像头在所述当前位置时的角速度;λ为预设的比例系数;为预估的所述第一摄像头的旋转矩阵;tc为所述第一摄像头自所述当前位置至所述预设位置时的位移;uc为所述第一摄像头自所述当前位置至所述预设位置时的转动角度。
为了更加清楚地说明上述计算过程,下面对此进行详细描述。
本方案采用经典的比例控制率,将步骤201中神经网络得到的摄像头的位移和转动角度映射到摄像头相机的线速度和角速度,即可以通过上述公式(1)确定。
进一步地,机械臂视觉伺服系控制系统可以包括三种雅克比矩阵,分别为交互雅克比矩阵、手眼雅克比矩阵和机械臂雅克比矩阵。本发明实施例可以采用自适应卡尔曼滤波对手眼雅克比矩阵进行在线估计。其中,摄像头线速度和角速度与机械臂末端的线速度和角速度的关系可以通过公式(2)确定:
其中,vc为所述第一摄像头在所述当位置时的线速度;ωc为所述第一摄像头在所述当前位置时的角速度;vr为机械臂的末端在当前位置时的线速度;ωr为机械臂的末端在当前位置时的线速度;Jr为雅克比矩阵。
L=[l1,…,l6]T表示摄像机末端位置及姿态,rk表示机械臂末端位置及姿态,与二者之间的关系可以通过公式(3)表示:
Lk+1-Lk=Jr·Δrk 公式(3)
其中,k为迭代次数,Jr表示为:
根据上述关系,可以建立离散线性方程,如公式(4)所示:
其中wk’和vk’表示均值不为零的高斯白噪声矩阵,满足E(w′k)=uk,E(v′k)=hk,并且有:
为了将卡尔曼滤波应用到在线估计过程中,离散线性方程可以转化为公式(5):
其中,wk和vk可以表示均值为零且不相关的高斯白噪声,wk~N(0,W),vk~N(0,V)。
设计自适应卡尔曼滤波器,在系统噪声未知的条件下对雅克比矩阵进行在线估计。系统变量回归预测模型为:
其中,hk、uk、Wk、Vk为k时刻噪声参数;hk-1、uk-1、Wk-1、Vk-1为k-1时刻噪声参数;λ=(k-1)/k;为xk的预测值;为xk的估计值; 为k时刻和k-1时刻的差值,为Pk的估计值,Pk为状态估计协方差矩阵;ΔLk为k时刻和k-1时刻Lk的差值;
上述算法流程及伪代码设计如下:
S1:设置手眼雅克比矩阵的初始值。使机械臂产生六组正交运动,生成两个6*6的矩速度矩阵,分别表示摄像头产生的运动信息和机械臂的末端产生的运动信息。手眼雅克比矩阵的初始值可以设置为:
S2:设置自适应卡尔曼滤波器的初始值。将雅克比矩阵的初始值转化为36*1的矩阵,作为卡尔曼滤波器状态向量的初始值,设置噪声参数hk、uk、Wk、Vk,并利用机械臂的末端的位置变化值构建状态转移矩阵Ck。
S3:作为主体循环模块,根据回归预测模型对hk、uk、Wk、Vk进行估计,利用卡尔曼滤波的预测模型,校正模型以及卡尔曼增益的计算方法对参数进行循环计算,并将每一次循环得到的xk e转化为雅克比矩阵Jr。
具体的代码表示如下:
For k=0;k<iteration;k++do
设置Kalman滤波器初始值hk、uk、Wk、Vk,Jr→x0,△rk→C0
回归估计:
预测:
Kalman增益:
校正:
转化:
End
注:Pk为状态估计协方差矩阵,为Pk的预测值和估计值。
更进一步地,将xk e转化为雅克比矩阵之后,可以利用机械臂雅克比矩阵将第一摄像头的线速度和角速度映射到机械臂关节的角速度,具体可以通过公式(6)确定:
其中,An为n自由度的机械臂关节的角速度;Ja为机械臂的雅克比矩阵;(JrJa)+为矩阵伪逆。
步骤203中,控制设备可以根据步骤202计算得到的数据,控制机械臂移动到预设位置并抓取目标。
基于同样的发明构思,本发明实施例提供一种机械臂的抓取装置,如图5所示,所述装置包括输入单元501、处理单元502、控制单元503和获取单元504;
其中,输入单元501,用于将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中,得到所述第一摄像头对应的第一位姿信息;所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像,所述预设位置为预先设置的所述机械臂能够抓取目标的位置;所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化;所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的,所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化;所述第一摄像头设置于所述机械臂的末端;
处理单元502,用于至少根据所述第一位姿信息,确定所述机械臂的末端在所述当前位置时对应的运动信息;
控制单元503,用于控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。
在一种可能的实现方式中,所述预设的神经网络模型包括光流预测模型和位姿预测模型;所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的;所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的。
在一种可能的实现方式中,所述装置还包括:
获取单元504,用于在接收到用户发送的抓取命令后,通过第二摄像头获取第二图像;所述第二摄像头设置于所述机械臂的操作环境中;以及若确定所述第二图像中存在抓取目标,则通过所述第一摄像头在所述当前位置对所述抓取目标进行拍摄,得到所述第一图像。
在一种可能的实现方式中,所述处理单元502具体用于:
根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵,确定所述机械臂的末端在所述当前位置时对应的运动信息;所述雅克比矩阵是根据雅克比矩阵的观测向量确定的,所述雅克比矩阵的观测向量是根据预设的回归预测模型确定的;
其中,所述雅克比矩阵为:
所述雅克比矩阵的观测向量为:
所述预设的回归预测模型为:
其中,hk、uk、Wk、Vk为k时刻噪声参数;hk-1、uk-1、Wk-1、Vk-1为k-1时刻噪声参数;λ=(k-1)/k;为xk的预测值;为xk的估计值; 为k时刻和k-1时刻的差值,为Pk的估计值,Pk为状态估计协方差矩阵;ΔLk为k时刻和k-1时刻Lk的差值;
在一种可能的实现方式中,所述第一位姿信息包括所述第一摄像头自所述当前位置至所述预设位置时的位移和转动角度;所述机械臂的末端在当前位置时对应的运动信息包括所述机械臂的末端在当前位置时的线速度和角速度;
所述处理单元502具体用于:
根据所述位移和转动角度,确定所述第一摄像头在所述当前位置时的线速度和角速度;以及根据所述第一摄像头在所述当前位置时的线速度和角速度,以及所述第一摄像头与所述机械臂末端的雅克比矩阵,确定所述机械臂的末端在当前位置时的线速度和角速度。
在一种可能的实现方式中,所述第一摄像头在所述当前位置时的线速度和角速度通过以下方式确定:
其中,vc为所述第一摄像头在所述当位置时的线速度;ωc为所述第一摄像头在所述当前位置时的角速度;λ为预设的比例系数;为预估的所述第一摄像头的旋转矩阵;tc为所述第一摄像头自所述当前位置至所述预设位置时的位移;uc为所述第一摄像头自所述当前位置至所述预设位置时的转动角度。
在一种可能的实现方式中,所述样本图像通过以下方式得到:
根据预设的变化参数,对所述预设图像进行转动,得到所述样本图像。
本申请实施例的还提供一种装置,该装置具有实现上文所描述的机械臂的抓取方法的功能。该功能可以通过硬件执行相应的软件实现,在一种可能的设计中,该装置包括:处理器、收发器、存储器;该存储器用于存储计算机执行指令,该收发器用于实现该装置与其他通信实体进行通信,该处理器与该存储器通过该总线连接,当该装置运行时,该处理器执行该存储器存储的该计算机执行指令,以使该装置执行上文所描述的机械臂的抓取方法。
本发明实施例还提供一种计算机存储介质,所述存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的机械臂的抓取方法。
本发明实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各种可能的实现方式中所描述的机械臂的抓取方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种机械臂的抓取方法,其特征在于,所述方法包括:
控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中,得到所述第一摄像头对应的第一位姿信息;所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像,所述预设位置为预先设置的所述机械臂能够抓取目标的位置;所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化;所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的,所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化;所述第一摄像头设置于所述机械臂的末端;
所述控制设备至少根据所述第一位姿信息,确定所述机械臂的末端在所述当前位置时对应的运动信息;
所述控制设备控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。
2.根据权利要求1所述的方法,其特征在于,所述预设的神经网络模型包括光流预测模型和位姿预测模型;所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的;所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的。
3.根据权利要求1所述的方法,其特征在于,所述控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中,得到所述第一摄像头对应的第一位姿信息之前,还包括:
所述控制设备接收到用户发送的抓取命令后,通过第二摄像头获取第二图像;所述第二摄像头设置于所述机械臂的操作环境中;
所述控制设备若确定所述第二图像中存在抓取目标,则通过所述第一摄像头在所述当前位置对所述抓取目标进行拍摄,得到所述第一图像。
4.根据权利要求1所述的方法,其特征在于,所述控制设备至少根据所述第一位姿信息,确定所述机械臂的末端在所述当前位置时对应的运动信息,包括:
所述控制设备根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵,确定所述机械臂的末端在所述当前位置时对应的运动信息;所述雅克比矩阵是根据雅克比矩阵的观测向量确定的,所述雅克比矩阵的观测向量是根据预设的回归预测模型确定的。
5.根据权利要求4所述的方法,其特征在于,所述第一位姿信息包括所述第一摄像头自所述当前位置至所述预设位置时的位移和转动角度;所述机械臂的末端在当前位置时对应的运动信息包括所述机械臂的末端在当前位置时的线速度和角速度;
所述控制设备根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵,确定所述机械臂的末端在当前位置时对应的运动信息,包括:
所述控制设备根据所述位移和转动角度,确定所述第一摄像头在所述当前位置时的线速度和角速度;
所述控制设备根据所述第一摄像头在所述当前位置时的线速度和角速度,以及所述第一摄像头与所述机械臂末端的雅克比矩阵,确定所述机械臂的末端在当前位置时的线速度和角速度。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述样本图像通过以下方式得到:
根据预设的变化参数,对所述预设图像进行转动,得到所述样本图像。
7.一种机械臂的抓取装置,其特征在于,所述装置包括:
输入单元,用于将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中,得到所述第一摄像头对应的第一位姿信息;所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像,所述预设位置为预先设置的所述机械臂能够抓取目标的位置;所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化;所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的,所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化;所述第一摄像头设置于所述机械臂的末端;
处理单元,用于至少根据所述第一位姿信息,确定所述机械臂的末端在所述当前位置时对应的运动信息;
控制单元,用于控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。
8.一种计算机可读存储介质,其特征在于,所述存储介质存储有指令,当所述指令在计算机上运行时,使得计算机实现执行权利要求1至6中任一项所述的方法。
9.一种计算机设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行如权利要求1至6中任一权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910268008.9A CN110076772B (zh) | 2019-04-03 | 2019-04-03 | 一种机械臂的抓取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910268008.9A CN110076772B (zh) | 2019-04-03 | 2019-04-03 | 一种机械臂的抓取方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110076772A true CN110076772A (zh) | 2019-08-02 |
CN110076772B CN110076772B (zh) | 2021-02-02 |
Family
ID=67414243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910268008.9A Active CN110076772B (zh) | 2019-04-03 | 2019-04-03 | 一种机械臂的抓取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110076772B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110621150A (zh) * | 2019-09-20 | 2019-12-27 | 上海节卡机器人科技有限公司 | 印制电路板的组装方法及相关装置 |
CN111015655A (zh) * | 2019-12-18 | 2020-04-17 | 深圳市优必选科技股份有限公司 | 机械臂抓取方法、装置、计算机可读存储介质及机器人 |
CN111230877A (zh) * | 2020-02-06 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 移动物品的方法及智能设备 |
CN112164112A (zh) * | 2020-09-14 | 2021-01-01 | 北京如影智能科技有限公司 | 一种获取机械臂位姿信息的方法及装置 |
CN112232202A (zh) * | 2020-10-15 | 2021-01-15 | 广州富港万嘉智能科技有限公司 | 机械手组装方法、计算机可读存储介质及智能机械手 |
JP2021033568A (ja) * | 2019-08-22 | 2021-03-01 | ナブテスコ株式会社 | 情報処理システム、情報処理方法、建設機械 |
CN113799127A (zh) * | 2021-09-15 | 2021-12-17 | 华南理工大学 | 光学双目定位系统下六自由度机械臂无标定位姿定位方法 |
WO2022021156A1 (zh) * | 2020-07-29 | 2022-02-03 | 西门子(中国)有限公司 | 用于机器人抓取三维物体的方法和装置 |
CN114083532A (zh) * | 2021-11-09 | 2022-02-25 | 广州富港生活智能科技有限公司 | 一种机械臂控制方法及装置 |
CN114083545A (zh) * | 2022-01-24 | 2022-02-25 | 之江实验室 | 一种基于视觉感知的运动物体机器人抓取方法及装置 |
CN116214524A (zh) * | 2023-05-08 | 2023-06-06 | 国网浙江省电力有限公司宁波供电公司 | 用于油样回收的无人机抓载方法、装置及存储介质 |
WO2024021104A1 (zh) * | 2022-07-29 | 2024-02-01 | 西门子股份公司 | 机械臂控制方法、装置、系统、电子设备和存储介质 |
CN118089549A (zh) * | 2024-02-28 | 2024-05-28 | 浙江大学 | 一种基于机器人的小麦种子表型信息获取方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1293752A (zh) * | 1999-03-19 | 2001-05-02 | 松下电工株式会社 | 三维物体识别方法及使用该方法的零件抓取系统 |
JP2004196548A (ja) * | 2002-10-25 | 2004-07-15 | Fanuc Ltd | 物品搬送システム及び搬送方法 |
JP2009000782A (ja) * | 2007-06-21 | 2009-01-08 | Idec Corp | ロボット制御システムおよびロボットハンド |
US20150142171A1 (en) * | 2011-08-11 | 2015-05-21 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus to calibrate an orientation between a robot gripper and a camera |
CN104908024A (zh) * | 2014-03-14 | 2015-09-16 | 精工爱普生株式会社 | 机械臂、机械臂系统以及控制装置 |
CN109407603A (zh) * | 2017-08-16 | 2019-03-01 | 北京猎户星空科技有限公司 | 一种控制机械臂抓取物体的方法及装置 |
-
2019
- 2019-04-03 CN CN201910268008.9A patent/CN110076772B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1293752A (zh) * | 1999-03-19 | 2001-05-02 | 松下电工株式会社 | 三维物体识别方法及使用该方法的零件抓取系统 |
JP2004196548A (ja) * | 2002-10-25 | 2004-07-15 | Fanuc Ltd | 物品搬送システム及び搬送方法 |
JP2009000782A (ja) * | 2007-06-21 | 2009-01-08 | Idec Corp | ロボット制御システムおよびロボットハンド |
US20150142171A1 (en) * | 2011-08-11 | 2015-05-21 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus to calibrate an orientation between a robot gripper and a camera |
CN104908024A (zh) * | 2014-03-14 | 2015-09-16 | 精工爱普生株式会社 | 机械臂、机械臂系统以及控制装置 |
CN109407603A (zh) * | 2017-08-16 | 2019-03-01 | 北京猎户星空科技有限公司 | 一种控制机械臂抓取物体的方法及装置 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021033568A (ja) * | 2019-08-22 | 2021-03-01 | ナブテスコ株式会社 | 情報処理システム、情報処理方法、建設機械 |
JP7383255B2 (ja) | 2019-08-22 | 2023-11-20 | ナブテスコ株式会社 | 情報処理システム、情報処理方法、建設機械 |
CN110621150A (zh) * | 2019-09-20 | 2019-12-27 | 上海节卡机器人科技有限公司 | 印制电路板的组装方法及相关装置 |
CN111015655A (zh) * | 2019-12-18 | 2020-04-17 | 深圳市优必选科技股份有限公司 | 机械臂抓取方法、装置、计算机可读存储介质及机器人 |
CN111015655B (zh) * | 2019-12-18 | 2022-02-22 | 深圳市优必选科技股份有限公司 | 机械臂抓取方法、装置、计算机可读存储介质及机器人 |
CN111230877B (zh) * | 2020-02-06 | 2021-07-30 | 腾讯科技(深圳)有限公司 | 移动物品的方法及智能设备 |
CN111230877A (zh) * | 2020-02-06 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 移动物品的方法及智能设备 |
WO2022021156A1 (zh) * | 2020-07-29 | 2022-02-03 | 西门子(中国)有限公司 | 用于机器人抓取三维物体的方法和装置 |
EP4166281A4 (en) * | 2020-07-29 | 2024-03-13 | Siemens Ltd. China | METHOD AND APPARATUS ALLOWING A ROBOT TO GRIP A THREE-DIMENSIONAL OBJECT |
CN112164112A (zh) * | 2020-09-14 | 2021-01-01 | 北京如影智能科技有限公司 | 一种获取机械臂位姿信息的方法及装置 |
CN112164112B (zh) * | 2020-09-14 | 2024-05-17 | 北京如影智能科技有限公司 | 一种获取机械臂位姿信息的方法及装置 |
CN112232202A (zh) * | 2020-10-15 | 2021-01-15 | 广州富港万嘉智能科技有限公司 | 机械手组装方法、计算机可读存储介质及智能机械手 |
CN113799127A (zh) * | 2021-09-15 | 2021-12-17 | 华南理工大学 | 光学双目定位系统下六自由度机械臂无标定位姿定位方法 |
CN113799127B (zh) * | 2021-09-15 | 2023-05-23 | 华南理工大学 | 光学双目定位系统下六自由度机械臂无标定位姿定位方法 |
CN114083532A (zh) * | 2021-11-09 | 2022-02-25 | 广州富港生活智能科技有限公司 | 一种机械臂控制方法及装置 |
CN114083545B (zh) * | 2022-01-24 | 2022-07-01 | 之江实验室 | 一种基于视觉感知的运动物体机器人抓取方法及装置 |
CN114083545A (zh) * | 2022-01-24 | 2022-02-25 | 之江实验室 | 一种基于视觉感知的运动物体机器人抓取方法及装置 |
WO2024021104A1 (zh) * | 2022-07-29 | 2024-02-01 | 西门子股份公司 | 机械臂控制方法、装置、系统、电子设备和存储介质 |
CN116214524B (zh) * | 2023-05-08 | 2023-10-03 | 国网浙江省电力有限公司宁波供电公司 | 用于油样回收的无人机抓载方法、装置及存储介质 |
CN116214524A (zh) * | 2023-05-08 | 2023-06-06 | 国网浙江省电力有限公司宁波供电公司 | 用于油样回收的无人机抓载方法、装置及存储介质 |
CN118089549A (zh) * | 2024-02-28 | 2024-05-28 | 浙江大学 | 一种基于机器人的小麦种子表型信息获取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110076772B (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110076772A (zh) | 一种机械臂的抓取方法及装置 | |
Dasari et al. | Robonet: Large-scale multi-robot learning | |
CN110000785B (zh) | 农业场景无标定机器人运动视觉协同伺服控制方法与设备 | |
Zhao et al. | Robust realtime physics-based motion control for human grasping | |
CN107627303A (zh) | 一种基于眼在手上结构的视觉伺服系统的pd‑smc控制方法 | |
CN109064487B (zh) | 一种基于Kinect骨骼节点位置追踪的人体姿势比较方法 | |
Zhang et al. | Real-time spin estimation of ping-pong ball using its natural brand | |
Zhang et al. | Sim-to-real transfer of visuo-motor policies for reaching in clutter: Domain randomization and adaptation with modular networks | |
Wu et al. | Hand-eye calibration and inverse kinematics of robot arm using neural network | |
Hietala et al. | Learning visual feedback control for dynamic cloth folding | |
CN113232019A (zh) | 机械臂控制方法、装置、电子设备及存储介质 | |
RU2308764C2 (ru) | Перемещение виртуального сочлененного объекта в виртуальном пространстве с предотвращением столкновений сочлененного объекта с элементами окружающего пространства | |
CN114851201A (zh) | 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法 | |
CN108121347A (zh) | 用于控制设备运动的方法、装置及电子设备 | |
CN114111772B (zh) | 一种基于数据手套的水下机器人软体作业手位置跟踪方法 | |
CN114387462A (zh) | 一种基于双目相机的动态环境感知方法 | |
Lippiello et al. | Position and orientation estimation based on Kalman filtering of stereo images | |
CN116834014A (zh) | 一种空间多臂机器人捕获非合作目标的智能协同控制方法和系统 | |
CN109542094A (zh) | 无期望图像的移动机器人视觉镇定控制 | |
Little et al. | A smart buffer for tracking using motion data | |
CN107066967B (zh) | 一种利用局部观测信息的主动人脸寻的方法及装置 | |
CN112991445A (zh) | 模型训练方法、姿态预测方法、装置、设备及存储介质 | |
CN112033432A (zh) | 动作捕捉方法、系统和存储介质 | |
Luo et al. | Human-Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition | |
Xu et al. | Cnn-based ego-motion estimation for fast mav maneuvers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |