CN110539299A - 机器手作业方法、控制器以及机器手系统 - Google Patents

机器手作业方法、控制器以及机器手系统 Download PDF

Info

Publication number
CN110539299A
CN110539299A CN201810527813.4A CN201810527813A CN110539299A CN 110539299 A CN110539299 A CN 110539299A CN 201810527813 A CN201810527813 A CN 201810527813A CN 110539299 A CN110539299 A CN 110539299A
Authority
CN
China
Prior art keywords
target
robot
grabbing
image
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810527813.4A
Other languages
English (en)
Other versions
CN110539299B (zh
Inventor
刘旭
徐卓然
万保成
刘伟峰
宋国库
王祥龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810527813.4A priority Critical patent/CN110539299B/zh
Publication of CN110539299A publication Critical patent/CN110539299A/zh
Application granted granted Critical
Publication of CN110539299B publication Critical patent/CN110539299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本公开提供了一种机器手作业方法、控制器、机器手系统及计算机可读存储介质,涉及工程机械技术领域。其中的机器手作业方法包括:利用机器手抓取目标的坐标、深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手对于目标的抓取误差;调整机器手抓取目标的坐标和姿态,以减小机器手对于目标的抓取误差;控制机器手对目标进行码放。本公开能够在机器手抓取目标后对目标的抓取误差进行估计,从而调整机器手抓取目标的坐标和姿态,准确、高效的将目标码放到规划位置。

Description

机器手作业方法、控制器以及机器手系统
技术领域
本公开涉及工程机械技术领域,特别涉及一种机器手作业方法、控制器、机器手系统及计算机可读存储介质。
背景技术
传统的带有视觉的机器手系统包括手眼系统和固定相机系统,两种系统的作业方式略有不同。
图1示出了传统的具有固定相机系统的机器手系统。传统的具有固定相机系统的机器手系统先拍照估计目标的位置和姿态,再驱动机器手抓取目标,抓取过程中不再进行拍照,相当于人在抓取物体时观测后闭眼忙抓,因此抓取准确率相对较低。图2示出了传统的具有手眼系统的机器手系统。传统的具有手眼系统的机器手系统可以使用视觉伺服,在抓取过程中不断进行拍照,因此抓取准确率相对较高,但是计算花费很大。
因此,目前使用视觉伺服系统的机器手系统,使用单目或多目摄像头进行场景捕捉,视觉伺服每一帧都会对目标环境进行图像采集,并进行目标位置的计算。该系统不仅在图像处理方面的计算耗费较大,使得整个系统难以达到实时计算的效果,而且依然无法彻底解决抓取时识别目标不准确导致的码放目标失败。
发明内容
本公开解决的一个技术问题是,如何准确、高效的将目标码放到规划位置。
根据本公开实施例的一个方面,提供了一种机器手作业方法,包括:利用机器手抓取目标的坐标、深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手对于目标的抓取误差;调整机器手抓取目标的坐标和姿态,以减小机器手对于目标的抓取误差;控制机器手对目标进行码放。
在一些实施例中,利用机器手抓取目标的坐标、深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手对于目标的抓取误差包括:利用机器手抓取目标的坐标以及深度相机拍摄的机器手抓取目标的图像,确定机器手抓取目标的水平误差;利用深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手抓取目标的姿态误差。
在一些实施例中,利用机器手抓取目标的坐标以及深度相机拍摄的机器手抓取目标的图像,确定机器手抓取目标的水平误差包括:接收机器手上报的机器手末段抓取目标的抓取坐标;控制深度相机拍摄机器手抓取目标的图像,并利用图像中目标的轮廓确定目标的中心坐标;将目标的中心坐标与机器手末端的抓取坐标相减,得到机器手抓取目标的水平误差。
在一些实施例中,利用深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手抓取目标的姿态误差包括:控制深度相机拍摄机器手抓取目标的图像,并利用图像中目标的轮廓确定目标的抓取姿态;接收码放规划系统规划的目标的摆放姿态;利用目标的抓取姿态以及目标的摆放姿态,确定机器手抓取目标的姿态误差。
在一些实施例中,控制深度相机拍摄机器手抓取长方体目标的图像,并利用图像中长方体目标的轮廓,确定长方体目标的长度方向;接收码放规划系统规划的长方体目标的长度摆放方向;利用长度方向以及长度摆放方向,确定机器手抓取目标的角度误差。
在一些实施例中,调整机器手抓取目标的坐标和姿态,以减小机器手对于目标的抓取误差包括:调整机器手末端抓取目标的坐标,使得机器手末端的抓取坐标与目标的中心坐标相同;调整机器手末端抓取目标的姿态,使得目标的抓取姿态与目标的摆放姿态相同。
根据本公开实施例的另一个方面,提供了一种控制器,包括:误差确定模块,被配置为利用机器手抓取目标的坐标、深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手对于目标的抓取误差;抓取调整模块,被配置为调整机器手抓取目标的坐标和姿态,以减小机器手对于目标的抓取误差;码放控制模块,被配置为控制机器手对目标进行码放。
在一些实施例中,误差确定模块被配置为:利用机器手抓取目标的坐标以及深度相机拍摄的机器手抓取目标的图像,确定机器手抓取目标的水平误差;利用深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手抓取目标的姿态误差。
在一些实施例中,误差确定模块被配置为:接收机器手上报的机器手末段抓取目标的抓取坐标;控制深度相机拍摄机器手抓取目标的图像,并利用图像中目标的轮廓确定目标的中心坐标;将目标的中心坐标与机器手末端的抓取坐标相减,得到机器手抓取目标的水平误差。
在一些实施例中,误差确定模块被配置为:控制深度相机拍摄机器手抓取目标的图像,并利用图像中目标的轮廓确定目标的抓取姿态;接收码放规划系统规划的目标的摆放姿态;利用目标的抓取姿态以及目标的摆放姿态,确定机器手抓取目标的姿态误差。
在一些实施例中,误差确定模块被配置为:控制深度相机拍摄机器手抓取长方体目标的图像,并利用图像中长方体目标的轮廓,确定长方体目标的长度方向;接收码放规划系统规划的长方体目标的长度摆放方向;利用长度方向以及长度摆放方向,确定机器手抓取目标的角度误差。
在一些实施例中,抓取调整模块被配置为:调整机器手末端抓取目标的坐标,使得机器手末端的抓取坐标与目标的中心坐标相同;调整机器手末端抓取目标的姿态,使得目标的抓取姿态与目标的摆放姿态相同。
根据本公开实施例的又一个方面,提供了一种机器手系统,包括:前述的控制器、机器手、深度相机以及码放规划系统。
在一些实施例中,深度相机的拍摄方向为竖直向上。
根据本公开实施例的再一个方面,提供了一种机器手作业装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器中的指令,执行前述的机器手作业方法。
根据本公开实施例的又一个方面,提供了一种计算机可读存储介质,其中,计算机可读存储介质存储有计算机指令,指令被处理器执行时实现前述的机器手作业方法。
本公开能够在机器手抓取目标后对目标的抓取误差进行估计,从而调整机器手抓取目标的坐标和姿态,准确、高效的将目标码放到规划位置。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了传统的具有固定相机系统的机器手系统。
图2示出了传统的具有手眼系统的机器手系统。
图3示出了本公开一个实施例的机器手作业方法的流程示意图。
图4示出了确定机器手对于目标的抓取误差的流程示意图。
图5示出了确定机器手抓取目标的姿态误差的方法的示意图。
图6示出了本公开一个实施例的控制器的结构示意图。
图7示出了本公开一个实施例的机器手系统的结构示意图。
图8A示出了深度相机在带有手眼系统的机器手系统中的摆放位置以及拍摄方向。
图8B示出了深度相机在带有固定相机系统的机器手系统中的摆放位置以及拍摄方向。
图9示出了本公开一个实施例的机器手作业装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
发明人分析后认为,制造行业机器手的抓取对象十分固定,往往使用建立模板的方式进行目标识别并驱动机器手抓取。而随着技术的发展,非制造业用机器手的尝试空前活跃。与制造行业比,其主要特点是工作环境的非结构化和不确定性,如电商仓库。而电商仓库的抓取目标少则几万种多则几十万种,且目标的更新速度极快,更新的数量多,如包装换新,新品上市等等。此外,电商仓库的抓取背景往往比较发展,如抓取目标不是放在传送带上,而是放在周转箱内和很多其他商品混在一起。在这种情况下,即使是使用传统的建立模板的方法进行抓取点计算,也很难保证计算的抓取点即为商品的中心。在入箱场景中(即机器手将目标商品码入到周转箱内),若机器手抓取的不为目标商品的中心,将直接影响目标商品在箱内的摆放规划,从而影响整个生产的进行。
面对电商仓库的入箱作业,很难一次准确计算出目标物体的中心,并完成入箱操作。为此,发明人提出了一种基于视觉验证的机器手入箱作业系统。该系统与传统带有视觉的机器手系统不同,可以用在传统的两种机器手系统中,且对系统改造较少。
对于电商仓库,尤其是有入箱作业要求的场景来说,绝大部分带有纸盒包装,即抓取目标为长方体。为描述方便,以下内容主要针对长方体目标进行描述。首先结合图3描述本公开一个实施例的机器手作业方法。
图3示出了本公开一个实施例的机器手作业方法的流程示意图。如图3所示,该实施例中的机器手作业方法包括步骤S302~步骤S306。
在步骤S302中,利用机器手抓取目标的坐标、深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手对于目标的抓取误差。
抓取误差具体可以包括水平误差以及姿态误差。例如,可以利用机器手抓取目标的坐标以及深度相机拍摄的机器手抓取目标的图像,确定机器手抓取目标的水平误差;并利用深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手抓取目标的姿态误差。
在步骤S304中,调整机器手抓取目标的坐标和姿态,以减小机器手对于目标的抓取误差。
例如,可以调整机器手末端抓取目标的坐标,使得机器手末端的抓取坐标与目标的中心坐标相同;并调整机器手末端抓取目标的姿态,使得目标的抓取姿态与目标的摆放姿态相同。
在步骤S306中,控制机器手对目标进行码放。
上述实施例针对电商仓库抓取目标多、背景复杂、很难一次性准确计算出目标的中心进行抓取的特点,提出了一种基于视觉验证的机器手入箱作业系统,能够在机器手抓取目标后对目标的抓取误差进行估计,从而调整机器手抓取目标的坐标和姿态,准确、高效的将目标码放到规划位置。
下面结合图4描述确定机器手对于目标的抓取误差的详细过程。
图4示出了确定机器手对于目标的抓取误差的流程示意图。如图4所示,该实施例中确定机器手对于目标的抓取误差过程包括步骤S4022~步骤S4028。
在步骤S4021中,接收机器手上报的机器手末段抓取目标的抓取坐标。
例如,机器手以机器手底座为世界坐标系的原点,机器手可以给出工具末端的世界坐标。
在步骤S4022中,控制深度相机拍摄机器手抓取目标的图像,并利用图像中目标的轮廓确定目标的中心坐标。
例如,深度相机也以机器手底座为世界坐标系的原点。深度相机拍摄到机器手抓取的目标的图像后,识别图像中目标的轮廓并进一步计算目标中心,从而给出目标中心的世界坐标。
在步骤S4023中,将目标的中心坐标与机器手末端的抓取坐标相减,得到机器手抓取目标的水平误差。
在步骤S4024中,控制深度相机拍摄机器手抓取目标的图像,并利用图像中目标的轮廓确定目标的抓取姿态。
图5示出了确定机器手抓取目标的姿态误差的方法的示意图。如图5所示,可以控制深度相机拍摄机器手抓取长方体目标的图像,并利用图像中长方体目标的轮廓,识别确定长方体目标的长度方向a’或者宽度方向b’。
在步骤S4025中,接收码放规划系统规划的目标的摆放姿态。
例如,可以接收码放规划系统规划的长方体目标的长度摆放方向a或者宽度摆放方向b。
在步骤S4026中,利用目标的抓取姿态以及目标的摆放姿态,确定机器手抓取目标的姿态误差。
例如,利用长度方向以及长度摆放方向,确定机器手抓取目标的旋转角度误差theta。由于视觉校验时的机器手姿态和机器手入箱时的姿态相同,因此机器手抓取目标的姿态误差可以转化为以机器手工具为轴的旋转角度误差。确定了旋转角度误差之后,在进行机器手调整时,可以先进行水平误差调整,再进行旋转角度误差调整。
上述实施例能够对机器手抓取目标的水平误差以及姿态误差进行准确的估计,以便于形成带有视觉的二次校正,从而保证机器手系统入箱作业的质量,极大的提高了机器手在入箱作业的实用性和准确度。
下面结合图6描述本公开一个实施例的控制器的结构。
图6示出了本公开一个实施例的控制器的结构示意图。如图6所示,该实施例的控制器60包括:
误差确定模块602,被配置为利用机器手抓取目标的坐标、深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手对于目标的抓取误差;
抓取调整模块604,被配置为调整机器手抓取目标的坐标和姿态,以减小机器手对于目标的抓取误差;
码放控制模块606,被配置为控制机器手对目标进行码放。
上述实施例针对电商仓库抓取目标多、背景复杂、很难一次性准确计算出目标的中心进行抓取的特点,提出了一种基于视觉验证的机器手入箱作业系统,能够在机器手抓取目标后对目标的抓取误差进行估计,从而调整机器手抓取目标的坐标和姿态,准确、高效的将目标码放到规划位置。
在一些实施例中,误差确定模块602被配置为:利用机器手抓取目标的坐标以及深度相机拍摄的机器手抓取目标的图像,确定机器手抓取目标的水平误差;利用深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手抓取目标的姿态误差。
在一些实施例中,误差确定模块602被配置为:接收机器手上报的机器手末段抓取目标的抓取坐标;控制深度相机拍摄机器手抓取目标的图像,并利用图像中目标的轮廓确定目标的中心坐标;将目标的中心坐标与机器手末端的抓取坐标相减,得到机器手抓取目标的水平误差。
在一些实施例中,误差确定模块602被配置为:控制深度相机拍摄机器手抓取目标的图像,并利用图像中目标的轮廓确定目标的抓取姿态;接收码放规划系统规划的目标的摆放姿态;利用目标的抓取姿态以及目标的摆放姿态,确定机器手抓取目标的姿态误差。
在一些实施例中,误差确定模块602被配置为:控制深度相机拍摄机器手抓取长方体目标的图像,并利用图像中长方体目标的轮廓,确定长方体目标的长度方向;接收码放规划系统规划的长方体目标的长度摆放方向;利用长度方向以及长度摆放方向,确定机器手抓取目标的角度误差。
在一些实施例中,抓取调整模块604被配置为:调整机器手末端抓取目标的坐标,使得机器手末端的抓取坐标与目标的中心坐标相同;调整机器手末端抓取目标的姿态,使得目标的抓取姿态与目标的摆放姿态相同。
上述实施例能够对机器手抓取目标的水平误差以及姿态误差进行准确的估计,以便于形成带有视觉的二次校正,从而保证机器手系统入箱作业的质量,极大的提高了机器手在入箱作业的实用性和准确度。
下面结合图7描述本公开一个实施例的机器手系统的结构。
图7示出了本公开一个实施例的机器手系统的结构示意图。如图7所示,该实施例的机器手系统70包括:
控制器60、机器手702、深度相机704以及码放规划系统706。可选的,深度相机704的位置位于箱体外的一合适位置(具体位置可以由工作现场决定),拍摄方向为竖直向上。竖直向上拍摄的主要原因是为了使拍摄方向与与机器手进行入箱操作时端拾器或吸盘的法线方向相同,从而不会在误差估计过程中引入额外干扰。图8A示出了深度相机在带有手眼系统的机器手系统中的摆放位置以及拍摄方向。图8B示出了深度相机在带有固定相机系统的机器手系统中的摆放位置以及拍摄方向。
图9示出了本公开一个实施例的机器手作业装置的结构示意图。如图9所示,该实施例的机器手作业装置90包括:存储器910以及耦接至该存储器910的处理器920,处理器920被配置为基于存储在存储器910中的指令,执行前述任意一个实施例中的机器手作业方法。
其中,存储器910例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
机器手作业装置90还可以包括输入输出接口930、网络接口940、存储接口950等。这些接口930,940,950以及存储器910和处理器920之间例如可以通过总线960连接。其中,输入输出接口930为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口940为各种联网设备提供连接接口。存储接口950为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现前述任意一个实施例中的机器手作业方法。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (16)

1.一种机器手作业方法,包括:
利用机器手抓取目标的坐标、深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手对于目标的抓取误差;
调整机器手抓取目标的坐标和姿态,以减小机器手对于目标的抓取误差;
控制机器手对目标进行码放。
2.如权利要求1所述的机器手作业方法,其中,所述利用机器手抓取目标的坐标、深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手对于目标的抓取误差包括:
利用机器手抓取目标的坐标以及深度相机拍摄的机器手抓取目标的图像,确定机器手抓取目标的水平误差;
利用深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手抓取目标的姿态误差。
3.如权利要求2所述的机器手作业方法,其中,所述利用机器手抓取目标的坐标以及深度相机拍摄的机器手抓取目标的图像,确定机器手抓取目标的水平误差包括:
接收机器手上报的机器手末段抓取目标的抓取坐标;
控制深度相机拍摄机器手抓取目标的图像,并利用所述图像中目标的轮廓确定目标的中心坐标;
将目标的中心坐标与机器手末端的抓取坐标相减,得到机器手抓取目标的水平误差。
4.如权利要求2所述的机器手作业方法,其中,所述利用深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手抓取目标的姿态误差包括:
控制深度相机拍摄机器手抓取目标的图像,并利用所述图像中目标的轮廓确定目标的抓取姿态;
接收码放规划系统规划的目标的摆放姿态;
利用目标的抓取姿态以及目标的摆放姿态,确定机器手抓取目标的姿态误差。
5.如权利要求4所述的机器手作业方法,其中,
控制深度相机拍摄机器手抓取长方体目标的图像,并利用所述图像中长方体目标的轮廓,确定长方体目标的长度方向;
接收码放规划系统规划的长方体目标的长度摆放方向;
利用所述长度方向以及长度摆放方向,确定机器手抓取目标的角度误差。
6.如权利要求2所述的机器手作业方法,其中,所述调整机器手抓取目标的坐标和姿态,以减小机器手对于目标的抓取误差包括:
调整机器手末端抓取目标的坐标,使得机器手末端的抓取坐标与目标的中心坐标相同;
调整机器手末端抓取目标的姿态,使得目标的抓取姿态与目标的摆放姿态相同。
7.一种控制器,包括:
误差确定模块,被配置为利用机器手抓取目标的坐标、深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手对于目标的抓取误差;
抓取调整模块,被配置为调整机器手抓取目标的坐标和姿态,以减小机器手对于目标的抓取误差;
码放控制模块,被配置为控制机器手对目标进行码放。
8.如权利要求7所述的控制器,其中,所述误差确定模块被配置为:
利用机器手抓取目标的坐标以及深度相机拍摄的机器手抓取目标的图像,确定机器手抓取目标的水平误差;
利用深度相机拍摄的机器手抓取目标的图像以及码放规划系统规划的目标的摆放姿态,确定机器手抓取目标的姿态误差。
9.如权利要求8所述的控制器,其中,所述误差确定模块被配置为:
接收机器手上报的机器手末段抓取目标的抓取坐标;
控制深度相机拍摄机器手抓取目标的图像,并利用所述图像中目标的轮廓确定目标的中心坐标;
将目标的中心坐标与机器手末端的抓取坐标相减,得到机器手抓取目标的水平误差。
10.如权利要求8所述的控制器,其中,所述误差确定模块被配置为:
控制深度相机拍摄机器手抓取目标的图像,并利用所述图像中目标的轮廓确定目标的抓取姿态;
接收码放规划系统规划的目标的摆放姿态;
利用目标的抓取姿态以及目标的摆放姿态,确定机器手抓取目标的姿态误差。
11.如权利要求10所述的控制器,其中,所述误差确定模块被配置为:
控制深度相机拍摄机器手抓取长方体目标的图像,并利用所述图像中长方体目标的轮廓,确定长方体目标的长度方向;
接收码放规划系统规划的长方体目标的长度摆放方向;
利用所述长度方向以及长度摆放方向,确定机器手抓取目标的角度误差。
12.如权利要求8所述的控制器,其中,所述抓取调整模块被配置为:
调整机器手末端抓取目标的坐标,使得机器手末端的抓取坐标与目标的中心坐标相同;
调整机器手末端抓取目标的姿态,使得目标的抓取姿态与目标的摆放姿态相同。
13.一种机器手系统,包括:如权利要求7至12中任一项所述的控制器、机器手、深度相机以及码放规划系统。
14.如权利要求13所述的机器手系统,其中,所述深度相机的拍摄方向为竖直向上。
15.一种机器手作业装置,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1至6中任一项所述的机器手作业方法。
16.一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机指令,所述指令被处理器执行时实现如权利要求1至6中任一项所述的机器手作业方法。
CN201810527813.4A 2018-05-29 2018-05-29 机器手作业方法、控制器以及机器手系统 Active CN110539299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810527813.4A CN110539299B (zh) 2018-05-29 2018-05-29 机器手作业方法、控制器以及机器手系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810527813.4A CN110539299B (zh) 2018-05-29 2018-05-29 机器手作业方法、控制器以及机器手系统

Publications (2)

Publication Number Publication Date
CN110539299A true CN110539299A (zh) 2019-12-06
CN110539299B CN110539299B (zh) 2021-08-17

Family

ID=68701413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810527813.4A Active CN110539299B (zh) 2018-05-29 2018-05-29 机器手作业方法、控制器以及机器手系统

Country Status (1)

Country Link
CN (1) CN110539299B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111331607A (zh) * 2020-04-03 2020-06-26 山东大学 一种基于机械臂的自主抓取与码垛方法及系统
CN111633635A (zh) * 2020-07-01 2020-09-08 中科新松有限公司 基于视觉定位的机器人上下料作业方法
CN112565616A (zh) * 2021-03-01 2021-03-26 民航成都物流技术有限公司 一种目标抓取方法、系统、装置以及可读存储介质
CN114408532A (zh) * 2022-02-25 2022-04-29 宝钢湛江钢铁有限公司 一种冲击试样毛坯码位调整方法、装置及系统
CN114932541A (zh) * 2022-06-15 2022-08-23 中迪机器人(盐城)有限公司 一种基于机器人的自动装配系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101637908A (zh) * 2008-07-29 2010-02-03 上海发那科机器人有限公司 一种用于机器人搬运作业的视觉定位方法
CN106426161A (zh) * 2015-08-06 2017-02-22 康耐视公司 在引导装配环境中将机器视觉坐标空间关联在一起的系统和方法
CN107303636A (zh) * 2016-04-19 2017-10-31 泰科电子(上海)有限公司 基于机器人的自动装配系统和自动装配方法
CN107650124A (zh) * 2017-10-10 2018-02-02 国家电网公司 一种高压带电作业机器人高空作业平台及其卸载金具螺丝的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101637908A (zh) * 2008-07-29 2010-02-03 上海发那科机器人有限公司 一种用于机器人搬运作业的视觉定位方法
CN106426161A (zh) * 2015-08-06 2017-02-22 康耐视公司 在引导装配环境中将机器视觉坐标空间关联在一起的系统和方法
CN107303636A (zh) * 2016-04-19 2017-10-31 泰科电子(上海)有限公司 基于机器人的自动装配系统和自动装配方法
CN107650124A (zh) * 2017-10-10 2018-02-02 国家电网公司 一种高压带电作业机器人高空作业平台及其卸载金具螺丝的方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111331607A (zh) * 2020-04-03 2020-06-26 山东大学 一种基于机械臂的自主抓取与码垛方法及系统
CN111331607B (zh) * 2020-04-03 2021-04-23 山东大学 一种基于机械臂的自主抓取与码垛方法及系统
CN111633635A (zh) * 2020-07-01 2020-09-08 中科新松有限公司 基于视觉定位的机器人上下料作业方法
CN111633635B (zh) * 2020-07-01 2021-12-07 中科新松有限公司 基于视觉定位的机器人上下料作业方法
CN112565616A (zh) * 2021-03-01 2021-03-26 民航成都物流技术有限公司 一种目标抓取方法、系统、装置以及可读存储介质
CN114408532A (zh) * 2022-02-25 2022-04-29 宝钢湛江钢铁有限公司 一种冲击试样毛坯码位调整方法、装置及系统
CN114932541A (zh) * 2022-06-15 2022-08-23 中迪机器人(盐城)有限公司 一种基于机器人的自动装配系统及方法
CN114932541B (zh) * 2022-06-15 2023-07-25 中迪机器人(盐城)有限公司 一种基于机器人的自动装配系统及方法

Also Published As

Publication number Publication date
CN110539299B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110539299B (zh) 机器手作业方法、控制器以及机器手系统
CN111508066B (zh) 一种基于3d视觉的无序堆叠工件抓取系统及交互方法
JP5778311B1 (ja) ピッキング装置およびピッキング方法
DE102019125126B4 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und System
JP5767464B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN107571260B (zh) 控制机器人抓取物体的方法和装置
CN111844019B (zh) 一种机器抓取位置确定方法、设备、电子设备和存储介质
US10286557B2 (en) Workpiece position/posture calculation system and handling system
US9233469B2 (en) Robotic system with 3D box location functionality
US9089971B2 (en) Information processing apparatus, control method thereof and storage medium
EP3733355A1 (en) Robot motion optimization system and method
WO2019056840A1 (zh) 码垛的控制装置、系统、方法和存储介质
WO2019176829A1 (ja) ワークピッキング装置及びワークピッキング方法
US20130054030A1 (en) Object gripping apparatus, object gripping method, and object gripping program
US20240131708A1 (en) Robotic system with dynamic motion adjustment mechanism and methods of operating same
CN114670189B (zh) 存储介质、以及生成机器人的控制程序的方法及系统
CN114798321A (zh) 一种点胶机针头的三维校准方法、装置、设备及介质
CN114310892B (zh) 基于点云数据碰撞检测的物体抓取方法、装置和设备
CN114281044A (zh) 一种基于云制造的工业机器人远程监控方法及系统
JP2023059837A (ja) 人間のデモンストレーションによるロボットプログラム作成方法
CN117794704A (zh) 机器人控制设备、机器人控制系统以及机器人控制方法
US20240342917A1 (en) Robot control device, robot control system, and robot control method
JP2013010160A (ja) ロボット制御システム、ロボットシステム及びマーカー処理方法
CN114571457B (zh) 一种奇异位姿规避方法、装置、设备以及存储介质
CN116503472B (zh) 机器人柔顺接取航空行李的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant