CN116619395A - 一种机械臂的控制方法、移动机器人及存储介质 - Google Patents
一种机械臂的控制方法、移动机器人及存储介质 Download PDFInfo
- Publication number
- CN116619395A CN116619395A CN202310923010.1A CN202310923010A CN116619395A CN 116619395 A CN116619395 A CN 116619395A CN 202310923010 A CN202310923010 A CN 202310923010A CN 116619395 A CN116619395 A CN 116619395A
- Authority
- CN
- China
- Prior art keywords
- mobile robot
- grabbed
- coordinate system
- grabbing
- control parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 72
- 238000006243 chemical reaction Methods 0.000 claims description 45
- 230000009466 transformation Effects 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本申请实施例涉及机器人抓取技术领域,具体提供了一种机械臂的控制方法、移动机器人及存储介质。该方法包括:获得第一移动机器人与待抓取物品相对应的位姿信息;根据位姿信息确定第一移动机器人对待抓取物品执行抓取操作所对应的第一控制参数;并根据第一控制参数执行抓取操作,得到第一抓取结果;控制第二移动机器人对待抓取物品进行抓取获得第二抓取结果;根据第一抓取结果、第二抓取结果以及第一控制参数进行位姿差距计算,获得第二移动机器人进行抓取时所需的控制补偿误差;根据第一控制参数和控制补偿误差确定第二移动机器人在第一目标位置对待抓取物品的第二控制参数。从而解决多机器人抓取一致性的问题,提高了机器人部署的工作效率。
Description
技术领域
本申请涉及机器人抓取技术领域,尤其涉及一种机械臂的控制方法、移动机器人及存储介质。
背景技术
随着人工智能浪潮的兴起,机器人在各行各业发挥着日益重要的作用。对机器人而言,抓取是机器人走进真实世界必不可少的技能,比如在物流行业中对物体进行分拣,在工业生产线上完成零件的装配等。为实现机械臂对物体的精准抓取需要对机械臂进行标定,但是对多个机器人在同一应用场景下时,现有的技术没有考虑移动底盘与机械臂协作时的一致性标定问题,导致每个机器人在部署实施的工作中,关于设备的作业点位是与机器人相关的需要重复标定,而非进行循环利用的,极大地增加了部署工作量,导致生产线调试时间增加,进而影响客户的产线利用率,降低了生产效率。
发明内容
本申请实施例的主要目的在于提供一种机械臂的控制方法、移动机器人及存储介质,旨在解决现有技术中多移动机器人一致性方案中,仅考虑了固定机械臂基座时的标定方法,进而导致当夹爪磨损或者需要更换移动机器人时需要重新标定,导致部署工作量极大,严重影响了移动机器人的工作效率。
第一方面,本申请实施例提供一种机械臂的控制方法,包括:
控制第一移动机器人移动至第一目标位置,并对待抓取物品定位识别,获得第一移动机器人与待抓取物品相对应的位姿信息;
根据位姿信息确定第一移动机器人对待抓取物品执行第一物品抓取操作所对应的第一控制参数;
根据第一控制参数控制第一移动机器人对待抓取物品执行第一物品抓取操作,得到第一抓取结果;
控制位于第一目标位置的第二移动机器人对待抓取物品进行抓取,获得待抓取物品的第二抓取结果;
根据第一抓取结果、第二抓取结果以及第一控制参数进行位姿差距计算,获得第二移动机器人对待抓取物品进行抓取时所需的控制补偿误差;
根据第一控制参数和控制补偿误差确定第二移动机器人在第一目标位置对待抓取物品的第二控制参数。
第二方面,本申请实施例还提供一种移动机器人,移动机器人包括处理器、存储器、存储在存储器上并可被处理器执行的计算机程序以及用于实现处理器和存储器之间的连接通信的数据总线,其中计算机程序被处理器执行时,实现如本申请说明书提供的任一项机械臂的控制方法的步骤。
第三方面,本申请实施例还提供一种存储介质,用于计算机可读存储,其特征在于,存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现如本申请说明书提供的任一项的机械臂的控制方法的步骤。
本申请实施例提供一种机械臂的控制方法、移动机器人及存储介质,其中,该机械臂的控制方法通过获取在第一目标位置时第一移动机器人对待抓取物品执行第一物品抓取操作所对应的第一控制参数,并根据第一控制参数控制第一移动机器人对待抓取物品执行第一物品抓取操作,得到第一抓取结果;再获取第二移动机器人在第一目标位置进行抓取获得的待抓取物品的第二抓取结果;根据第一抓取结果、第二抓取结果以及第一控制参数进行位姿差距计算,获得第二移动机器人对待抓取物品进行抓取时所需的控制补偿误差,进而根据第一控制参数和控制补偿误差确定第二移动机器人在第一目标位置对待抓取物品的第二控制参数,进而第一移动机器人在第一目标位置的第一控制参数和控制补偿误差确定第二移动机器人在第二目标位置时的第二控制参数,解决多机器人抓取一致性的问题,降低了部署工作量,提高了机器人部署的工作效率。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种机械臂的控制方法的流程示意图;
图2为本申请实施例提供的一种机械臂中所使用的坐标系位置示意图;
图3为图1中步骤S5的一种具体实施方式对应的步骤流程图;
图4为图1中步骤S6的一种具体实施方式对应的步骤流程图;
图5为本申请实施例提供的一种移动机器人的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本申请实施例提供一种机械臂的控制方法、移动机器人及存储介质。其中,该机械臂的控制方法可应用于终端,该终端可以为移动机器人。
其中,本申请实施例提供一种机械臂的控制方法、移动机器人及存储介质,其中,该机械臂的控制方法通过获取在第一目标位置时第一移动机器人对待抓取物品执行第一物品抓取操作所对应的第一控制参数,并根据第一控制参数控制第一移动机器人对待抓取物品执行第一物品抓取操作,得到第一抓取结果;再获取第二移动机器人在第一目标位置进行抓取获得的待抓取物品的第二抓取结果;根据第一抓取结果、第二抓取结果以及第一控制参数进行位姿差距计算,获得第二移动机器人对待抓取物品进行抓取时所需的控制补偿误差,进而根据第一控制参数和控制补偿误差确定第二移动机器人在第一目标位置对待抓取物品的第二控制参数,进而第一移动机器人在第一目标位置的第一控制参数和控制补偿误差确定第二移动机器人在第二目标位置时的第二控制参数,解决多机器人抓取一致性的问题,降低了部署工作量,提高了机器人部署的工作效率。
下面结合附图,对本申请的一些实施例作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
在一应用场景中若存在多个物体搬运或者物体安装的应用,当首次为第一移动机器人在该应用场景下的工作参数进行录制获得多个抓取点位数据后,若第一移动机器人发生故障或者第一移动机器人的夹爪出现磨损,则在该应用场景下需要对第二移动机器人重复执行第一移动机器人的抓取点位数据的录制操作,将大大增加部署工作量,也降低了工作效率,因此,亟需一种能够降低机器人部署工作量,提高工作效率的机械臂控制方法。
请参照图1,图1为本申请实施例提供的一种机械臂的控制方法的流程示意图。
如图1所示,该机械臂的控制方法包括步骤S1至步骤S6。
步骤S1:控制第一移动机器人移动至第一目标位置,并对待抓取物品定位识别,获得第一移动机器人与待抓取物品相对应的位姿信息。
在移动机器人进行工作之前,需要对移动机器人工作时所需的抓取信息进行获取,以使得移动机器人在进行工作时能够顺利完成抓取任务。由于加工误差及使用磨损情况的发生,对于不同的移动机器人在同样的抓取效果下工具中心相对于机械臂末端坐标系的变换是有差别的,因此,不同移动机器人的夹爪误差的补偿方式可以采用示教的方式进行标定差别。
示例性地,向第一移动机器人发布命令使得第一移动机器人移动至第一目标位置,并通过第一移动机器人的机械臂末端上安装的定位相机对在第一目标位置所对应的待抓取物品进行定位识别,获得第一移动机器人的机械臂末端上安装的定位相机与待抓取物品之间对应的位姿信息。
例如,在第一移动机器人的机械臂的末端安装有定位相机,在使用之前获得定位相机的相机内参,以及利用手眼标定原理获得第一移动机器人的机械臂坐标系和定位相机坐标系的转换矩阵,再利用第一移动机器人的机械臂末端上安装的定位相机对待抓取物品进行拍摄图片获得图像,进而获得待抓取物品在图像中的像素坐标值与待抓取物品在真实世界坐标系中的真实坐标值,进而根据相机内参、转换矩阵获得待抓取物品在图像中的像素坐标值与待抓取物品在真实世界坐标系中的真实坐标值之间的位姿信息。
在一些实施方式中,对待抓取物品定位识别,获得第一移动机器人与待抓取物品相对应的位姿信息,包括:利用第一移动机器人对待抓取物品上的标签码进行定位识别,进而获得标签码相对于第一移动机器人的位姿信息。
示例性地,标签码张贴于待抓取物品的表面,将视觉识别的标签码所在的坐标系作为标签坐标系,用M表示,故而,标签坐标系与世界坐标系之间相对关系保持固定。因此,将第一移动机器人与待抓取物品相对应的位姿信息转换为对第一移动机器人和标签码之间的位姿信息求取,进而利用第一移动机器人的机械臂末端上安装的定位相机对在第一目标位置所对应的待抓取物品上的标签码进行定位识别,获得标签码相对于第一移动机器人的机械臂末端安装的定位相机的位姿信息。
在一些实施方式中,利用第一移动机器人对待抓取物品上的标签码进行定位识别,进而获得标签码相对于第一移动机器人的位姿信息,包括:获取待抓取物品对应的图像信息,并根据图像信息进行定位识别,获得待抓取物品在图像信息中的映射数据;根据映射数据确定图像信息相对于第一移动机器人的第一相机的位姿信息。
示例性地,利用第一移动机器人的机械臂末端上安装的定位相机对张贴于待抓取物品表面或者相对位置的标签码拍摄图片获得相应的图像信息,进而确定图像信息中标签码对应的在像素坐标系中的像素坐标。然后在选择以标签码所在位置为世界坐标系,进而获得图像信息中的标签码在世界坐标系中的坐标,进而构造了图像信息中标签码的像素坐标和在真实世界中坐标的映射关系,进而确定图像信息中标签码的像素坐标值和像素坐标值在真实世界坐标系中对应的真实坐标值,共同组成映射数据,进而获得图像信息相对于第一移动机器人的第一相机的位姿信息。
此外,图像信息中的像素坐标值转换到真实世界坐标系中的坐标值需要通过相机内参获取像素坐标系到相机坐标系的变换关系,并且获取相机坐标系相对于世界坐标系的变换关系即旋转矩阵和平移矩阵,进而获得像素坐标值到真实世界坐标系的真实坐标值。
可选地,本申请中对相机内参的获取方式以及相机坐标系相对于世界坐标系的变换关系的获取方式不做具体限制。
可选地,对于标签码张贴的位置可以在待抓取物品表面,也可以是与待抓取物品存在相对位置的位置,本申请不做具体限制。
步骤S2:根据位姿信息确定第一移动机器人对待抓取物品执行第一物品抓取操作所对应的第一控制参数。
示例性地,在应用场景中,通过第一移动机器人的夹爪上安装的末端定位相机对贴于待抓取物品上的标签码进行识别定位,然后引导机械臂抓取物体,将工具坐标系设置在与待抓取物品固定的位置,因此,工具坐标系的具体含义为抓取到待抓取物品的终端坐标系,其中,夹爪坐标系也即工具坐标系,用来表示安装在机械臂末端工具的工作中心,用I表示,因此根据刚体运动学原理建立该过程的欧式位姿变换矩阵关系式如公式1所示:
其中,世界坐标系,用来作为绝对参考系,在机器人运动过程中保持不变,用W表示;机器人底盘坐标系,也即机械臂基座坐标系,该坐标系表述的是移动机器人的基座所在的坐标系,随着底盘的运动该坐标系也会发生移动,用B或R表示;机械臂末端坐标系,也即机械臂末端法兰盘坐标系所在的坐标系,该坐标系定位与机械臂末端结构中心,用E表示。夹爪坐标系,也即工具坐标系,用来表示安装在机械臂末端工具的工作中心,用I表示。相机坐标系,安装于夹爪上相机所在的坐标系,及相机坐标系,用C表示。标签坐标系,视觉识别的标签所在的坐标系,标签张贴于静止的物体表面,因此标签坐标系与世界坐标系之间相对关系保持固定,用M表示,其中坐标系之间的位置关系如图2所示。
在公式1中,为基坐标系到世界坐标系的变换,/>为机械臂末端到机械臂基座的位姿变换,可以从机械臂控制器中直接读取,/>为相机坐标系到末端坐标系的位姿变换,通过手眼标定计算得出的已知信息,/>为标签坐标系到相机坐标系的位姿变换,通过步骤S1中的运算获得;/>为夹爪坐标系到标签坐标系的变换。
因此,将第一移动机器人在第一目标位置对待抓取物品进行抓取时所需的参数作为第一移动机器人的第一控制参数。
在一些实施方式中,根据位姿信息确定第一移动机器人对待抓取物品执行第一物品抓取操作所对应的第一控制参数,包括:获取第一相机的第一相机内参以及利用手眼标定原理获得第一移动机器人的第一机械臂末端坐标系和第一相机坐标系的第一转换矩阵;根据第一相机内参、第一转换矩阵以及位姿信息确定第一移动机器人抓取待抓取物品的第一控制参数。
示例性地,将公式1中出现的转换矩阵作为第一移动机器人抓取待抓取物品的第一控制参数,其中,利用相机标定的方式或者厂家提供的参数作为第一相机的第一相机内参以及利用手眼标定原理获得第一移动机器人的第一机械臂末端坐标系和第一相机坐标系的第一转换矩阵,也即获得,从机械臂控制器中直接读取机械臂末端到机械臂基座的位姿变换,即/>,通过步骤S1中的运算获得标签坐标系到相机坐标系的位姿变换/>,由于将世界坐标系放置在抓取坐标系上,所以/>实现世界坐标系和抓取坐标系的转换矩阵变成单位矩阵,并且将/>可以转换为/>,也即当世界坐标系和抓取坐标系重合时,将基座坐标系转换为世界坐标系的转换矩阵可以更新为基座坐标系转换为抓取坐标系的转换矩阵,进而将公式1中所需的参数作为第一移动机器人抓取待抓取物品的第一控制参数。
步骤S3:根据第一控制参数控制第一移动机器人对待抓取物品执行第一物品抓取操作,得到第一抓取结果。
示例性地,根据第一控制参数控制第一移动机器人对待抓取物品执行相应的物品抓取操作,获得在第一控制参数下第一移动机器人对待抓取物品的第一抓取结果。
步骤S4:控制位于第一目标位置的第二移动机器人对待抓取物品进行抓取,获得待抓取物品的第二抓取结果。
示例性地,将第二移动机器人移动至第一目标位置,并同样对第一目标位置对应的待抓取物品进行抓取获得第二移动机器人在同样位置同样待抓取物品对应的第二抓取结果。
例如,在第二移动机器人在第一目标位置进行抓取时利用第一移动机器人的第一控制参数,进而获得第二移动机器人在第一移动机器人的控制参数下对应的第二抓取结果,但是若属于第一移动机器人或第二移动机器人自身的参数性质,还按照自身的参数性质进行抓取,例如,第一移动机器人上安装的第一相机对应的相机内参,但第二移动机器人在进行抓取时按照第二移动机器人上安装的第二相机对应的相机内参。
步骤S5:根据第一抓取结果、第二抓取结果以及第一控制参数进行位姿差距计算,获得第二移动机器人对待抓取物品进行抓取时所需的控制补偿误差。
示例性地,由于加工误差及使用磨损情况的发生,第一移动机器人的夹爪与第二移动机器人的夹爪在同样的抓取效果下工具坐标系相对于机械臂末端坐标系的变换是有差别的。因此,需要获得第二移动机器人在达到与第一移动机器人同样抓取效果下的控制补偿误差,因此,在第二抓取结果上进行补偿使得第二移动机器人能够达到第一抓取结果的效果。
如图3所示,在一些实施方式中,步骤S5包括步骤S51至步骤S53:
步骤S51:根据第一控制参数获得第一移动机器人的第一机械臂末端转换至第一移动机器人底盘的第一矩阵;
步骤S52:根据第二抓取结果获得第二移动机器人底盘转换至第二移动机器人的第二机械臂末端的第二矩阵;
步骤S53:根据第二矩阵和第一矩阵的乘积获得第一移动机器人和第二移动机器人的位姿差距,进而获得第二移动机器人对待抓取物品进行抓取时所需的控制补偿误差。
示例性地,控制补偿误差的补偿方式需要采用示教方式进行标定差别,即将第一移动机器人、第二移动机器人的车辆底盘固定在同一个标定台上,去标定台上抓取获得第一移动机器人的第一抓取结果和第二移动机器人的第二抓取结果,进而获得当第二移动机器人达到第一移动机器人的第一抓取结果时所需要进行的控制补偿误差。
示例性地,根据第一控制参数获得第一移动机器人的第一机械臂末端转换至第一移动机器人底盘的第一矩阵,根据第二抓取结果获得第二移动机器人底盘转换至第二移动机器人的第二机械臂末端的第二矩阵/>;,其中/>和/>可以从机械臂控制读取到的机械臂末端位姿。其中/>和/>中的a表示第一移动机器人,b表示第二移动机器人。进而根据第二矩阵和第一矩阵的乘积获得第一移动机器人和第二移动机器人的位姿差距,获得第二移动机器人对待抓取物品进行抓取时所需的控制补偿误差,如公式2所示。
步骤S6:根据第一控制参数和控制补偿误差确定第二移动机器人在第一目标位置对待抓取物品的第二控制参数。
示例性地,在获得第二移动机器人在与第一移动机器人在相同位置达到同样的抓取效果下的控制补偿误差后,利用第一移动机器人的第一控制参数和控制补偿误差确定第二移动机器人在第一目标位置对待抓取物品的第二控制参数,以使得第二移动机器人在第一目标位置对待抓取物品进行抓取时获得与第一移动机器人在第一目标位置对待抓取物品进行抓取时取得同样的效果。
请参阅图4,在一些实施方式中,步骤S6包括步骤S61至步骤S63。
步骤S61:获取拍照时刻第二机械臂末端相对于第二移动机器人基座的第二转换矩阵、利用手眼标定原理获得第二相机坐标系和第二机械臂末端坐标系的第三转换矩阵以及获得待抓取物体对应的标签码所在标签坐标系相对于相机坐标系的第四转换矩阵。
示例性地,确定第二移动机器人的第二机械臂末端相对于第二移动机器人基座在拍照时刻所对应的第二转换矩阵,其中,拍照时刻表示当第二移动机器人对待抓取物品对应的标签码进行拍照获得图像信息时所对应的时刻,也即第二转换矩阵与获取待抓取物品对应的标签码的图像信息处于同一时间维度下。
示例性地,利用手眼标定原理获得第二移动机器人中设置的第二相机对应的第二相机坐标系和第二移动机器人的第二机械臂对应的第二机械臂末端坐标系的第三转换矩阵以及获得待抓取物体对应的标签码所在标签坐标系相对于相机坐标系的第四转换矩阵/>。
步骤S62:根据第一控制参数确定标签坐标系相对抓取坐标系的位姿变换数据。
示例性地,考虑实际应用场景中不同的移动机器人在抓取相同的物品过程中,固定不变的位置关系为夹爪坐标系到标签坐标系的变换,也即,公式1中出现的保持不变,变换的部分为夹爪坐标系到末端坐标系的变换以及相机坐标系到末端坐标系的变换。因此,根据第一控制参数确定标签坐标系相对抓取坐标系的位姿变换数据。
在一些实施方式中,根据第一控制参数确定标签坐标系相对抓取坐标系的位姿变换数据,包括:获取第一移动机器人的第一机械臂的末端坐标系和第一移动机器人的基座坐标系的第五转换矩阵;根据第一控制参数、第五转换矩阵、第一转换矩阵、第四转换矩阵确定标签坐标系相对抓取坐标系的位姿变换数据。
示例性地,根据第一控制参数获得第一移动机器人的第一机械臂的末端坐标系和第一移动机器人的基座坐标系的第五转换矩阵,利用手眼标定原理获得第一移动机器人的第一机械臂末端坐标系和第一相机坐标系的第一转换矩阵,也即获得/>,获得待抓取物体对应的标签码所在标签坐标系相对于相机坐标系的第四转换矩阵/>,进而根据公式3确定标签坐标系相对抓取坐标系的位姿变换数据。
步骤S63:根据第二转换矩阵、第三转换矩阵、第四转换矩阵、位姿变换数据以及控制补偿误差确定第二机械臂对所述待抓取物品的第二控制参数。
示例性地,在获得第二转换矩阵、第三转换矩阵/>、第四转换矩阵/>,以及位姿变换数据/>,控制补偿误差/>,确定第二机械臂对所述待抓取物品的第二控制参数如公式4所示。
在一些实施方式中,所述方法还包括:获取第一移动机器人移动至第二目标位置的第三控制参数;根据第三控制参数和控制补偿误差确定第二移动机器人的第二机械臂对待抓取物品的第四控制参数,以实现第二机械臂根据第四控制参数在第二目标位置上的目标抓取物品的抓取。
示例性地,在同一工作环境中,存在不同的目标位置对应着不同的待抓取物品,当获取到第二移动机器人的控制补偿误差后,将第一移动机器人在同一工作环境中不同目标位置的控制参数均利用控制补偿误差进行补偿,以使得第二机器人能够在第一机器人的控制参数的基础上继续实现目标抓取物品的抓取。
例如,在工作环境中,第一移动机器人对应3个目标位置,m1、m2、m3,现已实现第一移动机器人在m1、m2、m3分别对应的控制参数canshu1、canshu2、canshu3,现根据上述方法已获得第二移动机器人在m1的控制补偿误差为,则当第二移动机器人在m2进行待抓取物品的抓取时,可以利用canshu2和控制补偿误差为/>实现第二移动机器人在m2的精准抓取。同理,当第二移动机器人在m3进行待抓取物品的抓取时,可以利用canshu3和控制补偿误差为/>实现第二移动机器人在m3的精准抓取。
请参阅图5,图5为本申请实施例提供的移动机器人的结构示意性框图。
如图5所示,移动机器人300包括处理器301和存储器302,处理器301和存储器302通过总线303连接,该总线比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器301用于提供计算和控制能力,支撑整个服务器的运行。处理器301可以是中央处理单元 (Central Processing Unit,CPU),该处理器301还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地,存储器302可以是Flash芯片、只读存储器 (ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请实施例方案相关的部分结构的框图,并不构成对本申请实施例方案所应用于其上的终端的限定,具体的终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,处理器301用于运行存储在存储器中的计算机程序,并在执行计算机程序时实现本申请任一实施例提供的机械臂的控制方法。
在一些实施方式中,处理器301用于运行存储在存储器中的计算机程序,并在执行计算机程序时实现如下步骤:
控制第一移动机器人移动至第一目标位置,并对待抓取物品定位识别,获得所述第一移动机器人与所述待抓取物品相对应的位姿信息;
根据所述位姿信息确定所述第一移动机器人对所述待抓取物品执行第一物品抓取操作所对应的第一控制参数;
根据所述第一控制参数控制所述第一移动机器人对所述待抓取物品执行所述第一物品抓取操作,得到第一抓取结果;
控制位于所述第一目标位置的第二移动机器人对所述待抓取物品进行抓取,获得所述待抓取物品的第二抓取结果;
根据所述第一抓取结果、所述第二抓取结果以及所述第一控制参数进行位姿差距计算,获得所述第二移动机器人对所述待抓取物品进行抓取时所需的控制补偿误差;
根据所述第一控制参数和所述控制补偿误差确定所述第二移动机器人在所述第一目标位置对所述待抓取物品的第二控制参数。
在一些实施方式中,处理器301在对待抓取物品定位识别,获得所述第一移动机器人与所述待抓取物品相对应的位姿信息过程中,执行:
利用所述第一移动机器人对所述待抓取物品上的标签码进行定位识别,进而获得所述标签码相对于所述第一移动机器人的位姿信息。
在一些实施方式中,处理器301在利用所述第一移动机器人对所述待抓取物品上的标签码进行定位识别,进而获得所述标签码相对于所述第一移动机器人的位姿信息过程中,执行:
获取所述待抓取物品对应的图像信息,并根据所述图像信息进行定位识别,获得所述待抓取物品在所述图像信息中的映射数据;
根据所述映射数据确定所述图像信息相对于所述第一移动机器人的第一相机的位姿信息。
在一些实施方式中,处理器301在根据所述位姿信息确定所述第一移动机器人对所述待抓取物品执行第一物品抓取操作所对应的第一控制参数过程中,执行:
获取所述第一相机的第一相机内参以及利用手眼标定原理获得所述第一移动机器人的第一机械臂末端坐标系和第一相机坐标系的第一转换矩阵;
根据所述第一相机内参、所述第一转换矩阵以及所述位姿信息确定所述第一移动机器人抓取所述待抓取物品的第一控制参数。
在一些实施方式中,处理器301在根据所述第一抓取结果、所述第二抓取结果以及所述第一控制参数进行位姿差距计算,获得所述第二移动机器人对所述待抓取物品进行抓取时所需的控制补偿误差过程中,执行:
根据所述第一控制参数获得所述第一移动机器人的第一机械臂末端转换至第一移动机器人底盘的第一矩阵;
根据所述第二抓取结果获得所述第二移动机器人底盘转换至所述第二移动机器人的第二机械臂末端的第二矩阵;
根据所述第二矩阵和所述第一矩阵的乘积获得所述第一移动机器人和所述第二移动机器人的位姿差距,进而获得所述第二移动机器人对所述待抓取物品进行抓取时所需的控制补偿误差。
在一些实施方式中,处理器301在根据所述第一控制参数和所述控制补偿误差确定所述第二移动机器人在所述第一目标位置对所述待抓取物品的第二控制参数过程中,执行:
获取拍照时刻所述第二机械臂末端相对于所述第二移动机器人基座的第二转换矩阵、利用手眼标定原理获得第二相机坐标系和第二机械臂末端坐标系的第三转换矩阵以及获得所述待抓取物体对应的标签码所在标签坐标系相对于相机坐标系的第四转换矩阵;
根据所述第一控制参数确定标签坐标系相对抓取坐标系的位姿变换数据;
根据所述第二转换矩阵、所述第三转换矩阵、所述第四转换矩阵、所述位姿变换数据以及所述控制补偿误差确定所述第二机械臂对所述待抓取物品的第二控制参数。
在一些实施方式中,处理器301在根据所述第一控制参数确定标签坐标系相对抓取坐标系的位姿变换数据过程中,执行:
获取所述第一移动机器人的第一机械臂的末端坐标系和所述第一移动机器人的基座坐标系的第五转换矩阵;
根据所述第一控制参数、所述第五转换矩阵、所述第一转换矩阵、所述第四转换矩阵确定标签坐标系相对抓取坐标系的位姿变换数据。
在一些实施方式中,处理器301还执行:
获取所述第一移动机器人移动至第二目标位置的第三控制参数;
根据所述第三控制参数和所述控制补偿误差确定所述第二移动机器人的所述第二机械臂对所述待抓取物品的第四控制参数,以实现所述第二机械臂根据所述第四控制参数在所述第二目标位置上的目标抓取物品的抓取。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的终端的具体工作过程,可以参考前述机械臂的控制方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供一种存储介质,用于计算机可读存储,存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现如本申请说明书实施例提供的任一项机械臂的控制方法的步骤。
其中,存储介质可以是前述实施例的终端的内部存储单元,例如终端内存。存储介质也可以是终端的外部存储设备,例如终端上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
应当理解,在本申请说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上,仅为本申请的具体实施例,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种机械臂的控制方法,其特征在于,所述方法包括:
控制第一移动机器人移动至第一目标位置,并对待抓取物品定位识别,获得所述第一移动机器人与所述待抓取物品相对应的位姿信息;
根据所述位姿信息确定所述第一移动机器人对所述待抓取物品执行第一物品抓取操作所对应的第一控制参数;
根据所述第一控制参数控制所述第一移动机器人对所述待抓取物品执行所述第一物品抓取操作,得到第一抓取结果;
控制位于所述第一目标位置的第二移动机器人对所述待抓取物品进行抓取,获得所述待抓取物品的第二抓取结果;
根据所述第一抓取结果、所述第二抓取结果以及所述第一控制参数进行位姿差距计算,获得所述第二移动机器人对所述待抓取物品进行抓取时所需的控制补偿误差;
根据所述第一控制参数和所述控制补偿误差确定所述第二移动机器人在所述第一目标位置对所述待抓取物品的第二控制参数。
2.根据权利要求1所述方法,其特征在于,所述对待抓取物品定位识别,获得所述第一移动机器人与所述待抓取物品相对应的位姿信息,包括:
利用所述第一移动机器人对所述待抓取物品上的标签码进行定位识别,进而获得所述标签码相对于所述第一移动机器人的位姿信息。
3.根据权利要求2所述方法,其特征在于,所述利用所述第一移动机器人对所述待抓取物品上的标签码进行定位识别,进而获得所述标签码相对于所述第一移动机器人的位姿信息,包括:
获取所述待抓取物品对应的图像信息,并根据所述图像信息进行定位识别,获得所述待抓取物品在所述图像信息中的映射数据;
根据所述映射数据确定所述图像信息相对于所述第一移动机器人的第一相机的位姿信息。
4.根据权利要求1所述方法,其特征在于,所述根据所述位姿信息确定所述第一移动机器人对所述待抓取物品执行第一物品抓取操作所对应的第一控制参数,包括:
获取所述第一相机的第一相机内参以及利用手眼标定原理获得所述第一移动机器人的第一机械臂末端坐标系和第一相机坐标系的第一转换矩阵;
根据所述第一相机内参、所述第一转换矩阵以及所述位姿信息确定所述第一移动机器人抓取所述待抓取物品的第一控制参数。
5.根据权利要求1所述方法,其特征在于,所述根据所述第一抓取结果、所述第二抓取结果以及所述第一控制参数进行位姿差距计算,获得所述第二移动机器人对所述待抓取物品进行抓取时所需的控制补偿误差,包括:
根据所述第一控制参数获得所述第一移动机器人的第一机械臂末端转换至第一移动机器人底盘的第一矩阵;
根据所述第二抓取结果获得所述第二移动机器人底盘转换至所述第二移动机器人的第二机械臂末端的第二矩阵;
根据所述第二矩阵和所述第一矩阵的乘积获得所述第一移动机器人和所述第二移动机器人的位姿差距,进而获得所述第二移动机器人对所述待抓取物品进行抓取时所需的控制补偿误差。
6.根据权利要求1所述方法,其特征在于,所述根据所述第一控制参数和所述控制补偿误差确定所述第二移动机器人在所述第一目标位置对所述待抓取物品的第二控制参数,包括:
获取拍照时刻所述第二机械臂末端相对于所述第二移动机器人基座的第二转换矩阵、利用手眼标定原理获得第二相机坐标系和第二机械臂末端坐标系的第三转换矩阵以及获得所述待抓取物体对应的标签码所在标签坐标系相对于相机坐标系的第四转换矩阵;
根据所述第一控制参数确定标签坐标系相对夹爪坐标系的位姿变换数据;
根据所述第二转换矩阵、所述第三转换矩阵、所述第四转换矩阵、所述位姿变换数据以及所述控制补偿误差确定所述第二机械臂对所述待抓取物品的第二控制参数。
7.根据权利要求6所述方法,其特征在于,所述根据所述第一控制参数确定标签坐标系相对夹爪坐标系的位姿变换数据,包括:
获取所述第一移动机器人的第一机械臂的末端坐标系和所述第一移动机器人的基座坐标系的第五转换矩阵;
根据所述第一控制参数、所述第五转换矩阵、所述第一转换矩阵、所述第四转换矩阵确定标签坐标系相对夹爪坐标系的位姿变换数据。
8.根据权利要求1所述方法,其特征在于,所述方法还包括:
获取所述第一移动机器人移动至第二目标位置的第三控制参数;
根据所述第三控制参数和所述控制补偿误差确定所述第二移动机器人的所述第二机械臂对所述待抓取物品的第四控制参数,以实现所述第二机械臂根据所述第四控制参数在所述第二目标位置上的目标抓取物品的抓取。
9.一种移动机器人,其特征在于,所述移动机器人包括处理器、存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至8中任一项所述的机械臂的控制方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至8中任一项所述机械臂的控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310923010.1A CN116619395B (zh) | 2023-07-26 | 2023-07-26 | 一种机械臂的控制方法、移动机器人及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310923010.1A CN116619395B (zh) | 2023-07-26 | 2023-07-26 | 一种机械臂的控制方法、移动机器人及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116619395A true CN116619395A (zh) | 2023-08-22 |
CN116619395B CN116619395B (zh) | 2023-12-22 |
Family
ID=87613945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310923010.1A Active CN116619395B (zh) | 2023-07-26 | 2023-07-26 | 一种机械臂的控制方法、移动机器人及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116619395B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050107920A1 (en) * | 2003-11-18 | 2005-05-19 | Fanuc Ltd | Teaching position correcting device |
US20180297198A1 (en) * | 2015-10-22 | 2018-10-18 | Canon Kabushiki Kaisha | Teaching point correcting method, program, recording medium, robot apparatus, imaging point creating method, and imaging point creating apparatus |
CN110154038A (zh) * | 2018-02-16 | 2019-08-23 | 日本电产三协株式会社 | 机器人的位置信息恢复方法 |
CN111300422A (zh) * | 2020-03-17 | 2020-06-19 | 浙江大学 | 基于视觉图像的机器人工件抓取位姿误差补偿方法 |
CN115319732A (zh) * | 2021-05-11 | 2022-11-11 | 苏州艾利特机器人有限公司 | 一种根据示教点快速校正机器人精度的方法及机器人 |
CN217992511U (zh) * | 2022-09-15 | 2022-12-09 | 张子缘 | 一种随动控制四方同步协同机器人 |
CN115781635A (zh) * | 2022-11-04 | 2023-03-14 | 北京镁伽机器人科技有限公司 | 机器人示教方法以及装置、电子设备以及存储介质 |
-
2023
- 2023-07-26 CN CN202310923010.1A patent/CN116619395B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050107920A1 (en) * | 2003-11-18 | 2005-05-19 | Fanuc Ltd | Teaching position correcting device |
US20180297198A1 (en) * | 2015-10-22 | 2018-10-18 | Canon Kabushiki Kaisha | Teaching point correcting method, program, recording medium, robot apparatus, imaging point creating method, and imaging point creating apparatus |
CN110154038A (zh) * | 2018-02-16 | 2019-08-23 | 日本电产三协株式会社 | 机器人的位置信息恢复方法 |
CN111300422A (zh) * | 2020-03-17 | 2020-06-19 | 浙江大学 | 基于视觉图像的机器人工件抓取位姿误差补偿方法 |
CN115319732A (zh) * | 2021-05-11 | 2022-11-11 | 苏州艾利特机器人有限公司 | 一种根据示教点快速校正机器人精度的方法及机器人 |
CN217992511U (zh) * | 2022-09-15 | 2022-12-09 | 张子缘 | 一种随动控制四方同步协同机器人 |
CN115781635A (zh) * | 2022-11-04 | 2023-03-14 | 北京镁伽机器人科技有限公司 | 机器人示教方法以及装置、电子设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116619395B (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109159114B (zh) | Scara机械手固定相机视觉系统手眼标定的高精度方法 | |
CN108818535B (zh) | 机器人3d视觉手眼标定方法 | |
CN110640746B (zh) | 机器人的坐标系标定及定位方法、系统、设备、介质 | |
CN110936355B (zh) | 一种基于视觉测速定位的机械臂引导系统和方法 | |
CN110666805A (zh) | 一种基于主动视觉的工业机器人分拣方法 | |
JPWO2013176212A1 (ja) | ロボット制御装置、ロボット制御方法、プログラム、記録媒体、ロボットシステム | |
CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
CN111369625A (zh) | 定位方法、装置和存储介质 | |
CN112828892B (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
CN113910219A (zh) | 运动臂系统以及控制方法 | |
CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
JP2016078195A (ja) | ロボットシステム、ロボット、制御装置及びロボットの制御方法 | |
CN112720460B (zh) | 机器人控制方法、装置、计算机可读存储介质及机器人 | |
CN112561886A (zh) | 一种基于机器视觉的工件自动分拣方法及系统 | |
CN112936257A (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
CN116619395B (zh) | 一种机械臂的控制方法、移动机器人及存储介质 | |
JP5228856B2 (ja) | 作業対象物の位置検出方法および位置検出装置 | |
CN110815177B (zh) | 一种复合机器人2d视觉引导示教的迁移方法 | |
CN113524167A (zh) | 机器人加工工件时建立工件坐标系的方法及位姿校正方法 | |
Kim et al. | Vision-force guided precise robotic assembly for 2.5 D components in a semistructured environment | |
CN113414764A (zh) | 零件的入库方法、装置、终端及可读存储介质 | |
CN112171664A (zh) | 基于视觉识别的生产线机器人轨迹补偿方法、装置和系统 | |
Jeon et al. | Cost-effective calibration of collaborative robot arm with single wire encoder | |
WO2022155882A1 (en) | Assembling apparatus, assembling method and computer readable storage medium | |
Xu et al. | A fast and straightforward hand-eye calibration method using stereo camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |