CN114932554B - 抓取机器人的自主移动方法、装置、存储介质及设备 - Google Patents

抓取机器人的自主移动方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN114932554B
CN114932554B CN202210631586.6A CN202210631586A CN114932554B CN 114932554 B CN114932554 B CN 114932554B CN 202210631586 A CN202210631586 A CN 202210631586A CN 114932554 B CN114932554 B CN 114932554B
Authority
CN
China
Prior art keywords
coordinate system
grabbing
space coordinate
robot
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210631586.6A
Other languages
English (en)
Other versions
CN114932554A (zh
Inventor
于海龙
张锐
张超杰
赵小川
牛建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ironman Technology Co ltd
Original Assignee
Beijing Ironman Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ironman Technology Co ltd filed Critical Beijing Ironman Technology Co ltd
Priority to CN202210631586.6A priority Critical patent/CN114932554B/zh
Publication of CN114932554A publication Critical patent/CN114932554A/zh
Application granted granted Critical
Publication of CN114932554B publication Critical patent/CN114932554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators

Abstract

本发明公开了一种抓取机器人的自主移动方法、装置、存储介质及设备。其中，该方法包括：从监测信息中识别得到目标抓取对象，其中，采用安装在抓取机器人上的深度相机获取目标场景的环境实时视频得到上述监测信息；确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，其中，上述第一空间坐标系为以上述抓取机器人的机械臂的臂基为原点建立的坐标系；基于上述位置坐标，确定第四空间坐标系下的目标导航点，其中，上述第四空间坐标系为根据上述目标场景建立的坐标系；控制上述抓取机器人移动至上述目标导航点进行抓取。本发明解决了现有的抓取机器人位置固定无法多场景下应用，无法满足自主移动搬运等需求的技术问题。

Description

抓取机器人的自主移动方法、装置、存储介质及设备
技术领域
本发明涉及自动控制技术领域，具体而言，涉及一种抓取机器人的自主移动方法、装置、存储介质及设备。
背景技术
现有技术中，大部分抓取机器人的位置固定，只适用于工程流水线等固定场景，无法多场景下应用，无法满足移动搬运等需求。
若采用人为控制机器人运动，不仅需要人员参与，占用人力成本，同时人为控制无法保证精度，容易出现较大误差，且效率低；同时还需要设置目标点，手动设置的目标点可能无法满足机器人工作要求，如设置位置太近可能导致机器人发生碰撞，位置设置太远超出机器人抓取工作范围导致无法抓取。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种抓取机器人的自主移动方法、装置、存储介质及设备，以至少解决现有的抓取机器人位置固定无法多场景下应用，无法满足自主移动搬运等需求的技术问题。
根据本发明实施例的一个方面，提供了一种抓取机器人的自主移动方法，包括：从监测信息中识别得到目标抓取对象，其中，采用安装在抓取机器人上的深度相机获取目标场景的环境实时视频得到上述监测信息；确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，其中，上述第一空间坐标系为以上述抓取机器人的机械臂的臂基为原点建立的坐标系；基于上述位置坐标，确定第四空间坐标系下的目标导航点，其中，上述第四空间坐标系为根据上述目标场景建立的坐标系；控制上述抓取机器人移动至上述目标导航点进行抓取。
可选的，在上述从监测信息中识别得到目标抓取对象之前，上述方法还包括：控制上述抓取机器人对上述目标场景进行巡航监测处理；接收上述巡航监测处理过程中获取到的上述监测信息。
可选的，上述确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，包括：获取上述目标抓取对象在上述深度相机的第二空间坐标系下的第二空间坐标，其中，上述第二空间坐标系为以上述深度相机为原点建立的坐标系；采用第一预设变换关系式将上述第二空间坐标系下的上述第二空间坐标转换为上述第一空间坐标系下的第一空间坐标；将上述第一空间坐标作为上述位置坐标。
可选的，上述基于上述位置坐标，确定第四空间坐标系下的目标导航点，包括：基于上述位置坐标，获取抓取距离，其中，上述抓取距离为上述位置坐标与上述第一空间坐标系的原点之间的距离；判断上述抓取距离与上述抓取机器人的上述机械臂的臂展长度之间的大小关系；若上述抓取距离小于上述臂展长度，则以上述抓取机器人的当前位置为上述目标导航点；若上述抓取距离大于上述臂展长度，则确定上述位置坐标在第三空间坐标系的第三空间坐标，并基于上述第三空间坐标确定上述第四空间坐标系下的上述目标导航点。
可选的，上述确定上述位置坐标在第三空间坐标系的第三空间坐标，并基于上述第三空间坐标确定上述第四空间坐标系下的上述目标导航点，包括：采用第二预设变换关系式将上述第一空间坐标系下的上述第一空间坐标转换为上述第三空间坐标系下的第三空间坐标，其中，上述第三空间坐标系为以上述抓取机器人的中心位置为原点建立的坐标系；采用第三预设变换关系式将上述第三空间坐标系下的上述第三空间坐标转换为上述第四空间坐标系下的第四空间坐标；根据上述第四空间坐标和上述臂展长度确定抓取范围；在上述抓取范围内产生多个第一初始导航位姿点，并从上述多个第一初始导航位姿点中确定上述目标导航点。
可选的，上述从上述多个第一初始导航位姿点中确定上述目标导航点，包括：从上述监测信息中识别得到障碍物信息；基于上述障碍物信息去除上述多个第一初始导航位姿点中无法导航的初始抓取点，得到多个第二初始导航位姿点；计算上述多个第二初始导航位姿点与上述抓取机器人的当前位置之间的行驶距离；将上述行驶距离最小的第二初始导航位姿点作为上述目标导航点。
可选的，在上述控制上述抓取机器人移动至上述目标导航点进行抓取之后，上述方法还包括：判断是否接收到停止指令；若未接收到停止指令，则继续控制上述抓取机器人对上述目标场景进行巡航监测处理。
根据本发明实施例的另一方面，还提供了一种抓取机器人的自主移动装置，包括：识别模块，用于从监测信息中识别得到目标抓取对象，其中，采用安装在抓取机器人上的深度相机获取目标场景的环境实时视频得到上述监测信息；第一确定模块，用于确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，其中，上述第一空间坐标系为以上述抓取机器人的机械臂的臂基为原点建立的坐标系；第二确定模块，用于基于上述位置坐标，确定目标导航点；控制模块，用于控制上述抓取机器人移动至上述目标导航点进行抓取。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行任意一项上述的抓取机器人的自主移动方法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行任意一项上述的抓取机器人的自主移动方法。
在本发明实施例中，通过从监测信息中识别得到目标抓取对象，其中，上述监测信息为采用安装在抓取机器人上的深度相机拍摄目标场景得到；确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，其中，上述第一空间坐标系为以上述抓取机器人的机械臂的臂基为原点建立的坐标系；基于上述位置坐标，确定目标导航点；控制上述抓取机器人移动至上述目标导航点进行抓取，达到了根据相机识别结果计算目标物抓取点在多个坐标系下的空间位置并进行抓取的目的，从而实现了抓取机器人自动进行移动并抓取，无需人员干预，响应速度快，控制精度高的技术效果，进而解决了现有的抓取机器人位置固定无法多场景下应用，无法满足自主移动搬运等需求的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的抓取机器人的自主移动方法流程图；
图2是根据本发明实施例的一种可选的抓取机器人自主移动并抓取整体流程示意图；
图3是根据本发明实施例的一种可选的偏置采样方法的示意图；
图4是根据本发明实施例的一种可选的弧形采样方法的示意图；
图5是根据本发明实施例的一种可选的星形采样方法的示意图；
图6是根据本发明实施例的一种抓取机器人的自主移动装置的结构示意。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种抓取机器人的自主移动方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的抓取机器人的自主移动方法流程图，如图1所示，该方法包括如下步骤：
步骤S102，从监测信息中识别得到目标抓取对象，其中，采用安装在抓取机器人上的深度相机获取目标场景的环境实时视频得到上述监测信息；
步骤S104，确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，其中，上述第一空间坐标系为以上述抓取机器人的机械臂的臂基为原点建立的坐标系；
步骤S106，基于上述位置坐标，确定第四空间坐标系下的目标导航点，其中，上述第四空间坐标系为根据上述目标场景建立的坐标系；
步骤S108，控制上述抓取机器人移动至上述目标导航点进行抓取。
在本发明实施例中，上述步骤S102至S108中提供的抓取机器人的自主移动方法的执行主体为上述抓取机器人，上述抓取机器人在自主巡航状态下采用深度相机不断拍摄目标场景，拍摄到的数据信息即上述监测信息，并从监测信息中识别得到目标抓取对象，确定在相机坐标系下的位置坐标，通过多个预设转换矩阵的不断转换，最终得到目标抓取对象在目标场景坐标系下的位置坐标，根据上述位置坐标计算目标导航点，从而控制抓取机器人移动至上述目标导航点进行抓取操作。
需要说明的是，上述监测信息为采用安装在抓取机器人上的深度相机拍摄目标场景得到的；上述坐标系包括：机械臂基坐标系(第一空间坐标系)、相机坐标系(第二空间坐标系)、机器人坐标系(第三空间坐标系)、地图坐标系(第四空间坐标系)。上述第一空间坐标系为以上述抓取机器人的机械臂的臂基为原点建立的坐标系；上述第二空间坐标系为以上述深度相机为原点建立的坐标系；上述第三空间坐标系为以上述抓取机器人的中心位置为原点建立的坐标系；上述第四空间坐标系为根据上述目标场景建立的坐标系。
在本发明实施例中，相机识别完成后即可获取抓取点在相机坐标系下的位置，通过相机与机械臂标定参数可以把相机坐标系下的抓取坐标点转换到机械臂基坐标系，机械臂固定在机器人上，机械臂基坐标系下的坐标可通过位置参数转换到机器人坐标系下，机器人坐标系在地图上也有位置坐标，最终可以把相机识别到的抓取点转换到地图坐标系上；导航的过程是基于地图坐标系进行的，抓取的过程是基于机械臂基坐标系进行的。
还需要说明的是，上述多个空间坐标系之间进行位置坐标转换时，可以根据预设的转换矩阵进行计算得到响应坐标系下的位置坐标，上述转换矩阵根据上述多个坐标系的原点位置，以及抓取机器人各部件的安装位置确定；通过上述多个空间坐标中目标抓取对象的位置不断转换，确定在不同空间坐标系中的具体位置，可以使抓取机器人的自主移动、抓取精度更高。
作为一种可选的实施例，如图2所示的抓取机器人自主移动并抓取整体流程示意图，机器人进入自主巡航状态，行进过程中通过深度相机不断监测周围环境信息；如果机器人未识别到目标物则继续自主巡航；如果识别到目标物则停止巡航，根据相机识别结果计算目标物抓取点在机械臂基坐标系下的空间位置，如果该位置在机器人可抓取范围内则进行抓取，否则进一步计算目标物抓取点在机器人坐标系下的位置坐标和在目标场景坐标系下的位置坐标，以目标场景坐标系下的位置坐标为圆心、机械臂的臂展为半径确定抓取范围，在抓取范围内均匀产生多个位姿点(即初始抓取点)，同时根据深度相机获取到的障碍物信息剔除初始抓取点中不可导航的抓取点，从剩余抓取点中选择路径最短的抓取点作为目标导航点，从而生成导航轨迹并进行自主移动，到达目标物附近进行抓取；在整个抓取过程中，机器人可以判断是否收到停止运行信号，若收到则机器人停止，若未收到停止信号则继续巡航或抓取。
需要说明的是，上述之前机器人在地图中的定位使用amcl(adaptive MonteCarlo Localization)算法，路径规划及机器人导航采用move_base框架完成。
通过本发明实施例，无需人员参与，机器人启动后会进入巡逻状态，一旦识别到目标物，机器人会计算自身与目标物之间为相对位置，并自主规划路径向目标物靠近，到达目标物附近进行抓取，可以结合move_base、amcl等一系列导航定位算法精准控制机器人运动到目标物附近并实现识别定位抓取功能。该方法无需人员干预，响应速度快，控制精度高。
在一种可选的实施例中，在上述从监测信息中识别得到目标抓取对象之前，上述方法还包括：控制上述抓取机器人对上述目标场景进行巡航监测处理；接收上述巡航监测处理过程中获取到的上述监测信息。
作为一种可选的实施例，通过安装在抓取机器人上的深度相机实时获取监测信息，上述深度相机可以根据实际情况安装在便于监测操作的位置，并在安装位置建立第二空间坐标系。
在一种可选的实施例中，上述确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，包括：获取上述目标抓取对象在上述深度相机的第二空间坐标系下的第二空间坐标，其中，上述第二空间坐标系为以上述深度相机为原点建立的坐标系；采用第一预设变换关系式将上述第二空间坐标系下的上述第二空间坐标转换为上述第一空间坐标系下的第一空间坐标；将上述第一空间坐标作为上述位置坐标。
在本发明实施例中，根据相机识别结果计算目标抓取对象在机械臂基坐标系(第一空间坐标系)下的空间位置，即将相机坐标系(第二空间坐标系)下的位置信息转换为第一空间坐标系下的空间位置，第一预设变换关系(转换公式)如下：
PA＝TAC PC；
其中，PA代表抓取点在机械臂基坐标系下的坐标，PC代表抓取点在相机坐标系下的坐标，该坐标由深度相机测量获得，TAC代表相机坐标系到机械臂基坐标系的变换矩阵，该矩阵可以通过手眼标定的方式获得。
可选的，将PA作为上述位置坐标用于后续计算处理。
在一种可选的实施例中，上述基于所述位置坐标，确定第四空间坐标系下的目标导航点，包括：基于上述位置坐标，获取抓取距离，其中，上述抓取距离为上述位置坐标与上述第一空间坐标系的原点之间的距离；判断上述抓取距离与上述抓取机器人的上述机械臂的臂展长度之间的大小关系；若上述抓取距离小于上述臂展长度，则以上述抓取机器人的当前位置为上述目标导航点；若所述抓取距离大于所述臂展长度，则确定所述位置坐标在第三空间坐标系的第三空间坐标和所述位置坐标在第四空间坐标系的第四空间坐标，并基于所述第三空间坐标确定所述第四空间坐标系下的和所述第四空间坐标确定所述目标导航点。
作为一种可选的实施例，基于上述位置坐标，获取抓取距离，若上述抓取距离小于上述臂展长度，则以上述抓取机器人的当前位置为上述目标导航点进行抓取操作；若上述抓取距离大于上述臂展长度，则确定上述位置坐标在第三空间坐标系的第三空间坐标和上述位置坐标在第四空间坐标系的第四空间坐标，并基于上述第三空间坐标和上述第四空间坐标确定上述目标导航点
需要说明的是，上述抓取距离为上述位置坐标与上述第一空间坐标系的原点之间的距离，判断方式如下：
|PA|≤thr1；
其中，|PA|表示抓取点到机械臂基坐标系原点的距离，thr1是机械臂抓取阈值，可以根据机械臂的臂展确定，例如，抓取阈值设定为臂展的80％。
在一种可选的实施例中，上述确定所述位置坐标在第三空间坐标系的第三空间坐标，并基于所述第三空间坐标确定所述第四空间坐标系下的所述目标导航点，包括：采用第二预设变换关系式将上述第一空间坐标系下的上述第一空间坐标转换为上述第三空间坐标系下的第三空间坐标，其中，上述第三空间坐标系为以上述抓取机器人的中心位置为原点建立的坐标系；采用第三预设变换关系式将上述第三空间坐标系下的上述第三空间坐标转换为上述第四空间坐标系下的第四空间坐标，其中，上述第四空间坐标系为根据上述目标场景建立的坐标系；根据上述第四空间坐标和上述臂展长度确定抓取范围；在上述抓取范围内产生多个第一初始导航位姿点，并从上述多个第一初始导航位姿点中确定上述目标导航点。
在本发明实施例中，计算目标物抓取点在机器人坐标系(第三空间坐标系)下的第三空间坐标PB和在地图坐标系(第四空间坐标系)下的第四空间坐标PW，第二预设变换关系和第三预设变换关系如下：
其中，TBA为机械臂基坐标系在机器人坐标系下的变换矩阵，该矩阵由机械臂在机器人设计位置决定，结构设计时获得，TWB为机器人坐标系相对于地图坐标系的变换矩阵，该矩阵由机器人里程计计算得到，由于机器人做平面运动，第四空间坐标PW在z轴上坐标值经过变换为0，相当于抓取点在地图平面上的投影。
可选的，经过变换得到上述第四空间坐标PW后根据上述第四空间坐标和上述臂展长度确定抓取范围；在上述抓取范围内产生多个第一初始导航位姿点，并从上述多个第一初始导航位姿点中确定上述目标导航点。
作为一种可选的实施例，以求得的坐标PW为圆心，以thr1值为外圆半径以thr2值为内圆半径的圆环内均匀产生n个相对于地图坐标系的第一初始导航位姿点(位姿点)。
需要说明的是，上述thr2的值小于thr1的值，可以根据实际情况进行设置。位姿点个数n为设定值，实际运用可根据工作环境情况来设定，如果环境比较复杂，则n可设置较大(n≥30)，如果环境不复杂，则n可设置较小(15≤n<30)，实际产生的位姿点个数在n附近呈正态分布。
作为一种可选的实施例，位姿点(第一初始导航位姿点)采样方式包括三种方法：偏置采样、弧形采样和星形采样。
可选的，如图3所示的偏置采样方法的示意图，以在以PW为中心产生采样点阵列，阵列x、y方向偏移量Δ相同，偏移量与thr1和采样点数n有关，计算公式如下：
其中，符号“[]”为取整符，为了保证采样个数，a为采样行、列数，采样完成后剔除圆环外的采样点，得到上述第一初始导航位姿点。
可选的，如图4所示的弧形采样方法的示意图，以在以PW为中心的圆环内产生任意数量的同心圆，同心圆半径与thr1、thr2成等差数列，在所有同心圆上等弧度采样，以生成3个同心圆为例推导弧度关系式如下：
其中，L为总弧长，rad为圆上两采样点之间的弧度值。
可选的，如图5所示的星形采样方法的示意图，以PW为端点向外发送射线，在圆环范围内的射线上采样，任意同射线上相邻两点之间的距离d相等，任意相邻射线之间的角度相等且能被180整除。设置角度为θ，则采样点距离d关系式如下：
其中，N为射线数，M为每条射线上采样点数。
需要说明的是，位姿是机器人位置和姿态的统称，其中位置即为采样点位置(地图平面上坐标值)，姿态与相机在机器人上的安装角度有关，要使相机朝向目标物即相机z轴在地图上的投影与相机到抓取点向量平行。
在一种可选的实施例中，上述从上述多个第一初始导航位姿点中确定上述目标导航点，包括：从上述监测信息中识别得到障碍物信息；基于上述障碍物信息去除上述多个第一初始导航位姿点中无法导航的初始抓取点，得到多个第二初始导航位姿点；计算上述多个第二初始导航位姿点与上述抓取机器人的当前位置之间的行驶距离；将上述行驶距离最小的第二初始导航位姿点作为上述目标导航点。
作为一种可选的实施例，从上述监测信息中识别得到障碍物信息，根据障碍物信息，剔除第一初始导航位姿点中不可导航的位姿点，如果存在可导航位姿继续执行抓取操作；如果不存在可导航点则判断该目标物周围障碍物太多无法实现抓取，屏蔽PW位置的目标抓取对象，后期不对其进行操作，同时抓取机器人进入自主巡航状态。
可选的，计算上述多个第二初始导航位姿点与上述抓取机器人的当前位置之间的行驶距离；将上述行驶距离最小的第二初始导航位姿点作为上述目标导航点，并使用move_base生成导航轨迹并进行自主移动，到达目标物附近进行抓取。
在一种可选的实施例中，在上述控制上述抓取机器人移动至上述目标导航点进行抓取之后，上述方法还包括：判断是否接收到停止指令；若未接收到停止指令，则继续控制上述抓取机器人对上述目标场景进行巡航监测处理。
作为一种可选的实施例，抓取完成后机器人判断是否收到停止运行信号，若收到则机器人停止，若未收到停止信号则继续进行巡航监测处理。
通过上述步骤，可以实现抓取机器人基于视觉识别、位置转换自主逼近抓取对象，无需人员干预，响应速度快，控制精度高。
实施例2
根据本发明实施例，还提供了一种用于实施上述抓取机器人的自主移动方法的装置实施例，图6是根据本发明实施例的一种抓取机器人的自主移动装置的结构示意图，如图6所示，上述装置包括：识别模块60、第一确定模块62、第二确定模块64和控制模块66，其中：
识别模块60，用于从监测信息中识别得到目标抓取对象，其中，采用安装在抓取机器人上的深度相机获取目标场景的环境实时视频得到所述监测信息；
第一确定模块62，用于确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，其中，上述第一空间坐标系为以上述抓取机器人的机械臂的臂基为原点建立的坐标系；
第二确定模块64，用于基于所述位置坐标，确定第四空间坐标系下的目标导航点，其中，所述第四空间坐标系为根据所述目标场景建立的坐标系；
控制模块66，用于控制上述抓取机器人移动至上述目标导航点进行抓取。
此处需要说明的是，上述识别模块60、第一确定模块62、第二确定模块64和控制模块66对应于实施例1中的步骤S102至步骤S108，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
根据本发明的实施例，还提供了一种计算机可读存储介质的实施例。可选的，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的抓取机器人的自主移动方法所执行的程序代码。
可选的，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选的，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：从监测信息中识别得到目标抓取对象，其中，采用安装在抓取机器人上的深度相机获取目标场景的环境实时视频得到上述监测信息；确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，其中，上述第一空间坐标系为以上述抓取机器人的机械臂的臂基为原点建立的坐标系；基于上述位置坐标，确定第四空间坐标系下的目标导航点，其中，上述第四空间坐标系为根据上述目标场景建立的坐标系；控制上述抓取机器人移动至上述目标导航点进行抓取。
可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：控制上述抓取机器人对上述目标场景进行巡航监测处理；接收上述巡航监测处理过程中获取到的上述监测信息。
可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取上述目标抓取对象在上述深度相机的第二空间坐标系下的第二空间坐标，其中，上述第二空间坐标系为以上述深度相机为原点建立的坐标系；采用第一预设变换关系式将上述第二空间坐标系下的上述第二空间坐标转换为上述第一空间坐标系下的第一空间坐标；将上述第一空间坐标作为上述位置坐标。
可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于上述位置坐标，获取抓取距离，其中，上述抓取距离为上述位置坐标与上述第一空间坐标系的原点之间的距离；判断上述抓取距离与上述抓取机器人的上述机械臂的臂展长度之间的大小关系；若上述抓取距离小于上述臂展长度，则以上述抓取机器人的当前位置为上述目标导航点；若上述抓取距离大于上述臂展长度，则确定上述位置坐标在第三空间坐标系的第三空间坐标，并基于上述第三空间坐标确定上述第四空间坐标系下的上述目标导航点。
可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：采用第二预设变换关系式将上述第一空间坐标系下的上述第一空间坐标转换为上述第三空间坐标系下的第三空间坐标，其中，上述第三空间坐标系为以上述抓取机器人的中心位置为原点建立的坐标系；采用第三预设变换关系式将上述第三空间坐标系下的上述第三空间坐标转换为上述第四空间坐标系下的第四空间坐标；根据上述第四空间坐标和上述臂展长度确定抓取范围；在上述抓取范围内产生多个第一初始导航位姿点，并从上述多个第一初始导航位姿点中确定上述目标导航点。
可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：从上述监测信息中识别得到障碍物信息；基于上述障碍物信息去除上述多个第一初始导航位姿点中无法导航的初始抓取点，得到多个第二初始导航位姿点；计算上述多个第二初始导航位姿点与上述抓取机器人的当前位置之间的行驶距离；将上述行驶距离最小的第二初始导航位姿点作为上述目标导航点。
可选的，上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：判断是否接收到停止指令；若未接收到停止指令，则继续控制上述抓取机器人对上述目标场景进行巡航监测处理。
根据本发明的实施例，还提供了一种处理器的实施例。可选的，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的抓取机器人的自主移动方法所执行的程序代码。
本申请实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：从监测信息中识别得到目标抓取对象，其中，采用安装在抓取机器人上的深度相机获取目标场景的环境实时视频得到上述监测信息；确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，其中，上述第一空间坐标系为以上述抓取机器人的机械臂的臂基为原点建立的坐标系；基于上述位置坐标，确定第四空间坐标系下的目标导航点，其中，上述第四空间坐标系为根据上述目标场景建立的坐标系；控制上述抓取机器人移动至上述目标导航点进行抓取。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：从监测信息中识别得到目标抓取对象，其中，采用安装在抓取机器人上的深度相机获取目标场景的环境实时视频得到上述监测信息；确定上述目标抓取对象在上述抓取机器人的第一空间坐标系下的位置坐标，其中，上述第一空间坐标系为以上述抓取机器人的机械臂的臂基为原点建立的坐标系；基于上述位置坐标，确定第四空间坐标系下的目标导航点，其中，上述第四空间坐标系为根据上述目标场景建立的坐标系；控制上述抓取机器人移动至上述目标导航点进行抓取。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种抓取机器人的自主移动方法，其特征在于，包括：
从监测信息中识别得到目标抓取对象，其中，采用安装在抓取机器人上的深度相机获取目标场景的环境实时视频得到所述监测信息；
确定所述目标抓取对象在所述抓取机器人的第一空间坐标系下的位置坐标，其中，所述第一空间坐标系为以所述抓取机器人的机械臂的臂基为原点建立的坐标系；
基于所述位置坐标，确定第四空间坐标系下的目标导航点，其中，所述第四空间坐标系为根据所述目标场景建立的坐标系；
控制所述抓取机器人移动至所述目标导航点进行抓取；
其中，所述基于所述位置坐标，确定第四空间坐标系下的目标导航点目标导航点，包括：基于所述位置坐标，获取抓取距离，其中，所述抓取距离为所述位置坐标与所述第一空间坐标系的原点之间的距离；判断所述抓取距离与所述抓取机器人的所述机械臂的臂展长度之间的大小关系；若所述抓取距离小于所述臂展长度，则以所述抓取机器人的当前位置为所述目标导航点；若所述抓取距离大于所述臂展长度，则确定所述位置坐标在第三空间坐标系的第三空间坐标，并基于所述第三空间坐标确定所述第四空间坐标系下的所述目标导航点；
所述确定所述位置坐标在第三空间坐标系的第三空间坐标，并基于所述第三空间坐标确定所述第四空间坐标系下的所述目标导航点，包括：采用第二预设变换关系式将所述第一空间坐标系下的所述第一空间坐标转换为所述第三空间坐标系下的第三空间坐标，其中，所述第三空间坐标系为以所述抓取机器人的中心位置为原点建立的坐标系；采用第三预设变换关系式将所述第三空间坐标系下的所述第三空间坐标转换为所述第四空间坐标系下的第四空间坐标；根据所述第四空间坐标和所述臂展长度确定抓取范围；在所述抓取范围内产生多个第一初始导航位姿点，并从所述多个第一初始导航位姿点中确定所述目标导航点。
2.根据权利要求1所述的方法，其特征在于，在所述从监测信息中识别得到目标抓取对象之前，所述方法还包括：
控制所述抓取机器人对所述目标场景进行巡航监测处理；
接收所述巡航监测处理过程中获取到的所述监测信息。
3.根据权利要求1所述的方法，其特征在于，所述确定所述目标抓取对象在所述抓取机器人的第一空间坐标系下的位置坐标，包括：
获取所述目标抓取对象在所述深度相机的第二空间坐标系下的第二空间坐标，其中，所述第二空间坐标系为以所述深度相机为原点建立的坐标系；
采用第一预设变换关系式将所述第二空间坐标系下的所述第二空间坐标转换为所述第一空间坐标系下的第一空间坐标；
将所述第一空间坐标作为所述位置坐标。
4.根据权利要求1所述的方法，其特征在于，所述从所述多个第一初始导航位姿点中确定所述目标导航点，包括：
从所述监测信息中识别得到障碍物信息；
基于所述障碍物信息去除所述多个第一初始导航位姿点中无法导航的初始抓取点，得到多个第二初始导航位姿点；
计算所述多个第二初始导航位姿点与所述抓取机器人的当前位置之间的行驶距离；
将所述行驶距离最小的第二初始导航位姿点作为所述目标导航点。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述控制所述抓取机器人移动至所述目标导航点进行抓取之后，所述方法还包括：
判断是否接收到停止指令；
若未接收到停止指令，则继续控制所述抓取机器人对所述目标场景进行巡航监测处理。
6.一种抓取机器人的移动装置，其特征在于，包括：
识别模块，用于从监测信息中识别得到目标抓取对象，其中，采用安装在抓取机器人上的深度相机获取目标场景的环境实时视频得到所述监测信息；
第一确定模块，用于确定所述目标抓取对象在所述抓取机器人的第一空间坐标系下的位置坐标，其中，所述第一空间坐标系为以所述抓取机器人的机械臂的臂基为原点建立的坐标系；
第二确定模块，用于基于所述位置坐标，确定第四空间坐标系下的目标导航点，其中，所述第四空间坐标系为根据所述目标场景建立的坐标系；
控制模块，用于控制所述抓取机器人移动至所述目标导航点进行抓取；
其中，所述第二确定模块还用于：基于所述位置坐标，获取抓取距离，其中，所述抓取距离为所述位置坐标与所述第一空间坐标系的原点之间的距离；判断所述抓取距离与所述抓取机器人的所述机械臂的臂展长度之间的大小关系；若所述抓取距离小于所述臂展长度，则以所述抓取机器人的当前位置为所述目标导航点；若所述抓取距离大于所述臂展长度，则确定所述位置坐标在第三空间坐标系的第三空间坐标，并基于所述第三空间坐标确定所述第四空间坐标系下的所述目标导航点；
所述装置还用于：采用第二预设变换关系式将所述第一空间坐标系下的所述第一空间坐标转换为所述第三空间坐标系下的第三空间坐标，其中，所述第三空间坐标系为以所述抓取机器人的中心位置为原点建立的坐标系；采用第三预设变换关系式将所述第三空间坐标系下的所述第三空间坐标转换为所述第四空间坐标系下的第四空间坐标；根据所述第四空间坐标和所述臂展长度确定抓取范围；在所述抓取范围内产生多个第一初始导航位姿点，并从所述多个第一初始导航位姿点中确定所述目标导航点。
7.一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1至5中任意一项所述的抓取机器人的自主移动方法。
8.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任意一项所述的抓取机器人的自主移动方法。
CN202210631586.6A 2022-06-06 2022-06-06 抓取机器人的自主移动方法、装置、存储介质及设备 Active CN114932554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210631586.6A CN114932554B (zh) 2022-06-06 2022-06-06 抓取机器人的自主移动方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210631586.6A CN114932554B (zh) 2022-06-06 2022-06-06 抓取机器人的自主移动方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN114932554A CN114932554A (zh) 2022-08-23
CN114932554B true CN114932554B (zh) 2023-12-01

Family

ID=82866725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210631586.6A Active CN114932554B (zh) 2022-06-06 2022-06-06 抓取机器人的自主移动方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN114932554B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108214487A (zh) * 2017-12-16 2018-06-29 广西电网有限责任公司电力科学研究院 基于双目视觉和激光雷达的机器人目标定位和抓取方法
EP3376322A2 (en) * 2017-03-16 2018-09-19 Kabushiki Kaisha Yaskawa Denki Control system, controller, and control method
CN110660104A (zh) * 2019-09-29 2020-01-07 珠海格力电器股份有限公司 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质
CN111168686A (zh) * 2020-02-25 2020-05-19 深圳市商汤科技有限公司 物体的抓取方法、装置、设备及存储介质
CN111360821A (zh) * 2020-02-21 2020-07-03 海南大学 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN111515945A (zh) * 2020-04-10 2020-08-11 广州大学 机械臂视觉定位分拣抓取的控制方法、系统及装置
CN113379849A (zh) * 2021-06-10 2021-09-10 南开大学 基于深度相机的机器人自主识别智能抓取方法及系统
CN215881625U (zh) * 2021-07-14 2022-02-22 青岛越疆智能科技有限公司 一种夹取式工业机械手臂
CN114347033A (zh) * 2022-01-27 2022-04-15 达闼机器人有限公司 机器人物品抓取方法、装置、机器人及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7044047B2 (ja) * 2018-12-14 2022-03-30 トヨタ自動車株式会社 ロボット

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3376322A2 (en) * 2017-03-16 2018-09-19 Kabushiki Kaisha Yaskawa Denki Control system, controller, and control method
CN108214487A (zh) * 2017-12-16 2018-06-29 广西电网有限责任公司电力科学研究院 基于双目视觉和激光雷达的机器人目标定位和抓取方法
CN110660104A (zh) * 2019-09-29 2020-01-07 珠海格力电器股份有限公司 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质
CN111360821A (zh) * 2020-02-21 2020-07-03 海南大学 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN111168686A (zh) * 2020-02-25 2020-05-19 深圳市商汤科技有限公司 物体的抓取方法、装置、设备及存储介质
CN111515945A (zh) * 2020-04-10 2020-08-11 广州大学 机械臂视觉定位分拣抓取的控制方法、系统及装置
CN113379849A (zh) * 2021-06-10 2021-09-10 南开大学 基于深度相机的机器人自主识别智能抓取方法及系统
CN215881625U (zh) * 2021-07-14 2022-02-22 青岛越疆智能科技有限公司 一种夹取式工业机械手臂
CN114347033A (zh) * 2022-01-27 2022-04-15 达闼机器人有限公司 机器人物品抓取方法、装置、机器人及存储介质

Also Published As

Publication number Publication date
CN114932554A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN110253570B (zh) 基于视觉的工业机械臂人机安全系统
CN110640730B (zh) 生成用于机器人场景的三维模型的方法和系统
CN108214487B (zh) 基于双目视觉和激光雷达的机器人目标定位和抓取方法
Wu et al. Hand-eye calibration and inverse kinematics of robot arm using neural network
US11813754B2 (en) Grabbing method and device for industrial robot, computer storage medium, and industrial robot
CN111745640B (zh) 物体检测方法、物体检测装置以及机器人系统
CN113081266B (zh) 机器人配准方法、装置、电子设备及存储介质
CN114102585A (zh) 一种物品抓取规划方法及系统
US20180285684A1 (en) Object attitude detection device, control device, and robot system
CN111730606B (zh) 一种高智能机器人的抓取动作控制方法及系统
CN110744546B (zh) 一种缺陷修复机器人抓取非静止导线的方法及系统
CN112338922B (zh) 一种五轴机械臂抓取放置方法及相关装置
CN114932554B (zh) 抓取机器人的自主移动方法、装置、存储介质及设备
Tavares et al. Flexible pick and place architecture using ROS framework
US10933526B2 (en) Method and robotic system for manipulating instruments
CN112149687A (zh) 目标识别的方法
CN109489678A (zh) 用于监控导航的定位方法及系统
Al-Shanoon et al. Deepnet-based 3d visual servoing robotic manipulation
CN113580130B (zh) 六轴机械臂避障控制方法、系统及计算机可读存储介质
CN117226810B (zh) 一种绳索载重并联机器人及其避障方法、装置、存储介质
CN112955004B (zh) 工具定位系统和方法、旋转挤奶平台、计算机程序和非易失性数据载体
CN115556102B (zh) 一种基于视觉识别的机器人分拣规划方法及规划设备
Lee et al. Kalman Filter Based Multiple Human Tracking Method in Auto-aligned Multi-Camera Environment
Chang et al. Vision-Based Cooperative Manipulation of Mobile Robots.
Papageorgiou et al. A controller for reaching and unveiling a partially occluded object of interest with an eye-in-hand robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant