CN114347033A - 机器人物品抓取方法、装置、机器人及存储介质 - Google Patents

Abstract

本申请实施例涉及机器人领域，公开了一种机器人物品抓取方法、装置、机器人及存储介质。本申请机器人物品抓取方法，包括：通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态；根据目标物品的3D位置和姿态获取机器人的最佳抓取点；当机器人移动到所述最佳抓取点、且所述目标物品在最佳抓取范围内时，获取机器人的当前姿态，并基于机器人的当前姿态、视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作，其中最佳抓取范围为以最佳抓取点为中心且机器人手臂可抓取的区域。本申请的方法应用于机器人抓取过程，使得机器人可以采用低精度、低成本的关节完成机器人在复杂场景下的精准抓取。

Description

机器人物品抓取方法、装置、机器人及存储介质

技术领域

本申请实施例涉及机器人领域，特别涉及一种机器人物品抓取方法、装置、机器人及存储介质。

背景技术

目前在机器人领域主要将机器人分为工业机器人和服务机器人。工业机器人主要用于工业制造场景，比如：汽车制造、零部件加工等，其工作环境是结构化的，通常在一个固定且适合机器人手臂开展工作的空间。服务机器人主要用于人们工作和生活场景，工作环境较为复杂，比如：酒店、餐厅、写字楼等，且服务机器人的控制精度和重复精度也低于工业机器人。因此对于服务机器人来说，在复杂场景中进行物品抓取较为困难。

常用的机器人物品抓取方法是基于动力模型和运动学的正逆解算法，对机器人手臂进行建模，由待抓取物体末端的笛卡尔坐标得到机器人手臂的各个关节的关节角度，实现机器人手臂对目标物体的抓取。但整个方法计算过程复杂，不适用于复杂环境，且依赖于机器人各部分的高精度控制。

发明内容

本申请实施方式的目的在于提供一种机器人物品抓取方法、装置、机器人及存储介质，通过视觉传感器的反馈进行动态抓取，使得机器人可以采用低精度、低成本的关节完成机器人在复杂场景下的精准抓取。

为解决上述技术问题，本申请的实施方式提供了一种机器人物品抓取方法，包括：通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态；根据所述目标物品的3D位置和姿态获取机器人的最佳抓取点；当所述机器人移动到所述最佳抓取点、且所述目标物品在最佳抓取范围内时，获取所述机器人的当前姿态，并基于所述机器人的当前姿态、所述视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作，其中所述最佳抓取范围为以所述最佳抓取点为中心且机器人手臂可抓取的区域。

为解决上述技术问题，本申请的实施方式还提供了一种物品抓取装置，包括：

信息获取模块，用于通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态；根据所述目标物品的3D位置和姿态获取机器人的最佳抓取点；

动态抓取模块，用于当所述机器人移动到所述最佳抓取点、且所述目标物品在最佳抓取范围内时，获取所述机器人的当前姿态，并基于所述机器人的当前姿态、所述视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作，其中所述最佳抓取范围为以所述最佳抓取点为中心且机器人手臂可抓取的区域。

为解决上述技术问题，本申请的实施方式还提供了一种机器人，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的机器人物品抓取方法。

本申请的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的机器人物品抓取方法。

本申请实施方式提供的机器人物品抓取方法、装置、机器人及存储介质，通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态，可以监测目标物品是否移动，得到目标物品最新位置和姿态，根据目标物品的3D位置和姿态获取机器人的最佳抓取点，当机器人移动到最佳抓取点、且目标物品在最佳抓取范围内时，获取机器人的当前姿态，并基于机器人的当前姿态、视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作。一方面通过视觉传感器监测目标物品，使得目标物品在最佳抓取范围内时才执行抓取操作，保证精准抓取目标物品；另一方面，通过视觉传感器反馈的包含目标物品和其他物品的数据信息，可以实时调整抓取操作，进行空间三维避障，动态规划抓取目标物品，减少了对机械手臂高控制精度的依赖，也更适用于复杂场景的物品抓取。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本申请的实施方式提供的机器人物品抓取方法的流程图一；

图2是根据本申请的实施方式提供的机器人物品抓取方法的流程图二；

图3是根据本申请的实施方式中提供的机器人物品抓取装置的结构示意图；

图4是根据本申请的实施方式中提供的机器人的结构示意图；

图5是根据本申请的实施方式提供的云端服务器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本申请的实施方式涉及一种机器人物品抓取方法，如图1所示，该机器人物品抓取方法包括如下步骤：

步骤101：通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态。

具体地，视觉传感器可以设置于机器人本体上，也可以设置于目标物品所处环境的任意位置。视觉传感器包括：激光雷达、惯性传感器IMU、深度相机、RGB相机、声纳传感器等任意一种或多种设备。

在一实施例中，步骤101具体包括：通过所述视觉传感器获取目标物品图像，所述目标物品图像为2D图像或3D图像；通过视觉感知识别算法检测所述目标物品图像，获取所述目标物品的3D位置和姿态。具体地，比如：可以获取目标物品的RGB图像，对目标物品的RGB图像进行特征提取、分类，并于预设的目标物品原图进行匹配，以识别目标物体，在此基础上进一步确定目标物品的位置和姿态。又比如：可以获取目标物品的3D图像，基于3D图像获取目标物品的RGB-D数据，D表示深度值，即目标物品距离拍摄装置的距离。根据RGB-D数据可以获取目标物品的点云数据，基于点云数据直接进行3D体识别，即可获取目标物品的位置和姿态。另外，获取RGB-D数据后，也可以直接利用训练好的深度神经网络获取目标物体的3D位置和姿态。

当然，无论采用哪一种方法获取目标物品的位置和姿态，为提高结果的准确度，都可以采用多种图像处理算法对目标物品的图像进行处理，如：对图像进行滤波、二值化、颜色空间转化等。

另外，值得一提的是，确定目标物品的姿态有利于机器人在抓取时确定机器人的姿态和抓取的动作。比如：抓取摆放于桌子上的易拉罐时，若识别出紧靠易拉罐的左侧有一遮挡物品，则确定机器人从其他方位更容易抓取易拉罐。又比如：抓取摆放于桌子上的胶带卷时，根据胶带卷的摆放姿态，确定机器人的姿态和抓取动作，即机器人移动到胶带的哪一侧和机器人手臂以何种动作抓取，抓取动作可以是抓取整个胶带的光滑曲面，还可以是抓取胶带的内壁和外壁。

步骤102：根据目标物品的3D位置和姿态获取机器人的最佳抓取点。

本实施例中，最佳抓取点表示机器人从当前位置移动到该位置后，机器人在不移动的情况下，机器人手臂就可轻松抓取到目标物品。具体地，可以根据目标物体的3D位置和姿态，结合机器人手臂的参数即可确定最佳抓取点。机器人手臂的参数可以包括关节数量、关节长度、关节活动角度等。

需要说明的是，一旦获取到目标物品的姿态，就可确定机器人的抓取姿态，机器人的抓取姿态表示机器人在最佳抓取点是以何种姿态面对目标物品，比如：机器人在最佳抓取点与目标物品正向面对面(即最佳抓取点作为原点且目标物品在正北方向、机器人与目标物品面对面)，或者，机器人在最佳抓取点向左偏移30度的方向侧对目标物品(即最佳抓取点作为原点且目标物品在正北方向、机器人的抓取姿态为北偏西30度方向)。也就是说，当机器人到达最佳抓取点时，机器人的姿态已经调整到适合抓取的抓取姿态。

另外，在计算最佳抓取点的过程中，视觉传感器依然实时或按照预设的频率获取目标物品的3D位置和姿态，以监测目标物品是否移动，保证最佳抓取点的位置是最新的、适应于目标物品的。

步骤103：当机器人移动到所述最佳抓取点，且目标物品在最佳抓取范围内时，获取机器人的当前姿态，并基于机器人的当前姿态、视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作，其中最佳抓取范围为以所述最佳抓取点为中心且机器人手臂可抓取的区域。

需要注意的是，一旦获取到目标物品的姿态，就可确定机器人的抓取姿态，那么机器人到达最佳抓取点时的姿态理论上是已经确定的抓取姿态，但当本申请应用于控制精度较低的机器人时，如服务机器人，机器人在最佳抓取点的实际姿态与确定好的抓取姿态有一定的偏差，这有可能影响到最后能否精准抓取到目标物品。因此，需要获取机器人的当前姿态，基于机器人当前姿态、目标物品当前3D位置和目标物品当前姿态，实时调整抓取操作，动态抓取目标物品。

也就是说，机器人到达最佳抓取点开始执行抓取操作，到最后抓取到目标物品的过程中，不是一次性确定好抓取路径和抓取动作，而是根据视觉传感器反馈的机器人的姿态和目标物品的位置、姿态，不间断调整抓取操作，在调整抓取路径和抓取操作的过程中还包含了对目标物品所处的三维空间进行分析避障的操作，这种多次、短距离范围内的调整可以减少对机器人各部分高控制精度的依赖，模拟出人手抓取过程，实现在复杂环境对复杂物品的精准抓取。

另外，本实施例中，机器人的当前姿态既可以指机器人的抓取姿态，也可以指机器人的抓取姿态和机器人手臂的姿态。

在一实施例中，在步骤102之后，还包括：在所述机器人移动到所述最佳抓取点的过程中，当通过所述视觉传感器确定所述目标物品脱离最佳抓取范围内且在预设的有效抓取范围时，重新获取目标物品新的3D位置和新的姿态，并基于新的3D位置和新的姿态重新计算最佳抓取点；在所述机器人移动到所述最佳抓取点的过程中，当通过所述视觉传感器确定所述目标物品脱离预设的有效抓取范围时，向用户反馈提醒信息。

具体地，机器人在从当前位置移动最佳抓取点的过程中，视觉传感器会按照预设的频率获取目标物品3D位置，确定目标物品是否还在最佳抓取范围内。若在最佳抓取范围内，则进行抓取操作。若不在最佳抓取范围内但在有效抓取范围内，则重新确定最佳抓取点，若不在有效抓取范围，则向用户反馈提醒信息。需要说明的是，有效抓取范围是预先设定的，脱离有效抓取范围后，转动或调整视觉传感器已无法检测到目标物体，即无法抓取目标物体。

本申请实施例提供的机器人物品抓取方法，通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态，可以监测目标物品是否移动，得到目标物品最新位置和姿态，根据目标物品的3D位置和姿态获取机器人的最佳抓取点，当机器人移动到最佳抓取点、且目标物品在最佳抓取范围内时，获取机器人的当前姿态，并基于机器人的当前姿态、视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作。一方面通过视觉传感器监测目标物品，使得目标物品在最佳抓取范围内时才执行抓取操作，保证精准抓取目标物品；另一方面，通过视觉传感器反馈的包含目标物品和其他物品的数据信息，可以实时调整抓取操作，进行空间三维避障，动态规划抓取目标物品，减少了对机械手臂高控制精度的依赖，也更适用于复杂场景的物品抓取。

本申请的实施方式涉及一种机器人物品抓取方法，如图2所示，该机器人物品抓取方法包括如下步骤：

步骤201：通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态。

具体地，本实施例中步骤201的具体实施细节与步骤101基本相同，在此不做作赘述。

步骤202：根据目标物品的3D位置和姿态获取机器人的最佳抓取点。

步骤203：基于最佳抓取点，获取机器人从当前位置到最佳抓取点的导航路径，其中导航路径包括机器人从当前位置到最佳抓取点的移动路径、机器人在移动路径中的移动速度和转向曲率。

在一实施例中，步骤203具体包括：接收与所述机器人连接的云端服务器根据预设的三维地图计算并下发的移动路径，其中所述三维地图包括所述目标物品所处环境中各物品的三维坐标；根据所述移动路径和预设的三维地图中各物品的三维坐标，获取所述机器人在所述移动路径中的移动速度和转向曲率；将所述移动路径和所述机器人在所述初始路径中的移动速度和转向曲率结合，获取所述导航路径。

具体地，本实施例中与机器人连接的云端服务器在机器人进行物品抓取的过程中，也会提供相应的支持。机器人通过视觉传感器获取目标物品的2D图像或3D图像后，也会将2D图像或3D图像同步传输至云端服务器，云端服务器也可以识别并获取目标物体的3D位置和姿态，并同步在云端服务器中的数字孪生环境中，当目标物体的3D位置和姿态发生变化时，数字孪生环境同步更新。当然，云端服务器中还包括机器人数字孪生体，在获取机器人本体相关数据(底盘参数、机器人手臂参数等)后，机器人数字孪生体可以根据机器人同步的数据模拟真实机器人的运动状态。另外，最佳抓取点的计算机器人本体可以进行处理，云端服务器也可以处理获取。

进一步地，在确定最佳抓取点后，云端服务器根据预设的三维地图进行路网规划，获取移动路径。需要注意的是，移动路径可以是一个，也可以是多个。当移动路径有多个时，可以任选一个移动路径下发给机器人，也可以下发多个移动路径给机器人，机器人反馈至用户进行选择。

另外，三维地图包括目标物品所处环境中各物品的三维坐标，机器人根据预设的三维地图中各物品的三维坐标，获取机器人在移动路径中的移动速度和转向曲率。比如：移动路径为A—B—C—D，那么机器人需要计算每段路程中的机器人的移动速度、每段路程中转向处的转向曲率和对应的转向速度。如此，可以保证机器人在移动过程中不碰撞移动路径上的其他物品。

步骤204：当机器人按照导航路径移动到最佳抓取点，且目标物品在最佳抓取范围内时，获取机器人当前姿态。

步骤205：接收云端服务器下发的初始抓取路径和初始抓取动作。

在一实施例中，在步骤204之后，步骤205之前，还包括：获取所述视觉传感器反馈的目标物品附近的三维环境信息；将机器人的当前姿态、目标物品的当前3D位置、目标物品的当前姿态和视觉传感器反馈的目标物品附近的三维环境信息同步传输至与机器人连接的云端服务器，以使云端服务器中的机器人数字孪生体根据机器人的当前姿态、目标物品的当前3D位置、目标物品的当前姿态和目标物品附近的三维环境信息进行三维空间避障规划，获取初始抓取路径和初始抓取动作。

需要说明的是，初始抓取路径是一种三维路径，初始抓取动作也是一种三维动作。云端服务器在规划初始抓取路径和初始抓取动作的过程中，还包含了对目标物品附近的三维环境信息的分析，规划出一种合理的抓取路径以避开空间障碍物。而目标物品附近的三维环境信息，包括：在所述最佳抓取范围内除目标物品以外的其他物品的当前位置信息和/或当前姿态信息。

在另一实施例中，在云端服务器获取初始抓取路径和初始抓取动作之后，在机器人基于所述机器人的当前姿态、所述视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作之前，还包括：当所述视觉传感器反馈的所述目标物品的当前位置信息和/或当前姿态信息出现变化，则将所述目标物品的当前位置信息和/或当前姿态信息同步传输至所述云端服务器，以使所述云端服务器中的机器人数字孪生体重新进行三维空间避障规划，更新初始抓取路径和初始抓取动作；和/或，当所述视觉传感器反馈的所述目标物品附近的三维环境信息出现变化，则将所述目标物品附近的三维环境信息同步传输至所述云端服务器，以使所述云端服务器中的机器人数字孪生体重新进行三维空间避障规划，更新初始抓取路径和初始抓取动作。

本实施例中，在云端服务器获取初始抓取路径和抓取动作之后，机器人开始执行抓取操作之前，对于这个时间段内，若目标物品和/或其他物品的数据信息(指的是位置信息和/或姿态信息)出现变化，则需要根据最新的数据信息更新初始抓取路径和初始抓取动作的情况。比如：在机器人接收到云端服务器下发的初始抓取路径和初始抓取动作，但机器人还未开始抓取时，视觉传感器监测到目标物品的前方出现新的物品，且新的物品阻挡了目标物品的一部分，则机器人会将最新的目标物品附近的三维环境信息同步至云端服务器，云端服务器接收到该信息后，会重新进行三维空间避障规划，更新初始抓取路径和初始抓取动作并重新下发给机器人。又比如：云端服务器正在计算规划初始抓取路径和初始抓取动作的过程中，视觉传感器监测到目标物品的位置出现移动、且目标物品的左侧被放置了一新物品，则机器人会将目标物品最新的位置信息和最新的目标物品附近的三维环境信息同步至云端服务器，云端服务器接收到该信息后，会重新进行三维空间避障规划，获取最新的初始抓取路径和初始抓取动作并下发给机器人。

具体地，机器人可以将机器人的相关数据同步至云端服务器中的机器人数字孪生体中，将目标物品的相关数据同步至云端服务器中的数字孪生环境中，机器人数字孪生体根据机器人的当前姿态、目标物品的当前3D位置和目标物品的当前姿态模拟抓取过程，得到多个抓取路径和抓取动作，从中选取抓取效果最好的一个作为初始抓取路径和初始抓取动作。

步骤206：在按照初始抓取路径和初始抓取动作靠近目标物体的过程中，根据机器人手臂与所述目标物品的距离、目标物品的当前3D位置、目标物品的当前姿态和所述目标物品附近的三维环境信息，不断调整初始抓取路径和初始抓取动作，直至抓取到目标物体。

本实施例中，机器人在按照初始抓取路径和初始抓取动作靠近目标物体的过程中，机器人的视觉传感器依然在运行，根据反馈的数据确定目标物品和初始抓取路径附近的其他物品是否移动，并根据这些数据分析当前的机器人抓取状态，获取分析结果，根据分析结果不断调整初始抓取路径和初始抓取动作，动态规划抓取路径和抓取动作直至抓取到目标物体。

也就是说，本申请的机器人物品抓取方法整个过程模仿人眼和人手协同抓取物体的过程，且基于机器人本体闭环控制、机器人与云端服务器协同闭环控制的双闭环控制机制实现动态抓取的方法，提升了机器人抓取控制的鲁棒性和动作行为的稳定性。机器人本体的闭环控制表现在机器人本体的视觉传感器感知目标物体，并将感知结果传输给路径规划模块进行移动速度、转向曲率和抓取路径的调整，路径规划模块将路径规划的结果下发给底盘和肢体运动控制模块，底盘和肢体运动控制模块进行具体操作，视觉传感器感知机器人执行具体操作后的当前抓取状态，如此闭环控制。而机器人与云端服务器协同闭环控制与上述类似。

本申请实施例提供的机器人物品抓取方法，通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态，可以监测目标物品是否移动，得到目标物品最新位置和姿态，根据目标物品的3D位置和姿态获取机器人的最佳抓取点，当机器人移动到最佳抓取点、且目标物品在最佳抓取范围内时，获取机器人的当前姿态，并基于机器人的当前姿态、视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作。一方面通过视觉传感器监测目标物品，使得目标物品在最佳抓取范围内时才执行抓取操作，保证精准抓取目标物品；另一方面，通过视觉传感器反馈的结果，可以实时调整抓取操作，动态抓取，减少了对机械手臂高控制精度的依赖，也更适用于复杂场景的物品抓取。另外，本申请基于机器人本体和云端服务器双闭环控制机制实现动态抓取的方法，提升了机器人抓取控制的鲁棒性和动作行为的稳定性。

此外，应当理解的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其流程的核心设计都在该专利的保护范围内。

本申请的实施方式涉及一种物品抓取装置，如图3所示，包括：

信息获取模块301，用于通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态；根据所述目标物品的3D位置和姿态获取机器人的最佳抓取点；

动态抓取模块302，用于当所述机器人移动到所述最佳抓取点、且所述目标物品在最佳抓取范围内时，获取所述机器人的当前姿态，并基于所述机器人的当前姿态、所述视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作，其中所述最佳抓取范围为以所述最佳抓取点为中心且机器人手臂可抓取的区域。

值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。

不难发现，本实施例为与机器人物品抓取方法实施例相对应的装置实施例，本实施例可与上述实施例互相配合实施。上述实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在上述方法实施例中。

本申请的实施方式涉及一种机器人，如图4所示，包括至少一个处理器402；以及，与至少一个处理器402通信连接的存储器401；其中，存储器401存储有可被至少一个处理器402执行的指令，指令被至少一个处理器402执行，以使至少一个处理器402能够执行上述任一方法实施例。

另外，机器人还可以包括视觉传感器、定位设备等其他设备。

需要说明的是，本申请的机器人物品抓取方法需要机器人与云端服务器配合实施。具体地，云端服务器的结构示意图，如图5所示，云端服务器包括路网规划模块501、机器人数字孪生体模块502、数字孪生环境模块503、机器人仿真抓取模块504、机器人任务规划505。其中，路网规划模块501，用于获取机器人从当前位置移动到最佳抓取点的导航路径；机器人数字孪生体模块502，用于模拟真实的机器人；数字孪生环境模块503，用于模拟真实的机器人的工作环境；机器人任务规划模块505，用于使机器人数字孪生体在数字孪生环境中训练，获取要完成目标物体抓取的所有任务；机器人仿真抓取模块504，用于模拟机器人抓取操作。

本实施例中，基于机器人本体闭环控制、机器人与云端服务器协同闭环控制的双闭环控制机制实现目标物品的动态抓取，提升了机器人抓取控制的鲁棒性和动作行为的稳定性。机器人本体的闭环控制表现在机器人本体的视觉传感器模块感知目标物体，并将感知结果传输给机器人中的路径规划模块进行移动速度、转向曲率和抓取路径的调整，路径规划模块将路径规划的结果下发给机器人中的底盘和肢体运动控制模块，底盘和肢体运动控制模块进行具体操作，视觉传感器感知机器人执行具体操作后的当前抓取状态，如此闭环控制。而机器人与云端服务器协同闭环控制与上述类似。

其中，存储器401和处理器402采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器402和存储器401的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器402处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器402。

处理器402负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器401可以被用于存储处理器402在执行操作时所使用的数据。

本申请的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (13)

1.一种机器人物品抓取方法，其特征在于，包括：

通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态；

根据所述目标物品的3D位置和姿态获取机器人的最佳抓取点；

当所述机器人移动到所述最佳抓取点、且所述目标物品在最佳抓取范围内时，获取所述机器人的当前姿态，并基于所述机器人的当前姿态、所述视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作，其中所述最佳抓取范围为以所述最佳抓取点为中心且机器人手臂可抓取的区域。

2.根据权利要求1所述的机器人物品抓取方法，其特征在于，所述根据所述目标物品的3D位置和姿态获取机器人的最佳抓取点之后，还包括：

在所述机器人移动到所述最佳抓取点的过程中，当通过所述视觉传感器确定所述目标物品脱离最佳抓取范围内且在预设的有效抓取范围时，重新获取目标物品新的3D位置和新的姿态，并基于新的3D位置和新的姿态重新计算最佳抓取点；

在所述机器人移动到所述最佳抓取点的过程中，当通过所述视觉传感器确定所述目标物品脱离预设的有效抓取范围时，向用户反馈提醒信息。

3.根据权利要求1或2所述的机器人物品抓取方法，其特征在于，在所述获取所述机器人的当前姿态之后，所述基于所述机器人的当前姿态、所述视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作之前，还包括：

获取所述视觉传感器反馈的目标物品附近的三维环境信息；

将所述机器人的当前姿态、所述目标物品的当前3D位置、所述目标物品的当前姿态和所述目标物品附近的三维环境信息同步传输至与所述机器人连接的云端服务器，以使所述云端服务器中的机器人数字孪生体根据所述机器人的当前姿态、所述目标物品的当前3D位置、所述目标物品的当前姿态和所述目标物品附近的三维环境信息进行三维空间避障规划，获取初始抓取路径和初始抓取动作。

4.根据权利要求3所述的机器人物品抓取方法，其特征在于，所述基于所述机器人的当前姿态、所述视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作，包括：

接收所述云端服务器下发的初始抓取路径和初始抓取动作；

在按照所述初始抓取路径和所述初始抓取动作靠近目标物体的过程中，根据机器人手臂与所述目标物品的距离、目标物品的当前3D位置、目标物品的当前姿态和所述目标物品附近的三维环境信息，不断调整所述初始抓取路径和所述初始抓取动作，直至抓取到目标物体。

5.根据权利要求3所述的机器人物品抓取方法，其特征在于，所述目标物品附近的三维环境信息，包括：在所述最佳抓取范围内除目标物品以外的其他物品的当前位置信息和/或当前姿态信息。

6.根据权利要求3所述的机器人物品抓取方法，其特征在于，在所述获取初始抓取路径和初始抓取动作之后，所述基于所述机器人的当前姿态、所述视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作之前，还包括：

当所述视觉传感器反馈的所述目标物品的当前位置信息和/或当前姿态信息出现变化，则将所述目标物品的当前位置信息和/或当前姿态信息同步传输至所述云端服务器，以使所述云端服务器中的机器人数字孪生体重新进行三维空间避障规划，更新初始抓取路径和初始抓取动作；

和/或，

当所述视觉传感器反馈的所述目标物品附近的三维环境信息出现变化，则将所述目标物品附近的三维环境信息同步传输至所述云端服务器，以使所述云端服务器中的机器人数字孪生体重新进行三维空间避障规划，更新初始抓取路径和初始抓取动作。

7.根据权利要求1或2所述的机器人物品抓取方法，其特征在于，所述当所述机器人移动到所述最佳抓取点，且所述目标物品在最佳抓取范围内时，基于所述视觉传感器反馈的目标物品的当前3D位置和当前姿态，动态规划执行抓取操作之前，还包括：

基于所述最佳抓取点，获取所述机器人从当前位置到所述最佳抓取点的导航路径；

其中，所述导航路径包括所述机器人从当前位置到所述最佳抓取点的移动路径、机器人在所述移动路径中的移动速度和转向曲率。

8.根据权利要求7所述的机器人物品抓取方法，其特征在于，所述机器人按照所述导航路径移动到所述最佳抓取点。

9.根据权利要求7所述的机器人物品抓取方法，其特征在于，所述基于所述最佳抓取点，获取所述机器人从当前位置到所述最佳抓取点的导航路径，包括：

接收与所述机器人连接的云端服务器根据预设的三维地图计算并下发的移动路径，其中所述三维地图包括所述目标物品所处环境中各物品的三维坐标；

根据所述移动路径和预设的三维地图中各物品的三维坐标，获取所述机器人在所述移动路径中的移动速度和转向曲率；

将所述移动路径和所述机器人在所述初始路径中的移动速度和转向曲率结合，获取所述导航路径。

10.根据权利要求1所述的机器人物品抓取方法，其特征在于，所述通过视觉传感器获取目标物品的3D位置和姿态，包括：

通过所述视觉传感器获取目标物品图像，所述目标物品图像为2D图像或3D图像；

通过视觉感知识别算法检测所述目标物品图像，获取所述目标物品的3D位置和姿态。

11.一种机器人物品抓取装置，其特征在于，包括：

信息获取模块，用于通过视觉传感器按照预设的频率获取目标物品的3D位置和姿态；根据所述目标物品的3D位置和姿态获取机器人的最佳抓取点；

动态抓取模块，用于当所述机器人移动到所述最佳抓取点、且所述目标物品在最佳抓取范围内时，获取所述机器人的当前姿态，并基于所述机器人的当前姿态、所述视觉传感器反馈的目标物品的当前3D位置和目标物品的当前姿态，动态规划执行抓取操作，其中所述最佳抓取范围为以所述最佳抓取点为中心且机器人手臂可抓取的区域。

12.一种机器人，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10中任一项所述的机器人物品抓取方法。

13.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的机器人物品抓取方法。

Images