CN109483554A - 基于全局和局部视觉语义的机器人动态抓取方法及系统 - Google Patents

Abstract

本发明公开了一种基于全局和局部视觉语义的机器人动态抓取方法及系统，其中，该方法包括以下步骤：识别待抓取物体的物体类别与物体尺寸，获取待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸；通过全局双目相机对机械臂静态轨迹规划与局部双目相机对机械臂动态轨迹规划对待抓取物体进行抓取，以实现最优抓取。该方法提升被抓取物体位置和姿态的定位精确，自适应调整夹手的力度和大小，及动态规划和响应扰动，同时，简化物体的识别算法，提高物体识别的准确性。

Description

基于全局和局部视觉语义的机器人动态抓取方法及系统

技术领域

本发明涉及机器人视觉伺服技术领域，特别涉及一种基于全局和局部视觉语义的机器人动态抓取方法及系统。

背景技术

在相关技术中，实现物体的抓取的方式有两种，其中，第1种静态的方法：相机作为全局相机固定于机架，定点进行拍照，获得图片，进行分析处理，计算得到抓取点的位置和姿态，将指令传输至机器人控制器，机械臂执行预定义的抓取流程。同样相机可以作为局部相机固定于机械臂的末端，机械臂运行到某一位置进行定点拍照，执行同样预定义的抓取流程。第2种动态的方法：相机固定于机械臂的末端。采用视觉伺服的方法，追踪物体，当末端抓手相靠近物体，执行抓取动作。当然，相机也可以固定于侧方，但要清楚捕获到抓取物体的图像，但同时也会引入大的图像干扰。

但当前在机器人抓取中通常单一获取数据，从固定于机架的全局相机或者从固定于机械手臂末端的局部相机，很少进行多感知交互数据的处理。单一静态抓取方式和动态抓取方式的不足：静态抓取方法，无法对外界环境进行动态响应，比如抓取物体掉落，无法进行重新动态轨迹规划。此外，静态的抓取方法会限制定位的精度，相机距离物体过高会使得物体定位精度过低，当然，相机距离物体过近会增加机械臂碰撞的风险，不利于轨迹规划。对于动态抓取方法，往往将相机固定于末端，在实现全局定位的过程中，存在视野不足的缺陷，无法进行全局统计物体。

在相关技术中，当前实现物体识别的方式有两种，其中，第1种传统图像处理的方法：针对不同的物体，寻找可以区分的物体特征(颜色，尺寸，形状)，设计算法，识别物体。常使用OpenCV等图像库，设计算法，进行物体的识别。第2种采用深度学习的方法：将原始图片输入到神经网络，输出得到物体的类别标签。实现的过程：首先对图片贴标签，获得数据集，设计神经网络，将数据输入到网络中，得到物体的类别和在图片上的位置，再通过图像处理的方式获得抓取点的位置。

但采用传统视觉识别的方式，需要手工设计大量的算子，效率太低，且识别的准确性不够高。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于全局和局部视觉语义的机器人动态抓取方法，该方法提升被抓取物体位置和姿态的定位精确，自适应调整夹手的力度和大小，及动态规划和响应扰动，同时，简化物体的识别算法，提高物体识别的准确性。

本发明的另一个目的在于提出一种基于全局和局部视觉语义的机器人动态抓取系统。

为达到上述目的，本发明一方面提出了基于全局和局部视觉语义的机器人动态抓取方法，包括以下步骤：步骤S1：识别待抓取物体的物体类别与物体尺寸，获取所述待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸；步骤S2：通过全局双目相机对机械臂静态轨迹规划与局部双目相机对所述机械臂动态轨迹规划对所述待抓取物体进行抓取，以实现最优抓取。

本发明实施例的基于全局和局部视觉语义的机器人动态抓取方法，建立了基于物理引擎的仿真和实物抓取平台，实现了散乱物体的准确识别、高精度定位和动态自适应抓取，相对于特征提取、识别物体、静态抓取的传统方法，简化了物体的识别算法，增强了物体识别的准确性和鲁棒性，提高了物体定位的精度和动态规划的能力，实现的过程通过全局和局部双目相机获取RGBD图像，采用全局相机(固定于机架)进行全局定位，捕获和统计物体分布状况，启动局部相机(固定于机械臂末端执行器)基于视觉伺服进行动态抓取，提高了抓取精度、动态追踪、和重新规划的能力；利用深度神经卷积网络降低了识别物体的难度、提高了识别精度、和增强了鲁棒性，并设计分段线性的算法调整夹手开合大小，通过力矩观测器计算夹手力度，以及计算不同姿态构型下的末端力矩输出，进行自适应调整末端姿态和夹手，实现最优抓取。

另外，根据本发明上述实施例的基于全局和局部视觉语义的机器人动态抓取方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述步骤S1包括：采集不同位姿和不同情况下物体的图片；通过标注工具对图片中物体的类别进行标注；采用深度神经网络进行数据训练，并进行语义和实例划分，以获得相应物体在图片的位置和区域；采用OpenCV图像算法处理所述神经网络得到的类别，并获得目标物体的区域，获取输出参数，其中，所述输出参数包括：物体的类别、物体坐标系相对于所述全局双目相机或者所述局部双目相机坐标系下的位置和姿态和夹手宽度。

进一步地，在本发明的一个实施例中，所述采用OpenCV图像算法处理所述神经网络得到的类别，并获得目标物体的区域，进一步包括：通过最小矩形的方法框选物体，以获得矩形框和图像一边的夹角；设定所述矩形框的中心点为抓取中心点，并用双目相机定位抓取深度信息；通过落差计算物体在Z方向的高度，获得抓取深度，以此确定所述待抓取物体的坐标系，相对于所述全局双目相机坐标系或者所述局部双目相机坐标系的位姿，并通过像素推算所述待抓取物体的宽度，获取夹手的开合大小。

进一步地，在本发明的一个实施例中，所述步骤S2包括：利用所述全局双目相机获取所述待抓取物体相对于基座的位置，将物体坐标系转到所述全局双目相机坐标系再到基坐标系；控制所述机械臂执行由全局静态轨迹规划，到达所述待抓取物体对应的预设区域；将所述全局双目相机切换到所述局部双目相机，通过神经网络处理所述局部双目相机的照片，输出命令，执行动态的轨迹规划；将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。

进一步地，在本发明的一个实施例中，所述步骤S2还包括：利用所述局部双目相机获取所述待抓取物体相对于基座的位置，将物体坐标系转到所述局部双目相机坐标系，再到末端执行器坐标系，最后到基坐标系；控制所述机械臂执行由全局静态轨迹规划，到达所述待抓取物体对应的预设区域；将所述全局双目相机切换到所述局部双目相机，通过神经网络处理所述局部双目相机的照片，输出命令，执行动态的轨迹规划；将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。

为达到上述目的，本发明另一方面提出了一种基于全局和局部视觉语义的机器人动态抓取系统，包括：全局双目相机、局部双目相机和机械臂，其中，所述全局双目相机和所述局部双目相机用于识别待抓取物体的物体类别与物体尺寸，获取所述待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸，所述机械臂通过所述全局双目相机对所述机械臂静态轨迹进行规划与通过所述局部双目相机对所述机械臂动态轨迹进行规划对所述待抓取物体进行抓取，实现最优抓取。

本发明实施例的基于全局和局部视觉语义的机器人动态抓取系统，建立了基于物理引擎的仿真和实物抓取平台，实现了散乱物体的准确识别、高精度定位和动态自适应抓取，相对于特征提取、识别物体、静态抓取的传统方法，简化了物体的识别算法，增强了物体识别的准确性和鲁棒性，提高了物体定位的精度和动态规划的能力，实现的过程通过全局和局部双目相机获取RGBD图像，采用全局相机(固定于机架)进行全局定位，捕获和统计物体分布状况，启动局部相机(固定于机械臂末端执行器)基于视觉伺服进行动态抓取，提高了抓取精度、动态追踪、和重新规划的能力；利用深度神经卷积网络降低了识别物体的难度、提高了识别精度、和增强了鲁棒性，并设计分段线性的算法调整夹手开合大小，通过力矩观测器计算夹手力度，以及计算不同姿态构型下的末端力矩输出，进行自适应调整末端姿态和夹手，实现最优抓取。

另外，根据本发明上述实施例的基于全局和局部视觉语义的机器人动态抓取系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述全局双目相机和所述局部双目相机用于识别待抓取物体的物体类别与物体尺寸，获取所述待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸进一步包括：采集单元，用于采集不同位姿和不同情况下物体的图片；标注单元，用于通过标注工具对图片中物体的类别进行标注；训练单元，用于采用深度神经网络进行数据训练，并进行语义和实例划分，以获得相应物体在图片的位置和区域；分类单元，用于采用OpenCV图像算法处理所述神经网络得到的类别，并获得目标物体的区域；获取单元，用于获取输出参数，其中，所述输出参数包括：物体的类别、物体坐标系相对于所述全局双目相机或者所述局部双目相机坐标系下的位置和姿态和夹手宽度。

进一步地，在本发明的一个实施例中，所述分类单元具体用于：通过最小矩形的方法框选物体获得矩形框和图像一边的夹角；设定所述矩形框的中心点为抓取中心点，并用双目相机定位抓取深度信息；通过落差计算物体在Z方向的高度，获得抓取深度，以此确定所述待抓取物体的坐标系，相对于所述全局双目相机坐标系或者所述局部双目相机坐标系的位姿，并通过像素推算所述待抓取物体的宽度，获取夹手的开合大小。

可选地，在本发明的一个实施例中，所述机械臂具体用于：利用所述全局双目相机获取所述待抓取物体相对于基座的位置，将物体坐标系转到所述全局双目相机坐标系再到基坐标系；控制所述机械臂执行由全局静态轨迹规划，到达所述待抓取物体对应的预设区域；将所述全局双目相机切换到所述局部双目相机，通过神经网络处理所述局部双目相机的照片，输出命令，执行动态的轨迹规划；将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。

可选地，在本发明的一个实施例中，所述机械臂具体还用于：利用所述局部双目相机获取所述待抓取物体相对于基座的位置，将物体坐标系转到所述局部双目相机坐标系，再到末端执行器坐标系，最后到基坐标系；控制所述机械臂执行由全局静态轨迹规划，到达所述待抓取物体对应的预设区域；将所述全局双目相机切换到所述局部双目相机，通过神经网络处理所述局部双目相机的照片，输出命令，执行动态的轨迹规划；将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于全局和局部视觉语义的机器人动态抓取方法流程图；

图2为根据本发明实施例的基于全局和局部视觉语义的机器人动态抓取方法的坐标系变换图；

图3为根据本发明实施例的基于全局和局部视觉语义的机器人动态抓取系统结构示意图；

图4为根据本发明实施例的基于全局和局部视觉语义的机器人动态抓取系统执行示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于全局和局部视觉语义的机器人动态抓取方法及系统，首先将参照附图描述根据本发明实施例提出的基于全局和局部视觉语义的机器人动态抓取方法。

图1是本发明一个实施例的基于全局和局部视觉语义的机器人动态抓取方法流程图。

如图1所示，该基于全局和局部视觉语义的机器人动态抓取方法包括以下步骤：

在步骤S1中，识别待抓取物体的物体类别与物体尺寸，获取待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸。

进一步地，步骤S1包括：采集不同位姿和不同情况下物体的图片；通过标注工具对图片中物体的类别进行标注；采用深度神经网络进行数据训练，并进行语义和实例划分，以获得相应物体在图片的位置和区域；采用OpenCV图像算法处理神经网络得到的类别，并获得目标物体的区域，获取输出参数，其中，输出参数包括：物体的类别、物体坐标系相对于全局双目相机或者局部双目相机坐标系下的位置和姿态和夹手宽度。

其中，采用OpenCV图像算法处理神经网络得到的类别，并获得目标物体的区域，进一步包括：通过最小矩形的方法框选物体，以获得矩形框和图像一边的夹角；设定矩形框的中心点为抓取中心点，并用双目相机定位抓取深度信息；通过落差计算物体在Z方向的高度，获得抓取深度，以此确定待抓取物体的坐标系，相对于全局双目相机坐标系或者局部双目相机坐标系的位姿，并通过像素推算待抓取物体的宽度，获取夹手的开合大小。

本发明实施例处理过程只要分为两个部分，第一部分是图像处理，第二部分使机器人控制。其中，图像处理部分主要任务包括：识别物体的类别、确定物体的尺寸、定位物体在相机坐标系中的位置和姿态，确定夹手400的尺寸。具体地，图像识别部分，包括以下几部分：

A.收集不同位姿和不同情况下(不同光照、不同视野、堆叠物体、分离物体等)物体的图片。

B.通过标注工具如LableMe、VGG Image Annotator、COCO UI等进行标注图片中物体的类别。

C.采用深度神经网络(比如Mask R-CNN、YOLOv3)进行数据训练，进行语义和实例划分获得相应物体在图片上的位置和区域。

D.采用OpenCV图像算法处理神经网络得到的类别，获得某一物体的区域。通过最小矩形的方法可以框选物体，获得矩形框宽和图像一边的夹角。设定矩形框中心点为抓取中心点。用双目相机定位抓取深度信息，需要注意的是选取一块区域作为上表面平均深度。通过落差，计算物体在Z方向的高度，获得抓取深度。以此确定抓取物体的坐标系，相对于全局双目相机坐坐标系或者局部双目相机坐标系的位姿，如图2所示。及通过像素推算抓取物体的宽度，从而设计夹手开合大小。

F.得到以下输出参数：物体的类别、物体坐标系相对于全局相机或者局部坐标系下的位置和姿态、夹手宽度。

在步骤S2中，通过全局双目相机对机械臂静态轨迹规划与局部双目相机对机械臂动态轨迹规划对待抓取物体进行抓取，以实现最优抓取。

进一步地，步骤S2包括：利用全局双目相机获取待抓取物体相对于基座的位置，将物体坐标系转到全局双目相机坐标系再到基坐标系；控制机械臂执行由全局静态轨迹规划，到达待抓取物体对应的预设区域；将全局双目相机切换到局部双目相机，通过神经网络处理局部双目相机的照片，输出命令，执行动态的轨迹规划；将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。

另外，步骤S2还包括：利用局部双目相机获取待抓取物体相对于基座的位置，将物体坐标系转到局部双目相机坐标系，再到末端执行器坐标系，最后到基座坐标系；控制机械臂执行由全局静态轨迹规划，到达待抓取物体对应的预设区域；将全局双目相机切换到局部双目相机，通过神经网络处理局部双目相机的照片，输出命令，执行动态的轨迹规划；将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。

其中，本发明实施例的第二部分机器人动作执行主要包括：基于全局相机机械臂静态轨迹规划和动作执行，基于局部相机机械臂动态轨迹规划和执行抓取。具体地，机器人控制部分，包括以下几部分：

A.如图2所示，利用全局相机获取抓取物体相对于基座的位置，将物体坐标系转到全局相机坐标系再到基坐标系。或者利用局部相机获取物体相对于基座的位置，将物体坐标系转到局部相机坐标系，再到末端执行器坐标系，最后到基坐标系。

B.机械臂执行由全局静态轨迹规划，到达抓取物体附近，如在物体正上方30cm。并将全局规划的完成状态反馈至图像处理。

C.全局相机切换到局部相机，神经网络处理局部相机的照片，输出命令，执行动态的轨迹规划(基于视觉伺服的速度控制)。

D.将抓取物体，放置期望的位置，完成期望的位置，并将完成抓取后的状态反馈到图像处理。

根据本发明实施例提出的基于全局和局部视觉语义的机器人动态抓取方法，建立了基于物理引擎的仿真和实物抓取平台，实现了散乱物体的准确识别、高精度定位和动态自适应抓取，相对于特征提取、识别物体、静态抓取的传统方法，简化了物体的识别算法，增强了物体识别的准确性和鲁棒性，提高了物体定位的精度和动态规划的能力，实现的过程通过全局和局部双目相机获取RGBD图像，采用全局相机(固定于机架)进行全局定位，捕获和统计物体分布状况，启动局部相机(固定于机械臂末端执行器)基于视觉伺服进行动态抓取，提高了抓取精度、动态追踪、和重新规划的能力；利用深度神经卷积网络降低了识别物体的难度、提高了识别精度、和增强了鲁棒性，并设计分段线性的算法调整夹手开合大小，通过力矩观测器计算夹手力度，以及计算不同姿态构型下的末端力矩输出，进行自适应调整末端姿态和夹手，实现最优抓取。

其次参照附图描述根据本发明实施例提出的基于全局和局部视觉语义的机器人动态抓取系统。

图3是本发明一个实施例的基于全局和局部视觉语义的机器人动态抓取系统结构示意图。

如图3所示，该基于全局和局部视觉语义的机器人动态抓取系统10包括：全局双目相机100、局部双目相机200、机械臂300、夹手400(末端执行器)和基座500。

其中，全局双目相机100和局部双目相机200用于识别待抓取物体的物体类别与物体尺寸，获取待抓取物体在相机坐标系中的位置和姿态，确定夹手400的尺寸。

进一步地，全局双目相机100和局部双目相机200具体用于：采集单元用于采集不同位姿和不同情况下物体的图片。标注单元用于通过标注工具对图片中物体的类别进行标注。训练单元用于采用深度神经网络进行数据训练，并进行语义和实例划分，以获得相应物体在图片的位置和区域。分类单元用于采用OpenCV图像算法处理神经网络得到的类别，并获得目标物体的区域。获取单元用于获取输出参数，其中，输出参数包括：物体的类别、物体坐标系相对于全局双目相机或者局部双目相机坐标系下的位置和姿态和夹手宽度。

需要说明的是，分类单元进一步具体用于：通过最小矩形的方法框选物体获得矩形框和图像一边的夹角；设定矩形框的中心点为抓取中心点，并用双目相机定位抓取深度信息；通过落差计算物体在Z方向的高度，获得抓取深度，以此确定待抓取物体的坐标系，相对于全局双目相机坐标系或者局部双目相机坐标系的位姿，并通过像素推算待抓取物体的宽度，获取夹手的开合大小。

其中，机械臂300通过全局双目相机100对机械臂300静态轨迹进行规划与通过局部双目相机200对机械臂300动态轨迹进行规划对待抓取物体进行抓取，实现最优抓取。

需要说明的是，基于全局相机机械臂静态轨迹规划和动作执行，基于局部相机机械臂动态轨迹规划和执行抓取有两种方式，一利用全局相机获取抓取物体相对于基座的位置，将物体坐标系转到全局相机坐标系再到基坐标系。或者二利用局部相机获取物体相对于基座的位置，将物体坐标系转到局部相机坐标系，再到末端执行器坐标系，最后到基坐标系。

如图4所示，下面对本发明实施例基于全局和局部视觉语义的机器人动态抓取系统执行过程进行详细描述。

终端设备给予机器人开始抓取指令，启动全局双目相机获取第一RGBD图像，并将第一RGBD图像传递给神经网络，以进行全局定位确定抓取物体位置和姿态，并查看视野内是否有待抓取物体，若无则重新启动全局双目相机重新获取第一RGBD图确定是否待抓取物，若有则下达指令让机械臂执行期望轨道规划，开环到达抓取无的附近，启动局部双目相机获取第二RGBD图，并将第二RGBD图传递给神经网络，以精准确定待抓取物体的姿态、位置、夹手大小以及力度进行视觉伺候(速度控制)，确定机械臂的末端速度和夹手开合执行动态轨迹规划和抓取，查看是否满足抓取，若无则重新启动局部双目相机重新获取第二RGBD图确定是否待抓取物，若有则下达指令控制机械臂末端速度是夹手放置到期望位置对待抓取物体进行一次抓取，若未能抓取到则重新执行上述所有步骤。其中，若在抓取过程中出现物体掉落即扰动控制情况发生，则在局部双目相机处重新开始。

需要说明的是，前述对基于全局和局部视觉语义的机器人动态抓取方法实施例的解释说明也适用于该系统，此处不再赘述。

根据本发明实施例提出的基于全局和局部视觉语义的机器人动态抓取系统，建立了基于物理引擎的仿真和实物抓取平台，实现了散乱物体的准确识别、高精度定位和动态自适应抓取，相对于特征提取、识别物体、静态抓取的传统方法，简化了物体的识别算法，增强了物体识别的准确性和鲁棒性，提高了物体定位的精度和动态规划的能力，实现的过程通过全局和局部双目相机获取RGBD图像，采用全局相机(固定于机架)进行全局定位，捕获和统计物体分布状况，启动局部相机(固定于机械臂末端执行器)基于视觉伺服进行动态抓取，提高了抓取精度、动态追踪、和重新规划的能力；利用深度神经卷积网络降低了识别物体的难度、提高了识别精度、和增强了鲁棒性，并设计分段线性的算法调整夹手开合大小，通过力矩观测器计算夹手力度，以及计算不同姿态构型下的末端力矩输出，进行自适应调整末端姿态和夹手，实现最优抓取。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于全局和局部视觉语义的机器人动态抓取方法，其特征在于，包括以下步骤：

步骤S1：识别待抓取物体的物体类别与物体尺寸，获取所述待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸；

步骤S2：通过全局双目相机对机械臂静态轨迹规划与局部双目相机对所述机械臂动态轨迹规划对所述待抓取物体进行抓取，以实现最优抓取。

2.根据权利要求1所述的基于全局和局部视觉语义的机器人动态抓取方法，其特征在于，所述步骤S1包括：

采集不同位姿和不同情况下物体的图片；

通过标注工具对图片中物体的类别进行标注；

采用深度神经网络进行数据训练，并进行语义和实例划分，以获得相应物体在图片的位置和区域；

采用OpenCV图像算法处理所述神经网络得到的类别，并获得目标物体的区域，获取输出参数，其中，所述输出参数包括：物体的类别、物体坐标系相对于所述全局双目相机或者所述局部双目相机坐标系下的位置和姿态和夹手宽度。

3.根据权利要求2所述的基于全局和局部视觉语义的机器人动态抓取方法，其特征在于，所述采用OpenCV图像算法处理所述神经网络得到的类别，并获得目标物体的区域，进一步包括：

通过最小矩形的方法框选物体，以获得矩形框和图像一边的夹角；

设定所述矩形框的中心点为抓取中心点，并用双目相机定位抓取深度信息；

通过落差计算物体在Z方向的高度，获得抓取深度，以此确定所述待抓取物体的坐标系，相对于所述全局双目相机坐标系或者所述局部双目相机坐标系的位姿，并通过像素推算所述待抓取物体的宽度，获取夹手的开合大小。

4.根据权利要求1所述的基于全局和局部视觉语义的机器人动态抓取方法，其特征在于，所述步骤S2包括：

利用所述全局双目相机获取所述待抓取物体相对于基座的位置，将物体坐标系转到所述全局双目相机坐标系再到基坐标系；

控制所述机械臂执行由全局静态轨迹规划，到达所述待抓取物体对应的预设区域；

将所述全局双目相机切换到所述局部双目相机，通过神经网络处理所述局部双目相机的照片，输出命令，执行动态的轨迹规划；

将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。

5.根据权利要求1所述的基于全局和局部视觉语义的机器人动态抓取方法，其特征在于，所述步骤S2还包括：

利用所述局部双目相机获取所述待抓取物体相对于基座的位置，将物体坐标系转到所述局部双目相机坐标系，再到末端执行器坐标系，最后到基坐标系；

控制所述机械臂执行由全局静态轨迹规划，到达所述待抓取物体对应的预设区域；

将所述全局双目相机切换到所述局部双目相机，通过神经网络处理所述局部双目相机的照片，输出命令，执行动态的轨迹规划；

将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。

6.一种基于全局和局部视觉语义的机器人动态抓取系统，其特征在于，包括：全局双目相机、局部双目相机和机械臂，其中，所述全局双目相机和所述局部双目相机用于识别待抓取物体的物体类别与物体尺寸，获取所述待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸，所述机械臂通过所述全局双目相机对所述机械臂静态轨迹进行规划与通过所述局部双目相机对所述机械臂动态轨迹进行规划对所述待抓取物体进行抓取，实现最优抓取。

7.根据权利要求6所述的基于全局和局部视觉语义的机器人动态抓取系统，其特征在于，所述全局双目相机和所述局部双目相机用于识别待抓取物体的物体类别与物体尺寸，获取所述待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸进一步包括：

采集单元，用于采集不同位姿和不同情况下物体的图片；

标注单元，用于通过标注工具对图片中物体的类别进行标注；

训练单元，用于采用深度神经网络进行数据训练，并进行语义和实例划分，以获得相应物体在图片的位置和区域；

分类单元，用于采用OpenCV图像算法处理所述神经网络得到的类别，并获得目标物体的区域；以及

获取单元，用于获取输出参数，其中，所述输出参数包括：物体的类别、物体坐标系相对于所述全局双目相机或者所述局部双目相机坐标系下的位置和姿态和夹手宽度。

8.根据权利要求7所述的基于全局和局部视觉语义的机器人动态抓取系统，其特征在于，所述分类单元具体用于：

通过最小矩形的方法框选物体获得矩形框和图像一边的夹角；

设定所述矩形框的中心点为抓取中心点，并用双目相机定位抓取深度信息；

通过落差计算物体在Z方向的高度，获得抓取深度，以此确定所述待抓取物体的坐标系，相对于所述全局双目相机坐标系或者所述局部双目相机坐标系的位姿，并通过像素推算所述待抓取物体的宽度，获取夹手的开合大小。

9.根据权利要求6所述的基于全局和局部视觉语义的机器人动态抓取系统，其特征在于，所述机械臂具体用于：

利用所述全局双目相机获取所述待抓取物体相对于基座的位置，将物体坐标系转到所述全局双目相机坐标系再到基坐标系；

控制所述机械臂执行由全局静态轨迹规划，到达所述待抓取物体对应的预设区域；

将所述全局双目相机切换到所述局部双目相机，通过神经网络处理所述局部双目相机的照片，输出命令，执行动态的轨迹规划；

将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。

10.根据权利要求6所述的基于全局和局部视觉语义的机器人动态抓取系统，其特征在于，所述机械臂具体还用于：

利用所述局部双目相机获取所述待抓取物体相对于基座的位置，将物体坐标系转到所述局部双目相机坐标系，再到末端执行器坐标系，最后到基坐标系；

控制所述机械臂执行由全局静态轨迹规划，到达所述待抓取物体对应的预设区域；

将所述全局双目相机切换到所述局部双目相机，通过神经网络处理所述局部双目相机的照片，输出命令，执行动态的轨迹规划；

将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。