CN114888851A - 一种基于视觉感知的运动物体机器人抓取装置 - Google Patents

Abstract

本发明属于机器人控制领域，公开了一种基于视觉感知的运动物体机器人抓取装置，包括：环境图像及构件图像采集模块、构件信息采集模块、中央控制模块、环境地图生成模块、三维场景地图生成模块、标注模块、信息采集模块、视觉感知模块、识别与姿态确定模块、定位信息模块、运动预测模块、抓取点确定模块、路径规划模块、移动控制模块以及抓取模块。本发明的基于视觉感知的运动物体机器人抓取装置基于视觉感知、运动预测等多种技术，实现了运动物体的抓取，同时还提高了抓取的效率和成功率。本发明的方法应用范围广泛可用于高端制造业及航空航天方面，适用复杂环境能力强，运行过程稳定。

Description

一种基于视觉感知的运动物体机器人抓取装置

技术领域

本发明属于机器人控制领域，尤其涉及一种基于视觉感知的运动物体机器人抓取装置。

背景技术

目前，随着机器人广泛应用于工业、农业、服务业等各种领域，机器人抓取技术作为机器人控制技术的主要研究方向之一，也得到了越来越多的关注和研究。尤其是基于视觉的机器人灵巧抓取一直是机器人智能控制的焦点。无论在非结构化还是在未知的动态环境中，视觉传感器都可以提供实时信息给机器人，由此可以增加机器人抓取系统的灵活性和鲁棒性。近年来，随着移动机器人技术的快速发展，由移动平台、串联机械臂和视觉传感器构成的基于视觉的移动机器人系统，因其自身的可移动性、多串联机械臂的高操纵性以及视觉系统的实时感知性等优点，越来越多地应用在在智能制造领域，进行物体搬运和装配等操作，由此提高了制造领域的机械化和智能化程度。

然而，现有的机器人抓取装置对于抓取动态物体还存在准确性不足，抓取效率低，不能实时预测运动物体轨迹等缺陷。

通过上述分析，现有技术存在的问题及缺陷为：现有的机器人抓取装置对于抓取动态物体还存在准确性不足，抓取效率低，不能实时预测运动物体轨迹等缺陷。

发明内容

针对现有技术存在的问题，本发明提供了一种基于视觉感知的运动物体机器人抓取装置。

本发明是这样实现的，一种基于视觉感知的运动物体机器人抓取装置，所述基于视觉感知的运动物体机器人抓取装置包括：

视觉感知模块，与中央控制模块连接，用于利用设置于机器人上的视觉感知设备实时获取当前环境中的图像数据；

识别与姿态确定模块，与中央控制模块连接，用于从所述当前环境中的图像数据中识别确定待抓取的运动物体并获取相应运动数据；

运动预测模块，与中央控制模块连接，用于基于确定的待抓取的运动物体的当前位置数据以及生成的三维场景地图结合所述待抓取的运动物体的运动姿态预测所述待抓取的运动物体的运动轨迹数据；

抓取点确定模块，与中央控制模块连接，用于基于预测得到的待抓取的运动物体的运动轨迹数据结合机器人的相关信息预测机器人抓取所述运动物体的抓取点的范围；

路径规划模块，与中央控制模块连接，用于将所述待抓取的运动物体的运动轨迹数据、机器人的当前位置数据标注于所述三维场景地图中，并进行机器人往抓取点范围的路径规划；

抓取模块，与中央控制模块连接，用于控制机器人进行运动物体的抓取。

进一步，所述基于视觉感知的运动物体机器人抓取装置还包括：

环境图像及构件图像采集模块，与中央控制模块连接，用于获取运动物体与机器人所在环境的图像数据以及运动物体与机器人所在环境中所有构件、物体的图像数据；

构件信息采集模块，与中央控制模块连接，用于获取运动物体与机器人所在环境中所有构件、物体的尺寸信息；

中央控制模块，与环境图像及构件图像采集模块、构件信息采集模块、环境地图生成模块、三维场景地图生成模块、标注模块、信息采集模块、视觉感知模块、识别与姿态确定模块、定位信息模块、运动预测模块、抓取点确定模块、路径规划模块、移动控制模块以及抓取模块连接，用于利用单片机或控制器控制各个模块正常工作；

环境地图生成模块，与中央控制模块连接，用于基于所述运动物体与机器人所在环境的图像数据构建运动物体与机器人所在的环境地图；

三维场景地图生成模块，与中央控制模块连接，用于基于运动物体与机器人所在的环境地图结合运动物体与机器人所在环境中所有构件、物体的图像数据、所有构件、物体的尺寸信息构建运动物体与机器人所在环境的三维场景地图；

标注模块，与中央控制模块连接，用于结合所述运动物体与机器人所在环境中所有构件、物体的图像数据以及所有构件、物体的尺寸信息确定所述所有构件、物体的位置信息，并在所述三维场景地图中标注所有构件、物体的位置数据；

信息采集模块，与中央控制模块连接，用于获取待抓取的运动物体以及机器人的相关信息；

定位信息模块，与中央控制模块连接，用于基于识别确定的待抓取的运动物体结合获取待抓取的运动物体以及机器人的相关信息确定待抓取的运动物体的当前位置数据；

移动控制模块，与中央控制模块连接，用于基于路径规划结果控制机器人移动至预测抓取点处。

进一步，所述信息采集模块包括：

运动物体信息采集单元，用于获取待抓取的运动物体的相关信息；

机器人信息采集单元，用于获取机器人的相关信息。

进一步，所述机器人的相关信息包括：机器人的当前位置信息、姿态信息、运动速度。

进一步，所述识别与姿态确定模块包括：

识别单元，用于结合采集的获取待抓取的运动物体的相关信息从所述当前环境中的图像数据中识别确定待抓取的运动物体；

运动信息提取单元，用于基于识别确定的待抓取的运动物体结合采集的获取待抓取的运动物体的相关信息以及连续的当前环境的图像数据确定所述待抓取的运动物体的运动信息。

进一步，所述待抓取的运动物体的运动信息包括：所述待抓取的运动物体的运动姿态、运动速度。

进一步，所述抓取模块控制机器人进行运动物体的抓取包括：

首先，获取实时视觉感知图像，判断所述运动物体是否在机器人的抓取范围内，若不在，则控制机器人移动至运动物体的下一状态处或当前位置处；

其次，获取运动物体的相关信息，并基于所述运动物体的相关信息以及运动物体与所述机器人的位置关系确定抓取参数；

最后，基于所述抓取参数控制所述机器人进行姿态调整并进行运动物体的抓取。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于视觉感知的运动物体机器人抓取装置。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于视觉感知的运动物体机器人抓取装置。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于视觉感知的运动物体机器人抓取装置。

结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：

第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

本发明的基于视觉感知的运动物体机器人抓取装置基于视觉感知、运动预测等多种技术，实现了运动物体的抓取，同时还提高了抓取的效率和成功率。

本发明基于视觉感知进行了运动物体的识别与感知，结合三维场景地图以及运动预测、抓取点预测克服了现有技术动态物体抓取准确性不足、抓取效率低，不能实时预测运动物体轨迹等缺陷。

第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

本发明的方法应用范围广泛可用于高端制造业及航空航天方面，适用复杂环境能力强，运行过程稳定。

附图说明

图1是本发明实施例提供的基于视觉感知的运动物体机器人抓取装置交互示意图；

图2是本发明实施例提供的信息采集模块结构示意图；

图3是本发明实施例提供的识别与姿态确定模块结构示意图；

图中：1、信息采集模块；11、运动物体信息采集单元；12、机器人信息采集单元；2、识别与姿态确定模块；21、识别单元；22、运动信息提取单元。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。

如图1所示，本发明实施例提供的基于视觉感知的运动物体机器人抓取装置包括：

环境图像及构件图像采集模块，与中央控制模块连接，用于获取运动物体与机器人所在环境的图像数据以及运动物体与机器人所在环境中所有构件、物体的图像数据；

构件信息采集模块，与中央控制模块连接，用于获取运动物体与机器人所在环境中所有构件、物体的尺寸信息；

中央控制模块，与环境图像及构件图像采集模块、构件信息采集模块、环境地图生成模块、三维场景地图生成模块、标注模块、信息采集模块、视觉感知模块、识别与姿态确定模块、定位信息模块、运动预测模块、抓取点确定模块、路径规划模块、移动控制模块以及抓取模块连接，用于利用单片机或控制器控制各个模块正常工作；

环境地图生成模块，与中央控制模块连接，用于基于所述运动物体与机器人所在环境的图像数据构建运动物体与机器人所在的环境地图；

三维场景地图生成模块，与中央控制模块连接，用于基于运动物体与机器人所在的环境地图结合运动物体与机器人所在环境中所有构件、物体的图像数据、所有构件、物体的尺寸信息构建运动物体与机器人所在环境的三维场景地图；

标注模块，与中央控制模块连接，用于结合所述运动物体与机器人所在环境中所有构件、物体的图像数据以及所有构件、物体的尺寸信息确定所述所有构件、物体的位置信息，并在所述三维场景地图中标注所有构件、物体的位置数据；

信息采集模块，与中央控制模块连接，用于获取待抓取的运动物体以及机器人的相关信息；

视觉感知模块，与中央控制模块连接，用于利用设置于机器人上的视觉感知设备实时获取当前环境中的图像数据；

识别与姿态确定模块，与中央控制模块连接，用于从所述当前环境中的图像数据中识别确定待抓取的运动物体并获取相应运动数据；

定位信息模块，与中央控制模块连接，用于基于识别确定的待抓取的运动物体结合获取待抓取的运动物体以及机器人的相关信息确定待抓取的运动物体的当前位置数据；

运动预测模块，与中央控制模块连接，用于基于确定的待抓取的运动物体的当前位置数据以及生成的三维场景地图结合所述待抓取的运动物体的运动姿态预测所述待抓取的运动物体的运动轨迹数据；

抓取点确定模块，与中央控制模块连接，用于基于预测得到的待抓取的运动物体的运动轨迹数据结合机器人的相关信息预测机器人抓取所述运动物体的抓取点的范围；

路径规划模块，与中央控制模块连接，用于将所述待抓取的运动物体的运动轨迹数据、机器人的当前位置数据标注于所述三维场景地图中，并进行机器人往抓取点范围的路径规划；

移动控制模块，与中央控制模块连接，用于基于路径规划结果控制机器人移动至预测抓取点处；

抓取模块，与中央控制模块连接，用于控制机器人进行运动物体的抓取。

如图2所示，本发明实施例提供的信息采集模块1包括：

运动物体信息采集单元11，用于获取待抓取的运动物体的相关信息；

机器人信息采集单元12，用于获取机器人的相关信息。

本发明实施例提供的机器人的相关信息包括：机器人的当前位置信息、姿态信息、运动速度。

如图3所示，本发明实施例提供的识别与姿态确定模块2包括：

识别单元21，用于结合采集的获取待抓取的运动物体的相关信息从所述当前环境中的图像数据中识别确定待抓取的运动物体；

运动信息提取单元22，用于基于识别确定的待抓取的运动物体结合采集的获取待抓取的运动物体的相关信息以及连续的当前环境的图像数据确定所述待抓取的运动物体的运动信息。

本发明实施例提供的待抓取的运动物体的运动信息包括：所述待抓取的运动物体的运动姿态、运动速度。

本发明实施例提供的抓取模块控制机器人进行运动物体的抓取包括：

首先，获取实时视觉感知图像，判断所述运动物体是否在机器人的抓取范围内，若不在，则控制机器人移动至运动物体的下一状态处或当前位置处；

其次，获取运动物体的相关信息，并基于所述运动物体的相关信息以及运动物体与所述机器人的位置关系确定抓取参数；

最后，基于所述抓取参数控制所述机器人进行姿态调整并进行运动物体的抓取。

二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用的应用实施例。

本发明将所述基于视觉感知的运动物体机器人抓取装置应用于计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行基于视觉感知的运动物体机器人抓取装置。

本发明将所述基于视觉感知的运动物体机器人抓取装置应用于计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行基于视觉感知的运动物体机器人抓取装置。

本发明将所述基于视觉感知的运动物体机器人抓取装置应用于信息数据处理终端。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于视觉感知的运动物体机器人抓取装置，其特征在于，所述基于视觉感知的运动物体机器人抓取装置包括：

视觉感知模块，与中央控制模块连接，用于利用设置于机器人上的视觉感知设备实时获取当前环境中的图像数据；

识别与姿态确定模块，与中央控制模块连接，用于从所述当前环境中的图像数据中识别确定待抓取的运动物体并获取相应运动数据；

运动预测模块，与中央控制模块连接，用于基于确定的待抓取的运动物体的当前位置数据以及生成的三维场景地图结合所述待抓取的运动物体的运动姿态预测所述待抓取的运动物体的运动轨迹数据；

抓取点确定模块，与中央控制模块连接，用于基于预测得到的待抓取的运动物体的运动轨迹数据结合机器人的相关信息预测机器人抓取所述运动物体的抓取点的范围；

路径规划模块，与中央控制模块连接，用于将所述待抓取的运动物体的运动轨迹数据、机器人的当前位置数据标注于所述三维场景地图中，并进行机器人往抓取点范围的路径规划；

抓取模块，与中央控制模块连接，用于控制机器人进行运动物体的抓取。

2.如权利要求1所述基于视觉感知的运动物体机器人抓取装置，其特征在于，所述基于视觉感知的运动物体机器人抓取装置还包括：

环境图像及构件图像采集模块，与中央控制模块连接，用于获取运动物体与机器人所在环境的图像数据以及运动物体与机器人所在环境中所有构件、物体的图像数据；

构件信息采集模块，与中央控制模块连接，用于获取运动物体与机器人所在环境中所有构件、物体的尺寸信息；

中央控制模块，与环境图像及构件图像采集模块、构件信息采集模块、环境地图生成模块、三维场景地图生成模块、标注模块、信息采集模块、视觉感知模块、识别与姿态确定模块、定位信息模块、运动预测模块、抓取点确定模块、路径规划模块、移动控制模块以及抓取模块连接，用于利用单片机或控制器控制各个模块正常工作；

环境地图生成模块，与中央控制模块连接，用于基于所述运动物体与机器人所在环境的图像数据构建运动物体与机器人所在的环境地图；

三维场景地图生成模块，与中央控制模块连接，用于基于运动物体与机器人所在的环境地图结合运动物体与机器人所在环境中所有构件、物体的图像数据、所有构件、物体的尺寸信息构建运动物体与机器人所在环境的三维场景地图；

标注模块，与中央控制模块连接，用于结合所述运动物体与机器人所在环境中所有构件、物体的图像数据以及所有构件、物体的尺寸信息确定所述所有构件、物体的位置信息，并在所述三维场景地图中标注所有构件、物体的位置数据；

信息采集模块，与中央控制模块连接，用于获取待抓取的运动物体以及机器人的相关信息；

定位信息模块，与中央控制模块连接，用于基于识别确定的待抓取的运动物体结合获取待抓取的运动物体以及机器人的相关信息确定待抓取的运动物体的当前位置数据；

移动控制模块，与中央控制模块连接，用于基于路径规划结果控制机器人移动至预测抓取点处。

3.如权利要求2所述基于视觉感知的运动物体机器人抓取装置，其特征在于，所述信息采集模块包括：

运动物体信息采集单元，用于获取待抓取的运动物体的相关信息；

机器人信息采集单元，用于获取机器人的相关信息。

4.如权利要求3所述基于视觉感知的运动物体机器人抓取装置，其特征在于，所述机器人的相关信息包括：机器人的当前位置信息、姿态信息、运动速度。

5.如权利要求1所述基于视觉感知的运动物体机器人抓取装置，其特征在于，所述识别与姿态确定模块包括：

识别单元，用于结合采集的获取待抓取的运动物体的相关信息从所述当前环境中的图像数据中识别确定待抓取的运动物体；

运动信息提取单元，用于基于识别确定的待抓取的运动物体结合采集的获取待抓取的运动物体的相关信息以及连续的当前环境的图像数据确定所述待抓取的运动物体的运动信息。

6.权利要求5所述基于视觉感知的运动物体机器人抓取装置，其特征在于，所述待抓取的运动物体的运动信息包括：所述待抓取的运动物体的运动姿态、运动速度。

7.权利要求1所述基于视觉感知的运动物体机器人抓取装置，其特征在于，所述抓取模块控制机器人进行运动物体的抓取包括：

首先，获取实时视觉感知图像，判断所述运动物体是否在机器人的抓取范围内，若不在，则控制机器人移动至运动物体的下一状态处或当前位置处；

其次，获取运动物体的相关信息，并基于所述运动物体的相关信息以及运动物体与所述机器人的位置关系确定抓取参数；

最后，基于所述抓取参数控制所述机器人进行姿态调整并进行运动物体的抓取。

8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7任意一项所述基于视觉感知的运动物体机器人抓取装置。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-7任意一项所述基于视觉感知的运动物体机器人抓取装置。

10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-7任意一项所述基于视觉感知的运动物体机器人抓取装置。

Images