CN210500281U - 一种物体抓取特征点训练学习机器人 - Google Patents

Abstract

本实用新型公布了一种物体抓取特征点训练学习机器人，包括用于抓取物体的机械臂、用于采集物体图像及机械臂动作图像的图像采集模块、控制所述机械臂工作的主控模块以及控制所述图像采集模块采集图像及对图像采集模块采集到的图像信息进行分析，并计算出与机械臂相关抓取点的信息分析处理模块；其中，所述机械臂及信息分析处理模块均与所述主控模块通讯连接，所述图像采集模块与所述信息分析处理模块通讯连接；所述图像采集模块将采集到的物体图像信息传输给所述信息分析处理模块，所述信息分析处理模块对图像进行分析，并将分析结果传输给主控模块，所述主控模块接收到分析结果后控制机械臂执行相应动作。

Description

一种物体抓取特征点训练学习机器人

技术领域

本实用新型涉及机器人技术领域，尤其涉及一种物体抓取特征点训练学习机器人。

背景技术

当今时代机器人技术飞速发展。机器人技术不仅走进工厂企业，同时也走进了人们的时候中。然而工业机器人和服务机器人都有面临搬运夹取不同形状或者不规则物体时抓取位置不准确、抓取不稳定的难题。

众所周知不同形状的物体抓取点是不一样的，如何选取和确定最优的抓取特征点显得尤为重要。准确地特征点选取能让机器人的人机交互得到更好的体验，伴随而来的就是机器人能够准确稳定的抓取和搬运使用者需要的物品。

物体抓取特征点的选择如今也是机器人领域里的一个热门研究方向。随着机器学习和神经网络相关算法的加入物体抓取特征点训练学习机器人显得尤为实用。设计一个可以对算法给出的物体抓取特征点进行验证试验的实物机器人对机器人稳定抓取物体意义重大。物体抓取特征点训练学习机器人既能对相关算法的验证起到直接的作用。同时也能很好地提高机器人抓取物体的鲁棒性。

在物体抓取特征点训练学习机器人的帮助下开发者可以更直观地观察自己编写的程序是否可行，同时对程序的优化改进提高很好的数据样本。提高机器人的不断试验和学习物体抓取特征点的算法也会越来越准确有效，不断优化的同时机器人抓取物体的人机交互体验也会变的越来越好。物体抓取特征点训练学习机器人不仅能展现机器人抓取目标物的姿态和稳定性，同时相比较软件仿真能更为可靠地优化机器人抓取目标物的特征点提取的相关算法。从而让机器人更稳定地抓取物体。综上所叙物体抓取特征点训练学习机器人的开发和实现研究对机器人发展有着极大的促进作用。

实用新型内容

为了解决上述问题，本实用新型的主要目的是提供一种物体抓取特征点训练学习机器人，以提高机器人抓取不同物体时的准确性和稳定性。

为实现本实用新型的主要目的，本实用新型提供了一种物体抓取特征点训练学习机器人，包括用于抓取物体的机械臂、用于采集物体图像及机械臂动作图像的图像采集模块、控制所述机械臂工作的主控模块以及控制所述图像采集模块采集图像及对图像采集模块采集到的图像信息进行分析，并计算出与机械臂相关抓取点的信息分析处理模块；其中，所述机械臂及信息分析处理模块均与所述主控模块通讯连接，所述图像采集模块与所述信息分析处理模块通讯连接；所述图像采集模块将采集到的物体图像信息传输给所述信息分析处理模块，所述信息分析处理模块对图像进行分析，并将分析结果传输给主控模块，所述主控模块接收到分析结果后控制机械臂执行相应动作。

作为优选方案，所述图像采集模块为摄像头，所述摄像头通过USB串口与所述信息分析处理模块连接，所述摄像头将采集到的图像信息通过所述USB串口传递给所述信息分析处理模块。

作为优选方案，所述信息分析处理模块为PC电脑、笔记本电脑、平板电脑或手持终端。

作为优选方案，所述主控模块为STM32主控芯片，所述STM芯片通过RS232串口与所述信息处理分析模块通讯连接。

作为优选方案，还包括用于放置物体的载物台，所述载物台上安装有检测载物台上的压力信号的压力传感器，所述压力传感器与所述主控模块通讯连接。

与现有技术相比，本实用新型至少具有以下有益效果：通过图像采集模块采集物体的图像信息，并将采集到的图像信息传输给信息分析处理模块，信息分析处理模块能够对采集的图像信息进行分析，并准确计算出与机械臂动作相关的抓取特征点，并将这些抓取特征点反馈给主控模块，主控模块根据反馈的抓取特征点控制机械臂运动来抓取目标物体，从而达到了将目标物体准确、稳定地抓取的目的，提高了机器人抓取物体的准确性和稳定性。

附图说明

图1为本实用新型实施例的结构框架示意图；

图2为本实用新型实施例的整体结构示意图；

图3为本实用新型实施例的逻辑控制流程图。

其中，1、主控模块；2、图像采集模块；3、信息分析处理模块；4、机械臂；5、载物台；6、USB串口线；7、RS232串口通讯线；8、信号线；9、摄像头支架。

具体实施方式

下面描述本实用新型的优选实施方式，本领域普通技术人员将能够根据下文所述用本领域的相关技术加以实现，并能更加明白本实用新型的创新之处和带来的益处。

结合图1及图2所示，本实用新型实施例的物体抓取特征点训练学习机器人，包括用于抓取物体的机械臂4、用于采集物体图像及机械臂4动作图像的图像采集模块2、控制所述机械臂4工作的主控模块1以及控制所述图像采集模块2采集图像及对图像采集模块2采集到的图像信息进行分析，并计算出与机械臂4相关抓取点的信息分析处理模块3；

其中，所述机械臂4及信息分析处理模块3均与所述主控模块1通讯连接，所述图像采集模块2与所述信息分析处理模块3通讯连接；所述图像采集模块2将采集到的物体图像信息传输给所述信息分析处理模块3，所述信息分析处理模块3对图像进行分析，并将分析结果传输给主控模块1，所述主控模块1接收到分析结果分别控制机械臂4执行相应动作。

本实施例的物体抓取特征点训练学习机器人，通过图像采集模块2采集物体的图像信息，并将采集到的图像信息传输给信息分析处理模块3，信息分析处理模块3能够对采集的图像信息进行分析，并准确计算出与机械臂4动作相关的抓取特征点，并将这些抓取特征点反馈给主控模块1，主控模块1根据反馈的抓取特征点控制机械臂4运动来抓取目标物体，从而达到了将目标物体准确、稳定地抓取的目的，提高了机器人抓取物体的准确性和稳定性。

具体地，请结合图2所示，图像采集模块2为OpenMV摄像头，其安装在摄像头支架9上，OpenMV摄像头设有USB串口，OpenMV摄像头通过USB串口线6与所述信息分析处理模块3连接，OpenMV摄像头将采集到的图像信息通过USB串口传递给信息分析处理模块3。

OpenMV摄像头是一款小巧、低功耗、低成本的电路板和相应的芯片及一个镜头构成的一个可编程摄像头，它能够帮助使用者很轻松的完成机器视觉应用。可以通过高级语言Python脚本(MicroPython)进行相关的开发编程，Python的高级数据结构让使用者很容易在机器视觉算法中处理复杂的输出。如此同时使用者仍然可以用Python语言控制OpenMV摄像头和其他IO引脚，也可以使用外部终端触发拍摄或者或者执行算法，还可以用算法的结果来控制IO引脚。OpenMV摄像头直接通过USB串口与信息分析处理模块3相连接，信息分析处理模块3通过OpenMV IDE软件对摄像头进行控制拍摄采集所需要的图像。

在上述实施例中，所述信息分析处理模块3为PC电脑、笔记本电脑、平板电脑或手持终端等设备，极大地方便了使用者的选择性，可采用任意一种设备来分析处理信息。

进一步的，主控模块安装在机械臂底座10上，所述主控模块1为STM32主控芯片(嵌入式单片机)，所述STM芯片设置了RS232串口(异步传输标准接口)，所述STM芯片通过RS232串口外接RS232串口通讯线与所述信息处理分析模块通讯连接。

进一步的，本实用新型实施例的机器人还包括用于放置物体的载物台5，所述载物台5上安装有检测载物台上的压力信号的压力传感器，所述压力传感器与所述主控模块1通讯连接，主要反馈载物台5上的压力信号给主控模块。

结合图3所示，本实用新型实施例的物体抓取特征点训练学习机器人的工作原理如下：

机器人开机装备完成后，图像采集模块2(OpenMV摄像头)采集放置在载物台5上的目标物的图像信息，然后将图像通过USB串口传递给信息分析处理模块3，信息分析处理模3块将图像信息通过相关算法进行分析然后将采集获得的比较好几组特征点通过RS232串口传递给STM32主控芯片，STM32主控芯片接收到这几组特征点后控制机械臂4依次尝试抓取目标物体，每次抓取动作完成后OpenMV摄像头再次采集载物台5上方的图像，再次反馈给信息分析处理模块3，信息分析处理模块3再次对图像进行分析，首先判断是否抓取成功，然后对抓取姿态进行分析，等待所有特征点组合都试验完毕后对各组特征点抓取效果进行综合分析，最终记录和展示出最优的抓取特征点同时根据这些特征点提取算法。

为了能实现各个角度的抓取姿态需要机械臂4选择六自由度的高精度桌面级机械臂。STM32主控芯片首先对机械臂4进行归零操作，减小各个自由度的误差。当STM32主控芯片接收到信息分析处理模块3传递来的抓取征点(抓取姿态)后对抓取位置进行分析，然后推算出相应的抓取姿态，再控制机械臂4根据推算结果尝试抓取，尝试抓取完成后反馈信号给信息分析处理模块3。信息分析处理模块3再一次控制摄像头采集载物台5上方的图像然后进行本次抓取试验分析。若本次抓取成功则对相应抓取点学习记忆，若没有抓取成功则放弃该种抓取点组合同时也进行备份防止下次重复操作，然后继续尝试下一次抓取动作。

STM主控芯片在执行抓取操作前要对机械臂4进行归零化操作，归零化后能让机械臂4有更好的稳定性和准确性，当信息分析处理模块3传递给STM主控芯片已经分析计算出的抓取特征点后，STM主控芯片相应的分析出机械臂4每个自由度的角度，然后控制机械臂4进行相应的移动和抓取，抓取完成后STM主控芯片通过RS232串口将抓取结束的信号传递给信息分析处理模块3，信息分析处理模块3然后进行相应的处理和分析。

为了稳定准确地检测出目标物体是否成功抓取，机器人设计中在载物台5上安装压力传感器。STM主控芯片可以通过压力传感器传递来的电信号对载物台5上物体的重量进行实时检测。压力传感器配合摄像头能准确地检测出目标物体是否准确地被抓取。

信息分析处理模块3也就是附图3中的上位机，上位机选择比较常见的个人计算机，信息分析处理模块3通过RS232串口实现与STM主控芯片间的稳定通信，操作者首先对载物台5进行清理确保载物台5上没有任何其他物体，然后STM主控芯片对载物台5下的压力传感器和机械臂4进行初始化及归零操作，为后续的称重和抓取提供稳定可靠的起始点。同时信息分析处理模块3也能通过USB串口对摄像头的工作进行实时控制，摄像头实时采集载物台5上的图像信息传递给信息分析处理模块3，然后信息分析处理模块3进行分析处理，当载物台4上有目标物体时进行抓取特征点运算分析，分析完成后将抓取点信息传递给STM主控芯片。信息分析处理模块3对最终的抓取信息进行归纳总结，对抓取效果比较好的抓取点组合进行储存学习，对抓取没有成功的抓取点进行备份分析，避免下次出现该种状况。信息分析处理模块3在物体抓取特征点训练学习机器人设计中处于主导地位，图像分析算法、数据储存优化信以及协调控制都由信息分析处理模块3完成，通过算法的不断改进，最终机器人实现像人类大脑一样对目标物体抓取点稳定可靠的确定。

与现有技术相比，本实用新型至少具有以下有益效果：通过主控模块控制图像采集模块采集物体的图像信息，并将采集到的图像信息传输给信息分析处理模块，信息分析处理模块能够对采集的图像信息进行分析，并准确计算出与机械臂动作相关的抓取特征点，并将这些抓取特征点反馈给主控模块，主控模块根据反馈的抓取特征点控制机械臂运动来抓取目标物体，从而达到了将目标物体准确、稳定地抓取的目的，提高了机器人抓取物体的准确性和稳定性。

以上内容是结合具体的优选实施方式对本实用新型所作的进一步详细说明，不能认定本实用新型的具体实施方式只局限于这些说明。对于本实用新型所属技术领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本实用新型的保护范围。

Claims (5)

1.一种物体抓取特征点机器人，其特征在于，包括用于抓取物体的机械臂、用于采集物体图像及机械臂动作图像的图像采集模块、控制所述机械臂工作的主控模块以及控制所述图像采集模块采集图像及对图像采集模块采集到的图像信息进行分析，并计算出与机械臂相关抓取点的信息分析处理模块；

其中，所述机械臂及信息分析处理模块均与所述主控模块通讯连接，所述图像采集模块与所述信息分析处理模块通讯连接；

所述图像采集模块将采集到的物体图像信息传输给所述信息分析处理模块，所述信息分析处理模块对图像进行分析，并将分析结果传输给主控模块，所述主控模块接收到分析结果后控制机械臂执行相应动作。

2.根据权利要求1所述的物体抓取特征点机器人，其特征在于，所述图像采集模块为摄像头，所述摄像头通过USB串口与所述信息分析处理模块连接，所述摄像头将采集到的图像信息通过所述USB串口传递给所述信息分析处理模块。

3.根据权利要求1或2所述的物体抓取特征点机器人，其特征在于，所述信息分析处理模块为PC电脑、笔记本电脑、平板电脑或手持终端。

4.根据权利要求1所述物体抓取特征点机器人，其特征在于，所述主控模块为STM32主控芯片，所述STM芯片通过RS232串口与所述信息处理分析模块通讯连接。

5.根据权利要求1所述的物体抓取特征点机器人，其特征在于，还包括用于放置物体的载物台，所述载物台上安装有检测载物台上的压力信号的压力传感器，所述压力传感器与所述主控模块通讯连接。

Images