CN107756402A - 一种基于深度学习的智能型避障抓取系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的智能型避障抓取系统，包括无线基站单元、双目相机、三轴云台单元、麦克纳姆系统单元、机械手单元、电源和工业电脑；所述电源分别与双目相机、三轴云台单元、麦克纳姆系统单元、机械手单元和工业电脑连接；所述工业电脑通过无线基站单元与外部终端连接；所述双目相机、三轴云台单元、麦克纳姆系统单元、机械手单元均与工业电脑连接；所述三轴云台单元与双目相机连接。该系统能够自动识别并锁定目标物体，避障追踪并结合机械手实现复杂背景下异地抓取目标物体，具有学习能力，可以独立的完成工作，不需要人为干预，实现使用机械手自动拾取目标物体，不但扩大了其应用范围，而且提高了其智能化程度。

Description

一种基于深度学习的智能型避障抓取系统

技术领域

本发明属于人工智能领域，具体是一种基于深度学习的智能型避障抓取系统。

背景技术

基于机器学习和机器视觉的物体自主识别、避障抓取一直是人工智能领域的研究焦点，双目立体视觉技术可在多种条件下灵活地获得景物的立体信息，相对单目视觉而言有着不可比拟的优势，是图像处理与机器视觉领域的前沿研究方向。在机器人抓取任务中，单纯的物体识别并不足以提供足够的抓取信息，而必须与准确的物体定位和机器学习紧密结合。现在的抓取技术面临着诸多困难，例如动态化环境、光照、复杂背景、物体间的相互遮挡等，不能实现物体种类的准确判断，也不能实现准确定位，进而不能依靠避障功能躲避障碍物进行异地抓取目标物体。

在未知的物体抓取与放置过程中，把图像处理技术、机器学习技术和机械臂控制技术相结合，通过一系列的图像处理技术识别双目立体摄像机视野内的物体并对其三维位置进行测量，引导机械臂完成对物体的抓取与放置，并结合机器学习技术使整个系统具有学习能力，实现智能化异地抓取目标物体的功能，这种技术的研发更具有急切的现实意义。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是：提供一种基于深度学习的智能型避障抓取系统。该系统能够自动识别并锁定目标物体，避障追踪并结合机械手实现复杂背景下异地抓取目标物体，具有学习能力，可以独立的完成工作，不需要人为干预，实现使用机械手自动拾取目标物体，不但扩大了其应用范围，而且提高了其智能化程度。

本发明解决所述技术问题的技术方案是：提供一种基于深度学习的智能型避障抓取系统，其特征在于该系统包括无线基站单元、双目相机、三轴云台单元、麦克纳姆系统单元、机械手单元、电源和工业电脑；所述电源分别与双目相机、三轴云台单元、麦克纳姆系统单元、机械手单元和工业电脑连接；所述工业电脑通过无线基站单元与外部终端连接；所述双目相机、三轴云台单元、麦克纳姆系统单元、机械手单元均与工业电脑连接；所述三轴云台单元与双目相机连接。

与现有技术相比，本发明有益效果在于：

1、该系统能够自动识别并锁定目标物体，避障追踪并结合机械手实现复杂背景下异地抓取目标物体，具有学习能力，可以独立的完成工作，不需要人为干预，实现使用机械手自动拾取目标物体，不但扩大了其应用范围，而且提高了其智能化程度。

2、该系统适应性广，操作简单方便，实现以及维护简单。

3、采用麦克纳姆轮为该系统提供动力，移动方式灵活，可纵向，横向，任意角度的斜向平动，转弯半径为零，可绕系统中心原地转向，更灵活方便的实现全方位移动功能，可以在动态化环境、光照、复杂背景、物体间的相互遮挡等情况下实现精确抓取。

4、三轴云台单元能够实现双目相机角度的变化。

5、无线基站的信号放大作用使得整个系统在空旷地带2000m以内都能够接受局域网信号。

附图说明

图1为本发明基于深度学习的智能型避障抓取系统一种实施例的除去电源的整体结构连接示意框图；

图2为本发明基于深度学习的智能型避障抓取系统一种实施例的供电连接示意框图；

具体实施方式

下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请权利要求的保护范围。

本发明提供了一种基于深度学习的智能型避障抓取系统(简称系统，参见图1-2)，其特征在于该系统包括无线基站单元1、双目相机2、三轴云台单元3、麦克纳姆系统单元4、机械手单元5、电源6和工业电脑7；所述电源6分别与双目相机2、三轴云台单元3、麦克纳姆系统单元4、机械手单元5和工业电脑7连接，为其供电；所述工业电脑7通过无线基站单元1与外部终端连接；所述双目相机2、三轴云台单元3、麦克纳姆系统单元4、机械手单元5均与工业电脑7连接；所述三轴云台单元3与双目相机2连接；工业电脑7放置于电源6的正上方；无线基站单元1为整个系统搭建局域网络；双目相机2采集视频图像传给工业电脑7；三轴云台单元3固定在整个系统的正前方，具有三个自由度，用于搭载双目相机2，可以使双目相机单元2运动；麦克纳姆系统单元4处在整个系统的底部，用于搭载整个系统的移动与控制功能；机械手单元5用于对目标物体的抓取动作；所述终端为手机或者PC机；

所述无线基站单元1包括路由器11和无线基站12；由路由器11搭建局域网为整个系统提供通信功能并通过无线基站12将信号放大，终端可以进行远程的连接与访问；

所述双目相机2采用AR/VR视频深度感知相机，内部包括两个摄像头，同时可获取两个视频流。双目相机2获取现实世界中的图像信息，通过数据线发送至工业电脑7，工业电脑7对图像进行畸变校正处理之后，发送给无线基站单元1所搭建起来的局域网内，再通过手机VR软件对局域网进行访问，用户通过VR眼镜得到实时的双目立体图像；

所述三轴云台单元3采用云之思三轴云台，包括一个云台单片机31、一个云台电机驱动器32和三个空心杯电机33；所述工业电脑7通过串口与云台单片机31连接；所述云台电机驱动器32分别与云台单片机31和空心杯电机33连接；所述空心杯电机33通过托盘与双目相机2连接，三个空心杯电机33分别用于保持双目相机2的两个摄像头处于同一水平线、实现双目相机2的左右旋转和上下翻转动，来改变双目相机2的视角；工业电脑7根据通信协议向云台单片机31发送指令信息，云台单片机31接到通讯指令后，对收到的信息进行解码操作，解码完成后，通过在云台单片机31上的特定引脚输出PWM波来驱动云台电机驱动器32，云台电机驱动器32通过云台单片机31给的控制信号输出不同占空比的PWM，空心杯电机33利用此PWM实现不同的动作，达到云台单片机31精确控制空心杯电机33；

所述麦克纳姆系统单元4包括麦克纳姆轮单片机41、直流电机42、霍尔编码器43、麦克纳姆轮44和麦克纳姆轮电机驱动器45；所述麦克纳姆轮单片机41采用STM32单片机；所述直流电机42采用两线直流电机；所述麦克纳姆轮电机驱动器45采用TB6612两相四线电机驱动器；四个直流电机42通过电机支架左右对称地固定在系统的底部平台上；所述麦克纳姆轮电机驱动器45固定在系统的底部平台上；两个直流电机42与一个麦克纳姆轮电机驱动器45的输出端通过导线连接，一个麦克纳姆轮电机驱动器45放置在左右对称的直流电机42之间，麦克纳姆轮电机驱动器45与直流电机42在位置上不相互接触；一个麦克纳姆轮44通过联轴器分别与一个直流电机42连接；每个直流电机42均通过卡槽安装有一个霍尔编码器43；所述麦克纳姆轮单片机41分别与麦克纳姆轮电机驱动器4的输入端5和工业电脑7连接，通过麦克纳姆轮电机驱动器45驱动直流电机42工作，控制麦克纳姆轮44正转和反转，从而直接带动整个系统进行移动；在麦克纳姆轮单片机41中编程设定数字量为控制直流电机42速度的给定值，通过麦克纳姆轮单片机41输出PWM波来控制直流电机42的转速，利用霍尔编码器43对直流电机42进行测速，并将其转化为数字量作为直流电机42的反馈值，将此反馈值传送给麦克纳姆轮单片机41，通过周期进入中断，设定量与反馈值的比对与PID运算，使麦克纳姆轮单片机41的转速稳定可控；

所述麦克纳姆轮电机驱动器45使用门电路与MOS管组合方式实现对直流电机42的正反转、制动和调速的控制；

所述机械手单元5采用DOBOT魔术师系列机械手，包括机械手51和控制盒52；所述机械手51采用Dobot机械手51，包括底座、大臂、小臂和抓手；底座、大臂、小臂和抓手依次连接，底座固定在系统的底部平台上；所述机械手51固定在系统的底部平台上，处于整个系统的前方；所述控制盒52分别与工业电脑7和机械手51连接，位于机械手51的正后方，两者处于同一水平面上；工业电脑7给控制盒52相应的控制信号，然后控制盒52再驱动机械手51进行相应动作；

所述电源6包括12V 13Ah锂电池、12V 12A稳压器、12V转5V电源模块、12V转3.3V电源模块、分线器和过流保护模块，各个模块相互配合，为整个系统提供稳定的供电，具体的电源接线方式是：12V 13Ah锂电池通过12V 12A稳压器分别与直流电机42、麦克纳姆轮电机驱动器45、机械手51、三轴云台单元3和工业电脑7连接；12V 13Ah锂电池通过12V 12A稳压器和12V转5V电源模块分别与麦克纳姆轮单片机41和霍尔编码器43连接；

麦克纳姆轮单片机41的程序流程是：首先，系统初始化，使能定时器TIM3、TIM4、TIM7和串口中断外设，定时器TIM3、TIM4用于获得麦克纳姆的速度，定时器TIM7用于速度控制算法PID的定时周期，定时时间为5ms，串口中断用于接收来自工业电脑的控制指令；当定时器TIM7的定时中断到来时：用串口中断接收来自工业电脑的控制指令，即接收串口的数据，待接收完毕后，对接收的控制指令(字符)进行解码操作，通过解码之后的结果判断应该对程序的哪个标志位进行赋值，定时器TIM3、TIM4获取车轮的转速，进而控制该平台系统的运动方式，在定时器TIM7的中断内部，利用PID计算，得出在当前速度的情况下，按照控制指令给定的速度，计算应该输出的PWM，控制电机转动，进而带动麦克纳姆轮转动，控制移动平台按照给定信号运动方式而运动。再此过程中，主函数一直处于死循环状态，不再控制程序，控制程序在中断中完成。

本发明基于深度学习的智能型避障抓取系统的工作原理和工作流程是：

原理：在模型训练阶段，我们对目标物体得到大量的图片数据，包括各个方向和不同的光线强度下，把图片转化为数字矩阵并输入到神经网络之中，经过神经网络的训练之后，本系统利用双目相机2传回来的图片数据就可以分析出是否存在目标物体，识别准确，可以抵抗一定的外界的干扰因素。

工业电脑7根据双目相机2标定后得到的转化公式将目标物体在图像坐标系中的坐标值转化为目标物体以双目相机2为坐标系原点的坐标值；再根据任务的不同，以双目相机2为坐标原点建立标准空间坐标系，结合麦克纳姆系统单元4和机械手单元5的物理尺寸，得到麦克纳姆系统单元4和机械手单元5在该空间坐标系中的坐标值；在目标识别和抓取过程中，根据需要将双目相机2转动和上下摆动(其中转动和上下摆动的角度和位置数据通过工业电脑7的软件中设定)，结合麦克纳姆系统单元4和机械手单元5在该空间坐标系中的坐标值，指导整个系统移动到指定位置并进行抓取工作，实现自主抓取和学习过程；

在目标物体三维位置未知且周围环境持续变化的情况下，利用避障功能躲避障碍物，并结合机械臂控制技术引导机械手51完成对目标物体的抓取与放置动作，机器人开始具备自己的“大脑”。并且与机器学习技术相结合，利用具备的大脑对特定的物体进行搜寻、识别、跟踪，双目相机2采集左摄像头的图像和右摄像头的图像，并把采集的视频传回工业电脑7，工业电脑7进行畸变校正处理之后，利用机器学习训练出的模型，对目标物体进行准确的特征识别，通过双目视觉技术的物体深度信息的提取算法，得到目标物体的像素中心点，进行物理世界坐标的三维重建，然后进行坐标转换，讲相机坐标系转化为机械臂的坐标系，利用此坐标，实现使用机械手自动拾取目标物体并放到指定的地点。

当目标物位于该系统的抓取视野中时，用视觉标定后的双目相机2进行拍摄，通过各种必需的图像处理程序对拍摄的图像进行前期的图像处理，获取相关的轮廓信息，然后通过各种算法对图像进行信息的提取，并结合几何计算得到目标数据。接着将图像处理所得的数据结果通过I/O通信传输给工业电脑7，工业电脑7控制控制盒52，指挥机械手51工作，机械手51在接收到数据信号后，控制各个关节从而完成抓取动作；并且双目相机2采集左摄像头的图像和右摄像头的图像可以通过路由器传到用户手机上，将手机放入到VR眼镜中，打开特定的VR APP，用户便可以用第一视角对现场的情况进行监控，且用户的头部运动，三轴云台3便和用户的头部运动保持一致，实现用户视角的跟随动作，使用户的视角和沉浸感更强。

当目标物位于该系统的抓取视野外时，通过转动和上下摆动，双目相机2获取现实世界中的图像信息，通过数据线发送至工业电脑7，工业电脑7通过双目相机2传回来的实时图像来获取当前该系统与目标物体之间的环境信息，包括距离和障碍物的信息，控制麦克纳姆轮单片机41，进而控制麦克纳姆轮44躲避相应的障碍物到达目标物体的附近，由该系统自主进行判断是否机械手51能够抓起目标物体；如果不能，则继续开动该系统，使之靠近目标物体；如果目标物体在机械手51的抓取范围之内，则该系统直接操纵机械手51进行抓取。该系统操纵机械手51的大臂进行左右方向的初调，待确定左右方向的位置后，再操纵机械手51的小臂进行垂直方向上的调整，直到抓起目标物体。

具体的上述实施例中，为了实现物体识别、位姿计算与抓取规划，采用一种三维建模方法，即可建立物体的完整三维模型，并自动计算模型的尺寸。利用机器学习的方法，该系统对于材质、不同形状的物体建立了识别库，增加对目标物体独立识别的成功率，可以对目标物体进行有效的识别。

本发明未述及之处适用于现有技术。

Claims (10)

1.一种基于深度学习的智能型避障抓取系统，其特征在于该系统包括无线基站单元、双目相机、三轴云台单元、麦克纳姆系统单元、机械手单元、电源和工业电脑；所述电源分别与双目相机、三轴云台单元、麦克纳姆系统单元、机械手单元和工业电脑连接；所述工业电脑通过无线基站单元与外部终端连接；所述双目相机、三轴云台单元、麦克纳姆系统单元、机械手单元均与工业电脑连接；所述三轴云台单元与双目相机连接。

2.根据权利要求1所述的基于深度学习的智能型避障抓取系统，其特征在于所述无线基站单元包括路由器和无线基站；由路由器搭建局域网为整个系统提供通信功能并通过无线基站将信号放大，终端可以进行远程的连接与访问。

3.根据权利要求1所述的基于深度学习的智能型避障抓取系统，其特征在于所述三轴云台单元包括一个云台单片机、一个云台电机驱动器和三个空心杯电机；所述工业电脑通过串口与云台单片机连接；所述云台电机驱动器分别与云台单片机和空心杯电机连接；所述空心杯电机通过托盘与双目相机连接，三个空心杯电机分别用于保持双目相机的两个摄像头处于同一水平线、实现双目相机的左右旋转和上下翻转动。

4.根据权利要求1所述的基于深度学习的智能型避障抓取系统，其特征在于所述麦克纳姆系统单元包括麦克纳姆轮单片机、直流电机、霍尔编码器、麦克纳姆轮和麦克纳姆轮电机驱动器；四个直流电机通过电机支架左右对称地固定在系统的底部平台上；所述麦克纳姆轮电机驱动器固定在系统的底部平台上；两个直流电机与一个麦克纳姆轮电机驱动器的输出端通过导线连接，一个麦克纳姆轮电机驱动器放置在左右对称的直流电机之间；一个麦克纳姆轮通过联轴器分别与一个直流电机连接；每个直流电机均通过卡槽安装有一个霍尔编码器；所述麦克纳姆轮单片机分别与麦克纳姆轮电机驱动器的输入端和工业电脑连接。

5.根据权利要求4所述的基于深度学习的智能型避障抓取系统，其特征在于所述麦克纳姆轮电机驱动器使用门电路与MOS管组合方式实现对直流电机的正反转、制动和调速的控制。

6.根据权利要求4所述的基于深度学习的智能型避障抓取系统，其特征在于所述麦克纳姆轮单片机采用STM32单片机；所述直流电机采用两线直流电机；所述麦克纳姆轮电机驱动器采用TB6612两相四线电机驱动器。

7.根据权利要求1所述的基于深度学习的智能型避障抓取系统，其特征在于所述机械手单元包括机械手和控制盒；所述机械手采用Dobot机械手，包括底座、大臂、小臂和抓手；底座、大臂、小臂和抓手依次连接，底座固定在系统的底部平台上；所述机械手固定在系统的底部平台上，处于整个系统的前方；所述控制盒分别与工业电脑和机械手连接，位于机械手的正后方，两者处于同一水平面上。

8.根据权利要求1所述的基于深度学习的智能型避障抓取系统，其特征在于所述三轴云台单元采用云之思三轴云台。

9.根据权利要求1所述的基于深度学习的智能型避障抓取系统，其特征在于所述双目相机采用AR/VR视频深度感知相机，内部包括两个摄像头，同时可获取两个视频流。

10.根据权利要求1所述的基于深度学习的智能型避障抓取系统，其特征在于所述电源包括12V 13Ah锂电池、12V 12A稳压器、12V转5V电源模块、12V转3.3V电源模块、分线器和过流保护模块，各个模块相互配合，为整个系统提供稳定的供电，具体的电源接线方式是：12V13Ah锂电池通过12V 12A稳压器分别与直流电机、麦克纳姆轮电机驱动器、机械手、三轴云台单元和工业电脑连接；12V 13Ah锂电池通过12V 12A稳压器和12V转5V电源模块分别与麦克纳姆轮单片机和霍尔编码器连接。