CN110480636A - 一种基于三维视觉的机械臂控制系统 - Google Patents

Abstract

本发明公开了一种基于三维视觉的机械臂控制系统，该系统包括三维信息检测模块、第一通信模块、机械臂控制器、机械臂、外部计算机、第二通信模块以及存储器。该系统通过对待抓取物件进行三维信息获取，并通过机械臂控制器的分析处理，更全面的获悉待抓取物件的位置信息和姿态信息，从而更精准的对物件进行抓取，同时，系统的信息采集端和控制端与机械臂均采用无线通信的方式传输数据，保证传输效率的同时，可以降低系统布线复杂度，同时也实现了远程控制与管理，系统更加智能、高效且可靠性更高。

Description

一种基于三维视觉的机械臂控制系统

技术领域

本发明涉及图像处理与自动控制技术领域，更具体的说是涉及一种基于三维视觉的机械臂控制系统。

背景技术

目前，随着工业自动化的不断推进，智能设备逐渐取代人工流水线操作，例如机械臂的使用，在一定程度上解放了工人的双手，在一些简单的流水线操作现场，大批机械臂的安装使用不仅省去了大量的人力物力，还大幅度提高了生产效率。

但是，工业中应用的机械臂大多是示教型机器人，通常在使用前需要预先设置好运动路线使机械臂去抓取一个位置、方向、规格均已知的物体，这样的机器人运动方式简单而且单一，虽然能够代替人类做一些简单的重复性工作，但是操作灵活性低，因为它没有像人类一样的视觉感知功能，使用上受到较大限制。一般的工业机器人是没有立体视觉的，工件存放位置、姿态、工件规格稍有改变机器人就束手无策。然而现有的通过非接触式获取物体形貌的工具如照相机、摄像机等只能以二维形式重现物体，不可避免的会造成所获物体第三维形貌信息的丢失。这就使得现有的机械臂控制系统不能满足现代高精度、智能化工业生产水平的需求。

因此，如何提供一种能够获取待抓取物件的三维信息、从而准确对物件进行抓取的机械臂控制系统是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于三维视觉的机械臂控制系统，该系统通过对待抓取物件进行三维信息获取，并通过机械臂控制器的分析处理，更全面的获悉待抓取物件的位置信息和姿态信息，从而更精准的对物件进行抓取，解决了现有的通过非接触式获取物体形貌的工具如照相机、摄像机等只能以二维形式重现物体，不可避免的会造成所获物体第三维形貌信息的丢失。这就使得现有的机械臂控制系统不能满足现代高精度、智能化工业生产水平的需求的问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于三维视觉的机械臂控制系统，该系统包括：

三维信息检测模块，所述三维信息检测模块采集待抓取物件的三维信息，并对所述三维信息进行整合处理，得到三维检测数据；

第一通信模块，所述第一通信模块接收所述三维检测数据并将其发出；

机械臂控制器，所述机械臂控制器接收所述三维检测数据，并根据所述三维检测数据分析待抓取物件的规格尺寸和放置姿态，进而发出抓取指令；

机械臂，所述机械臂接收抓取指令，并根据所述抓取指令向待抓取物件执行抓取动作；

外部计算机，所述外部计算机供用户录入操作指令；

第二通信模块，所述第二通信模块连接所述外部计算机与所述机械臂控制器；

存储器，所述存储器存储三维检测数据以及待抓取物件的规格尺寸和放置姿态数据。

进一步地，所述三维信息包括高度信息、长度信息、宽度信息以及待抓取物件中心距离机械臂坐标原点的距离信息。

进一步地，所述三维信息检测模块包括CCD传感器、激光测距模块以及图像处理单元，所述CCD传感器和所述激光测距模块均与所述图像处理单元电连接，所述图像处理单元还通过所述第一通信模块与所述机械臂控制器连接；

所述CCD传感器用于采集待抓取物件的图像数据，所述激光测距模块用于采集待抓取物件的长度、高度和宽度数据，并检测待抓取物件中心距离机械臂坐标原点的距离，所述图像处理单元用于对采集到的待抓取物件的图像数据、长度、高度和宽度数据以及待抓取物件中心距离机械臂坐标原点的距离进行预处理，使采集到的数据满足所述机械臂控制器的输入要求。

进一步地，所述第一通信模块具有LAN装置，所述第二通信模块具有USB设备。

进一步地，所述第二通信模块具有将所述外部计算机作为主机的从动设备。

进一步地，所述机械臂包括用于进行传动的舵机和用于对待抓取物件进行夹取的机械爪，所述舵机和机械爪分别与所述机械臂控制器连接。

进一步地，所述机械爪夹持端部内设有用于检测抓取力度的压力传感器，所述压力传感器与所述机械臂控制器连接。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于三维视觉的机械臂控制系统，该系统通过对待抓取物件进行三维信息获取，并通过机械臂控制器的分析处理，更全面的获悉待抓取物件的位置信息和姿态信息，从而更精准的对物件进行抓取，同时，系统的信息采集端和控制端与机械臂均采用无线通信的方式传输数据，保证传输效率的同时，可以降低系统布线复杂度，同时也实现了远程控制与管理，系统更加智能、高效且可靠性更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种基于三维视觉的机械臂控制系统的结构框架示意图；

图2附图为本发明实施例中三维信息检测模块的结构框架示意图；

图3附图为本发明实施例中机械臂的结构框架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于三维视觉的机械臂控制系统，该系统包括：

三维信息检测模块3，三维信息检测模块3采集待抓取物件的三维信息，并对三维信息进行整合处理，得到三维检测数据；

第一通信模块2，第一通信模块2接收三维检测数据并将其发出；

机械臂控制器1，机械臂控制器1接收三维检测数据，并根据三维检测数据分析待抓取物件的规格尺寸和放置姿态，进而发出抓取指令；

机械臂4，机械臂4接收抓取指令，并根据抓取指令向待抓取物件执行抓取动作；

外部计算机6，外部计算机6供用户录入操作指令；

第二通信模块5，第二通信模块5连接外部计算机6与机械臂控制器1；

存储器7，存储器7存储三维检测数据以及待抓取物件的规格尺寸和放置姿态数据。

在一个具体的实施例中，三维信息包括高度信息、长度信息、宽度信息以及待抓取物件中心距离机械臂坐标原点的距离信息。

在一个具体的实施例中，三维信息检测模块3包括CCD传感器31、激光测距模块32以及图像处理单元33，CCD传感器31和激光测距模块32均与图像处理单元33电连接，图像处理单元33还通过第一通信模块2与机械臂控制器1连接；

CCD传感器31用于采集待抓取物件的图像数据，激光测距模块32用于采集待抓取物件的长度、高度和宽度数据，并检测待抓取物件中心距离机械臂坐标原点的距离，图像处理单元33用于对采集到的待抓取物件的图像数据、长度、高度和宽度数据以及待抓取物件中心距离机械臂坐标原点的距离进行预处理，使采集到的数据满足机械臂控制器1的输入要求。

在一些实施例中，CCD传感器也可以用投影仪和相机替换。投影仪用于对物件进行条纹投影，相机用于对被投影有条纹的待抓取物件进行拍摄。

具体地，激光测距模块32采用型号为VL53L0X的芯片。该芯片为最小的激光测距芯片，低功耗、测量快，具有激光辅助自动对焦功能，可以增强和加速相机自动对焦系统性能，特别是在困难场景(低光照水平、低对比度)或快速移动的视频模式下。VL53L0X是新一代飞行时间激光测距模块，安装在当今市场上最小的封装中，提供与传统技术不同的目标反射率的精确距离测量，其可以测量高达2米的绝对距离。

在本实施例中，选取在2mm到200mm的距离范围作为激光测距模块32的检测范围，当待抓取物件经过激光测距模块32并处于上述检测范围之内时，激光测距模块32会触发一个脉冲信号并分别发送给CCD传感器31，CCD传感器31开始对物件进行图像采集。

在一个具体的实施例中，第一通信模块2具有LAN装置，第二通信模块5具有USB设备。

在一个具体的实施例中，第二通信模块5具有将外部计算机6作为主机的从动设备。

具体地，第一通信模块2为经由以太网网络与服务器连接的以太网设备，并作为与以太网网络的以太网接口发挥作用；第二通信模块5是作为从动设备之一的USB设备，作为与开发用外部计算机6的USB总线的电接口而发挥作用。

在一个具体的实施例中，机械臂4包括用于进行传动的舵机41和用于对待抓取物件进行夹取的机械爪42，舵机41和机械爪42分别与机械臂控制器1连接。本实施例中，机械臂4设置有3个连杆，所以机械臂4设置有3个舵机41，即机械臂4包括有3个中间自由度，这样保证了机械臂的活动范围满足抓取要求。

在一个具体的实施例中，机械爪42的夹持端部内设有用于检测抓取力度的压力传感器421，压力传感器421与机械臂控制器1连接。机械爪夹持端部内加装压力传感器，可以对机械爪的夹持力度实时检测，保证了夹持力度满足待抓取物件的实际重力需要。

具体地，本实施例中的压力传感器421采用型号为RFP602的电阻式薄膜压力传感器。

具体地，在本实施例中，机械臂控制器1根据旋转角度驱动舵机41转动，机械臂控制器1采用PWM脉宽型调节舵机41的旋转角度，周期为20ms，占空比为0.5ms－2.5ms的脉宽电平对应舵机32于0°到270°的旋转角度范围。并且，舵机41在6.6V的工作电压时，堵转扭矩能达到20kg〃cm，而当工作电压为7.4V时，舵机41的旋转速度为0.16sec/60°，具有控制精度高、线性度好、响应速度快的特点，因此能够满足机械臂宽角度的控制和快速抓取的需求，同时还能够抓取更重的物件。

与现有技术相比，本发明实施例提供的一种基于三维视觉的机械臂控制系统，具有如下优点：

一方面，该系统通过对待抓取物件进行三维信息获取，并通过机械臂控制器的分析处理，更全面的获悉待抓取物件的位置信息和姿态信息，从而更精准的对物件进行抓取；

另一方面，系统的信息采集端与控制端与机械臂均采用无线通信的方式传输数据，保证传输效率的同时，可以降低系统布线复杂度，同时也实现了远程控制与管理，系统更加智能、高效且可靠性更高。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于三维视觉的机械臂控制系统，其特征在于，包括：

三维信息检测模块，所述三维信息检测模块采集待抓取物件的三维信息，并对所述三维信息进行整合处理，得到三维检测数据；

第一通信模块，所述第一通信模块接收所述三维检测数据并将其发出；

机械臂控制器，所述机械臂控制器接收所述三维检测数据，并根据所述三维检测数据分析待抓取物件的规格尺寸和放置姿态，进而发出抓取指令；

机械臂，所述机械臂接收抓取指令，并根据所述抓取指令向待抓取物件执行抓取动作；

外部计算机，所述外部计算机供用户录入操作指令；

第二通信模块，所述第二通信模块连接所述外部计算机与所述机械臂控制器；

存储器，所述存储器存储三维检测数据以及待抓取物件的规格尺寸和放置姿态数据。

2.根据权利要求1所述的一种基于三维视觉的机械臂控制系统，其特征在于，所述三维信息包括高度信息、长度信息、宽度信息以及待抓取物件中心距离机械臂坐标原点的距离信息。

3.根据权利要求1或2所述的一种基于三维视觉的机械臂控制系统，其特征在于，所述三维信息检测模块包括CCD传感器、激光测距模块以及图像处理单元，所述CCD传感器和所述激光测距模块均与所述图像处理单元电连接，所述图像处理单元还通过所述第一通信模块与所述机械臂控制器连接；

所述CCD传感器用于采集待抓取物件的图像数据，所述激光测距模块用于采集待抓取物件的长度、高度和宽度数据，并检测待抓取物件中心距离机械臂坐标原点的距离，所述图像处理单元用于对采集到的待抓取物件的图像数据、长度、高度和宽度数据以及待抓取物件中心距离机械臂坐标原点的距离进行预处理，使采集到的数据满足所述机械臂控制器的输入要求。

4.根据权利要求1所述的一种基于三维视觉的机械臂控制系统，其特征在于，所述第一通信模块具有LAN装置，所述第二通信模块具有USB设备。

5.根据权利要求1或4所述的一种基于三维视觉的机械臂控制系统，其特征在于，所述第二通信模块具有将所述外部计算机作为主机的从动设备。

6.根据权利要求1所述的一种基于三维视觉的机械臂控制系统，其特征在于，所述机械臂包括用于进行传动的舵机和用于对待抓取物件进行夹取的机械爪，所述舵机和机械爪分别与所述机械臂控制器连接。

7.根据权利要求6所述的一种基于三维视觉的机械臂控制系统，其特征在于，所述机械爪夹持端部内设有用于检测抓取力度的压力传感器，所述压力传感器与所述机械臂控制器连接。