CN108544492B - 一种基于视觉系统的全向移动机械臂 - Google Patents

Abstract

本发明公开了一种基于视觉系统的全向移动机械臂，包括终端设备、重力加速度传感器模块、wifi模块、视频采集模块、机械臂及移动小车。与普通机械手相比，本发明最大的不同在于移动小车和机械手的操控方式。本发明可以通过如鼠标和手势控制来控制小车的移动，重力加速度传感器模块感应人对手机的操作动作，将这些动作转换成控制命令，经过无线数据传输的方式对机械手远程操作与控制，并且可以实时返回视频信号，监测机械臂周围环境。

Description

一种基于视觉系统的全向移动机械臂

技术领域

本发明属于工程器械，智能机器人领域，可在一些危险的(比如矿井，危险化学品容器内)、不适宜人体的环境(高温、严寒)，以及人体无法进入的狭小空间内(比如管道)，用机械装置取代人进行作业。

背景技术

目前国内外对机械臂的研究很多都是靠机器人的自主化对其进行控制，应该说这样的研究在国内外已经发展到一定的阶段。在“美伊”战争中，美国派出一批可侦查的高度智能机器人，由于完全由机器人“自作主张”，对一些并非可疑的对象进行袭击，一个月后便被全部撤回。可见，完全的由机器人自主运行，还达不到最佳的效果。虽然对于机械手的研究已经不是一个全新的课题，但是对其操作监控的准确性、实用性及现代化依然是我们不断探索的问题，人与机器人之间的互动问题变得越来越重要，如何规划人机结合成为实现人机共存的重要一步。

发明内容

本发明的目的是解决人类在恶劣环境下无法渗入情况下，只能依靠机械臂来完成作业任务，通过改进传统的遥控控制机器的方式，更多是通过人机互动方式对机器臂进行操控，如鼠标控制，手势控制等。同时，赋予机械臂机器视觉，通过算法处理机械臂在移动过程中的图像数据，使之具有智能避障，智能路径规划等功能，让机械臂像人一样具备思考与决策的能力。

如图1所示的本发明全向移动机械臂整个系统的原理框图，所述全向移动机械臂包括终端设备、重力加速度传感器模块、wifi模块、视频采集模块、机械臂机构及移动小车。

发明的创意在于一些危险的(比如矿井，危险化学品容器内)、不适宜人体的环境(高温、严寒)，以及人体无法进入的狭小空间内(比如管道)，用机械装置取代人进行作业是必要的。本系统与普通机械手相比，最大的不同在于移动小车和机械手的操控方式。本发明通过鼠标来控制小车的移动，重力加速度传感器感应人对手机的操作动作，将这些动作转换成控制命令，经过无线数据传输的方式对机械手远程操作与控制，并且可以实时返回视频信号，监测机械臂周围环境，顺利实现避障和路径规划。

本发明包括系统设计与软件设计两个部分，其中系统设计有包含机械结构设计与全向轮移动机器人运动数学模型、运动路径规划、硬件电路设计。软件设计包括全向移动小车运动控制程序的设计、机械臂运动控制程序的设计和android应用程序的设计三部分。具体设计如下面所述：

机械结构设计

机械结构设计包括全向轮移动平台设计、机械臂设计、抓取装置设计，并通过激光切割、3D打印等设备加工。

全向移动结构设计

本发明采用全向轮式移动机构，是采用独特设计三个全向轮组成的具有完整约束(即不含不可积的运动约束)的行走机构，采用这种机构的机器人在瞬时运动时不受约束，因此可以克服传统的双轮差动机构相对于轮面垂直运动时必须先转向的缺点，以实现平面上任意方向的瞬时运动。

机械臂结构设计

机械臂采用三自由度，实现移动空间范围内的上下、前后、水平旋转运动。机械臂的结构不同于传统设计，伺服电机并不是安装在各个关节处，通过设计结构的创新将三个伺服电机全部安装在机械臂底部，降低了机械臂的重心，提高了运动的灵活，减小成本，增大了机械臂的抓取负载能力。

机械爪结构设计

采用一个伺服电机驱动一个齿轮组，闭合时，齿轮组向内转动，打开时，齿轮组向外转动，控制机械爪的抓取动作。

全向轮移动机器人运动数学模型

在建立机器人的运动模型前，先做以下假设：

(1)小车是在一个理想的平面上运动，地面的不规则可以忽略；

(2)小车是一个刚体，形变可以忽略；

(3)轮子和地面之间满足纯滚动的条件，没有相对滑动。

(4)机器人底盘重心在电机轴线中心上，各个全向轮的中心在同一分布圆上。

全方位移动机器人由3个全向轮作为驱动轮，三个轮子之间的夹角互为120度，其简化运动学模型如下图8所示。在机器人坐标系下，假设机器人以偏角α做直线运动，机器人运动速度为V，d为全向轮中心到机器人质心的距离，自转角速度为

三个轮子的转速为：

当

时，机器人进行平动的运动方式，当

机器人进行自转。

运动路径规划

全向移动机械臂的路径规划是指在工作区使机器人从当前位置按照某一要求无碰撞的到达指定位置，并满足其自身姿态等其他条件。本系统通过实时返回的无线视频信号，监测机械臂周围环境并寻找目标，利用全向轮的优势，机械臂无需大幅度转向便可直线到达指定目标点，顺利实现避障和路径规划。

硬件电路设计

硬件电路设计包括：三个电机进行闭环控制电路，机械臂控制电路，电源供电电路，视频采集电路等。硬件电路结构框图如图9所示,电路主板如图10所示。

电源模块

系统的供电采用LM2596芯片供电，输出5V，最大电流3A，为了改善控制器供电质量，采用单独一块LM2596为控制器供电。其余数字芯片由一块LM2596供电。电路原理图如图11所示。

电机闭环控制电路

电机闭环控制电路由控制器、L298驱动芯片、光电测速电路。控制器采用Atmel公司的ATmega2560控制器。工作电压为5V，具有54路数字输入/输出口(其中16路可作为PWM输出)，16路模拟输入，6路外部中断，4路UART接口，一个SPI接口本项目总共需要8路独立PWM输出，并且考虑进一步的功能改进，因此选择此控制器，PWM和IO口较为丰富。

电机驱动电路主要由光耦合器，L298驱动芯片，IN4007组成。电路原理图如图12所示。

视频采集电路

RTC6701和RTC6711是2.4GHzFM宽频无线影声发送和接收芯片，频段范围为2400-2483.5MHz，可在有限空阔范围内传输双声道音频和高清晰视频，接收模块具有高灵敏度、高画质、高分辨率及低功耗等特性，发射模块具有高发射功率、高分辨率、低噪声、低二次谐振及低功率消耗等特性。芯片内部集成集成VCO、PLL、宽带FM视频解调及FM伴音载频功能，模块体积小，电路实现简单。如图13所示是视频发送模块电路原理图，如图14所示是视频接收模块电路原理图，可以通过拨码开关SW实现8个无线传输频道之间的切换，在进行视频传输时，要保证发送模块的频道和接收模块的频道一致。

软件设计

软件设计包括全向移动小车运动控制程序的设计、机械臂运动控制程序的设计和android应用程序的设计三部分。

全向移动小车运动控制

鼠标控制小车的工作状况下，全向移动小车运动控制为转速闭环控制。鼠标感应到人的操作后，电脑将指令通过wifi发送给小车，小车上的wifi模块收到指令后，发送给底层运动控制器，控制器将命令转换成对应的运动速度(大小、方向)，通过轮速的分解模型获得各个电机对应的转速和转向，经过各个电机的转速PID控制，最终合成期望的运动。运动控制系统模型如图15所示，程序流程图如图16所示。

如下图17所示是鼠标控制小车运动的功能图。鼠标的滑轮控制小车的前进和后退，当滑轮向前滑动时，小车向前做直线运动，当滑轮向后滑动时，小车向后做直线运动；鼠标的左键控制小车向左旋转，鼠标的右键控制小车向右旋转；鼠标向左移动时，小车向左作直线运动，鼠标向右移动时小车向右作直线运动。

机械臂运动控制

手持设备(手机)内的重力加速度传感器感应人手对手机的操作姿态，通过wifi将相应指令发送给底层运动控制器，控制器将命令转换成三个伺服电机对应的转动角度。机械臂运动控制系统模型如图18所示，小车静止状态下，机械臂能够触及范围如图19所示，机械臂运动控制程序流程图如图20所示。

android应用程序

android程序控制分为两部分：按键控制机械爪和重力加速度感应控制机械臂运动。手机控制机械臂如下图21所示，android程序流程图如图22所示。

本发明的有益效果在于：与普通机械手相比，最大的不同在于移动小车和机械手的操控方式，在现有技术中一般通过遥控器直接对机械手进行控制，这样做面临遥控器控制按键较多，控制比较复杂，无法精准操控等诸多问题。本发明受到了传统的遥控器控制的启发，将鼠标控制和手势控制用在机械臂控制领域，因为鼠标控制与手势控制具备以下优点，1：操作简单，用户只需要根据视频中机械臂的位置信息移动鼠标或滚动滑轮就可以完成机械臂的方位移动，而无须通过遥控器上复杂的按钮操作；2：操作更加的智能化、人性化，用户能够通过视频摄像头摆出不同的手势，终端控制器能通过现有的智能算法识别出人体的手势信息，并把解析出来的手势信息转换成相关的控制命令，将控制命令传达给机械臂，从而达到手势控制机械臂做出相应的动作；3：用户可以通过手势识别和鼠标同时操作机械臂，因为有些任务要求机械臂的运动比较精准，单独通过一种方式难以做出精准的方位判断，极有可能出现位置等偏差，这些偏差有可能很小，但是却是致命的，比如所螺丝没法对准螺丝孔，机械臂无法对准物体等。而加入这种联合操控的方式，机械臂的控制将变得更加精准。用户可以先通过鼠标将机械臂移动到目标附近，再通过手势识别对机械臂进行微调。发明这种控制方式使得用户能够精准操控机械臂。

综上所述，本发明通过鼠标和手势来控制小车的移动，重力加速度传感器模块感应人对手机的操作动作，将这些动作转换成控制命令，经过无线数据传输的方式对机械手远程操作与控制，并且可以实时返回视频信号，监测机械臂周围环境。本发明中使用的重力加速度传感器模块、无线传输模块、视频发送模块都是现有技术，本发明把这些模块整合到了一块实现全向移动机械臂的设计，这些模块的都是整个系统的组成部分。本发明创新点之处在于，机械臂上的视觉系统，实时将视频图像传回，终端可以通过鼠标和手势识别精准控制机械臂，这种基于视觉的联合控制方法是本发明的独到之处，这种方式较传统的遥控器控制具备上述的3个优势特点，目前现有技术未将这两种技术结合使用，并且用于机械臂的控制上。

附图说明

图1是本发明整个全向移动机械臂系统的原理框图。

图2是本发明全向轮式移动机构模型图。

图3是本发明全向轮式移动机构实物图。

图4是本发明机械臂模型图。

图5是本发明机械臂实物图。

图6是本发明机械爪模型图，

图7是本发明机械爪实物图。

图8所示是本发明全向移动机械臂的运动模型图。

图9是系统硬件电路框图。

图10是主电路原理图。

图11是电源模块电路原理图

图12是电机驱动电路原理图

图13是视频发送模块电路原理图

图14是视频接收模块电路原理图

图15是移动小车运动控制系统模型

图16是移动小车运动控制程序流程图

图17是鼠标控制小车运动功能图

图18是机械臂运动控制系统模型

图19是小车静止状态下，机械臂触及范围示意图

图20是机械臂运动控制程序流程图

图21是手机控制机械臂功能图

图22是Android应用程序流程图

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本实用新型没有特别限制内容。

在本发明的一个具体实施方式中，手机内置重力加速度传感器模块和wifi模块，人手对鼠标的操作远程控制移动小车的运动，重力加速度传感器模块可以感应人手握持手机的姿态，通过wifi发送姿态命令来控制机械臂机构的动作，编写的安卓应用程序的按键来控制机械手的抓取和松开，机械臂机构上安装有摄像头，实时观测机械臂周围的环境，视频信号通过FM调制，在电脑显示器上可以看到返回的实时画面，方便机械臂找到目标，并实现顺利避障和路径规划。

所述机械臂机构包括全向轮移动机构、机械臂结构、机械爪。所述机械臂机械结构可通过激光切割、3D打印等设备加工。

其中，所述全向轮式移动机构包括独特设计的三个全向轮组成的具有完整约束(即不含不可积的运动约束)的行走机构。采用这种机构的机器人在瞬时运动时不受约束，因此可以克服传统的双轮差动机构相对于轮面垂直运动时必须先转向的缺点，以实现平面上任意方向的瞬时运动。如图2所述是本发明全向轮式移动机构的模型图，图3是本发明全向轮式移动机构的实物图。

其中，所述机械臂机构采用三自由度，实现移动空间范围内的上下、前后、水平旋转运动。本发明机械臂结构不同于传统设计，伺服电机并不是安装在各个关节处，通过设计结构的创新将三个伺服电机全部安装在机械臂机构底部，根据结构力学，机械臂机构底部附着了物体后，重心会往机械发生改动的位置偏移，从而设计降低了机械臂机构的重心，减轻了机械臂的重量，提高了机械臂运动的灵活，机械臂负荷的减少可以降低成本，能更大程度发挥伺服电机的作用，将伺服电机的最大程度转换，从而增大机械臂的抓取负载能力。如图4所示是机械臂的模型图，图5是机械臂的实物图。

其中，所述机械爪采用一个伺服电机驱动一个齿轮组，闭合时，齿轮组向内转动，打开时，齿轮组向外转动，控制机械爪的抓取动作。如图6所示是机械爪的模型图，图7是机械爪的实物图。

全向轮移动机器人运动数学模型：

在建立机器人的运动模型前，先做以下假设：

(1)小车是在一个理想的平面上运动，地面的不规则可以忽略；

(2)小车是一个刚体，形变可以忽略；

(3)轮子和地面之间满足纯滚动的条件，没有相对滑动。

(4)机器人底盘重心在电机轴线中心上，各个全向轮的中心在同一分布圆上。

全方位移动机器人由3个全向轮作为驱动轮，三个轮子之间的夹角互为120度，其简化运动学模型如下图8所示。在机器人坐标系下，假设机器人以偏角α做直线运动，机器人运动速度为V，d为全向轮中心到机器人质心的距离，自转角速度为

三个轮子的转速为：

当

时，机器人进行平动的运动方式，当

机器人进行自转。

运动路径规划

全向移动机械臂的路径规划是指在工作区使机器人从当前位置按照某一要求无碰撞地到达指定位置，并满足其自身姿态等其他条件。本发明全向移动机械臂系统通过实时返回的无线视频信号，监测全向移动机械臂周围环境并寻找目标，利用全向轮的优势，机械臂无需大幅度转向便可直线到达指定目标点，顺利实现避障和路径规划。

对本发明所述全向移动机械臂的控制操作，包括：

(1)获取PC鼠标的平面位移向量，输入三轮全向运动模型，输出三个电机的转速转向。

(2)通过android手机重力感应获取手势命令，输入机械臂运动模型，逆向求解，输出三个伺服电机的转角，由此对机械手远程控制。

(3)通过android手机对手势图像进行处理，获取控制命令，经过wifi对机械手控制。

如图2，3所示，本发明采用全向轮式移动机构，是采用独特设计三个全向轮组成的具有完整约束(即不含不可积的运动约束)的行走机构，采用这种机构的机器人在瞬时运动时不受约束，因此可以克服传统的双轮差动机构相对于轮面垂直运动时必须先转向的缺点，以实现平面上任意方向的瞬时运动。

如图4，5所示，机械臂采用三自由度，实现移动空间范围内的上下、前后、水平旋转运动。机械臂的结构不同于传统设计，伺服电机并不是安装在各个关节处，通过设计结构的创新将三个伺服电机全部安装在机械臂底部，降低了机械臂的重心，提高了运动的灵活，减小成本，增大了机械臂的抓取负载能。

如图6，7所示，采用一个伺服电机驱动一个齿轮组，闭合时，齿轮组向内转动，打开时，齿轮组向外转动，控制机械爪的抓取动作。

如图8所示，是机器人在三个方位的数学运动体系的建模。

如图9，10所示，硬件电路设计包括：三个电机进行闭环控制电路，机械臂控制电路，电源供电电路，视频采集电路等。

如图11所示，系统的供电采用LM2596芯片供电，输出5V，最大电流3A，为了改善控制器供电质量，采用单独一块LM2596为控制器供电。其余数字芯片由一块LM2596供电。

如图12所示，电机驱动电路主要由光耦合器，L298驱动芯片，IN4007组成。

如图13，14所示，RTC6701和RTC6711是2.4GHzFM宽频无线影声发送和接收芯片，频段范围为2400-2483.5MHz，可在有限空阔范围内传输双声道音频和高清晰视频，接收模块具有高灵敏度、高画质、高分辨率及低功耗等特性，发射模块具有高发射功率、高分辨率、低噪声、低二次谐振及低功率消耗等特性。芯片内部集成集成VCO、PLL、宽带FM视频解调及FM伴音载频功能，模块体积小，电路实现简单。

如图15，16所示，鼠标控制小车的工作状况下，全向移动小车运动控制为转速闭环控制。鼠标感应到人的操作后，电脑将指令通过wifi发送给小车，小车上的wifi模块收到指令后，发送给底层运动控制器，控制器将命令转换成对应的运动速度(大小、方向)，通过轮速的分解模型获得各个电机对应的转速和转向，经过各个电机的转速PID控制，最终合成期望的运动。

如图17所示，鼠标控制小车运动的功能图。鼠标的滑轮控制小车的前进和后退，当滑轮向前滑动时，小车向前做直线运动，当滑轮向后滑动时，小车向后做直线运动；鼠标的左键控制小车向左旋转，鼠标的右键控制小车向右旋转；鼠标向左移动时，小车向左作直线运动，鼠标向右移动时小车向右作直线运动。

如图18，19，20所示，手持设备(手机)内的重力加速度传感器感应人手对手机的操作姿态，通过wifi将相应指令发送给底层运动控制器，控制器将命令转换成三个伺服电机对应的转动角度。

如图21，22所示，android控制程序分为两部分：按键控制程序，用于控制机械爪；重力加速度感应控制程序，用于控制机械臂运动。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (7)

1.一种基于视觉系统的全向移动机械臂，其特征在于，包括：终端设备、重力加速度传感器模块、wifi模块、视频采集模块、机械臂机构及移动小车；其中，

所述终端设备内置所述重力加速度传感器和所述wifi模块，对所述终端设备的操作远程控制所述移动小车的运动；

所述重力加速度传感器可以感应所述终端设备的姿态，通过wifi发送姿态命令来控制所述机械臂机构的动作，所述终端设备的按键来控制所述机械臂的抓取和松开；

所述wifi模块作为数据和指令传播的载体，时刻与所述终端设备和所述重力加速度传感器模块以及所述机械臂机构保持通信状态；

所述视频采集模块，通过所述机械臂机构上的摄像头，实时观测周围的环境，视频信号通过FM调制，在电脑显示器上可以看到返回的实时画面，方便找到目标，并实现顺利避障和路径规划；

所述机械臂机构通过wifi模块接受到了控制指令，所述机械臂会根据相应的控制指令执行相关的动作；所述机械臂机构包括：全向轮移动机构、机械臂、机械爪；

其中，所述全向轮式移动机构包括由全向轮组成的具有完整约束的行走机构；

其中，所述机械臂采用三自由度，实现移动空间范围内的上下、前后、水平旋转运动；

其中，所述机械爪采用伺服电机驱动齿轮组，闭合时，齿轮组向内转动，打开时，齿轮组向外转动，控制机械爪的抓取动作；

所述移动小车上装载了视频发送模块和wifi模块，通过模块接收到所述终端设备发送的指令，控制运动，同时移动小车上装载所述机械臂机构；

所述机械臂机构上的视觉系统实时将视频图像传回，所述终端设备通过鼠标和手势识别控制所述机械臂机构。

2.如权利要求1所述的基于视觉系统的全向移动机械臂，其特征在于，所述终端设备包括手机。

3.如权利要求1所述的基于视觉系统的全向移动机械臂，其特征在于，所述伺服电机安装在所述机械臂的底部。

4.如权利要求1所述的基于视觉系统的全向移动机械臂，其特征在于，所述全向轮移动机构的运动数学模型：

全方位移动机器人由3个全向轮作为驱动轮，三个轮子之间的夹角互为120度，假设机器人以偏角α做直线运动，机器人运动速度为V，d为全向轮中心到机器人质心的距离，自转角速度为

则三个轮子的转速为：

当

时，机器人进行平动的运动方式；当

机器人进行自转。

5.如权利要求1所述的基于视觉系统的全向移动机械臂，其特征在于，所述终端设备控制移动小车的工作状况下，所述移动小车运动控制为转速闭环控制；所述终端设备感应到操作后，将指令通过wifi模块发送给小车，所述移动小车上的wifi模块收到指令后，发送给底层运动控制器，所述底层运动控制器将命令转换成对应的运动速度，所述运动速度包括大小和方向，通过轮速的分解模型获得各个伺服电机对应的转速和转向，经过各个伺服电机的转速PID控制，合成期望的运动。

6.如权利要求1所述的基于视觉系统的全向移动机械臂，其特征在于，所述终端设备内的重力加速度传感器感应操作姿态，通过wifi模块将相应指令发送给底层运动控制器，所述底层控制器将命令转换成三个伺服电机对应的转动角度。

7.如权利要求1所述的基于视觉系统的全向移动机械臂，其特征在于，所述终端设备内置控制程序包括：按键控制程序和重力加速度感应控制程序。

Images