CN103862477A - 一种自主抓物机械手的上位机控制方法 - Google Patents

Abstract

本发明公开了一种自主抓物的机械手上位机控制方法。是一种低成本的基于无线的机械手远程控制方法，将机械手与上位机无线控制相结合，通过完善的控制界面，远程控制机械手代替人来执行危险的任务或减轻繁重的人工劳动。上位机控制是在Windows下开发的图形界面，通过将各个功能模块化，写成具有单项功能的类，从而完成既定的功能。上位机远程控制界面包括：视频流显示主窗口、手动控制界面、机器视觉控制界面，在无线条件下，机械手有两种形式的上位机控制方法，一种是通过操作员对上位机的手动操作，实现对机械手的远程动作控制，为手动控制界面；另一种是上位机自动通过目标物的图像特征将其识别出来并进行自主抓物，为机器视觉控制界面。

Description

一种自主抓物机械手的上位机控制方法

技术领域

    本发明涉及一种自主抓物的机械手上位机控制方法，特别是涉及机械手的远程控制，属于机械手控制领域。

背景技术

机械手是近几十年来高速发展的工业装备，是仿照人手臂生理功能的机械结构，主要用于在工业制造，机器人研究等方面替代人来从事繁重的体力劳动或者是危险的工业生产活动。改善了操作者的劳动环境条件，保证了人身安全。因此，在军事国防，轻工业，机械制造业，电子行业，冶金行业等部门获得了广泛的应用。所以研究能自动控制的机械手和具有机器视觉的机械手将有十分广阔的应用前景。

目前国内现有的机械手控制方法，有的是现场的自动控制，却没有远程监控；有的虽是远程控制，其方法与本发明所述方法也截然不同。用常规方法进行的机械手控制与工业实际要求常常相差甚远。本发明的主要目的是设计一个车间安全机械手辅助系统，进而代替人去完成危险的工作，比如危险物品的安放、搬运，道路障碍的识别与清理等等，所以设计一个能在危险场合或者是强体力场合来减轻工人的体力劳动或者是降低工作的危险的机械手辅助系统是有很大的现实意义的。本发明就是将机械手与上位机无线控制相结合，通过完善的控制界面，远程控制机械手代替人来执行危险的任务或减轻繁重的人工劳动。

    为解决常规的机械手控制不能通过远程控制、掌握现场实际工况的问题，本发明设计了一种自主抓物的机械手上位机控制方法，形成了适用于复杂和危险工况的新型机械手远程控制方法，底层模块采用WiFi进行视频数据传输和控制数据通信，提高了操作员远程控制的自动化程度，能够很好地解决机械手的远程精确控制抓物问题。

发明内容

    本发明的目的在于提供一种能够通过远程精确操纵机械手，进行按类自主抓物的上位机控制方法。

为了解决上述技术问题，现提供一种自主抓物的机械手上位机控制方法，其特征在于：具有多自由度机械手、上位机、下位机、视频流显示主窗口、手动控制界面、机器视觉控制界面；其中手动控制界面包括视频流显示主窗口和手动操作手柄；机器视觉控制界面包括视频流显示主窗口、识别调试窗口、目标物位置值平均值滤波功能键、图像位置坐标实时显示数值框、识别物体位置坐标实时显示数值框、识别物体色彩分量特征框、连接服务器的IP地址输入框、端口号输入框；

该控制方法包括以下步骤：

步骤一、在无线条件下，自动辅助识别控制判断单元首先激活机器视觉控制界面，自动辅助识别控制单元开始工作；

步骤二、如果自动辅助识别控制单元无法识别目标物，或经过判断得出抓取成功率低于预定值，则执行步骤四，并将失败事件上传至上位机供开发人员改进控制方法，否则执行步骤三；

步骤三、上位机自动通过目标物的图像特征将其识别出来并控制多自由度机械手进行自主抓物；

步骤四，自动辅助识别控制判断单元发出警示音并激活手动控制界面，进行手动抓物操作；通过操作员对上位机的手动操作，实现对机械手的远程动作控制。

作为优选的技术方案，所述步骤三中自主抓物机械手的上位机控制方法具体为：上位机将采集回的视频流经过运算处理，将目标物的实时位置与机械手的位置进行对比，最终将得到的控制信号通过TCP/IP协议发送到下位机；调试识别目标物，将目标物的颜色特征、形状信息显示在调试识别窗口中，在该窗口中实时显示的是视频流显示主窗口中的图像滤波后的特征图；调整目标物的三基色分量来更准确地抓取目标物。

作为优选的技术方案，在调试的过程中对三基色的调节提供一些余量，让系统有更多的识别空间。

作为优选的技术方案，所述步骤四中手动抓物机械手的上位机控制方法具体为：在视频流地址栏输入地址后，连接到下位机上的视屏流服务器，当连接成功后则在视频流显示主窗口显示现场的图像信息；然后打开手动操作手柄进行手动远程控制机械手；手动控制的方式是利用拖动滑动条的形式，操作机械手的各个自由度的运动，当调节各个自由度运动时，需要考虑到每个自由度的PWM波的取值范围，在调试过程中，确定每个舵机的起始值和终止值，然后再赋给滑动条对象的最大和最小属性。

作为优选的技术方案，所述视频流显示主窗口为手动控制界面和机器视觉控制界面共用。

作为优选的技术方案，所述视频流显示主窗口中内嵌网络视频数据接收模块。

作为优选的技术方案，所述机器视觉控制界面中的识别调试窗口内嵌控制数据传输模块。

作为优选的技术方案，为防止机械手加持部分的机械结构松动导致机械手的手指间错位，在机械手的手指上涂上热熔胶，以增加所述手指的摩擦力和宽度。

所述上位机控制方法中，上位机控制是在Windows下开发的图形界面，通过将各个功能模块化，写成具有单项功能的类，从而完成既定的功能。上位机远程控制界面包括：视频流显示主窗口、手动控制界面、机器视觉控制界面，在无线条件下，机械手有两种形式的上位机控制方法，一种是通过操作员对上位机的手动操作，实现对机械手的远程动作控制，为手动控制界面；另一种是上位机自动通过目标物的图像特征将其识别出来并进行自主抓物，为机器视觉控制界面。手动控制界面，包括：视频流显示主窗口和手动操作手柄；机器视觉控制界面，包括：视频流显示主窗口、识别调试窗口、目标物位置值平均值滤波功能键、图像位置坐标实时显示数值框、识别物体位置坐标实时显示数值框、识别物体色彩分量特征框、连接服务器的IP地址输入框、端口号输入框。

进一步：视频流显示主窗口为手动控制界面和机器视觉控制界面共用。

进一步：视频流显示主窗口中内嵌网络视频数据接收模块。控制机械手的上位机需要接收来自视频服务器的远程视频流。而视频流服务器是由S3C6410构成的WEB服务器，并通过CMOS摄像头获得原始的视频信号，此视频信号是经过压缩的，格式为mjpg的视频流。因此在上位机需要有解码mjpg视频的播放器。这个播放器就是在控制终端上呈现现场图像视频流的主窗口。而完成视频流接收和显示的模块是由VideoSoucePlayer类完成的，需要在程序代码中引用AForge.Control命名空间。

进一步：机器视觉控制界面中的识别调试窗口内嵌控制数据传输模块。每当接收一帧图像数据，都会触发对视频处理的方法，本发明完成的自动识别功能是通过VideoSourcePlayer类的playerControl_NewFrame()事件内部完成的。上位机通过网络发送控制数据，需要建立一个可以进行网络数据传输的服务端和客户端。由于舵机的控制方式是采用输出位置信号的方法，所以上位机要传出的控制数据是封装好的位置数据。数据包的协议是“#+舵机号+P+位置数据+\r\n”，上位机发送的控制信号是用string字符串类型的缓冲区处理的。处理完数据后再通过Encoding.ASCII.GetBytes()方法转换为字节数据流发送到下位机。

进一步：在调试的过程中，由于机械手加持部分的机械结构的松动往往会导致“两指”间错位，这是降低抓物成功率的主要障碍之一。本发明的解决办法是在机械手的“两指”上涂上热熔胶，以增加“手指”的摩擦力和宽度。

本发明的有益效果是，上位机控制界面是整个机械手控制系统的操作平台，完成远程的命令发送，以及现场视频流数据的采集。在对视频流信号进行处理的过程中，由于光线强弱、物品形状的规则程度等原因会造成干扰，需要对采集到的信号进行滤波处理和物块识别。将要识别和抓取的目标物的大小颜色特征作为最终的处理结果，进而通过PC上位机运算将控制信号的命令通过TCP/IP协议发送到下位机ARM11开发板。当形状和颜色特征被准确地识别后，机械手会自动通过闭环反馈的方式将手指指向目标物，并且抓取到对应的目标。该方法能够自动切换手动控制状态和自动控制状态，兼顾自动控制的效率和手动控制的精确性，而现有技术中通常只采用手动控制或自动控制，二者间的切换也是靠人工完成，智能化程度低，效率较低。

附图说明

图1是本发明上位机控制端软件整体方案流程图；

图2是本发明上位机手动控制界面设计运行图；

图3是本发明上位机机器视觉控制界面设计运行图；

图4是本发明最终的上位机控制界面图；

图5是一种自主抓物的机械手上位机控制方法下机械手成功抓取目标物。

具体实施方式

实施例1

在图1中，1-启动界面；2-是否输入视频流地址判断；3-输入网络视频流地址；4-视频流服务器网络连接；5-显示监控界面；6-是否输入控制地址判断；7-输入控制地址；8-控制信号服务器网络连接；9-是否自动辅助识别控制判断；10-自动辅助识别控制；11-手动控制；12-关闭程序。

本发明一种自主抓物机械手的上位机控制方法，提出新的PC机远程控制机械手方法。

手动抓物机械手的上位机控制方法：图2是上位机手动控制界面设计运行图，在视频流地址栏输入地址后，就会连接到开发板上的mjpg-steamer服务器。当连接成功后则在视频流显示主窗口显示现场的图像信息。然后打开手动操作手柄进行手动远程控制机械手。手动控制的方式是利用拖动滑动条的形式，可以操作机械手的各个自由度的运动。当调节各个自由度运动时，需要考虑到每个自由度的PWM波的取值范围，所以调试过程中，需要确定每个舵机的起始值和终止值，然后再赋给滑动条对象的最大和最小属性。

实施例2

1-启动界面；2-是否输入视频流地址判断；3-输入网络视频流地址；4-视频流服务器网络连接；5-显示监控界面；6-是否输入控制地址判断；7-输入控制地址；8-控制信号服务器网络连接；9-是否自动辅助识别控制判断；10-自动辅助识别控制；11-手动控制；12-关闭程序。

本发明一种自主抓物机械手的上位机控制方法，提出新的PC机远程控制机械手方法。

自主抓物机械手的上位机控制方法：图3是上位机机器视觉控制界面设计运行图，上位机将采集回的视频流经过运算处理，将目标物的实时位置与机械手的位置进行对比，最终将得到的控制信号通过TCP/IP协议发送到下位机ARM11开发板。在调试识别目标物的过程中，需要将目标物的颜色特征、形状信息显示在调试识别窗口中，在该窗口中实时显示的是视频流显示主窗口中的图像滤波后的特征图。这样有利于得知现在识别的目标物是否是需要自动抓起的对象。同时可以调整目标物的三基色分量来更准确地抓取目标物。

由于在抓物的过程中，摄像头随着机械手的移动，会造成光线的变化，导致抓物不准。所以在调试的过程中需要将三基色的调节提供一些余量，让系统有更多的识别空间。

图4是本发明最终的上位机控制界面图，综合上位机机器视觉控制和手动控制两方面的功能，使得两种方式交相辉映，互相弥补不足，最终使上位机控制界面实现了统一。图5是在本发明机械手上位机控制方法下机械手成功抓取目标物的演示图。

Claims (8)

1.一种自主抓物的机械手上位机控制方法，其特征在于：具有多自由度机械手、上位机、下位机、视频流显示主窗口、手动控制界面、机器视觉控制界面；其中手动控制界面包括视频流显示主窗口和手动操作手柄；机器视觉控制界面包括视频流显示主窗口、识别调试窗口、目标物位置值平均值滤波功能键、图像位置坐标实时显示数值框、识别物体位置坐标实时显示数值框、识别物体色彩分量特征框、连接服务器的IP地址输入框、端口号输入框；

该控制方法包括以下步骤：

步骤一、在无线条件下，自动辅助识别控制判断单元首先激活机器视觉控制界面，自动辅助识别控制单元开始工作；

步骤二、如果自动辅助识别控制单元无法识别目标物，或经过判断得出抓取成功率低于预定值，则执行步骤四，并将失败事件上传至上位机供开发人员改进控制方法，否则执行步骤三；

步骤三、上位机自动通过目标物的图像特征将其识别出来并控制多自由度机械手进行自主抓物；

步骤四，自动辅助识别控制判断单元发出警示音并激活手动控制界面，进行手动抓物操作；通过操作员对上位机的手动操作，实现对机械手的远程动作控制。

2.根据权利要求1所述的一种自主抓物的机械手上位机控制方法，其特征在于：所述步骤三中自主抓物机械手的上位机控制方法具体为：上位机将采集回的视频流经过运算处理，将目标物的实时位置与机械手的位置进行对比，最终将得到的控制信号通过TCP/IP协议发送到下位机；调试识别目标物，将目标物的颜色特征、形状信息显示在调试识别窗口中，在该窗口中实时显示的是视频流显示主窗口中的图像滤波后的特征图；调整目标物的三基色分量来更准确地抓取目标物。

3.根据权利要求2所述的一种自主抓物的机械手上位机控制方法，其特征在于：在调试的过程中对三基色的调节提供一些余量，让系统有更多的识别空间。

4.根据权利要求1所述的一种自主抓物的机械手上位机控制方法，其特征在于：所述步骤四中手动抓物机械手的上位机控制方法具体为：在视频流地址栏输入地址后，连接到下位机上的视屏流服务器，当连接成功后则在视频流显示主窗口显示现场的图像信息；然后打开手动操作手柄进行手动远程控制机械手；手动控制的方式是利用拖动滑动条的形式，操作机械手的各个自由度的运动，当调节各个自由度运动时，需要考虑到每个自由度的PWM波的取值范围，在调试过程中，确定每个舵机的起始值和终止值，然后再赋给滑动条对象的最大和最小属性。

5.根据权利要求1所述的一种自主抓物的机械手上位机控制方法，其特征在于：所述视频流显示主窗口为手动控制界面和机器视觉控制界面共用。

6.根据权利要求1所述的一种自主抓物的机械手上位机控制方法，其特征在于：所述视频流显示主窗口中内嵌网络视频数据接收模块。

7.根据权利要求1所述的一种自主抓物的机械手上位机控制方法，其特征在于：所述机器视觉控制界面中的识别调试窗口内嵌控制数据传输模块。

8.根据权利要求1所述的一种自主抓物的机械手上位机控制方法，其特征在于：为防止机械手加持部分的机械结构松动导致机械手的手指间错位，在机械手的手指上涂上热熔胶，以增加所述手指的摩擦力和宽度。

Images