CN1440856A - Internet的网上遥操作机器人对弈的控制系统 - Google Patents

Abstract

本发明涉及遥操作机器人对弈的控制，尤其是一种基于Internet的网上遥操作机器人对弈的控制系统。遥操作通常采用的传输媒体主要有专线网络、局域网、无线网络和Internet等。由于网络传输具有时延性，会使机器人控制系统不稳定，为此，本发明提出如下技术方案：基于INTERNET网，采用独特的系统构建方式(构建在通用工业总线上的分布式分级实时控制)和对弈机构，多主方式，并采用了非破坏性总线裁决机制，从客户端实现方式上包括两种对弈模式：web通用界面和在本地进行对弈(C/S)。利用鼠标键盘和游戏操纵杆完成对弈操作。有益效果：将不同类型的机器人操作手进行组合和任务分配，系统运行状态可远程监控，控制方法和对弈策略可以实时变更，对弈结果可及时评估。

Description

INTERNET的网上遥操作机器人对弈的控制系统

技术领域

本发明涉及遥操作机器人对弈的控制系统，尤其是一种基于Internet的网上遥操作机器人对弈的控制系统，属于机器人技术领域。

背景技术

由于应用环境的复杂化和作业任务需求的推动，基于网络环境的遥操作机器人技术的发展和应用方兴未艾。一般地，机器人遥操作通常采用的传输媒体主要有专线网络、局域网、无线网络和Internet等。执行的主要作业任务包括主从操作、定位装配、双臂协调作业等，其应用领域主要包括远程装配、远程探险、远程医疗和远程服务等。由于网络传输具有时延性，这种时延是时变的，不可建模的，而且随着网络和通讯环境的不同而变化，特别严重的情况是基于Internet的机器人遥操作。网络的时延会使机器人控制系统不稳定，给机器人遥操作系统的实时控制带来困难。目前学术研究领域正在尝试使用各种控制方法和控制手段，解决基于Internet的遥操作机器人控制中的问题，并且开发出了各种不同的机器人实验装置和控制系统。主要包括如下几类：第一，基于传统控制方法和通讯手段改进的遥操作控制系统，主要解决遥操作系统中的时延、轨迹规划等问题等，如，滑模控制、阻抗控制方法以及基于“推”(PUSH)的通讯技术、基于CORBA的分布式结构等；另一类是基于任务的机器人遥操作控制系统，这类系统采用监督控制模式，将监督指令作为任务执行，避免了网络时延或网络通讯中断带来的系统不稳定，如基于Petri网的遥操作控制系统等；第三类是采用各种传感器和虚拟现实技术辅助控制，补偿网络时延带来的影响，完成各种遥操作任务，如基于视觉传感的遥操作系统等。此外，还有基于不同计算机通讯技术的遥操作控制系统，其出发点是补偿和降低网络延迟的影响。以上系统一般都采用各种改进的控制手段或方法，解决机器人遥操作的基本作业问题，如远程装配、双臂协调等。

基于Internet的机器人遥操作系统存在着传输时延性，这种时延严重地影响着机器人实时控制系统的稳定性，甚至使控制失败，因此，目前大部分的遥操作机器人系统的主要工作是采用各种实时控制或补偿方法，解决这个问题并完成一些基于Internet的基本遥操作任务，如远程定位安装、远程焊接和双臂协调等作业。

发明内容

为了解决现有机器人遥操作系统存在着传输时延以及远程定位安装、远程焊接和双臂协调等作业等问题，本发明提出如下技术方案：我们所发明的基于INTERNET的网上对弈机器人系统，采用了独特的系统构建方式和对弈机构，机器人对弈控制系统是构建在通用工业总线上的分布式分级实时控制系统。这种总线可以采用CAN总线、PCI总线或PROFIBUS-DP等，由于它们具有较强的纠错能力，支持差分收发，因而适合高噪声环境，并具有较远的传输距离(直接通讯距离最远可达10km以上)，可以实现多主方式工作，总线节点信息(节点数最离(直接通讯距离最远可达10km以上)，可以实现多主方式工作，总线节点信息(节点数最多可达100个以上)可分成不同的优先级，并采用了非破坏性总线裁决机制，能够满足分布式分级机器人对弈系统的控制要求。遥操作对弈系统从客户端实现方式上包括两种对弈模式：一种是基于web通用界面的对弈方式(B/S)；另一种是通过专用的客户端在本地进行对弈(C/S)。并运用了先进的控制方法、辅助视觉传感技术和三维仿真技术，完成复杂的、带有竞争性和策略性的机器人操作手的远程实时对弈任务。三维图形仿真系统可以工作在两个模式之下：在线模式和离线模式。对弈者基于网络环境在客户机(10)(12)上，利用鼠标键盘和游戏操纵杆完成对弈操作，同时通过客户机上的实时仿真环境辅助进行对弈操作，并通过对弈现场CCD摄像机(5)传来的视频信息形象化地了解对弈结果。

本发明的有益效果：相较于现存的机器人遥操作系统，新技术的优越性及技术效果表现在：采用了一种新颖的机器手分布式分级控制方式，基于Internet，将不同类型的、六自由度工业机器人操作手进行组合和任务分配，同时，引入了一个可配置的对弈机构作为任务平台，使得整个机器人系统具有9+9+7+1个自由度；系统采用了先进的控制方法、辅助视觉传感技术和仿真技术；系统运行状态可远程监控，控制方法和对弈策略可以实时变更，对弈结果可以及时评估；该系统可以提供多种更加复杂的协调作业任务环境，用以研究或开发遥操作系统的控制应用。

附图说明图1：网上对弈机器人系统体系结构示意图图2：控制系统控制流程图图中1—监督仲裁机器手  2—对弈机器手  3—工业总线  4—对弈环境  5—CCD摄像机(其中安装在“1”上的为主动CCD摄像机，另一个为全局CCD摄像机)  6—机器人控制器  7—图像服务器  8—机器人服务器  9—WEB服务器  10—本地对弈客户机11—INTERNET网  12—远程对弈客户机

具体实施方式

下面结合附图对本发明的体系结构、组成和控制系统及其工作过程说明如下：

遥操作对弈系统由12个部分组成：监督仲裁机器手(1)、对弈机器手(2)两个工业总线(3)、对弈环境(4)、CCD摄像机(5)、机器人控制器(6)、图像服务器(7)、机器人服务器(8)、WEB服务器(9)、本地对弈客户机(10)、INTERNET网(11)提供远程对弈访问的网络、它与Web服务器(9)和远程对弈客户机(12)连接。

监督仲裁机器手(1)，安装有CCD摄像头，它与机器人控制器(6)连接，是一种六自由度工业机器手，用于对对弈情况的变化主动进行监视；

对弈机器手(2两个)，它与机器人控制器(6)连接，是一种六自由度工业机器手，其末端装有柔性对弈器具，用于进行对弈操作，两个对弈机器手(2)根据对弈客户机(10)或(12)的指令，在对弈环境上完成对弈活动，并以各自最终得到的分值来决定输赢，在对弈过程中，两台对弈机器手(2)可以采用不同的避碰策略(相应的对弈规则也不相同)，避碰策略和对弈规则在对弈系统初始化时进行选择；

工业总线(3)，是一种通用工业总线，它连接机器人服务器(8)、图像服务器(7)、Web服务器、本地对弈客户机(10)，作为本地网络控制的环境，用于提供网络控制环境支持；

对弈环境(4)，它与工业总线连接，是一种由步进电机驱动的带有圆盘的机械装置，用于提供对弈环境，包括一个划分了区域并带有标识的可旋转的圆盘，圆盘上可以覆盖标纸，由一个伺服电机驱动，通过调节速度可以改变难度和对弈等级，另外，通过变换圆盘上的标纸和对弈规则，可以改变对弈模式；

CCD摄像机(5)，它与图像服务器(7)连接，是一种通用工业CCD摄像头，用于进行图像采集，由两台CCD摄像机组成对弈机器人系统的视觉监视系统，可以使对弈客户机(10)(12)完成对对弈环境全景的视频监视，同时将CCD信息与仿真信息结合，给对弈客户机(10)(12)提供三维实时仿真图形；

机器人控制器(6)，它与机器手和工业总线连接，是由机器手控制板卡组成的控制器，用来实现对六自由度对弈机器手的控制；

图像服务器(7)，它与摄像头和工业总线连接，是由图像采集卡和计算机组成的服务器，对CCD摄像机采集的图像进行处理并根据用户的请求进行发送，在基于网络的机器人对弈遥操作中，用户(10)或(12)通过网络接收机器人现场的传感器和图像等信息，发送控制命令，操纵机器人完成工作任务，客户端的三维图形仿真系统能生成机器人和对弈环境模型，根据接收的传感器数据，改变机器人关节的位置和姿态，渲染三维动画；遥操作用户可以利用鼠标、键盘或游戏杆等交互工具，向机器人发送操作命令，控制机器人运动；采用三维图形仿真，通过网络传送的少量传感器数据，实时仿真机器人对弈环境；

机器人服务器(8)，它与工业总线连接，是由计算机及相应的软件系统组成的服务器，用于提供机器手的对弈策略和指令，负责对弈机器人轨迹的生成和优化，它将对弈客户机(10)、(12)的策略指令变换为适当的机器人轨迹，并将经过优化后的轨迹传送到机器人控制器(6)，根据对弈情况的变化和图像服务器(7)传来的信息，通过机器人控制器(6)来调整监督仲裁机器手(1)的姿态和位置，控制对弈机器人(2)执行相应的动作出了使其末端安装的主动CCD摄像机能够得到最完整的对弈画面，负责监督和管理整个对弈过程。

WEB服务器(9)，它与工业总线和INTERNET网连接，用来提供远程客户的登录和访问管理；

本地对弈客户机(10)，是进行本地对弈的客户端，它与工业总线连是带有对弈系统的客户机，用于本地对弈操作；

INTERNET网(11)，用于提供远程对弈访问，提供远程对弈访问的网络，它与Web服务器(9)和远程对弈客户机(12)连接；

远程对弈客户机(12)带有浏览器的远程客户端，用于进行远程对弈操作，它与INTERNET连接。

从客户端实现方式上包括两种对弈模式：一种是基于web通用界面的对弈方式(B/S)；另一种是通过专用的客户端在本地进行对弈(C/S)。前者利用Internet浏览器工具，采用HTTP协议或其它通讯方式，如Microsoft的分布式组件(Com+)、Sun的J2EE分布式体系结构、OMG提出的CORBA体系结构等来访问WEB服务器。操作者登陆WEB站点，通过浏览器提供的界面来操纵机器人完成某种任务。后者主要基于TCP协议，实现自己的应用层协议功能。系统提供了两种客户端软件，对实时交互控制要求高或数据传输量较大的用户提供专用的客户端软件，采用C/S模式工作，这需要用户在第一次使用时安装客户端程序。对一般的用户提供开放的web站点，用户可以用IE或Netscape访问该站点，一旦用户顺利连接到WEB服务器，通过身份认证得到访问权限，就可以控制机器人完成遥操作对弈任务。

三维图形仿真系统可以工作在两个模式之下：在线模式和离线模式。

在线模式下，通过网络获取机器人关节角度值和力传感器值并存储到数据文件中；利用得到关节值完成对下一帧画面中机器人和导轨的位置和姿态的设定，然后重新渲染三维图形；力传感器值送给游戏杆，利用DirectInput等方法模拟虚拟力。根据机器人现场的工作状况，灵活变换视角来观测仿真场景，同时可以发送控制命令。

在离线模式下，可根据轨迹规划算法，计算生成机器人关节值序列，用各个关节值的变化量作参数绘制关节值曲线图，当确定变化量属于正常范围后，可以把关节序列作为输入，在系统中完成对机器人和导轨的三维图形仿真。

在线模式主要用于在遥操作中现场机器人运动的图形仿真，离线模式主要用于检验机器人轨迹规划算法，进行数据的分析测试。对弈控制系统的控制，包括以下步骤：

(1)先运行服务器端程序，等待客户端的连接请求

(2)客户端连接服务器端，请求对弈机器人的控制权

(3)机器人服务器根据当前情况，决定是否给予客户端控制权限

(4)两个客户端都取得机器人控制权限后，对弈开始

(5)各客户端根据服务器端所提供的机器人及周边环境信息进行判断，发出各种机器人对弈命令

(6)机器人服务器接收客户端命令，对机器人进行相应控制，并对对弈进展情况、对弈客户端得分等情况进行记录，而后，告知客户端

(7)对弈结束时，对弈客户端交还对机器人的控制权，此时，机器人服务器对该次对弈的记录、控制等工作也将结束。

实施例

本发明在南开大学机器人与信息自动化系统研究所智能机器人网点开放实验室得到了实施。该对弈系统由一台PUMA562六自由度工业机器手和两台RH6六自由度工业机器手为主体按三角形进行固定(见图)，同时在两台RH6的中间安装了一个速度可调的旋转平台作为对弈平台，平台上划分了不同的区间，每个区间赋予不同的分值。其中PUMA562机器手末端安装一台CCD摄像机作为对弈环境的视觉监督反馈，在旋转对弈平台正上方安装另一台全局CCD摄像机作为机器手位置辅助反馈。该系统还包括一个可配置的集成控制平台[由一个控制服务器(PC机)和三个机器人控制器(模块化专用控制器)组成]和一个图像服务器(PC机)。通过集成控制平台，可以利用鼠标、键盘和操纵杆对机器手进行远程对弈操作，还可以对机器手控制系统设置控制方式、控制参数和对弈策略，进行在线控制。利用图像服务器可以对对弈操作的效果进行实时仿真研究，也可以辅助进行对弈操作。在两台RH6对弈机器手末端分别装有带被动柔性机构的不同颜色的笔，在对弈中，两个机器手分别在各自操作者的控制下，对对弈平台上的网格进行标点，实际操作的效果可以通过视频传输结果观察，并利用三维实时图形仿真系统校正对弈机器手的操作精度。最后，以双方在规定时间内所取得的分值作为评判胜负的依据。

Claims (6)

1、一种Internet的网上遥操作机器人对弈的控制系统，其特征在于：机器人对弈控制系统是构建在通用工业总线(3)上的分布式分级实时控制系统，可以实现多主方式工作，总线节点信息(节点数最多可达100个以上)分成不同的优先级，并采用了非破坏性总线裁决机制，它包括：

监督仲裁机器手(1)    安装有CCD摄像头，它与机器人控制器(6)连接；

对弈机器手(2)    两个，它与机器人控制器(6)连接；

工业总线(3)    它连接机器人服务器(8)、图像服务器(7)、Web服务器、本地对弈客户机(10)；

对弈环境(4)    它与工业总线连接(3)；

CCD摄像机(5)    它与图像服务器(7)连接；

机器人控制器(6)    它与机器手和工业总线连接；

图像服务器(7)    它与摄像头和工业总线连接；

机器人服务器(8)    它与工业总线连接；

WEB服务器(9)    它与工业总线和INTERNET网连接；

本地对弈客户机(10)    是进行本地对弈的客户端，它与工业总线连接；

INTERNET网(11)    提供远程对弈访问的网络，它与Web服务器(9)和远程对弈客户机(12)连接；

远程对弈客户机(12)    用于进行远程对弈的客户端，它与INTERNET连接；

2、根据权利要求1所述的Internet的网上遥操作机器人对弈的控制系统，其特征在于所述的：

监督仲裁机器手(1)是一种六自由度工业机器手，用于对对弈情况的变化主动进行监视；

对弈机器手(2)是一种六自由度工业机器手，其末端装有柔性对弈器具，用于进行对弈操作，两个对弈机器手(2)根据对弈客户机(10)或(12)的指令，在对弈环境上完成对弈活动，并以各自最终得到的分值来决定输赢，在对弈过程中，两台对弈机器手(2)可以采用不同的避碰策略(相应的对弈规则也不相同)，避碰策略和对弈规则在对弈系统初始化时进行选择；

工业总线(3)是一种通用工业总线，作为本地网络控制的环境，用于提供网络控制环境支持；

对弈环境(4)是一种由步进电机驱动的带有圆盘的机械装置，用于提供对弈环境，包括一个划分了区域并带有标识的可旋转的圆盘，圆盘上可以覆盖标纸，由一个伺服电机驱动，通过调节速度可以改变难度和对弈等级，另外，通过变换圆盘上的标纸和对弈规则，可以改变对弈模式；

CCD摄像机(5)是一种通用工业CCD摄像头，用于进行图像采集，由两台CCD摄像机组成对弈机器人系统的视觉监视系统，可以使对弈客户机(10)(12)完成对对弈环境全景的视频监视，同时将CCD信息与仿真信息结合，给对弈客户机(10)(12)提供三维实时仿真图形；

机器人控制器(6)是由机器手控制板卡组成的控制器，用来实现对六自由度对弈机器手的控制；

图像服务器(7)是由图像采集卡和计算机组成的服务器，对CCD摄像机采集的图像进行处理并根据用户的请求进行发送，在基于网络的机器人对弈遥操作中，用户(10)或(12)通过网络接收机器人现场的传感器和图像等信息，发送控制命令，操纵机器人完成工作任务，客户端的三维图形仿真系统能生成机器人和对弈环境模型，根据接收的传感器数据，改变机器人关节的位置和姿态，渲染三维动画；遥操作用户可以利用鼠标、键盘或游戏杆等交互工具，向机器人发送操作命令，控制机器人运动；采用三维图形仿真，通过网络传送的少量传感器数据，实时仿真机器人对弈环境；

机器人服务器(8)是由计算机及相应的软件系统组成的服务器，用于提供机器手的对弈策略和指令，它将对弈客户机(10)、(12)的策略指令变换为适当的机器人轨迹，并将经过优化后的轨迹传送到机器人控制(6)，来控制对弈机器人(2)执行相应的动作；

WEB服务器(9)用来提供远程客户的登录和访问管理；

本地对弈客户机(10)是带有对弈系统的客户机，用于本地对弈操作；

INTERNET网(11)用于提供远程对弈访问；

远程对弈客户机(12)带有浏览器的远程客户端，用于进行远程对弈操作。

3、根据权利要求1所述的Internet的网上遥操作机器人对弈的控制系统，其特征在于：所述的工业总线(3)是采用CAN总线、PCI总线或PROFIBUS-DP。

4、根据权利要求2所述的Internet的网上遥操作机器人对弈的控制系统，其特征在于：所述的三维图形仿真系统可以工作在两个模式之下，在线模式和离线模式；在线模式主要用于在遥操作中现场机器人运动的图形仿真，离线模式主要用于检验机器人轨迹规划算法，进行数据的分析测试。

5、根据权利要求1所述的Internet的网上遥操作机器人对弈的控制系统的控制方法，其特征在于对弈者基于网络环境在客户机(10、12)上，利用鼠标键盘和游戏操纵杆完成对弈操作，同时通过客户机上的实时仿真环境辅助进行对弈操作，并通过对弈现场CCD摄像机(5)传来的视频信息形象化地了解对弈结果，它包括以下控制步骤：

(1)先运行服务器端程序，等待客户端的连接请求

(2)客户端连接服务器端，请求对弈机器人的控制权

(3)机器人服务器根据当前情况，决定是否给予客户端控制权限

(4)两个客户端都取得机器人控制权限后，对弈开始

(5)各客户端根据服务器端所提供的机器人及周边环境信息进行判断，发出各种机器人对弈命令

(6)机器人服务器接收客户端命令，对机器人进行相应控制，并对对弈进展情况、对弈客户端得分等情况进行记录，而后，告知客户端

(7)对弈结束时，对弈客户端交还对机器人的控制权，此时，机器人服务器对该次对弈的记录、控制等工作也将结束。

6、根据权利要求1和3所述的Internet的网上遥操作机器人对弈的控制系统及其控制方法，其特征在于所述的两种对弈模式是：一种是基于web通用界面的对弈方式(B/S)；另一种是通过专用的客户端在本地进行对弈(C/S)；前者利用Internet浏览器工具，采用HTTP协议或其它通讯方式，如Com+、J2EE、CORBA等体系结构来访问WEB服务器；后者主要基于TCP协议，实现自己的应用层协议功能；系统提供了两种客户端软件，对实时交互控制要求高或数据传输量较大的用户提供专用的客户端软件，采用C/S模式工作，这需要用户在第一次使用时安装客户端程序，对一般的用户提供开放的web站点，用户可以用IE或Netscape访问该站点，一旦用户顺利连接到WEB服务器，通过身份认证得到访问权限，就可以控制机器人完成遥操作对弈任务。