CN104227716B - 一种基于遥操作的摄像机器人实时控制方法 - Google Patents

Abstract

本发明公开了一种基于遥操作的摄像机器人实时控制方法，包含PC服务器端系统初始化；PC服务器端分别连接机器人客户端和遥操作设备端；对遥操作设备端发出的运动指令数据进行解析处理；解析后的运动指令数据实时发送给机器人端，实现了遥操作设备实时控制机器人运动；根据实际需求，保存轨迹数据、执行轨迹重复等功能。本发明解决了遥操作的摄像机器人在运动控制中网络时延、网络传输数据不完整的问题，保证操作人员高精度、实时、安全地控制机器人运动。同时本发明针对特定的影视拍摄领域，实现遥操作的摄像机器人对轨迹数据的管理、重复执行、运动速度控制等使用需求，满足操作人员方便、稳定地控制遥操作的摄像机器人在影视拍摄中的实际应用。

Description

一种基于遥操作的摄像机器人实时控制方法

技术领域

本发明涉及一种基于遥操作的摄像机器人实时控制方法，属于机器人技术和影视拍摄技术交叉的领域。

背景技术

随着计算机和网络技术的飞速发展，采用遥操作设备控制机器人执行各种任务和活动的领域越来越多，除了传统地应用于人类无法完成或者处于危险环境下的工作，如海底、太空、核环境中外，当前还广泛应用于自动化工业、流水线生产等领域，发挥了高效地执行效率和执行精度，大大地降低了生产成本，生产力得到极大地发展。

但是，使用遥操作设备控制机器人在电影、电视、广告等特效拍摄中的应用在国内外还处于起步阶段，不能满足影视特效拍摄所需的功能需求，主要体现在实时性、可操控性、轨迹运动数据存储、轨迹运动数据重复执行、轨迹运动数据管理等方面。

首先，遥操作设备与机器人的通讯是在网络环境中进行，采用网络技术的通讯由于其网络变化时延，在很大程度上会影响机器人轨迹数据的获取；其次，机器人在运动过程中发送的数据在网络传输中会出现不稳定的问题，具体表现在随机性地发送数据包导致发送不完整或者几个数据包连续发送等问题；最后，现有的一些基于遥操作的机器人对机器人运动过程中轨迹数据的获取、存储、重复执行和运动速度控制等方面还没有很好地运用和实现；

另外，在实际的影视拍摄中，机器人的机械臂上会安装云台来承载摄像机，因此机器人在运动过程中机械臂抖动频率的要求将非常严格，否则会影响到拍摄画面的质量和效果。

在现有技术下提出了一种基于遥操作的机器人实时控制方法，采用TCP/IP的通讯方式，通过遥操作装置（如操纵杆）灵活地发送命令数据给机器人，控制机器人实现各种运动，并实时获取机器人运动轨迹数据，方便第三方对数据的使用。系统克服了网络通讯过程中网络时延、数据包传输不完整的问题，能够按照影视拍摄的要求，由机器人携带摄像机实时、稳定地根据各种拍摄需求，由拍摄人员操作使用，从而为影视拍摄中的特效实现提供可能。

发明内容

发明目的：本发明的目的是为了解决遥操作的摄像机器人在运动控制中网络时延、网络传输数据不完整的问题，保证操作人员高精度、实时、安全地控制机器人运动。

另外，针对特定的影视拍摄领域，实现遥操作的摄像机器人对轨迹数据的管理、重复执行、运动速度控制等使用需求，满足操作人员方便、稳定地控制遥操作的摄像机器人在影视拍摄中的实际应用。

技术方案：为了实现以上目的，本发明公开了一种基于遥操作的摄像机器人实时控制系统，包括：遥操作设备端、PC服务器端、机器人客户端以及通讯传输环节；所述遥操作设备端设有遥操作设备，并与PC服务器端连接；所述PC服务器端设有计算机，并通过通讯传输环节与机器人客户端连接；所述机器人客户端设有机器人控制柜和机器人，机器人控制柜一端与通讯传输环节连接，另一端与机器人连接。

本发明所述的一种基于遥操作的摄像机器人实时控制系统，所述遥操作设备端把操作人员对遥操作设备的各种运动指令信号解析处理为机器人可读的运动指令数据，发送给PC服务端；所述PC服务器端接收遥操作设备的运动指令数据并与机器人控制柜通讯；所述机器人客户端负责机器人控制柜对机器人与PC服务端通讯的数据和指令处理。

本发明所述的一种基于遥操作的摄像机器人实时控制方法，包括以下步骤：

A、PC服务器端系统初始化、机器人控制柜初始化；

B、PC服务器端通过通讯传输环节连接机器人客户端；判断是否连接成功；如果否，则系统关闭；否则执行G步骤并转步骤C；

C、PC服务器端通过通讯传输环节连接遥操作设备端；判断是否连接成功；如果否，则系统关闭；否则转步骤D；

D、对遥操作设备端发出的运动指令数据进行解析处理；为了避免网络变化时延和机器人发送数据不完整的问题，PC服务器端加入了容错处理程序模块，控制在通讯周期内实时响应机器人，有效地发送给机器人运动指令数据。所述步骤D进一步分为：

D1：遥操作设备端将运动指令数据从模拟信号转化为数字信号；

D2：PC服务器端对上述数字信号进一步解析为机器人可以识别的XML格式的字符串。

然后对解析后的运动指令数据分步骤E和步骤F同时进行；

E、运动指令数据处理，所述步骤E进一步分为：

E1：运动指令数据管理；

E2：运动指令轨迹重复；

E3：运动指令轨迹重复速度控制；

E4：运动指令轨迹修改；

步骤E实现了机器人运动过程中轨迹数据的获取、存储、重复执行和运动速度控制功能，满足操作人员方便、稳定地控制遥操作的摄像机器人在影视拍摄中的实际应用。

F、发送并执行指令数据，所述步骤F进一步分为：

F1：PC服务器端通过通讯传输环节向机器人客户端发送解析后的指令数据；

F2：机器人客户端接收解析后的指令数据并按照指令运动；

F3：机器人客户端通过通讯传输环节将机器人运动轨迹数据发送给PC服务器端；

然后转步骤G；

G、机器人运动轨迹数据。所述步骤G进一步分为：

G1：PC服务器端通过通讯传输环节从机器人客户端接收机器人运动轨迹数据；

G2：PC服务器端将接受的机器人运动轨迹数据进行数据处理，处理后的数据为影视特效的制作提供数据基础；

G3：根据需要，将若干G1步骤中处理过的数据导出并保存。

本发明所述的一种基于遥操作的摄像机器人实时控制方法，所述步骤F3和步骤G中，PC服务器端加入了容错处理程序模块。

本发明所述一种基于遥操作的摄像机器人实时控制方法，指令数据的发送、接收和执行以及运动轨迹数据的发送、接收均在较短的通讯周期T内完成，与以往较长的机器人通讯周期T’(T’>T)相比，机器人在运动过程中会以较短的时间接收数据并执行运动，这样机器人不会因为等待接收运动数据（由于通讯周期长）而产生机器人走走停停的现象，使机器人在运动过程中能够保持稳定平稳的运动，确保了摄像画面的质量和效果。

有益效果：与现有技术相比，本发明所述的一种基于遥操作的摄像机器人实时控制方法解决了遥操作的摄像机器人在运动控制中网络时延、网络传输数据不完整的问题，保证操作人员高精度、实时、安全地控制机器人运动。

同时，本发明所述的一种基于遥操作的摄像机器人实时控制方法针对特定的影视拍摄领域，实现遥操作的摄像机器人对轨迹数据的管理、重复执行、运动速度控制等使用需求，满足操作人员方便、稳定地控制遥操作的摄像机器人在影视拍摄中的实际应用。

另外，本发明所述的一种基于遥操作的摄像机器人实时控制方法，指令数据的发送、接收和执行以及运动轨迹数据的发送、接收均在较短的通讯周期T内完成，与以往较长的机器人通讯周期T’(T’>T)相比，机器人在运动过程中会以较短的时间接收数据并执行运动，这样机器人不会因为等待接收运动数据（由于通讯周期长）而产生机器人走走停停的现象，使机器人在运动过程中能够保持稳定平稳的运动，确保了摄像画面的质量和效果。

附图说明

图1是基于遥操作的摄像机器人实时控制系统的系统结构图；

图2是基于遥操作的摄像机器人实时控制系统流程图；

图3是机器人客户端程序配置文件；

图4是机器人客户端发送数据配置文件；

图5是机器人端接收数据配置文件。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

实施例：

一种基于遥操作的摄像机器人实时控制系统(如图1所示)，包括：遥操作设备端、PC服务器端、机器人客户端以及通讯传输环节；所述遥操作设备端设有遥操作设备，并与PC服务器端连接；所述PC服务器端设有计算机，并通过通讯传输环节与机器人客户端连接；所述机器人客户端设有机器人控制柜和机器人，机器人控制柜一端与通讯传输环节连接，另一端与机器人连接。

遥操作设备端把操作人员对遥操作设备的各种运动指令信号解析处理为机器人可读的运动指令数据，发送给PC服务器端；所述PC服务器端接收遥操作设备的运动指令数据并与机器人控制柜通讯；所述机器人客户端负责机器人控制柜对机器人与PC服务器端通讯的数据和指令处理。

为使本发明所述一种基于遥操作的摄像机器人实时控制方法的目的、技术方案和优点更加清楚，现以一个型号为KR16-2的具有6个内部轴和2个外部轴的KUKA机器人以及与之配套的机器人控制柜作为机器人客户端、一台PC电脑作为PC服务器端、一个赛钛客CyborgX操纵杆作为遥操作设备端，具体步骤如下：

A、PC电脑开机并系统初始化；在机器人控制柜上设置好与PC电脑连接的通讯程序，程序主要功能包括配置通讯的模式（“正常模式”或者“快速模式”）、通讯端口号、IP地址、通讯方式（TCP或者UDP）、收发数据的数据格式等，其中，“正常模式”要求通讯响应控制在12ms之内，而“快速模式”则要求通讯响应控制在小于2ms。附图3就是机器人端程序配置文件的主要内容，附图4和5则是配置收发数据的XML的格式内容。然后机器人端的程序开始建立信号接收对象、数据接收和处理转换对象、数据发送对象等内容；分别连接好PC服务器端与机器人客户端以及遥操作设备端之间的线缆；

B、在PC电脑上运行机器人与操纵杆通讯的服务器程序，在程序界面上选择“连接”按钮，采用SOCKET方式与机器人建立TCP/IP的通讯连接请求。判断是否连接成功；如果否，则系统关闭；否则执行G步骤并转步骤C；

C、PC电脑通过USB接口连接遥操作设备端；操纵杆上的蓝色控制灯亮时，说明与PC电脑连接上，转转步骤D；如果不亮，则系统关闭；

D、按照操作人员的使用需求，制定操纵杆的各种运动规则，使操纵杆的运动与机器人的运动相匹配。在操纵杆与PC端程序、机器人实现通讯连接之后，操纵杆按照上述运动规则操作，机器人就会实时跟随操纵杆的操作而运动，具体的运动包括机器人6个内部轴和2个外部轴的轴运动、机器人末端轴在工具坐标系中的运动，运动包括在空间坐标系中X轴、Y轴和Z轴方向上的平移和旋转。

在通讯连接之后，机器人端在每个通讯周期（设置T=12ms）内都会把机器人当前位置状态的各种轴数据、末端位置数据、通讯时间等信息按照事先确定好的格式通过XML字符串发送给PC端。但是，由于机器人与PC端程序通讯时会因为网络时延导致机器人发送的XML数据不完整，导致数据包丢失。针对数据包丢失，在PC端程序中加入了针对数据包是否完整、准确的容错处理程序模块。此模块在通讯过程中会根据特定标记的字节不断查找，从而将机器人端收到的数据包检索和重新组合，最后获得一个一个完整、连续的XML数据，实现轨迹数据的获取。

对遥操作设备端发出的运动指令数据进行解析处理，包括：

D1：操纵杆将运动指令数据从模拟信号转化为数字信号；

D2：PC端程序对上述数字信号进一步解析为机器人可以识别的XML格式的字符串。

然后对解析后的运动指令数据分步骤E和步骤F同时进行；

E：运动指令数据处理，包括：

E1：运动指令数据管理；

E2：运动指令轨迹重复，轨迹重复功能是指当操作人员在使用操纵杆控制机器人执行一段轨迹运动后，如果需要重复执行这一段轨迹，则单击“轨迹重复”按钮实现机器人重复轨迹的执行；如果需要多次执行此段轨迹，则多次单击“轨迹重复”按钮就可实现。

E3：运动指令轨迹重复速度控制，速度控制功能是指在机器人执行轨迹重复功能时，对机器人的运动进行速度控制，通过选择加快或者减慢机器人的运动速度，达到影视拍摄中的摄像要求。

E4：运动指令轨迹修改，轨迹修改功能是指机器人在执行完轨迹重复后，操作人员发现重复执行的轨迹在某些关键点上还需要修改，则通过设置和保存机器人需要修改的几个关键点数据，获得修改后新的轨迹数据，用于机器人轨迹的重复执行。

F、发送并执行指令数据，包括：

F1：PC电脑通过通讯传输环节向机器人发送解析后的指令数据；

F2：机器人接收解析后的指令数据并按照指令动作运动；

F3：机器人通过通讯传输环节将机器人运动轨迹数据发送给PC端程序；

然后转步骤G；

G、机器人运动轨迹数据，包括：

G1：PC电脑通过通讯传输环节从机器人接收机器人运动轨迹数据；

G2：PC电脑将接受的机器人运动轨迹数据进行数据处理，处理后的数据为影视特效的制作提供数据基础；

G3：轨迹数据导出功能是指当需要把一段轨迹数据导出保存为文本文件时，首先在PC端程序运行的通讯程序界面上单击“开始保存轨迹数据”按钮，当机器人运行完指定的轨迹后，再单击“保存轨迹数据结束”按钮和“轨迹导出”按钮，指定需要的轨迹数据就被保存在磁盘文件上。根据需要，将若干连续的一些G1步骤中处理过的数据导出并保存。

步骤8：轨迹修改功能是指机器人在执行完轨迹重复后，操作人员发现重复执行的轨迹在某些关键点上还需要修改，则通过设置和保存机器人需要修改的几个关键点数据，获得修改后新的轨迹数据，用于机器人轨迹的重复执行。

本发明所述一种基于遥操作的摄像机器人实时控制方法，指令数据的发送、接收和执行以及运动轨迹数据的发送、接收均在较短的通讯周期T内完成，与以往较长的机器人通讯周期T’(T’>T)相比，机器人在运动过程中会以较短的时间接收数据并执行运动，这样机器人不会因为等待接收运动数据（由于通讯周期长）而产生机器人走走停停的现象，使机器人在运动过程中能够保持稳定平稳的运动，确保了摄像画面的质量和效果。

Claims (6)

1.一种基于遥操作的摄像机器人实时控制方法，其特征在于，包括以下步骤：

A、PC服务器端系统初始化、机器人控制柜初始化；

B、PC服务器端通过通讯传输环节连接机器人客户端；判断是否连接成功；如果否，则系统关闭；否则执行G步骤并转步骤C；

C、PC服务器端通过通讯传输环节连接遥操作设备端；判断是否连接成功；如果否，则系统关闭；否则转步骤D；

D、对遥操作设备端发出的运动指令数据进行解析处理；然后对解析后的运动指令数据分步骤E和步骤F同时进行；

E、运动指令数据处理；

F、发送并执行运动指令数据，然后转步骤G；

G、PC服务器端接收机器人运动轨迹数据。

2.根据权利要求1所述的一种基于遥操作的摄像机器人实时控制方法，其特征在于，所述步骤D进一步分为：

D1：遥操作设备端将运动指令数据从模拟信号转化为数字信号；

D2：PC服务器端对上述数字信号进一步解析为机器人可以识别的XML格式的字符串。

3.根据权利要求1所述的一种基于遥操作的摄像机器人实时控制方法，其特征在于，所述步骤E进一步分为：

E1：运动指令数据管理；

E2：运动指令轨迹重复；

E3：运动指令轨迹重复速度控制；

E4：运动指令轨迹修改。

4.根据权利要求1所述的一种基于遥操作的摄像机器人实时控制方法，其特征在于，所述步骤F进一步分为：

F1：PC服务器端通过通讯传输环节向机器人客户端发送解析后的运动指令数据；

F2：机器人客户端接收解析后的运动指令数据并按照指令运动；

F3：机器人客户端通过通讯传输环节将机器人运动轨迹数据发送给PC服务器端。

5.根据权利要求4所述的一种基于遥操作的摄像机器人实时控制方法，其特征在于，所述步骤G进一步分为：

G1：PC服务器端通过通讯传输环节从机器人客户端接收机器人运动轨迹数据；

G2：PC服务器端将接受的机器人运动轨迹数据进行数据处理，处理后的数据为影视特效的制作提供数据基础；

G3：根据需要，将G1步骤中处理过的若干数据导出并保存。

6.根据权利要求4或5所述的一种基于遥操作的摄像机器人实时控制方法，其特征在于，所述步骤F3和步骤G中，PC服务器端加入了容错处理程序模块。