CN106527177B - 一种多功能一站式遥操作控制设计与仿真系统及方法 - Google Patents

Abstract

本发明涉及一种多功能一站式遥操作控制设计与仿真系统及方法，系统包括：第一遥操作控制台、第二遥操作控制台、系统总控制台、高维动力学仿真服务器、刚性机械臂、关节控制计算机、虚拟现实3D仿真和视频采集服务器、挠性机械臂、关节控制计算机、视觉系统和环形屏幕；本发明具有四种工作模式：手动遥操作控制的数学仿真试验、地面真实的机械臂手动遥操作控制的仿真试验、空间机器人捕获插拔中的碰撞动力学与控制试验、挠性机械臂的控制性能验证及挠性参数辨识试验，能够对遥操作控制的设计、仿真、测试提供一站式的解决方案。

Description

一种多功能一站式遥操作控制设计与仿真系统及方法

技术领域

本发明涉及一种多功能一站式遥操作控制设计与仿真系统及方法，属于空间操作控制领域。

背景技术

典型的遥操作试验系统中，操作者通过操纵鼠标、手柄等设备控制虚拟现实场景中的仿真模型。鼠标或手柄给出仿真场景中远端机械臂端点的位姿或位置，操作者通过视觉观察远端机械臂的运动状态，操作者－鼠标或手柄－远端机械臂形成闭环，构成遥操作控制系统。

传统的遥操作控制系统可分为两种，一种只具有操作功能，另一种遥操作系统通过三维建模，进行遥操作仿真。这些系统功能简单，操作方式不方便，主要通过鼠标或手柄进行控制。可调参数不多，手柄与远端机械臂间存在随动关系，两者通过比例系数实现联动，这样导致的问题是，手控柄一般活动范围很小，通过一定的比例放大后，远端机械臂的活动范围也不大，而且放大系数增大时，会引起远端机械臂末端操作精度的降低。同时，上面提到的两种遥操作系统均只具备某一种功能，不能有效地将两者联系起来。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种多功能一站式遥操作控制设计与仿真系统及方法，能够对遥操作控制的设计、仿真、测试提供一站式的解决方案。

本发明的技术解决方案是：一种多功能一站式遥操作控制设计与仿真系统，包括：第一遥操作控制台、第二遥操作控制台、系统总控制台、高维动力学仿真服务器、刚性机械臂、第一关节控制计算机、虚拟现实3D仿真和视频采集服务器、挠性机械臂、第二关节控制计算机、视觉系统和环形屏幕；

第一遥操作控制台、第二遥操作控制台为操作者提供操作场景，即为遥操作者提供接口，根据系统总控制台的使能指令，判断遥操作者是否具有操作权，如果具有遥操作权，遥操作者通过观察视觉信息与虚拟现实仿真信息、刚性机械臂与挠性机械臂关节运动的角度和角速度，以及刚性机械臂与挠性机械臂的末端位置与姿态，判断刚性机械臂与挠性机械臂是否到达了期望的位置和姿态，脚部通过脚踏板，使控制手柄具有“使能”或“禁止”状态，在“使能”的情况下，远端机械臂跟随手柄运动；在“禁止”状态，手柄运动时，远端机械臂不运动，不断通过“使能”和“禁止”两种状态的切换，同时控制手控杆，输出刚性机械臂与挠性机械臂末端的位置与姿态指令，该指令通过关节控制计算机1或关节控制计算机2解算得到刚性机械臂与挠性机械臂的关节角度与关节角速度指令，鼠标、键盘可以控制显示器上的显示界面大小、颜色深浅度，以及在不同的显示视角间切换，所述刚性机械臂与挠性机械臂的关节角度和角速度；高维动力学仿真服务器输出的动力学仿真状态结果即力觉反馈信息，通过第一遥操作控制台的计算机，等比例地呈现在手控杆上，从而实现力觉反馈；如果系统总控制台输出指令使第一遥操作控制台不具有遥操作权，则第一遥操作控制台处于等待状态；

系统总控制台实现系统试验前的准备、试验中的故障干预，以及试验后的结果分析；试验前的准备中，系统总控制台能调取刚性机械臂或挠性机械臂的关节角信息、视觉系统的视觉信息，如果正常，则开始试验；否则需要检查原因，进行故障排查；试验前，通过系统总控制台的计算机对高维动力学仿真服务器里动力学仿真初始状态，刚性机械臂与挠性机械臂的初始位置，虚拟现实3D仿真和视频采集服务器的初始状态进行设置；在试验中，获取刚性机械臂与挠性机械臂的关节角、关节角速度，以及高维动力学仿真服务器动力学仿真结果状态信息，如果这些状态信息超过设定的阀值，则制动刚性机械臂或挠性机械臂，通过控制键盘上Pause键，或通过鼠标点击屏幕上的“暂停”按钮实现；试验完成后，对试验中的刚性机械臂与挠性机械臂的关节角、关节角速度、力觉传感器的反馈值、手控杆的输出指令值进行曲线绘制，并进行分析；

高维动力学仿真服务器，对在轨空间机器人进行在轨真实动力学仿真；采用分析力学方法建立空间机器人的高维动力学模型、运动学模型、控制律，根据遥操作控制台给出的机械臂末端位置和姿态指令，控制律解算出空间机器人执行机构的控制力和控制力矩，作用在高维动力学模型上，解算出动力学状态，再进行运动学状态解算，得到包括空间机器人的动力学仿真结果，即基座的位置与速度，以及机械臂关节的角度与角速度、角加速度信息，输出给第一关节控制计算机和第二关节控制计算机，用于刚性机械臂与挠性机械臂的驱动控制，同时输出给虚拟现实3D仿真和视频采集服务器，用于图像显示仿真；

虚拟现实3D仿真和视频采集服务器，采用Open Inventor软件建立空间机器人在太空中的操作环境，同时对全局相机、机械臂上的手眼相机进行图像采集，Open Inventor显示的是虚拟的空间场景，而全局相机和手眼相机采集的是真实的刚性机械臂和挠性机械臂的图像，采用增加现实技术，将两种图像一起显示，叠加在一起，实现真实图像与虚拟图像的融合，实现图像仿真，将仿真结果传输给遥操作控制台的显示器，用于操作者通过视觉判断进行操作；

刚性机械臂，位于远程操作现场，在远程对目标进行操作，实现对空间机器人的运动学仿真，在刚性机械臂的末端配置力和力矩传感器，利用力和力矩传感器对机械臂与环境的碰撞接解进行测量，刚性机械臂的各关节由驱动器、电机，以及角位置编解码单元组成，第一关节控制计算机中的控制软件解算出刚性机械臂各关节的控制指令后，传输给刚性机械臂的驱动器，驱动器驱动各关节的电机运动，从而带动刚性机械臂末端的运动，刚性机械臂运动后，各关节的角位置编解码单元测量到各关节角度，计算出角速度和角加速度，传输给虚拟现实3D仿真和视频采集服务器；如果刚性机械臂与目标发生碰撞，则力和力矩传感器测量到力和力矩值，将力和力矩数值反馈到高维动力学仿真服务器中的空间机器人动力学仿真软件，作为输入对空间机器人的状态进行仿真，进一步得到新的空间机器人的状态，同时高维动力学仿真服务器还将测量到的力矩值反馈给第一遥操作控制台和第二遥操作控制台，用于在手控杆上重现该力矩，实现力反馈；

第一关节控制计算机，根据关节角控制指令实现对刚性机械臂各关节的驱动控制；接收来自高维动力学仿真服务器的各关节指令，即关节角或关节角速度，将各关节指令作为输入指令信息，通过各关节的双闭环控制软件，解算出各关节的控制力矩指令，控制力矩指令输入给刚性机械臂的关节驱动器，驱动刚性机械臂的关节运动；

挠性机械臂，采用气浮支撑，通过模拟在轨空间机器人上安装的机械臂的运动，激励挠性振动，用于对挠性参数进行测试，挠性机械臂各关节由驱动器、电机，以及角位置编解码单元组成，第二关节控制计算机中的控制软件解算出挠性机械臂各关节的控制指令后，传输给挠性机械臂的驱动器，驱动器驱动各关节的电机运动，从而带动挠性机械臂末端的运动，挠性机械臂运动后，各关节的角位置编解码单元测量到各关节角度，计算出角速度和角加速度，传输给虚拟现实3D仿真&视频采集服务器；挠性机械臂运动时会起振，其振动信息通过激光测量仪测量到后传输给虚拟现实3D仿真和视频采集服务器，用于显像显示其振动大小，激光测量仪的测量信息再进一步传输给系统总控制台，总控制台在试验完成后对这些信息进行分析，提取挠性振动的频率与阻尼信息；

第二关节控制计算机，根据关节角控制指令实现对挠性机械臂各关节的驱动控制；它接收来自高维动力学仿真服务器的各关节指令，即关节角或关节角速度，将该指令作为输入指令信息，通过各关节的双闭环控制软件，解算出各关节的控制力矩指令，控制力矩指令输入给挠性机械臂的关节驱动器，驱动挠性机械臂的关节运动；

视觉系统，包括全局相机、刚性机械臂上的手眼相机、光照模拟和激光测量仪；在试验开始前，采集来自系统总控制台的全局相机和手眼相机的指向角度值，以及光照强度，实现全局相机、手眼相机视角的调整，以及模拟的光照强度调整；在试验中，采集全局相机、手眼相机的视觉图像，反馈给虚拟现实3D仿真和视频采集服务器，用于图像仿真，同时利用激光测量仪测量挠性机械臂的振动信息，反馈给虚拟现实3D仿真和视频采集服务器，再进一步反馈给系统总控制台，用于对挠性信息即振动频率与阻尼进行提取；

环形屏幕，通过四台投影仪进行投影显示，利用四台投影仪投影到环形屏幕上，用于除操作者外的其它人员对遥操作试验进行视觉观察；四台投影仪的投影图像均来自虚拟现实3D仿真和视频采集服务器的输出图像信息，虚拟现实3D仿真和视频采集服务器控制输出到四台投影仪上的图像信息的内容；投影到环形屏幕，环形屏幕图像区域分成三块，其中两块分别对应两台投影仪，另一块区域对应剩下的两台投影仪，两台投影仪的投影图像分别通过偏振片进行滤光，投出光振动方向相互垂直，在第三块区域上重叠显示，通过立体眼镜观察这块区域，观察到3D显示图像。

所述系统总控制台中，所述虚拟现实3D仿真和视频采集服务器的初始状态包括虚拟现实环境的场景设置，光照模拟系统的入射角与亮度。

所述系统总控制台中，通过综合利用人体的脚部自由度，利用脚踏板、手控柄、鼠标、键盘进行指令输入，在脚踏板“使能”情况下，手控柄指令有效；在“禁止”状态，手控柄指令无效，通过“使能”、“禁止”状态切换，可以实现手控柄对远程刚性机械臂的大范围运动控制，通过减小远程刚性机械臂与手控柄间的放大因子，从而实现远程刚性机械臂的高精度控制，在试验中，如果遇到故障，通过控制键盘上Pause键，或通过鼠标点击屏幕上的“暂停”按钮，使刚性机械臂或挠性机械臂立即制动。

环形屏幕中，所述投影到环形屏幕的图像区域分成三块，其中两块分别对应两台投影仪，另一声区域对应剩下的两台投影仪，两台投影仪的投影图像分别通过偏振片进行滤光，投出光振动方向相互垂直，在三块区域上重叠显示，通过立体眼镜观察这块区域，观察到3D显示图像。

所述仿真周期、第一关节控制计算机和第二关节控制计算机的控制周期分别不大于1ms。

一种多功能一站式遥操作控制设计与仿真方法，包括四种工作模式，实现步骤为：

(1)模式一：进行手动遥操作控制的数学仿真试验，第一遥操作控制台、第二遥操作控制台、系统总控制台、高维动力学仿真服务器、虚拟现实3D仿

真和视频采集服务器、环形屏幕组成；由系统总控制台进行系统调式、初始状态设定，再进入仿真，通过第一遥操作控制控制台或第二遥操作控制台进行手动遥操作控制指令输入，在高维动力学仿真服务器中运行空间机器人的动力学仿真，利用虚拟现实3D仿真和视频采集服务器对空间机器人的状态信息进行图像仿真，再反馈到第一遥操作控制控制台或第二遥操作控制台，以及环形屏幕，形成系统闭环；

(2)模式二：对地面真实的机械臂进行手动遥操作控制的仿真试验，由第一遥操作控制台、第二遥操作控制台、系统总控制台、虚拟现实3D仿真和视频采集服务器、刚性机械臂、第一关节控制计算机、视觉系统、环形屏幕组成；由系统总控制台进行系统调式、初始状态设定，再进入仿真，通过第一遥操作控制控制台或第二遥操作控制台进行手动遥操作控制指令输入，输入指令为刚性机械臂的关节角或角速度指令，第一关节控制计算机对该指令进行解算，换算成各关节的控制指令，驱动刚性机械臂，利用视觉系统进行视觉信息采集，反馈到虚拟现实3D仿真和视频采集服务器，进行图像处理，再反馈到第一遥操作控制控制台或第二遥操作控制台，以及环形屏幕，形成系统闭环；

(3)模式三：用于仿真空间机器人捕获、插拔中的碰撞动力学与控制仿真试验，由第一遥操作控制台、第二遥操作控制台、系统总控制台、高维动力学仿真服务器、虚拟现实3D仿真和视频采集服务器、刚性机械臂、第一关节控制计算机、视觉系统、环形屏幕组成；由系统总控制台进行系统调式、初始状态设定，再进入仿真，通过第一遥操作控制控制台或第二遥操作控制台进行手动遥操作控制指令输入，该指令输入给高维动力学仿真服务器，给出空间机器人的运动期望指令，并对空间机器人进行控制律解算，进行空间机器人的动力学数学仿真，将输出空间机器人的运动状态传给第一关节控制计算机，解算地面刚性机械臂的等效关节角，并驱动刚性机械臂按空间机器人的末端位姿实现与目标的碰撞，将高维动力学仿真服务器的输出空间机器人的运动状态，以及利用视觉系统测量到的视觉信息，反馈给虚拟现实3D仿真和视频采集服务器进行图像仿真，将刚性机械臂碰撞力反馈到高维动力学仿真服务器，作为外力作用，进行动力学仿真，将碰撞力反馈到第一遥操作控制台或第二遥操作控制台，实现对捕获、插拔碰撞过程中对遥操作者的力矩反馈，以及环形屏幕，形成系统闭环；

(4)模式四：用于验证挠性机械臂的控制性能及挠性参数辨识仿真试验，由第一遥操作控制台、第二遥操作控制台、系统总控制台、虚拟现实3D仿真和视频采集服务器、挠性机械臂、第二关节控制计算机、视觉系统、环形屏幕组成；由系统总控制台进行系统调式、初始状态设定，再进入仿真，通过第一遥操作控制控制台或第二遥操作控制台进行手动遥操作控制指令输入，输入指令为挠性机械臂的关节角或角速度指令，第二关节控制计算机对该指令进行解算，换算成各关节的控制指令，驱动挠性机械臂，利用视觉系统进行挠性振动信息采集，反馈到虚拟现实3D仿真和视频采集服务器，进行图像处理，再反馈到第一遥操作控制控制台或第二遥操作控制台，以及环形屏幕，形成系统闭环。

本发明与现有技术相比具有如下优点：

(1)本发明具备手动遥操作控制的数学仿真试验、地面真实的机械臂手动遥操作控制的仿真试验、空间机器人捕获插拔中的碰撞动力学与控制试验、挠性机械臂的控制性能验证及挠性参数辨识四种工作模式，可针对遥操作控制系统完成从设计、仿真、参数优化、操作人员训练的一站式解决方案。前期的设计、仿真及优化后的参数，能直接下载到实际系统中，实现遥操作的控制训练，并将实际系统的验证结果反馈到设计过程，再进行系统重新设计及优化，实现一站式遥操作控制系统开发，以前从未有过类似的遥操作控制或仿真相关的系统；

(2)对于遥操作控制平台，本发明通过利用人体的脚部自由度，利用脚踏板、手控柄、鼠标、键盘进行指令输入，在脚踏板“使能”情况下，手控柄指令有效；在“禁止”状态，手控柄指令无效，通过“使能”、“禁止”状态切换，可以实现手控柄对远程刚性机械臂的大范围运动控制，通过减小远端机械臂与手控柄间的放大因子，从而实现远程刚性机械臂的高精度控制，以前从未有过类似的设计；

(3)本发明中，配置了丰富的传感测量系统，包括刚性机械臂末端配置了力和力矩传感器、视觉系统配置了全局相机、刚性机械臂的手眼相机，以及激光测量仪，可以通过力和力矩传感器对刚性机械臂进行力觉反馈，通过激光测量仪对挠性机械臂的动力学参数进行测试，并将得到的参数更新的遥操作控制系统中，以往的相关系统中均不具备此种功能。

附图说明

图1为多功能遥操作控制系统组成框图；

图2为多功能遥操作控制系统信息流；

图3为系统总控制台操作流程图；

图4为系统总控制台软硬件组成部分；

图5为操作员及控制台；

图6为第一遥操作控制台和第二遥操作控制台操作流程图；

图7为第一遥操作控制台和第二遥操作控制台软硬件组成部分；

图8为高维动力学仿真流程图；

图9为高维动力学仿真服务器软件模块组成；

图10为第一关节控制计算机和第二关节控制计算机流程图；

图11为第一关节控制计算机和第二关节控制计算机软件模块组成；

图12为视觉系统操作流程图；

图13为视觉系统操作软硬件组成部分。

具体实施方式

如图1所示，多功能遥操作控制系统利用总线信息体系结构，将遥操作控制系统中的各个部分组织成网络，包括如下组成部分：第一遥操作控制台1；第二遥操作控制台2、系统总控制台3、高维动力学仿真服务器4、虚拟现实3D仿真和视频采集服务器5、刚性机械臂6、第一关节控制计算机7、挠性机械臂8、第二关节控制计算机9、视觉系统10、环形屏幕11。各设备间通过总线进行交换的信息流如图2所示。

系统总控制台3是整个系统的维护与控制平台，可以对整个系统提供监视、维护、急停等操作。

第一遥操作控制台1、第二遥操作控制台2实现两方面的功能：一是在第一遥操作控制台1的操作者退出时接管远程刚性机械臂6控制权，实现操作员间的协调控制；二是在模式一下工作时，如果仿真的空间机器人上安装了两只机械臂，第一遥操作控制台1、第二遥操作控制台2的操作者分别控制一只空间机器人上的机械臂，实现两个操作员的协调控制。

高维动力学仿真服务器4实现对复杂对象的动力学仿真，主要针对进行空间操作的空间机器人，其动力学模型维数高，仿真资源需求大，利用该高维动力学仿真服务器4，能对在轨的空间机器人进行动力学仿真，包括与空间操作目标的碰撞检测、虚拟力反馈测量等。

虚拟现实3D仿真和视频采集服务器5，实现真实图像与虚拟图像的融合，实现图像仿真，将仿真结果传输给遥操作控制台的显示器，用于操作者通过视觉判断进行操作；

刚性机械臂6有两个功能，一是作为地面基座固定的机械臂，对作为远端进行地面遥操作控制，二是作为空间机器人的运动学模拟器，在运动学级上对空间机器人的运动状态进行运动学模拟，利用力和力矩测量敏感器实现机械臂与操作目标的碰撞测量，将测量信息反馈给遥操作人员。

第一关节控制计算机7实现刚性机械臂6的操作控制；虚拟现实3D仿真和视频采集服务器4用于对空间机器人空间操作环境进行仿真建模，进行虚拟现实3D建模与仿真，同时对视频系统采集的图像信息进行显示，与虚拟现实图像进行融合，实现增加现实仿真。

挠性机械臂8用于对在轨的空间机器人上安装的机械臂的挠性进行仿真测试，主要用于对挠性机械臂8的振动进行测试，用于进行挠性参数辨识、考虑挠性后的控制性能等。

第二关节控制计算机9实现挠性机械臂8的操作控制；视觉系统用于对机械臂的手眼相机、全局相机图像进行采集，并能对全局相机的角度进行调整。

视觉系统10配置摄像头和光源模拟器，摄像头用于采集刚性机械臂6或挠性机械臂8手眼视觉信息，以及获取全局视觉信息，光源用于模拟在轨光照效果。

环形屏幕11利用大型环境屏幕对图像进行投影，其画面与遥操作控制台上的显示器显示内容是相同的，只是两台投影仪重叠投影，通过立体眼镜可观察到立体视觉；另两台投影仪平行投影，显示信息同操作台上显示器，用于提升演示效果。

具体介绍如下：

(1)系统总控制台3的功能是实现系统试验前的准备、试验中的故障干预、试验后的结果分析，如图3所示，工试验前的准备中，系统总控制台3能调取刚性机械臂6或挠性机械臂8的关节角信息、视觉系统10的视觉信息，如果正常，则可进入具体操作；否则需要检查原因，进行故障排查；试验前，通过系统总控制台3的计算机，对高维动力学仿真服务器4里动力学仿真初始状态，刚性机械臂6与挠性机械臂8的初始位置，虚拟现实3D仿真和视频采集服务器5的初始状态，包括虚拟现实环境的场景设置，光照模拟系统的入射角与亮度进行设置；在试验中，如果遇到故障，通过控制键盘上Pause键，或通过鼠标点击屏幕上的“暂停”按钮，使刚性机械臂6或挠性机械臂8立即制动；在试验中，可以获取刚性机械臂6与挠性机械臂8的关节角、关节角速度，以及高维动力学仿真服务器4动力学仿真结果等状态信息，如果这些状态信息超过设定的阀值，则可以制动刚性机械臂6或挠性机械臂8，方法同前面故障情况；试验完成后，可对试验中的刚性机械臂6与挠性机械臂8的关节角、关节角速度、力觉传感器的反馈值、手控杆的输出指令值进行曲线绘制，进行分析。系统总控制台1的软硬件组成如图4所示。

(2)第一遥操作控制台1，其示意图如图5所示，为操作者提供操作场景即为遥操作者提供接口，其操作流程如图6所示，接收来自高维动力学仿真服务器的动力学仿真状态结果，刚性机械臂6与挠性机械臂8的关节状态信息，虚拟现实3D仿真和视频采集服务器5采集到的视觉信息与虚拟现实仿真信息，系统总控制台1的使能指令以及与第二遥操作台2的切换指令。首先根据系统总控制台3的使能指令，判断遥操作者是否具有操作权，如果具有遥操作权，遥操作者通过观察视觉信息与虚拟现实仿真信息、刚性机械臂6与挠性机械臂8关节运动的角度和角速度，以及刚性机械臂6与挠性机械臂8的末端位置与姿态，判断刚性机械臂6与挠性机械臂8是否到达了期望的位置和姿态，脚部通过脚踏板，使控制手柄具有“使能”或“禁止”状态，在“使能”的情况下，远端机械臂跟随手柄运动；在“禁止”状态，手柄运动时，远端机械臂不运动，不断通过“使能”和“禁止”两种状态的切换，同时控制手控杆，输出刚性机械臂6与挠性机械臂8末端的位置与姿态指令，鼠标、键盘可以控制显示器上的显示界面大小、颜色深浅度，以及在不同的显示视角间切换；高维动力学仿真服务器4输出的力觉反馈信息，通过第一遥操作控制台1的计算机，等比例地呈现在手控杆上，从而实现力觉反馈。如果系统总控制台3输出指令使第一遥操作控制台1不具有遥操作权，则第一遥操作控制台1处于等待状态，其软硬件组成如图7所示；

(3)第二遥操作控制台2，实现两方面的功能，一是在第一遥操作控制台1的操作者退出时接管远程刚性机械臂控制权，实现操作员间的协调控制；二是在模式一下工作时，如果仿真的空间机器人上安装了两只机械臂，第一遥操作控制台1、第二遥操作控制台2的操作者分别控制一只机械臂，实现两个操作员的协调控制；其操作过程同上面第一遥操作控制台1；

(4)高维动力学仿真服务器4的功能是对在轨空间机器人进行在轨真实动力学仿真。高维动力学仿真服务器4的工作流程如图8所示，在高维动力学仿真服务器4中采用分析力学方法建立了空间机器人的高维动力学模型、运动学模型、控制律，其输入包括遥操作控制台给出的刚性机械臂6或挠性机械臂8的末端位置和姿态指令，根据该指令，控制律解算出空间机器人执行机构的控制力和控制力矩，作用在高维动力学模型上，解算出动力学状态，再进行运动学状态解算，得到包括空间机器人的动力学仿真结果，即基座的位置与速度，以及刚性机械臂6或挠性机械臂8关节的角度与角速度、角加速度信息，输出给第一关节控制计算机7和第二关节控制计算机9，用于刚性机械臂6与挠性机械臂8的驱动控制，同时输出给虚拟现实3D仿真和视频采集服务器5，用于图像显示仿真，其软硬件组成如图9所示；

(5)虚拟现实3D仿真和视频采集服务器5中采用Open Inventor软件建立了空间机器人在太空中的操作环境，同时对全局相机、机械臂上的手眼相机进行图像采集，OpenInventor显示的是虚拟的空间场景，而全局相机和手眼相机采集的是真实的刚性机械臂6和挠性机械臂8的图像，采用增加现实技术，将两种图像一起显示，叠加在一起，实现真实图像与虚拟图像的融合，实现图像仿真，将仿真结果传输给第一遥操作控制台1或第二遥操作控制台2的显示器，用于操作者通过视觉判断进行操作；

(6)刚性机械臂6，位于远程操作现场，在远程对目标进行操作，实现对空间机器人的运动学仿真，在刚性机械臂的末端配置了六维力和力矩传感器，利用力和力矩传感器对刚性机械臂6与环境的碰撞接解进行测量，刚性机械臂6的各关节由驱动器、电机，以及角位置编解码单元组成，第一关节控制计算机中的控制软件解算出刚性机械臂6各关节的控制指令后，传输给刚性机械臂6的驱动器，驱动器驱动各关节的电机运动，从而带动刚性机械臂6末端的运动，刚性机械臂6运动后，各关节的角位置编解码单元测量到各关节角度，计算出角速度和角加速度，传输给虚拟现实3D仿真和视频采集服务器5；如果刚性机械臂6与目标发生碰撞，则力矩传感器测量到力和力矩值，将力和力矩数值反馈到高维动力学仿真服务器4中的空间机器人动力学仿真软件，作为输入对空间机器人的状态进行仿真，进一步得到新的空间机器人的状态，同时高维动力学仿真服务器还将测量到的力矩值反馈给第一遥操作控制台1和第二遥操作控制台2，用于在手控杆上重现该力矩，实现力反馈；

(7)第一关节控制计算机7的功能是根据关节角控制指令实现对刚性机械臂各关节的驱动控制。其工作流程如图10所示，它接收来自高维动力学仿真服务器4的各关节指令，即关节角或关节角速度，将该指令作为输入指令信息，通过各关节的双闭环控制软件，解算出各关节的控制力矩指令，控制力矩指令输入给刚性机械臂6的关节驱动器，驱动刚性机械臂的关节运动，其软硬件模块组成如图11所示；

(8)挠性机械臂8，其功能是采用气浮支撑，放置在大理石平台上，用于模拟空间在轨失重环境，用于对挠性机械臂8的挠性进行激励与测量，以及挠性机械臂8存在挠性时进行空间操作的性能。挠性机械臂8的各关节由驱动器、电机，以及角位置编解码单元组成，第二关节控制计算机9中的控制软件解算出挠性机械臂8各关节的控制指令后，传输给挠性机械臂的驱动器，驱动器驱动各关节的电机运动，从而带动挠性机械臂8末端的运动，挠性机械臂运动后，各关节的角位置编解码单元测量到各关节角度，计算出角速度和角加速度，传输给虚拟现实3D仿真和视频采集服务器5。挠性机械臂8运动时会起振，其振动信息通过激光测量仪测量到后传输给虚拟现实3D仿真和视频采集服务器5，用于显像显示其振动大小，激光测量仪的测量信息再进一步传输给系统总控制台3，系统总控制台3在试验完成后可以对这些信息进行分析，提取挠性振动的频率与阻尼信息；

(9)第二关节控制计算机9的功能是根据关节角控制指令实现对挠性机械臂8各关节的驱动控制；它接收来自高维动力学仿真服务器4的各关节指令，即关节角或关节角速度，将该指令作为输入指令信息，通过各关节的双闭环控制软件，解算出各关节的控制力矩指令，控制力矩指令输入给挠性机械臂的关节驱动器，驱动挠性机械臂的关节运动；

(10)视觉系统10的硬件组成包括全局相机、刚性机械臂上的手眼相机、光照模拟、激光测量仪。其工作流程如图12所示，在试验开始前，采集来自系统总控制台3的全局相机和手眼相机的指向角度值，以及光照强度，实现全局相机、手眼相机视角的调整，以及模拟的光照强度调整；在试验中，采集全局相机、手眼相机的视觉图像，反馈给虚拟现实3D仿真和视频采集服务器5，用于图像仿真，同时利用激光测量仪测量挠性机械臂8的振动信息，也反馈给虚拟现实3D仿真和视频采集服务器5，再进一步反馈给系统总控制台3，用于对挠性信息(振动频率与阻尼)进行提取，其软硬件组成如图13所示；

(11)环形屏幕11的功能是通过四台投影仪进行投影显示，利用投影仪投影到环形屏幕11上，用于除操作者外的其它人员对遥操作试验进行视觉观察。四台投影仪的投影图像均来自虚拟现实3D仿真和视频采集服务器5的输出图像信息，虚拟现实3D仿真和视频采集服务器5可以控制输出到投影仪上的图像信息的内容。环形屏幕11的图像区域分成三块，其中两块分别对应两台投影仪，另一声区域对应剩下的两台投影仪，两台投影仪的投影图像分别通过偏振片进行滤光，投出光振动方向相互垂直，在三块区域上重叠显示，通过立体眼镜观察这块区域，可以观察到3D显示图像。

该系统具有四种仿真工况试验能力即四种工作模式：模式一：由第一遥操作控制台1和第二遥操作控制台2、高维动力学仿真服务器4、虚拟现实3D仿真和视频采集服务器5形成闭环进行遥操作数学仿真；模式二：由第一遥操作控制台1和第二遥操作控制台2、刚性机械臂8、第一关节控制计算机7、第二关节控制计算机9、虚拟现实3D仿真和视频采集服务器5进行地面机器人的远程遥操作；模式三：由第一遥操作控制台1和第二遥操作控制台2、高维动力学仿真服务器4、刚性机械臂6、第一关节控制计算机7、第二关节控制计算机9、视觉系统10、虚拟现实3D仿真和视频采集服务器5进行遥操作的运动学仿真，主要针对碰撞、插拔等操作工况；模式四：由第一遥操作控制台1和第二遥操作控制台2、挠性机械臂8、第一关节控制计算机7、第二关节控制计算机9、视觉系统10、虚拟现实3D仿真和视频采集服务器5组成闭环系统，进行考虑挠性机械臂8的挠性特性情况下的仿真与设计。

下面进行详细说明。

(1)模式一：进行手动遥操作控制的数学仿真试验。由图1中的第一遥操作控制台1、第二遥操作控制台2、系统总控制台3、高维动力学仿真服务器4、虚拟现实3D仿真和视频采集服务器5和环形屏幕6组成。由系统总控制台1进行系统调式、初始状态设定，再进入系统仿真中，通过第一遥操作控制控制台2或第二遥操作控制台3进行手动遥操作控制指令输入，在高维动力学仿真服务器4中运行空间机器人的动力学仿真，利用虚拟现实3D仿真和视频采集服务器5对空间机器人的状态信息进行图像仿真，再反馈到第一遥操作控制控制台2或第二遥操作控制台3，以及环形屏幕11，形成系统闭环。

(2)模式二：对地面真实的机械臂进行手动遥操作控制的仿真试验。由图1中的第一遥操作控制台1、第二遥操作控制台2、系统总控制台3、虚拟现实3D仿真和视频采集服务器5、刚性机械臂6、第一关节控制计算机7、视觉系统10、环形屏幕11组成。由系统总控制台3进行系统调式、初始状态设定，再进入系统仿真中，通过第一遥操作控制控制台1或第二遥操作控制台2进行手动遥操作控制指令输入，输入指令为刚性机械臂6的关节角或角速度指令，第一关节控制计算机7对该指令进行解算，换算成各关节的控制指令，驱动刚性机械臂6，利用视觉系统10进行视觉信息采集，反馈到虚拟现实3D仿真和视频采集服务器5，进行图像处理，再反馈到第一遥操作控制控制台2或第二遥操作控制台3，以及环形屏幕11，形成系统闭环.

(3)模式三：用于仿真空间机器人捕获、插拔中的碰撞动力学与控制仿真试验。由第一遥操作控制台1、第二遥操作控制台3、系统总控制台3、高维动力学仿真服务器4、虚拟现实3D仿真和视频采集服务器5、刚性机械臂6、第一关节控制计算机7、视觉系统10、环形屏幕11组成。由系统总控制台3进行系统调式、初始状态设定，再进入系统仿真中，通过第一遥操作控制控制台1或第二遥操作控制台2进行手动遥操作控制指令输入，该指令输入给高维动力学仿真服务器4，给出空间机器人的运动期望指令，并对空间机器人进行控制律解算，进行空间机器人的动力学数学仿真，将输出空间机器人的运动状态传给第一关节控制计算机7，解算地面刚性机械臂6的等效关节角，并驱动刚性机械臂6按空间机器人的末端位姿实现与目标的碰撞，将高维动力学仿真服务器4的输出空间机器人的运动状态，以及利用视觉系统10测量到的视觉信息，反馈给虚拟现实3D仿真和视频采集服务器5进行图像仿真，将刚性机械臂6碰撞力反馈到高维动力学仿真服务器4，作为外力作用，进行动力学仿真，将碰撞力反馈到第一遥操作控制台1或第二遥操作控制台2，实现对捕获、插拔等碰撞过程中对遥操作者的力矩反馈，以及环形屏幕11，形成系统闭环

(4)模式四：用于验证挠性机械臂8的控制性能及挠性参数辨识。由第一遥操作控制台1、第二遥操作控制台2、系统总控制台3、虚拟现实3D仿真和视频采集服务器5、挠性机械臂8、第二关节控制计算机9、视觉系统10、环形屏幕11组成。由系统总控制台3进行系统调式、初始状态设定，再进入系统仿真中，通过第一遥操作控制控制台1或第二遥操作控制台2进行手动遥操作控制指令输入，输入指令为挠性机械臂8的关节角或角速度指令，第二关节控制计算机9对该指令进行解算，换算成各关节的控制指令，驱动挠性机械臂8，利用视觉系统10进行挠性振动信息采集，反馈到虚拟现实3D仿真和视频采集服务器5，进行图像处理，再反馈到第一遥操作控制控制台1或第二遥操作控制台2，以及环形屏幕11，形成系统闭环。

总之，本发明能对遥操作控制的设计、仿真、测试提供一站式的解决方案。具备手动遥操作控制的数学仿真试验、地面真实的机械臂手动遥操作控制的仿真试验、空间机器人捕获插拔中的碰撞动力学与控制试验、挠性机械臂的控制性能验证及挠性参数辨识四种工作模式，在一个平台里对遥操作控制进行设计、分析，反复迭代，优化系统，将控制参数下载到真实遥操作控制系统中，实现在同一平台完成遥操作控制的从头到尾的系统开发；对于遥操作控制系统中最重要的人机接口方案，通过脚踏板、手控柄等，构建更大范围和精细的遥操作控制系统。

Claims (5)

1.一种多功能一站式遥操作控制设计与仿真系统，其特征在于系统包括：第一遥操作控制台、第二遥操作控制台、系统总控制台、高维动力学仿真服务器、刚性机械臂、第一关节控制计算机、虚拟现实3D仿真和视频采集服务器、挠性机械臂、第二关节控制计算机、视觉系统和环形屏幕；

第一遥操作控制台、第二遥操作控制台为遥操作者提供操作场景即为遥操作者提供接口，根据系统总控制台的使能指令，判断遥操作者是否具有遥操作权，如果具有遥操作权，遥操作者通过观察视觉信息与虚拟现实仿真信息、刚性机械臂与挠性机械臂关节运动的角度和角速度，以及刚性机械臂与挠性机械臂的末端位置与姿态，判断刚性机械臂与挠性机械臂是否到达了期望的位置和姿态，脚部通过脚踏板，使控制手柄具有“使能”或“禁止”状态，在“使能”的情况下，远端机械臂跟随控制手柄运动；在“禁止”状态，控制手柄运动时，远端机械臂不运动，鼠标、键盘可以控制显示器上的显示界面大小、颜色深浅度，以及在不同的显示视角间切换；高维动力学仿真服务器输出的动力学仿真状态结果即力觉反馈信息，通过遥操作控制台等比例呈现在控制手柄上实现力觉反馈；

系统总控制台实现系统试验前的准备、试验中的故障干预，以及试验后的结果分析；试验前的准备中，系统总控制台能调取刚性机械臂或挠性机械臂的关节角信息、视觉系统的视觉信息，如果正常，则开始试验；否则需要检查原因，进行故障排查；试验前，通过系统总控制台的计算机对高维动力学仿真服务器里动力学仿真初始状态，刚性机械臂与挠性机械臂的初始位置，虚拟现实3D仿真和视频采集服务器的初始状态进行设置；在试验中，获取刚性机械臂与挠性机械臂的关节角、关节角速度，以及高维动力学仿真服务器动力学仿真结果状态信息，如果这些状态信息超过设定的阀值，则制动刚性机械臂或挠性机械臂，通过控制键盘上Pause键，或通过鼠标点击屏幕上的“暂停”按钮实现；试验完成后，对试验中的刚性机械臂与挠性机械臂的关节角、关节角速度、力觉传感器的反馈值、控制手柄的输出指令值进行曲线绘制，并进行分析；

高维动力学仿真服务器，对在轨空间机器人进行在轨真实动力学仿真；采用分析力学方法建立空间机器人的高维动力学模型、运动学模型、控制律，根据遥操作控制台给出的机械臂末端位置和姿态指令，控制律解算出空间机器人执行机构的控制力和控制力矩，作用在高维动力学模型上，解算出动力学状态，再进行运动学状态解算，得到包括空间机器人的动力学仿真结果，即基座的位置与速度，以及机械臂关节的角度与角速度、角加速度信息，输出给第一关节控制计算机和第二关节控制计算机，用于刚性机械臂与挠性机械臂的驱动控制，同时输出给虚拟现实3D仿真和视频采集服务器，用于图像显示仿真；

虚拟现实3D仿真和视频采集服务器，采用Open Inventor软件建立空间机器人在太空中的操作环境，同时对全局相机、机械臂上的手眼相机进行图像采集，Open Inventor显示的是虚拟的空间场景，而全局相机和手眼相机采集的是真实的刚性机械臂和挠性机械臂的图像，采用虚拟现实技术，将两种图像一起显示，叠加在一起，实现真实图像与虚拟图像的融合，实现图像仿真，将仿真结果传输给遥操作控制台的显示器，用于遥操作者通过视觉判断进行操作；

刚性机械臂，位于远程操作现场，在远程对目标进行操作，实现对空间机器人的运动学仿真，在刚性机械臂的末端配置力和力矩传感器，利用力和力矩传感器对机械臂与环境的碰撞力和力矩进行测量，刚性机械臂的各关节由关节驱动器、电机，以及角位置编解码单元组成，第一关节控制计算机中的控制软件解算出刚性机械臂各关节的控制指令后，传输给刚性机械臂的关节驱动器，关节驱动器驱动各关节的电机运动，从而带动刚性机械臂末端的运动，刚性机械臂运动后，各关节的角位置编解码单元测量到各关节角度，计算出角速度和角加速度，传输给虚拟现实3D仿真和视频采集服务器；如果刚性机械臂与目标发生碰撞，则力和力矩传感器测量到力和力矩值，将力和力矩数值反馈到高维动力学仿真服务器中的空间机器人动力学仿真软件，作为输入对空间机器人的状态进行仿真，进一步得到新的空间机器人的状态，同时高维动力学仿真服务器还将测量到的力矩值反馈给第一遥操作控制台和第二遥操作控制台，用于在控制手柄上重现该力矩，实现力反馈；

第一关节控制计算机，根据关节角控制指令实现对刚性机械臂各关节的驱动控制；接收来自高维动力学仿真服务器的各关节指令，即关节角或关节角速度，将各关节指令作为输入指令信息，通过各关节的双闭环控制软件，解算出各关节的控制力矩指令，控制力矩指令输入给刚性机械臂的关节驱动器，驱动刚性机械臂的关节运动；

挠性机械臂，采用气浮支撑，通过模拟在轨空间机器人上安装的机械臂的运动，激励挠性振动，用于对挠性参数进行测试，挠性机械臂各关节由关节驱动器、电机，以及角位置编解码单元组成，第二关节控制计算机中的控制软件解算出挠性机械臂各关节的控制指令后，传输给挠性机械臂的关节驱动器，关节驱动器驱动各关节的电机运动，从而带动挠性机械臂末端的运动，各关节的角位置编解码单元测量到各关节角度，计算出角速度和角加速度，传输给虚拟现实3D仿真和视频采集服务器；挠性机械臂的振动信息通过激光测量仪测量到后传输给虚拟现实3D仿真和视频采集服务器，激光测量仪的测量信息再进一步传输给系统总控制台，总控制台对这些信息进行分析，提取挠性振动的频率与阻尼信息；

第二关节控制计算机，根据关节角控制指令实现对挠性机械臂各关节的驱动控制；它接收来自高维动力学仿真服务器的各关节指令，即关节角或关节角速度，将该指令作为输入指令信息，通过各关节的双闭环控制软件，解算出各关节的控制力矩指令，控制力矩指令输入给挠性机械臂的关节驱动器，驱动挠性机械臂的关节运动；

视觉系统，包括全局相机、刚性机械臂上的手眼相机、光照模拟和激光测量仪；在试验开始前，采集来自系统总控制台的全局相机和手眼相机的指向角度值，以及光照强度，实现全局相机、手眼相机视角的调整，以及模拟的光照强度调整；在试验中，采集全局相机、手眼相机的视觉图像，反馈给虚拟现实3D仿真和视频采集服务器，用于图像仿真，同时利用激光测量仪测量挠性机械臂的振动信息，反馈给虚拟现实3D仿真和视频采集服务器，再进一步反馈给系统总控制台，用于对挠性信息即振动频率与阻尼进行提取；

环形屏幕，通过四台投影仪进行投影显示，利用四台投影仪投影到环形屏幕上；四台投影仪的投影图像均来自虚拟现实3D仿真和视频采集服务器的输出图像信息；投影到环形屏幕，环形屏幕图像区域分成三块，其中两块分别对应两台投影仪，另一块区域对应剩下的两台投影仪，两台投影仪的投影图像分别通过偏振片进行滤光，投出光振动方向相互垂直，在第三块区域上重叠显示，通过立体眼镜观察这块区域，观察到3D显示图像。

2.根据权利要求1所述的一种多功能一站式遥操作控制设计与仿真系统，其特征在于：所述系统总控制台中，所述虚拟现实3D仿真和视频采集服务器的初始状态包括虚拟现实环境的场景设置，光照模拟系统的入射角与亮度。

3.根据权利要求1所述的一种多功能一站式遥操作控制设计与仿真系统，其特征在于：通过综合利用人体的脚部自由度，利用脚踏板、控制手控、鼠标、键盘进行指令输入，在脚踏板“使能”情况下，控制手控指令有效；在“禁止”状态，控制手控指令无效，通过“使能”、“禁止”状态切换，可以实现控制手控对远程刚性机械臂的大范围运动控制，通过减小远程刚性机械臂与控制手控间的放大因子，从而实现远程刚性机械臂的高精度控制，在试验中，如果遇到故障，通过控制键盘上Pause键，或通过鼠标点击屏幕上的“暂停”按钮，使刚性机械臂或挠性机械臂立即制动。

4.根据权利要求1所述的一种多功能一站式遥操作控制设计与仿真系统，其特征在于：仿真周期、第一关节控制计算机和第二关节控制计算机的控制周期分别不大于1ms。

5.一种多功能一站式遥操作控制设计与仿真方法，其特征在于包括四种工作模式，实现步骤为：

(1)模式一：进行手动遥操作控制的数学仿真试验，由第一遥操作控制台、第二遥操作控制台、系统总控制台、高维动力学仿真服务器、虚拟现实3D仿真和视频采集服务器、环形屏幕组成；由系统总控制台进行系统调式、初始状态设定，再进入仿真，通过第一遥操作控制台或第二遥操作控制台进行手动遥操作控制指令输入，在高维动力学仿真服务器中运行空间机器人的动力学仿真，利用虚拟现实3D仿真和视频采集服务器对空间机器人的状态信息进行图像仿真，再反馈到第一遥操作控制台或第二遥操作控制台，以及环形屏幕，形成系统闭环；

(2)模式二：对地面真实的机械臂进行手动遥操作控制的仿真试验，由第一遥操作控制台、第二遥操作控制台、系统总控制台、虚拟现实3D仿真和视频采集服务器、刚性机械臂、第一关节控制计算机、视觉系统、环形屏幕组成；由系统总控制台进行系统调式、初始状态设定，再进入仿真，通过第一遥操作控制台或第二遥操作控制台进行手动遥操作控制指令输入，输入指令为刚性机械臂的关节角或角速度指令，第一关节控制计算机对该指令进行解算，换算成各关节的控制指令，驱动刚性机械臂，利用视觉系统进行视觉信息采集，反馈到虚拟现实3D仿真和视频采集服务器，进行图像处理，再反馈到第一遥操作控制台或第二遥操作控制台，以及环形屏幕，形成系统闭环；

(3)模式三：用于仿真空间机器人捕获、插拔中的碰撞动力学与控制仿真试验，由第一遥操作控制台、第二遥操作控制台、系统总控制台、高维动力学仿真服务器、虚拟现实3D仿真和视频采集服务器、刚性机械臂、第一关节控制计算机、视觉系统、环形屏幕组成；由系统总控制台进行系统调式、初始状态设定，再进入仿真，通过第一遥操作控制台或第二遥操作控制台进行手动遥操作控制指令输入，该指令输入给高维动力学仿真服务器，给出空间机器人的运动期望指令，并对空间机器人进行控制律解算，进行空间机器人的动力学数学仿真，将输出空间机器人的运动状态传给第一关节控制计算机，解算地面刚性机械臂的等效关节角，并驱动刚性机械臂按空间机器人的末端位姿实现与目标的碰撞，将高维动力学仿真服务器的输出空间机器人的运动状态，以及利用视觉系统测量到的视觉信息，反馈给虚拟现实3D仿真和视频采集服务器进行图像仿真，将刚性机械臂碰撞力反馈到高维动力学仿真服务器，作为外力作用，进行动力学仿真，将碰撞力反馈到第一遥操作控制台或第二遥操作控制台，实现对捕获、插拔碰撞过程中对遥操作者的力矩反馈，以及环形屏幕，形成系统闭环；

(4)模式四：用于验证挠性机械臂的控制性能及挠性参数辨识仿真试验，由第一遥操作控制台、第二遥操作控制台、系统总控制台、虚拟现实3D仿真和视频采集服务器、挠性机械臂、第二关节控制计算机、视觉系统、环形屏幕组成；由系统总控制台进行系统调式、初始状态设定，再进入仿真，通过第一遥操作控制台或第二遥操作控制台进行手动遥操作控制指令输入，输入指令为挠性机械臂的关节角或角速度指令，第二关节控制计算机对该指令进行解算，换算成各关节的控制指令，驱动挠性机械臂，利用视觉系统进行挠性振动信息采集，反馈到虚拟现实3D仿真和视频采集服务器，进行图像处理，再反馈到第一遥操作控制台或第二遥操作控制台，以及环形屏幕，形成系统闭环。