CN103302668A - 基于Kinect的空间遥操作机器人的控制系统及其方法 - Google Patents

Abstract

本发明涉及远程遥操作机器人控制技术领域。本发明公开了一种基于Kinect的空间遥操作机器人的控制系统及其方法。该发明针对空间遥操作技术中存在的大时延问题，利用Kinect实现三维环境建模，并对预测环境进行一致性校正，加强操作时的临场感，可以克服时延带来的影响，精确高效地完成空间站内外的作业任务，有利于完成相对较复杂的工作，提高了遥操作的安全性，使作业效果大大增强。本发明能够应用于，在地面精确实时地遥控制太空中的机械臂完成舱内生物实验和化学实验等一系列的科学实验，工具箱和按键的简单操作，漂浮物的清理以及卫星的修理等工作。

Description

基于Kinect的空间遥操作机器人的控制系统及其方法

技术领域

本发明涉及远程遥操作机器人控制技术领域，特别是涉及一种利用Kinect实现三维环境建模，并克服时延带来的影响的遥操作机器人控制技术。

背景技术

以主、从操纵机器人为核心的临场感遥操作系统可以在人难以靠近的高温、高压、强辐射、窒息等极限环境下进行复杂的操纵作业。借助于遥操作系统提供力觉、视觉临场感以及虚拟现实场景，可以使操作者真实地感觉到机器人与被操作物体的动态相互作用。而且，国内外专家学者们普遍认为临场感作业中的虚拟现实技术是解决遥操作中大时延问题的唯一有效途径。

在遥操作系统中，操纵者的操纵质量与对“从环境”信息获取能力密切相关。近几年，虚拟现实（Virtual Reality，简称VR）技术在遥操作中得到广泛应用，VR是利用计算机生成一种逼真的视、听、力、触和动等的感觉的虚拟环境，通过各种传感设备使操作者“沉浸”到该环境中，实现操作者和环境进行自然交互，从而有效的完成遥控作业任务。而获取信息的方式最有效的方式之一是直接获取场景的三维空间信息。

微软公司的自然交互设备Kinect，可以实时捕捉和构建实物的3D数据。

发明内容

发明目的：针对遥操作机器人时延带来的操作不适感，增强操作的临场感，本发明提供了一种基于Kinect的空间遥操作机器人的控制系统及其方法。

技术方案：基于Kinect的空间遥操作机器人的控制系统，包括客户端和服务端，客户端和服务端通过网络连接；所述客户端包括手控器、控制计算机、显示器，所述控制计算机连接手控器和显示器；所述服务端包括机械臂、图像采集模块、远程控制计算机、机器人控制箱，所述远程控制计算机连接图像采集模块和机器人控制箱；所述机器人控制箱连接机械臂；其中，所述图像采集模块包括Kinect三维传感器、工业摄像头。

基于Kinect的空间遥操作机器人的控制方法，包括如下步骤：操作者在本地端控制手控器进行运动，本地控制计算机接收手控器的位姿信息，通过网络把控制信号发送给远程控制计算机；

远程控制计算机把接收到的信号进行解算，进而把控制信号传送给机器人控制箱，机器人控制箱把信号传送给机械臂使得机械臂进行运动，同时远端的工业摄像头和Kinect三维传感器对机械臂的运动和机械臂所在的场景进行图像采集，并进行三维场景的重建；

机械臂也把运动信息反馈给机器人控制箱和远程控制计算机，计算机控制箱对机械臂的运动进行解算传给远程控制计算机；

远程控制计算机把接收到的所有信息进行压缩打包并通过网络传送回本地控制计算机，本地控制计算机接收远程计算机的反馈信息，在屏幕上实现一个仿真的建模平台。

所述三维场景的重建包括本地虚拟机械臂模型、本地虚拟场景模型、本地虚拟合成界面模型的构建；

所述本地虚拟机械臂模型构建方法是，控制信号传递给远程的机械臂时存在时延T1，远程的机械臂在接受到信号做出动作改变了状态之后的姿态信息传递回去存在时延T2；姿态信息和本地的虚拟模型的状态存在T1+T2的时延的误差，虚拟出一个时延T3=T1+T2进行补偿，然后两者的在时延相等的情况下的数据计算出误差，并加上T3后对当前的虚拟机械臂进行修正，使当前的模型更加接近现场的机械臂；

所述本地虚拟场景构建模型方法是，Kinect三维传感器采集回来的虚拟图像传递到本地控制计算机存在时延T，虚拟一个时延T'=T进行补偿，然后两者的在时延相等的情况下计算出误差，并加上T后对当前的虚拟场景模型进行修正使当前的模型更加接近现场的场景；

所述本地虚拟合成界面模型的构建方法是，把所述本地虚拟机械臂和所述本地虚拟场景合成并配合模型碰撞的算法构造一个供操作者观察并判断的虚拟现实的画面。

所述对本地虚拟机械臂进行修正的方法是，对机械臂进行运动学建模，获取末端位置，即采用D-H矩阵的方法，在机械臂的每个连杆上都固定一个坐标系，然后用4×4的齐次变换矩阵来描述相邻两连杆的空间关系。

本发明采用上述技术方案，具有以下有益效果：使用时延反馈补偿的方式明显改善时延带来的操作不适感，使用Kinect采集并建立的三维场景则加强了操作时的临场感，能直观地观察出机械臂和场景相对位置关系，有利于完成相对较复杂的工作，提高了遥操作的安全性，使作业效果大大增强。本发明能够应用于在地面精确实时地遥控制太空中的机械臂完成舱内生物实验和化学实验等一系列的科学实验，工具箱和按键的简单操作，漂浮物的清理以及卫星的修理等工作。

附图说明

图1为本发明实施例的整体控制框图；

图2为本发明实施例的虚拟机械臂建模流程图；

图3为本发明实施例的虚拟场景建模流程图；

图4为本发明实施例的图像合成及显示流程图；

图5为本发明实施例的机械臂简化运动学模型图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明实施例的基于Kinect的空间遥操作机器人的控制系统，包括：客户端和服务端，其中客户端和服务端通过网络连接起来。客户端包括：手控器、显示器、控制计算机，所述控制计算机连接着手控器和显示器。所述服务端包括：机械臂、图像采集模块、远程控制计算机、机器人控制箱，其中远程控制计算机连接着图像采集模块和机器人控制箱；所述机器人控制箱连接着机械臂。图像采集模块包括：Kinect三维传感器，工业摄像头。

下面结合附图对本发明做更进一步的解释。

图1为本发明实施例的整体控制流程图。

操作者1在本地端控制多自由度力反馈手控器2进行运动，连接手控器的本地控制计算机9接收手控器的位姿信息，通过网络3把控制信号发送给远程控制计算机8。远程控制计算机把接收到的信号进行解算，进而把控制信号传送给机器人控制箱7，机器人控制箱把信号传送给机械臂4使得机械臂进行运动，同时远端的工业摄像头5和Kinect三维传感器6对机械臂的运动和机械臂所在的场景进行图像采集，机械臂也把运动信息反馈给机器人控制箱和远程控制计算机，计算机控制箱又对机械臂的运动进行解算传给远程控制计算机。计算机把接收到的所有信息进行压缩打包并通过网络传送回本地控制计算机，本地控制计算机接收远程计算机的反馈信息，在屏幕上实现一个仿真的建模平台，使得操作者通过手控器的力觉反馈和虚拟场景的视觉反馈了解远端机械臂的工作状态、环境的力觉性质等。

图2为本发明实施例的虚拟机械臂建模流程图。

力反馈手控器产生的控制信号同时传递给远程的机械臂和本地的虚拟机械臂，操作者则根据虚拟界面实时解算出来的图像进行操作。控制信号传递给远程的机械臂时存在时延T1，远程的机械臂在接受到信号做出动作改变了状态之后的姿态信息传递回去时也有时延T2。姿态信息由于和本地的虚拟模型的状态存在T1+T2的时延的误差，所以本地虚拟的机械臂模型需要虚拟出一个时延T3=T1+T2进行补偿，然后两者的在时延相等的情况下的数据计算出来误差，并加上T3后对当前的虚拟模型进行修正，使当前的模型更加接近现场的机械臂。

图3为本发明实施例的虚拟场景建模流程图。

虚拟环境建模流程如下：Kinect采集回来的虚拟图像传递到本地的计算机的过程中存在时延T，所以本地虚拟的场景模型需要虚拟出一个时延T′＝T进行补偿，然后两者的在时延相等的情况下的数据计算出来误差，并加上T后对当前的虚拟场景模型进行修正使当前的模型更加接近现场的场景。

图4为本发明实施例的图像合成及显示流程图。

把虚拟的场景和虚拟的机械臂模型合成并配合模型碰撞的算法来构造一个供操作者观察并判断的虚拟现实的画面以增强临场感。由于是三维的画面，所以操作者可以随意改变当前的观察角度来观察空间的各个位置的截面。

图5为本发明实施例的机械臂简化运动学模型图。下表1为本发明实施例的机械臂运动学模型的D-H参数表。

表1：机械臂运动学模型的D-H参数表

	Θ	d	a	α
					1	Θ1	L1	0	0
2	0	L2	0	90
					3	Θ3	O	L3	0
4	Θ4	0	L4	0

在对虚拟机械臂进行修正时，要保证虚拟机械臂的末端和真实机械臂一致，就要对机械臂进行运动学建模，获取末端位置。采用D-H矩阵的方法，在机械臂的每个连杆上都固定一个坐标系，然后用4×4的齐次变换矩阵来描述相邻两连杆的空间关系。首先为由机械臂的模型列出的对应的D-H参数表，根据参数表可以写出各个关节对应的仿射变换矩阵如下：

$A_1=\left(\begin{array}{cccc}\cos \left[{\mathrm{\θ}}_1\right]& -\sin \left[{\mathrm{\θ}}_1\right]& 0& 0\\ \sin \left[{\mathrm{\θ}}_1\right]& \cos \left[{\mathrm{\θ}}_1\right]& 0& 0\\ 0& 0& 1& 11\\ 0& 0& 0& 1\end{array}\right)---\left(1\right)$

$A_2=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& -1& -12\\ 0& 1& 0& 0\\ 0& 0& 0& 1\end{array}\right)---\left(2\right)$

$A_3=\left(\begin{array}{cccc}\cos \left[{\mathrm{\θ}}_3\right]& -\sin \left[{\mathrm{\θ}}_3\right]& 0& l_3\cos \left[{\mathrm{\θ}}_3\right]\\ \sin \left[{\mathrm{\θ}}_3\right]& \cos \left[{\mathrm{\θ}}_3\right]& 0& l_3\sin \left[{\mathrm{\θ}}_3\right]\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)---\left(3\right)$

$A_4=\left(\begin{array}{cccc}\cos \left[{\mathrm{\θ}}_3\right]& -\sin \left[{\mathrm{\θ}}_3\right]& 0& l_3\cos \left[{\mathrm{\θ}}_3\right]\\ \sin \left[{\mathrm{\θ}}_3\right]& \cos \left[{\mathrm{\θ}}_3\right]& 0& l_3\sin \left[{\mathrm{\θ}}_3\right]\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)---\left(4\right)$

得出总的变换矩阵为

$T=A_1{A}_2{A}_3{A}_4=\left[\begin{array}{cccc}{n}_x& O_x& a_x& p_x\\ n_y& O_y& a_y& p_y\\ n_z& O_z& a_z& p_z\\ 0& 0& 0& 1\end{array}\right]---\left(5\right)$

其中n_x＝cos[θ₁]cos[θ₃]cos[θ₄]-cos[θ₁]sin[θ₃]sin[θ₄]，

n_y＝cos[θ₃]cos[θ₄]sin[θ₁]-sin[θ₁]sin[θ₃]sin[θ₄]，

n_z＝cos[θ₄]sin[θ₃]+cos[θ₃]sin[θ₄]，

O_x＝-cos[θ₁]cos[θ₄]sin[θ₃]-cos[θ₁]cos[θ₃]sin[θ₄]，a_x＝sin[θ₁]，a_y＝-cos[θ₁]，

a_z＝0

O_y＝-cos[θ₄]sin[θ₁]sin[θ₃]-cos[θ₃]sin[θ₁]sin[θ₄]

O_z＝cos[θ₃]cos[θ₄]-sin[θ₃]sin[θ₄]

P_x＝l₃cos[θ₁]cos[θ₃]+l₄cos[θ₁]cos[θ₃]cos[θ₄]+l₂sin[θ₁]-l₄cos[θ₁]sin[θ₃]sin[θ₄]

P_y＝-l₂cos[θ₁]+l₃cos[θ₃]sin[θ₁]+l₄cos[θ₃]cos[θ₄]sin[θ₁]-l₄sin[θ₁]sin[θ₃]sin[θ₄]

P_z＝l₁+l₃sin[θ₃]+l₄cos[θ₄]sin[θ₃]+l₄cos[θ₃]sin[θ₄]

这些是机械臂模型的位姿方程，根据此方程我们可以得出机械臂每个关节的转角和末端连杆坐标系相对于原点的位姿。这样就能方便地按照真实机械臂末端的位置实时校正虚拟机械臂末端的位置。

Claims (6)

1.基于Kinect的空间遥操作机器人的控制系统，包括客户端和服务端，客户端和服务端通过网络连接；其特征在于，所述客户端包括手控器、控制计算机、显示器，所述控制计算机连接手控器和显示器；所述服务端包括机械臂、图像采集模块、远程控制计算机、机器人控制箱，所述远程控制计算机连接图像采集模块和机器人控制箱；所述机器人控制箱连接机械臂；其中，所述图像采集模块包括Kinect三维传感器、工业摄像头。

2.根据权利要求1所述的基于Kinect的空间遥操作机器人的控制系统，其特征在于，所述图像采集模块实现三维场景的重建；所述三维场景的重建包括构建本地虚拟机械臂模型、本地虚拟场景模型、本地虚拟合成界面模型；

所述本地虚拟机械臂模型构建方法是，控制信号传递给远程的机械臂时存在时延T1，远程的机械臂在接受到信号做出动作改变了状态之后的姿态信息传递回去存在时延T2；姿态信息和本地的虚拟模型的状态存在T1+T2的时延的误差，虚拟出一个时延T3=T1+T2进行补偿，然后两者的在时延相等的情况下的数据计算出误差，并加上T3后对当前的虚拟机械臂进行修正，使当前的模型更加接近现场的机械臂；

所述本地虚拟场景构建模型方法是，Kinect三维传感器采集回来的虚拟图像传递到本地控制计算机存在时延T，虚拟一个时延T'=T进行补偿，然后两者的在时延相等的情况下计算出误差，并加上T后对当前的虚拟场景模型进行修正使当前的模型更加接近现场的场景；

所述本地虚拟合成界面模型的构建方法是，把所述本地虚拟机械臂和所述本地虚拟场景合成并配合模型碰撞的算法构造一个供操作者观察并判断的虚拟现实的画面。

3.根据权利要求2所述的基于Kinect的空间遥操作机器人的控制系统，其特征在于，所述对本地虚拟机械臂进行修正的方法是，对机械臂进行运动学建模，获取末端位置，即采用D-H矩阵的方法，在机械臂的每个连杆上都固定一个坐标系，然后用4×4的齐次变换矩阵来描述相邻两连杆的空间关系。

4.基于Kinect的空间遥操作机器人的控制方法，其特征在于，包括如下步骤：操作者在本地端控制手控器进行运动，本地控制计算机接收手控器的位姿信息，通过网络把控制信号发送给远程控制计算机；

远程控制计算机把接收到的信号进行解算，进而把控制信号传送给机器人控制箱，机器人控制箱把信号传送给机械臂使得机械臂进行运动，同时远端的工业摄像头和Kinect三维传感器对机械臂的运动和机械臂所在的场景进行图像采集，并进行三维场景的重建；

机械臂也把运动信息反馈给机器人控制箱和远程控制计算机，计算机控制箱对机械臂的运动进行解算传给远程控制计算机；

远程控制计算机把接收到的所有信息进行压缩打包并通过网络传送回本地控制计算机，本地控制计算机接收远程计算机的反馈信息，在显示器上实现一个仿真的建模平台。

5.根据权利要求1所述的基于Kinect的空间遥操作机器人的控制方法，其特征在于，所述三维场景的重建包括本地虚拟机械臂模型、本地虚拟场景模型、本地虚拟合成界面模型的构建；

所述本地虚拟机械臂模型构建方法是，控制信号传递给远程的机械臂时存在时延T1，远程的机械臂在接受到信号做出动作改变了状态之后的姿态信息传递回去存在时延T2；姿态信息和本地的虚拟模型的状态存在T1+T2的时延的误差，虚拟出一个时延T3=T1+T2进行补偿，然后两者的在时延相等的情况下的数据计算出误差，并加上T3后对当前的虚拟机械臂进行修正，使当前的模型更加接近现场的机械臂；

所述本地虚拟场景构建模型方法是，Kinect三维传感器采集回来的虚拟图像传递到本地控制计算机存在时延T，虚拟一个时延T'=T进行补偿，然后两者的在时延相等的情况下计算出误差，并加上T后对当前的虚拟场景模型进行修正使当前的模型更加接近现场的场景；

所述本地虚拟合成界面模型的构建方法是，把所述本地虚拟机械臂和所述本地虚拟场景合成并配合模型碰撞的算法构造一个供操作者观察并判断的虚拟现实的画面。

6.根据权利要求5所述的基于Kinect的空间遥操作机器人的控制方法，其特征在于，所述对本地虚拟机械臂进行修正的方法是，对机械臂进行运动学建模，获取末端位置，即采用D-H矩阵的方法，在机械臂的每个连杆上都固定一个坐标系，然后用4×4的齐次变换矩阵来描述相邻两连杆的空间关系。

Images