CN105364934B - 液压机械臂遥操作控制系统和方法 - Google Patents

Abstract

本发明公开了一种液压机械臂遥操作控制系统和方法，涉及液压机械臂控制技术领域，所述控制系统包括用于操作者现场操控的操作主手和用于远程受控的液压从手，其中：所述操作主手的各关节处均安装有力矩电机和电位器，所述液压从手的各关节处均安装有液压油缸、角度传感器和压力传感器；所述操作主手上设置有操作主手控制器，所述液压从手上设置有液压从手控制器，所述操作主手控制器和液压从手控制器之间设置有通讯系统。本发明中，基于操作主手和液压从手之间的力觉反馈，能够使操作者“沉浸”到作业环境中，实现操作者和环境自然交互，有效地完成遥控作业任务，提高任务的执行效率。

Description

液压机械臂遥操作控制系统和方法

技术领域

本发明涉及液压机械臂控制领域，特别是指一种基于力觉和视觉临场感的液压机械臂遥操作控制系统和方法。

背景技术

作为高新科技产业的标杆，机器人行业近几年发展迅猛，应用领域不断延伸，遥操作机器人和工业机器人都在朝着智能机器人的方向发展，以完成操作者无法到达或危险环境下的任务。机器人遥操作的控制理念是在保证系统安全性的基础上，增强机器人的操控性能。

鉴于遥操作机器人系统的固有特性，操作者在整个操纵作业过程中，处于远端安全场所而无法亲身感知机器人作业现场的真实环境，只能依据反馈回的图像、声音、力/触觉等辅助信息来完成作业任务，然而，由于受到机构、控制、人工智能和传感技术水平的限制，在对机械臂进行遥操作时，过多地依赖于操纵人员的技能水平和熟练程度，导致操控效率低，同时，在注意力高度集中的状态下，长时间的操作极易造成操作者疲劳，安全性与操控性难以兼得。

发明内容

本发明要解决的技术问题是提供一种液压机械臂遥操作控制系统和方法，其能够实现操作者和环境自然交互，有效地完成遥控作业任务，提高任务的执行效率。

为解决上述技术问题，本发明提供技术方案如下：

一种液压机械臂遥操作控制系统，包括用于操作者现场操控的操作主手和用于远程受控的液压从手，其中：

所述操作主手的各关节处均安装有力矩电机和电位器，所述液压从手的各关节处均安装有液压油缸、角度传感器和压力传感器；

所述操作主手上设置有操作主手控制器，所述液压从手上设置有液压从手控制器，所述操作主手控制器和液压从手控制器之间设置有通讯系统；

操作者克服所述操作主手的各关节处力矩电机的阻力控制操作主手动作，各关节相继联动，安装于各关节的电位器的输入轴发生位置旋转，转化成电压信号到操作主手控制器，经过一系列的转换，控制所述液压从手的动作；同时所述操作主手控制器从所述液压从手控制器接收所述液压从手与外界环境的相互作用力信息，通过采用力反馈技术，将所述液压从手与外界环境的相互作用力实时反馈到所述操作主手的各关节处力矩电机上。

一种利用上述的控制系统进行遥操作控制的方法，包括：

步骤1：对操作主手和液压从手所处的环境以及环境中的设备建立模型；

步骤2：立体视觉系统采集液压从手的作业环境信息，通过双目立体视觉定位原理以及一系列的转换，建立与操作主手的作业环境同步的虚拟环境，同时利用激光器对利用双目立体相机定位的事物进行定位校正；

步骤3：操作者佩戴立体显示头盔观察所述虚拟环境，给人以视觉临场感，通过观测虚拟环境控制操作主手的运动，电位器实时采集操作主手的位置信息并将位置信息通过通讯系统传送给液压从手，使液压从手跟随操作主手运动；当液压从手同外界环境交互时，液压从手的运动信息又通过通讯系统反馈给操作主手的力矩电机，给人以力觉临场感。

本发明具有以下有益效果：

本发明中，基于操作主手和液压从手之间的力觉反馈，能够使操作者“沉浸”到作业环境中，实现操作者和环境自然交互，有效地完成遥控作业任务，提高任务的执行效率。

附图说明

图1为本发明的液压机械臂遥操作控制系统的原理图；

图2为本发明中的力觉临场感控制系统原理图；

图3为本发明中的双目立体视觉定位原理图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

一方面，本发明提供一种液压机械臂遥操作控制系统1，如图1和图2所示，包括用于操作者现场操控的操作主手11和用于远程受控的液压从手12，其中：

操作主手11的各关节处均安装有力矩电机111和电位器112，采用电机驱动方式，操作简单方便；液压从手12的各关节处均安装有液压油缸121、角度传感器122和压力传感器123，采用液压驱动方式，以使末端能够承受质量很大的负载；

操作主手11上设置有操作主手控制器110，液压从手上设置有液压从手控制器120，操作主手控制器110和液压从手控制器120之间设置有通讯系统15；

在遥操作控制开始阶段，操作主手控制器110和液压从手控制器120需进行软件握手，成功后，液压从手控制器120不断读取液压从手各关节的油缸位置、接触力信息并通过通信系统15向操作主手控制器110传送，完成液压从手的初始化工作，使操作者可以感知现场液压从手所处的状态。操纵者处于安全地点，克服操作主手的各关节处力矩电机的阻力通过操纵操作主手直接操纵液压从手，各关节相继联动，安装于各关节的电位器的输入轴发生位置旋转，转化成电压信号到操作主手控制器110，输入控制信号经过通信系统15传送给液压从手控制器120，经过一系列的转换，液压从手控制器120将操作者的控制指令通过算法解释为各关节的运动转角，并对液压从手的位置、速度量进行采样、控制；同时操作主手控制器110从液压从手控制器120接收液压从手与外界环境的相互作用力信息，通过采用力反馈技术，将液压从手与外界环境的相互作用力实时反馈到操作主手的各关节处力矩电机上，通过该信息锁紧力矩电机，这时，操作者必须克服力矩电机阻力才可以使操作主手运动，以实现对液压从手带力觉的控制，实现操作人员的力觉临场感遥控作业。

本发明中，基于操作主手和液压从手之间的力觉反馈，能够使操作者“沉浸”到作业环境中，实现操作者和环境自然交互，有效地完成遥控作业任务，提高任务的执行效率。

作为本发明的一种改进，如图2所示，电位器112通过A/D转换模块113连接至操作主手控制器110，力矩电机111通过驱动模块114连接至操作主手控制器110。

作为本发明的另一种改进，如图2所示，液压油缸121上设置有伺服阀驱动模块124，伺服阀驱动模块124通过D/A转换模块125连接至液压从手控制器120；角度传感器122和压力传感器123通过A/D转换模块126连接至液压从手控制器120。

图2中，操作主手控制器通过A/D转换模块与操作主手各关节中的电位器连接，保持两者之间的数据交互，获得操作主手的当前位姿；通过驱动模块与各关节中的力矩电机连接，操作主手控制器的操作指令驱动电机运转，操作主手做出各种不同位姿；通过通讯系统(优选无线通讯系统)与液压从手控制器连接，实时监测液压从手的运动情况及外界环境的作用力。

同时，液压从手控制器通过D/A转换模块与电液伺服阀驱动模块连接，驱动模块控制电液伺服阀的输入电压信号，并将电压信号进行放大、转换，变成电流信号控制电液伺服阀的开度，进而调节液压油缸开度流量使机械臂运转；通过A/D转换模块与液压从手各关节中的电位器、压力传感器连接，实时检测运动信息，获得液压从手的当前位姿及受力情况；通过通讯系统与操作主手控制器连接，接收操作主手控制器的运动控制指令，同时将液压从手的运动信息、受力情况及时传输给操作主手控制器。

本发明中，优选的，操作主手11和液压从手12的结构设计相同，以便于两者产生相同的动作。

进一步的，整个控制系统还优选包括立体视觉系统，该立体视觉系统包括双目立体相机、视觉处理单元和立体显示头盔，双目立体相机用于作业环境图像采集，视觉处理单元用于实时获取作业环境的场景立体信息，立体显示头盔用于显示立体视频图像，给人以视觉临场感。并且，该立体视觉系统还可以包括激光器，激光器安装于双目立体相机中间，用于液压从手对作业环境中事物的定位校正。

另一方面，本发明提供一种利用上述的控制系统进行遥操作控制的方法，包括：

步骤1：对操作主手和液压从手所处的环境以及环境中的设备建立模型；

步骤2：立体视觉系统采集液压从手的作业环境信息，通过双目立体视觉定位原理以及一系列的转换，建立与操作主手的作业环境同步的虚拟环境，同时利用激光器对利用双目立体相机定位的事物进行定位校正，以实现对现实环境中的事物进行准确的定位，提高遥操作的控制精度；

步骤3：操作者佩戴立体显示头盔观察所述虚拟环境，给人以视觉临场感，通过观测虚拟环境控制操作主手的运动，电位器实时采集操作主手的位置信息并将位置信息通过通讯系统传送给液压从手，使液压从手跟随操作主手运动；当液压从手同外界环境交互时，液压从手的运动信息又通过通讯系统反馈给操作主手的力矩电机，给人以力觉临场感，使操作者对于远方的作业环境进行多方位有效的感知，及时做出相应的控制决策，控制远方从机械手高效、准确地完成作业任务。

进一步的，操作者通过立体显示头盔观测现实中的虚拟环境，进行对操作主手操作时，操作主手控制器实时的采集电位器位置信息，通过该位置信息操作主手控制器利用预有的虚拟三维模型进行无碰撞预测，当虚拟环境的操作手无碰撞时，那么将控制命令通过通信系统传送给液压从手控制器，通过液压从手控制器的缓存，将控制命令下发到液压从手，控制液压从手的运动，使其运动状态与操作主手保持一致，实现对远方的液压从手的遥操作。

上述步骤3中的通讯系统是实现主从式遥操作，操作主手和液压从手控制器之间通过所述通讯系统进行信息交互，以实现操作主手和液压从手相互协作。

优选的，上述步骤2中双目立体视觉定位采用如下步骤：

步骤21：由不同位置的双目立体相机经过移动或者旋转拍摄同一幅场景，获取图像对，然后采用透视短阵变换的方法求解线性系统的相机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，对相机进行标定，建立双目立体视觉定位的模型；

步骤22：利用立体图像匹配方法得到目标点在两个成像平面上的对应成像点；

本步骤中，所述立体图像匹配方法可以采用基于特征点与区域匹配方法实现立体图像匹配；

步骤23：再根据投影变换矩阵，并利用最小二乘法求解；

步骤24：根据视差恢复目标点的三维信息，确定目标点的三维坐标。

双目立体视觉定位原理如图3所示，假设世界坐标系下，空间点p(x,y,z)在两个摄像机成像平面上的图像坐标分别为p₁(u_l,v_l)，p₂(u_r,v_r)，根据摄像机针孔成像模型，有：

其中z_l,z_r为目标点在左右两个摄像机坐标下的Z值坐标；M_l,M_r分别为左右两个摄像机的投影矩阵.对上式分别消去z_l,z_r得：

AP＝b

其中：

P＝[x y z]^T

根据最小二乘法，求得空间点P的三维坐标：

P＝(A^TA)^-1A^Tb。

在双目立体相机标定时，给定任一空间点P，将该点映射到左右摄像机坐标系：P_l＝R_lP+t_l与P_r＝R_rP+t_r，左右摄像机坐标系下的两个视图用P_l＝R^-1(P_r-t)进行联立。得：

R_l和t_l(R_r和t_r)表示左摄像机(右摄像机)上由摄像机到空间点P的旋转矩阵和平移向量；R和t表示为右摄像机坐标系与左摄像机坐标系之间的相对旋转矩阵和平移向量。

综上所述，两摄像机的投影矩阵为：

A_l和A_r为由双目立体相机标定获得的内参矩阵。

综上，本发明的遥操作控制系统具有遥操作、精确位置控制、力觉反馈、视觉反馈及无线通信的特点；遥操作控制方法可以准确“模仿”操作者的操作主手的动作，有效地与操作者的经验和技能相结合，可完成人难以接近或非确定环境下的遥操纵作业。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种液压机械臂遥操作控制系统，其特征在于，包括用于操作者现场操控的操作主手和用于远程受控的液压从手，其中：

所述操作主手的各关节处均安装有力矩电机和电位器，所述液压从手的各关节处均安装有液压油缸、角度传感器和压力传感器；

所述操作主手上设置有操作主手控制器，所述液压从手上设置有液压从手控制器，所述操作主手控制器和液压从手控制器之间设置有通讯系统；

操作者克服所述操作主手的各关节处力矩电机的阻力控制所述操作主手动作，各关节相继联动，安装于各关节的电位器的输入轴发生位置旋转，转化成电压信号到所述操作主手控制器，经过一系列的转换，控制所述液压从手的动作；同时所述操作主手控制器从所述液压从手控制器接收所述液压从手与外界环境的相互作用力信息，通过采用力反馈技术，将所述液压从手与外界环境的相互作用力实时反馈到所述操作主手的各关节处力矩电机上；

所述液压油缸上设置有伺服阀驱动模块，所述伺服阀驱动模块通过D/A转换模块连接至所述液压从手控制器；

所述角度传感器和压力传感器通过A/D转换模块连接至所述液压从手控制器；

所述液压机械臂遥操作控制系统还包括立体视觉系统，所述立体视觉系统包括双目立体相机、视觉处理单元和立体显示头盔，所述双目立体相机用于作业环境图像采集，所述视觉处理单元用于实时获取作业环境的场景立体信息，所述立体显示头盔用于显示立体视频图像，给人以视觉临场感；

所述立体视觉系统还包括激光器，所述激光器安装于所述双目立体相机中间，用于液压从手对作业环境中事物的定位校正；

对所述液压机械臂遥操作控制系统进行遥操作控制的方法包括：

步骤1：对操作主手和液压从手所处的环境以及环境中的设备建立模型；

步骤2：立体视觉系统采集液压从手的作业环境信息，通过双目立体视觉定位原理以及一系列的转换，建立与操作主手的作业环境同步的虚拟环境，同时利用激光器对利用双目立体相机定位的事物进行定位校正；

步骤3：操作者佩戴立体显示头盔观察所述虚拟环境，给人以视觉临场感，通过观测虚拟环境控制操作主手的运动，电位器实时采集操作主手的位置信息并将位置信息通过通讯系统传送给液压从手，使液压从手跟随操作主手运动；当液压从手同外界环境交互时，液压从手的运动信息又通过通讯系统反馈给操作主手的力矩电机，给人以力觉临场感；

操作者通过立体显示头盔观测现实中的虚拟环境，进行对操作主手操作时，操作主手控制器实时的采集电位器位置信息，通过该位置信息操作主手控制器利用预有的虚拟三维模型进行无碰撞预测，当虚拟环境的操作手无碰撞时，那么将控制命令通过通信系统传送给液压从手控制器，通过液压从手控制器的缓存，将控制命令下发到液压从手，控制液压从手的运动，使其运动状态与操作主手保持一致，实现对远方的液压从手的遥操作；

所述步骤2中，双目立体视觉定位采用如下步骤：

步骤21：由不同位置的双目立体相机经过移动或者旋转拍摄同一幅场景，获取图像对，然后采用透视短阵变换的方法求解线性系统的相机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，对相机进行标定，建立双目立体视觉定位的模型；

步骤22：利用立体图像匹配方法得到目标点在两个成像平面上的对应成像点；

步骤23：再根据投影变换矩阵，并利用最小二乘法求解；

步骤24：根据视差恢复目标点的三维信息，确定目标点的三维坐标。

2.根据权利要求1所述的控制系统，其特征在于，所述电位器通过A/D转换模块连接至所述操作主手控制器，所述力矩电机通过驱动模块连接至所述操作主手控制器。

3.根据权利要求2所述的控制系统，其特征在于，所述操作主手和液压从手的结构设计相同。

4.根据权利要求1-3中任一所述的控制系统，其特征在于，双目立体视觉定位原理如下：

假设世界坐标系下，空间点p(x,y,z)在两个摄像机成像平面上的图像坐标分别为p₁(u_l,v_l)，p₂(u_r,v_r)，根据摄像机针孔成像模型，有：

$z_l\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=M_l\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{l11}& m_{l12}& m_{l13}& m_{l14}\\ m_{l21}& m_{l22}& m_{l23}& m_{l24}\\ m_{l31}& m_{l32}& m_{l33}& m_{l34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

$z_r\left[\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right]=M_r\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{r11}& m_{r12}& m_{r13}& m_{r14}\\ m_{r21}& m_{r22}& m_{r23}& m_{r24}\\ m_{r31}& m_{r32}& m_{r33}& m_{r34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

其中：z_l，z_r为目标点在左右两个摄像机坐标下的Z值坐标；M_i，M_r分别为左右两个摄像机的投影矩阵，对上式分别消去z_l，z_r得：

AP＝b

其中：

$A=\left[\begin{array}{ccc}{m}_{l31}{u}_l-m_{l11}& m_{l32}{u}_l-m_{l12}& m_{l33}{u}_l-m_{l13}\\ m_{l31}{v}_l-m_{l21}& m_{l32}{v}_l-m_{l22}& m_{l33}{v}_l-m_{l23}\\ m_{r31}{u}_r-m_{r11}& m_{r32}{u}_r-m_{r12}& m_{r33}{u}_r-m_{r13}\\ m_{r31}{v}_l-m_{r21}& m_{r32}{v}_l-m_{r22}& m_{r33}{v}_r-m_{r23}\end{array}\right]$

P＝[x y z]^T

$b=\left[\begin{array}{c}{m}_{l14}-m_{l34}{u}_l\\ m_{l24}-m_{l34}{v}_l\\ m_{r14}-m_{r34}{u}_r\\ m_{r24}-m_{r34}{v}_r\end{array}\right]$

根据最小二乘法，求得空间点P的三维坐标：

P＝(A^TA)^-1A^Tb。

5.根据权利要求4所述的控制系统，其特征在于，在双目立体相机标定时，给定任一空间点P，将该点映射到左右摄像机坐标系：P_l＝R_lP+t_l与P_r＝R_rP+t_r，左右摄像机坐标系下的两个视图用P_l＝R^-1(P_r-t)进行联立，得：

$\left\{\begin{array}{c}R=R_r{R}_l^{-1}\\ t=t_r-{\mathrm{Rt}}_l\end{array}\right.$

R_l和t_l表示左摄像机上由摄像机到空间点P的旋转矩阵和平移向量；R_r和t_r表示右摄像机上由摄像机到空间点P的旋转矩阵和平移向量；R和t表示为右摄像机坐标系与左摄像机坐标系之间的相对旋转矩阵和平移向量；

综上所述，两摄像机的投影矩阵为：

$\left\{\begin{array}{c}{M}_l=\[\begin{array}{cc}{A}_l& 0\end{array}\]\\ M_r=A_r\[\begin{array}{cc}R& t\end{array}\]\end{array}\right.$

A_l和A_r为由双目立体相机标定获得的内参矩阵。