CN111476909A - 一种基于虚拟现实弥补时延的遥操作控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于虚拟现实弥补时延的遥操作控制方法及系统。该方法包括：根据位于从端的RCM机构和位于从端的实际相机建立初始虚拟机器人模型、虚拟相机和背景图像；获取主手位置信息；将主手位置信息映射到初始虚拟机器人模型中的关节运动上，得到实时更新的虚拟机器人模型；获取从端场景图像特征角点；计算虚拟机器人模型的虚拟角点；由从端场景图像特征角点和虚拟角点对虚拟仿真模型进行修正，得到修正后的虚拟仿真模型；由修正后的虚拟仿真模型、虚拟相机和背景图像得到更新后的三维虚拟场景模型，以实现遥操作。本发明能够实现三维虚拟模型的构建，在提高控制精度的同时，增强遥操作的真实感。

Description

一种基于虚拟现实弥补时延的遥操作控制方法及系统

技术领域

本发明涉及遥操作机器人控制领域，特别是涉及一种基于虚拟现实弥补时延的遥操作控制方法及系统。

背景技术

遥操作系统由一名操作者操作一台本地机器人通过网络控制远程机器人完成指定工作任务。遥操作技术已经被广泛应用于空间技术、深海探索、远程医疗和极限环境中。在遥操作系统应用中，如果远程机器人的动作能实时反馈到主机器人端，操作者的临场感将得到极大的改善。临场感技术是人机交互遥操作的核心。

虚拟环境预测技术是在计算机上创建一个虚拟的仿真环境，主要包括虚拟从端机器人、虚拟环境，而操作者可直接与仿真模型进行实时交互操作。利用相机标定及虚实融合技术，将虚拟机器人图形叠加在延时视频图像上，虚拟模型的实时仿真操作替代了实际的操作过程，极大地提高了任务作业效率。由于一般的虚拟现实虚拟操作臂模型与真实图像只是单纯的叠加，缺乏必要的特征位置匹配与校正，没有进行虚、实相机的标定与注册等工作，两者误差较大。而且系统获得的虚拟图形与实际图像均是二维的，缺乏立体感，不能实现具有真实感的遥操作体验。

发明内容

基于此，有必要提供一种基于虚拟现实弥补时延的遥操作控制方法及系统，以实现三维虚拟模型的构建，在提高控制精度的同时，增强遥操作的真实感。

为实现上述目的，本发明提供了如下方案：

一种基于虚拟现实弥补时延的遥操作控制方法，包括：

根据位于从端的RCM机构和位于所述从端的实际相机建立初始虚拟机器人模型、虚拟相机和背景图像；所述初始虚拟仿真模型是在主端建立的且用于模拟所述RCM机构的三维虚拟模型；所述虚拟相机是在所述主端建立的且用于模拟所述实际相机的虚拟的相机；所述主端与所述从端通信连接；

获取主手位置信息；所述主手位置信息为位于主端的主操作手的位置信息；

将所述主手位置信息映射到所述初始虚拟机器人模型中的关节运动上，得到实时更新的虚拟机器人模型；所述关节运动包括弧形导轨L型连接板关节运动、倍速行程弧形双导轨关节运动和末端丝杠探入组合体运动；

获取从端场景图像特征角点；所述从端场景图像特征角点为对从端场景图像进行特征点检测得到的；所述从端场景图像是所述实际相机在各个时刻对所述RCM机构在操作环境中执行任务的场景进行实时拍摄得到的；所述RCM机构是根据从所述主端获取到的主手位置信息在操作环境中执行任务的；

计算所述虚拟机器人模型的虚拟角点；所述虚拟角点是所述虚拟机器人模型中与所述从端场景图像特征角点对应的点；

由所述从端场景图像特征角点和所述虚拟角点对所述虚拟仿真模型进行修正，得到修正后的虚拟仿真模型；

由所述修正后的虚拟仿真模型、所述虚拟相机和所述背景图像得到更新后的三维虚拟场景模型，以实现遥操作。

可选的，所述根据位于从端的RCM机构和位于所述从端的实际相机建立初始虚拟机器人模型、虚拟相机和背景图像，具体包括：

利用OpenInventor图形库创建虚拟RCM机构模型；

根据所述RCM机构中各个部件间关节的连接关系，在所述虚拟RCM机构模型中导入所述RCM机构中的各个部件，得到初始虚拟机器人模型；

所述从端根据图像识别检测技术对位于所述RCM机构上的特征标志物进行定位识别，并采用相机投影变换原理计算所述实际相机相对所述特征标志物的位置和姿态，从而确定虚拟机器人模型所处的虚拟场景环境中虚拟相机的虚拟位置和虚拟姿态；

获取从端场景图像，并将所述从端场景图像作为所述初始虚拟机器人模型和所述虚拟相机所处的虚拟环境的背景图像。

可选的，所述从端场景图像特征角点的确定方法为：

采用棋盘格标定法对所述从端的实际相机进行标定校正，得到标定后的相机；

采用所述标定后的相机对所述RCM机构在操作环境中执行任务的场景进行拍摄得到从端场景图像；

采用Fast角点检测算法对所述从端场景图像进行特征点检测，得到从端场景图像特征角点；所述从端场景图像特征角点为所述RCM机构的四个弧形导轨角点。

可选的，所述由所述从端场景图像特征角点和所述虚拟角点对所述虚拟仿真模型进行修正，得到修正后的虚拟仿真模型，具体包括：

由所述从端场景图像特征角点确定所述实际相机与所述RCM机构的物镜距离；

由所述物镜距离更新虚拟场景环境中图像背景平面与所述虚拟相机的中心的Z向距离，得到更新后的虚拟相机；

计算所述从端场景图像特征角点和所述虚拟角点的位置偏差值，由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型；所述更新后的虚拟相机和所述修正后的虚拟机器人模型构成修正后的虚拟仿真模型。

可选的，所述计算所述从端场景图像特征角点和所述虚拟角点的位置偏差值，由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型，具体包括：

计算所述从端场景图像特征角点中每个点与对应的虚拟角点中的点的差值，得到多个差值；所述从端场景图像特征角点为RCM机构的四个弧形导轨角点；所述虚拟角点为所述虚拟机器人的四个弧形导轨角点；

计算多个所述差值的平均值，得到位置偏差值，并由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型。

本发明还提供了一种基于虚拟现实弥补时延的遥操作控制系统，包括：

模型构建模块，用于根据位于从端的RCM机构和位于所述从端的实际相机建立初始虚拟机器人模型、虚拟相机和背景图像；所述初始虚拟仿真模型是在主端建立的且用于模拟所述RCM机构的三维虚拟模型；所述虚拟相机是在所述主端建立的且用于模拟所述实际相机的虚拟的相机；所述主端与所述从端通信连接；

位置信息获取模块，用于获取主手位置信息；所述主手位置信息为位于主端的主操作手的位置信息；

模型控制模块，用于将所述主手位置信息映射到所述初始虚拟机器人模型中的关节运动上，得到实时更新的虚拟机器人模型；所述关节运动包括弧形导轨L型连接板关节运动、倍速行程弧形双导轨关节运动和末端丝杠探入组合体运动；

从端特征角点获取模块，用于获取从端场景图像特征角点；所述从端场景图像特征角点为对从端场景图像进行特征点检测得到的；所述从端场景图像是所述实际相机在各个时刻对所述RCM机构在操作环境中执行任务的场景进行实时拍摄得到的；所述RCM机构是根据从所述主端获取到的主手位置信息在操作环境中执行任务的；

虚拟角点计算模块，用于计算所述虚拟机器人模型的虚拟角点；所述虚拟角点是所述虚拟机器人模型中与所述从端场景图像特征角点对应的点；

修正模块，用于由所述从端场景图像特征角点和所述虚拟角点对所述虚拟仿真模型进行修正，得到修正后的虚拟仿真模型；

场景模型确定模块，用于由所述修正后的虚拟仿真模型、所述虚拟相机和所述背景图像得到更新后的三维虚拟场景模型，以实现遥操作。

可选的，所述模型构建模块，具体包括：

虚拟RCM机构模型构建单元，用于利用OpenInventor图形库创建虚拟RCM机构模型；

初始虚拟机器人模型构建单元，用于根据所述RCM机构中各个部件间关节的连接关系，在所述虚拟RCM机构模型中导入所述RCM机构中的各个部件，得到初始虚拟机器人模型；

虚拟相机构建单元，用于所述从端根据图像识别检测技术对位于所述RCM机构上的特征标志物进行定位识别，并采用相机投影变换原理计算所述实际相机相对所述特征标志物的位置和姿态，从而确定虚拟机器人模型所处的虚拟场景环境中虚拟相机的虚拟位置和虚拟姿态；

背景图像确定单元，用于获取从端场景图像，并将所述从端场景图像作为所述初始虚拟机器人模型和所述虚拟相机所处的虚拟环境的背景图像。

可选的，所述基于虚拟现实弥补时延的遥操作控制系统，还包括：从端特征角点确定模块，用于确定所述从端场景图像特征角点；

所述从端特征角点确定模块，具体包括：

校正单元，用于采用棋盘格标定法对所述从端的实际相机进行标定校正，得到标定后的相机；

从端场景图像拍摄单元，用于采用所述标定后的相机对所述RCM机构在操作环境中执行任务的场景进行拍摄得到从端场景图像；

特征点检测单元，用于采用Fast角点检测算法对所述从端场景图像进行特征点检测，得到从端场景图像特征角点；所述从端场景图像特征角点为所述RCM机构的四个弧形导轨角点。

可选的，所述修正模块，具体包括：

物镜距离确定单元，用于由所述从端场景图像特征角点确定所述实际相机与所述RCM机构的物镜距离；

虚拟相机更新单元，用于由所述物镜距离更新虚拟场景环境中图像背景平面与所述虚拟相机的中心的Z向距离，得到更新后的虚拟相机；

虚拟机器人模型修正单元，用于计算所述从端场景图像特征角点和所述虚拟角点的位置偏差值，由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型；所述更新后的虚拟相机和所述修正后的虚拟机器人模型构成修正后的虚拟仿真模型。

可选的，所述虚拟机器人模型修正单元，具体包括：

差值计算子单元，用于计算所述从端场景图像特征角点中每个点与对应的虚拟角点中的点的差值，得到多个差值；所述从端场景图像特征角点为RCM机构的四个弧形导轨角点；所述虚拟角点为所述虚拟机器人的四个弧形导轨角点；

偏差修正子单元，用于计算多个所述差值的平均值，得到位置偏差值，并由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型。

与现有技术相比，本发明的有益效果是：

本发明提出了一种基于虚拟现实弥补时延的遥操作控制方法及系统，采用虚实融合技术将虚拟仿真模型与实际视频图像有机叠加融合，巧妙地利用虚拟信息来避免时延影响遥操作者远程操作时的感知；获取从端场景图像特征角点，一方面可以代替大尺寸的从端图像传递到主端，减少图像传输延时；一方面作为图形图像融合的参考基准，使得两者能够准确地重叠在一起，提高主端虚拟模型的真实性，提高了控制精度；虚拟仿真模型能与主端的主操作手进行实时的运动信息交互，不受任何网络通讯时延的影响，有效地避开了由于通讯时延带来的各种系统问题，控制精度高；实现了三维虚拟模型的构建，增强了遥操作的真实感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1一种基于虚拟现实弥补时延的遥操作控制方法的流程图；

图2为主端的主操作手的结构示意图；

图3为从端的RCM机构的结构示意图；

图4为遥操作机器人系统结构框图；

图5为RCM机构各部件定义符号示意图；

图6为OpenInventor虚拟场景节点结构框图；

图7为虚拟模型交互控制方案框图；

图8为从端机器人双弧形导轨的四个外角点示意图；

图9为实验过程中的角点检测效果图；

图10为虚实融合实现流程图；

图11为图形图像融合后实际操作过程中运动跟随图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

图1为本发明实施例1一种基于虚拟现实弥补时延的遥操作控制方法的流程图。参见图1，本实施例的基于虚拟现实弥补时延的遥操作控制方法，包括：

步骤S1：根据位于从端的RCM机构和位于所述从端的实际相机建立初始虚拟机器人模型、虚拟相机和背景图像；所述初始虚拟仿真模型是在主端建立的且用于模拟所述RCM机构的三维虚拟模型；所述虚拟相机是在所述主端建立的且用于模拟所述实际相机的虚拟的相机；所述主端与所述从端通信连接。

本实施例中，所述实际相机为全局相机。

所述步骤S1，具体包括：

11)利用OpenInventor图形库创建虚拟RCM机构模型。

12)根据所述RCM机构中各个部件间关节的连接关系，在所述虚拟RCM机构模型中导入所述RCM机构中的各个部件，得到初始虚拟机器人模型；

13)所述从端根据图像识别检测技术对位于所述RCM机构上的特征标志物进行定位识别，并采用相机投影变换原理计算所述实际相机相对所述特征标志物的位置和姿态，从而确定虚拟机器人模型所处的虚拟场景环境中虚拟相机的虚拟位置和虚拟姿态。

14)获取从端场景图像，并将所述从端场景图像作为所述初始虚拟机器人模型和所述虚拟相机所处的虚拟环境的背景图像(背景贴图)。所述主端是通过网络获取到从所述从端传输的从端场景图像。所述从端场景图像是所述实际相机在各个时刻对所述RCM机构在操作环境中执行任务的场景进行实时拍摄得到的，因此，所述背景图像是不断实时更新的。

步骤S2：获取主手位置信息；所述主手位置信息为位于主端的主操作手的位置信息。

步骤S3：将所述主手位置信息映射到所述初始虚拟机器人模型中的关节运动上，得到实时更新的虚拟机器人模型。

所述关节运动包括弧形导轨L型连接板关节运动、倍速行程弧形双导轨关节运动和末端丝杠探入组合体运动。

步骤S4：获取从端场景图像特征角点；所述从端场景图像特征角点为对从端场景图像进行特征点检测得到的。

所述从端场景图像特征角点是在所述主端停止运动后得到的。所述从端场景图像是所述实际相机对所述RCM机构在操作环境中执行任务的场景进行拍摄得到的；所述RCM机构是根据通过网络从所述主端获取到的主手位置信息，并在一定传输时延后在操作环境中执行任务的，使得所述RCM机构跟随主端进行运动。

该步骤中，所述从端场景图像特征角点的确定方法为：

采用棋盘格标定法对所述从端的实际相机进行标定校正，得到标定后的相机。

采用所述标定后的相机对所述RCM机构在操作环境中执行任务的场景进行拍摄得到从端场景图像。

采用Fast角点检测算法对所述从端场景图像进行特征点检测，得到从端场景图像特征角点；所述从端场景图像特征角点为所述RCM机构的四个弧形导轨角点。

步骤S5：计算所述虚拟机器人模型的虚拟角点；所述虚拟角点是所述虚拟机器人模型中与所述从端场景图像特征角点对应的点。

步骤S6：由所述从端场景图像特征角点和所述虚拟角点对所述虚拟仿真模型进行修正，得到修正后的虚拟仿真模型。

所述步骤S6，具体包括：

61)由所述从端场景图像特征角点确定所述实际相机与所述RCM机构的物镜距离。

62)由所述物镜距离更新虚拟场景环境中图像背景平面与所述虚拟相机的中心的Z向距离，得到更新后的虚拟相机。

63)计算所述从端场景图像特征角点和所述虚拟角点的位置偏差值，由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型；所述更新后的虚拟相机和所述修正后的虚拟机器人模型构成修正后的虚拟仿真模型。具体为：

计算所述从端场景图像特征角点中每个点与对应的虚拟角点中的点的差值，得到多个差值；所述从端场景图像特征角点为RCM机构的四个弧形导轨角点；所述虚拟角点为所述虚拟机器人的四个弧形导轨角点。

计算多个所述差值的平均值，得到位置偏差值，并由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型。

步骤S7：由所述修正后的虚拟仿真模型、所述虚拟相机和所述背景图像得到更新后的三维虚拟场景模型，以实现遥操作。

本实施例中，主端的主操作手如图2所示，从端的RCM机构如图3所示。

参见图2，主操作手主要由两部分组成：3DOF平动机构及3DOF姿态机构，实现六自由度的位置采集及力反馈功能。平动机构由Delta并联机构实现，主要有静平台1、主动杆2、被动平行四边形组件3及末端动平台4，其中主动杆2的驱动部件由MaxonRE25直流电机及10:1绳轮减速机构组成；平行四边形中每个转动副均包含两个薄型滚珠轴承，轴承间的轴向间隙由预紧螺母消除，同时长边杆件由两端7075铝合金杆端与中间的中空碳纤维杆粘接而成，减少了整个操作手的移动惯量。姿态机构为2DOF+1DOF的“鹰眼”类机构，实现操作者三自由度姿态采集功能，姿态机构的基座部分直接作为Delta机构的动平台，取消了两机构之间的连接固定零件。前两电机固定在方形动平台上，他们之间的运动传动由一组移动的弧形导轨滑块组合传递，通过这种并联的方式实现了X、Y轴转动自由度，末端电机的转动轴直接与操作手柄固定，记录操作的自转方向姿态。

参见图3，从操作手从端机器人为实验室研制的远程运动中心(RemoteCenterofMotion)机构，简称RCM机构，该机构的整体机械结构主要由竖直轴固定支架5、弧形导轨L型连接板6、倍速行程弧形双导轨7以及末端丝杠探入组合体8四部分组成。竖直轴固定支架上固定一直流电机，可驱动整体运动机构绕Y轴同步旋转，作为末端探入体的偏转控制电机。L型连接板上负责将导轨与支架间的连接，通过四个滑动滚轮将弧形导轨夹持住，滑轮与导轨间的滑动保证了导轨与连接板之间的相对运动；同时将以驱动电机固定在连接板背部，通过锥形齿轮进行90°的转轴切换，切换后的转动轴另一端通过一小半径圆柱齿轮与固定在弧形导轨上的弧形齿轮相互啮合来驱动整个弧形导轨的旋转运动。末端丝杠组合体通过滚轮限制在弧形内导轨内，并通过两根钢丝绳分别固定在L型连接板的固定支架上，由于钢丝绳长度固定不变的本性，弧形导轨的旋转也会通过钢丝绳拉动组合体相对导轨旋转相同的角度，如此便实现了末端组合体倍速旋转运动，该运动视为末端探入体的横滚运动。末端丝杠探入组合体由梯形丝杠导轨滑块模块和探入杆零件组成，丝杠导轨的直线运动驱动着探入体进行上下直线运动，该运动为探入体的探入运动。

从端RCM机构共有三个自由度，分别为探入体的偏转、横滚及直线探入运动，且该三自由的运动互为串联关系，为串联型机器人。由于偏转旋转轴和直线探入运动轴相交于弧形导轨的旋转圆心，如此，末端探入体在任何运动状态下均经过弧形导轨旋转圆心，该点被叫做虚拟远程运动中心(RCM点)。基于远程运动中心这个特点，该机构被广泛用于腹腔微创手术机器人的末端执行机构，将RCM点定位于病患皮肤切入口，可保证机构的机械本体不越过该切口，而探入皮肤内部的机构部分有较大的运动空间，实现了微创手术操作的效果。

下面提供了一个更为具体的实施例。

实施例2

本实施例的基于虚拟现实弥补时延的遥操作控制方法主要分为虚拟环境的构建及图形图像虚实融合，基于对从端RCM机器人的运动学分析，利用OpenInventor图形库建立了主端的虚拟仿真模型。对从端实际的全局相机进行了相机参数标定及相应图像特征点识别。虚实融合技术则是以检测的图像特征点为基准，将虚拟机器人模型与其实际图像重叠在一起，图像中其余部分作为模型的背景来模拟周边环境，并不断修正运动过程中模型与图像平面间的相对偏差。具体思路如下：

首先要搭建虚拟环境，它是主端系统用于模拟从端实际环境的虚拟场景，主要包括从端机器人及其作业环境。在主端电脑上利用OpenInventor图形库创建虚拟RCM机构模型，可直接将绘制好的三维结构模型导入至OIV程序中，并根据各部件间关节的连接关系将导入的零部件装配成一个完整的机器人模型，确保各零部件间的相对运动关系。

采用如下的虚拟模型交互控制方案。在程序中加入主操作手位置采集模块，通过OIV内部的时间计时器(SensorCallback)循环采集主操作手位置，并将其x、y、z位置位移量分别映射到虚拟RCM模型的三个关节运动上。更新后的模型通过OpenIventor内部的渲染器重新渲染整个虚拟场景，实现主手与虚拟模型之间的实时交互操作。每当位置采集完毕后，立即更新各几何变换节点的数值并进行新场景的渲染，最终使虚拟机器人实时跟随主端运动。

虚实融合首先要根据图像识别检测技术对从端真实环境的特征标志物进行识别定位，然后通过相机的投影变换原理计算相机相对该标志的位置和姿态，进而确定添加的虚拟相机相对于虚拟场景环境中的位置和姿态。

图形图像一直保持重叠是增强现实的基础，这样才能保证虚拟场景能完全代替实际环境，然而仅依赖机械测量及初始时的手动标定的参数很难保证在运动过程中两者的时刻重叠，逐渐积累的几何及运动误差将降低系统的综合操作性能。可调整虚拟机器人图形与其后面的贴图背景图像间的相对位置，在分别求得虚拟角点及真实角点位置后，即可根据根据这四对角点位置偏差计算变换矩阵的修正值。

下面对本实施例的基于虚拟现实弥补时延的遥操作控制方法进行详细描述。

本实施例的基于虚拟现实弥补时延的遥操作控制方法用于的遥操作机器人系统的结构框图如图4所示，其中遥操作系统的主端采用Delta并联型机械臂，通过网络和从端进行通信，从端的机器是远程运动中心(Remote Center of Motion)机构，简称RCM机构，两者通过网络进行通讯。图4中，主端操作者与主操作手进行交互操作，采集记录的运动位置一方面通过网络通讯传输至从端计算机上，控制从端的RCM机构进行位置伺服运动；一方面直接传至主端的虚拟仿真模型，实时更新虚拟机器人各关节的运动角度，预测从端的运动状态。从端机器人在一定网络时延后跟随主手运动并与操作环境发生相互作用，操作现场的实际图像通过全局相机进行图像采集，经过网络通讯传至主端并与主端的虚拟仿真模型进行图形图像虚实融合重叠，以修正、校准虚拟模型，确保虚拟模型替代实际场景的正确性。

下面搭建了一个虚拟环境，接下来介绍虚拟环境相关内容。

一、虚拟从端环境建模：

采用OpenInventor(简称OIV)图形库来构建仿真模型将绘制好的三维结构模型导入至OIV程序中，并根据各部件间关节的连接关系将导入的零部件装配成一个完整的机器人模型，确保各零部件间的相对运动关系。

RCM机构各部件的SolidWorks模型及相应坐标系位置如图5所示，9为基座、10为弧形导轨L型连接板关节(关节1)、11为倍速行程弧形双导轨关节(关节2-1)、12为末端丝杠探入组合体关节(关节2-2)、13为移动端、14为探入体，参见图5，其中基座对应坐标系原点O₀，关节1对应坐标系原点O₁，弧形导轨(关节2-1)与滑块丝杠(关节2-2)的原点重合对应坐标系原点O₂₍₃₎，移动端对应坐标系原点O₄，初始状态各坐标系方向一致，各部件间相对位置尺寸通过SolidWorks测量工具确定(其中弧形导轨与滑块丝杠的原点重合)，并在每个导入的模型节点前添加相应的几何变换节点，以此来固定各部件的相对位置，将各部件组装在一起。基于以上分析，最终确定了虚拟场景中各部件节点相对关系结构图如图6所示，整个场景中包括相机、灯光、RCM机构及背景贴图，各部分的父子包含关系确定了模型中各属性节点(相机、灯光、材质及几何变换节点)的作用范围。其中相机对应从端实际相机模型，灯光模拟自然光照亮整个场景环境，背景贴图放置于虚拟RCM机构后部，可用于代表从端环境中非结构化的作业环境：组1节点中的变换节点0节点用于调整背景平面与虚拟机器人之间的相对位置，便于后续图形图像的虚实融合。

为方便表示各组节点内属性节点的关联与否，OIV提供了两种包含子节点的容器：组节点和隔离节点，它们均可通过addChild()的方式添加其相应的子节点。对于组节点，根据从左到右的顺序，各属性子节点的属性会逐渐叠加并作用在其后面的形体子节点上，如图6中的灯光节点会照亮后面整个RCM机构及背景贴图平面；隔离节点只会在其内部进行各属性节点的叠加并作用于后面的形体节点上，一旦跳出该隔离节点，其内部的属性节点的影响也一同消失，不会作用到后面的节点上。节点图中的变换节点0为RCM机构组节点内第一个几何变换节点，它的几何变换大小会叠加至后续各个形体节点上，但RCM节点为隔离节点，变换节点0的几何变换不会作用到后面的背景贴图节点上，以此来调整RCM机构与后面背景平面的相对位置，为后续的图形图像叠加预留接口。

图6中RCM节点内各部件均为组节点，它们内部的几何变换节点会叠加到后面形体节点上，从而前面部件的运动变化会带动后面部件的同步运动，与串联机器人各关节的前后运动关联关系相符合，保证了虚拟机器人与实际RCM机构各部件运动逻辑的一致性。虚拟机器人中共四个驱动运动，分别为L型连接板的偏转运动、弧形导轨的齿轮啮合运动、滑块丝杠相对弧形导轨的横滚运动以及探入体的直线运动，其中弧形导轨的啮合运动和滑块丝杠的横滚运动均由L型连接板上的直流电机控制，根据机构倍速行程特点，这两者绕圆心O2的旋转运动角度相等，在虚拟模型中表示为：几何变换节点变换节点2和变换节点3的数值大小设置相同且跟随着主操作手的左右位置分量实时变化。根据以上分析，设计了如图7的虚拟模型交互控制方案，虚拟模型中分别实时更新图中的变换节点0至变换节点4的四个几何变换矩阵大小，更新后的模型重新渲染整个虚拟场景，实现主手与虚拟模型之间的实时交互操作。为了测试仿真模型的交互效果，在程序中加入主操作手位置采集模块，通过OIV内部的时间计时器(SensorCallback)循环采集主操作手位置，并将其上下、左右、前后位置位移量分别映射到虚拟RCM模型的三个关节运动上。每当位置采集完毕后，立即更新各几何变换节点的数值并进行新场景的渲染，通过测试实验，可以看到虚拟机器人的实时跟随运动。

二、图像采集及特征点获取：

分别通过相机标定及特征点检测来分别确定虚拟相机的内部及外部参数。

1、相机标定与矫正

由于相机透镜本身及组装过程中不完美的缺陷，经过实际的相机形成的图像不可避免地会有一些畸变变形，主要包括径向畸变和切向畸变光线在远离透镜中心的地方比靠近中心的地方更加弯曲，越靠近图像边缘，畸变越严重，为了矫正该畸变缺陷，x、y分别代表像点在成像平面上的径向、切向分量。通常采用两个径向畸变矫正参数(k₁,k₂)，k₁为第一径向畸变矫正参数，k₂为第二径向畸变矫正参数，并按以下方式进行矫正(r为像点离成像中心距离)，得到径向畸变矫正后的径向分量和径向畸变矫正后的切向分量：

x_corrected＝x·(1+k₁·r²+k₂·r⁴)

y_corrected＝y·(1+k₁·r²+k₂·r⁴)。

切向畸变主要是由于相机安装时透镜本身与成像平面不平行而产生的通常表现为图像有一定角度的倾斜效果。该畸变采用两个切向畸变矫正参数(p₁,p₂)，p₁为第一切向畸变矫正参数，p₂为第二切向畸变矫正参数，并按以下方式进行矫正，得到切向畸变矫正后的径向分量和切向畸变矫正后的切向分量:

x′_corrected＝x+[2p₁·y+p₂·(r²+2x²)]

y′_corrected＝y+[2p₁·x+p₂·(r²+2x²)]

至此，为了矫正畸变的原始图像，需要对相机标定上述四个畸变参数，构成4×1畸变向量P为

P＝[k₁,k₂,p₁,p₂]^T

使用棋盘格标定法对相机进行标定，标定后的相机参数一方面可确定OIV场景相机参数；一方面可用于矫正畸变图像，使其更接近理想图像。

2、特征点检测

特征点的获取一方面可以代替大尺寸的从端图像传递到主端，减少图像传输延时；一方面作为图形图像融合的参考基准，使得两者能够准确地重叠在一起，提高主端虚拟模型的真实性。

采用速度较快的Fast检测方法。Fast角点检测原理为：若某像素点与其周围领域内足够多的像素点处于不同的区域，则该像素点可能为角点。也就是某些属性与众不同，考虑灰度图像，即若该点的灰度值比其周围领域内足够多的像素点的灰度值大或者小，则该点可能为角点，Fast角点检测算法的步骤为：

1)首先将原图像转换成灰度图像，其中检测候选点p的灰度值设为I(p)；

2)根据经验值设定一个合适的阈值t；

3)依次计算候选点p的图像灰度值与周围16个点的灰度值之间的差值，根据下式计算，如果N数值超过12或9，则可认为候选点p为角点。

本实施例指定双弧形导轨的四个外角点作为从端机器人固定的特征点，如图8所示，其位置随着机器人运动而变化，代表了机器人的实际状态及图像位置。考虑到实时性要求，本实施例采用局部区域角点检测，先根据各关节旋转角度计算四个角点的理想像素位置，然后再以该位置为中心划定40×40的矩形范围进行局部的Fast算法角点检测。

通过调整Fast算法阈值，可以获得较准确的角点位置，图9为实验过程中的角点检测效果图。

三、图形图像虚实融合技术：

图10为虚实融合实现流程图，主从端分别使用虚拟相机和实际相机来获取虚拟模型与实际从端场景，真实相机提供遥操作工作场景视频图像信息，虚拟相机则实时渲染虚拟模型场景，虚拟相机的内部参数设置为实际相机标定后的参数。选择RCM机构的四个弧形导轨角点作为虚实融合的重叠基准，虚拟模型的角度根据相关公式和关节旋转角度理论计算得出，实际特征角点利用局部图像的Fast角点检测算法识别得到，这两者方式得到的角点位置互相对比分析计算，得到图形图像的角点位置偏差，并由此修正变换节点0节点的变换矩阵大小使得四对角点位置保持重叠，从而保证图形图像两者的重叠融合。

最后根据检测到的实际特征点位置求得相机与机器人的物镜距离，根据新的物镜距离更新虚拟场景中图像背景平面与相机中心的Z向距离，然后根据虚拟理想角点与实际检测角点位置偏差，通过四对角点位置的求差平均值，并将最后的计算结果作为变换节点0变换矩阵x、y项的修正值，这样四对特征点基本同时保持重合，也即保证了整个图形图像间的重叠融合。图11为图形图像融合后实际操作过程中运动跟随图，由此可以看出在固定的零部件中，虚拟模型与实际从端图像保持重叠，除机器人部分，图像的其余部分直接作为虚拟模型的背景，表示着实际的操作周边环境。对于机器人运动部分，由于网络时延的存在，虚拟模型运动明显超前于机器人图像部分，但可以看出由从端实际检测返回的四个角点位置也超前于图像运动，由此也证明了特征点可以代表大尺寸的图像传输至主端，缩短网络通信的图像传输时间，提前返回实际机器人的运动状态。

本实施例的虚拟现实弥补时延的遥操作控制方法，采用虚实融合技术，通过虚拟仿真模型与实际视频图像的有机叠加融合，巧妙地利用虚拟信息来避免时延影响遥操作者远程操作时的感知；特征点的获取一方面可以代替大尺寸的从端图像传递到主端，减少图像传输延时；一方面作为图形图像融合的参考基准，使得两者能够准确地重叠在一起，提高主端虚拟模型的真实性；虚拟模型能与主操作手进行实时的运动信息交互，不受任何网络通讯时延的影响，有效地避开了由于通讯时延带来的各种系统问题(如系统稳定性及透明性较差等)。

实施例3

本实施例提供了一种基于虚拟现实弥补时延的遥操作控制系统，包括：

模型构建模块，用于根据位于从端的RCM机构和位于所述从端的实际相机建立初始虚拟机器人模型、虚拟相机和背景图像；所述初始虚拟仿真模型是在主端建立的且用于模拟所述RCM机构的三维虚拟模型；所述虚拟相机是在所述主端建立的且用于模拟所述实际相机的虚拟的相机；所述主端与所述从端通信连接。

位置信息获取模块，用于获取主手位置信息；所述主手位置信息为位于主端的主操作手的位置信息。

模型控制模块，用于将所述主手位置信息映射到所述初始虚拟机器人模型中的关节运动上，得到实时更新的虚拟机器人模型；所述关节运动包括弧形导轨L型连接板关节运动、倍速行程弧形双导轨关节运动和末端丝杠探入组合体运动。

从端特征角点获取模块，用于获取从端场景图像特征角点；所述从端场景图像特征角点为对从端场景图像进行特征点检测得到的；所述从端场景图像是所述实际相机在各个时刻对所述RCM机构在操作环境中执行任务的场景进行实时拍摄得到的；所述RCM机构是根据从所述主端获取到的主手位置信息在操作环境中执行任务的。

虚拟角点计算模块，用于计算所述虚拟机器人模型的虚拟角点；所述虚拟角点是所述虚拟机器人模型中与所述从端场景图像特征角点对应的点。

修正模块，用于由所述从端场景图像特征角点和所述虚拟角点对所述虚拟仿真模型进行修正，得到修正后的虚拟仿真模型。

场景模型确定模块，用于由所述修正后的虚拟仿真模型、所述虚拟相机和所述背景图像得到更新后的三维虚拟场景模型，以实现遥操作。

作为一种可选的实施方式，所述模型构建模块，具体包括：

虚拟RCM机构模型构建单元，用于利用OpenInventor图形库创建虚拟RCM机构模型。

初始虚拟机器人模型构建单元，用于根据所述RCM机构中各个部件间关节的连接关系，在所述虚拟RCM机构模型中导入所述RCM机构中的各个部件，得到初始虚拟机器人模型。

虚拟相机构建单元，用于所述从端根据图像识别检测技术对位于所述RCM机构上的特征标志物进行定位识别，并采用相机投影变换原理计算所述实际相机相对所述特征标志物的位置和姿态，从而确定虚拟机器人模型所处的虚拟场景环境中虚拟相机的虚拟位置和虚拟姿态。

背景图像确定单元，用于获取从端场景图像，并将所述从端场景图像作为所述初始虚拟机器人模型和所述虚拟相机所处的虚拟环境的背景图像。

作为一种可选的实施方式，所述基于虚拟现实弥补时延的遥操作控制系统还包括：从端特征角点确定模块，用于确定所述从端场景图像特征角点。

所述从端特征角点确定模块，具体包括：

校正单元，用于采用棋盘格标定法对所述从端的实际相机进行标定校正，得到标定后的相机。

从端场景图像拍摄单元，用于采用所述标定后的相机对所述RCM机构在操作环境中执行任务的场景进行拍摄得到从端场景图像。

特征点检测单元，用于采用Fast角点检测算法对所述从端场景图像进行特征点检测，得到从端场景图像特征角点；所述从端场景图像特征角点为所述RCM机构的四个弧形导轨角点。

作为一种可选的实施方式，所述修正模块，具体包括：

物镜距离确定单元，用于由所述从端场景图像特征角点确定所述实际相机与所述RCM机构的物镜距离。

虚拟相机更新单元，用于由所述物镜距离更新虚拟场景环境中图像背景平面与所述虚拟相机的中心的Z向距离，得到更新后的虚拟相机。

虚拟机器人模型修正单元，用于计算所述从端场景图像特征角点和所述虚拟角点的位置偏差值，由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型；所述更新后的虚拟相机和所述修正后的虚拟机器人模型构成修正后的虚拟仿真模型。

作为一种可选的实施方式，所述虚拟机器人模型修正单元，具体包括：

差值计算子单元，用于计算所述从端场景图像特征角点中每个点与对应的虚拟角点中的点的差值，得到多个差值；所述从端场景图像特征角点为RCM机构的四个弧形导轨角点；所述虚拟角点为所述虚拟机器人的四个弧形导轨角点。

偏差修正子单元，用于计算多个所述差值的平均值，得到位置偏差值，并由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型。

本实施例的基于虚拟现实弥补时延的遥操作控制系统，能够实现三维虚拟模型的构建，在提高控制精度的同时，增强遥操作的真实感。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于虚拟现实弥补时延的遥操作控制方法，其特征在于，包括：

根据位于从端的RCM机构和位于所述从端的实际相机建立初始虚拟机器人模型、虚拟相机和背景图像；所述初始虚拟仿真模型是在主端建立的且用于模拟所述RCM机构的三维虚拟模型；所述虚拟相机是在所述主端建立的且用于模拟所述实际相机的虚拟的相机；所述主端与所述从端通信连接；

获取主手位置信息；所述主手位置信息为位于主端的主操作手的位置信息；

将所述主手位置信息映射到所述初始虚拟机器人模型中的关节运动上，得到实时更新的虚拟机器人模型；所述关节运动包括弧形导轨L型连接板关节运动、倍速行程弧形双导轨关节运动和末端丝杠探入组合体运动；

获取从端场景图像特征角点；所述从端场景图像特征角点为对从端场景图像进行特征点检测得到的；所述从端场景图像是所述实际相机在各个时刻对所述RCM机构在操作环境中执行任务的场景进行实时拍摄得到的；所述RCM机构是根据从所述主端获取到的主手位置信息在操作环境中执行任务的；

计算所述虚拟机器人模型的虚拟角点；所述虚拟角点是所述虚拟机器人模型中与所述从端场景图像特征角点对应的点；

由所述从端场景图像特征角点和所述虚拟角点对所述虚拟仿真模型进行修正，得到修正后的虚拟仿真模型；

由所述修正后的虚拟仿真模型、所述虚拟相机和所述背景图像得到更新后的三维虚拟场景模型，以实现遥操作。

2.根据权利要求1所述的一种基于虚拟现实弥补时延的遥操作控制方法，其特征在于，所述根据位于从端的RCM机构和位于所述从端的实际相机建立初始虚拟机器人模型、虚拟相机和背景图像，具体包括：

利用OpenInventor图形库创建虚拟RCM机构模型；

根据所述RCM机构中各个部件间关节的连接关系，在所述虚拟RCM机构模型中导入所述RCM机构中的各个部件，得到初始虚拟机器人模型；

所述从端根据图像识别检测技术对位于所述RCM机构上的特征标志物进行定位识别，并采用相机投影变换原理计算所述实际相机相对所述特征标志物的位置和姿态，从而确定虚拟机器人模型所处的虚拟场景环境中虚拟相机的虚拟位置和虚拟姿态；

获取从端场景图像，并将所述从端场景图像作为所述初始虚拟机器人模型和所述虚拟相机所处的虚拟环境的背景图像。

3.根据权利要求1所述的一种基于虚拟现实弥补时延的遥操作控制方法，其特征在于，所述从端场景图像特征角点的确定方法为：

采用棋盘格标定法对所述从端的实际相机进行标定校正，得到标定后的相机；

采用所述标定后的相机对所述RCM机构在操作环境中执行任务的场景进行拍摄得到从端场景图像；

采用Fast角点检测算法对所述从端场景图像进行特征点检测，得到从端场景图像特征角点；所述从端场景图像特征角点为所述RCM机构的四个弧形导轨角点。

4.根据权利要求1所述的一种基于虚拟现实弥补时延的遥操作控制方法，其特征在于，所述由所述从端场景图像特征角点和所述虚拟角点对所述虚拟仿真模型进行修正，得到修正后的虚拟仿真模型，具体包括：

由所述从端场景图像特征角点确定所述实际相机与所述RCM机构的物镜距离；

由所述物镜距离更新虚拟场景环境中图像背景平面与所述虚拟相机的中心的Z向距离，得到更新后的虚拟相机；

计算所述从端场景图像特征角点和所述虚拟角点的位置偏差值，由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型；所述更新后的虚拟相机和所述修正后的虚拟机器人模型构成修正后的虚拟仿真模型。

5.根据权利要求4所述的一种基于虚拟现实弥补时延的遥操作控制方法，其特征在于，所述计算所述从端场景图像特征角点和所述虚拟角点的位置偏差值，由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型，具体包括：

计算所述从端场景图像特征角点中每个点与对应的虚拟角点中的点的差值，得到多个差值；所述从端场景图像特征角点为RCM机构的四个弧形导轨角点；所述虚拟角点为所述虚拟机器人的四个弧形导轨角点；

计算多个所述差值的平均值，得到位置偏差值，并由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型。

6.一种基于虚拟现实弥补时延的遥操作控制系统，其特征在于，包括：

模型构建模块，用于根据位于从端的RCM机构和位于所述从端的实际相机建立初始虚拟机器人模型、虚拟相机和背景图像；所述初始虚拟仿真模型是在主端建立的且用于模拟所述RCM机构的三维虚拟模型；所述虚拟相机是在所述主端建立的且用于模拟所述实际相机的虚拟的相机；所述主端与所述从端通信连接；

位置信息获取模块，用于获取主手位置信息；所述主手位置信息为位于主端的主操作手的位置信息；

模型控制模块，用于将所述主手位置信息映射到所述初始虚拟机器人模型中的关节运动上，得到实时更新的虚拟机器人模型；所述关节运动包括弧形导轨L型连接板关节运动、倍速行程弧形双导轨关节运动和末端丝杠探入组合体运动；

从端特征角点获取模块，用于获取从端场景图像特征角点；所述从端场景图像特征角点为对从端场景图像进行特征点检测得到的；所述从端场景图像是所述实际相机在各个时刻对所述RCM机构在操作环境中执行任务的场景进行实时拍摄得到的；所述RCM机构是根据从所述主端获取到的主手位置信息在操作环境中执行任务的；

虚拟角点计算模块，用于计算所述虚拟机器人模型的虚拟角点；所述虚拟角点是所述虚拟机器人模型中与所述从端场景图像特征角点对应的点；

修正模块，用于由所述从端场景图像特征角点和所述虚拟角点对所述虚拟仿真模型进行修正，得到修正后的虚拟仿真模型；

场景模型确定模块，用于由所述修正后的虚拟仿真模型、所述虚拟相机和所述背景图像得到更新后的三维虚拟场景模型，以实现遥操作。

7.根据权利要求6所述的一种基于虚拟现实弥补时延的遥操作控制系统，其特征在于，所述模型构建模块，具体包括：

虚拟RCM机构模型构建单元，用于利用OpenInventor图形库创建虚拟RCM机构模型；

初始虚拟机器人模型构建单元，用于根据所述RCM机构中各个部件间关节的连接关系，在所述虚拟RCM机构模型中导入所述RCM机构中的各个部件，得到初始虚拟机器人模型；

虚拟相机构建单元，用于所述从端根据图像识别检测技术对位于所述RCM机构上的特征标志物进行定位识别，并采用相机投影变换原理计算所述实际相机相对所述特征标志物的位置和姿态，从而确定虚拟机器人模型所处的虚拟场景环境中虚拟相机的虚拟位置和虚拟姿态；

背景图像确定单元，用于获取从端场景图像，并将所述从端场景图像作为所述初始虚拟机器人模型和所述虚拟相机所处的虚拟环境的背景图像。

8.根据权利要求6所述的一种基于虚拟现实弥补时延的遥操作控制系统，其特征在于，还包括：从端特征角点确定模块，用于确定所述从端场景图像特征角点；

所述从端特征角点确定模块，具体包括：

校正单元，用于采用棋盘格标定法对所述从端的实际相机进行标定校正，得到标定后的相机；

从端场景图像拍摄单元，用于采用所述标定后的相机对所述RCM机构在操作环境中执行任务的场景进行拍摄得到从端场景图像；

特征点检测单元，用于采用Fast角点检测算法对所述从端场景图像进行特征点检测，得到从端场景图像特征角点；所述从端场景图像特征角点为所述RCM机构的四个弧形导轨角点。

9.根据权利要求6所述的一种基于虚拟现实弥补时延的遥操作控制系统，其特征在于，所述修正模块，具体包括：

物镜距离确定单元，用于由所述从端场景图像特征角点确定所述实际相机与所述RCM机构的物镜距离；

虚拟相机更新单元，用于由所述物镜距离更新虚拟场景环境中图像背景平面与所述虚拟相机的中心的Z向距离，得到更新后的虚拟相机；

虚拟机器人模型修正单元，用于计算所述从端场景图像特征角点和所述虚拟角点的位置偏差值，由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型；所述更新后的虚拟相机和所述修正后的虚拟机器人模型构成修正后的虚拟仿真模型。

10.根据权利要求9所述的一种基于虚拟现实弥补时延的遥操作控制系统，其特征在于，所述虚拟机器人模型修正单元，具体包括：

差值计算子单元，用于计算所述从端场景图像特征角点中每个点与对应的虚拟角点中的点的差值，得到多个差值；所述从端场景图像特征角点为RCM机构的四个弧形导轨角点；所述虚拟角点为所述虚拟机器人的四个弧形导轨角点；

偏差修正子单元，用于计算多个所述差值的平均值，得到位置偏差值，并由所述位置偏差值对所述虚拟机器人模型进行修正，得到修正后的虚拟机器人模型。

Images