CN115401696A - 一种数据/模型混合驱动的机器人远程驱动方法 - Google Patents

Abstract

本发明涉及智能制造人机交互的虚拟现实应用技术领域，具体涉及一种数据/模型混合驱动的机器人远程驱动方法。包括以下内容为：1)虚拟现实环境下的数字孪生模型正向驱动方法。2)使用机器人正向运动学数学模型的正向驱动矫正方法。3)虚拟现实环境下的数字孪生模型逆向驱动方法。4)使用机器人逆向运动学数学模型的逆向驱动矫正方法。5)正逆向联合驱动的协调方法。本发明提出了一种一种数据/模型混合驱动的机器人远程驱动方法，通过现实中的机器人驱动虚拟环境中的数字孪生模型。在操作者对数字孪生模型进行交互，使其发生改变时，再通过指令反向驱动现实设备。两种驱动方法相互配合，提供了一种高效，直观，精确的机器人远程驱动方法。

Description

一种数据/模型混合驱动的机器人远程驱动方法

技术领域

本发明涉及智能制造人机交互的虚拟现实应用技术领域，具体涉及一种数据/模型混合驱动的机器人远程驱动方法。

背景技术

目前以智能工厂和智能生产为核心的数字化转型对制造业企业产生了革命性的影响，其中，以虚拟现实技术为代表的虚实融合操作技术作为工厂智能化的基础，将形成新的人机交互变革，为企业建立智能工厂提供有力的技术支撑。

虚拟现实技术可以在数字孪生模型的基础上提供高效率的沉浸式体验。VR可用于机器人编程、模拟和遥操作中实现对任务可视化、运动预览和预测、操作员培训、实现对不可见事件的视觉感知等功能。

虚拟现实技术可以在虚拟环境中控制机器人，为操作者提供比现场控制更加便利以及安全的操作体验，模拟和检查在真实场景中无法看到的角度、奇异点，更加高效直观地实时显示机器人的各项数据，通过虚拟现实技术改变人机角色，帮助智能制造系统进一步发挥潜力。传统遥操作系统从操作者空间和机器人空间映射对象。操作者通过键盘、鼠标、控制器，甚至通过手部跟踪和手势识别来操作控件。然而传统遥操作系统仍在控制过程中的信息传递量以及传递效率存在缺陷，无法使操作者高沉浸度地实现高效遥操作。

发明内容

针对现有技术存在的上述不足之处，本发明主要解决的技术问题是基于虚拟现实技术，提供了一种数据/模型混合驱动的机器人远程驱动方法，能够通过现实空间与虚拟空间之间的联合驱动，为用户提供更加高效、直观、精准的远程驱动方法。

本发明为实现上述目的所采用的技术方案是：

一种数据/模型混合驱动的机器人远程驱动系统，包括：

物理实体，用于实时采集机器人待驱动部位的实时状态数据并对数据进行滤波处理，以及根据驱动指令驱动机器人；

机器人数学模型，用于根据状态数据解算机器人的理论位姿以及根据用户指令解算机器人的待驱动位姿作为驱动指令；

数字孪生模型，用于以数字化方式创建机器人实体的虚拟模型；

遥操作系统，用于人机交互，对虚拟模型下的发用户指令以及对虚拟模型进行实时的可视化。

所述机器人数学模型包括：

用于根据状态数据解算机器人的理论位姿的正向运动学模型以及用于根据用户指令解算机器人的待驱动位姿的逆向运动学模型，所述正向运动学模型和逆向运动学模型双向驱动机器人，且并行进行。

所述系统间各部分之间为双向驱动关系，既通过物理实体的实时数据驱动数字孪生模型，又通过在虚拟空间中对数字孪生模型的交互操控物理实体，并且正向驱动和逆向驱动同时进行，通过条件判断以及优先级设置实现正逆向联合驱动。

一种数据/模型混合驱动的机器人远程驱动方法，包括以下步骤：

物理实体实时采集机器人待驱动部位的实时状态数据并对数据进行滤波处理，以及根据驱动指令驱动机器人；

机器人数学模型根据状态数据解算机器人的理论位姿以及根据用户指令解算机器人的待驱动位姿作为驱动指令；

数字孪生模型以数字化方式创建机器人实体的虚拟模型；

遥操作系统对虚拟模型下发的用户指令以及对虚拟模型进行实时的可视化。

通过物理实体的空间传感器传来的数据以及数字孪生模型的各项数据和用户与数字孪生模型的交互信息，判断是否发生驱动，判断过程中，将各个关节角度与上一次检测存储的关节数据进行比对，从而得到各关节的变化情况，当变化情况超出的设置的系统误差后，判断为需要进行驱动，将前后关节数据的差值传递给机器人数学模型，通过模型计算，得到驱动指令。

当驱动发生时，首先设置驱动锁，每次驱动进行前均会对驱动锁进行判断，当驱动锁为锁定状态，即有另一项驱动正在进行中，此时将驱动信息存储至队列之中，并不断检测驱动锁是否解除；当驱动锁被解除后，从队列中取出驱动信息，跟据当前数字孪生模型状态以及物理实体中机器人状态对其进行安全检测，通过后则发送驱动信号，继续进行驱动。

所述驱动方法包括正向驱动以及逆向驱动，且正向驱动和逆向驱动同时进行，通过条件判断以及优先级设置实现正逆向联合驱动。

所述正向驱动即通过物理实体驱动数字孪生模型，具体为：

对机器人数字孪生模型进行预驱动，判断机器人是否存在干涉，当有干涉产生时，中断该驱动过程，停止现实空间中机器人的运动，用户检查后需要重新进行驱动过程；

对机器人各个关节的旋转角度进行判断，当旋转角度超过关节的限制角度时，该关节停在其旋转范围内与目标旋转角度设定角度的位置，并通过遥操作系统将错误信息进行可视化；

根据正向运动学模型自底向上计算出各个关节的理论位姿，与驱动后数字孪生模型进行对比并根据误差进行调整，不断迭代各关节角度，以减少数字孪生模型与物理实体间的差异。

所述逆向驱动即由数字孪生模型驱动物理实体，具体为：

当用户与将数字孪生模型中各个关节交互时，检测交互产生影响的物体交互后的位姿数据，将数据存储在队列中，并筛选出现实空间可驱动的设备，生成相应的驱动指令，存储在队列中；

对物理实体进行安检检测，判断驱动后的机器人数据是否存在安全隐患；

当进行完安全检测后，依次发送驱动指令驱动物理实体向数字孪生模型的驱动后位置运动；

驱动完毕后，将传感器数据传递回数字孪生模型，并将驱动后的位姿信息与队列中存储的位姿信息进行对比，以验证驱动的正确性与准确性。

本发明具有以下有益效果及优点：

1.本发明提供了一种机器人远程驱动方法，通过现实空间与虚拟空间的双向同步，拓展了现有数字孪生模型的操作模式，提高了远程遥操作的直观性，快捷性。

2.本发明提供了一种多数学模型验证的驱动矫正方法，通过数学模型和数字孪生模型的不断迭代，保证了驱动过程中不会因为多个关节误差累积导致的总体误差大的问题。

3.本发明提供了一种简化的逆运动学驱动方案，降低了机器人逆向运动学模型计算的复杂度，提高了交互的响应速度。

4.本发明提供了一种正逆向联合驱动协调方法。通过正逆向联合驱动保证了虚拟空间的映射以及用户通过交互进行的机器人遥操作可以无缝衔接，为传统遥操作方法提供了更加高效直观的解决方案。

附图说明

图1为驱动系统框架图；

图2为驱动系统双向联合驱动流程图；

图3为驱动系统正向驱动方法流程图；

图4为驱动系统逆向驱动方法流程图；

图5机器人逆向运动学驱动流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明为实现上述目的所采用的技术方案是：1)虚拟现实环境下的数字孪生模型正向驱动方法。2)使用机器人正向运动学数学模型的正向驱动矫正方法。3)虚拟现实环境下的数字孪生模型逆向驱动方法。4)使用机器人逆向运动学数学模型的逆向驱动矫正方法。5)正逆向联合驱动的协调方法。

一种虚拟现实环境下的机器人远程驱动方法，包括以下内容：

1)虚拟现实环境下的数字孪生模型正向驱动方法。通过传感器，实时采集机器人及相关设备的各项实时数据，经过滤波处理后传递给数字孪生模型，实现现实空间对虚拟空间的驱动。

2)通过建立机器人正向运动学数学模型获取各个关节及末端执行器的理论位姿，并与数字孪生模型中驱动后的机器人各关节位姿进行对比，从而降低正向驱动过程中的误差，提高鲁棒性。

3)用户在虚拟空间与机器人进行交互后，将虚拟空间下的机器人关节数据传递至显示空间中，驱动机器人移动至指定位姿。

4)通过构建机器人逆向运动学使用户可以通过控制任意子关节驱动其母关节。

5)正向驱动方法和逆向驱动方法会同时在用户的交互过程中进行。通过条件判断以及优先级设置实现正逆向联合驱动。

本系统由物理实体、机器人数学模型、数字孪生模型、遥操作系统组成。其中物理实体主要包括机器人、机器人控制器、机器人中的传感器、操作环境、及通过传感器获取的机器人各项数据。

数字孪生模型为物理实体在虚拟环境中的映射。以数字化方式创建物理实体的虚拟模型，借助数据模拟物理实体在现实环境中的行为。从而在信息化平台上了解物理实体的状态以及实现对物理实体的控制。数字孪生模型会根据反馈，随着物理实体的变化做出相应的变化，几乎实时地在虚拟空间中呈现物理实体的真实状况。

遥操作系统为五维模型中面向操作者的服务系统，数字孪生模型及各项数据通过遥操作系统呈现给操作者。操作者可以通过遥操作系统实现对数字孪生模型以及UI的操作、交互。

本系统间各部分之间为双向驱动关系，既通过物理实体的实时数据驱动数字孪生模型，又通过在虚拟空间中对数字孪生模型的交互操控物理实体。其架构及驱动关系如图1所示。

在用户的操作过程中，随着用户对机器人的交互以及现实空间中机器人的工作进行，正向驱动方法和逆向驱动方法会同时进行。因此通过条件判断以及优先级设置实现正逆向联合驱动。

依据数字孪生五维模型构建数字孪生模型。首先在Unity引擎中构建虚拟场景模型。使用Blender软件将场景三维模型转换为fbx格式，将机器人与其所处工业环境以及需要进行操作的工件等三维模型导入至虚拟场景中。通过绑定机机器人各部分间的父子关系，建立正向运动学解算方法。调整机器人各部件本地坐标系为其可能的旋转轴处，为机器人及其所处环境设置碰撞体，用于进行各项交互以及防止出现干涉，防止了在物理实体驱动过程中产生与环境碰撞等安全隐患。

编写场景信息处理脚本以及场景管理脚本，其生命周期与场景生命周期相同。场景信息处理脚本负责系统与现实空间的通信，获取现实空间中的各个传感器的数据，并以50fps的频率进行实时更新。随后根据更新数据的变化以及预设的需求，通过调用各个物体脚本接口将数据分发至场景中各个物体处并驱动物体进行相应的移动，旋转、父子关系转换等运动，实现虚拟空间中物体与现实空间的同步。

根据场景物体以及机器人各关节特性分别编写相应的脚本，使不同物体根据其特性及需求实现以一定速度绕指定旋转轴旋转、沿轨道平移、限制运动范围、抓取物品等功能。并根据不同特性选择性地将其封装为物体属性或暴露为接口。以机器人关节为例，其脚本具有检测用户触碰，并根据控制器移动旋转相应角度功能，此功能封装在脚本内，作为机器人关节的内在属性。同时将基础的驱动关节旋转的接口暴露出来，供UI以及场景管理脚本调用，该接口仅接收旋转的角度，而复杂的数据处理及计算均由上层脚本进行。

如图2所示，在双向联合驱动过程中，正向驱动与逆向驱动是并行进行的，系统会不断通过现实空间传感器传来的数据以及虚拟空间中数字孪生模型的各项数据和用户与数字孪生模型的交互信息。判断是否发生驱动。判断过程中主要将各个关节角度与上一次检测存储的关节数据进行比对，从而得到各关节的变化情况，当变化情况超出的设置的系统误差后，判断为需要进行驱动，将前后关节数据的差值传递给驱动函数。

当驱动发生时，系统首先进行驱动锁的设置。为了防止正逆向驱动的同时进行导致的安全问题以及逻辑冲突，系统设置了驱动锁。驱动进行前均会对驱动锁进行判断，当驱动锁为锁定状态，即有另一项驱动正在进行中，此时将驱动信息存储至队列之中，并不断检测驱动锁是否解除。当驱动锁被解除后，从队列中取出驱动信息，跟据当前数字孪生模型状态以及现实空间中机器人状态对其进行安全检测，通过后则发送驱动信号，继续进行驱动。

通过物理实体驱动数字孪生模型的正向驱动过程如图3所示，在驱动过程中需要对机器人数字孪生模型，进行预驱动，判断机器人是否存在干涉，当有干涉产生时，中断该驱动过程，停止现实空间中机器人的运动，用户检查后需要重新进行驱动过程。之后对机器人各个关节的旋转角度进行分析，当旋转角度超过关节的限制角度时，该关节会停在其旋转范围内最接近目标旋转角度的位置，并传递错误信息至驱动系统。之后根据正向运动学模型自底向上计算出各个关节的理论位姿。与驱动后数字孪生模型进行对比并根据误差进行调整，不断迭代各关节角度，减少数字孪生模型与物理实体间的差异，从而防止驱动过程中的误差。

由数字孪生模型驱动物理实体的逆向驱动过程如图4所示，当用户与将数字孪生模型中各个关节交互时，检测交互产生影响的物体交互后的位姿数据，将数据存储在队列中，并筛选出现实空间可驱动的设备，生成相应的驱动指令，存储在队列中。当进行完安全检测后，依次发送驱动指令驱动设备向数字孪生模型的驱动后位置。驱动完毕后，会将传感器数据传递回数字孪生系统，并将驱动后的位姿信息与队列中存储的位姿信息进行对比，从而验证驱动的正确性与准确性。在驱动过程中，为了保证机械臂无碰撞、旋转过限等安全问题，在驱动前需要对当前调用的指令进行实时安全检查，确定驱动后的机器人数据是否存在安全隐患。

机器人正向运动学模型主要用于正向驱动中校准驱动后的数字孪生模型，实现闭环控制。通过数字孪生模型获取机器人的D-H参数，根据机器人连杆坐标系及其变换求解运动方程，建立机器人的运动学模型。

取机器人的第i连杆，连杆坐标原点位于起始关节第i关节处。求从第i连杆坐标系A_i向第i+1连杆坐标系A_i+1的转换矩阵：

其中Tran(x,y,z)为平移矩阵：

R(X,θ)为旋转矩阵：

计算得到其转换齐次矩阵：

将任意两个关节间所有关节的转换矩阵相乘的道对应两个关节间的转换齐次矩阵：

式中3×3矩阵

为旋转矩阵，向量

为变换关节中末端相对于起始端的位置坐标。由以上变换矩阵建立机器人的正向运动学数学模型。在模型传入任意变换矩阵均可获得末端执行器的位姿数据。

逆向运动学模型主要用于逆向驱动中，通过末端执行器位置，解算出各关节的角度。在复杂的骨链上执行逆向运动学时，由于性能的要求，无法计算其解析解。因此使用循环坐标下降法(CCD)计算其数值解是一种高效的替代方案。其可以高效地提供近似解并保持迭代，对操作者的交互实时求解并驱动机器人沿指定轨迹运动。使用逆向运动学求解可以转化为优化末端执行器和目标位置之间的距离。数字孪生模型中指定了各关节的运动限制，根据每一关节的限制信息以及分配权重计算其合适的旋转角度。

作为旋转关节，将末端执行器围绕其设定的旋转轴旋转指定角度。在该旋转圆弧上距离目标最近的位置为该圆弧与圆心和目标之间的线段交点，如图3所示。

已知当前的关节位置j，当前末端执行器位置e和目标位置t，求取将(e-j)旋转至(t-j)向量处的旋转角度α，易求得α的余弦值为：

α的正弦值为：

计算得到机器人各关节的角度后，根据计算的角度及每个关节的权重，从末端开始逐一关节驱动，流程如图5所示。通过不断迭代这一过程，末端执行器不断逼近目标点。末端执行器与目标位置间的距离达到误差允许范围，或迭代次数超过了指定范围后停止循环。在一帧中无法迭代至误差允许范围时，将以这一帧中的位置作为下一帧的起始值进行新一轮的CCD运算。

Claims (9)

1.一种数据/模型混合驱动的机器人远程驱动系统，其特征在于，包括：

物理实体，用于实时采集机器人待驱动部位的实时状态数据并对数据进行滤波处理，以及根据驱动指令驱动机器人；

机器人数学模型，用于根据状态数据解算机器人的理论位姿以及根据用户指令解算机器人的待驱动位姿作为驱动指令；

数字孪生模型，用于以数字化方式创建机器人实体的虚拟模型；

遥操作系统，用于人机交互，对虚拟模型下的发用户指令以及对虚拟模型进行实时的可视化。

2.根据权利要求1所述的一种数据/模型混合驱动的机器人远程驱动系统，其特征在于，所述机器人数学模型包括：

用于根据状态数据解算机器人的理论位姿的正向运动学模型以及用于根据用户指令解算机器人的待驱动位姿的逆向运动学模型，所述正向运动学模型和逆向运动学模型双向驱动机器人，且并行进行。

3.根据权利要求1所述的一种数据/模型混合驱动的机器人远程驱动系统，其特征在于，所述系统间各部分之间为双向驱动关系，既通过物理实体的实时数据驱动数字孪生模型，又通过在虚拟空间中对数字孪生模型的交互操控物理实体，并且正向驱动和逆向驱动同时进行，通过条件判断以及优先级设置实现正逆向联合驱动。

4.一种数据/模型混合驱动的机器人远程驱动方法，其特征在于，包括以下步骤：

物理实体实时采集机器人待驱动部位的实时状态数据并对数据进行滤波处理，以及根据驱动指令驱动机器人；

机器人数学模型根据状态数据解算机器人的理论位姿以及根据用户指令解算机器人的待驱动位姿作为驱动指令；

数字孪生模型以数字化方式创建机器人实体的虚拟模型；

遥操作系统对虚拟模型下发的用户指令以及对虚拟模型进行实时的可视化。

5.根据权利要求4所述的一种数据/模型混合驱动的机器人远程驱动方法，其特征在于，通过物理实体的空间传感器传来的数据以及数字孪生模型的各项数据和用户与数字孪生模型的交互信息，判断是否发生驱动，判断过程中，将各个关节角度与上一次检测存储的关节数据进行比对，从而得到各关节的变化情况，当变化情况超出的设置的系统误差后，判断为需要进行驱动，将前后关节数据的差值传递给机器人数学模型，通过模型计算，得到驱动指令。

6.根据权利要求4所述的一种数据/模型混合驱动的机器人远程驱动方法，其特征在于，当驱动发生时，首先设置驱动锁，每次驱动进行前均会对驱动锁进行判断，当驱动锁为锁定状态，即有另一项驱动正在进行中，此时将驱动信息存储至队列之中，并不断检测驱动锁是否解除；当驱动锁被解除后，从队列中取出驱动信息，跟据当前数字孪生模型状态以及物理实体中机器人状态对其进行安全检测，通过后则发送驱动信号，继续进行驱动。

7.根据权利要求4所述的一种数据/模型混合驱动的机器人远程驱动方法，其特征在于，所述驱动方法包括正向驱动以及逆向驱动，且正向驱动和逆向驱动同时进行，通过条件判断以及优先级设置实现正逆向联合驱动。

8.根据权利要求7所述的一种数据/模型混合驱动的机器人远程驱动方法，其特征在于，所述正向驱动即通过物理实体驱动数字孪生模型，具体为：

对机器人数字孪生模型进行预驱动，判断机器人是否存在干涉，当有干涉产生时，中断该驱动过程，停止现实空间中机器人的运动，用户检查后需要重新进行驱动过程；

对机器人各个关节的旋转角度进行判断，当旋转角度超过关节的限制角度时，该关节停在其旋转范围内与目标旋转角度设定角度的位置，并通过遥操作系统将错误信息进行可视化；

根据正向运动学模型自底向上计算出各个关节的理论位姿，与驱动后数字孪生模型进行对比并根据误差进行调整，不断迭代各关节角度，以减少数字孪生模型与物理实体间的差异。

9.根据权利要求7所述的一种数据/模型混合驱动的机器人远程驱动方法，其特征在于，所述逆向驱动即由数字孪生模型驱动物理实体，具体为：

当用户与将数字孪生模型中各个关节交互时，检测交互产生影响的物体交互后的位姿数据，将数据存储在队列中，并筛选出现实空间可驱动的设备，生成相应的驱动指令，存储在队列中；

对物理实体进行安检检测，判断驱动后的机器人数据是否存在安全隐患；

当进行完安全检测后，依次发送驱动指令驱动物理实体向数字孪生模型的驱动后位置运动；

驱动完毕后，将传感器数据传递回数字孪生模型，并将驱动后的位姿信息与队列中存储的位姿信息进行对比，以验证驱动的正确性与准确性。

Images