CN117289796A - 基于触觉手套的复杂装备高交互混合现实系统与方法 - Google Patents

Abstract

本发明公开了基于触觉手套的复杂装备高交互混合现实系统与方法，属于装备高交互混合现实系统技术领域，实体触觉手套上掌指关节处设置直驱电机，用于向五指施加力以模拟虚拟物体的存在，实现力反馈，手指各关节处设置位移传感器，用于测量手指的弯曲和伸展以及手指位置，混合现实眼镜内建有三维几何模型以及表征其所处工况环境的三维几何模型，用于给用户提供沉浸式视觉体验，实体触觉手套与混合现实眼镜之间无线通讯连接，设置实体触觉手套网络通信端口为客户端，混合现实眼镜为服务端，当检测到实体触觉手套客户端连接完成后，将位移传感器采集到的数据传输至混合现实眼镜服务端。

Description

基于触觉手套的复杂装备高交互混合现实系统与方法

技术领域

本发明涉及一种装备高交互混合现实系统，特别是涉及基于触觉手套的复杂装备高交互混合现实系统与方法，属于装备高交互混合现实系统技术领域。

背景技术

现有技术中公开号为CN110400375A公开了混合现实交互系统，包括用户影像采集模块，用于采集用户实时立体影像，交互场景构建模块，用于构建用户交互场景，用户模型构建模块，用于基于用户实时立体影像构建用户模型，用户模型构建于用户交互场景中并用于确定用户影像的物理边界，显示模块，用于显示交互图像，其中，用户实时立体影像与用户模型相匹配渲染。

现有技术中公开号为CN110362209A公开的一种MR混合现实智能感知交互系统，系统包括感知层组件、中控管理层组件和应用层组件，感知层组件包括物理感知层组件和虚拟感知层组件，通过将实时采集到的感知交互实体的特征数据和构建的虚拟场景输入至3D游戏引擎内构建三维空间关系，并与真实物理环境结合生成混合现实三维交互关系并实现实时交互的可视化展示，将人、位、物、时、维度五种元素，按照预设的任何数字环境和真实世界环境自由排列组合创建一个崭新的虚实结合交互空间环境进行沉浸式实时交互以及容错纠错机制精准化，增强了沉浸式体验的真实感和科学性。

现有技术中公开号为CN116109801A公开的一种混合现实交互系统，应用在城市仿真场景，该系统包括＝服务器以及与服务器连接的交互设备，交互设备包括有线交互设备和无线交互设备，交互设备用于实现用户在城市仿真场景下的交互功能，其中，有线交互设备包括显示屏、投影机和操作台触摸屏，无线交互设备包括可移动终端和虚拟现实交互设备。

经过有效的检索和分析我们认为在现有技术中对于比较复杂的装备进行为进行仿真研究以及形成基于混合现实技术的数字影像在现实世界真实呈现技术，结合触觉手套实现触觉力反馈，但沉浸感的人机实时交互协同环境比较差，在实现复杂装备人-机-环境实时感知反馈、交互联动的混合现实数字孪生技术中比较繁琐，为此设计一种提供基于触觉手套的复杂装备高交互混合现实系统与方法来解决上述问题。

发明内容

本发明的主要目的是为了提供基于触觉手套的复杂装备高交互混合现实系统与方法。

本发明的目的可以通过采用如下技术方案达到：

基于触觉手套的复杂装备高交互混合现实系统与方法，包括实体触觉手套和混合现实眼镜，实体触觉手套上掌指关节处设置直驱电机，用于向五指施加力以模拟虚拟物体的存在，实现力反馈；手指各关节处设置位移传感器，用于测量手指的弯曲和伸展以及手指位置；

混合现实眼镜内建有虚拟复杂装备及其零部件三维几何模型以及表征其所处工况环境的三维几何模型，用于给用户提供沉浸式视觉体验；

实体触觉手套与混合现实眼镜之间无线通讯连接；

设置实体触觉手套网络通信端口为客户端，混合现实眼镜为服务端；

当检测到实体触觉手套客户端连接完成后，将位移传感器采集数据传输至混合现实眼镜服务端。

优选的，包括如下步骤：

步骤一：使用混合现实眼镜通过无线通讯连接实体触觉手套，通过实体触觉手套上的位移传感器连续捕捉单手或双手的手部位置；

步骤二：将步骤一中获取的手部位置与手指位置信息通过无线通讯传输至混合现实眼镜内建的虚拟空间中，在混合现实眼镜内建的虚拟空间中进行手部和手指姿态映射；

步骤三：分别遍历手指以及装备三维模型的所有顶点，找出在x,y,z坐标轴上投影距离最大和最小的顶点，然后由此计算出在三维空间内分别能包裹住手指以及装备三维模型的最小体积球体(包括球体的中心点以及半径)，即对应的包围盒。如果两个包围盒半径之和大于两个包围盒的球心距离，则判断手指触碰到了复杂装备三维模型，否则两者没有发生碰撞；

步骤四：当检测到手臂与复杂装备部件进行碰撞时，直驱电机启动并像使用者的五指施加一定大小的力以模拟虚拟空间中装备的存在，配合混合现实眼镜实现视觉和触觉的高交互过程。

优选的，在步骤一中，使用者在佩戴混合现实眼镜后，混合现实眼镜通过前置摄像头捕捉单手或双手手部三维空间的位置数据，空间定位技术将手部的位置映射至虚拟环境。

优选的，包围盒，即包裹住对象的球体，其半径以及球心坐标可表示为：

其中，x_min、x_max、y_min、y_max、z_min、z_max分别表示物体顶点投影在x,y,z三个坐标轴上的最小最大值。

由此，该球体包围盒所包含的区域可以表示为：

R＝{(x,y,z)∣(x-O_x)²+(y-O_y)²+(z-O_z)²＜r²}

其中(O_x,O_y,O_z)表示包围盒中心点的坐标，r表示球体包围盒的半径。

优选的，位移传感器将触觉手套的位移信号转换为广义力，通过接触、碰撞方式传递给复杂装备三维模型作为其动力学分析的驱动激励，并将解算出的动力学响应传递给触觉手套，基于以下公式：

z为产品机构的广义质量矩阵；

为广义加速度矩阵；

μ为拉格朗日乘子；

Φ为机构的约束方程；

Ft为反馈广义力矩阵；

m为接触零件的广义质量阵；

q_i为接触零件的广义加速度、速度和位移。

优选的，采用运动趋势预估的方法获取未来时刻系统的状态参数；

具体包括如下步骤：

在t₀到t₀+T的一个力反馈周期中，采集到触觉设备的位置从p₀变动到p_T，则Δp＝p_T-p₀；

动力学解算的滞后时间KT，同时加上反馈力的平滑过渡时间设为uT；

则在(K+u+1)T时刻，触觉设备的位置预估为p₀+(K+u+1)Δp；

以此作为(K+u+1)T时刻系统的动力学输入激励。

优选的，在进行触觉交互仿真之前，采用专业动力学仿真软件ADAMS对各种动力学参数下产品机构的运动学动力学行为进行预计算，获得系统相应的各种特性曲线，包括零部件的位移、速度、加速度以及约束反力、扭矩数据；

在进行交互仿真时，根据系统在t₀时刻的动力学参数，在预计算好的各动力学特性曲线中进行耦合匹配，找到与之相近的若干动力学特性曲线；

根据这些曲线在各时刻的仿真结果数据，采用最小二乘法进行插值拟合，获得从t₀到t_0+(K+1)T时段内各时刻反馈力的离散值，并逐一输出到直驱电机。

本发明的有益技术效果：

本发明提供的基于触觉手套的复杂装备高交互混合现实系统与方法，。

附图说明

图1为按照本发明的基于触觉手套的复杂装备高交互混合现实系统与方法的一优选实施例的流程图。

图2为按照本发明的基于触觉手套的复杂装备高交互混合现实系统与方法的一优选实施例的网络通信流程图。

图3为按照本发明的基于触觉手套的复杂装备高交互混合现实系统与方法的一优选实施例的包围盒碰撞过程示意图。

图4为按照本发明的基于触觉手套的复杂装备高交互混合现实系统与方法的一优选实施例的触觉交互力绘制模型。

图5为按照本发明的基于触觉手套的复杂装备高交互混合现实系统与方法的一优选实施例的实际交互流程的示意图。

具体实施方式

为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明的基于触觉手套的复杂装备高交互混合现实技术，该方法复杂装备实际工作流程出发，提出使用混合现实眼镜连续捕捉单手或双手的手部与手指位置，并在虚拟空间利用包围盒内进行碰撞检测，当检测到手指与复杂装备部件进行碰撞时，将力反馈至触觉手套，利用电机在力反馈的基础上以一定力的大小抑制手部继续运动，从而实现视觉与触觉的高交互过程。其流程图如图1所示。

所述数据虚实映射技术具体包含以下步骤：

如图2所示，在触觉手套中打开网络通信端口，将混合现实眼镜设置为服务端，侦听并等待客户端的连接。连接过程中传感器采集程序阻塞不循环，当检测到触觉手套客户端连接完成后，将传感器采集数据传输至服务端。此时将创建两条同步任务，包括触觉手套执行传输数据任务与混合现实眼镜同步驱动客户端，在数字孪生客户端中根据传感器数据进行实时状态映射。同时进行数据完整性判断，在完整性实现以后进行下一波数据流传输。

在传输至虚拟空间后，需要进行包围盒碰撞检测，判断手指是否接触装备，如图3所示，其检测算法为利用海伦公式计算包围盒到球心之间的距离，当计算公式小于包围盒球心到中心轴线段L的最小距离，其中L为机械臂单个连杆的圆柱体碰撞模型的中心轴线段，其端点为M₁、M₂，P_obs为障碍物球形包围盒的球心，r_obs为障碍物球形包围盒的半径，r为圆柱体碰撞模型半径，令a＝|M₁-M₂|，b＝|M₁-P_obs|，c＝|M₂-P_obs|；

则令t＝(a+b+c)/2；

如果

且

即为图3(a)所示的情况，利用海伦公式得到包围盒球心到中心轴线段L的最小距离为：

如果

且

即为图3(b)所示的情况，此时包围盒球心到中心轴线段L的最小距离：

d＝|M₁P_obs|；

如果

且

即为图3(c)所示的情况，此时包围盒球心到中心轴线段L的最小距离：

d＝|M₂P_obs|；

综上可得如果d-r-r_obs＞0时，则虚拟手臂与障碍物不发生碰撞，不进行力补偿；反之则认为发生碰撞，进行力补偿。

所述触觉交互力补偿包括如下步骤：

利用广义弹簧-阻尼-质点模型对触觉交互绘制模型进行表达，如图4所示，建立触觉交互设备位移信号与该模型坐标系的映射关系，有如下公式。

ΔX为触觉绘制模型的线位移，Δθ为触觉绘制模型的角位移，λ_s、λ_r为触觉设备与触觉绘制模型的线位移、角位移映射系数，x₁、x₀为触觉设备当前位置、上一时刻的采样位置，θ₁、θ₀为触觉设备当前角度、上一时刻的采样角度根据上式求得的广义力，将其施加到与触觉绘制模型发生接触的产品零部件模型上作为驱动激励，产品机构数字样机模型在其作用下产生相应的动力学响应。由于接触零件位于运动链上，因此绘制模型受到的反馈力与驱动力的大小并不相等，有以下公式。

z为产品机构的广义质量矩阵，为广义加速度矩阵，μ为拉格朗日乘子，Φ为机构的约束方程，Ft为反馈广义力矩阵，m为接触零件的广义质量阵，/> q_i为接触零件的广义加速度、速度和位移。

为了降低动力学求解时滞的影响，获得更为精确的反馈力输出，采用运动趋势预估的方法获取未来时刻系统的状态参数。通常，图形刷新周期JT要短于人的神经反应和肌肉动作时间，可认为在JT时间内操作人员控制触觉设备位置变化的运动趋势是单方向且连续的。因此，假定在t₀到t₀+T的一个力反馈周期中，采集到触觉设备的位置从p₀变动到p_T，则Δp＝p_T-p₀。

考虑动力学解算的滞后时间KT，同时加上反馈力的平滑过渡时间(设为uT)，则在(K+u+1)T时刻，触觉设备的位置预估为p₀+(K+u+1)Δp。

以此作为(K+u+1)T时刻系统的动力学输入激励。

在进行触觉交互仿真之前，对各种动力学参数下产品机构的运动学动力学行为进行预计算，获得系统相应的各种特性曲线，包括零部件的位移、速度、加速度以及约束反力、扭矩等数据。在进行交互仿真时，根据系统在t₀时刻的动力学参数，在预计算好的各动力学特性曲线中进行耦合匹配，找到与之相近的若干动力学特性曲线。根据这些曲线在各时刻的仿真结果数据，采用最小二乘法进行插值拟合，获得从t₀到t_0+(K+1)T时段内各时刻反馈力的离散值，并逐一输出到力反馈伺服。

在图形刷新伺服中，场景中的多边形面片数量是决定刷新帧频的关键因素。在每个刷新循环中，对需要显示的多边形面片数目进行统计，并与前几次循环所记录的数目进行比较。若多边形数目有明显增加，则采用层次细节模型(LOD)用于简化一些次要的零部件的显示，以降低场景绘制多边形的数目，提高刷新频率；若多边形的数目有明显减少，则根据减少的数目按比例提高图形伺服线程的休眠时间，以分配更多的资源到动力学解算伺服和力反馈伺服。通过此动态调整方法，使得场景刷新的间隔时间保持在一个稳定范围内波动。

综合以上步骤，实现复杂装备高交互混合现实技术，即可实现人-机高交互过程，如图5所示。

以上，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。

Claims (7)

1.基于触觉手套的复杂装备高交互混合现实系统，包括实体触觉手套和混合现实眼镜，其特征在于：实体触觉手套上掌指关节处设置直驱电机，用于向五指施加力以模拟虚拟物体的存在，实现力反馈；

手指各关节处设置位移传感器，用于测量手指的弯曲和伸展以及手指位置；

混合现实眼镜内建有三维几何模型以及表征其所处工况环境的三维几何模型，用于给用户提供沉浸式视觉体验；

实体触觉手套与混合现实眼镜之间无线通讯连接；

设置实体触觉手套网络通信端口为客户端，混合现实眼镜为服务端；

当检测到实体触觉手套客户端连接完成后，将位移传感器采集到的数据传输至混合现实眼镜服务端。

2.根据权利要求1所述的基于触觉手套的复杂装备高交互混合现实方法，其特征在于：

包括如下步骤：

步骤一：使用混合现实眼镜通过无线通讯连接实体触觉手套，通过实体触觉手套上的位移传感器连续捕捉单手或双手的手部位置；

步骤二：将步骤一中获取的手部位置与手指位置信息通过无线通讯传输至混合现实眼镜内建的虚拟空间中，在混合现实眼镜内建的虚拟空间中进行手部和手指姿态映射；

步骤三：分别遍布手指以及装备三维模型的所有顶点，找出在x,y,z坐标轴上投影距离最大和最小的顶点，然后由此计算出在三维空间内分别能包裹住手指以及装备三维模型的最小体积球体包括球体的中心点以及半径，即对应的包围盒，如果两个包围盒半径之和大于两个包围盒的球心距离，则判断手指触碰到了复杂装备三维模型，否则两者没有发生碰撞；

步骤四：当检测到手臂与复杂装备部件进行碰撞时，直驱电机启动并向使用者的五指施加一定大小的力以模拟虚拟空间中装备的存在，配合混合现实眼镜实现视觉和触觉的高交互过程。

3.根据权利要求2所述的基于触觉手套的复杂装备高交互混合现实方法，其特征在于：在步骤一中，使用者在佩戴混合现实眼镜后，混合现实眼镜通过前置摄像头捕捉单手或双手手部三维空间的位置数据，空间定位技术将手部的位置映射至虚拟环境。

4.根据权利要求2所述的基于触觉手套的复杂装备高交互混合现实方法，其特征在于：包围盒，即包裹住对象的球体，其半径以及球心坐标可表示为：

其中，x_min、x_max、y_min、y_max、z_min、z_max分别表示物体顶点投影在x,y,z三个坐标轴上的最小最大值。

由此，该球体包围盒所包含的区域可以表示为：

R＝{(x,y,z)∣(x-O_x)²+(y-O_y)²+(z-O_z)²＜r²}

其中(O_x,O_y,O_z)表示包围盒中心点的坐标，r表示球体包围盒的半径。

5.根据权利要求2所述的基于触觉手套的复杂装备高交互混合现实方法，其特征在于：位移传感器将触觉手套的位移信号转换为力信号，通过接触、碰撞方式传递给复杂装备三维模型作为其动力学分析的驱动激励，并将解算出的动力学响应传递给触觉手套，基于以下公式：

z为产品机构的广义质量矩阵；

为广义加速度矩阵；

μ为拉格朗日乘子；

Φ为机构的约束方程；

Ft为反馈广义力矩阵；

m为接触零件的广义质量阵；

q_i为接触零件的广义加速度、速度和位移。

6.根据权利要求2所述的基于触觉手套的复杂装备高交互混合现实方法，其特征在于：采用运动趋势预估的方法获取未来时刻系统的状态参数；

具体包括如下步骤：

在t₀到t₀+T的一个力反馈周期中，采集到触觉设备的位置从p0变动到p_T，则Δp＝p_T-p₀；

动力学解算的滞后时间KT，同时加上反馈力的平滑过渡时间设为uT；

则在(K+u+1)T时刻，触觉设备的位置预估为p₀+(K+u+1)Δp；

以此作为(K+u+1)T时刻系统的动力学输入激励。

7.根据权利要求2所述的基于触觉手套的复杂装备高交互混合现实方法，其特征在于：在进行触觉交互仿真之前，采用动力学仿真软件ADAMS对各种动力学参数下产品机构的运动学动力学行为进行预计算，获得系统相应的各种特性曲线，包括零部件的位移、速度、加速度以及约束反力、扭矩数据；

在进行交互仿真时，根据系统在t₀时刻的动力学参数，在预计算好的各动力学特性曲线中进行耦合匹配，找到与之相近的若干动力学特性曲线；

根据这些曲线在各时刻的仿真结果数据，采用最小二乘法进行插值拟合，获得从t₀到t_0+(K+1)T时段内各时刻反馈力的离散值，并逐一输出到直驱电机。