CN111103974B - 沉浸式上肢多向活动的虚拟现实系统 - Google Patents

Abstract

一种上肢活动虚拟现实系统，其特征在于，包括：交互式物理训练设备、位置定位模块(手柄感应器、臂环感应器)、数据处理终端、头戴式显示器；数据处理终端与交互式物理训练设备、位置定位模块、头戴式显示器互联；终端处理器通过对数据的整合，利用手柄感应器及臂环感应器传输来的位置数据，位置换算模块计算得出使用者上肢空间位置，同时结合交互式物理训练设备传输来的受力数据，根据动作镜像模型以虚拟现实动态演绎的方式展示在头戴式虚拟显示设备中。以本发明公开的技术方案为基础，将来可进一步开发适用于虚拟现实上肢康复训练、娱乐休闲等各领域广泛的具体应用项目。

Description

沉浸式上肢多向活动的虚拟现实系统

技术领域

本发明涉及虚拟现实技术领域，尤其为一种支持多向“拉力”及实时反馈互动“反拉”的上肢活动形式的虚拟现实系统。

背景技术

虚拟现实技术广泛的应用于娱乐、影视、教学、康复、培训、训练、演练、工程设计、规划设计、医学、军事、航空航天，在虚拟现实环境中引入多感官交互技术,可实现深层次的交互和沉浸感，获得更接近自然的交互体验。一方面，基于多感官交互的虚拟现实系统已成为目前虚拟现实领域研究的热点。然而目前虚拟现实系统中的交互存在过分依赖高端设备、多感官同步交互实现困难等问题。另一方面，近年来，我国虚拟现实产业快速发展，相关关键技术进一步成熟，在画面质量、图像处理、眼球捕捉、3D声场、机器视觉等技术领域不断取得突破。然而当前的大量技术研发都主要围绕虚拟现实体验中的视觉反馈(视觉图像的扭曲或者滞后、立体空间感、像素分辨率、视野、速率及帧频等方面优化)及听觉反馈(用户自己的声音、他人的声音以及物体或者环境的声音等方面优化)，在虚拟现实体验触觉环境反馈方面的技术突破和市场应用相对较少。虚拟现实临场感及沉浸感因用户缺乏互动过程中相适应的触觉反馈，其综合感官感受得不到匹配,沉浸感、体验感受限。

现有技术交互设备在触觉反馈体验方面表现往往不足，占有空间大。曹静等发明人于2019.10.21申请的《一种沉浸式虚拟现实交互设备》(中国专利申请号201921771085.8)首次提出了一种沉浸式虚拟现实交互设备，为一种能提供多向拉力实时反馈的虚拟现实交互设备，占有空间小。

本发明是在这套支持多向拉力器械设备成果的基础上进一步研发。

发明内容

本发明的目的在于，基于《一种沉浸式虚拟现实交互设备》(中国专利申请号201921771085.8)支持多向拉力器械设备设计思路上，进一步公开了一种能获得真实手感的、增强沉浸式体验的一套壁架式的支持上肢活动的虚拟现实系统。

以本发明公开的技术方案为基础，将来可进一步开发适用于虚拟现实上肢康复训练、娱乐休闲等各领域广泛的具体应用项目。

本发明需要保护的技术方案表征为：

一种上肢活动虚拟现实系统，包括：交互式物理训练设备、定位模块(手柄感应器、臂环感应器)、数据处理终端、头戴式显示器。数据处理终端与交互式物理训练设备、定位模块、头戴式显示器互联。终端处理器通过对数据的整合，利用手柄感应器及臂环感应器传输来的位置数据，位置换算模块计算得出使用者上肢空间位置，同时结合交互式物理训练设备传输来的受力数据，根据动作镜像模型以虚拟现实动态演绎的方式展示在头戴式虚拟显示设备中。

各部分设计如下：

所述交互式物理训练设备，包括数控滑轨组件、手柄组件、中枢组件。所述数控滑轨组件,包括滑台基座(14)、数控滑台(13)、横向轨道(11)、升降轨道(12)；所述数控滑台(13)活动连接于横向轨道(11)上，数控滑台(13)包括滑块和滑块步进电机，通过滑块与横向轨道(11)咬合，通过滑块步进电机驱动转轴转化为整个数控滑台(13)在横向轨道(11)上的横向活动方向d1和位移s1；所述横向轨道(11)安装于滑台基座(14)后整体再活动连接于升降轨道(12)上；滑台基座(14)包括基座和基座步进电机，通过基座与升降轨道(12)咬合，通过基座步进电机驱动转轴转化为整个滑台基座(14)在升降轨道(12)上的升降方向d2和位移s2；所述手柄组件包括弹力拉绳(41)、数控退线器(42)、舵机、手柄(43)，所述弹力拉绳缠绕于退线器转轴上，弹力拉绳的一端连接于滑台，其另一端是用于连接手柄，所述舵机输出轴连接退线器转轴，退线器转轴用于收纳或者释放弹力拉绳，调节弹力拉绳(41)长度。所述弹力拉绳(41)具有弹性,固有的弹性系数f。所述中枢组件包括控制器(32)、拉力传感器和遥控器(34)；所述拉力传感器设置于手柄组件上，用于采集弹力拉绳的拉力状态数据(拉力大小n和方向d3)并提供给控制器(32)；滑块步进电机、基座步进电机、舵机，它们的驱动器连接受控于控制器(32)。所述遥控器(34)连接于控制器(32)，用于上肢活动前初始设置或者重新设置滑台基座(14)在横向轨道(2)、升降轨道(12)之上的位置、拉绳操作长短以适应用户需求。拉力传感器将用户拉力大小及拉力方向数据实时传给控制器(32)。

所述定位模块,包括手柄感应器、臂环感应器硬件。所述手柄感应器，设置于由使用者握持的手柄(43)之上，用于获得手柄(43)在交互式物理训练设备的数控滑轨组件所设立空间的相对空间位置，并提供给终端处理器中的位置换算模块。所述臂环感应器，设置于使用者的肘关节上，同样也获得臂环感应器所在点在设立空间的相对空间位置，也提供给位置换算模块。通过联合手柄感应器、臂环感应器两个点的位置信息，系统可获得手肘的动作数据。

所述终端处理器，包括位置换算模块、拉力分析反馈模块。

所述位置换算模块将采集使用者上肢位置并进行空间计算得出对应虚拟空间的位置；设交互式物理训练设备的数控滑台(13)为位置采集点0(X0、Y0、Z0)，作为空间坐标的原点，使用者手臂上的臂环感应器作为采集点1(X1、Y1、Z1)，加长杆上感应器作为采集点2(X2、Y2、Z2)，握持杆上的传感器作为采集点3(X3、Y3、Z3)，在不使用加长的情况下采集点2和采集点3同为一点；当采集点0处在高于采集点2(3)的位置时，将判定点4(X4、Y4、Z4)确定在采集点0处与采集点2(3)的延长线上；当采集点0处在低于采集点2(3)的位置时，将判定点4确定在采集点0处与采集点2(3)的重力抛物线上。

所述拉力分析反馈模块：根据数控滑台(13)所在的横向位移s1竖向位移s2，弹力拉绳(41)的拉力方向d3、大小n状态数据，以及结合弹力拉绳(41)固有的弹性系数f，在遵循动作镜像模型的活动形式和约束下，拉力分析反馈模块通过分析处理并做出反馈，指令舵机控制数控退线器执行收绳及放绳动作，实时调节弹力拉绳(41)长度，进而改变虚拟对象的拉力高度及拉力大小，促使使用者在进行上肢活动过程中能够感受到真实的力对抗；指令数控滑台(13)在横向滑轨上左右位移，进而改变拉力方向，使得用户获得与自己视觉、触觉及运动觉感知及判断相一致的拉力方向反馈，增强使用者的虚拟现实沉浸式体验。

本发明有益效果

1、本发明系统的交互设备占空小，可布置在小居室内。

2、本交互设备首次公开了一种专用多向拉力交互新模式。

3、本交互设备中舵机顺应控制器可以适应拉力绳的收拉，首次公开了一种专用双向拉力交互新模式。

本申请系统占地面积小，将多向拉力交互新模式创新点再融合虚拟现实技术，并在拉力分析反馈上再创新，致使用者在真实手感、沉浸感方面的体验发挥到极致。将在医疗、保健、教育、娱乐等应用领域有广阔发展前景。

附图说明

图1为本发明系统原理示意图

图2为交互设备结构示意图

图3为本交互设备中拉力传感构成示意图

图4为本交互设备中枢组件构成示意图

图5为本装置虚拟现实环境中的拉力触发对象的呈像方位运算方法示意图

图6为本装置加长杆安装示意图

图7为系统现场示意图

数字标记：

滑轨组件1、横向滑轨11、升降轨道12、数控滑台13、滑台基座14、罩15；

中枢组件3、电源模块31、电源线插头311、单片机32、蓝牙模块33、升降遥控器34；

弹力拉绳41、数控退线器42、数控退线器转轴421、手柄43、拉力传感器44、加长杆(45)。

具体实施方式

下面将结合具体实施例及其附图对本申请提供的技术方案作进一步说明。结合下面说明，本申请的优点和特征将更加清楚。

需要说明的是，本申请的实施例有较佳的实施性，并非是对本申请任何形式的限定。本申请实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。本申请优选实施方式的范围也可以包括另外的实现，且这应被本申请实施例所属技术领域的技术人员所理解。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限定。因此，示例性实施例的其它示例可以具有不同的值。

本申请的附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本申请实施例的目的，并非是限定本申请可实施的限定条件。任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的效果及所能达成的目的下，均应落在本申请所揭示的技术内容所能涵盖的范围内。且本申请各附图中所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。

本实施例软硬件结合。

如图7所示。

场地空间：室内、外都可，空间占地小。

构成：

1、壁架式的互动控制设备，用于支持多向活动。

2、通过布设传感器，实现上肢握持部的位置定位系统、主动施加模式下的拉力、被动模式下的回拉拉力。

3、上肢活动的表达形式。有弹性的绳子。

4、数据处理、反馈指令。

5、显示。

如图1所示，上肢活动虚拟现实系统包括：交互式物理训练设备、定位模块(手柄感应器、臂环感应器)、处理终端、头戴式显示器。

一、交互式物理训练设备，包括数控滑轨组件、手柄组件、中枢组件，如图2、图3、图4所示。

所述数控滑轨组件,安装于墙体或者支架等，包括滑台基座(14)、数控滑台(13)、横向轨道(11)、升降轨道(12)；

所述数控滑台(13)活动连接于横向轨道(11)上，数控滑台(13)包括滑块和滑块步进电机，通过滑块与横向轨道(11)咬合，通过滑块步进电机驱动转轴转化为整个数控滑台(13)在横向轨道(11)上的横向活动方向d1和位移s1；

所述横向轨道(11)安装于滑台基座(14)后整体再活动连接于升降轨道(12)上；

滑台基座(14)包括基座和基座步进电机，通过基座与升降轨道(12)咬合，通过基座步进电机驱动转轴转化为整个滑台基座(14)在升降轨道(12)上的升降方向d2和位移s2；

所述手柄组件包括弹力拉绳(41)、数控退线器(42)、舵机、手柄(43)，所述弹力拉绳缠绕于退线器转轴上，弹力拉绳的一端连接于滑台，其另一端是用于连接手柄，所述舵机输出轴连接退线器转轴，退线器转轴用于收纳或者释放弹力拉绳，调节弹力拉绳(41)长度。仅作为例子，不做为限定，弹力拉绳的一端为固定端，可以通过退线器一起固定于滑台。

所述弹力拉绳(41)具有弹性,固有的弹性系数f。

所述手柄(43)，还可以设置加长杆(45)，加设于弹力拉绳(41)自由端与手柄(43)之间，用于模拟个别特殊类型应用项目，例如模拟用钓竿钓鱼等上肢活动。手柄(43)作为握持杆，而加长杆(45)作为握持杆的加长杆。

所述中枢组件包括控制器(32)、拉力传感器和遥控器(34)；所述拉力传感器设置于手柄组件上，用于采集弹力拉绳的拉力状态数据(拉力大小n和方向d3)并提供给控制器(32)；滑块步进电机、基座步进电机、舵机，它们的驱动器连接受控于控制器(32)。所述遥控器(34)连接于控制器(32)，用于上肢活动前初始设置或者重新设置滑台基座(14)在升降轨道(12)之上的基准高度位置、拉绳操作长短以适应用户需求。

所述控制器，作为举例可选择单片机来实现。

所述中枢组件还可以包括电源模块(31)，系统供电技术属于常规技术，非必要限定。所述电源模块(31)为中枢组件供电。

所述通信模块(10)用于实现控制器(32)与手柄、臂环及遥控器(34)之间的通信连接，属于常规技术，非必要限定。

具体的说，所述遥控器(34)用于控制设备电源开关，也通过遥控器上下按键控制滑台基座(14)在升降轨道(12)之上的初始高度位置；所述手柄(43)的上下按键则用来控制拉绳伸缩。用户可自行调节硬件设备初始状态，以适应于用户个体化操控的身体特征(如身高)、交互姿态(如站姿、坐姿)及拉绳长度(手柄的初始高度及对抗力的初始大小)。遥控器(34)及手柄(43)都通过通讯模块将用户设置的数控基座(14)初始高度数据及拉绳初始拉力大小数据传输给单片机传感器。此类皆属于常规技术，非必要限定。

拉力传感器将用户拉力大小及拉力方向数据实时传给控制器(32)。

二、定位模块,包括手柄感应器、臂环感应器硬件。

所述手柄感应器，设置于由使用者握持的手柄(43)、加长杆(45)之上，用于获得手柄(43)在交互式物理训练设备的数控滑轨组件所设立空间的相对空间位置，并提供给终端处理器中的位置换算模块。

所述臂环感应器，设置于使用者的肘关节上，同样也获得臂环感应器所在点在设立空间的相对空间位置，也提供给位置换算模块。意义：

通过联合手柄感应器、臂环感应器两个点的位置信息，系统可获得手肘的“上、下、左、右、前、后、水平旋转、垂直旋转”这些动作数据。

再联合虚拟现实头戴显示器第三个位置数据，系统能更精确检测手臂空间位置及具体动作。

各位置感应器可以通过蓝牙与终端处理器连接，为常规技术。

三、终端处理器，包括位置换算模块、拉力分析反馈模块、动作镜像模型、虚拟场景内容。

所述位置换算模块：将采集使用者上肢位置并进行空间计算得出对应虚拟空间的位置。设交互式物理训练设备的数控滑台(13)为位置采集点0(X0、Y0、Z0)，作为空间坐标的原点，使用者手肘上的臂环感应器作为采集点1(X1、Y1、Z1)，加长杆上感应器作为采集点2(X2、Y2、Z2)，握持杆上的传感器作为采集点3(X3、Y3、Z3)，在不使用加长的情况下采集点2和采集点3同为一点。当采集点0处在高于采集点2(3)的位置时，将判定点4(X4、Y4、Z4)确定在采集点0处与采集点2(3)的延长线上(使用者感知到的虚拟对象施力点或者受力点，增强沉浸式体验)。如图5(b)所示：向下拉活动中，虚拟对象的拉力触发点4(X4、Y4、Z4)应该在采集点0处与采集点2(3)的延长线上，可应用于放风筝等应用项目。当采集点0处在低于采集点2(3)的位置时，将判定点4确定在采集点0处与采集点2(3)的延长线或者重力抛物线上(使用者虚拟感知到的判定点，增强沉浸式体验)。如图5(a)所示：向上拉活动中，虚拟对象的拉力触发点4(X4、Y4、Z4)应该在采集点0处与采集点2(3)的延长线或者重力抛物线上。应用于钓鱼等应用项目。

所述拉力分析反馈模块：根据数控滑台(13)所在的横向位移s1竖向位移s2，弹力拉绳(41)的拉力方向d3、大小n状态数据，以及结合弹力拉绳(41)固有的弹性系数f，在遵循动作镜像模型的活动形式和约束下，拉力分析反馈模块通过分析处理并做出反馈，指令舵机控制数控退线器执行收绳及放绳动作，实时调节弹力拉绳(41)长度，进而改变虚拟对象的拉力高度及拉力大小，促使使用者在进行上肢活动过程中能够感受到真实的力对抗；指令数控滑台(13)在横向滑轨上左右位移，进而改变虚拟对象与用户间的拉力方向，使得用户获得与自己视觉、触觉及运动觉感知及判断相一致的拉力方向反馈，大大增强使用者的虚拟现实沉浸式体验。

所述动作镜像模型、应用场景内容为待开发的各行各业各领域的具体应用项目，不是本发明技术方案公开的范围和发明任务。例如，虚拟钓鱼项目、虚拟放风筝项目、虚拟开游艇项目、虚拟拔萝卜比赛项目、上肢康复训练等拉力型的上肢活动，布置各类应用场景内容，可以因具体项目来策划、创意。

终端处理器通过对数据的整合，利用手柄感应器及臂环感应器传输来的位置数据，位置换算模块计算得出使用者上肢空间位置，同时结合交互式物理训练设备传输来的受力数据，根据动作镜像模型以虚拟现实动态演绎的方式展示在头戴式虚拟显示设备中。

四、头戴式虚拟显示设备

头戴式虚拟显示设备通过数据线或者蓝牙模块与终端处理器连接，显示并播放通过终端处理器渲染的虚拟场景及交互内容。

具体实现技术方案时，实施例的电源模块(8)还可以包括适配器、电源线插头(11)，通过电源线插头(11)连接外部市电，通过适配器将外部市电转化成符合实际中枢组件的供电电压。

具体实现技术方案时，实施例的通信模块(10)可以选择蓝牙模块实现。

本申请系统占地面积小，将多向拉力交互新模式创新点再融合虚拟现实技术，并在拉力分析反馈上再创新，致使用者在真实手感、沉浸感方面的体验发挥到极致。将在医疗、保健、教育、娱乐等应用领域有广阔发展前景。

上述描述仅是对本申请较佳实施例的描述，并非是对本申请范围的任何限定。任何熟悉该领域的普通技术人员根据上述揭示的技术内容做出的任何变更或修饰均应当视为等同的有效实施例，均属于本申请技术方案保护的范围。

Claims (2)

1.一种上肢活动虚拟现实系统，其特征在于，包括：交互式物理训练设备、定位模块、数据处理终端、头戴式显示器，定位模块包括手柄感应器、臂环感应器；数据处理终端与交互式物理训练设备、定位模块、头戴式显示器互联；终端处理器通过对数据的整合，利用手柄感应器及臂环感应器传输来的位置数据，位置换算模块计算得出使用者上肢空间位置，同时结合交互式物理训练设备传输来的受力数据，根据动作镜像模型以虚拟现实动态演绎的方式展示在头戴式虚拟显示设备中；

所述交互式物理训练设备，包括数控滑轨组件、手柄组件、中枢组件；所述数控滑轨组件,包括滑台基座(14)、数控滑台(13)、横向轨道(11)、升降轨道(12)；所述数控滑台(13)活动连接于横向轨道(11)上，数控滑台(13)包括滑块和滑块步进电机，通过滑块与横向轨道(11)咬合，通过滑块步进电机驱动转轴转化为整个数控滑台(13)在横向轨道(11)上的横向活动方向d1和位移s1；所述横向轨道(11)安装于滑台基座(14)后整体再活动连接于升降轨道(12)上；滑台基座(14)包括基座和基座步进电机，通过基座与升降轨道(12)咬合，通过基座步进电机驱动转轴转化为整个滑台基座(14)在升降轨道(12)上的升降方向d2和位移s2；所述手柄组件包括弹力拉绳(41)、数控退线器(42)、舵机、手柄(43)，所述弹力拉绳缠绕于退线器转轴上，弹力拉绳的一端连接于滑台，其另一端连接于手柄，所述舵机输出轴连接退线器转轴，退线器转轴用于收纳或者释放弹力拉绳，调节弹力拉绳(41)长度；所述弹力拉绳(41)具有弹性,固有的弹性系数f；所述中枢组件包括控制器(32)、拉力传感器和遥控器(34)；所述拉力传感器设置于手柄组件上，用于采集弹力拉绳的拉力状态数据(拉力大小n和方向d3)并提供给控制器(32)；滑块步进电机、基座步进电机、舵机，它们的驱动器连接受控于控制器(32)；所述遥控器(34)连接于控制器(32)，用于上肢活动前初始设置或者重新设置滑台基座(14)在升降轨道(12)之上的基准高度位置、拉绳操作长短以适应用户需求；拉力传感器将用户拉力大小及拉力方向数据实时传给控制器(32)。

2.如权利要求1所述的上肢活动虚拟现实系统，其特征在于，所述定位模块,包括手柄感应器、臂环感应器硬件；所述手柄感应器，设置于由使用者握持的手柄(43)之上，用于获得手柄(43)空间位置，并提供给终端处理器中的位置换算模块；所述臂环感应器，设置于使用者的肘关节上，获得臂环感应器空间位置，并提供给位置换算模块。

Images