CN116149483A - 触觉反馈的方法、系统、装置、设备和存储介质 - Google Patents
触觉反馈的方法、系统、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116149483A CN116149483A CN202310185420.0A CN202310185420A CN116149483A CN 116149483 A CN116149483 A CN 116149483A CN 202310185420 A CN202310185420 A CN 202310185420A CN 116149483 A CN116149483 A CN 116149483A
- Authority
- CN
- China
- Prior art keywords
- target
- virtual
- virtual reality
- organ
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 210000000056 organ Anatomy 0.000 claims abstract description 179
- 230000015654 memory Effects 0.000 claims description 16
- 230000009286 beneficial effect Effects 0.000 abstract description 8
- 230000002708 enhancing effect Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000035807 sensation Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000033458 reproduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开公开了一种触觉反馈的方法、系统、装置、设备和存储介质，属于虚拟现实技术领域。该方法包括：接收虚拟现实终端发送的用户的目标器官的实际位姿信息；基于实际位姿信息，调整目标虚拟场景中目标器官的器官模型的虚拟位姿；获取目标虚拟场景中与器官模型接触的目标虚拟对象对应的目标属性信息；基于调整后的虚拟位姿和目标属性信息，确定器官模型对应的阻力信息，其中，阻力信息用于触发虚拟现实终端向用户的目标器官施加对应的阻力；向虚拟现实终端发送阻力信息。采用本方案，可以使处于虚拟世界中的用户产生真实的触觉感受，有利于增强用户对虚拟现实终端的使用。
Description
技术领域
本公开涉及虚拟现实技术领域，特别涉及一种触觉反馈的方法、系统、装置、设备和存储介质。
背景技术
VR(Virtual Reality，虚拟现实)技术，又称虚拟实境或灵境技术，是仿真技术的一个重要方向，VR技术可以借助计算机等设备产生一个逼真的三维视觉、听觉、触觉、嗅觉等多种感官体验的虚拟世界。
当前，应用VR技术的设备(简称VR设备)多为VR头盔、VR眼镜。VR设备通常仅能在视觉和听觉上使处于虚拟世界中的用户产生一种身临其境的感觉。然而，相关技术中的VR设备无法使处于虚拟世界中的用户产生真实的触觉感受。
发明内容
本公开实施例提供了一种触觉反馈的方法、系统、装置、设备和存储介质，能够解决相关技术中VR设备无法使处于虚拟世界中的用户产生真实的触觉感受的问题。技术方案如下：
第一方面，提供了一种触觉反馈的方法，所述方法应用于虚拟现实系统中的虚拟现实主机，所述虚拟现实系统还包括虚拟现实终端，所述方法包括：
接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息；
基于所述实际位姿信息，调整目标虚拟场景中所述目标器官的器官模型的虚拟位姿；
获取所述目标虚拟场景中与所述器官模型接触的目标虚拟对象对应的目标属性信息；
基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息，其中，所述阻力信息用于触发所述虚拟现实终端向所述用户的所述目标器官施加对应的阻力；
向所述虚拟现实终端发送所述阻力信息。
在一种可能的实现方式中，所述接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息，包括：
接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息和主动力信息；
所述基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息，包括：
基于调整后的虚拟位姿、所述主动力信息和所述目标属性信息，确定所述器官模型对应的阻力信息。
在一种可能的实现方式中，所述接收所述虚拟现实终端发送的用户的目标器官的实际位姿之前，还包括：
接收所述虚拟现实终端发送的用户的目标器官的器官参数；
基于所述器官参数建立所述目标器官对应的器官模型；
接收虚拟现实终端发送的携带有目标场景类型的场景选择请求，确定所述目标场景类型对应的目标虚拟场景；
将所述器官模型加载到所述目标虚拟场景中。
在一种可能的实现方式中，所述将所述器官模型加载到所述目标虚拟场景中，包括：
基于场景类型与触觉反馈模型的对应关系，确定所述目标场景类型对应的目标触觉反馈模型；
确定所述器官模型在所述目标虚拟场景中的初始位姿；
基于所述初始位姿和所述目标触觉反馈模型，确定所述虚拟现实终端对应的初始化参数；
向所述虚拟现实终端发送所述初始化参数；
所述基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息，包括：
将调整后的虚拟位姿和所述目标属性信息输入所述目标触觉反馈模型，确定所述器官模型对应的阻力信息。
在一种可能的实现方式中，所述基于所述器官参数建立所述目标器官对应的器官模型，包括：
基于所述器官参数和游戏引擎Unity或者所述器官参数和虚幻引擎UE4，建立所述目标器官对应的器官模型。
在一种可能的实现方式中，所述目标器官为手部，所述虚拟现实终端包括虚拟现实头盔和触觉手套，所述虚拟现实头盔包括头盔主体和多个摄像头，所述触觉手套包括手套主体和多个触觉传感器，所述实际位姿信息包括每个所述摄像头发送的所述手部的图像数据和每个所述触觉传感器发送的所述手部的传感器数据；
所述基于所述实际位姿信息，调整目标虚拟场景中所述目标器官的器官模型的虚拟位姿，包括：
基于所述手部的图像数据和所述手部的传感器数据，调整目标虚拟场景中所述手部的手部模型的虚拟位姿。
第二方面，提供了一种虚拟现实系统，其特征在于，所述虚拟现实系统包括虚拟现实主机和虚拟现实终端；
所述虚拟现实终端，用于向所述虚拟现实主机发送用户的目标器官的实际位姿信息；
所述虚拟现实主机，用于基于接收自所述虚拟现实终端发送的所述实际位姿信息，调整目标虚拟场景中所述目标器官的器官模型的虚拟位姿；
所述虚拟现实主机，用于获取所述目标虚拟场景中与所述器官模型接触的目标虚拟对象对应的目标属性信息；
所述虚拟现实主机，用于基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息；
所述虚拟现实主机，用于向所述虚拟现实终端发送所述阻力信息；
所述虚拟现实终端，用于基于所述虚拟现实主义发送的所述阻力参数向所述用户的所述目标器官施加对应的阻力。
第三方面，提供了一种触觉反馈装置，所述装置包括：
接收模块，用于接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息；
调整模块，用于基于所述实际位姿信息，调整目标虚拟场景中所述目标器官的器官模型的虚拟位姿；
获取模块，用于获取所述目标虚拟场景中与所述器官模型接触的目标虚拟对象对应的目标属性信息；
确定模块，用于基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息，其中，所述阻力信息用于触发所述虚拟现实终端向所述用户的所述目标器官施加对应的阻力；
发送模块，用于向所述虚拟现实终端发送所述阻力信息。
在一种可能的实现方式中，所述接收模块，用于：
接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息和主动力信息；
所述确定模块，用于：
基于调整后的虚拟位姿、所述主动力信息和所述目标属性信息，确定所述器官模型对应的阻力信息。
在一种可能的实现方式中，所述装置还包括加载模块，所述加载模块，用于：
接收所述虚拟现实终端发送的用户的目标器官的器官参数；
基于所述器官参数建立所述目标器官对应的器官模型；
接收虚拟现实终端发送的携带有目标场景类型的场景选择请求，确定所述目标场景类型对应的目标虚拟场景；
将所述器官模型加载到所述目标虚拟场景中。
在一种可能的实现方式中，所述加载模块，用于：
基于场景类型与触觉反馈模型的对应关系，确定所述目标场景类型对应的目标触觉反馈模型；
确定所述器官模型在所述目标虚拟场景中的初始位姿；
基于所述初始位姿和所述目标触觉反馈模型，确定所述虚拟现实终端对应的初始化参数；
向所述虚拟现实终端发送所述初始化参数；
所述确定模块，用于：
将调整后的虚拟位姿和所述目标属性信息输入所述目标触觉反馈模型，确定所述器官模型对应的阻力信息。
在一种可能的实现方式中，所述加载模块，用于：
基于所述器官参数和游戏引擎Unity或者所述器官参数和虚幻引擎UE4，建立所述目标器官对应的器官模型。
在一种可能的实现方式中，所述目标器官为手部，所述虚拟现实终端包括虚拟现实头盔和触觉手套，所述虚拟现实头盔包括头盔主体和多个摄像头，所述触觉手套包括手套主体和多个触觉传感器，所述实际位姿信息包括每个所述摄像头发送的所述手部的图像数据和每个所述触觉传感器发送的所述手部的传感器数据；
所述调整模块，用于：
基于所述手部的图像数据和所述手部的传感器数据，调整目标虚拟场景中所述手部的手部模型的虚拟位姿。
第四方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以使计算机设备实现如第一方面及其可能的实现方式中任一项所述的触觉反馈的方法。
第五方面，提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如第一方面及其可能的实现方式中任一项所述的触觉反馈的方法所执行的操作。
本公开实施例提供的技术方案带来的有益效果是：
本公开实施例中提到的方案，用户在使用虚拟现实终端时，虚拟现实主机可以根据接收自虚拟现实终端发送的目标器官的实际位姿信息，确定目标器官的器官模型对应的阻力信息，而虚拟现实终端则可以根据接收自虚拟现实主机的阻力参数向目标器官施加阻力。采用该方法，可以使处于虚拟世界中的用户产生真实的触觉感受，有利于增强用户对虚拟现实终端的使用。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种虚拟现实主机的结构示意图；
图2是本公开实施例提供的一种触觉反馈的方法的流程图；
图3是本公开实施例提供的一种触觉反馈装置的结构示意图；
图4是本公开实施例提供的一种计算机设备的结构示意图。
具体实施方式
本公开的实施方式部分使用的术语仅用于对本公开的实施例进行解释，而非旨在限定本公开。除非另作定义，本公开的实施方式使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同，并不排除其他元件或者物件。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则所述相对位置关系也可能相应地改变。“多个”指两个或两个以上，除非另有明确的限定。
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
VR技术，在今天的生活和娱乐中给人们带来了极其真实的沉浸感体验。相关技术中，VR技术多应用于VR头盔和VR眼镜，VR头盔和VR眼镜一般只在视觉和听觉这两个方面具有较真实的再现性，也即，只在视觉和听觉两个方面使处于虚拟世界中的用户产生身临其境的感受。然而，VR头盔和VR眼镜缺乏了触觉方面的再现性，使得处于虚拟世界中的用户无法体验到真实的触觉感受，导致体验上的欠缺和不足。本公开实施例提供了一种触觉反馈方法，能够使用户在虚拟世界中获得真实的触觉感受，有利于增强用户体验。
本公开实施例提供的方法应用于虚拟现实系统(又称VR系统)中，虚拟现实系统包括虚拟现实主机(即VR主机)和虚拟现实终端(即VR终端)。虚拟现实系统可以是虚拟现实主机和虚拟现实终端一体化的虚拟现实一体机。可选地，虚拟现实系统中，虚拟现实主机和虚拟现实终端是相互独立的设备，并且虚拟现实主机和虚拟现实终端之间建立有通信连接，虚拟现实主机与虚拟现实终端之间可以是有线通信也可以是无线通信，此处不进行任何限定。
对于虚拟现实主机
图1是本公开实施例提供的一种虚拟现实主机的结构示意图。作为示例，虚拟现实主机可以是服务器，从硬件组成来看，虚拟现实主机可以包括处理器110、存储器120和通信部件130。
处理器110可以是CPU(Central Processing Unit，中央处理器)，也可以是SoC(System on Chip，系统级芯片)等。处理器110可以用于确定与边缘虚拟现实主机建立有通信连接的第一终端的第一设备类型，用于接收虚拟现实终端发送的用户的目标器官的实际位姿信息，用于调整目标虚拟场景中目标器官的器官模型的虚拟位姿，用于确定器官模型对应的阻力信息，等等。
存储器120可以是各种易失性存储器或非易失性存储器，如SSD(Solid StateDisk，固态硬盘)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)内存等。存储器120可以用于存储触觉反馈过程中的预存数据、中间数据和结果数据。例如，目标器官的实际位姿信息，目标器官的器官模型的虚拟位姿，器官模型对应的阻力信息，等等。
通信部件130可以是有线网络连接器、WiFi(Wireless Fidelity，无线保真)模块、蓝牙模块、蜂巢网通信模块等。通信部件130可以用于与其他设备进行数据传输，其他设备可以是其他虚拟现实主机、也可以是虚拟现实终端等。
可选地，虚拟现实主机除上述处理器110、存储器120和通信部件130之外，还可以包括显示部件140，显示部件140可以是与虚拟现实主机一体的显示面板，也可以是与虚拟现实主机分离的建立有通信连接的显示设备。显示部件140可以是TN(Twisted Nematic，扭曲向列型)面板，也可以是VA(Vertical Alignment，垂直配向型)面板，还可以是IPS(In-Plane Switching，平面转换型)面板，等等。显示部件140可以用于显示用户使用虚拟显示终端过程中目标虚拟场景，可以用于显示目标场景中与器官模型接触的目标虚拟对象，等等。
对于虚拟现实终端
虚拟现实终端可以包括虚拟现实头盔和虚拟现实手套。虚拟现实头盔和虚拟现实手套中分别具有通信模块，从而，使虚拟现实头盔和虚拟现实手套分别与虚拟现实主机建立通信连接。
虚拟现实头盔可以包括头盔主体和多个摄像头，本公开实施例中提到的虚拟现实头盔与相关技术中的虚拟现实头盔相同或相似，因此，此处不对虚拟现实头盔进行赘述。
触觉手套可以包括手套主体和多个触觉传感器。手套主体可以包裹用户的手部，甚至包裹用户的胳膊等部位。多个触觉传感器可以分布在但不限于手部的各个关节、手指的指肚和手部的穴位上，对于触觉传感器的分布位置，此处不进行任何限定。
可选地，虚拟现实终端还可以包括虚拟现实眼镜、虚拟现实外套和虚拟现实鞋套等设备。对于虚拟现实终端，此处不进行任何限定。
本公开实施例提供的一种触觉反馈的方法，应用于虚拟现实系统中的虚拟现实主机。下面，以目标器官为用户的手部为例，也即，以使用户的手部获得良好的触觉为例，对本公开实施例提供的触觉反馈的方法进行说明。当目标器官为用户手部之外的其他器官(如脚、腿或后背等)时，触觉反馈的方法与目标器官为手部时的方法相同或相似，便不再赘述。
图2是本公开实施例提供的一种触觉反馈的方法的流程图，如图2所示，该触觉反馈的方法可以包括如下处理步骤。
S201、接收虚拟现实终端发送的用户的目标器官的器官参数。
在使用时，用户可以先使虚拟现实终端和虚拟现实主机均处于开机状态，然后，用户穿戴上述虚拟现实终端。用户完成穿戴后，虚拟现实终端可以获取用户的手部的手部参数(即目标器官的器官参数)，并将用户的手部参数发送给虚拟现实主机。
在实施中，作为示例，触觉手套上的触觉传感器获取的用户的手部的手部参数可以包括但不限于每个手指的长度、每个手指的直径、每个关节的位置、每个手指的指肚的位置以及指肚凸起的尺寸等。触觉手套将上述手部参数发送给虚拟现实主机。
虚拟现实主机接收到触觉手套发送的用户的手指的手部参数后，虚拟现实主机中的Unity(游戏引擎)或者UE4(Unreal Engine 4，虚幻引擎4)根据上述手部参数可以建立用户的手部对应的手部模型。
用户穿戴上述虚拟现实终端后，可以进入虚拟场景选择界面，虚拟场景选择界面可以是由虚拟现实终端中的虚拟现实头盔向用户显示的虚拟界面。虚拟界面中可以包括多个场景类型，用户可以通过指定的物理按键在虚拟界面中选择其中一个场景类型作为目标场景类型。
可选地，用户的手指可以与上述虚拟界面中的光标对应，也即，光标会跟着手指的移动而移动。此种情况下，用户可以通过移动手指，将光标移动到虚拟界面中的某一场景类型处，将该场景类型作为目标场景类型。
S202、将器官模型加载到目标虚拟场景中。
用户选择目标场景类型后，可以通过虚拟现实终端向虚拟现实主机发送携带有目标场景类型的场景选择请求。虚拟现实主机中预先存储了场景类型与虚拟场景的对应关系，根据上述对应关系和接收到的目标场景类型，虚拟现实主机可以确定与目标场景类型对应的目标虚拟场景。然后，虚拟现实主机可以将用户的手部对应的手部模型加载到目标虚拟场景中。
虚拟现实主机中可以预先建立有多个触觉反馈模型，并存储有触觉反馈模型与场景类型的对应关系，将手部模型(即器官模型)加载到目标虚拟场景的过程可以如下：
首先，虚拟现实主机根据接收到的目标场景类型，在场景类型与触觉反馈模型的对应关系中进行查找，从而，确定目标场景类型对应的目标触觉反馈模型。其中，触觉反馈模型是开发人员建立的机器学习模型，该机器学习模型可以包括但不限于碰撞检测算法和共空间模式算法等。
同时，虚拟现实主机可以将手部模型添加到目标虚拟场景中的指定位置，也即，将确定器官模型在目标虚拟场景中的初始位姿，以便于更好地使用户沉浸在目标虚拟场景中。
然后，虚拟现实主机可以根据目标触觉反馈模型和手部模型的初始位姿，计算虚拟现实终端对应的初始化参数，具体的，虚拟现实主机可以先确定手部模型在目标虚拟场景中的受力情况，进一步根据手部模型的受力情况确定每个触觉传感器对用户的手部施加的阻力信息(阻力大小和阻力方向)。例如，如果目标虚拟场景是大海中，则可以确定手部模型被海水包裹时的受力情况；再例如，如果目标场景是用户穿着宇航服在太空中，则可以确定手部模型被宇航服包裹时的受力情况，等等。
最后，虚拟现实主机向虚拟现实终端发送初始化参数。在实施中，作为示例，虚拟现实主机向触觉手套的每个触觉传感器发送与之对应的阻力信息，通过每个触觉传感器的阻力信息控制该触觉传感器向用户的手部施加外力，以使用户在初始时刻便可以获得与目标虚拟场景中相同的触觉体验。同时，虚拟现实主机可以向虚拟现实头盔发送目标虚拟场景的图像信息和声音信息，从而，使用户能够在初始时刻便可以在视觉、听觉和触觉上身临其境。
S203、接收虚拟现实终端发送的用户的目标器官的实际位姿信息。
用户在目标虚拟场景中时，虚拟现实终端可以按周期获取用户的手部的实际位姿信息，并向虚拟现实主机发送用户的手部的实际位姿信息。手部的实际位姿信息用于表征或确定手部在现实空间中的实际位姿。其中，实际位姿信息可以包括虚拟现实头盔中每个摄像头发送的手部的图像数据和触觉手套中每个触觉传感器发送的手部的传感器数据。虚拟现实主机则接收虚拟现实终端发送的用户的目标器官的实际位姿信息，以便进行后续处理。
在一些示例中，虚拟现实主机处理接收虚拟现实终端发送的上述目标器官的实际位姿信息外，还可以获取用户的目标器官的主动力信息。作为示例，虚拟现实终端除了可以获取用户的手部的实际位姿信息，还可以通过触觉手套获取用户的手部的主动力信息。所谓主动力信息，即为用户手部主动施加的力。由于力的作用是相互的，通常，在现实空间中，用户手部对某一物体施加不同力时，用户的手部的触觉感受是不同的。因此，触觉手套可以将检测得到的用户手部的主动力信息发送给虚拟现实主机，从而有利于提高使用虚拟现实终端的用户的触觉感受。
S204、基于实际位姿信息，调整目标虚拟场景中目标器官的器官模型的虚拟位姿。
在实施中，虚拟现实主机可以根据实际位姿信息确定在用户的手部在现实空间中的实际位姿。作为示例，虚拟现实主机可以根据上述触觉手套中每个触觉传感器检测得到的手部的传感器数据、以及虚拟现实头盔中每个摄像头拍摄的手部的图像数据，确定用户的手部的实际位姿，如手部当前所在的高度、手指当前的弯曲程度、手心当前的朝向等。进一步的，虚拟现实主机可以根据用户的手部的实际位姿调整目标虚拟场景中用户的手部的手部模型的虚拟位姿，也即，将用户的手部在现实空间中的形态通过手部模型映射到目标虚拟场景中。
S205、获取目标虚拟场景中与器官模型接触的目标虚拟对象对应的目标属性信息。
用户的手部在现实空间中移动时，手部模型在目标虚拟场景中也会发生相应的移动。手部模型在目标场景中移动的过程中，往往会与目标虚拟场景中设置虚拟对象发生接触。此时，虚拟现实主机可以获取目标虚拟场景中与手部模型接触的目标虚拟对象，然后确定目标虚拟对象对应的目标属性信息。其中，目标属性信息可以包括但不限于目标虚拟对象在现实空间中的刚度、强度、摩擦系数、材质、柔软程度、温度、湿度、尺寸和体积等。例如，目标虚拟对象为手机时，虚拟现实主机可以获取手机的结构尺寸、外形、手机各部分的材质、强度、刚度等属性信息，再例如，目标虚拟对象为狗时，虚拟现实主机可以获取狗的外形、毛发的摩擦系数、毛发的蓬松程度等属性信息，等等。
S206、基于调整后的虚拟位姿和目标属性信息，确定器官模型对应的阻力信息。
其中，阻力信息用于触发虚拟现实终端向用户的目标器官施加对应的阻力。
在一些示例中，虚拟现实主机可以将手部模型调整后的虚拟位姿和上述目标虚拟对象的目标属性信息，输入目标触觉反馈模型，从而，可以得到手部模型触碰到目标虚拟对象后，目标虚拟对象向手部模型施加的第一作用力。进一步的，虚拟现实主机可以确定出触觉手套中每个触觉传感器需要向用户的手部施加的第二作用力。其中，手部模型对应的阻力信息可以是上述第一作用力，也可以是上述第二作用力。
在另一些示例中，当虚拟现实终端向虚拟现实主机发送手部的实际位姿信息和主动力信息时，在该步骤中，虚拟现实主机可以将调整后的虚拟位姿、手部的主动力信息和上述目标属性信息，均输入到目标触觉反馈模型中，从而确定出手部模型对应的阻力信息。采用该方案，能够更加准确的确定手部模型的阻力信息，从而为用户带来更加真实的触觉感受。
S207、向虚拟现实终端发送阻力信息。
虚拟现实主机会将确定出的阻力信息发送给虚拟现实终端，虚拟现实终端根据接收到的阻力信息向用户的手部施加阻力，从而，使用户得到真实的触觉感受。
在一些示例中，虚拟现实主机可以将上述第一作用力发送到触觉手套，触觉手套可以将第一作用力进行拆解，确定出每个触觉传感器对应的阻力，然后，由每个触觉传感器向用户的手部施加阻力，以增强用户的触觉体验。
在另一些示例中，虚拟现实主机将上述触觉传感器对应的第二作用力发送到触觉手套的每个触觉传感器，从而，使每个触觉传感器向用户的手部施加作用力，以增强用户的触觉体验。
本公开实施例中提到的方案，用户在使用虚拟现实终端时，虚拟现实主机可以根据接收自虚拟现实终端发送的目标器官的实际位姿信息，确定目标器官的器官模型对应的阻力信息，而虚拟现实终端则可以根据接收自虚拟现实主机的阻力参数向目标器官施加阻力。采用该方法，可以使处于虚拟世界中的用户产生真实的触觉感受，有利于增强用户对虚拟现实终端的使用。
基于相同的技术构思，本公开实施例还提供了一种虚拟现实系统，所述虚拟现实系统包括虚拟现实主机和虚拟现实终端，对于虚拟现实主机的硬件结构、以及虚拟现实终端的硬件结构如上文所述，此处便不再赘述。
所述虚拟现实终端，用于向所述虚拟现实主机发送用户的目标器官的实际位姿信息；
所述虚拟现实主机，用于基于接收自所述虚拟现实终端发送的所述实际位姿信息，调整目标虚拟场景中所述目标器官的器官模型的虚拟位姿；
所述虚拟现实主机，用于获取所述目标虚拟场景中与所述器官模型接触的目标虚拟对象对应的目标属性信息；
所述虚拟现实主机，用于基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息；
所述虚拟现实主机，用于向所述虚拟现实终端发送所述阻力信息；
所述虚拟现实终端，用于基于所述虚拟现实主义发送的所述阻力参数向所述用户的所述目标器官施加对应的阻力。
本公开实施例中提到的方案，用户在使用虚拟现实终端时，虚拟现实主机可以根据接收自虚拟现实终端发送的目标器官的实际位姿信息，确定目标器官的器官模型对应的阻力信息，而虚拟现实终端则可以根据接收自虚拟现实主机的阻力参数向目标器官施加阻力。采用该方法，可以使处于虚拟世界中的用户产生真实的触觉感受，有利于增强用户对虚拟现实终端的使用。
基于相同的技术构思，本公开实施例还提供了一种触觉反馈装置，该触觉反馈装置可以是上文中提到的虚拟现实主机。图3是本公开实施例提供的一种触觉反馈装置的结构示意图，如图3所示，该触觉反馈装置包括接收模块310、调整模块320、获取模块330、确定模块340和发送模块350。
接收模块310，用于接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息；
调整模块320，用于基于所述实际位姿信息，调整目标虚拟场景中所述目标器官的器官模型的虚拟位姿；
获取模块330，用于获取所述目标虚拟场景中与所述器官模型接触的目标虚拟对象对应的目标属性信息；
确定模块340，用于基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息，其中，所述阻力信息用于触发所述虚拟现实终端向所述用户的所述目标器官施加对应的阻力；
发送模块350，用于向所述虚拟现实终端发送所述阻力信息。
在一种可能的实现方式中，所述接收模块310，用于：
接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息和主动力信息；
所述确定模块340，用于：
基于调整后的虚拟位姿、所述主动力信息和所述目标属性信息，确定所述器官模型对应的阻力信息。
在一种可能的实现方式中，如图3所示，所述装置还包括加载模块360，所述加载模块360，用于：
接收所述虚拟现实终端发送的用户的目标器官的器官参数；
基于所述器官参数建立所述目标器官对应的器官模型；
接收虚拟现实终端发送的携带有目标场景类型的场景选择请求，确定所述目标场景类型对应的目标虚拟场景；
将所述器官模型加载到所述目标虚拟场景中。
在一种可能的实现方式中，所述加载模块360，用于：
基于场景类型与触觉反馈模型的对应关系，确定所述目标场景类型对应的目标触觉反馈模型；
确定所述器官模型在所述目标虚拟场景中的初始位姿；
基于所述初始位姿和所述目标触觉反馈模型，确定所述虚拟现实终端对应的初始化参数；
向所述虚拟现实终端发送所述初始化参数；
所述确定模块340，用于：
将调整后的虚拟位姿和所述目标属性信息输入所述目标触觉反馈模型，确定所述器官模型对应的阻力信息。
在一种可能的实现方式中，所述加载模块360，用于：
基于所述器官参数和游戏引擎Unity或者所述器官参数和虚幻引擎UE4，建立所述目标器官对应的器官模型。
在一种可能的实现方式中，所述目标器官为手部，所述虚拟现实终端包括虚拟现实头盔和触觉手套，所述虚拟现实头盔包括头盔主体和多个摄像头，所述触觉手套包括手套主体和多个触觉传感器，所述实际位姿信息包括每个所述摄像头发送的所述手部的图像数据和每个所述触觉传感器发送的所述手部的传感器数据；
所述调整模块320，用于：
基于所述手部的图像数据和所述手部的传感器数据，调整目标虚拟场景中所述手部的手部模型的虚拟位姿。
本公开实施例中提到的方案，用户在使用虚拟现实终端时，虚拟现实主机可以根据接收自虚拟现实终端发送的目标器官的实际位姿信息，确定目标器官的器官模型对应的阻力信息，而虚拟现实终端则可以根据接收自虚拟现实主机的阻力参数向目标器官施加阻力。采用该方法，可以使处于虚拟世界中的用户产生真实的触觉感受，有利于增强用户对虚拟现实终端的使用。
图4是本公开实施例提供的一种计算机设备的结构示意图，该计算机设备400可以是上述实施例中的虚拟现实主机。该计算机设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上CPU401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现上述各个方法实施例提供的触觉反馈的方法。当然，该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中物联网数据处理的方法。该计算机可读存储介质可以是非暂态的。例如，所述计算机可读存储介质可以是ROM(Read-OnlyMemory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种触觉反馈的方法，其特征在于，所述方法应用于虚拟现实系统中的虚拟现实主机，所述虚拟现实系统还包括虚拟现实终端，所述方法包括：
接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息；
基于所述实际位姿信息，调整目标虚拟场景中所述目标器官的器官模型的虚拟位姿；
获取所述目标虚拟场景中与所述器官模型接触的目标虚拟对象对应的目标属性信息；
基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息，其中，所述阻力信息用于触发所述虚拟现实终端向所述用户的所述目标器官施加对应的阻力；
向所述虚拟现实终端发送所述阻力信息。
2.根据权利要求1所述的方法，其特征在于，所述接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息，包括：
接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息和主动力信息；
所述基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息，包括：
基于调整后的虚拟位姿、所述主动力信息和所述目标属性信息，确定所述器官模型对应的阻力信息。
3.根据权利要求1所述的方法，其特征在于，所述接收所述虚拟现实终端发送的用户的目标器官的实际位姿之前，还包括：
接收所述虚拟现实终端发送的用户的目标器官的器官参数；
基于所述器官参数建立所述目标器官对应的器官模型；
接收虚拟现实终端发送的携带有目标场景类型的场景选择请求，确定所述目标场景类型对应的目标虚拟场景；
将所述器官模型加载到所述目标虚拟场景中。
4.根据权利要求3所述的方法，其特征在于，所述将所述器官模型加载到所述目标虚拟场景中，包括：
基于场景类型与触觉反馈模型的对应关系，确定所述目标场景类型对应的目标触觉反馈模型；
确定所述器官模型在所述目标虚拟场景中的初始位姿；
基于所述初始位姿和所述目标触觉反馈模型，确定所述虚拟现实终端对应的初始化参数；
向所述虚拟现实终端发送所述初始化参数；
所述基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息，包括：
将调整后的虚拟位姿和所述目标属性信息输入所述目标触觉反馈模型，确定所述器官模型对应的阻力信息。
5.根据权利要求3所述的方法，其特征在于，所述基于所述器官参数建立所述目标器官对应的器官模型，包括：
基于所述器官参数和游戏引擎Unity或者所述器官参数和虚幻引擎UE4，建立所述目标器官对应的器官模型。
6.根据权利要求1所述的方法，其特征在于，所述目标器官为手部，所述虚拟现实终端包括虚拟现实头盔和触觉手套，所述虚拟现实头盔包括头盔主体和多个摄像头，所述触觉手套包括手套主体和多个触觉传感器，所述实际位姿信息包括每个所述摄像头发送的所述手部的图像数据和每个所述触觉传感器发送的所述手部的传感器数据；
所述基于所述实际位姿信息，调整目标虚拟场景中所述目标器官的器官模型的虚拟位姿，包括：
基于所述手部的图像数据和所述手部的传感器数据，调整目标虚拟场景中所述手部的手部模型的虚拟位姿。
7.一种虚拟现实系统，其特征在于，所述虚拟现实系统包括虚拟现实主机和虚拟现实终端；
所述虚拟现实终端，用于向所述虚拟现实主机发送用户的目标器官的实际位姿信息；
所述虚拟现实主机，用于基于接收自所述虚拟现实终端发送的所述实际位姿信息，调整目标虚拟场景中所述目标器官的器官模型的虚拟位姿；
所述虚拟现实主机，用于获取所述目标虚拟场景中与所述器官模型接触的目标虚拟对象对应的目标属性信息；
所述虚拟现实主机，用于基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息；
所述虚拟现实主机，用于向所述虚拟现实终端发送所述阻力信息；
所述虚拟现实终端，用于基于所述虚拟现实主义发送的所述阻力参数向所述用户的所述目标器官施加对应的阻力。
8.一种触觉反馈装置，其特征在于，所述装置包括：
接收模块，用于接收所述虚拟现实终端发送的用户的目标器官的实际位姿信息；
调整模块，用于基于所述实际位姿信息，调整目标虚拟场景中所述目标器官的器官模型的虚拟位姿；
获取模块，用于获取所述目标虚拟场景中与所述器官模型接触的目标虚拟对象对应的目标属性信息；
确定模块，用于基于调整后的虚拟位姿和所述目标属性信息，确定所述器官模型对应的阻力信息，其中，所述阻力信息用于触发所述虚拟现实终端向所述用户的所述目标器官施加对应的阻力；
发送模块，用于向所述虚拟现实终端发送所述阻力信息。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以使所述计算机设备实现如权利要求1-7任一项所述的触觉反馈的建立方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1-7任一项所述的触觉反馈的方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310185420.0A CN116149483A (zh) | 2023-02-28 | 2023-02-28 | 触觉反馈的方法、系统、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310185420.0A CN116149483A (zh) | 2023-02-28 | 2023-02-28 | 触觉反馈的方法、系统、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116149483A true CN116149483A (zh) | 2023-05-23 |
Family
ID=86358126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310185420.0A Withdrawn CN116149483A (zh) | 2023-02-28 | 2023-02-28 | 触觉反馈的方法、系统、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116149483A (zh) |
-
2023
- 2023-02-28 CN CN202310185420.0A patent/CN116149483A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7206388B2 (ja) | 仮想キャラクターの顔の表示方法、装置、コンピュータデバイス、およびコンピュータプログラム | |
| US10692538B2 (en) | Method and program for generating responsive image | |
| JP7299414B2 (ja) | 画像処理方法、装置、電子機器及びコンピュータプログラム | |
| CN107469354B (zh) | 补偿声音信息的视觉方法及装置、存储介质、电子设备 | |
| CN106873767B (zh) | 一种虚拟现实应用的运行控制方法和装置 | |
| US8169401B2 (en) | Haptic interface | |
| JP2023549747A (ja) | 触覚オブジェクトの表現フォーマット | |
| US8779908B2 (en) | System and method for social dancing | |
| CN109426343B (zh) | 基于虚拟现实的协作训练方法及系统 | |
| KR20180013892A (ko) | 가상 현실을 위한 반응성 애니메이션 | |
| CN110780738B (zh) | 虚拟现实拟真行走方法、装置、设备及可读存储介质 | |
| CN105353871A (zh) | 一种虚拟现实场景中目标物体的控制方法及装置 | |
| CN113296605A (zh) | 力反馈方法、力反馈装置及电子设备 | |
| Kang | Effect of interaction based on augmented context in immersive virtual reality environment | |
| US9000899B2 (en) | Body-worn device for dance simulation | |
| CN113315963A (zh) | 扩展现实显示方法、装置、系统和存储介质 | |
| CN116149483A (zh) | 触觉反馈的方法、系统、装置、设备和存储介质 | |
| US20220111290A1 (en) | Haptic engine for spatial computing | |
| CN113160968B (zh) | 基于移动互联网的个性化诊断系统与应用方法 | |
| CN115439305A (zh) | 图像生成方法、装置、设备和介质 | |
| WO2024131842A1 (zh) | 虚拟角色的控制方法、装置、设备、介质及其程序产品 | |
| CN111103973A (zh) | 模型处理方法、装置、计算机设备和存储介质 | |
| KR20230101498A (ko) | 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치 | |
| Nguyen et al. | Augmented immersion: video cutout and gesture-guided embedding for gaming applications | |
| CN106484114B (zh) | 基于虚拟现实的交互控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230523 |