CN112114663A - 适用于视触觉融合反馈的虚拟现实软件框架的实现方法 - Google Patents

Abstract

本发明提供一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，所述软件框架包括视觉组件、触觉组件、硬件组件和核心管理组件，通过几个组件的协调工作，用户可以根据虚拟物体与虚拟化身的接触类型选择一种或者多种不同的工具库，从而满足单点接触、多点接触、滑动接触、柔性体接触等不同接触类型的交互需求，在满足视觉呈现需求的同时，可以真实地为用户提供触觉反馈，并且可以为用户提供沉浸式的视‑触觉融合反馈。

Description

适用于视触觉融合反馈的虚拟现实软件框架的实现方法

技术领域

本发明属于计算机应用技术领域，具体而言，涉及一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法。

背景技术

对于简单的虚拟交互场景，例如虚拟物体为具有规则几何外形的刚性物体，现有的虚拟现实软件框架，例如Unity 3D引擎，可以真实地再现用户虚拟化身和虚拟物体交互的视觉效果，为用户提供实时动态的视觉交互体验。但在模拟用户与虚拟场景的视触觉融合反馈方面，这些引擎往往难以满足用户和虚拟物体之间的沉浸式视触觉融合反馈的交互需求。

现有的虚拟现实软件框架存在以下问题：当虚拟化身与虚拟物体接触时，两者的位置间距小于设定阈值的情况下，现有的VR软件框架会简单地将虚拟化身与虚拟物体绑定在一起，导致无法实现弹性体交互、相对滑动等操作任务的逼真模拟；现有的VR软件框架缺乏对触觉反馈的友好支持，主要体现在缺乏对多种类型触觉(称为多元触觉)交互的支持，难以模拟细微的力触觉变化体验，并且触觉反馈的更新频率远低于1kHz，显著削弱了虚拟交互的沉浸感；不同的VR应用对VR软件框架的要求不同，这需要VR软件框架能够提供较强的可扩展能力，并且近些年VR硬件设备，例如VR眼镜/头盔，振动手柄，力反馈手套等发展迅速，VR软件框架对不同硬件设备的支持能力有待提高。

现有的虚拟现实软件框架存在的技术问题极大的增加了视触觉融合反馈的虚拟现实应用系统的开发难度和开发成本，限制了视触觉融合交互在虚拟现实与增强现实领域中的应用与推广。

发明内容

本发明解决的技术问题是提供一种适用于沉浸式视触觉融合反馈的可扩展的虚拟现实软件框架，以促进虚拟现实与增强现实技术的应用与发展。

为解决上述问题，本发明提供一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，所述软件框架包括视觉组件、触觉组件、硬件组件和核心管理组件，该实现方法具体如下：

利用硬件组件将不同类型的硬件设备接入系统，利用视觉组件构建虚拟现实应用场景；

实时获取用户的交互动作，将用户的交互动作映射到虚拟场景中，触觉组件执行碰撞检测，获取碰撞信息；

触觉组件根据所述碰撞信息，判断用户虚拟化身与虚拟物体之间的接触类型：如果是单点接触，直接转到下一步骤；如果是多点接触，根据需求先执行接触约减，得到能够表征用户虚拟化身与虚拟物体之间接触特征的有效接触对后，再转到下一步骤；

触觉组件根据所述接触类型，以及用户虚拟化身与虚拟物体物理属性的不同采用不同的接触处理方案执行碰撞响应计算。

根据碰撞响应计算的结果，视觉组件对虚拟场景的图形显示进行更新，与此同时在核心管理组件的协调下，力反馈设备通过硬件组件获取需要的力反馈信息并将其提供给用户，使用户获得视-触觉融合反馈的沉浸式体验。

进一步地，所述硬件组件包括接入和调度不同硬件设备所需的驱动程序，并将驱动程序封装为动态库，所述核心管理组件通过调用动态库动态加载硬件设备，通过统一的IO接口实现核心管理组件与硬件设备之间的读写操作。

进一步地，根据物理属性的不同将用户虚拟化身与虚拟物体的交互分为四类：刚性工具与刚性物体的交互、刚性工具与柔性物体的交互、柔性工具与刚性物体的交互以及柔性工具与柔性物体的交互。

进一步地，针对用户虚拟化身与虚拟物体物理属性的不同，采用以下方法来执行碰撞响应的计算：当用户虚拟化身与虚拟物体均为刚性体时，建立两个对象之间的非穿透约束；当用户虚拟化身为刚性体、虚拟物体为柔性体时，在建立两个对象之间的非穿透约束时需要处理柔性虚拟物体的表面形变；当用户虚拟化身为柔性体、虚拟物体为刚性体时，在建立两个对象之间的非穿透约束时需要处理柔性虚拟化身的位移变化；而当用户虚拟化身与虚拟物体均为柔性体时，在建立两个对象之间的非穿透约束时需要处理柔性虚拟化身的位移变化、两个柔性体的表面形变。

进一步地，所述触觉组件包括力触觉合成算法。

进一步地，所述力触觉合成算法采用混合模型，能够准确模拟具有规则、平滑几何特征的物体，还能够模拟具有复杂几何外形的物体。

进一步地，所述力触觉合成算法从三个方面提高柔性对象的力触觉交互仿真的处理速度：接触约束的约减、有限元模拟的降维处理以及约束优化求解的并行处理。

进一步地，所述碰撞响应计算能得到用户虚拟化身与虚拟物体之间的接触力、用户虚拟化身的位姿配置以及虚拟物体的动态响应效果。

本发明的有益效果：通过使用该VR软件框架，用户可以根据虚拟物体与虚拟化身的接触类型选择一种或者多种不同的工具库(即接触处理方法)，从而满足单点接触、多点接触、滑动接触、柔性体接触等不同接触类型的交互需求，在满足视觉呈现需求的同时，可以真实地为用户提供触觉反馈，并且可以为用户提供沉浸式的视-触觉融合反馈。此外，该VR交互系统具有统一的硬件框架接口，用户可以根据搭建的交互场景的特点，便捷接入所需的硬件设备并自主开发满足特殊需求的算法，极大地降低了VR应用系统开发的成本和难度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为实施方式中的虚拟现实软件框架的组成示意图；

图2为实施方式中的虚拟现实软件框架的实现方法的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

随着虚拟现实硬件设备的应运而生，迫切需要能够支持不同交互应用并允许不同交互设备便捷接入的VR软件框架，具体体现在VR软件框架需要支持逼真的视觉效果、多元触觉反馈以及沉浸式的视触觉融合交互；逼真的视觉效果是指能够呈现具有真实感的虚拟交互场景，多元触觉反馈旨在为用户提供柔软度、摩擦、纹理、振动、温度等多种类型的触觉体验，而沉浸式的视触觉融合交互需要实现视觉反馈与触觉反馈在时间与空间上的同步，以提供用户身临其境的交互体验。

针对现有VR软件框架难以满足用户和虚拟物体之间的沉浸式视触觉交互需求的现状，本发明提出一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，所述软件框架包括视觉组件、触觉组件、硬件组件和核心管理组件，其中，视觉组件用于构建虚拟场景，并根据用户与虚拟物体的交互情况对虚拟场景的图形显示进行更新；触觉组件用于执行用户与虚拟场景交互过程中的力触觉渲染流程，包括碰撞检测、碰撞响应、力触觉信息计算；硬件组件用于实现不同类型的硬件设备的便捷接入，硬件设备包括VR头盔、数据采集设备、力触觉反馈设备等；核心管理组件用于协调控制视觉组件、触觉组件及硬件组件之间的信息传递、同步与共享。

该实现方法具体如下：

(1)利用硬件组件将不同类型的硬件设备接入系统，利用视觉组件构建虚拟现实应用场景。

现有的VR软件框架不能友好的支持多种类型的硬件接口，比如H3D仅提供Sensable设备的连接接口，SOFA仅提供Haption设备的连接接口，而本发明的硬件组件包括接入和调度不同硬件设备所需的驱动程序，并将驱动程序封装为动态库，核心管理组件通过调用动态库动态加载硬件设备，通过统一的IO接口实现核心管理组件与硬件设备之间的读写操作。

(2)实时获取用户的交互动作，例如用户的位置、姿势等信息，将用户的交互动作映射到虚拟场景中，触觉组件执行碰撞检测，获取碰撞信息。

(3)触觉组件根据步骤(2)中所得碰撞信息，判断用户虚拟化身与虚拟物体之间的接触类型：

①如果是单点接触，直接转到步骤(4)；

②如果是多点接触，根据需求先执行接触约减，得到能够表征用户虚拟化身与虚拟物体之间接触特征的有效接触对后，再转到步骤(4)。

用户虚拟化身与被操作虚拟对象之间的接触状态的变化将直接导致接触力的改变，使得用户感知的反馈力产生变化，尤其对于多点多区域、接触点滑动等较为复杂的接触状态，用户虚拟化身与被操作虚拟对象之间的交互力合成更为困难，因此对于多点、多区域接触类型的接触处理，例如虚拟手化身触摸/操作虚拟物体，首先通过接触降维减少冗余接触，然后采用接触聚类方法进一步减少需要处理的接触数量，进行大规模约束优化问题的求解，从而建立多点接触的有效约束，即能够表征用户虚拟化身与虚拟物体之间接触特征的有效接触对，以提高接触处理的效率。

(4)触觉组件在步骤(3)碰撞检测结果的基础上根据用户虚拟化身与虚拟物体物理属性的不同采用不同的接触处理方案执行碰撞响应计算。

根据用户虚拟化身与被操作虚拟对象的物理属性的不同可分为刚性工具与刚性物体的交互、刚性工具与柔性物体的交互、柔性工具与刚性物体的交互以及柔性工具与柔性物体的交互四大类，根据物理属性的不同采用不同的接触处理方案执行碰撞响应计算，碰撞响应计算能得到用户虚拟化身与虚拟物体之间的接触力、用户虚拟化身的位姿配置以及虚拟物体的动态响应效果，虚拟物体的动态响应效果包括变形，位移，断裂等。

现有VR软件框架通常采用正方体、胶囊体等简单包络盒来表征虚拟化身和虚拟物体的轮廓，无法表征虚拟物体和虚拟化身的内部节点结构，例如在虚拟化身抓握虚拟物体过程中，现有VR软件框架采用近似检测的方式判断两者是否发生碰撞，两者发生碰撞后会简单地绑定在一起，这可能会导致虚拟化身与虚拟物体之间产生穿透等现象。同时，由于虚拟物体和虚拟化身均采用简单包络盒形式，无法实现两者相对滑动等精细操作的模拟，并且计算出来的力触觉信息存在较大误差。

现有VR软件框架的计算频率一般仅能达到数十赫兹，难以满足力触觉反馈的1kHz的刷新频率的要求，无法模拟复杂接触状态(多点接触、柔性对象等)下的力触觉交互体验，例如虚拟手化身与被操作物体的接触状态快速改变带来的交互力的细微变化。为了满足复杂交互应用(涉及复杂接触类型)的需求，自主开发力触觉合成算法，并将其封装在触觉组件中以便用户根据需求调用。

力触觉合成算法从用于力触觉计算的虚拟对象模型构建出发，采用的虚拟对象模型一方面需要有利于进行高效的接触处理，另一方面需要能够精确模拟多种虚拟对象，即不仅能够准确模拟具有规则、平滑几何特征的物体，还需要能够刻画具有复杂几何外形(例如具有尖锐几何特征)的物体。本发明中的力触觉合成算法采用混合模型，以层次化球树模型为主导，利用球树模型在执行接触处理步骤时可利用球体各向相同的性质，通过对比两个球体中心之间的距离和它们的半径之和来高效确定碰撞信息，对于具有复杂几何外形的对象的模拟，采用具有细节表征能力的模型，例如使用三角片网格模型来刻画具有尖锐几何特征的区域。

针对虚拟物体(包括用户虚拟化身与被操作虚拟对象)物理属性的不同，采用以下方法来执行碰撞响应的计算：

当用户虚拟化身与虚拟物体均为刚性体时，建立两个对象之间的非穿透约束；

当用户虚拟化身为刚性体、虚拟物体为柔性体时，在建立两个对象之间的非穿透约束时需要处理柔性虚拟物体的表面形变；

当用户虚拟化身为柔性体、虚拟物体为刚性体时，在建立两个对象之间的非穿透约束时需要处理柔性虚拟化身的位移变化；

而当用户虚拟化身与虚拟物体均为柔性体时，在建立两个对象之间的非穿透约束时需要处理柔性虚拟化身的位移变化、两个柔性体的表面形变。

对于涉及柔性交互对象的接触处理，采用有限元模型(不同物理属性的对象赋予不同的物理参数)以逼真模拟虚拟对象之间的交互行为(包括柔性物体的形变及交互力)，但这会显著增加计算量，影响力触觉合成算法的更新频率。

力触觉合成算法的实现中从三个方面提高柔性对象的力触觉交互仿真的处理速度：接触约束的约减、有限元模拟的降维处理以及约束优化求解的并行处理，此外，对于涉及接触点滑动的力触觉合成，通过接触处理获取用户虚拟化身的位移增量，根据位移增量及静摩擦-动摩擦切换模型计算摩擦力。

(5)根据步骤(4)所得碰撞响应计算结果，视觉组件对虚拟场景的图形显示进行更新，与此同时在核心管理组件的协调下，力反馈设备通过硬件组件获取需要的力反馈信息并将其提供给用户，使用户获得视-触觉融合反馈的沉浸式体验。

目前已有一些用于力触觉生成的开发库，例如Geomagic(原Sensable)的OpenHaptics、Force Dimension的CHAI 3D、SenseGraphics的H3D以及INRIA的SOFA等。但现有库的扩展性不强，比如Open Haptics仅支持3DoF力触觉合成，无法满足涉及较高自由度以及复杂变形体的VR交互应用(例如虚拟手交互)。

本发明提出的可扩展VR软件框架在集成现有工具库的基础上自建工具库，并将现有库和自建库的实现进行封装，以便于用户根据应用需求调用。值得说明地是，本发明的可扩展VR软件框架是一个集成的开发框架，基于现有工具库进行构建，但它不依赖于现有的某一种VR工具软件，用户可根据需求对工具库进行修改、更新，以快速、便捷地搭建不同的VR应用系统。

用户在使用本发明的VR软件框架开发交互系统时，不仅可以根据实际触觉交互需求来调用某一种接触处理单元，还可以组合调用多种接触处理单元，以应对涉及多种接触类型的复杂触觉交互应用，例如涉及多点、多区域、高自由度的虚拟手触觉交互应用。此外，本发明的VR软件框架允许用户根据自身实际交互需求进行二次开发，以快速搭建交互场景并通过便捷的接口并实现软硬件的相互连接，满足医疗、商务、娱乐等不同应用领域的交互需求。

因此，本发明的VR软件框架具有丰富的力触觉合成工具库，允许不同硬件设备的便捷接入，并且用户可根据自身实际交互需求在所提供功能的基础上自主开发力触觉合成方法，有助于显著降低用户开发融合沉浸式视-触觉反馈的虚拟现实交互系统的成本与难度。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (8)

1.一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，所述软件框架包括视觉组件、触觉组件、硬件组件和核心管理组件，其特征在于，该实现方法具体如下：

利用硬件组件将不同类型的硬件设备接入系统，利用视觉组件构建虚拟现实应用场景；

实时获取用户的交互动作，将用户的交互动作映射到虚拟场景中，触觉组件执行碰撞检测，获取碰撞信息；

触觉组件根据所述碰撞信息，判断用户虚拟化身与虚拟物体之间的接触类型：如果是单点接触，直接转到下一步骤；如果是多点接触，根据需求先执行接触约减，得到能够表征用户虚拟化身与虚拟物体之间接触特征的有效接触对后，再转到下一步骤；

触觉组件根据所述接触类型，以及用户虚拟化身与虚拟物体物理属性的不同采用不同的接触处理方案执行碰撞响应计算。

根据碰撞响应计算的结果，视觉组件对虚拟场景的图形显示进行更新，与此同时在核心管理组件的协调下，力反馈设备通过硬件组件获取需要的力反馈信息并将其提供给用户，使用户获得视-触觉融合反馈的沉浸式体验。

2.根据权利要求1所述的一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，其特征在于，所述硬件组件包括接入和调度不同硬件设备所需的驱动程序，并将驱动程序封装为动态库，所述核心管理组件通过调用动态库动态加载硬件设备，通过统一的IO接口实现核心管理组件与硬件设备之间的读写操作。

3.根据权利要求1所述的一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，其特征在于，根据物理属性的不同将用户虚拟化身与虚拟物体的交互分为四类：刚性工具与刚性物体的交互、刚性工具与柔性物体的交互、柔性工具与刚性物体的交互以及柔性工具与柔性物体的交互。

4.根据权利要求3所述的一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，其特征在于，针对用户虚拟化身与虚拟物体物理属性的不同，采用以下方法来执行碰撞响应的计算：当用户虚拟化身与虚拟物体均为刚性体时，建立两个对象之间的非穿透约束；当用户虚拟化身为刚性体、虚拟物体为柔性体时，在建立两个对象之间的非穿透约束时需要处理柔性虚拟物体的表面形变；当用户虚拟化身为柔性体、虚拟物体为刚性体时，在建立两个对象之间的非穿透约束时需要处理柔性虚拟化身的位移变化；而当用户虚拟化身与虚拟物体均为柔性体时，在建立两个对象之间的非穿透约束时需要处理柔性虚拟化身的位移变化、两个柔性体的表面形变。

5.根据权利要求1所述的一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，其特征在于，所述触觉组件包括力触觉合成算法。

6.根据权利要求5所述的一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，其特征在于，所述力触觉合成算法采用混合模型，不仅能够准确模拟具有规则、平滑几何特征的物体，还能够模拟具有复杂几何外形的物体。

7.根据权利要求5所述的一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，其特征在于，所述力触觉合成算法从三个方面提高柔性对象的力触觉交互仿真的处理速度：接触约束的约减、有限元模拟的降维处理以及约束优化求解的并行处理。

8.根据权利要求1所述的一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，其特征在于，所述碰撞响应计算能得到用户虚拟化身与虚拟物体之间的接触力、用户虚拟化身的位姿配置以及虚拟物体的动态响应效果。

Images