CN117101118A - 基于交互控制器的交互方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种基于交互控制器的交互方法、装置、交互控制器、计算机设备、存储介质和计算机程序产品。所述方法包括：显示虚拟交互场景，所述虚拟交互场景包括供交互控制器控制的交互元素；响应于所述交互控制器的控制事件，触发基于所述交互元素的交互动作；在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；所述可感知反馈能够由感知主体所感知，且所述可感知反馈的模态与所述感知主体的至少一种感知类别相匹配；其中，所述虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。采用本方法能够提供更丰富的可感知反馈。

Description

基于交互控制器的交互方法、装置和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种基于交互控制器的交互方法、装置、交互控制器、计算机设备、存储介质和计算机程序产品。

背景技术

游戏手柄是一种常见电子游戏机的部件，通过操纵游戏手柄的按钮等可以实现对游戏虚拟角色的控制。为了提高对游戏的体验感，往往会将游戏手柄和振动效果相结合，例如，在用户按压游戏手柄中的按钮时，被按压的按钮会提供预先设定好的反作用力，以反馈相应的振动效果。

然而，传统的游戏手柄的反馈方式单一，难以满足虚拟现实场景中的交互需求。

发明内容

基于此，有必要针对上述技术问题，提供一种反馈方式更丰富的基于交互控制器的交互方法、装置、交互控制器、计算机设备、计算机可读存储介质和计算机程序产品。

一方面，本申请提供了一种基于交互控制器的交互方法。所述方法包括：

显示虚拟交互场景，所述虚拟交互场景包括供交互控制器控制的交互元素；

响应于所述交互控制器的控制事件，触发基于所述交互元素的交互动作；

在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；所述可感知反馈能够由感知主体所感知，且所述可感知反馈的模态与所述感知主体的至少一种感知类别相匹配；

其中，所述虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

另一方面，本申请还提供了一种基于交互控制器的交互装置。所述装置包括：

显示模块，用于显示虚拟交互场景，所述虚拟交互场景包括供交互控制器控制的交互元素；

触发模块，用于响应于所述交互控制器的控制事件，触发基于所述交互元素的交互动作；

反馈模块，用于在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；所述可感知反馈能够由感知主体所感知，且所述可感知反馈的模态与所述感知主体的至少一种感知类别相匹配；

其中，所述虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

在其中一个实施例中，所述交互控制器设置有多种传感器，不同种的传感器用于产生不同模态的可感知反馈；

所述反馈模块，还用于在所述交互动作符合交互反馈条件的情况下，控制所述多种传感器中与所述交互动作匹配的目标传感器工作，使得所述目标传感器产生与所述交互动作匹配的可感知反馈。

在其中一个实施例中，所述反馈模块，还用于在所述交互动作符合交互反馈条件的情况下，当所述交互动作匹配到所述多种传感器中的多种目标传感器时，控制所述多种目标传感器分别工作，使得所述多种目标传感器分别产生与所述交互动作匹配且不同模态的可感知反馈。

在一个实施例中，所述反馈模块，还用于在多个所述交互动作符合交互反馈条件的情况下，当多个所述交互动作匹配到所述交互控制器的一种传感器时，通过控制所述一种传感器中的多个目标传感器分别工作，使得所述目标传感器分别产生与多个所述交互动作匹配的多次同模态的可感知反馈。

在一个实施例中，所述反馈模块，还用于在多个所述交互动作符合交互反馈条件的情况下，当多个所述交互动作匹配到所述交互控制器的一种传感器时，通过控制所述一种传感器中的一个目标传感器工作，使得所述一个目标传感器产生多个所述交互动作匹配的可感知反馈中优先级最高的可感知反馈。

在一个实施例中，所述反馈模块，还用于在多个所述交互动作符合交互反馈条件的情况下，当多个所述交互动作匹配到所述交互控制器的一种传感器时，通过控制所述一种传感器中分布在所述交互控制器的手持部的多个目标传感器分别工作，使得所述多个目标传感器分别产生与多个所述交互动作匹配的同模态的可感知反馈，且至少两个所述目标传感器的可感知反馈呈不同表现形式。

在一个实施例中，所述装置还包括映射模块；所述映射模块，用于在所述多种传感器中的任一种传感器故障时，将发生故障的传感器映射至所述多种传感器中使用率最低的正常工作的传感器；

所述反馈模块，还用于当所述多种传感器中与所述交互动作匹配的目标传感器故障时，控制所述目标传感器所映射的传感器工作，以使得所述交互控制器产生替代可感知反馈；所述替代可感知反馈用于替代与所述交互动作匹配的可感知反馈。

在一个实施例中，所述显示模块，还用于显示所述交互动作的交互结果；所述反馈模块，还用于通过所述交互控制器产生与所述交互结果匹配的可感知反馈；其中，所述交互结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈。

在一个实施例中，所述反馈模块，还用于跟随所述交互动作的进度，通过所述交互控制器，产生与所述交互动作匹配的相同模态下不同表现形式的可感知反馈；所述相同模态下不同表现形式的可感知反馈表征所述交互动作的进度；其中，与所述交互动作匹配的所述可感知反馈的模态，以及与所述交互结果匹配的可感知反馈的模态不同。

在一个实施例中，所述显示模块，还用于响应于所述交互动作结束，显示跟随所述交互动作产生的关联事件的进度；

所述反馈模块，还用于在所述关联事件产生相应的事件结果时，通过所述交互控制器产生与所述事件结果匹配的可感知反馈；其中，所述事件结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈。

在一个实施例中，所述触发模块，还用于响应于所述交互控制器的控制事件，在所述控制事件作用于所述交互元素时，识别针对所述交互元素的交互意图，触发与所述交互意图匹配的交互动作；

所述反馈模块，还用于在所述交互意图符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互意图匹配的可感知反馈。

在一个实施例中，所述反馈模块，还用于在所述交互意图符合交互反馈条件的情况下，按照所述交互意图确定与所述交互意图匹配的至少一种模态的反馈信息；通过所述交互控制器，按照所述至少一种模态的反馈信息，产生与所述交互动作匹配的可感知反馈。

在一个实施例中，所述装置还包括融合模块；所述融合模块，用于当所述反馈信息包括相同模态下不同表现形式的反馈信息时，将所述相同模态下不同表现形式的反馈信息融合，得到融合反馈信息；

所述反馈模块，还用于通过所述交互控制器，按照所述融合反馈信息，产生与所述交互动作匹配的单模态的可感知反馈。

在一个实施例中，所述反馈模块，还用于在存在多模态的所述反馈信息的情况下，通过所述交互控制器，按照不同模态的优先级顺序和多模态的各所述反馈信息，产生与所述交互动作匹配的多模态的可感知反馈。

在一个实施例中，所述反馈模块，还用于在所述虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当所述交互动作符合交互反馈条件时，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；在所述虚拟交互场景当前的剧情进度不允许触发可感知反馈的情况下，当所述交互动作符合交互反馈条件时，不触发与所述交互动作匹配的可感知反馈。

在一个实施例中，所述不同模态取自视感模态、听感模态、触感模态、温感模态、嗅感模态和味感模态构成的模态集合；所述可感知反馈包括视觉反馈、听觉反馈、触觉反馈、温度反馈、气味反馈和舌感味道反馈中的至少一种。

另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

显示虚拟交互场景，所述虚拟交互场景包括供交互控制器控制的交互元素；

响应于所述交互控制器的控制事件，触发基于所述交互元素的交互动作；

在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；所述可感知反馈能够由感知主体所感知，且所述可感知反馈的模态与所述感知主体的至少一种感知类别相匹配；

其中，所述虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

显示虚拟交互场景，所述虚拟交互场景包括供交互控制器控制的交互元素；

响应于所述交互控制器的控制事件，触发基于所述交互元素的交互动作；

在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；所述可感知反馈能够由感知主体所感知，且所述可感知反馈的模态与所述感知主体的至少一种感知类别相匹配；

其中，所述虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

显示虚拟交互场景，所述虚拟交互场景包括供交互控制器控制的交互元素；

响应于所述交互控制器的控制事件，触发基于所述交互元素的交互动作；

在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；所述可感知反馈能够由感知主体所感知，且所述可感知反馈的模态与所述感知主体的至少一种感知类别相匹配；

其中，所述虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

上述基于交互控制器的交互方法、装置、计算机设备、存储介质和计算机程序产品，通过显示虚拟交互场景，该虚拟交互场景包括供交互控制器控制的交互元素，使得用户可以通过交互控制器与虚拟交互场景的交互元素进行交互。响应于交互控制器的控制事件，触发基于交互元素的交互动作，使得用户可以通过对交互控制器的控制实现对交互元素的一系列操作。在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈，可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配，使得用户能够感知自身操作所产生的反馈效果。虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈，使得不同交互动作所产生的反馈存在不同，反馈方式更丰富。

另一方面，本申请还提供了一种交互控制器，所述交互控制器用于响应于控制事件，触发在虚拟交互场景中发生基于所述交互元素的交互动作；在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；

其中，所述可感知反馈能够由感知主体所感知，且所述可感知反馈的模态与所述感知主体的至少一种感知类别相匹配；所述交互控制器在所述虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

上述交互控制器，用于响应于控制事件，触发在虚拟交互场景中基于交互元素的交互动作，以通过交互控制器与虚拟交互场景的交互元素进行交互。响应于交互控制器的控制事件，触发基于交互元素的交互动作，使得用户可以通过对交互控制器的控制实现对交互元素的一系列操作。在交互动作符合交互反馈条件的情况下，交互控制器产生与交互动作匹配的可感知反馈，可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配，使得用户能够通过交互控制器所产生的反馈感知自身操作所产生的反馈效果。交互控制器在虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈，使得不同交互动作所产生的反馈存在不同，并且交互控制器能够提供更丰富的反馈方式。

附图说明

图1为一个实施例中基于交互控制器的交互方法的应用环境图；

图2为一个实施例中基于交互控制器的交互方法的流程示意图；

图3为一个实施例中虚拟交互场景的界面示意图；

图4为另一个实施例中虚拟交互场景的界面示意图；

图5为其中一个实施例中基于交互控制器的交互方法的流程示意图；

图6为一个实施例中基于交互控制器的交互方法的应用场景的流程示意图；

图7为一个实施例中超声波传感器的示意图；

图8为一个实施例中温度传感器的示意图；

图9为一个实施例中基于交互控制器的交互方法的后台处理流程示意图；

图10为一个实施例中基于交互控制器的交互方法的流程示意图；

图11为一个实施例中基于交互控制器的交互装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的基于交互控制器的交互方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与交互控制器104进行通信。数据存储系统可以存储终端102需要处理的数据。数据存储系统可以集成在服务器上，也可以放在云上。终端102显示虚拟交互场景，虚拟交互场景包括供交互控制器104控制的交互元素；终端102响应于交互控制器104的控制事件，触发基于交互元素的交互动作。在交互动作符合交互反馈条件的情况下，终端102通过交互控制器104产生与交互动作匹配的可感知反馈；该可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配；其中，虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑和物联网设备。物联网设备可为智能投影仪、智能音箱、智能电视、智能空调、智能车载设备等。交互控制器104可以是手持式外接设备、便携式可穿戴设备，手持式外接设备可为手柄，便携式可穿戴设备可为智能手表、智能手环、头戴设备等。

在一个实施例中，如图2所示，提供了一种基于交互控制器的交互方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤S202，显示虚拟交互场景，该虚拟交互场景包括供交互控制器控制的交互元素。

其中，虚拟交互场景是虚拟交互应用运行时，用于虚拟角色进行活动或执行交互动作的场景。该虚拟交互场景可以是对真实世界的仿真环境，也可以是半仿真半虚构的虚拟环境，还可以是纯虚构的虚拟环境。例如，虚拟交互场景可以是二维虚拟交互场景、2.5维虚拟交互场景和三维虚拟交互场景中的任意一种。虚拟交互场景具体可以是手机游戏场景、端游场景、增强现实、虚拟现实(vitrualreality，VR)或者混合现实(Mixreality，MR)中的虚拟角色交互场景等，但不限于此。用户可以控制虚拟角色在该虚拟交互场景中运动或执行交互动作。

虚拟角色是在虚拟交互场景中的可活动对象。该可活动对象具体可以为一个虚拟的用于代表用户的虚拟形象，该虚拟形象不限于为虚拟人物、虚拟动物、或动漫人物等，比如，该虚拟形象可以为在虚拟交互场景中显示的人物、动物、或植物等。虚拟交互场景中可以包括多个虚拟角色，每个虚拟角色在虚拟交互场景中具有自身的形状和体积，占据虚拟交互场景中的一部分空间。可选地，该虚拟角色可以是用户通过交互控制器操作控制的对象，也可以是由人工智能操作控制的虚拟角色，还可以是设置在虚拟交互场景中的非玩家角色等，本申请对此不作限定。

交互元素是指虚拟交互场景中的可视化元素。可视化元素是指可以显示出来使人眼可见用以传达信息的数据。交互元素能够被交互控制器控制，如通过交互控制器的操作控制交互元素。通过对交互元素的控制，使得虚拟角色在虚拟交互场景中执行相应的交互动作，以触发相应事件。交互元素包括标识、控件、字符、图片、动画文件中的一种或几种的组合。

在一个实施例中，该虚拟交互场景包括多个交互元素，每个交互元素能够触发特定事件。例如，通过交互元素的触发产生可感知反馈。可以理解的是，不同的交互元素，可触发不同的事件。

交互动作是指在虚拟交互场景中所执行的任意操作，比如虚拟角色在虚拟交互场景中对交互元素所执行的任意操作。交互动作包括但不限于触摸操作、语音操作或者手势操作中的至少一个，例如打开车盖、踩刹车、踩油门、打招呼、购物、订票、订餐等操作，但不限于此。其中，打招呼的动作例如握手、拥抱、鞠躬、点头示意等。

具体地，终端设置有交互控制器，终端可显示虚拟交互场景，该虚拟交互场景包括至少一个交互元素。虚拟交互场景中的交互元素可被交互控制器进行控制。

在一个实施例中，感知主体可通过用户标识登录终端中的虚拟交互应用，通过虚拟交互应用显示对应的虚拟交互场景。感知主体可通过对终端的交互控制器的操作，控制虚拟交互场景中的交互元素。

其中，虚拟交互应用可运行在终端，也可以运行在云端。运行在云端的虚拟交互应用称为云应用。云应用是指终端与云端进行交互的应用，云应用的运行方式是通过云端模拟器强大的计算能力，将运行的过程编码为音视频流，通过网络传输到终端，以实现与用户的交互。该云应用可以是在云端运行的云游戏应用。

云游戏(Cloud gaming)又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不在终端运行，而是在云端运行，并由云端将游戏场景渲染为视频音频流，通过网络传输给终端。终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端的能力即可。

步骤S204，响应于交互控制器的控制事件，触发基于交互元素的交互动作。

其中，控制事件是指感知主体对交互控制器的控制操作，控制操作包括但不限于触摸操作、语音操作、通过输入设备例如鼠标进行操作或者手势操作中的至少一个，例如可以为点击操作、双击操作、长按操作、左滑操作、右滑操作、上滑操作或下滑操作中的任意一种，但不限于此。其中，触摸操作可以是触摸点击操作、触摸按压操作或者触摸滑动操作，触摸操作可以是单点触摸操作或者多点触摸操作。

感知主体是指操作交互控制器的主体，例如感知主体为操作交互控制器的用户对象。

具体地，感知主体可对交互控制器进行操作，当终端检测到对交互控制器的操作时，响应于对交互控制器的控制事件，触发基于交互元素的交互动作，并在虚拟交互场景中显示该交互动作。

本实施例中，终端响应于交互控制器的不同控制事件，可触发基于交互元素的不同交互动作。进一步地，终端响应于交互控制器的控制事件，可触发基于不同交互元素的交互动作。

在一个实施例中，当终端检测到对交互控制器的操作时，响应于对交互控制器的控制事件，确定该控制事件所触发的交互动作，并对该交互元素执行该交互动作。

在一个实施例中，当终端检测到对交互控制器的操作时，响应于对交互控制器的控制事件，控制虚拟交互场景中的虚拟角色对该交互元素执行相应的交互动作。

在一个实施例中，交互控制器设置在终端中，终端可通过自身的显示屏幕显示虚拟交互场景。虚拟交互场景中的交互元素可被交互控制器进行控制。

在一个实施例中，交互控制器作为终端的外接设备，交互控制器通过有线或无线方式与终端进行交互。直接连接方式是指通过接口连接终端和外接设备，无线方式包括WIFI、移动蜂窝网络、NFC(近场通信)、蓝牙等，但不限于此。

步骤S206，在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈；可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配；其中，虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

其中，交互反馈条件是判断交互动作具备相匹配的可感知反馈的预设条件。交互反馈条件包括交互动作属于预设交互动作，每个预设交互动作预先匹配了各自对应的可感知反馈。

可感知反馈是指能够被感知主体感知到的反馈。进一步地，可感知反馈是指能够被感知主体通过至少一种感知类别所能感知到的反馈效果。可感知反馈包括视觉反馈、听觉反馈、触觉反馈、温度反馈、气味反馈和舌感味道反馈中的至少一种。

模态(Modality)是指每一种信息的来源或者形式。例如，模态可以是感知主体的各种感知类别、可以是信息的各种媒介、可以是产生可感知反馈的各种传感器等，但不限于此。模态具体可以是视感、听感、触感、温感、嗅感、味感、声波、温度和气味等。感知主体的感知类别包括视觉、听觉、触觉、温觉、嗅觉和味觉中的至少一种。信息的媒介包括音频、视频、图像和文字等。各种传感器包括声波传感器、温度传感器、气味发生器、雷达传感器、红外传感器等。

具体地，终端可获取交互反馈条件，将交互控制器的控制事件所触发的基于该交互元素的交互动作和交互反馈条件进行匹配，以判断该交互动作是否符合交互反馈条件。在交互动作符合交互反馈条件的情况下，终端通过交互控制器产生与交互动作匹配的可感知反馈。在交互动作不符合交互反馈条件的情况下，表示该交互动作不存在相应的可感知反馈，则不产生可感知反馈。

本实施例中，终端可将交互动作和交互反馈条件的各预设交互动作进行匹配，当交互动作和预设交互动作匹配成功的情况下，通过交互控制器产生与该预设交互动作匹配的可感知反馈。当交互动作和预设交互动作匹配失败的情况下，表示该交互动作不存在相应的可感知反馈，则不产生可感知反馈。

本实施例中，交互反馈条件还可以与交互元素相关，该交互反馈条件包括交互元素属于预设交互元素、且该交互元素的交互动作属于预设交互动作。即在交互元素为预设交互元素且交互动作为预设交互动作的情况下，具备相匹配的可感知反馈。终端可将交互控制器的控制事件所触发交互元素和预设交互元素进行匹配，并将所触发的交互元素的交互动作和预设交互动作匹配，在交互元素为预设交互元素且交互动作为预设交互动作的情况下，通过交互控制器产生与该预设交互动作匹配的可感知反馈。在交互元素匹配失败或该交互元素的交互动作匹配失败的情况下，不产生可感知反馈。

本实施例中，可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配。并且，虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

上述基于交互控制器的交互方法中，通过显示虚拟交互场景，该虚拟交互场景包括供交互控制器控制的交互元素，使得用户可以通过交互控制器与虚拟交互场景的交互元素进行交互。响应于交互控制器的控制事件，触发基于交互元素的交互动作，使得用户可以通过对交互控制器的控制实现对交互元素的一系列操作。在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈，可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配，使得用户能够感知自身操作所产生的反馈效果。虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈，使得不同交互动作所产生的反馈存在不同，使得反馈方式更丰富。并且，反馈方式与用户触发的交互元素的交互动作相匹配，使得所产生的可感知反馈与用户在虚拟交互场景中的当前场景相关联，从而使得用户更能够沉浸在虚拟交互场景中，交互体验更真实。并且，通过可感知反馈还可以缓解用户体验虚拟交互场景所产生的晕动症。晕动症是用户体验虚拟交互场景的过程中或体验结束后所产生指眩晕、疲劳等不适感。

在一个实施例中，交互控制器设置有多种传感器，不同种的传感器用于产生不同模态的可感知反馈；在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈，包括：

在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器产生与交互动作匹配的可感知反馈。

其中，交互控制器设置有多种传感器，不同种类的传感器所对应的模态不同。不同种类的传感器用于产生不同模态的可感知反馈。例如，声波类的传感器，温度类的传感器，气味类的传感器等。声波类的传感器对应的模态为声波，温度类的传感器对应的模态为温度，气味类的传感器对应的模态为气味。声波类的传感器用于产生与声波对应的可感知反馈，用于产生与温度对应的可感知反馈，气味发生器对应的模态为气味，用于产生与气味对应的可感知反馈。

声波类的传感器可以是声波传感器、温度类的传感器可以是温度传感器，气味类的传感器可以是气味发生器。声波传感器对应的模态为声波，用于产生与声波对应的可感知反馈。温度传感器对应的模态为温度，用于产生与温度对应的可感知反馈。气味发生器对应的模态为气味，用于产生与气味对应的可感知反馈。

具体地，该交互控制器设置有多种传感器，不同种类的传感器用于产生不同模态的可感知反馈。终端在判断交互动作符合交互条件的情况下，确定多种传感器中与该交互动作相匹配的传感器作为目标传感器，并控制该目标传感器工作，使得该目标传感器产生相应模态的可感知反馈。该目标传感器所产生的相应模态的可感知反馈作为与该交互动作相匹配的可感知反馈。

例如，在交互动作符合交互反馈条件的情况下，终端判断与交互动作相匹配的传感器为声波类的传感器，则终端控制声波类的传感器工作，使得声波类的传感器产生与该交互动作匹配的可感知反馈。

在交互动作符合交互反馈条件的情况下，交互控制器判断与交互动作相匹配的传感器为温度类的传感器，则交互控制器控制温度类的传感器工作，使得温度类的传感器产生与该交互动作匹配的可感知反馈。

在交互动作符合交互反馈条件的情况下，终端判断与交互动作相匹配的传感器为气味类的传感器，则终端控制气味类的传感器工作，使得气味类的传感器产生与该交互动作匹配的可感知反馈。

本实施例中，交互控制器设置有多种传感器，不同种的传感器用于产生不同模态的可感知反馈，使得交互控制器能够提供更多种类的可感知反馈，反馈方式更丰富。并且，设置了与交互动作相匹配的传感器，以在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器产生与交互动作匹配的可感知反馈，使得所产生的可感知反馈与用户在虚拟交互场景中的交互动作相关联，从而能够有效提高用户交互体验的真实感。

在一个实施例中，可感知反馈的模态包括声波、温度和气味中的至少一种。

在一个实施例中，可感知反馈包括声波反馈、温度反馈和气味反馈中的至少一种。

在一个实施例中，目标传感器包括声波传感器、温度传感器和气味发生器中的至少一种；在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器产生与交互动作匹配的可感知反馈，包括：

在交互动作符合交互反馈条件的情况下，当与交互动作对应的目标传感器为声波传感器时，通过声波传感器产生与交互动作匹配的声波反馈；在交互动作符合交互反馈条件的情况下，当与交互动作对应的目标传感器为温度传感器时，通过温度传感器产生与交互动作匹配的温度反馈；在交互动作符合交互反馈条件的情况下，当与交互动作对应的目标传感器为气味发生器时，通过气味发生器产生与交互动作匹配的气味反馈。

在一个实施例中，在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器产生与交互动作匹配的可感知反馈，包括：

在交互动作符合交互反馈条件的情况下，当交互动作匹配到多种传感器中的多种目标传感器时，控制多种目标传感器分别工作，使得多种目标传感器分别产生与交互动作匹配且不同模态的可感知反馈。

具体地，一个交互动作可匹配一种或多种传感器。终端在判断交互动作符合交互条件的情况下，确定多种传感器中与该交互动作相匹配的传感器作为目标传感器。当与该交互动作相匹配的传感器包括多种时，得到与该交互动作相匹配的多种目标传感器。终端可控制多种目标传感器中的每种目标传感器分别工作，使得多种目标传感器中的每种目标传感器分别产生与交互动作匹配的相应模态的可感知反馈。

在本实施例中，当交互动作匹配到多种传感器中的多种目标传感器时，终端控制多种目标传感器的每种传感器同时工作或依次工作，使得多种目标传感器的每种传感器同时产生与交互动作匹配的、相应模态的可感知反馈。

在本实施例中，当交互动作匹配到多种传感器中的多种目标传感器时，终端控制多种目标传感器的每种传感器依次工作，使得多种目标传感器的每种传感器依次产生与交互动作匹配的、相应模态的可感知反馈。

例如，在交互动作符合交互反馈条件的情况下，终端判断与交互动作相匹配的传感器为声波类的传感器和温度类的传感器，则交互控制器控制声波类的传感器和温度类的传感器分别工作，使得声波类的传感器产生与该交互动作匹配的可感知反馈，且使得温度类的传感器产生与该交互动作匹配的可感知反馈。该声波类的传感器产生的可感知反馈的模态，不同于该温度类的传感器产生的可感知反馈的模态。比如，声波类的传感器产生的可感知反馈的模态为声波，温度类的传感器产生的可感知反馈的模态为温度。

本实施例中，在交互动作符合交互反馈条件的情况下，当交互动作匹配到多种传感器中的多种目标传感器时，控制多种目标传感器分别工作，使得多种目标传感器分别产生与交互动作匹配且不同模态的可感知反馈，使得交互控制器对同一交互动作产生不同种类的可感知反馈，从而为同一交互动作提供更丰富的可感知反馈，使得用户在虚拟交互场景中的交互操作更符合实际场景，增加交互的真实感。

如图3所示，为一个实施例中虚拟交互场景的界面示意图。该虚拟交互场景300中包括供交互控制器控制的交互元素，例如车前盖302、车门304、花306等。整个车辆和车辆的其他部件也可以作为交互元素，如车后盖、车门、轮胎等。用户可操作交互控制器，以控制虚拟角色执行一系列操作。例如，通过对交互控制器的操作，控制虚拟角色打开车前盖302。终端检测虚拟角色对车前盖的打开操作是否符合交互反馈条件，符合则通过交互控制器把自身的温度调整到35度，以通过交互控制器把温度反馈传递给用户。

如图4所示，当用户通过对交互控制器的操作，控制虚拟角色移动到花306旁边，并控制虚拟角色摘下花306时，交互控制器可释放花的香味，从而通过交互控制器把气味反馈传递给用户。

在一个实施例中，在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器产生与交互动作匹配的可感知反馈，包括：

在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中的多个目标传感器分别工作，使得目标传感器分别产生与多个交互动作匹配的多次同模态的可感知反馈。

具体地，交互控制器设置有多种传感器，同一种传感器可包括多个传感器。同一种传感器中的每个传感器可产生对应的可感知反馈，相同种类的多个传感器所产生的可感知反馈的模态相同。终端响应于感知主体对交互控制器的控制事件，触发基于交互元素的多个交互动作。终端判断该多个交互动作是否符合交互反馈条件，在该多个交互动作符合交互反馈条件的情况下，将多个交互动作中的每个交互动作与交互控制器的多种传感器进行匹配。当多个交互动作匹配到交互控制器的一种传感器时，将该种传感器中的每个传感器作为目标传感器，即可得到该种传感器中的多个目标传感器。

终端通过控制该种传感器中的多个目标传感器分别工作，使得每个目标传感器分别产生与多个交互动作匹配的多次同模态的可感知反馈。

进一步地，终端通过控制该种传感器中的多个目标传感器分别工作，使得多个目标传感器中的每个传感器分别产生与多个交互动作匹配的可感知反馈。例如，对于与多个交互动作相匹配的一种传感器中的多个目标传感器，每个目标传感器分别产生与多个交互动作匹配的可感知反馈，则一个目标传感器所产生的可感知反馈的次数与多个交互动作的数量相同。同一种传感器中的多个目标传感器所产生的可感知反馈的模态相同。

在一个实施例中，同一目标传感器产生与多个交互动作匹配的可感知反馈中，多个可感知反馈所对应的产生时间、反馈位置和持续时长中的至少一种可不相同。

在一个施例中，同一种传感器可包括多个子传感器。同一种传感器中的每个子传感器可产生对应的可感知反馈，相同种类的多个子传感器所产生的可感知反馈的模态相同。终端响应于感知主体对该交互控制器的控制事件，触发基于交互元素的多个交互动作。在该多个交互动作符合交互反馈条件的情况下，将多个交互动作中的每个交互动作分别与交互控制器的多种传感器进行匹配。当多个交互动作匹配到交互控制器的一种传感器时，将该种传感器中的每个子传感器作为目标传感器，即可得到该种传感器中的多个目标传感器。

本实施例中，在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中的多个目标传感器分别工作，使得相同种类的每个目标传感器分别产生与多个交互动作匹配的多次同模态的可感知反馈，从而能够为交互动作提供更丰富的可感知反馈。

在一个实施例中，在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器产生与交互动作匹配的可感知反馈，包括：

在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中的一个目标传感器工作，使得一个目标传感器产生多个交互动作匹配的可感知反馈中优先级最高的可感知反馈。

具体地，交互控制器设置有多种传感器，同一种传感器可包括多个传感器。同一种传感器中的每个传感器可用于产生可感知反馈。终端响应于感知主体对该交互控制器的控制事件，触发基于交互元素的多个交互动作。终端判断该多个交互动作是否符合交互反馈条件，在该多个交互动作符合交互反馈条件的情况下，将多个交互动作中的每个交互动作与交互控制器的多种传感器进行匹配。当多个交互动作匹配到交互控制器的同一种传感器时，将该同一种传感器中的任意一个传感器作为目标传感器。终端通过控制目标传感器工作，使得该目标传感器产生与多个交互动作相匹配的可感知反馈中优先级最高的可感知反馈。

本实施例中，终端通过控制目标传感器工作，并确定该目标传感器所能产生的与多个交互动作相匹配的可感知反馈分别对应的优先级，使得目标传感器产生多个可感知反馈中优先级最高的可感知反馈。

在本实施例中，终端通过控制目标传感器工作，并确定该目标传感器所能产生的与多个交互动作相匹配的可感知反馈分别对应的优先级，使得目标传感器对每个交互动作，分别产生多个可感知反馈中优先级最高的可感知反馈。

本实施例中，通过在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中的一个目标传感器工作，使得一个目标传感器产生多个交互动作匹配的可感知反馈中优先级最高的可感知反馈，从而能够在多个交互动作匹配到相同种类的传感器时，产生多个交互动作所对应的可感知反馈中优先级最高的可感知反馈，能够有效降低传感器工作的功耗。

在一个实施例中，在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器产生与交互动作匹配的可感知反馈，包括：

在交互动作符合交互反馈条件的情况下，当交互动作匹配到交互控制器的一种传感器时，通过控制该一种传感器中分布在交互控制器的手持部的多个目标传感器分别工作，使得多个目标传感器分别产生与交互动作匹配的同模态的可感知反馈，且至少两个目标传感器的可感知反馈呈不同表现形式。

具体地，终端在判断交互动作符合交互条件的情况下，确定多种传感器中与该交互动作相匹配的传感器。当交互动作匹配到交互控制器的一种传感器时，可将该一种传感器所包括的多个传感器中的至少两个作为目标传感器。

多个目标传感器可分布在交互控制器的手持部，每个目标传感器均可产生可感知反馈。终端可控制分布在手持部的多个目标传感器分别工作，使得每个目标传感器分别产生与交互动作匹配的可感知反馈。该多个目标传感器产生的可感知反馈的模态相同，且该多个目标传感器中，存在至少两个目标传感器的可感知反馈呈不同表现形式。

本实施例中，多个目标传感器分布在交互控制器的手持部，通过多个目标传感器分别产生与交互动作匹配的可感知反馈，使得在交互控制器的手持部的相应位置产生多个可感知反馈。

本实施例中，可感知反馈可以是动态变化的，该多个目标传感器中，至少一个目标传感器所产生的可感知反馈呈动态变化。例如，温度传感器所产生的温度反馈可以表现为温度逐渐升高或逐渐降低，或者温度逐渐升高至某个温度值，或者温度逐渐下降到某个温度值等。

本实施例中，不同表现形式具体可以是可感知反馈的动态变化不同、反馈位置不同、反馈强度不同、反馈时间不同中的至少一种。反馈时间可以是反馈产生的时间、反馈持续时长、反馈停止时间中的至少一种。

例如，不同表现形式是可感知反馈的动态变化不同，至少两个可感知反馈呈不同表现形式，可以指至少两个可感知反馈的动态变化过程不同。

本实施例中，通过虚拟交互控制器控制虚拟交互场景中的虚拟角色的手部与交互元素产生接触以触发相应交互动作。在交互动作符合交互反馈条件的情况下，当交互动作匹配到交互控制器的一种传感器时，通过控制该一种传感器中分布在交互控制器的手持部的多个目标传感器分别工作，使得多个目标传感器分别产生与交互动作匹配的同模态的可感知反馈。虚拟角色的手部与交互元素接触的部位所触发目标传感器产生的可感知反馈的表现形式，不同于手部其他部位所触发目标传感器产生的可感知反馈的表现形式，使得可感知主体可在手持部感受到至少两种表现形式的可感知反馈。

在一个实施例中，每个目标传感器的可感知反馈呈不同表现形式，使得可感知主体可在手持部的不同位置感受到表现形式各不相同的多个可感知反馈。

例如，交互动作匹配到一种传感器为温度类的传感器，该温度类的传感器可包括多个温度传感器。多个温度传感器分布在交互控制器的手持部的各位置，每个温度传感器均可产生温度反馈，多个温度传感器中至少存在两个温度传感器所产生的温度反馈的表现形式不同，如一个温度传感器所产生的温度从零逐渐上升到某个温度值，其余温度传感器可直接产生一个相同的温度值。当虚拟角色的手部触碰到车盖时，用户手部在交互控制器手持部的某个位置可以感受到温度逐渐升高至灼热，而在手持部的其他位置感受到比较温和的温度，这样可以给用户带来更为拟真的交互体验。

本实施例中，在交互动作符合交互反馈条件的情况下，当交互动作匹配到交互控制器的一种传感器时，通过控制该一种传感器中分布在交互控制器的手持部的多个目标传感器分别工作，使得手持部分布的多个目标传感器分别产生与交互动作匹配的同模态的可感知反馈，且至少两个目标传感器的可感知反馈呈不同表现形式，使得可感知反馈的种类和表现形式更丰富。并且，多个目标传感器在交互控制器手持部的分布位置不同，使得可在手持部的不同位置产生相应的可感知反馈，从而能够给用户带来更为拟真的交互体验。

在一个实施例中，在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器产生与交互动作匹配的可感知反馈，包括：

在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中分布在交互控制器的手持部的多个目标传感器分别工作，使得多个目标传感器分别产生与多个交互动作匹配的同模态的可感知反馈，且至少两个目标传感器的可感知反馈呈不同表现形式。

具体地，交互控制器设置有多种传感器，同一种传感器可包括多个传感器。同一种传感器中的每个传感器可产生对应的可感知反馈，相同种类的多个传感器所产生的可感知反馈的模态相同。终端响应于感知主体对交互控制器的控制事件，触发基于交互元素的多个交互动作。终端判断该多个交互动作是否符合交互反馈条件，在该多个交互动作符合交互反馈条件的情况下，将多个交互动作中的每个交互动作与交互控制器的多种传感器进行匹配。当多个交互动作匹配到交互控制器的一种传感器时，将该种传感器中的至少两个传感器作为目标传感器，即可得到该种传感器中的多个目标传感器。

该多个目标传感器分布在交互控制器的手持部的不同位置，终端通过控制手持部的多个目标传感器分别工作，使得每个目标传感器分别产生与多个交互动作匹配的多次同模态的可感知反馈，且该多个目标传感器中存在至少两个目标传感器的可感知反馈呈不同表现形式。不同表现形式具体可以是可感知反馈的动态变化不同、反馈位置不同、反馈强度不同、反馈时间不同中的至少一种。反馈时间可以是反馈产生的时间、反馈持续时长、反馈停止时间中的至少一种。

进一步地，终端通过控制分布在手持部的多个目标传感器分别工作，使得多个目标传感器中的每个传感器分别产生与多个交互动作匹配的可感知反馈。

本实施例中，在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中分布在交互控制器的手持部的多个目标传感器分别工作，使得相同种类的每个目标传感器分别产生与多个交互动作匹配的多次同模态的可感知反馈，从而能够为交互动作提供更丰富的可感知反馈。并且，至少两个目标传感器产生的可感知反馈呈不同表现形式，使得可感知反馈的表现形式更丰富，能够给用户带来更为拟真的交互体验。

在一个实施例中，该方法还包括：

在多种传感器中的任一种传感器故障时，将发生故障的传感器映射至多种传感器中使用率最低的正常工作的传感器；当多种传感器中与交互动作匹配的目标传感器故障时，控制目标传感器所映射的传感器工作，以使得交互控制器产生替代可感知反馈；替代可感知反馈用于替代与交互动作匹配的可感知反馈。

具体地，交互控制器设置有多种传感器，终端可检测多种传感器中的每种传感器是否能够正常工作。终端可确定多种传感器中使用率最低的且正常工作的传感器，在多种传感器中的任一种传感器故障时，终端可将发生故障的传感器映射至多种传感器中使用率最低的正常工作的传感器，以通过该使用率最低的正常工作的传感器产生相应的可感知反馈。

在交互动作符合交互反馈条件的情况下，终端确定多种传感器中与交互动作匹配的目标传感器，并检测目标传感器是否存在故障。在与交互动作匹配的目标传感器故障时，终端确定与该目标传感器具有映射关系的传感器，以控制目标传感器所映射的传感器工作，使得目标传感器所映射的传感器产生对应的可感知反馈。目标传感器所映射的传感器所产生的可感知反馈作为替代可感知反馈。该替换可感知反馈用于替代与交互动作匹配的可感知反馈。

在一个实施例中，交互控制器设置有多种传感器，可将多种传感器中使用率最低的且能够正常工作的传感器作为备用传感器。多种传感器中的每种传感器可与各自对应的备用传感器建立映射关系。当多种传感器中与交互动作匹配的目标传感器故障时，控制目标传感器所映射的备用传感器工作，以使得备用传感器产生替代可感知反馈。

在一个实施例中，不同种传感器可与相同的备用传感器具有映射关系，也可与不同的备用传感器具有映射关系。

在一个实施例中，终端可间隔预设时间长度，重新计算每种传感器的使用率，以更新每种传感器对应的使用率，从而基于使用率更新备用传感器。更新后的备用传感器仍为使用率最低的、且正常工作的传感器。

在一个实施例中，终端可间隔预设时间长度，重新计算每种传感器的在该预设时间长度内的使用率，以更新每种传感器对应的使用率，从而基于使用率更新备用传感器。

本实施例中，在多种传感器中的任一种传感器故障时，将发生故障的传感器映射至多种传感器中使用率最低的正常工作的传感器，能够为交互控制器设置备用的传感器。当多种传感器中与交互动作匹配的目标传感器故障时，控制目标传感器所映射的传感器工作，以使得交互控制器产生替代可感知反馈，替代可感知反馈用于替代与交互动作匹配的可感知反馈，从而能够有效解决传感器故障所导致的无法产生可感知反馈的问题。

在一个实施例中，该方法还包括：

显示交互动作的交互结果，并通过交互控制器产生与交互结果匹配的可感知反馈；其中，交互结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈。

其中，交互结果表征交互动作结束所产生的结果，交互结果包括交互成功和交互失败。

具体地，终端可预先为交互动作设置对应的可感知反馈，还可以对交互动作的交互结果预先设置对应的可感知反馈。并且，交互动作存在表征交互成功和交互失败的结果，终端可预先为表征交互成功和交互失败的交互结果分别匹配不同的可感知反馈。交互成功表示该交互动作成功执行，交互失败表示该交互动作执行失败。

终端响应于交互控制器的控制事件，触发基于交互元素的交互动作。在交互动作符合交互反馈条件的情况下，终端通过交互控制器产生与交互动作匹配的可感知反馈。在交互动作执行结束后，显示该交互动作对应的交互结果，该交互结果表征交互成功或交互失败。

在交互结果表征交互成功的情况下，终端通过交互控制器产生与表征交互成功的交互结果相匹配的可感知反馈。在交互结果表征交互失败的情况下，终端通过交互控制器产生与表征失败成功的交互结果相匹配的可感知反馈。与表征交互成功的交互结果匹配的可感知反馈，不同于与表征交互失败的交互结果匹配的可感知反馈，具体可以是可感知反馈的模态不同，也可以是相同模态下不同表现形式的可感知反馈。

在一个实施例中，终端可为预设交互动作设置匹配的可感知反馈，并为预设交互动作对应的交互结果设置不同的可感知反馈。预设交互动作所匹配的可感知反馈，与该预设交互动作的交互结果所匹配的可感知反馈可以是不同模态的可感知反馈，也可以是相同模态不同表现形式的可感知反馈。本实施例中，相同模态不同表现形式的可感知反馈，具体可以是相同模态不同反馈时间、相同模态不同反馈位置、相同模态不同反馈强度中的至少一种。

在一个实施例中，终端可为所有交互动作对应的交互结果设置各自匹配的可感知反馈。即在交互动作不满足交互反馈条件的情况下，不产生针对交互动作的可感知反馈，但在显示该交互动作的交互结果时，终端通过交互控制器产生与交互结果匹配的可感知反馈。

在一个实施例中，交互结果在表征交互成功和交互失败的情况下所匹配的不同的可感知反馈，可以是不同模态的可感知反馈，也可以是相同模态的但表现形式不同的可感知反馈。

如图5所示，提供了一种基于交互控制器的交互方法，应用于终端，包括：

步骤S502，显示虚拟交互场景，该虚拟交互场景包括供交互控制器控制的交互元素。

步骤S504，响应于交互控制器的控制事件，触发基于交互元素的交互动作。

步骤S506，在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈。可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配；其中，虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

步骤S508，显示交互动作的交互结果。

步骤S510，在交互结果表征交互成功的情况下，终端通过交互控制器产生与表征交互成功的交互结果相匹配的可感知反馈。

步骤S512，在交互结果表征交互失败的情况下，终端通过交互控制器产生与表征失败成功的交互结果相匹配的可感知反馈。

本实施例中，显示交互动作的交互结果，并通过交互控制器产生与交互结果匹配的可感知反馈，不仅能够为符合交互反馈条件的交互动作提供相应的可感知反馈，还可以为交互动作的交互结果提供可感知反馈，使得能够充分发挥可感知反馈的作用。并且能够通过可感知反馈有效地提示用户该交互动作执行结束，使得用户直观感知操作结果。并且，交互结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈，使得用户不需要查看交互动作的交互结果，即可通过不同的可感知反馈能够直观、快速地分辨交互动作执行成功还是失败，能够提高在虚拟交互场景中的操作效率。

在一个实施例中，通过交互控制器产生与交互动作匹配的可感知反馈，包括：

跟随交互动作的进度，通过交互控制器，产生与交互动作匹配的相同模态下不同表现形式的可感知反馈；相同模态下不同表现形式的可感知反馈表征交互动作的进度；其中，与交互动作匹配的可感知反馈的模态，以及与交互结果匹配的可感知反馈的模态不同。

其中，相同模态下不同表现形式的可感知反馈，可以是相同模态下不同反馈信息的可感知反馈。不同的反馈信息可表征不同的表现形式。不同的反馈信息具体可以是反馈时间、反馈位置和反馈强度中的至少一种不同。

相同模态下不同表现形式的可感知反馈，具体可以是相同模态下不同反馈时间的可感知反馈、相同模态下不同反馈位置的可感知反馈、相同模态下不同反馈强度的可感知反馈中的至少一种。不同反馈时间具体可以是可感知反馈产生的时间、结束的时间、持续的时长中的至少一种不同。

具体地，终端可确定与该交互动作的进度相匹配的可感知反馈，同一交互动作可根据进度匹配多个相同模态表现形式不同的可感知反馈。跟随交互动作的进度，终端可确定与交互动作的当前进度相匹配的可感知反馈，并通过交互控制器产生与当前进度相匹配的可感知反馈，直至该交互动作完成时显示对应的交互结果。

终端通过交互控制器产生与该交互动作的交互结果相匹配的可感知反馈，交互结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈，则在交互结果表征交互成功的情况下，终端通过交互控制器产生与表征交互成功的交互结果相匹配的可感知反馈。在交互结果表征交互失败的情况下，终端通过交互控制器产生与表征失败成功的交互结果相匹配的可感知反馈。

本实施例中，终端预先为交互动作和该交互结果分别匹配不同模态的可感知反馈，使得与交互动作匹配的可感知反馈的模态，不同于与交互结果匹配的可感知反馈的模态不同。

在一个实施例中，对于需要一定时长才能够执行完成的交互动作，终端可根据交互动作的进度匹配多个可感知反馈。同一交互动作可根据进度匹配多个相同模态不同表现形式的可感知反馈。例如，交互动作为刹车，从踩刹车起至车辆停止需要3秒，可为每秒设置各自对应的可感知反馈，使得从踩刹车起至车辆停止的过程中产生3次可感知反馈，这3次可感知反馈的模态相同但表现形式不同。

本实施例中，为交互动作的不同进度匹配了相同模态下不同表现形式的可感知反馈，并且对交互动作的交互结果也匹配的可感知反馈，能够将交互动作的交互进度和可感知反馈关联起来，且将交互动作的交互结果也与可感知反馈进行关联。跟随交互动作的进度，通过交互控制器，产生与交互动作匹配的相同模态下不同表现形式的可感知反馈，使得用户通过产生的相同模态下不同表现形式的可感知反馈可直接了解当前的交互进度，无需专门查看，能够减少用户的操作次数。并且，与交互动作匹配的可感知反馈的模态不同于与交互结果匹配的可感知反馈的模态，使得通过不同模态的可感知反馈能够直观了解该交互动作执行成功还是失败，减少查看次数，能够提高在虚拟交互场景中的操作效率。

在一个实施例中，该方法还包括：

响应于交互动作结束，显示跟随交互动作产生的关联事件的进度；在关联事件产生相应的事件结果时，通过交互控制器产生与事件结果匹配的可感知反馈；其中，事件结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈。

其中，关联事件是指跟随交互动作产生的事件，例如交互动作是点餐，则点餐会产生相应的订单，则产生订单这个事件即为跟随点餐产生的关联事件。

具体地，跟随交互动作的进度，终端触发与该交互动作关联的关联事件。当终端检测到交互动作结束后，显示该关联事件对应的进度，以提示感知主体关注该关联事件。当终端检测到该关联事件结束时，产生与该关联事件对应的事件结果，并通过交互控制器产生与事件结果匹配的可感知反馈。

本实施例中，事件结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈，则在事件结果表征交互成功的情况下，终端通过交互控制器产生与表征交互成功的事件结果相匹配的可感知反馈。在事件结果表征交互失败的情况下，终端通过交互控制器产生与表征失败成功的事件结果相匹配的可感知反馈。

事件结果在表征交互成功和交互失败的情况下所匹配的可感知反馈不同，具体可以是表征交互成功的情况下所匹配的可感知反馈的模态，不同于表征交互失败的情况下所匹配的可感知反馈的模态，也可以是相同模态下不同表现形式的可感知反馈。

在一个实施例中，在关联事件的进度不再变化的情况下，产生与该关联事件相应的事件结果。该事件结果表征该关联事件执行成功或失败。关联事件的进度不再变化表示关联事件由于执行完成或执行失败而停止执行。

本实施例中，响应于交互动作结束，显示跟随交互动作产生的关联事件的进度，以为用户展示该交互动作所触发的关联事件。在关联事件产生相应的事件结果时，通过交互控制器产生与事件结果匹配的可感知反馈，不仅能够为符合交互反馈条件的交互动作提供相应的可感知反馈，还可以为交互动作的关联事件提供可感知反馈，使得能够充分发挥可感知反馈的作用。并且，事件结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈，使得用户不需要查看关联事件的执行结果，即可通过不同的可感知反馈能够直观、快速地分辨关联事件交互成功还是失败。

在一个实施例中，响应于交互控制器的控制事件，触发基于交互元素的交互动作，包括：响应于交互控制器的控制事件，在控制事件作用于交互元素时，识别针对交互元素的交互意图，触发与交互意图匹配的交互动作；

在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈，包括：在交互意图符合交互反馈条件的情况下，通过交互控制器产生与交互意图匹配的可感知反馈。

其中，交互意图是指期望通过交互动作达到的目的。

具体地，感知主体可对交互控制器进行操作，终端响应于交互控制器的控制事件，控制虚拟交互场景中的虚拟角色进行相应操作。终端可检测该控制事件是否作用于某个交互元素，控制事件作用于不同的交互元素时所对应的交互意图可不相同。例如，控制事件作用于虚拟交互场景中虚拟车辆的车前盖，则交互意图可能是打开前盖或关上车盖；控制事件作用于虚拟车辆的油门，则交互意图可能是踩油门或松开油门。不同的交互意图产生不同的交互动作，使得在虚拟交互场景中显示不同的动作。

在控制事件作用于某个交互元素时，终端可识别控制事件所作用的交互元素，并识别作用于该交互元素的交互意图，从而触发与该交互意图相匹配的交互动作。

一些交互意图可预先设置相匹配的可感知反馈，不同交互意图匹配的可感知反馈可不相同。例如，交互意图为向前直行时，不存在可感知反馈；交互意图为打开车前盖时，存在对应的可感知反馈。

交互反馈条件还可以用于判定交互意图是否存在相匹配的可感知反馈。终端可获取交互反馈条件，将针对交互元素的交互意图和交互反馈条件进行匹配，以确定该交互意图是否符合交互反馈条件。在交互意图符合交互反馈条件的情况下，表示该交互意图存在相匹配的可感知反馈，则终端通过控制器产生于该交互意图相匹配的可感知反馈。

在一个实施例中，交互反馈条件还包括交互意图与预设交互意图相匹配，预设交互意图预先设置有相匹配的可感知反馈。终端可将交互意图和预设交互意图进行匹配，当交互意图和预设交互意图匹配成功时，通过交互控制器产生与该预设交互意图相匹配的可感知反馈。与该预设交互意图相匹配的可感知反馈，即作为该交互意图匹配的可感知反馈。

在一个实施例中，交互反馈条件还包括交互元素与预设交互元素匹配，且针对交互元素的交互意图与针对预设交互元素的预设交互意图匹配。

本实施例中，预先将针对交互元素的交互意图和可感知反馈进行关联。响应于交互控制器的控制事件，在控制事件作用于交互元素时，识别针对交互元素的交互意图，触发与交互意图匹配的交互动作，以在虚拟交互场景中显示针对交互元素的实现的交互动作。将交互意图是否符合交互反馈条件作为是否产生可感知反馈的条件，在交互意图符合交互反馈条件的情况下，通过交互控制器产生与交互意图匹配的可感知反馈，使得能够针对不同的交互意图提供对应的可感知反馈，使得所产生的可感知反馈更符合用户在虚拟交互场景中的当前操作情况。

在一个实施例中，在交互意图符合交互反馈条件的情况下，通过交互控制器产生与交互意图匹配的可感知反馈，包括：

在交互意图符合交互反馈条件的情况下，按照交互意图确定与交互意图匹配的至少一种模态的反馈信息；通过交互控制器，按照至少一种模态的反馈信息，产生与交互动作匹配的可感知反馈。

其中，反馈信息是指生成可感知反馈的相关信息，例如生成时间、持续时间、停止时间、反馈位置、反馈强度等，但不限于此。

具体地，终端响应于交互控制器的控制事件，检测该控制事件所作用的交互元素，并识别作用于该交互元素的交互意图。将交互意图和交互反馈条件进行匹配，在交互意图符合交互反馈条件的情况下，终端确定与该交互意图匹配的至少一种模态的反馈信息，并通过控制器按照所确定的至少一种模态的反馈信息，产生对应的可感知反馈。按照所确定的至少一种模态的反馈信息产生的可感知反馈，即作为与该交互动作匹配的可感知反馈。

在一个实施例中，不同模态例如自视感模态、听感模态、触感模态、温感模态、嗅感模态和味感模态等，不同模态的反馈信息例如声波信息、温度信息、气味信息和舌感味道信息等。发声体的振动在空气或其他物质中的传播叫做声波(Sound Wave或Acoustic Wave)，声波是声音的传播形式。声波信息是指生成声波对应的可感知反馈所需的相关信息。气味信息是指物体散发的味道，本实施例中的气味信息可以表征交互元素对应的实体物品所产生气味。舌感味道信息表征交互元素对应的实体物品所产生的舌感味道。

例如，与该交互意图匹配的至少一种模态的反馈信息为声波信息，则通过交互控制器按照该声波信息产生对应的声波反馈；与该交互意图匹配的至少一种模态的反馈信息为温度信息，则通过交互控制器按照该声波信息产生对应的温度反馈；与该交互意图匹配的至少一种模态的反馈信息为气味信息，则通过交互控制器按照该声波信息产生对应的气味反馈。

在一个实施例中，声波信息包括声波的振动幅度和声波所形成气流的气流方向中的至少一种；气味信息包括气味类型和气味浓度中的至少一种。

在一个实施例中，终端预先为针对交互元素的交互意图匹配至少一种模态的反馈信息，即对预设交互元素的预设交互意图匹配至少一种模态的反馈信息。可以理解的是，可以为针对交互元素的某种交互意图匹配至少一种模态的反馈信息，也可以为针对交互元素的所有交互意图中的每种交互意图分别匹配至少一种模态的反馈信息。针对同一交互元素的不同交互意图分别匹配的反馈信息所对应的模态可以完全相同、部分相同，也可以完全不同。

本实施例中，将针对于交互元素的交互意图与不同模态的反馈信息匹配，使得在交互意图符合交互反馈条件的情况下，能够按照交互意图确定与交互意图匹配的至少一种模态的反馈信息，以通过交互控制器按照至少一种模态的反馈信息，产生与交互动作匹配的可感知反馈，从而能够将针对于交互元素的交互意图和可感知反馈相关联，使得反馈方式更多样化。

在一个实施例中，该方法还包括：当反馈信息包括相同模态下不同表现形式的反馈信息时，将相同模态下不同表现形式的反馈信息融合，得到融合反馈信息；

通过交互控制器，按照至少一种模态的反馈信息，产生与交互动作匹配的可感知反馈，包括：通过交互控制器，按照融合反馈信息，产生与交互动作匹配的单模态的可感知反馈。

具体地，不同表现形式的反馈信息可生成不同表现形式的可感知反馈。在交互意图符合交互反馈条件的情况下，按照交互意图确定与交互意图匹配的至少一种模态的反馈信息。当与交互意图匹配的至少一种模态的反馈信息包括相同模态下不同表现形式的反馈信息时，终端可将相同模态下不同表现形式的反馈信息进行融合处理，以得到相应模态下的融合反馈信息。终端可将该融合反馈信息发送给交互控制器，通过交互控制器按照该融合反馈信息产生相应模态的可感知反馈。交互控制器按照该融合反馈信息产生对应的可感知反馈的模态与融合反馈信息的模态相同，该可感知反馈的模态属于单模态。通过交互控制器按照该融合反馈信息产生相应模态的可感知反馈，即作为与该交互意图匹配的交互动作所匹配的单模态的可感知反馈。

在一个实施例中，当反馈信息包括相同模态下不同表现形式的反馈信息时，将相同模态下不同表现形式的反馈信息融合，得到融合反馈信息，包括：当反馈信息包括相同模态下不同表现形式的反馈信息时，按照不同表现形式的优先级顺序将各反馈信息融合，得到融合反馈信息。

在一个实施例中，当与交互意图匹配的至少一种模态的反馈信息包括相同模态下不同表现形式的反馈信息时，终端可将相同模态下不同表现形式的反馈信息进行拼接，以得到相应模态下的融合反馈信息。进一步地，可按照不同表现形式的优先级顺序将各反馈信息进行拼接处理，得到融合反馈信息。终端可将该融合反馈信息发送给交互控制器，通过交互控制器按照该融合反馈信息中的每个反馈信息产生相应的可感知反馈。交互控制器按照该融合反馈信息中的每个反馈信息所产生的相应可感知反馈形成与该交互意图匹配的交互动作所匹配的可感知反馈。

在一个实施例中，当与交互意图匹配的至少一种模态的反馈信息包括相同模态下不同表现形式的反馈信息时，终端可通过交互控制器，分别按照每个相同模态下不同表现形式的反馈信息，生成每个反馈信息各自对应的可感知反馈。所生成的每个反馈信息各自对应的可感知反馈，作为与该交互意图匹配的交互动作所匹配的可感知反馈。

本实施例中，当反馈信息包括相同模态下不同表现形式的反馈信息时，将相同模态下不同表现形式的反馈信息融合，可以将相同模态下不同表现形式的多种反馈信息整合为相应模态下的融合反馈信息，以通过交互控制器按照融合反馈信息，产生与交互动作匹配的单模态的可感知反馈，能够减少交互控制器的获取及识别多个反馈信息的时间，从而提高可感知反馈的生成效率，使得所产生的可感知反馈更及时。

在一个实施例中，通过交互控制器，按照至少一种模态的反馈信息，产生与交互动作匹配的可感知反馈，包括：当至少一种模态的反馈信息包括相同模态下不同表现形式的反馈信息时，通过交互控制器基于不同表现形式的优先级顺序，分别按照不同表现形式的反馈信息产生与交互动作匹配的单模态的可感知反馈。

在一个实施例中，通过交互控制器，按照至少一种模态的反馈信息，产生与交互动作匹配的可感知反馈，包括：

在存在多模态的反馈信息的情况下，通过交互控制器，按照不同模态的优先级顺序和多模态的各反馈信息，产生与交互动作匹配的多模态的可感知反馈。

具体地，在与交互意图匹配的至少一种模态的反馈信息包括多模态的反馈信息的情况下，终端可确定多模态的反馈信息中每个模态的优先级顺序。终端将多模态对应的优先级顺序和多模态的各反馈信息发送给交互控制器，使得交互控制器按照优先级顺序，使用相应模态的反馈信息生成相应模态可感知反馈。交互控制器按照优先级顺序使用每个模态的反馈信息所生成相应模态的可感知反馈，形成与交互意图匹配的交互动作相匹配的多模态的可感知反馈。

在一个实施例中，在存在多模态的反馈信息的情况下，通过交互控制器按照不同模态的优先级从高到低的顺序和相应模态的反馈信息，产生与交互动作匹配的多模态的可感知反馈，使得能够按照不同模态的优先级从高到低的顺序依次使用相应模态的反馈信息产生可感知反馈，从而形成与交互动作匹配的多模态的可感知反馈。

在一个实施例中，在存在多模态的反馈信息的情况下，通过交互控制器按照不同模态的优先级从低到高的顺序和相应模态的反馈信息，产生与交互动作匹配的多模态的可感知反馈。

本实施例中，在存在多模态的反馈信息的情况下，通过交互控制器按照不同模态的优先级顺序和多模态的各反馈信息，产生与交互动作匹配的多模态的可感知反馈，从而能够为交互动作提供多模态的可感知反馈，反馈方式更灵活。

在一个实施例中，在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈，包括：

在虚拟交互场景允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，通过交互控制器产生与交互动作匹配的可感知反馈；

该方法还包括：

在虚拟交互场景不允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，不触发与交互动作匹配的可感知反馈。

具体地，用户可自动选择开启或关闭可感知反馈的触发。在可感知反馈的触发开启的情况下，表示虚拟交互场景允许触发可感知反馈。在可感知反馈的触发关闭的情况下，表示虚拟交互场景不允许触发可感知反馈。

在虚拟交互场景允许触发可感知反馈的情况下，检测交互动作是否符合交互反馈条件，符合则通过交互控制器产生与交互动作匹配的可感知反馈。在虚拟交互场景允许触发可感知反馈的情况下，可不检测交互动作是否符合交互反馈条件，无论交互动作是否符合交互反馈条件，交互控制器均不产生可感知反馈。这样，可以灵活设置虚拟交互场景中可感知反馈的触发时机。

在一个实施例中，虚拟交互场景中可感知反馈的触发，可以通过可感知主体选择开启可感知反馈的触发，还可以根据在虚拟交互场景当前的剧情进度或者在虚拟交互场景当前的时间进度自动开启可感知反馈的触发。

在一个实施例中，在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈，包括：

在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，通过交互控制器产生与交互动作匹配的可感知反馈；

该方法还包括：

在虚拟交互场景当前的剧情进度不允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，不触发与交互动作匹配的可感知反馈。

具体地，可预先设置虚拟交互场景中允许触发可感知反馈的剧情进度，在当前的剧情进度未达到允许触发可感知反馈的预设剧情进度的情况下，交互控制器不产生任何可感知反馈。在当前的剧情进度达到允许触发可感知反馈的预设剧情进度的情况下，交互控制器可产生可感知反馈。

终端在虚拟交互场景中显示实时剧情，感知主体可通过对交互控制器的控制事件，实现对虚拟交互场景的剧情的推进。终端响应于交互控制器的控制事件，触发基于交互元素的交互动作。终端可检测虚拟交互场景当前的剧情，并确定当前的剧情进度。终端判断在虚拟交互场景当前的剧情进度是否允许触发可感知反馈，在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，终端可获取交互反馈条件，并判断该交互动作是否符合交互反馈条件。

在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，终端可通过交互控制器产生与交互动作匹配的可感知反馈。

本实施例中，在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当交互动作不符合交互反馈条件时，交互控制器不产生可感知反馈。

例如，在生存类的虚拟交互场景中，当剧情进行到虚拟角色流落荒岛的情况下，允许触发可感知反馈，则在后续剧情中可为符合交互反馈条件的交互动作产生相应的可感知反馈。当剧情未进行到虚拟角色流落荒岛的之前，无论交互动作是否符合交互反馈条件，均不允许触发可感知反馈，即交互控制器不产生任何的可感知反馈。

在一个实施例中，终端判断在虚拟交互场景当前的剧情进度是否允许触发可感知反馈，在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，终端可获取交互反馈条件，并判断该交互动作是否符合交互反馈条件。在虚拟交互场景当前的剧情进度不允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，不触发与交互动作匹配的可感知反馈。

本实施例中，预先在虚拟交互场景设置了允许触发可感知反馈的剧情进度，从而设置了允许触发可感知反馈的时机。在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，通过交互控制器产生与交互动作匹配的可感知反馈，将当前的剧情进度和交互动作是否符合交互反馈条件，同时作为是否触发可感知反馈的判断条件。在两个条件均满足的情况下，才通过交互控制器产生相应的可感知反馈，从而能够根据需求将可感知反馈应用在不同的剧情中，能够满足不同剧情对可感知反馈的需求，提高可感知反馈的利用的灵活性。在虚拟交互场景当前的剧情进度不允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，不触发与交互动作匹配的可感知反馈，使得在剧情进度不满足条件的情况下，无论交互动作是否符合交互反馈条件，均不允许触发可感知反馈，有效限制了触发可感知反馈的时机，能够满足不同的应用场景。

在一个实施例中，在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈，包括：

在虚拟交互场景当前的时间进度允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，通过交互控制器产生与交互动作匹配的可感知反馈；

该方法还包括：在虚拟交互场景当前的时间进度不允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，不触发与交互动作匹配的可感知反馈。

具体地，可预先设置虚拟交互场景中允许触发可感知反馈的时间进度，在当前的时间进度未达到允许触发可感知反馈的预设时间进度的情况下，交互控制器不产生任何可感知反馈。在当前的时间进度达到允许触发可感知反馈的预设时间进度的情况下，交互控制器可产生可感知反馈。当前的时间进度可通过当前时刻表征，预设时间进度可通过预设时刻表征。

终端可实时检测虚拟交互场景中的时间进度，终端响应于交互控制器的控制事件，触发基于交互元素的交互动作。终端可检测虚拟交互场景当前的时刻，判断在虚拟交互场景当前时刻是否允许触发可感知反馈，在虚拟交互场景当前时刻允许触发可感知反馈的情况下，即当前时刻达到允许触发可感知反馈的预设时刻的情况下，终端可获取交互反馈条件，并判断该交互动作是否符合交互反馈条件。

在虚拟交互场景当前的时间进度允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，终端可通过交互控制器产生与交互动作匹配的可感知反馈。

本实施例中，在虚拟交互场景当前的时间进度允许触发可感知反馈的情况下，当交互动作不符合交互反馈条件时，交互控制器不产生可感知反馈。

例如，在进入虚拟交互场景10分钟后允许触发可感知反馈，未达到10分钟则不允许触发任何可感知反馈。

本实施例中，预先在虚拟交互场景设置了允许触发可感知反馈的时间进度，从而设置了允许触发可感知反馈的时机。在虚拟交互场景当前的时间进度允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，通过交互控制器产生与交互动作匹配的可感知反馈，将当前的时间进度和交互动作是否符合交互反馈条件，同时作为是否触发可感知反馈的判断条件。在两个条件均满足的情况下，才通过交互控制器产生相应的可感知反馈，从而能够根据需求将可感知反馈应用在不同的时间中，能够满足不同时间对可感知反馈的需求，提高可感知反馈的利用的灵活性。在虚拟交互场景当前的时间进度不允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，不触发与交互动作匹配的可感知反馈，使得在时间进度不满足条件的情况下，无论交互动作是否符合交互反馈条件，均不允许触发可感知反馈，有效限制了触发可感知反馈的时机，能够满足不同的使用场景。

在一个实施例中，不同模态取自视感模态、听感模态、触感模态、温感模态、嗅感模态和味感模态构成的模态集合；可感知反馈包括视觉反馈、听觉反馈、触觉反馈、温度反馈、气味反馈和舌感味道反馈中的至少一种。

具体地，终端预先设置了模态集合，该模态集合由不同的模态构成。该模态集合中具体包括自视感模态、听感模态、触感模态、温感模态、嗅感模态和味感模态。交互控制器所产生的可感知反馈包括视觉反馈、听觉反馈、触觉反馈、温度反馈、气味反馈和舌感味道反馈中的至少一种。感知类别包括视觉、听觉、触觉、嗅觉和味觉中的至少一种。

可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配。例如，可感知反馈的自视感模态与感知主体的视觉相匹配；可感知反馈的听感模态与感知主体的听觉相匹配；可感知反馈的触感模态；温感模态与感知主体的触觉相匹配；可感知反馈的嗅感模态与感知主体的嗅觉相匹配；可感知反馈的味感模态与感知主体的味觉相匹配。

本实施例中，在交互动作符合交互反馈条件的情况下，终端通过交互控制器产生与交互动作匹配的视觉反馈、听觉反馈、触觉反馈、温度反馈、气味反馈和舌感味道反馈中的至少一种。

本实施例中，不同模态的可感知反馈可以是自视感模态对应的视觉反馈、听感模态对应的听觉反馈、触感模态对应的触觉反馈、温感模态对应的温度反馈、嗅感模态对应的气味反馈和味感模态对应的舌感味道反馈。

本实施例中，不同模态取自视感模态、听感模态、触感模态、温感模态、嗅感模态和味感模态构成的模态集合，可感知反馈包括视觉反馈、听觉反馈、触觉反馈、温度反馈、气味反馈和舌感味道反馈中的至少一种，使得交互控制器能够提供多种不同模态对应的多种能够被用户感知的反馈方式，所形成的可感知反馈种类丰富，可感知反馈的反馈形式也多样化，使得用户在虚拟交互场景下所感知到反馈与真实场景下的感受相同，从而用户在虚拟交互场景中进行的交互操作更真实。

在一个实施例中，本申请还提供了一种交互控制器，该交互控制器用于响应于控制事件，触发在虚拟交互场景中基于交互元素的交互动作；在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈；

其中，可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配；交互控制器在虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

具体地，交互控制器可获取通过终端显示的虚拟交互场景，该虚拟交互场景中包括供交互控制器控制的交互元素。感知主体可对交互控制器进行操作，交互控制器响应于感知主体对交互控制器自身的控制事件，触发在虚拟交互场景中基于交互元素的交互动作。

交互控制器可获取交互反馈条件，将交互控制器的控制事件所触发的基于该交互元素的交互动作和交互反馈条件进行匹配，以判断该交互动作是否符合交互反馈条件。在交互动作符合交互反馈条件的情况下，交互控制器产生与交互动作匹配的可感知反馈。在交互动作不符合交互反馈条件的情况下，表示该交互动作不存在相应的可感知反馈，则交互控制器不产生可感知反馈。

在一个实施例中，交互控制器可将交互动作和交互反馈条件的各预设交互动作进行匹配，当交互动作和预设交互动作匹配成功的情况下，交互控制器产生与该预设交互动作匹配的可感知反馈。当交互动作和预设交互动作匹配失败的情况下，表示该交互动作不存在相应的可感知反馈，则交互控制器不产生可感知反馈。

在一个实施例中，交互反馈条件还可以与交互元素相关，该交互反馈条件包括交互元素属于预设交互元素、且该交互元素的交互动作属于预设交互动作。即在交互元素为预设交互元素且交互动作为预设交互动作的情况下，具备相匹配的可感知反馈。交互控制器可将控制事件所触发交互元素和预设交互元素进行匹配，并将所触发的交互元素的交互动作和预设交互动作匹配，在交互元素为预设交互元素且交互动作为预设交互动作的情况下，交互控制器产生与该预设交互动作匹配的可感知反馈。在交互元素匹配失败或该交互元素的交互动作匹配失败的情况下，不产生可感知反馈。

本实施例中，可感知反馈能够被感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配。并且，虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

在一个实施例中，交互控制器包括多个控制元素，控制元素用于对交互控制器进行操作。控制元素是指交互控制器的可视化元素。可视化元素是指可以显示出来使人眼可见用以传达信息的数据。控制元素能够被用户操作，并通过用户对控制元素的操作，触发基于交互元素的交互动作。控制元素包括标识、控件、字符、图片、动画文件中的一种或几种的组合。控件可以是实体按键或虚拟按键。

本实施例中，交互控制器用于响应于控制事件，触发在虚拟交互场景中基于交互元素的交互动作，以通过交互控制器与虚拟交互场景的交互元素进行交互。响应于交互控制器的控制事件，触发基于交互元素的交互动作，使得用户可以通过对交互控制器的控制实现对交互元素的一系列操作。在交互动作符合交互反馈条件的情况下，交互控制器产生与交互动作匹配的可感知反馈，可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配，使得用户能够通过交互控制器所产生的反馈感知自身操作所产生的反馈效果。交互控制器在虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈，使得不同交互动作所产生的反馈存在不同，并且交互控制器能够提供更丰富的反馈方式。并且，反馈方式与触发的交互元素的交互动作相匹配，使得所产生的可感知反馈与用户在虚拟交互场景中的当前场景相关联，从而通过可感知反馈使得用户更能够沉浸在虚拟交互场景中，交互体验更真实。

在一个实施例中，提供了一种基于交互控制器的交互方法的应用场景。该应用场景的流程示意图如图6所示，当用户在虚拟现实游戏中，触发了设置的交互反馈点，并通过交互控制器进行了相应操作时，对用户操作进行意图识别，得到用户的操作意图。交互反馈点在虚拟交互场景中可表现为交互元素，交互控制器可为游戏手柄。将用户的操作意图(如踩油门)传递给反馈机制，使得反馈机制基于操作意图分配对应的反馈信息组合和反馈信息的优先级，比如为踩油门的交互动作配备皮温反馈(即将游戏手柄的温度调高到40度)，同时发生振动反馈，并排出拟汽油的气味，即嗅觉反馈。交互控制器获取以上反馈组合和优先级，该交互控制器中内置触觉反馈传感器、皮温传感器、嗅觉反馈传感器。皮温反馈即温度反馈，是指皮肤温度的反馈，皮温传感器即温度传感器。

触觉反馈传感器如图7所示，触觉反馈传感器是指声波传感器，具体可以是超声波传感器，主要通过超声原理实现触觉反馈，交互控制器内置一排超声波传感器发射出超声波，使用户通过交互控制器可以感受到力度、气流、方向等相关触觉反馈。

皮温传感器具体可以是热敏电阻温度传感器，交互控制器内置热敏电阻温度传感器，通过热敏电阻温度传感器给用户传递不同温度的变化。

嗅觉反馈传感器如图8所示，具体可以是气味发生器，交互控制器内多个气味发生器，装着不同的气味，可以产生如烧焦的橡胶、火药、薰衣草和薄荷等所散发的气味。

例如，当感知主体控制的虚拟角色在游戏场景中发现一辆虚拟汽车时，虚拟角色伸手打开前车盖，则交互控制器将自身的温度迅速上升到35度，以产生温度反馈。当虚拟角色推车门进入虚拟汽车驾驶座、踩油门时，交互控制器将自身的温度进一步上升到40度，以产生温度反馈，同时交互控制器发生上下震动，以产生触觉反馈。当虚拟角色猛踩刹车时，交互控制器排出模拟汽油的气味，以产生气味反馈和嗅觉反馈。类似地，交互控制器还可用于社交、观影、购物、订餐、提醒等其他场景下的产生可感知的交互反馈。

在该应用场景下，如图9所示，基于交互控制器的交互方法可结合后台处理实现。当用户控制的虚拟角色在虚拟现实游戏中，触发了设置的交互反馈点，并通过交互控制器进行了相应操作时，通过后台对用户操作进行意图归类，意图归类即意图识别，以得到用户的操作意图。得到操作意图后再由感知后台的反馈机制匹配相应操作意图所对应的反馈类别组合，反馈类别组合比如反馈类别1.1和皮温20度，最后通过交互控制器触觉反馈传感器、皮温传感器、嗅觉反馈传感器，产生相应的可感知反馈，以将相应可感知反馈通过交互控制器传递给用户。

后台存储了不同的反馈信息，不同的反馈信息可以是不同模态的反馈信息，也可以是相同模态不同表现形式的反馈信息。例如，模态为温度，反馈信息可以是温度20度、25度、30度等，按照反馈信息所生成的可感知反馈为温度反馈；模态为声波，反馈信息为基准振动幅度、加大振动幅度、减小振动幅度、向上气流、向下气流、向左气流、向右气流等，按照反馈信息所生成的可感知反馈为触觉反馈；基准振动幅度可以是默认的振动幅度；模态为气味，反馈信息为汽油的气味、火药的气味、花的气味等，按照反馈信息所生成的可感知反馈为嗅觉反馈。后台可预先将不同的反馈信息和不同的操作意图进行匹配，同一操作意图可匹配不同的反馈信息，同一反馈信息可匹配不同的操作意图。

在一个实施例中，如图10所示，提供了一种基于交互控制器的交互方法，应用于终端，包括：

步骤S1002，显示虚拟交互场景，虚拟交互场景包括供交互控制器控制的交互元素。

步骤S1004，响应于交互控制器的控制事件，在控制事件作用于交互元素时，识别针对交互元素的交互意图，触发与交互意图匹配的交互动作。

步骤S1006，判断在虚拟交互场景当前的剧情进度是否允许触发可感知反馈。不允许则执行步骤S1008，允许则执行步骤S1010以及步骤S1010之后的步骤。

步骤S1008，在虚拟交互场景当前的剧情进度不允许触发可感知反馈的情况下，不触发可感知反馈。

步骤S1010，在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当交互意图符合交互反馈条件时，按照交互意图确定与交互意图匹配的至少一种模态的反馈信息；控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器按照至少一种模态的反馈信息产生与交互动作匹配的可感知反馈；

其中，交互控制器设置有多种传感器，不同种的传感器用于产生不同模态的可感知反馈；可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配；虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

步骤S1012，在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当交互意图符合交互反馈条件，且交互动作匹配到多种传感器中的多种目标传感器时，控制多种目标传感器分别工作，使得多种目标传感器分别按照与交互意图匹配的至少一种模态的反馈信息，产生与交互动作匹配且不同模态的可感知反馈。

步骤S1014，在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当多个交互意图符合交互反馈条件，且与多个交互意图匹配的多个交互动作，匹配到交互控制器的一种传感器时，通过控制一种传感器中的多个目标传感器分别工作，使得相应目标传感器分别按照对应的交互意图匹配的至少一种模态的反馈信息，产生与多个交互动作匹配的多次同模态的可感知反馈。

步骤S1016，在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当多个交互意图符合交互反馈条件，且与多个交互意图匹配的多个交互动作，匹配到交互控制器的一种传感器时，通过控制一种传感器中的一个目标传感器工作，使得一个目标传感器产生多个交互动作匹配的可感知反馈中优先级最高的可感知反馈。

步骤S1018，在多种传感器中的任一种传感器故障时，将发生故障的传感器映射至多种传感器中使用率最低的正常工作的传感器；当多种传感器中与交互动作匹配的目标传感器故障时，控制目标传感器所映射的传感器工作，以使得交互控制器产生替代可感知反馈；替代可感知反馈用于替代与交互动作匹配的可感知反馈。

步骤S1020，显示交互动作的交互结果，并通过目标传感器产生与交互结果匹配的可感知反馈；其中，交互结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈。

步骤S1022，响应于交互动作结束，显示跟随交互动作产生的关联事件的进度；在关联事件产生相应的事件结果时，通过目标传感器产生与事件结果匹配的可感知反馈；其中，事件结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈。

本实施例中，提供了多种可感知反馈的生成方式，从而能够生成多种不同的可感知反馈，使得可感知反馈的种类更丰富、表现形式更灵活。

将针对于交互元素的交互意图与不同模态的反馈信息匹配，使得在交互意图符合交互反馈条件的情况下，能够按照交互意图确定与交互意图匹配的至少一种模态的反馈信息，以通过交互控制器按照至少一种模态的反馈信息，产生与交互动作匹配的可感知反馈，从而能够将针对于交互元素的交互意图和可感知反馈相关联，使得反馈方式更多样化。

而交互控制器设置有多种传感器，不同种的传感器用于产生不同模态的可感知反馈，使得交互控制器能够提供更多种类的可感知反馈，反馈方式更丰富。并且，设置了与交互动作相匹配的传感器，以在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器按照与交互意图匹配的至少一种模态的反馈信息，产生与交互动作匹配的可感知反馈，使得所产生的可感知反馈与用户在虚拟交互场景中的交互意图相关联，从而能够有效提高用户交互体验的真实感。

当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中的多个目标传感器分别工作，使得相同种类的每个目标传感器分别产生与多个交互动作匹配的多次同模态的可感知反馈，从而能够为交互动作提供更丰富的可感知反馈。每个目标传感器所产生的可感知反馈与相应交互意图匹配的模态的反馈信息相关。

当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中的一个目标传感器工作，使得一个目标传感器产生多个交互动作匹配的可感知反馈中优先级最高的可感知反馈，从而能够在多个交互动作匹配到相同种类的传感器时，产生多个交互动作所对应的可感知反馈中优先级最高的可感知反馈，能够有效降低传感器工作的功耗。

在多种传感器中的任一种传感器故障时，将发生故障的传感器映射至多种传感器中使用率最低的正常工作的传感器，能够为交互控制器设置备用的传感器。当多种传感器中与交互动作匹配的目标传感器故障时，控制目标传感器所映射的传感器工作，以使得交互控制器产生替代可感知反馈，替代可感知反馈用于替代与交互动作匹配的可感知反馈，从而能够有效解决传感器故障所导致的无法产生可感知反馈的问题。

通过显示交互动作的交互结果，并通过交互控制器产生与交互结果匹配的可感知反馈，不仅能够为符合交互反馈条件的交互动作提供相应的可感知反馈，还可以为交互动作的交互结果提供可感知反馈，使得能够充分发挥可感知反馈的作用。并且能够通过可感知反馈有效地提示用户该交互动作执行结束，使得用户直观感知操作结果。并且，交互结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈，使得用户不需要查看交互动作的交互结果，即可通过不同的可感知反馈能够直观、快速地分辨交互动作执行成功还是失败，能够提高在虚拟交互场景中的操作效率。

响应于交互动作结束，显示跟随交互动作产生的关联事件的进度，以为用户展示该交互动作所触发的关联事件。在关联事件产生相应的事件结果时，通过交互控制器产生与事件结果匹配的可感知反馈，不仅能够为符合交互反馈条件的交互动作提供相应的可感知反馈，还可以为交互动作的关联事件提供可感知反馈，使得能够充分发挥可感知反馈的作用。并且，事件结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈，使得用户不需要查看关联事件的执行结果，即可通过不同的可感知反馈能够直观、快速地分辨关联事件交互成功还是失败。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于交互控制器的交互方法的基于交互控制器的交互装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于交互控制器的交互装置实施例中的具体限定可以参见上文中对于基于交互控制器的交互方法的限定，在此不再赘述。

在一个实施例中，如图11所示，提供了一种基于交互控制器的交互装置1100，包括：显示模块1102、触发模块1104和反馈模块1106，其中：

显示模块1102，用于显示虚拟交互场景，虚拟交互场景包括供交互控制器控制的交互元素。

触发模块1104，用于响应于交互控制器的控制事件，触发基于交互元素的交互动作。

反馈模块1106，用于在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈；可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配。

其中，虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

本实施例中，通过显示虚拟交互场景，该虚拟交互场景包括供交互控制器控制的交互元素，使得用户可以通过交互控制器与虚拟交互场景的交互元素进行交互。响应于交互控制器的控制事件，触发基于交互元素的交互动作，使得用户可以通过对交互控制器的控制实现对交互元素的一系列操作。在交互动作符合交互反馈条件的情况下，通过交互控制器产生与交互动作匹配的可感知反馈，可感知反馈能够由感知主体所感知，且可感知反馈的模态与感知主体的至少一种感知类别相匹配，使得用户能够感知自身操作所产生的反馈效果。虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈，使得不同交互动作所产生的反馈存在不同，使得反馈方式更丰富。并且，反馈方式与用户触发的交互元素的交互动作相匹配，使得所产生的可感知反馈与用户在虚拟交互场景中的当前场景相关联，从而使得用户更能够沉浸在虚拟交互场景中，交互体验更真实。

在一个实施例中，交互控制器设置有多种传感器，不同种的传感器用于产生不同模态的可感知反馈；

反馈模块1106，还用于在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器产生与交互动作匹配的可感知反馈。

本实施例中，交互控制器设置有多种传感器，不同种的传感器用于产生不同模态的可感知反馈，使得交互控制器能够提供更多种类的可感知反馈，反馈方式更丰富。并且，设置了与交互动作相匹配的传感器，以在交互动作符合交互反馈条件的情况下，控制多种传感器中与交互动作匹配的目标传感器工作，使得目标传感器产生与交互动作匹配的可感知反馈，使得所产生的可感知反馈与用户在虚拟交互场景中的交互动作相关联，从而能够有效提高用户交互体验的真实感。

在一个实施例中，反馈模块1106，还用于在交互动作符合交互反馈条件的情况下，当交互动作匹配到多种传感器中的多种目标传感器时，控制多种目标传感器分别工作，使得多种目标传感器分别产生与交互动作匹配且不同模态的可感知反馈。

本实施例中，在交互动作符合交互反馈条件的情况下，当交互动作匹配到多种传感器中的多种目标传感器时，控制多种目标传感器分别工作，使得多种目标传感器分别产生与交互动作匹配且不同模态的可感知反馈，使得交互控制器对同一交互动作产生不同种类的可感知反馈，从而为同一交互动作提供更丰富的可感知反馈，使得用户在虚拟交互场景中的交互操作更符合实际场景，增加交互的真实感。

在一个实施例中，反馈模块1106，还用于在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中的多个目标传感器分别工作，使得目标传感器分别产生与多个交互动作匹配的多次同模态的可感知反馈。

本实施例中，在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中的多个目标传感器分别工作，使得相同种类的每个目标传感器分别产生与多个交互动作匹配的多次同模态的可感知反馈，从而能够为交互动作提供更丰富的可感知反馈。

在一个实施例中，反馈模块1106，还用于在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中的一个目标传感器工作，使得一个目标传感器产生多个交互动作匹配的可感知反馈中优先级最高的可感知反馈。

本实施例中，通过在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中的一个目标传感器工作，使得一个目标传感器产生多个交互动作匹配的可感知反馈中优先级最高的可感知反馈，从而能够在多个交互动作匹配到相同种类的传感器时，产生多个交互动作所对应的可感知反馈中优先级最高的可感知反馈，能够有效降低传感器工作的功耗。

在一个实施例中，反馈模块，还用于在交互动作符合交互反馈条件的情况下，当交互动作匹配到交互控制器的一种传感器时，通过控制该一种传感器中分布在交互控制器的手持部的多个目标传感器分别工作，使得多个目标传感器分别产生与交互动作匹配的同模态的可感知反馈，且至少两个目标传感器的可感知反馈呈不同表现形式。

本实施例中，在交互动作符合交互反馈条件的情况下，当交互动作匹配到交互控制器的一种传感器时，通过控制该一种传感器中分布在交互控制器的手持部的多个目标传感器分别工作，使得手持部分布的多个目标传感器分别产生与交互动作匹配的同模态的可感知反馈，且至少两个目标传感器的可感知反馈呈不同表现形式，使得可感知反馈的种类和表现形式更丰富。并且，多个目标传感器在交互控制器手持部的分布位置不同，使得可在手持部的不同位置产生相应的可感知反馈，从而能够给用户带来更为拟真的交互体验。

在一个实施例中，反馈模块，还用于在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中分布在交互控制器的手持部的多个目标传感器分别工作，使得多个目标传感器分别产生与多个交互动作匹配的同模态的可感知反馈，且至少两个目标传感器的可感知反馈呈不同表现形式。

本实施例中，在多个交互动作符合交互反馈条件的情况下，当多个交互动作匹配到交互控制器的一种传感器时，通过控制一种传感器中分布在交互控制器的手持部的多个目标传感器分别工作，使得相同种类的每个目标传感器分别产生与多个交互动作匹配的多次同模态的可感知反馈，从而能够为交互动作提供更丰富的可感知反馈。并且，至少两个目标传感器产生的可感知反馈呈不同表现形式，使得可感知反馈的表现形式更丰富，能够给用户带来更为拟真的交互体验。

在一个实施例中，该装置还包括映射模块；映射模块，用于在多种传感器中的任一种传感器故障时，将发生故障的传感器映射至多种传感器中使用率最低的正常工作的传感器；

反馈模块1106，还用于当多种传感器中与交互动作匹配的目标传感器故障时，控制目标传感器所映射的传感器工作，以使得交互控制器产生替代可感知反馈；替代可感知反馈用于替代与交互动作匹配的可感知反馈。

本实施例中，在多种传感器中的任一种传感器故障时，将发生故障的传感器映射至多种传感器中使用率最低的正常工作的传感器，能够为交互控制器设置备用的传感器。当多种传感器中与交互动作匹配的目标传感器故障时，控制目标传感器所映射的传感器工作，以使得交互控制器产生替代可感知反馈，替代可感知反馈用于替代与交互动作匹配的可感知反馈，从而能够有效解决传感器故障所导致的无法产生可感知反馈的问题。

在一个实施例中，显示模块1102，还用于显示交互动作的交互结果；反馈模块，还用于通过交互控制器产生与交互结果匹配的可感知反馈；其中，交互结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈。

本实施例中，显示交互动作的交互结果，并通过交互控制器产生与交互结果匹配的可感知反馈，不仅能够为符合交互反馈条件的交互动作提供相应的可感知反馈，还可以为交互动作的交互结果提供可感知反馈，使得能够充分发挥可感知反馈的作用。并且能够通过可感知反馈有效地提示用户该交互动作执行结束，使得用户直观感知操作结果。并且，交互结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈，使得用户不需要查看交互动作的交互结果，即可通过不同的可感知反馈能够直观、快速地分辨交互动作执行成功还是失败，能够提高在虚拟交互场景中的操作效率。

在一个实施例中，反馈模块1106，还用于跟随交互动作的进度，通过交互控制器，产生与交互动作匹配的相同模态下不同表现形式的可感知反馈；相同模态下不同表现形式的可感知反馈表征交互动作的进度；其中，与交互动作匹配的可感知反馈的模态，以及与交互结果匹配的可感知反馈的模态不同。

本实施例中，为交互动作的不同进度匹配了相同模态下不同表现形式的可感知反馈，并且对交互动作的交互结果也匹配的可感知反馈，能够将交互动作的交互进度和可感知反馈关联起来，且将交互动作的交互结果也与可感知反馈进行关联。跟随交互动作的进度，通过交互控制器，产生与交互动作匹配的相同模态下不同表现形式的可感知反馈，使得用户通过产生的相同模态下不同表现形式的可感知反馈可直接了解当前的交互进度，无需专门查看，能够减少用户的操作次数。并且，与交互动作匹配的可感知反馈的模态不同于与交互结果匹配的可感知反馈的模态，使得通过不同模态的可感知反馈能够直观了解该交互动作执行成功还是失败，减少查看次数，能够提高在虚拟交互场景中的操作效率。

在一个实施例中，显示模块1102，还用于响应于交互动作结束，显示跟随交互动作产生的关联事件的进度；

反馈模块1106，还用于在关联事件产生相应的事件结果时，通过交互控制器产生与事件结果匹配的可感知反馈；其中，事件结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈。

本实施例中，响应于交互动作结束，显示跟随交互动作产生的关联事件的进度，以为用户展示该交互动作所触发的关联事件。在关联事件产生相应的事件结果时，通过交互控制器产生与事件结果匹配的可感知反馈，不仅能够为符合交互反馈条件的交互动作提供相应的可感知反馈，还可以为交互动作的关联事件提供可感知反馈，使得能够充分发挥可感知反馈的作用。并且，事件结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈，使得用户不需要查看关联事件的执行结果，即可通过不同的可感知反馈能够直观、快速地分辨关联事件交互成功还是失败。

在一个实施例中，触发模块1104，还用于响应于交互控制器的控制事件，在控制事件作用于交互元素时，识别针对交互元素的交互意图，触发与交互意图匹配的交互动作；

反馈模块1106，还用于在交互意图符合交互反馈条件的情况下，通过交互控制器产生与交互意图匹配的可感知反馈。

本实施例中，预先将针对交互元素的交互意图和可感知反馈进行关联。响应于交互控制器的控制事件，在控制事件作用于交互元素时，识别针对交互元素的交互意图，触发与交互意图匹配的交互动作，以在虚拟交互场景中显示针对交互元素的实现的交互动作。将交互意图是否符合交互反馈条件作为是否产生可感知反馈的条件，在交互意图符合交互反馈条件的情况下，通过交互控制器产生与交互意图匹配的可感知反馈，使得能够针对不同的交互意图提供对应的可感知反馈，使得所产生的可感知反馈更符合用户在虚拟交互场景中的当前操作情况。

在一个实施例中，反馈模块1106，还用于在交互意图符合交互反馈条件的情况下，按照交互意图确定与交互意图匹配的至少一种模态的反馈信息；通过交互控制器，按照至少一种模态的反馈信息，产生与交互动作匹配的可感知反馈。

本实施例中，将针对于交互元素的交互意图与不同模态的反馈信息匹配，使得在交互意图符合交互反馈条件的情况下，能够按照交互意图确定与交互意图匹配的至少一种模态的反馈信息，以通过交互控制器按照至少一种模态的反馈信息，产生与交互动作匹配的可感知反馈，从而能够将针对于交互元素的交互意图和可感知反馈相关联，使得反馈方式更多样化。

在一个实施例中，该装置还包括融合模块；融合模块，用于当反馈信息包括相同模态下不同表现形式的反馈信息时，将相同模态下不同表现形式的反馈信息融合，得到融合反馈信息；

反馈模块1106，还用于通过交互控制器，按照融合反馈信息，产生与交互动作匹配的单模态的可感知反馈。

本实施例中，当反馈信息包括相同模态下不同表现形式的反馈信息时，将相同模态下不同表现形式的反馈信息融合，可以将相同模态下不同表现形式的多种反馈信息整合为相应模态下的融合反馈信息，以通过交互控制器按照融合反馈信息，产生与交互动作匹配的单模态的可感知反馈，能够减少交互控制器的获取及识别多个反馈信息的时间，从而提高可感知反馈的生成效率，使得所产生的可感知反馈更及时。

在一个实施例中，反馈模块1106，还用于在存在多模态的反馈信息的情况下，通过交互控制器，按照不同模态的优先级顺序和多模态的各反馈信息，产生与交互动作匹配的多模态的可感知反馈。

本实施例中，在存在多模态的反馈信息的情况下，通过交互控制器按照不同模态的优先级顺序和多模态的各反馈信息，产生与交互动作匹配的多模态的可感知反馈，从而能够为交互动作提供多模态的可感知反馈，反馈方式更灵活。

在一个实施例中，反馈模块1106，还用于在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，通过交互控制器产生与交互动作匹配的可感知反馈；在虚拟交互场景当前的剧情进度不允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，不触发与交互动作匹配的可感知反馈。

本实施例中，预先在虚拟交互场景设置了允许触发可感知反馈的剧情进度，从而设置了允许触发可感知反馈的时机。在虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，通过交互控制器产生与交互动作匹配的可感知反馈，将当前的剧情进度和交互动作是否符合交互反馈条件，同时作为是否触发可感知反馈的判断条件。在两个条件均满足的情况下，才通过交互控制器产生相应的可感知反馈，从而能够根据需求将可感知反馈应用在不同的剧情中，能够满足不同剧情对可感知反馈的需求，提高可感知反馈的利用的灵活性。在虚拟交互场景当前的剧情进度不允许触发可感知反馈的情况下，当交互动作符合交互反馈条件时，不触发与交互动作匹配的可感知反馈，使得在剧情进度不满足条件的情况下，无论交互动作是否符合交互反馈条件，均不允许触发可感知反馈，有效限制了触发可感知反馈的时机，能够满足不同的应用场景。

在一个实施例中，不同模态取自视感模态、听感模态、触感模态、温感模态、嗅感模态和味感模态构成的模态集合；可感知反馈包括视觉反馈、听觉反馈、触觉反馈、温度反馈、气味反馈和舌感味道反馈中的至少一种。

本实施例中，不同模态取自视感模态、听感模态、触感模态、温感模态、嗅感模态和味感模态构成的模态集合，可感知反馈包括视觉反馈、听觉反馈、触觉反馈、温度反馈、气味反馈和舌感味道反馈中的至少一种，使得交互控制器能够提供多种不同模态对应的多种能够被用户感知的反馈方式，所形成的可感知反馈种类丰富，可感知反馈的反馈形式也多样化，使得用户在虚拟交互场景下所感知到反馈与真实场景下的感受相同，从而用户在虚拟交互场景中进行的交互操作更真实。

上述基于交互控制器的交互装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于交互控制器的交互方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (21)

1.一种基于交互控制器的交互方法，其特征在于，所述方法包括：

显示虚拟交互场景，所述虚拟交互场景包括供交互控制器控制的交互元素；

响应于所述交互控制器的控制事件，触发基于所述交互元素的交互动作；

在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；所述可感知反馈能够由感知主体所感知，且所述可感知反馈的模态与所述感知主体的至少一种感知类别相匹配；

其中，所述虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

2.根据权利要求1所述的方法，其特征在于，所述交互控制器设置有多种传感器，不同种的传感器用于产生不同模态的可感知反馈；

所述在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈，包括：

在所述交互动作符合交互反馈条件的情况下，控制所述多种传感器中与所述交互动作匹配的目标传感器工作，使得所述目标传感器产生与所述交互动作匹配的可感知反馈。

3.根据权利要求2所述的方法，其特征在于，所述在所述交互动作符合交互反馈条件的情况下，控制所述多种传感器中与所述交互动作匹配的目标传感器工作，使得所述目标传感器产生与所述交互动作匹配的可感知反馈，包括：

在所述交互动作符合交互反馈条件的情况下，当所述交互动作匹配到所述多种传感器中的多种目标传感器时，控制所述多种目标传感器分别工作，使得所述多种目标传感器分别产生与所述交互动作匹配且不同模态的可感知反馈。

4.根据权利要求2所述的方法，其特征在于，所述在所述交互动作符合交互反馈条件的情况下，控制所述多种传感器中与所述交互动作匹配的目标传感器工作，使得所述目标传感器产生与所述交互动作匹配的可感知反馈，包括：

在多个所述交互动作符合交互反馈条件的情况下，当多个所述交互动作匹配到所述交互控制器的一种传感器时，通过控制所述一种传感器中的多个目标传感器分别工作，使得所述目标传感器分别产生与多个所述交互动作匹配的多次同模态的可感知反馈。

5.根据权利要求2所述的方法，其特征在于，所述在所述交互动作符合交互反馈条件的情况下，控制所述多种传感器中与所述交互动作匹配的目标传感器工作，使得所述目标传感器产生与所述交互动作匹配的可感知反馈，包括：

在多个所述交互动作符合交互反馈条件的情况下，当多个所述交互动作匹配到所述交互控制器的一种传感器时，通过控制所述一种传感器中的一个目标传感器工作，使得所述一个目标传感器产生多个所述交互动作匹配的可感知反馈中优先级最高的可感知反馈。

6.根据权利要求2所述的方法，其特征在于，所述在所述交互动作符合交互反馈条件的情况下，控制所述多种传感器中与所述交互动作匹配的目标传感器工作，使得所述目标传感器产生与所述交互动作匹配的可感知反馈，包括：

在多个所述交互动作符合交互反馈条件的情况下，当多个所述交互动作匹配到所述交互控制器的一种传感器时，通过控制所述一种传感器中分布在所述交互控制器的手持部的多个目标传感器分别工作，使得所述多个目标传感器分别产生与多个所述交互动作匹配的同模态的可感知反馈，且至少两个所述目标传感器的可感知反馈呈不同表现形式。

7.根据权利要求2至6任一项所述的方法，其特征在于，所述方法还包括：

在所述多种传感器中的任一种传感器故障时，将发生故障的传感器映射至所述多种传感器中使用率最低的正常工作的传感器；

当所述多种传感器中与所述交互动作匹配的目标传感器故障时，控制所述目标传感器所映射的传感器工作，以使得所述交互控制器产生替代可感知反馈；所述替代可感知反馈用于替代与所述交互动作匹配的可感知反馈。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

显示所述交互动作的交互结果，并通过所述交互控制器产生与所述交互结果匹配的可感知反馈；

其中，所述交互结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈。

9.根据权利要求8所述的方法，其特征在于，所述通过所述交互控制器产生与所述交互动作匹配的可感知反馈，包括：

跟随所述交互动作的进度，通过所述交互控制器，产生与所述交互动作匹配的相同模态下不同表现形式的可感知反馈；所述相同模态下不同表现形式的可感知反馈表征所述交互动作的进度；

其中，与所述交互动作匹配的所述可感知反馈的模态，以及与所述交互结果匹配的可感知反馈的模态不同。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

响应于所述交互动作结束，显示跟随所述交互动作产生的关联事件的进度；

在所述关联事件产生相应的事件结果时，通过所述交互控制器产生与所述事件结果匹配的可感知反馈；

其中，所述事件结果在表征交互成功和交互失败的情况下分别匹配不同的可感知反馈。

11.根据权利要求1所述的方法，其特征在于，所述响应于所述交互控制器的控制事件，触发基于所述交互元素的交互动作，包括：

响应于所述交互控制器的控制事件，在所述控制事件作用于所述交互元素时，识别针对所述交互元素的交互意图，触发与所述交互意图匹配的交互动作；

所述在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈，包括：

在所述交互意图符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互意图匹配的可感知反馈。

12.根据权利要求11所述的方法，其特征在于，所述在所述交互意图符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互意图匹配的可感知反馈，包括：

在所述交互意图符合交互反馈条件的情况下，按照所述交互意图确定与所述交互意图匹配的至少一种模态的反馈信息；

通过所述交互控制器，按照所述至少一种模态的反馈信息，产生与所述交互动作匹配的可感知反馈。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

当所述反馈信息包括相同模态下不同表现形式的反馈信息时，将所述相同模态下不同表现形式的反馈信息融合，得到融合反馈信息；

所述通过所述交互控制器，按照所述至少一种模态的反馈信息，产生与所述交互动作匹配的可感知反馈，包括：

通过所述交互控制器，按照所述融合反馈信息，产生与所述交互动作匹配的单模态的可感知反馈。

14.根据权利要求12所述的方法，其特征在于，所述通过所述交互控制器，按照所述至少一种模态的反馈信息，产生与所述交互动作匹配的可感知反馈，包括：

在存在多模态的所述反馈信息的情况下，通过所述交互控制器，按照不同模态的优先级顺序和多模态的各所述反馈信息，产生与所述交互动作匹配的多模态的可感知反馈。

15.根据权利要求1所述的方法，其特征在于，所述在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈，包括：

在所述虚拟交互场景当前的剧情进度允许触发可感知反馈的情况下，当所述交互动作符合交互反馈条件时，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；

所述方法还包括：

在所述虚拟交互场景当前的剧情进度不允许触发可感知反馈的情况下，当所述交互动作符合交互反馈条件时，不触发与所述交互动作匹配的可感知反馈。

16.根据权利要求1至15任一项所述的方法，其特征在于，所述不同模态取自视感模态、听感模态、触感模态、温感模态、嗅感模态和味感模态构成的模态集合；所述可感知反馈包括视觉反馈、听觉反馈、触觉反馈、温度反馈、气味反馈和舌感味道反馈中的至少一种。

17.一种交互控制器，其特征在于，所述交互控制器用于响应于控制事件，触发在虚拟交互场景中基于所述交互元素的交互动作；在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；

其中，所述可感知反馈能够由感知主体所感知，且所述可感知反馈的模态与所述感知主体的至少一种感知类别相匹配；所述交互控制器在所述虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

18.一种基于交互控制器的交互装置，其特征在于，所述装置包括：

显示模块，用于显示虚拟交互场景，所述虚拟交互场景包括供交互控制器控制的交互元素；

触发模块，用于响应于所述交互控制器的控制事件，触发基于所述交互元素的交互动作；

反馈模块，用于在所述交互动作符合交互反馈条件的情况下，通过所述交互控制器产生与所述交互动作匹配的可感知反馈；所述可感知反馈能够由感知主体所感知，且所述可感知反馈的模态与所述感知主体的至少一种感知类别相匹配；

其中，所述虚拟交互场景中触发的满足交互反馈条件的交互动作中，存在至少两种交互动作分别匹配不同模态的可感知反馈。

19.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至16中任一项所述的方法的步骤。

20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至16中任一项所述的方法的步骤。

21.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至16中任一项所述的方法的步骤。