CN117784917A - 交互方法、装置、电子设备、存储介质及计算机程序产品 - Google Patents

Abstract

本公开涉及一种交互方法、装置、电子设备、存储介质及计算机程序产品，方法包括：获取扩展现实设备采集的音频信息；基于所述音频信息，确定用户嘴部动作特征信息；至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息；输出所述扩展现实场景感知信息。其提供了一种新的交互方式，以丰富用户与扩展现实设备的交互方式，满足用户多样化的交互需求，为用户提供身临其境的真实感。

Description

交互方法、装置、电子设备、存储介质及计算机程序产品

技术领域

本公开涉及扩展现实技术领域，尤其涉及一种交互方法、装置、电子设备、存储介质及计算机程序产品。

背景技术

扩展现实(Extended Reality，简称XR)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是AR、VR、MR等多种技术的统称。通过将三者的视觉交互技术相融合，为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。

目前，用户在使用主流扩展现实设备时，主要借助手势或手柄实现与扩展现实设备的交互。此类交互方式局限性大、操作模式单一，无法满足用户多样化的交互需求。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种交互方法、装置、电子设备、存储介质及计算机程序产品。

第一方面，本公开提供了一种交互方法，包括：

获取扩展现实设备采集的音频信息；

基于所述音频信息，确定用户嘴部动作特征信息；

至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息；

输出所述扩展现实场景感知信息。

第二方面，本公开还提供了一种交互装置，包括：

采集模块，用于获取扩展现实设备采集的音频信息；

确定模块，用于基于所述音频信息，确定用户嘴部动作特征信息；

处理模块，用于至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息；

输出模块，用于输出所述扩展现实场景感知信息。

第三方面，本公开还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的交互方法。

第四方面，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的交互方法。

第五方面，本公开还提供了一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的交互方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供的技术方案通过设置获取扩展现实设备采集的音频信息；基于音频信息，确定用户嘴部动作特征信息；至少基于用户嘴部动作特征信息，得到扩展现实场景感知信息；输出扩展现实场景感知信息。本公开实施例提供的技术方案实质是提供一种新的交互方式，以丰富用户与扩展现实设备的交互方式，满足用户多样化的交互需求，为用户提供身临其境的真实感。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种扩展现实终端设备的结构框图；

图2为本公开实施例提供的一种头盔式显示器应用场景的示意图；

图3为本公开实施例提供的一种交互方法的流程图；

图4为本公开实施例提供的另一种交互方法的流程图；

图5为本公开实施例中的一种交互装置的结构示意图；

图6为本公开实施例中的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

扩展现实(Extended Reality，简称XR)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是AR、VR、MR等多种技术的统称。通过将三者的视觉交互技术相融合，为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。

扩展现实终端设备，是可以实现扩展现实效果的终端，通常可以提供为眼镜、头盔式显示器(Head Mount Display，HMD)、隐形眼镜的形态，以用于实现视觉感知和其他形式的感知，当然扩展现实终端设备实现的形态不限于此，根据需要可以进一步小型化或大型化。

扩展现实终端设备可以营造虚拟场景。虚拟场景，是应用程序在电子设备上运行时显示(或提供)的虚拟场景。该虚拟场景可以是对真实世界的仿真环境，也可以是半仿真半虚构的虚拟场景，还可以是纯虚构的虚拟场景。虚拟场景可以是二维虚拟场景、2.5维虚拟场景或者三维虚拟场景中的任意一种，本申请实施例对虚拟场景的维度不加以限定。

图1为本公开实施例提供的一种扩展现实终端设备的结构框图。参见图1，示例性地，扩展现实终端设备为头盔式显示器(Head Mount Display，HMD)。其主要功能模块可以包括但不限于以下的构成：1)检测(模块)：使用各种传感器检测用户的操作命令，并作用于虚拟环境，如跟随用户的视线而不断更新在显示屏上显示的影像，实现用户与虚拟场景的交互，例如基于检测到的用户头部的转动方向来不断更新显示内容；2)反馈(模块)：接收来自传感器的数据，为用户提供实时反馈；3)传感器：一方面接受来自用户的操作命令，并将其作用于虚拟场景；另一方面将操作后产生的结果以各种反馈的形式提供给用户；4)控制模块：对传感器和各种输入/输出装置进行控制，包括获得用户的数据(如动作、语音)和输出感知数据，如图像、振动、温度和声音等，对用户、虚拟环境和现实世界产生作用；5)建模模块：构造虚拟环境的三维模型，还可以包括三维模型中的声音、触感等各种反馈机制。

在扩展现实场景中，用户对目标对象进行选中可以通过控制器实现，该控制器可以为手柄，用户通过对手柄的按键的操作来选中目标对象。当然在另外的实施例中，也可以不使用控制器而使用手势或者语音对扩展现实终端设备中的目标对象进行控制。其中，目标对象为用于在虚拟场景中进行交互的对象，受到用户或机器人程序(例如，基于人工智能的机器人程序)的控制。

头盔式显示器为相对较轻的、在人体工程学上舒适的，并且提供具有低延迟的高分辨率内容。图2为本公开实施例提供的一种头盔式显示器应用场景的示意图。参见图2，扩展现实设备中设置有姿态检测的传感器(如九轴传感器)，用于实时检测扩展现实设备的姿态变化，如果用户佩戴了扩展现实设备，那么当用户头部姿态发生变化时，会将头部的实时姿态传给处理器，以此计算用户的视线在虚拟环境中的注视点，根据注视点计算虚拟环境的三维模型中处于用户注视范围(即虚拟视场)的图像，并在显示屏上显示，使人仿佛在置身于现实环境中观看一样的沉浸式体验。

由于目前，用户与扩展现实设备主要借助手势或手柄进行交互，交互方式局限性大、操作模式单一，无法满足用户多样化的交互需求。

针对于此，图3为本公开实施例提供的一种交互方法的流程图，本实施例可适用于在佩戴扩展现实设备的情况下，用户需要与扩展现实设备进行交互的情况，该方法可以由扩展现实设备执行。扩展现实设备包括但不限于虚拟现实设备、增强现实设备、混合现实设备以及增强虚拟设备等。

在本申请中，用户是指扩展现实设备的佩戴者。

如图3所示，该方法具体可以包括：

S110、获取扩展现实设备采集的音频信息。

用户控制其嘴部肌肉运动，发出声音。利用扩展现实设备中麦克风或其他声音采集装置采集用户发出的声音。

S120、基于音频信息，确定用户嘴部动作特征信息。

用户嘴部动作是指用户发出音频信息中的声音时，其嘴部运动情况。用户嘴部动作特征信息是指描述用户嘴部运动情况的信息。可选地，用户嘴部动作特征信息包括下述中的至少一个：动作类型、动作持续时长、动作幅度以及动作力度。其中，动作类型是指用户嘴部正在做的，或已完成的动作的类别。在一个实施例中，动作类型包括吸气动作或呼气动作。动作力度是指用户完成嘴部动作的过程中，克服阻力的程度。动作幅度是指从动作开始到动作结束的整个过程中，用户嘴部肌肉移动范围。通常情况下，动作力度越大，动作幅度越大。

本步骤的实现方法有多种，本申请对此不作限制。示例性地，本步骤的实现方法包括：对音频信息的声音特征数据进行提取；声音特征数据包括下述中的至少一种：声音频率、声音音色、声音持续时长以及声音响度；基于声音特征数据，确定用户嘴部动作特征信息。用户嘴部动作特征信息包括下述中的至少一种：动作类型、动作持续时长、动作幅度以及动作力度。

声音片段通过对所采集的音频信息的全部内容或部分内容进行截取得到。可选地，可以对音频信息进行降噪处理，对降噪后的音频信息的全部内容或部分内容进行截取，得到声音片段。

可选地，基于声音片段，确定动作类型。示例性地，预先加载声音样本数据库，声音样本数据库包括多个声音样本。不同的声音样本与不同的用户嘴部动作类型对应。将声音片段与预设的声音样本进行比对，确定声音片段对应的用户嘴部动作类型。

可选地，声音样本数据库中的声音样本可以通过录制得到，或者从云端服务器下载公用的声音样本。

进一步地，在声音样本录制环节，指导用户根据提示信息，完成指定嘴部动作。在用户完成指定嘴部动作的过程中，扩展现实设备中的麦克风等声音采集装置采集样本音频信息，将所采集的样本音频信息作为声音样本。

可选地，还可以基于声音频率，确定动作类型。可选地，可以预先建立声音频率和动作类型的关联关系；基于该关联关系，确定与通过音频信息得到的声音频率对应的动作类型。

可选地，基于声音持续时长，确定动作持续时长。可选地，可以直接将声音持续时长作为动作持续时长。也可以，预先建立声音持续时长和动作持续时长的关联关系；基于该关联关系，确定与通过音频信息得到的声音持续时长对应的动作持续时长。可选地，关联关系具体可以为函数关系，即以声音持续时长为自变量，以动作持续时长为因变量的函数关系。

可选地，基于声音响度，确定动作力度。可选地，可以预先建立声音响度和动作力度的关联关系；基于该关联关系，确定与通过音频信息得到的声音响度对应的动作力度。可选地，关联关系具体可以为函数关系，即以声音响度为自变量，以动作力度为因变量的函数关联。

S130、至少基于用户嘴部动作特征信息，得到扩展现实场景感知信息。

其中，扩展现实场景感知信息与当前用户所处扩展现实场景具有关联关系。即，扩展现实场景感知信息能够辅助用户感知其所处的扩展现实场景。

S140、输出扩展现实场景感知信息。

其中，扩展现实场景感知信息包括下述中的至少一种：听觉感知信息、视觉感知信息以及触觉感知信息。其中，听觉感知信息可以为音频信息，音频信息可以通过扩展现实设备中的扬声器播放。视觉感知信息可以为图像信息，图像信息可以通过扩展现实设备中的显示屏播放。图像信息具体可以为静态的图片、动态的图片或视频等。触觉感知信息可以为压力信息、力矩信息、振动信息、或温度信息等。压力信息、力矩信息、振动信息、或温度信息可以由手持设备(如控制器)或可穿戴设备形成。

S130的具体实现方法有多种，本申请对此不作限制。示例性地，从当前用户所处扩展现实场景中的事物中，确定交互对象；确定在真实世界中，当用户嘴部动作特征信息所描述的用户嘴部动作作用于交互对象上，在作用前后交互对象的变化特征信息；基于作用前后交互对象的变化特征信息，确定真实反馈信息；基于真实反馈信息，得到扩展现实场景感知信息。

S130和S140的实质是，将用户当前所处扩展现实场景类比于真实场景，计算将用户嘴部动作作用于扩展现实场景中的事物(即交互对象)后，在真实场景下，交互对象产生的结果。将产生的结果转化为扩展现实场景感知信息，并输出。如此，最终给出与真实场景一致的反馈信息，使得用户感觉自己处于真实的情景下。此处，交互对象特指在扩展现实场景下，用户通过嘴部动作意图作用的对象。例如，若在扩展现实场景中，用户意图吹奏乐器，交互对象为乐器。若在扩展现实场景中，用户意图吹气球，交互对象为气球。若在扩展现实场景中，用户意图吃道具，交互对象为道具。

示例性地，用户所处扩展现实场景为用户站在大树下，有一朵花从树上掉下，并在空中盘旋，即将达到用户嘴部附近时，用户做出吹气动作后，借助扩展现实设备中的显示屏展示花被吹走的图像，使得用户感觉花真的因自己吹出的气流作用而飘走。

上述技术方案通过设置获取扩展现实设备采集的音频信息；基于音频信息，确定用户嘴部动作特征信息；至少基于用户嘴部动作特征信息，得到扩展现实场景感知信息；输出扩展现实场景感知信息。这样设置的实质是提供一种新的交互方式，丰富用户与扩展现实设备交互方式，满足用户多样化的交互需求，为用户提供身临其境的真实感。

在上述各技术方案的基础上，可选地，该方法还包括：获取用户嘴部动作修正信息；基于用户嘴部动作修正信息，对用户嘴部动作特征信息进行修正；S130替换为：至少基于修正后的用户嘴部动作特征信息，得到扩展现实场景感知信息。

用户嘴部动作修正信息是指用于修正、完善用户嘴部动作特征信息的信息。可选地，用户嘴部动作修正信息包括下述中的至少一种：动作类型、动作持续时长、动作幅度、动作力度以及用户意图。

在一些实施例中，用户嘴部动作修正信息和用户嘴部动作特征信息一致，如都包括动作类型、动作持续时长、动作幅度以及动作力度。区别仅在于，二者源于不同的信息处理得到。如用户嘴部动作特征信息基于对音频信息处理得到。用户嘴部动作修正信息基于对压力信息、图像信息或者肌肉电信息等处理得到。

设置基于用户嘴部动作修正信息，对用户嘴部动作特征信息进行修正的原因是，在实际中，仅依赖音频信息，确定用户嘴部动作特征信息，可能存在所确定的用户嘴部动作特征信息不准确的情况。通过对用户嘴部动作特征信息进行修正，可以提高最终得到的用户嘴部动作特征信息的准确率，进而使得最终输出的扩展现实场景感知信息能够模拟真实场景下的反馈信息。

其中，获取用户嘴部动作修正信息的方法有多种，本申请对此不作限制。示例性地，获取用户嘴部动作修正信息包括：获取扩展现实设备中压力传感器采集的用户嘴部气压信息；基于用户嘴部气压信息，确定用户嘴部动作修正信息。其中，气压信息包括气压值，和/或气压值的变化规律。由于用户嘴部运动时，往往伴随气流运动，进而引起用户嘴部附近气压变化。通过采集的用户嘴部气压信息，可以反推用户嘴部动作修正信息。

或者，获取用户嘴部动作修正信息包括：获取扩展现实设备中摄像头采集的用户嘴部图像信息；基于用户嘴部图像信息，确定用户嘴部动作修正信息。由于用户在通过嘴部完成不同动作时，嘴部所呈现的姿态不同，因此可以通过摄像头实时捕捉用户嘴部图像信息，并利用面部识别技术，对用户嘴部图像信息进行处理，得到用户嘴部动作修正信息。

示例性地，在实际中，由于用户所处环境嘈杂，可能出现，扩展现实设备中麦克风等声音采集装置采集的音频信息一部分是由处于用户附近的第二人发出的声音，一部分是由用户本人发出的声音。这种情况下，直接基于该音频信息，得到的用户嘴部动作特征信息与用户嘴部实际动作不相符。此种情况下，如果借助用户嘴部动作修正信息，对用户嘴部动作特征信息进行修正，如通过对某一时段采集的用户嘴部图像信息进行处理，发现用户嘴部未动，可以直接将该时段对应该音频信息丢弃，即不基于该时段采集到的音频信息，得到的用户嘴部动作特征信息。

或者，获取用户嘴部动作修正信息，包括：获取扩展现实设备中的肌肉电传感器采集的用户面部肌肉电信息；肌肉电传感器设置于扩展现实设备的贴脸泡棉内；基于用户面部肌肉电信息，确定用户嘴部动作修正信息。当用户嘴部运动时，骨骼肌兴奋，由于肌纤维动作电位的产生、传导和扩布，而发生电位变化，从而产生肌肉电信息，用肌肉电传感器将骨骼肌兴奋时产生的肌肉电信息进行采集，可以基于肌肉电信息反推出用户嘴部动作修正信息。

此外，还可以采用其他的面部识别技术，来获取用户嘴部动作修正信息。

在上述各技术方案的基础上，可选地，扩展现实场景感知信息随用户嘴部动作特征信息的变化而变化。这样设置的实质是，在同一扩展现实场景下，用户嘴部动作特征信息不同，扩展现实场景感知信息也不同，即扩展现实场景感知信息根据用户嘴部动作特征信息做差异化设置。

示例性地，如扩展现实场景中包括一只燃烧中的蜡烛，该蜡烛本质上为蜡烛的虚拟图像，用户做出轻轻吹气动作时，扩展现实场景中的蜡烛的火焰仅抖动。用户做出用力吹气动作时，扩展现实场景中的蜡烛被吹灭。又例如，扩展现实场景为用户手持乐器吹奏。用户所吹奏的乐器本质上为乐器的虚拟图像，根据用户吹吸气力道和时长进行乐器声音反馈。

图4为本公开实施例提供的另一种交互方法的流程图。参见图4，该交互方法包括：

S210、获取扩展现实设备采集的音频信息。

S220、基于音频信息，确定用户嘴部动作特征信息。

S230、获取用户肢体动作信息。

用户肢体动作信息包括用户肢体在扩展现实空间中的位置、姿态等信息。此处，用户肢体包括用户手部、胳膊、腿以及脚中的一个或多个。

本步骤的实现方法有多种，本申请对此不作限制。示例性地，用户在使用扩展现实设备时，手持扩展现实设备的控制器，通过集成于控制器中的惯性测量单元、陀螺仪等传感器，来获取用户肢体动作信息。或者，用户在使用扩展现实设备时，佩戴可穿戴设备(如手套或手表、护腕等)，可穿戴设备与扩展现实设备的头戴设备通信连接。通过集成于可穿戴设备中的惯性测量单元、陀螺仪等传感器来获取用户肢体动作信息。或者，用户使用扩展现实设备时，通过扩展现实设备中头戴设备的摄像头来采集用户肢体图像，根据用户肢体图像，得到用户肢体动作信息。

S240、基于用户嘴部动作特征信息以及用户肢体动作信息，得到扩展现实场景感知信息，扩展现实场景感知信息与当前用户所处扩展现实场景具有关联关系。

S250、输出扩展现实场景感知信息。

示例性地，扩展现实设备通过其显示屏显示预设画面等方式，以营造扩展现实场景，该扩展现实场景包括可吹奏的乐器。用户通过手势或控制器，拿起该乐器并模拟吹奏乐器时手部按键等动作，同时做出吹气动作，扩展现实设备中麦克风等声音采集装置采集音频信息，并基于该音频信息，确定用户嘴部动作特征信息，再结合用户手部按键等动作，确定并输出音乐。所输出的音乐与在真实场景下，用户手持真实的乐器，以相同的方式手部按键动作进行按键，相同的吹气方式进行吹气，得到的音乐一致。

上述技术方案通过基于用户嘴部动作特征信息以及用户肢体动作信息，对用户当前所处扩展现实场景进行扩展现实处理，得到扩展现实场景感知信息，可以进一步满足用户多样化的交互需求，为用户提供身临其境的真实感。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

图5为本公开实施例中的一种交互装置的结构示意图。本公开实施例所提供的交互装置可以配置于扩展现实设备中。参见图5，该交互装置具体包括：

采集模块510，用于获取扩展现实设备采集的音频信息；

确定模块520，用于基于所述音频信息，确定用户嘴部动作特征信息；

处理模块530，用于至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息；

输出模块540，用于输出所述扩展现实场景感知信息。

进一步地，确定模块520，用于：

对所述音频信息的声音特征数据进行提取；所述声音特征数据包括下述中的至少一种：声音片段、声音频率、声音音色、声音持续时长以及声音响度；

基于所述声音特征数据，确定所述用户嘴部动作特征信息；所述用户嘴部动作特征信息包括下述中的至少一种：动作类型、动作持续时长、动作幅度以及动作力度。

进一步地，该装置还包括修正模块，修正模块用于：

获取用户嘴部动作修正信息；

基于所述用户嘴部动作修正信息，对所述用户嘴部动作特征信息进行修正；

确定模块520，用于至少基于所述修正后的用户嘴部动作特征信息，得到扩展现实场景感知信息。

进一步地，所述扩展现实场景感知信息随所述用户嘴部动作特征信息的变化而变化。

进一步地，修正模块还用于：

获取所述扩展现实设备中压力传感器采集的用户嘴部气压信息；

基于所述用户嘴部气压信息，确定所述用户嘴部动作修正信息。

进一步地，修正模块还用于：

获取所述扩展现实设备中摄像头采集的用户嘴部图像信息；

基于所述用户嘴部图像信息，确定所述用户嘴部动作修正信息。

进一步地，修正模块还用于：

获取所述扩展现实设备中的肌肉电传感器采集的用户面部肌肉电信息；所述肌肉电传感器设置于所述扩展现实设备的贴脸泡棉内；

基于所述用户面部肌肉电信息，确定所述用户嘴部动作修正信息。

进一步地，该装置还包括获取模块，获取模块用于：

获取用户肢体动作信息；

确定模块520，用于基于用户嘴部动作特征信息以及用户肢体动作信息，得到扩展现实场景感知信息。

进一步地，所述扩展现实场景感知信息包括下述中的至少一种：

听觉感知信息、视觉感知信息以及触觉感知信息。

本公开实施例提供的交互装置，可执行本公开方法实施例所提供的交互方法中扩展现实设备所执行的步骤，具备执行步骤和有益效果，此处不再赘述。

图6为本公开实施例中的一种电子设备的结构示意图。下面具体参考图6，其示出了适于用来实现本公开实施例中的电子设备1000的结构示意图。本公开实施例中的电子设备1000可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)、可穿戴电子设备等等的移动终端以及诸如数字TV、台式计算机、智能家居设备等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理以实现如本公开所述的实施例的交互方法。在RAM 1003中，还存储有电子设备1000操作所需的各种程序和信息。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许电子设备1000与其他设备进行无线或有线通信以交换信息。虽然图6示出了具有各种装置的电子设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码，从而实现如上所述的交互方法。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1008被安装，或者从ROM 1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的信息信号，其中承载了计算机可读的程序代码。这种传播的信息信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字信息通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：

获取扩展现实设备采集的音频信息；

基于所述音频信息，确定用户嘴部动作特征信息；

至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息；

输出所述扩展现实场景感知信息。

可选的，当上述一个或者多个程序被该电子设备执行时，该电子设备还可以执行上述实施例所述的其他步骤。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，本公开提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开提供的任一所述的交互方法。

根据本公开的一个或多个实施例，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开提供的任一所述的交互方法。

本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的交互方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种交互方法，其特征在于，包括：

获取扩展现实设备采集的音频信息；

基于所述音频信息，确定用户嘴部动作特征信息；

至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息；

输出所述扩展现实场景感知信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述音频信息，确定用户嘴部动作信息，包括：

对所述音频信息的声音特征数据进行提取；所述声音特征数据包括下述中的至少一种：声音片段、声音频率、声音音色、声音持续时长以及声音响度；

基于所述声音特征数据，确定所述用户嘴部动作特征信息；所述用户嘴部动作特征信息包括下述中的至少一种：动作类型、动作持续时长、动作幅度以及动作力度。

3.根据权利要求1所述的方法，其特征在于，还包括：

获取用户嘴部动作修正信息；

基于所述用户嘴部动作修正信息，对所述用户嘴部动作特征信息进行修正；

所述至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息，包括：

至少基于修正后的所述用户嘴部动作特征信息，得到扩展现实场景感知信息。

4.根据权利要求3所述的方法，其特征在于，

所述扩展现实场景感知信息随所述用户嘴部动作特征信息的变化而变化。

5.根据权利要求3所述的方法，其特征在于，所述获取用户嘴部动作修正信息，包括：

获取所述扩展现实设备中压力传感器采集的用户嘴部气压信息；

基于所述用户嘴部气压信息，确定所述用户嘴部动作修正信息。

6.根据权利要求3所述的方法，其特征在于，所述获取用户嘴部动作修正信息，包括：

获取所述扩展现实设备中摄像头采集的用户嘴部图像信息；

基于所述用户嘴部图像信息，确定所述用户嘴部动作修正信息。

7.根据权利要求3所述的方法，其特征在于，所述获取用户嘴部动作修正信息，包括：

获取所述扩展现实设备中的肌肉电传感器采集的用户面部肌肉电信息；所述肌肉电传感器设置于所述扩展现实设备的贴脸泡棉内；

基于所述用户面部肌肉电信息，确定所述用户嘴部动作修正信息。

8.根据权利要求1中所述的方法，其特征在于，还包括：

获取用户肢体动作信息；

所述至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息，包括：

基于用户嘴部动作特征信息以及用户肢体动作信息，得到扩展现实场景感知信息。

9.根据权利要求1中所述的方法，其特征在于，所述扩展现实场景感知信息包括下述中的至少一种：

听觉感知信息、视觉感知信息以及触觉感知信息。

10.一种交互装置，其特征在于，包括：

采集模块，用于获取扩展现实设备采集的音频信息；

确定模块，用于基于所述音频信息，确定用户嘴部动作特征信息；

处理模块，用于至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息；

输出模块，用于输出所述扩展现实场景感知信息。

11.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1-9中任一项所述的方法。