CN117826982A - 一种基于用户位姿计算的实时音效交互系统 - Google Patents

Abstract

本申请实施例提供了一种基于用户位姿计算的实时音效交互系统，属于沉浸式交互技术领域，包括定位系统模块根据用户在场景中的三维空间坐标点获取用户的位置和姿势信息，标准服务组件模块将IoT设备连接到互联网、局域网或蓝牙，让IoT设备与其它设备进行无线网络通信或蓝牙通信，同时进行数据存储，终端设备模块对投影画面进行播放，将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算，对播放音频的声学属性和参数进行修改、播放，本申请实施例能对现有沉浸式场景交互方案进行改进和优化，完整实现了针对用户位姿信息捕获、数据传输、音频播放规则及方位解析、实时音效计算及播放、影像计算及投影的交互方案。

Description

一种基于用户位姿计算的实时音效交互系统

技术领域

本申请涉及属于沉浸式交互技术领域，具体地说，涉及基于用户位姿计算的实时音效交互系统。

背景技术

目前，在沉浸式场景应用领域目前主要有四类常用的公知技术：虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)、混合现实(Mixed Reality，MR)和360度视频与音频；其中，虚拟现实技术是利用头戴式显示器、追踪设备和交互设备等技术，将用户完全沉浸到计算机生成的虚拟环境中，用户可以通过手柄、手套或其他控制器来操作和探索虚拟环境；增强现实技术是通过智能手机、平板电脑或AR眼镜等设备，将虚拟元素叠加在现实世界中，AR技术利用摄像头和传感器来感知和识别用户的周围环境，并通过显示设备将虚拟内容与现实世界进行融合，这使得用户可以在真实环境中看到虚拟物体、信息或图像，与它们进行互动；混合现实技术是将虚拟现实和增强现实技术相结合，创造出一种将真实世界与虚拟内容进行融合的全新体验，用户穿戴专用的头戴设备，该设备结合了虚拟现实的高度沉浸感和增强现实的现实环境感知能力，通过实时感知用户的位置和周围环境，将虚拟对象与真实物体进行交互，使用户能够与虚拟物体进行实时互动；360度视频和全景音频技术可以提供沉浸式的观影和听觉体验，通过特殊的摄影设备，捕捉到全方位的视频画面和环绕声音，使观众感觉自己置身于拍摄场景中。

但是现有技术存在以下问题，传统的交互方案通常使用固定的音响系统来播放预设的音效，无法灵活地根据场景和用户的行为实时调整音效，这导致了音效与真实场景之间的脱节，无法提供高度还原的沉浸式音效体验，用户无法真实感受到身临其境的声音效果，影响了游戏和体育场景的沉浸感和真实感；在存在多名用户的场景中，现有技术无法根据不同用户的位姿和位置信息来定制音效，每个用户可能具有不同的位置、姿势和视角，然而，现有技术无法区分不同用户并针对其个体化的位姿提供定制的音效体验；在一些情况下，使用音响等外部设备可能会对不同场景之间的用户造成干扰，例如，在文化博物馆等多个场景中，使用音响设备来播放音效可能会导致音效的交叉干扰，使用户难以专注于自己所处的特定场景，从而降低了交互的质量和体验现有沉浸式交互场景的投影方案都是针对固定大小的场馆，一旦场地大小发生变化就不具有兼容性与扩展性，无法针对不同大小的场地来实现效果最优的投影方案，同时如果存在较大的游戏、体育场景，不同用户的视野范围是不一样的，但传统方案由于场地大小受限且固定，无法满足某些场景下用户视野范围不同的特点，从而让用户失去一定的真实感。

在背景技术中公开的上述信息仅用于加强对本申请的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。

发明内容

本申请为解决上述问题和技术缺陷，本申请实施例采用如下的技术方案，基于用户位姿计算的实时音效交互系统，包括：

定位系统模块，用于根据用户在场景中的三维空间坐标点获取用户的位置和姿势信息；

标准服务组件模块，用于将IoT设备连接到互联网、局域网或蓝牙，让IoT设备与其它设备进行无线网络通信或蓝牙通信，同时进行数据存储；

终端设备模块,用于对投影画面进行播放，将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算，对播放音频的声学属性和参数进行修改、播放。

优选地，所述终端设备模块包括智能手表、骨传导蓝牙耳机、红外双目摄像头、传感器、墙壁投影仪和地面投影仪。

进一步地，所述定位系统模块是根据智能手表和骨传导蓝牙耳机的位置点或其它外置模块导入的位置点生成用户在场景中的三维空间坐标点。

更进一步地，所述定位系统模块是通过多个红外双目摄像头和传感器计算用户与其它用户以及场景设备之间的空间位置关系和遮挡关系，最终得到用户的位置和姿势信息。

进一步地，所述终端设备模块内的各个设备与IoT设备连接时会分别获取鉴权文件，通过鉴权文件获得各自设备需要的状态和信息并进行IoT配置，随后和场景中其它设备进行无线通信等功能，并将采集到的数据传输到设备上进行处理。

进一步地，所述将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算是获取用户的朝向和位置以及场景中目标声源位置，骨传导蓝牙耳机计算目标声源相对于目标用户的各项声学属性，对目标声源原有音频文件中的各项声学属性进行修改，合成符合该用户在当前位置和朝向的定制音频文件，实现不同位置不同音效的沉浸式体验感。

更进一步地，所述目标声源的位置包括绝对位置和相对位置，所述声学属性包括音调、声相、衰减率、全景和其它声学属性。

进一步地，所述标准服务组件模块支持实时流处理功能，能够使用户所佩戴的骨传导蓝牙耳机根据场景实时计算生成的媒体数据流，避免音频文件在不同设备之间进行传输、计算，实现实时的立体声音频播放，达到不同位置不同音效的沉浸式效果。

进一步地，所述终端设备模块还包括影像投影系统，影像投影系统模块会根据场景不同的场地大小、设备数量、位置来采取不同的投影方案满足不同的投影需求，针对不同领域的影像进行划分、3D画面渲染和边缘融合处理，将处理后的影像分配到不同的墙壁投影仪和地面投影仪上进行投影。

更进一步地，所在终端设备模块在需要触发智能手表的显示或震动时，标准服务组件模块会生成相应的控制指令，智能手表收到控制指令后，根据控制指令执行相应的操作，墙壁投影仪和地面投影仪也会根据标准服务组件模块的控制指令来实时切换对应的定制动画特效。

基于用户位姿计算的实时音效交互系统，通过将软硬件技术相结合，实现了基于位姿的实时语音交互系统，在硬件层面，针对不同大小的场地提供不同的硬件设备放置方案，并为每位用户提供骨传导蓝牙耳机和智能手持设备；在软件层面进行开发，能够针对用户的位置、朝向自主动态计算游戏、体育场景的音效并进行播放，同时针对不同大小的场馆设计不同的影响投影方案，并提供交互时智能设备的震动效果，从而解决现有技术方案中位姿感知差、音效不真实、易互相干扰、投影效果不具有扩展性的问题，从影像投影、音频交互等多个方面对现有沉浸式场景交互方案进行改进和优化，完整实现了针对用户的位姿信息捕获、数据传输、音频播放规则及方位解析、实时音效计算及播放、影像计算及投影的交互方案。

相比于现有技术，本申请实施例的有益效果为：

(1)本申请针对音频播放规则和音频播放方位进行精准解析，通过用户的位置、姿势进行计算，能更好地还原真实场景中的音效，然后使用骨传导蓝牙耳机将音效传递给用户，保证音效交互的真实感和沉浸感；

(2)本申请以骨传导蓝牙耳机和手表设备为载体，协同场景中的多个摄像头，使用定位系统来全方位逐个判断用户的位置、姿势，针对每名用户的不同情况分别计算实时的音效，保证每位用户所听到的声音都是最符合他所在位置在真实场景中的音效，并通过IoT设备进行无线传输，避免音效、投影等数据延迟；

(3)本申请在播放音效时，使用骨传导蓝牙耳机不会对不同场景之间的用户造成干扰，影响交互体验，每名用户都只会听到针对自己位姿进行计算的音效和一些环境音，不存在音响等外放设备，可以完全避免不同场景之间相互影响的问题，同时骨传导蓝牙耳机不用入耳、方便清洗，避免了卫生问题，不会影响多名用户之间互相交流以及某些必要时候和场外工作人员的交流；

(4)本申请设计不同的硬件方案以及影像投影算法，适配不同大小的场地，影像投影系统会根据场馆大小来计算最合适的投影方案，针对游戏、体育影像进行划分、边缘融合等处理，并将处理后的影像分配到不同的投影仪上进行投影，提高了方案的兼容性和可扩展性，同时针对不同用户所处的位置，能够将其所在位置附近的屏幕也进行定制渲染，保证用户的沉浸式体验。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例的系统结构示意图；

图2为本申请实施例的系统功能模块图；

图3为本申请实施例的音效计算示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例，通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例，基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

如图1所示，基于用户位姿计算的实时音效交互系统，包括：

定位系统模块，用于根据用户在场景中的三维空间坐标点获取用户的位置和姿势信息，根据智能手表和骨传导蓝牙耳机的位置点或其它外置模块导入的位置点生成用户在场景中的三维空间坐标点，通过多个红外双目摄像头和传感器计算用户与其它用户以及场景设备之间的空间位置关系和遮挡关系，最终得到用户的位置和姿势信息。

标准服务组件模块，用于将IoT设备连接到互联网、局域网或蓝牙，让IoT设备与其它设备进行无线网络通信或蓝牙通信，同时进行数据存储。

标准服务组件模块支持实时流处理功能，能够使用户所佩戴的骨传导蓝牙耳机根据场景实时计算生成的媒体数据流，避免音频文件在不同设备之间进行传输、计算，实现实时的立体声音频播放，达到不同位置不同音效的沉浸式效果。

终端设备模块,用于对投影画面进行播放，将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算，对播放音频的声学属性和参数进行修改、播放。

终端设备模块包括智能手表、骨传导蓝牙耳机、红外双目摄像头、传感器、墙壁投影仪和地面投影仪，各个设备与IoT设备连接时会分别获取鉴权文件，通过鉴权文件获得各自设备需要的状态和信息并进行IoT配置，随后和场景中其它设备进行无线通信等功能，并将采集到的数据传输到设备上进行处理。

将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算是获取用户的朝向和位置以及场景中目标声源位置，骨传导蓝牙耳机计算目标声源相对于目标用户的各项声学属性，对目标声源原有音频文件中的各项声学属性进行修改，合成符合该用户在当前位置和朝向的定制音频文件，实现不同位置不同音效的沉浸式体验感，目标声源的位置包括绝对位置和相对位置，所述声学属性包括音调、声相、衰减率、全景和其它声学属性。

终端设备模块还包括影像投影系统，影像投影系统模块会根据场景不同的场地大小、设备数量、位置来采取不同的投影方案满足不同的投影需求，针对不同领域的影像进行划分、3D画面渲染和边缘融合处理，将处理后的影像分配到不同的墙壁投影仪和地面投影仪上进行投影，在需要触发智能手表的显示或震动时，标准服务组件模块会生成相应的控制指令，智能手表收到控制指令后，根据控制指令执行相应的操作，墙壁投影仪和地面投影仪也会根据标准服务组件模块的控制指令来实时切换对应的定制动画特效。

实施例2

如图2所示，首先用户佩戴本提案所提供的智能手表和骨传导蓝牙耳机进入场景中，此时场景中的投影和屏幕上都会展示对应的游戏、体育情景或是文博旅游等界面，通过3D画面渲染和投影画面融合来实现。

针对不同大小的场地(超小型场地、小型场地、大型场地、超大型场地)设计了不同的设备布置方案，例如在场次尺寸为8-10米的小型场地中，放置14台投影仪分别是8台墙壁投影仪和6台地面，以及8台相机；而在场次尺寸为15-18米的超大型场地中会放置27台投影仪包括12台墙壁投影仪和15台地面投影仪，以及16台相机，影像投影系统会根据不同的场地大小、设备数量、位置来采取不同的投影方案以满足不同的投影需求，针对游戏、体育、文博影像进行划分、边缘融合等处理，并将处理后的影像分配到不同的投影仪上进行投影。

在IoT设备连接到互联网或局域网以及蓝牙之后就可以和其他智能设备进行通信，场景中的多个红外双目摄像头、传感器和手表、耳机等设备一起分别获取鉴权文件以获得各自设备需要的状态和信息进行IoT配置，随后即可和场馆中的设备进行无线通信等功能，并将采集到的数据传输到设备上进行处理。

同时定位系统会根据手表和耳机的位置形成用户在三维空间中的坐标点，并通过多个红外双目摄像头的拍摄和传感器来计算用户之间以及用户与场景中设备的空间位置关系以及遮挡关系(如果存在的话)来获取用户的位置和姿势信息，之后在终端设备上通过获取到的位姿等数据信息并传递给标准服务组件，与其他软硬件技术对接之后来对音频播放规则以及音频播放方位融合用户的位姿信息进行解析并计算。

在通过定位系统模块获取到用户的位置和朝向之后，如图3音效计算示意图所示，系统所提供的耳机会结合场景中声源位置共同来计算该声源相对于该用户的各种声学属性，如所示的音调、声相、衰减率等重要参数，随后合成该用户在这个位置、朝向下的音频，还原声学场景中属于最真实的音频文件，以实现不同位置不同音效的沉浸式体验感。

图3中的Pan为Panoramatic(全景)的简称，是指调整声音在立体声或多声道系统中的平移，以创造出不同的声场效果和听觉体验；

Cone是指扬声器或音箱中的振动膜结构，通常用于将电信号转换为声音信号；

Attenuation Model在声学领域是指描述声波传播过程中衰减效应的数学模型；

Doppler Factor是指当声源和接收器相对运动时，观察到的声音频率发送变化的现象；

RollOff是指声音频率响应或滤波器的衰减速率。

同时流媒体服务组件支持实时的流处理功能，例如实时音频，用户所佩戴的耳机能够处理根据场景实时计算生成的媒体数据流，避免音频文件在不同设备之间进行传输、计算，以实现实时的立体声音频播放，并达到不同位置不同音效的沉浸式效果。

根据所在场景在算法确定需要触发手表的显示或震动之后，就会生成相应的控制指令，手表收到这些指令之后，根据指令执行相应的操作，例如显示该用户在该场景下特定的文本或图像、震动，随着不同用户在游戏或体育场景中的进行，本系统的屏幕、投影也会根据流媒体服务的指令来实时切换对应的定制动画特效，从而实现不同用户在音频和场景画面两方面都不一样的体验。

在本申请及其实施例的描述中，需要理解的是，术语“顶”、“底”、“高度”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请及其实施例中，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在本申请及其实施例中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

上文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，上文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于用户位姿计算的实时音效交互系统，其特征在于，包括：

定位系统模块，用于根据用户在场景中的三维空间坐标点获取用户的位置和姿势信息；

标准服务组件模块，用于将IoT设备连接到互联网、局域网或蓝牙，让IoT设备与其它设备进行无线网络通信或蓝牙通信，同时进行数据存储；

终端设备模块,用于对投影画面进行播放，将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算，对播放音频的声学属性和参数进行修改、播放。

2.根据权利要求1所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块包括智能手表、骨传导蓝牙耳机、红外双目摄像头、传感器、墙壁投影仪和地面投影仪。

3.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述定位系统模块是根据智能手表和骨传导蓝牙耳机的位置点或其它外置模块导入的位置点生成用户在场景中的三维空间坐标点。

4.根据权利要求3所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述定位系统模块是通过多个红外双目摄像头和传感器计算用户与其它用户以及场景设备之间的空间位置关系和遮挡关系，最终得到用户的位置和姿势信息。

5.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块内的各个设备与IoT设备连接时会分别获取鉴权文件，通过鉴权文件获得各自设备需要的状态和信息并进行IoT配置，随后和场景中其它设备进行无线通信等功能，并将采集到的数据传输到设备上进行处理。

6.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算是获取用户的朝向和位置以及场景中目标声源位置，骨传导蓝牙耳机计算目标声源相对于目标用户的各项声学属性，对目标声源原有音频文件中的各项声学属性进行修改，合成符合该用户在当前位置和朝向的定制音频文件，实现不同位置不同音效的沉浸式体验感。

7.根据权利要求6所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述目标声源的位置包括绝对位置和相对位置，所述声学属性包括音调、声相、衰减率、全景和其它声学属性。

8.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述标准服务组件模块支持实时流处理功能，能够使用户所佩戴的骨传导蓝牙耳机根据场景实时计算生成的媒体数据流，避免音频文件在不同设备之间进行传输、计算，实现实时的立体声音频播放，达到不同位置不同音效的沉浸式效果。

9.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块还包括影像投影系统，影像投影系统模块会根据场景不同的场地大小、设备数量、位置来采取不同的投影方案满足不同的投影需求，针对不同领域的影像进行划分、3D画面渲染和边缘融合处理，将处理后的影像分配到不同的墙壁投影仪和地面投影仪上进行投影。

10.根据权利要求9所述的基于用户位姿计算的实时音效交互系统，其特征在于，所在终端设备模块在需要触发智能手表的显示或震动时，标准服务组件模块会生成相应的控制指令，智能手表收到控制指令后，根据控制指令执行相应的操作，墙壁投影仪和地面投影仪也会根据标准服务组件模块的控制指令来实时切换对应的定制动画特效。