CN107077318A - 一种声音处理方法、装置、电子设备及计算机程序产品 - Google Patents

Abstract

本发明公开了一种声音处理方法、装置、电子设备及计算机程序产品。其中，该方法包括：确定实时场景中人体模型的左耳位置和右耳位置；模拟实时场景中需要播放的音频在左耳位置处的音效作为左耳音频输出，模拟实时场景中需要播放的音频在右耳位置处的音效作为右耳音频输出。通过本发明，能够实现时仿真场景中人体模型的左耳位置和右耳位置的声音信息，并传输给耳机，以得到最真实的全景声。

Description

一种声音处理方法、装置、电子设备及计算机程序产品

技术领域

本发明实施例涉及音频处理技术领域，特别是涉及一种声音处理方法、装置、电子设备及计算机程序产品。

背景技术

目前3D游戏以及虚拟现实/增强现实(VR/AR)能够实现360度的视觉呈现，真实与虚拟的混合，从视觉上将用户体验带到了一个新的高度。

然而，虽然视觉上做到了近乎真实的全景感受，听觉上离真实却还有明显差距，在头部转动的时候，声音没有明显变化，或者虽然有变化却感觉并不真实，更像模拟出来的3D音效的体验，定位感较差。

发明内容

本发明实施例提供一种声音处理方法、装置、电子设备及计算机程序产品，主要解决的技术问题是提高输出的声音的真实性。

为解决上述技术问题，本发明实施例采用的一个技术方案是：提供一种声音处理方法，包括：确定实时场景中人体模型的左耳位置和右耳位置；模拟实时场景中需要播放的音频在左耳位置处的音效作为左耳音频输出，模拟实时场景中需要播放的音频在右耳位置处的音效作为右耳音频输出。

其中，所述确定实时场景中人体模型的左耳位置和右耳位置，包括：确定人体模型的位置以及朝向；根据人体模型的位置以及朝向确定人体模型的左耳位置和右耳位置。

其中，所述根据所述位置和朝向确定人体模型的左耳位置和右耳位置，包括：根据人体模型的位置以及朝向确定人头位置和人头朝向；在相应的人头位置上植入一个具有所述人头朝向的人头模型；获取人头模型上的左耳位置作为人体模型的左耳位置，获取人头模型上的右耳位置作为人体模型的右耳位置。

其中，所述模拟实时场景中需要播放的音频在左耳位置处的音效，包括：根据实时场景中的各个物体的材质以及发声点相对于左耳的方位，对相应发声点位置对应的音频进行处理得到在左耳位置处的音效；所述模拟实时场景中需要播放的音频在右耳位置处的音效，包括：根据实时场景中的各个物体的材质以及发声点相对于右耳的方位，对相应发声点位置对应的音频进行处理得到在右耳位置处的音效。

其中，所述场景为游戏场景。

为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种声音处理装置，包括：定位模块，用于确定实时场景中人体模型的左耳和右耳位置；模拟模块，用于模拟实时场景中需要播放的音频在左耳位置处的音效作为左耳音频输出，模拟实时场景中需要播放的音频在右耳位置处的音效作为右耳音频输出。

其中，所述定位模块用于确定人体模型的位置以及朝向，并根据人体模型的位置以及朝向确定人体模型的左耳位置和右耳位置。

其中，所述定位模块用于根据人体模型的位置以及朝向确定人头位置和人头朝向，在相应的人头位置上植入一个具有所述人头朝向的人头模型，以及获取人头模型上的左耳位置作为人体模型的左耳位置，获取人头模型上的右耳位置作为人体模型的右耳位置。

其中，所述模拟模块用于根据实时场景中的各个物体的材质以及发声点相对于左耳的方位，对相应发声点位置对应的音频进行处理得到在左耳位置处的音效；还用于根据实时场景中的各个物体的材质以及发声点相对于右耳的方位，对相应发声点位置对应的音频进行处理得到在右耳位置处的音效。

为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种电子设备，包括：至少一个处理器；存储器，所述存储器与处理器连接，所述存储器存储有可被所述至少一个处理器执行的计算机可执行指令，所述计算机可执行指令被所述至少一个处理器执行，以使所述至少一个处理器用于执行上述的声音处理方法。

其中，所述电子设备为增强现实设备或者虚拟现实设备。

为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算执机行上述的声音处理方法。

本发明实施例的有益效果是：区别于现有技术的情况，本发明实施例中的声音处理方法、装置、电子设备及计算机程序产品，通过每一个原始发声点的位置和声音等信息，实时仿真空间中HATS模型录音点位置的声音信息，并传输给耳机，以得到最真实的全景声。

附图说明

图1是本发明实施例中一种声音处理方法的流程示意图；

图2是本发明实施例中的一种声音处理方法应用于增强现实游戏场景的状态示意图；

图3是在图2的场景下确定人体模型的左耳、右耳位置的示意图；

图4是本发明实施例中的一种声音处理方法中根据人体模型的位置以及朝向确定人体模型的左耳位置和右耳位置的方法流程示意图；

图5是本发明实施例中的一种声音处理装置的结构示意图；

图6是本发明实施例中的一种实现种声音处理方法的电子设备的结构示意图。

具体实施例

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，是本发明实施例中一种声音处理方法的流程示意图。该实施例示出的方法包括：

步骤S10，确定实时场景中人体模型的左耳位置和右耳位置。

其中，该场景为游戏场景。

确定实时场景中人体模型的左耳位置和右耳位置，具体为：确定人体模型的位置以及朝向，并根据人体模型的位置以及朝向确定人体模型的左耳位置和右耳位置。

请同时参阅图2，具体地，将人体躯干模型的双耳在场景三维模型中的位置设置为仿真点，实时获取该场景中各声音对象在该场景三维模型的三维坐标系中的三维坐标值和音频信息，以及当前时刻仿真点在场景三维模型的三维坐标系中的三维坐标值和角度。

在该场景地图中将用户的位置换成一个虚拟的头部可转动的HATS模型(Head andTorso Simulator，人头与躯干模型)(与用户上身重合)，任何时候将HATS头部两耳中心在三维立体地图中的实时位置标记为(0，0，0)。人物始终在画面中心，走动过程中实时变换地图中所有其他位置的坐标。根据使用场景的不同，头部可转动的能力也会不同，如传统3D游戏中，人的头部只能上下转动，不能够摆动或者左右转动(左右转动是和身体一起转动)。而最新的VR/AR场景中，头部可以以三轴进行转动。

进一步地，请参阅图4，根据人体模型的位置以及朝向确定人体模型的左耳位置和右耳位置，包括：

步骤S31，根据人体模型的位置以及朝向确定人头位置和人头朝向。

步骤S32，在相应的人头位置上植入一个具有所述人头朝向的人头模型。

步骤S33，获取人头模型上的左耳位置作为人体模型的左耳位置，获取人头模型上的右耳位置作为人体模型的右耳位置。

请再次参阅图2，具体地，用户位置用HATS模型替换，头部两耳连线中心点坐标设置为(0，0，0)，躯干方向为以Z为轴转动a度(假设躯干正方向为正前方与X轴正方向重合，记为0度。假设以头顶方向与Z轴重合，并且面部正前方与X轴重合为头部的正方向。两耳间距为d，则可知在头部正方向的情况下，左右耳坐标分别为(0，d/2，0)和(0，-d/2，0)，脸部面向X轴正方向，记为0度。

步骤S11，模拟实时场景中需要播放的音频在左耳位置处的音效作为左耳音频输出，模拟实时场景中需要播放的音频在右耳位置处的音效作为右耳音频输出。

其中，模拟实时场景中需要播放的音频在左耳位置处的音效，具体为：根据实时场景中的各个物体的材质以及发声点相对于左耳的方位，对相应发声点位置对应的音频进行处理得到在左耳位置处的音效。

其中，模拟实时场景中需要播放的音频在右耳位置处的音效，具体为：根据实时场景中的各个物体的材质以及发声点相对于右耳的方位，对相应发声点位置对应的音频进行处理得到在右耳位置处的音效。

具体地，根据场景中的三维立体模型信息，在人物所处位置和方向实时模拟一个头部可转动的HATS模型，按照人体躯干模型录音的方式，取HATS模型左右耳放置耳机的位置为实时仿真点。以实时的三维立体场景模型信息，将各个发声点声音、位置、方向等信息、HATS模型的位置、方向、头部转动角度等信息作为输入，通过仿真计算得到HATS模型录音记录点的音频信息，并将此音频直接输出给用户佩戴的耳机，即可得到最真实的全景声音体验。

以上内容，通过记录每一个原始发声点的声音、位置、方向，实时仿真计算空间中头部可转动的HATS模型人头录双耳位置的声音信息，并传输给耳机，以得到最真实的全景声。

请再次参阅图2，下面以该场景为例对本发明实施例的声音处理方法进行解释说明。在本实施例中，该场景为基于虚拟现实(VR)射击游戏场景。

在某一特定时刻，用户在该场景中，周围不同位置可能有脚步声、说话声、枪声、爆炸声等种种声音，因为这些信息都是由游戏本身控制的，所以具体坐标位置、方向、源头的具体声音都是已知的。

将人体躯干模型的双耳在场景三维模型中的位置设置为仿真点，实时获取该场景中各声音对象在该场景三维模型的三维坐标系中的三维坐标值和音频信息，以及当前时刻仿真点在场景三维模型的三维坐标系中的三维坐标值和角度。

具体地，在该场景地图中将用户的位置换成一个虚拟的头部可转动的HATS人体躯干模型(与用户上身重合)，任何时候将HATS头部两耳中心在三维立体地图中的实时位置标记为(0，0，0)。人物始终在画面中心，走动过程中实时变换地图中所有其他位置的坐标。例如，人物站立时，头部两耳中心在三维立体地图中的实时位置为(0，0，0)，旁边地上一个手雷位置为(3，5，-1.7)，而当人物蹲下时，其头部两耳中心在三维立体地图中的实时位置依然为(0，0，0)，而手雷位置可能变更为(3，5，-0.6)。(人物蹲下使得Z轴位置发生变化，人物头部与地上手雷的位置在Z轴上接近了)。

请再次参阅图2，仍以如上场景为例，X，Y轴为水平面，Z为垂直于水平面的高度轴：

用户位置用HATS模型替换，头部两耳连线中心点坐标设置为(0，0，0)，躯干方向为以Z轴转动a度(假设躯干正方向为正前方与X轴正方向重合，记为0度)。

假设以头顶方向与Z轴重合，并且面部正前方与X轴重合为头部的正方向。两耳间距为d，则可知在头部正方向的情况下，左右耳坐标分别为(0，d/2，0)和(0，-d/2，0)，脸部面向X轴正方向，记为0度。

请同时参阅图2、图3，假设某时刻两耳连线与X，Y，Z三轴的角度分别为α，β，γ。根据数学原理可知，两耳坐标分别为(cosα*d/2，cosβ*d/2，cosγ*d/2)和(cos(π–α)*d/2，cos(π–β)*d/2，cos(π–γ)*d/2)，左右耳始终为轴对称。

如上，与三轴的夹角α，β，γ，以及面部朝向，躯干朝向通过当前游戏或体验设备的动作传感器即可直接获得(如手机的g-sensor，陀螺仪，地磁传感器)。

在该场景地图中的三维坐标，各个发声点的声音、坐标、方向也都是已知，实时计算得到左右耳位置(cosα*d/2，cosβ*d/2，cosγ*d/2)和(cos(π–α)*d/2，cos(π–β)*d/2，cos(π–γ)*d/2)的仿真点的仿真声音信息。将此仿真结果实时传送到用户佩戴的耳机上即可得到最真实的效果。

进一步地，根据场景三维模型的表面材质，对声音对象的音频信息进行处理，以及根据处理后的声音对象的音频信息、声音对象在场景三维模型中的方位和仿真点的信息，对每个声音对象的信息进行编码以生成相应的三维音频。从而，根据场景三维模型场景中各表面的材质，以更真实的模拟出回响，阻尼等变化和头部可转动的HATS体躯干模型，所有影响声音传播和变化的信息都已经是确定的了，则可实时计算得到左右耳位置(cosα*d/2，cosβ*d/2，cosγ*d/2)和(cos(π–α)*d/2，cos(π–β)*d/2，cos(π–γ)*d/2)的仿真点的仿真声音信息。

请参阅图5，为本发明实施例中的一种声音处理装置的结构示意图。该装置50包括定位模块51和模拟模块52。

定位模块51用于确定实时场景中人体模型的左耳和右耳位置。

模拟模块52用于模拟实时场景中需要播放的音频在左耳位置处的音效作为左耳音频输出，模拟实时场景中需要播放的音频在右耳位置处的音效作为右耳音频输出。

进一步地，定位模块51用于确定人体模型的位置以及朝向，并根据人体模型的位置以及朝向确定人体模型的左耳位置和右耳位置。

进一步地，定位模块51用于根据人体模型的位置以及朝向确定人头位置和人头朝向，在相应的人头位置上植入一个具有人头朝向的人头模型，以及获取人头模型上的左耳位置作为人体模型的左耳位置，获取人头模型上的右耳位置作为人体模型的右耳位置。

模拟模块52用于根据实时场景中的各个物体的材质以及发声点相对于左耳的方位，对相应发声点位置对应的音频进行处理得到在左耳位置处的音效；还用于根据实时场景中的各个物体的材质以及发声点相对于右耳的方位，对相应发声点位置对应的音频进行处理得到在右耳位置处的音效。

请参阅图6，为本发明实施例中的电子设备的结构示意图，该实施例中的电子设备60可以是计算机。该电子设备60包括接收器61、处理器62、发送器63、只读存储器64、随机存取存储器65以及总线66。

该接收器61用于接收数据。

该处理器62还可以成为CPU(Central Processing Unit，中央处理单元)。该处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该发送器63用于发送数据。

存储器可以包括只读存储器64和随机存取存储器65，并向处理器62提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(NVRAM)。

电子设备60的各个组件通过总线66耦合在一起，其中，总线66除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线66。

存储器存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：

操作指令：包括各种操作指令，用于实现各种操作。

操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

在本发明实施例中，处理器62通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行如下操作：

确定实时场景中人体模型的左耳位置和右耳位置；

模拟实时场景中需要播放的音频在左耳位置处的音效作为左耳音频输出，模拟实时场景中需要播放的音频在右耳位置处的音效作为右耳音频输出。

所述电子设备为增强现实设备或者虚拟现实设备。

一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算执机行如下操作：

确定实时场景中人体模型的左耳位置和右耳位置；

模拟实时场景中需要播放的音频在左耳位置处的音效作为左耳音频输出，模拟实时场景中需要播放的音频在右耳位置处的音效作为右耳音频输出。

本发明实施例的声音处理方法、装置、电子设备及计算机程序产品，通过每一个原始发声点的位置和声音等信息，实时仿真空间中HATS模型录音点位置的声音信息，并传输给耳机，以得到最真实的全景声。得到真实全景声音。

需要说明的是，本发明的说明书及其附图中给出了本发明的较佳的实施例，但是，本发明可以通过许多不同的形式来实现，并不限于本说明书所描述的实施例，这些实施例不作为对本发明内容的额外限制，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。并且，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；进一步地，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (12)

1.一种声音处理方法，其特征在于，包括：

确定实时场景中人体模型的左耳位置和右耳位置；

模拟实时场景中需要播放的音频在左耳位置处的音效作为左耳音频输出，模拟实时场景中需要播放的音频在右耳位置处的音效作为右耳音频输出。

2.根据权利要求1所述的方法，其特征在于，所述确定实时场景中人体模型的左耳位置和右耳位置，包括：

确定人体模型的位置以及朝向；

根据人体模型的位置以及朝向确定人体模型的左耳位置和右耳位置。

3.根据权利要求2所述的方法，其特征在于，所述根据所述位置和朝向确定人体模型的左耳位置和右耳位置，包括：

根据人体模型的位置以及朝向确定人头位置和人头朝向；

在相应的人头位置上植入一个具有所述人头朝向的人头模型；

获取人头模型上的左耳位置作为人体模型的左耳位置，获取人头模型上的右耳位置作为人体模型的右耳位置。

4.根据权利要求1所述的方法，其特征在于，所述模拟实时场景中需要播放的音频在左耳位置处的音效，包括：

根据实时场景中的各个物体的材质以及发声点相对于左耳的方位，对相应发声点位置对应的音频进行处理得到在左耳位置处的音效；

所述模拟实时场景中需要播放的音频在右耳位置处的音效，包括：

根据实时场景中的各个物体的材质以及发声点相对于右耳的方位，对相应发声点位置对应的音频进行处理得到在右耳位置处的音效。

5.根据权利要求1所述的方法，其特征在于，所述场景为游戏场景。

6.一种声音处理装置，其特征在于，包括：

定位模块，用于确定实时场景中人体模型的左耳和右耳位置；

模拟模块，用于模拟实时场景中需要播放的音频在左耳位置处的音效作为左耳音频输出，模拟实时场景中需要播放的音频在右耳位置处的音效作为右耳音频输出。

7.根据权利要求6所述的装置，其特征在于，所述定位模块用于确定人体模型的位置以及朝向，并根据人体模型的位置以及朝向确定人体模型的左耳位置和右耳位置。

8.根据权利要求7所述的装置，其特征在于，所述定位模块用于根据人体模型的位置以及朝向确定人头位置和人头朝向，在相应的人头位置上植入一个具有所述人头朝向的人头模型，以及获取人头模型上的左耳位置作为人体模型的左耳位置，获取人头模型上的右耳位置作为人体模型的右耳位置。

9.根据权利要求6所述的装置，其特征在于，所述模拟模块用于根据实时场景中的各个物体的材质以及发声点相对于左耳的方位，对相应发声点位置对应的音频进行处理得到在左耳位置处的音效；还用于根据实时场景中的各个物体的材质以及发声点相对于右耳的方位，对相应发声点位置对应的音频进行处理得到在右耳位置处的音效。

10.一种电子设备，其特征在于，包括：

至少一个处理器；

存储器，所述存储器与处理器连接，所述存储器存储有可被所述至少一个处理器执行的计算机可执行指令，所述计算机可执行指令被所述至少一个处理器执行，以使所述至少一个处理器用于执行如权利要求1-5任意一项所述的方法。

11.根据权利要求10所述的电子设备，其特征在于，所述电子设备为增强现实设备或者虚拟现实设备。

12.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算执机行如权利要求1-5中任意一项所述的方法。