CN109327794B - 3d音效处理方法及相关产品 - Google Patents

Abstract

本申请实施例公开了一种3D音效处理方法及相关产品，该方法包括：获取目标声源的第一三维坐标，以及由目标声源产生的单声道数据；获取目标对象的第二三维坐标，第一三维坐标与第二三维坐标基于同一坐标原点；依据第一三维坐标、第二三维坐标以及单声道数据生成目标双声道数据；获取目标双声道数据的第一能量值；获取目标对象的面部朝向；依据目标声源的第一三维坐标、面部朝向以及第一能量值确定对目标对象的第一听觉参数的目标影响系数；依据目标影响系数对目标对象的第一听觉参数进行调整，得到第二听觉参数，第二听觉参数用于接收下一双声道数据。采用本申请实施例能够不仅能够合成3D音效，还能够模拟现实生活中声音对耳朵伤害的真实感。

Description

3D音效处理方法及相关产品

技术领域

本申请涉及虚拟/增强现实技术领域，具体涉及一种3D音效处理方法及相关产品。

背景技术

随着电子设备(如手机、平板电脑等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。

随着技术发展，虚拟现实在电子设备中也得到了迅猛发展，然而，虚拟/增强现实产品中，现有技术中耳机接收的音频数据往往是2D音频数据，无法给用户带来声音的真实感，另外，实际生活中，声音越大，则会对耳朵造成一定的伤害。因此，如何在虚拟/增强现实场景中，能够模拟生活中声音对耳朵伤害的问题亟待解决。

发明内容

本申请实施例提供了一种3D音效处理方法及相关产品，不仅能够合成3D音效，还能够模拟现实生活中声音对耳朵伤害的真实感。

第一方面，本申请实施例提供一种3D音效处理方法，包括：

获取目标声源的第一三维坐标，以及由所述目标声源产生的单声道数据；

获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点；

依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据；

获取所述目标双声道数据的第一能量值；

获取所述目标对象的面部朝向；

依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数；

依据所述目标影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数，所述第二听觉参数用于接收下一双声道数据。

第二方面，本申请实施例提供了一种3D音效处理装置，所述3D音效处理装置包括：第一获取单元、第二获取单元、生成单元、确定单元和调整单元，其中，

所述第一获取单元，用于获取目标声源的第一三维坐标，以及由所述目标声源产生的单声道数据；

所述第二获取单元，用于获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点；

所述生成单元，用于依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据；

所述第一获取单元，还用于获取所述目标双声道数据的第一能量值；

所述第二获取单元，还用于获取所述目标对象的面部朝向；

所述确定单元，用于依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数；

所述调整单元，用于依据所述目标影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数，所述第二听觉参数用于接收下一双声道数据。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中所描述的3D音效处理方法及相关产品，获取目标声源的第一三维坐标，以及由目标声源产生的单声道数据，获取目标对象的第二三维坐标，第一三维坐标与第二三维坐标基于同一坐标原点，依据第一三维坐标、第二三维坐标以及单声道数据生成目标双声道数据，获取目标双声道数据的第一能量值，获取目标对象的面部朝向，依据目标声源的第一三维坐标、面部朝向以及第一能量值确定对所述目标对象的第一听觉参数的目标影响系数，依据目标双声道数据确定对目标对象的第一听觉参数的目标影响系数，依据目标影响系数对目标对象的第一听觉参数进行调整，得到第二听觉参数，第二听觉参数用于接收下一双声道数据，如此，不仅能够合成3D音效，由于不同的声音大小、用户不同的面部朝向均会影响声音对耳朵的伤害，因此，能够模拟现实生活中声音对耳朵伤害的真实感，更加让用户身临其境。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例公开的一种3D音效处理方法的流程示意图；

图1B是本申请实施例公开的多路双声道数据划分方式的演示示意图；

图1C是本申请实施例公开的声源与面部朝向之间夹角的确定方式的演示示意图；

图2是本申请实施例公开的另一种3D音效处理方法的流程示意图；

图3是本申请实施例公开的另一种电子设备的结构示意图；

图4是本申请实施例公开的一种3D音效处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如智能手机)、车载设备、虚拟现实(virtual reality，VR)/增强现实(augmentedreality，AR)设备，可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)、研发/测试平台、服务器等等。为方便描述，上面提到的设备统称为电子设备。

具体实现中，本申请实施例中，电子设备可对音频数据(声源发出的声音)使用HRTF(Head Related Transfer Function，头相关变换函数)滤波器进行滤波，得到虚拟环绕声，也称之为环绕声，或者全景声，实现一种三维立体音效。HRTF在时间域所对应的名称是HRIR(Head Related Impulse Response)。或者将音频数据与双耳房间脉冲响应(Binaural Room Impulse Response，BRIR)做卷积，双耳房间脉冲响应由三个部分组成：直达声，早期反射声和混响。

下面对本申请实施例进行详细介绍。

请参阅图1A，图1A是本申请实施例公开的一种3D音效处理方法的流程示意图，该3D音效处理方法包括如下步骤101-107。

101、获取目标声源的第一三维坐标，以及由所述目标声源产生的单声道数据。

其中，本申请实施例可应用于虚拟现实/增强现实场景，或者，3D录音场景。本申请实施例中，目标声源可以为虚拟场景中一发声体，例如，游戏场景中的一个飞机或者炸弹，声源可以为固定声源，或者，移动声源。由于虚拟场景中每一物体均可以对应一个三维坐标，因此，可以获取目标声源的第一三维坐标，在目标声源发出声音时，则可以获取该目标生源产生的单声道数据。

102、获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点。

其中，目标对象可以为虚拟/增强现实场景中的定义角色，例如，游戏人物，目标对象也可以对应一个三维坐标，即第二三维坐标，当然，第一三维坐标与第二三维坐标为不同的位置，且第一三维坐标、第二三维坐标基于同一坐标原点。

可选地，在所述目标对象处于游戏场景时，上述步骤102，获取目标对象的第二三维坐标，可包括如下步骤：

21、获取所述游戏场景对应的地图；

22、在所述地图中确定所述目标对象对应的坐标位置，得到所述第二三维坐标。

其中，在目标对象处于游戏场景时，目标对象可视为游戏中一角色，当然，具体实现中，游戏场景可对应一三维地图，因此，电子设备可以获取游戏场景对应的地图，并在地图中确定目标对象对应的坐标位置，得到第二三维坐标，如此，针对不同的游戏，可实时知晓角色位置，在本申请实施例中，针对角色具体位置，能够生成3D音效，让用户在游戏时，能够身临其境，感觉游戏世界更为逼真。

103、依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据。

其中，在知晓目标声源的第一坐标位置、目标对象的第二三维坐标，则可以将单声道数据生成双声道数据，具体地，可以将第一三维坐标、第二三维坐标、单声道数据输入到HRTF模型中，得到双声道数据。

举例说明下，具体实现中，电子设备可根据发声体的空间三维坐标位置(x，y，z)，该位置可以是任意坐标，再根据发声体产生的单声道数据，生成左右声道，左右声道的产生原理是依据发声体距离听者(X，Y，Z)，单点数据传输左耳和传输到右耳数据的时间差以及相位压力差生成双声道声音。当然，上述根据发声体的空间三维坐标位置(x，y，z)，该位置可以是任意坐标；另外，上述根据发声体产生的单声道数据，生成左右声道，例如，根据发声体的空间三维坐标位置(x，y，z)，固定听者位置为(0，0，0)之间不管听者如何移动，发声体的位置双声道声音。

可选地，上述步骤103，依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据，可包括如下步骤：

31、将所述单声道数据生成所述第一三维坐标与所述第二三维坐标之间的多路双声道数据，每路双声道数据对应唯一传播方向；

32、将所述多路双声道数据合成目标双声道数据。

其中，目标声源的原始声音数据为单声道数据，通过算法处理(例如，HRTF算法)，则可以得到双声道数据，由于在现实环境中，声音是沿着各个方向进行传播，当然，在传播过程中，也会出现反射、折射、干涉、衍射等现象，因此，本申请实施例中，用于最终合成目标双声道数据的仅仅为经过第一三维坐标与第二三维坐标之间的多路双声道数据，将该多路双声道数据合成目标双声道数据。

可选地，上述步骤32，将所述多路双声道数据合成目标双声道数据，可包括如下步骤：

321、以所述第一三维坐标与所述第二三维坐标为轴线作横截面，将所述多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，所述第一双声道数据集合、所述第二声道数据集合均包括至少一路双声道数据；

322、将所述第一双声道数据集合进行合成，得到第一单声道数据；

323、将所述第二双声道数据集合进行合成，得到第二单声道数据；

323将所述第一单声道数据、所述第二单声道数据进行合成，得到所述目标双声道数据。

其中，在知晓第一三维坐标，第二三维坐标之后，可以第一三维坐标与第二三维坐标为轴线作横截面，由于声音传播方向一定，传播轨迹也会沿着一定的对称轴具备一定的对称性，如图1B所示，第一三维坐标与第二三维坐标形成轴线，以该轴线作横截面，可以将多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，不考虑外在因素，例如，折射，反射，衍射等情况，则第一双声道数据集合与第二双声道数据集合也可以是包含相同路数的双声道数据，且不同集合的双声道数据也是对称关系，第一双声道数据集合、第二声道数据集合均包括至少一路双声道数据，具体实现中，电子设备可将第一双声道数据集合进行合成，得到第一单声道数据，电子设备可以包括左右耳机，第一单声道数据可以主要由左耳机播放，相应地，电子设备可将第二双声道数据集合进行合成，得到第二单声道数据，第二单声道数据可以主要由右耳机播放，最后，将第一单声道数据、第二单声道数据进行合成，得到目标双声道数据。

可选地，上述步骤322，将所述第一双声道数据集合进行合成，得到第一单声道数据，可包括如下步骤：

3221、将所述第一双声道数据集合中每一路双声道数据的能量值，得到多个能量值；

3222、从所述多个能量值中选取大于第一能量阈值的能量值，得到多个第一目标能量值；

3223、确定所述多个第一目标能量值对应的第一双声道数据，将所述第一双声道数据进行合成，得到所述第一单声道数据。

其中，上述第一能量阈值可以由用户自行设置或者系统默认。具体实现中，电子设备可将第一双声道数据集合中每一路双声道数据的能量值，得到多个能量值，进而，从多个能量值中选取大于第一能量阈值的能量值，得到多个第一目标能量值，确定多个第一目标能量值对应的第一双声道数据，将第一双声道数据进行合成，得到第一单声道数据。

可选地，基于与上述步骤3221-步骤3223，也可以实现上述步骤323，在此不再赘述。

可选地，在上述步骤101-步骤103之间，还可以包括如下步骤：

A1、获取所述目标对象的面部朝向；

则，上述步骤103，依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据，可按照如下方式实施：

依据所述面部朝向、所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据。

其中，具体实现中，用户不同的面部朝向，则听到的3D音效也不一样，鉴于此，本申请实施例中，则考虑目标对象的面部朝向，电子设备可检测目标对象的面部朝向，具体地，若是游戏场景，则可以检测目标对象的相对于声源的朝向作为目标对象的面部朝向，若电子设备为是考虑用户头戴设备，例如，头戴式虚拟现实眼镜、虚拟现实头盔、虚拟现实头带显示设备等。人头方向的检测可以使用多种传感器，包括但不限于电阻式传感器、力学传感器、光敏传感器、超声波传感器、肌肉传感器等，在此不做限定。可以是其中一种传感器，也可以是其中几种传感器的组合，可以是一个传感器还可以是几个传感器的组合。人头方向的检测可以按照每隔预设时间间隔进行检测，预设时间间隔可以由用户自行设置或者系统默认。

可选地，在上述步骤103之后，还可以包括如下步骤：

B1、获取当前环境对应的目标壁纸；

B2、按照预设的壁纸与混响效果参数之间的映射关系，确定所述目标壁纸对应的目标混响效果参数；

B3、依据所述目标混响效果参数对所述目标双声道数据进行处理，得到混响双声道数据。

其中，上述混响效果参数可以包括以下至少一种：输入电平、低频切点、高频切点、早反射时间、扩散程度、低混比率、残响时间、高频衰点、分频点、原始干声音量、早反射声音量、混响音量、声场宽度、输出声场、尾音等等，在此不作限定。壁纸可以理解为环境的背景，此处环境可以为真实物理环境或者游戏环境，不同的环境可以对应不同的壁纸，在游戏场景下，可以确定目标对象的位置，进而，依据地图确定该位置对应的目标壁纸，若非游戏场景下，则可以通过环境传感器检测当前环境参数，依据当前环境参数确定当前环境，其中，环境传感器可以为以下至少一种传感器、湿度传感器、温度传感器、超声波传感器、距离传感器、摄像头等等，在此不做限定，上述环境参数可以为以下至少一种：温度、湿度、距离、影像等等，在此不做限定，电子设备中可以预先存储环境参数与环境之间的映射关系，进而，依据该映射关系确定当前环境参数对应的当前环境，电子设备中还可以预先存储环境与壁纸之间的映射关系，进而，依据该映射关系确定当前环境对应的目标壁纸，电子设备中还预先存储预设的壁纸与混响效果参数之间的映射关系，依据该映射关系可以确定目标壁纸对应的目标混响效果参数(reverb)，进而，依据目标混响效果参数对目标双声道数据进行处理，得到混响双声道数据，具体地，可以将目标混响效果参数对应的参数输入到HRTF算法模型中，得到混响双声道数据。

104、获取所述目标双声道数据的第一能量值。

其中，电子设备可以确定目标双声道数据的第一能量值，即总能量值。

105、获取所述目标对象的面部朝向。

其中，由于目标对象可以为3维图像，进而，可以确定该目标对象的面部朝向。

106、依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数。

其中，本申请实施例中，听觉参数用于表征用户的听觉能力，上述第一听觉参数可以包括以下至少一种：声压辨差灵敏度、频率辨差灵敏度、人耳听觉灵敏度的恢复时长等等，在此不做限定，其中，声压辨差灵敏度主要是指人耳可以辨别出来的最小声压变化，频率辨差灵敏度主要是指人耳可以辨别出来的最小频率变化，人耳听觉灵敏度的恢复时长主要是指，当声波作用于人耳一段时间后，听觉会疲劳，灵敏度也会下降，当声波停止后，听觉灵敏度则需要在一段时间内恢复常态，该一段时间即为恢复时长。第一听觉参数可以为操作目标对象的用户的听觉参数，或者，预设设置的游戏角色的听觉参数。

进一步地，由于目标声源的位置、目标对象的位置一定，当然，声音传播速率也一定，因此，结合实际经验，影响用户听觉的因素主要是声源相对于人的面部朝向，以及声音的大小，把握了这2个因素，则能够模拟出声音对耳朵造成的影响。具体地，基于目标声源的第一三维坐标、面部朝向可以确定目标对象相对于目标声源的角度，该角度在一定程度上影响着用户接收到声音的大小，不同的角度则声音对耳朵的影响不一样。

可选地，上述步骤106，依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数，可包括如下步骤：

61、确定所述目标声源与所述面部朝向之间的目标夹角；

62、依据所述目标夹角、所述第一能量值确定所述目标对象的第一听觉参数的目标影响系数。

具体地，如图1C所示，其中A(目标声源的第一三维坐标)、B(目标对象的第二三维坐标)，进而，可以确定目标声源与面部朝向之间的目标夹角α，具体地，可以将目标对象指向目标声源的一条射线与面部朝向对应的一条射线之间的夹角作为目标夹角，不同的夹角，对目标对象的影响不一样，因此，可以依据目标夹角、第一能量值确定目标对象的第一听觉参数的目标影响系数，本申请实施例中，目标影响系数可以处于0～1之间。

进一步可选地，上述步骤62，依据所述目标夹角、所述第一能量值确定所述目标对象的第一听觉参数的目标影响系数，可包括如下步骤：

621、按照预设的夹角与能量值有效因子之间的映射关系，确定所述目标夹角对应的目标能量值有效因子；

622、依据所述目标能量值有效因子确定所述第一能量值的有效能量值，得到第二能量值，所述第二能量值小于所述第一能量值；

623、在所述第二能量值大于预设阈值时，确定所述第二能量值与所述预设阈值之间的目标差值；

624、按照预设的差值与影响因子之间的映射关系，确定所述目标差值对应的目标对象的第一听觉参数的目标影响系数。

其中，能量值有效因子可以理解为声源产生的声音对听者有影响的比例，能量值有效因子取值范围为0～1，电子设备中可以预先存储预设的夹角与能量值有效因子之间的映射关系，进而，依据该映射关系可以确定目标夹角对应的目标能量值有效因子，当然，夹角越大，则能量值有效因子越大，进而，依据目标能量值有效因子确定第一能量值的有效能量值，得到第二能量值，第二能量值小于第一能量值，例如，若用户耳朵刚好对着声源，则这时候影响最大，若用户耳朵刚好与声源垂直，则这时候影响相对较小，上述预设阈值可以由用户自行设置或者系统默认，在第二能量值大于预设阈值时，则很有可能会对听觉造成一定的影响，影响的大小可以依据第二能量值与预设阈值之间的差值决定，进而，可以确定第二能量值与预设阈值之间的目标差值，电子设备中还可以预先存储预设的差值与影响因子之间的映射关系，进而，依据该映射关系确定目标差值对应的目标对象的第一听觉参数的目标影响系数。

107、依据所述目标影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数，所述第二听觉参数用于接收下一双声道数据。

其中，电子设备可以依据目标影响系数对目标对象的第一听觉参数进行调整，得到第二听觉参数，进而，依据第二听觉参数用于接收下一次双声道数据，通常情况下，若用户的耳朵受到外界较大声音影响，则会出现耳鸣，短暂性失聪等现象，因此，为了更为逼真的展示3D效果，将实际应用场景中的声觉体验移植于虚拟/增强现实环境，从而，

可选地，在上述步骤107之后，还可以包括如下步骤：

C1、按照预设的听觉参数与衰减参数之间的映射关系，确定所述第二听觉参数对应的目标衰减参数；

C2、依据所述目标衰减参数对所述下一双声道数据进行衰减处理，得到处理后的双声道数据。

其中，上述衰减参数可以包括但不仅限于：衰减函数类型、衰减速度、衰减比例等等，在此不做限定。衰减函数可以为指数型衰减函数，衰减函数类型可以为以下至少一种：空气衰减函数、森林衰减函数、地面衰减函数、水环境衰减函数等等，在此不做限定，衰减速度可以理解为衰减函数的控制因子，具体为指数系数，衰减比例取值范围为0～1。电子设备中可以预先存储预设的听觉参数与衰减参数之间的映射关系，进而，依据该映射关系确定第二听觉参数对应的目标衰减参数，进而，可以依据目标衰减参数对下一个双声道数据进行衰减处理，得到处理后的双声道数据，这时候听到的声音有可能失真严重，有可能存在回响，与真实场景相对应，使得3D更加逼真。

可选地，上述步骤107，依据所述影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数，可包括如下步骤：

71、按照预设的影响系数与恢复时长之间的映射关系，确定所述目标影响系数对应的目标恢复时长；

72、依据所述目标影响系数、所述第一听觉参数进行运算，得到所述第二听觉参数；

73、以所述目标恢复时长进行倒计时，在所述目标恢复时长结束时，将所述第二听觉参数恢复至所述第一听觉参数。

其中，电子设备中可以预先存储预设的影响系数与恢复时长之间的映射关系，进而，依据该映射关系确定目标影响系数对应的目标恢复时长，进一步地，依据目标影响系数、第一听觉参数进行运算得到第二听觉参数，例如，在第一听觉参数为第一声压辨差灵敏度、第二听觉参数为声压辨差灵敏度的情况下，第二声压辨差灵敏度＝目标影响系数*第一声压辨差灵敏度；在第一听觉参数为第一频率辨差灵敏度、第二听觉参数为第二频率辨差灵敏度的情况下，第二频率辨差灵敏度＝目标影响系数*第一频率辨差灵敏度；在第一听觉参数为人耳听觉灵敏度的第一恢复时长、第二听觉参数为人耳听觉灵敏度的第二恢复时长的情况下，第二恢复时长＝第一恢复时长/目标影响系数。进而，可以以目标恢复时长进行倒计时，在目标恢复时长结束时，将第二听觉参数恢复至第一听觉参数。

可以看出，本申请实施例中所描述的3D音效处理方法，获取目标声源的第一三维坐标，以及由目标声源产生的单声道数据，获取目标双声道数据的第一能量值，获取目标对象的面部朝向，依据目标声源的第一三维坐标、面部朝向以及第一能量值确定对所述目标对象的第一听觉参数的目标影响系数，依据目标双声道数据确定对目标对象的第一听觉参数的目标影响系数，依据目标影响系数对目标对象的第一听觉参数进行调整，得到第二听觉参数，第二听觉参数用于接收下一双声道数据，如此，不仅能够合成3D音效，由于不同的声音大小、用户不同的面部朝向均会影响声音对耳朵的伤害，因此，能够模拟现实生活中声音对耳朵伤害的真实感，更加让用户身临其境。

与上述一致地，图2是本申请实施例公开的一种3D音效处理方法的流程示意图。该3D音效处理方法包括如下步骤201-209。

201、获取目标声源的第一三维坐标，以及由所述目标声源产生的单声道数据。

202、获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点。

203、依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据。

204、获取所述目标双声道数据的第一能量值。

205、获取所述目标对象的面部朝向。

206、依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数。

207、按照预设的影响系数与恢复时长之间的映射关系，确定所述目标影响系数对应的目标恢复时长。

208、依据所述目标影响系数、所述第一听觉参数进行运算，得到所述第二听觉参数。

209、以所述目标恢复时长进行倒计时，在所述目标恢复时长结束时，将所述第二听觉参数恢复至所述第一听觉参数，所述第二听觉参数用于接收下一双声道数据。

其中，上述步骤201-步骤209的具体描述可以参照图1A所描述的3D音效处理方法的相应描述，在此不再赘述。

可以看出，本申请实施例中所描述的3D音效处理方法，获取目标声源的第一三维坐标，以及由目标声源产生的单声道数据，获取目标对象的第二三维坐标，第一三维坐标与第二三维坐标基于同一坐标原点，依据第一三维坐标、第二三维坐标以及单声道数据生成目标双声道数据，获取目标双声道数据的第一能量值，获取目标对象的面部朝向，依据目标声源的第一三维坐标、面部朝向以及第一能量值确定对目标对象的第一听觉参数的目标影响系数，按照预设的影响系数与恢复时长之间的映射关系，确定目标影响系数对应的目标恢复时长，依据目标影响系数、第一听觉参数进行运算，得到第二听觉参数，第二听觉参数用于接收下一双声道数据，以目标恢复时长进行倒计时，在目标恢复时长结束时，将第二听觉参数恢复至第一听觉参数，如此，不仅能够合成3D音效，还能够模拟现实生活中声音对耳朵伤害的真实感，还能结合实际场景中的应用，在虚拟场景下，实现听觉恢复效果，更加让用户身临其境。

请参阅图3，图3是本申请实施例公开的另一种电子设备的结构示意图，如图所示，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：

获取所述目标双声道数据的第一能量值；

获取所述目标对象的面部朝向；

依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数；

依据所述目标影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数，所述第二听觉参数用于接收下一双声道数据。

可以看出，本申请实施例中所描述的的电子设备，获取目标声源的第一三维坐标，以及由目标声源产生的单声道数据，获取目标对象的第二三维坐标，第一三维坐标与第二三维坐标基于同一坐标原点，依据第一三维坐标、第二三维坐标以及单声道数据生成目标双声道数据，获取目标双声道数据的第一能量值，获取目标对象的面部朝向，依据目标声源的第一三维坐标、面部朝向以及第一能量值确定对所述目标对象的第一听觉参数的目标影响系数，依据目标双声道数据确定对目标对象的第一听觉参数的目标影响系数，依据目标影响系数对目标对象的第一听觉参数进行调整，得到第二听觉参数，第二听觉参数用于接收下一双声道数据，如此，不仅能够合成3D音效，由于不同的声音大小、用户不同的面部朝向均会影响声音对耳朵的伤害，因此，能够模拟现实生活中声音对耳朵伤害的真实感，更加让用户身临其境。

在一个可能的示例中，在所述依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数方面，上述程序包括用于执行以下步骤的指令：

确定所述目标声源与所述面部朝向之间的目标夹角；

依据所述目标夹角、所述第一能量值确定所述目标对象的第一听觉参数的目标影响系数。

在一个可能的示例中，在所述依据所述目标夹角、所述第一能量值确定所述目标对象的第一听觉参数的目标影响系数方面，上述程序包括用于执行以下步骤的指令：

按照预设的夹角与能量值有效因子之间的映射关系，确定所述目标夹角对应的目标能量值有效因子；

依据所述目标能量值有效因子确定所述第一能量值的有效能量值，得到第二能量值，所述第二能量值小于所述第一能量值；

在所述第二能量值大于预设阈值时，确定所述第二能量值与所述预设阈值之间的目标差值；

按照预设的差值与影响因子之间的映射关系，确定所述目标差值对应的目标对象的第一听觉参数的目标影响系数。

在一个可能的示例中，在所述依据所述影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数方面，上述程序包括用于执行以下步骤的指令：

按照预设的影响系数与恢复时长之间的映射关系，确定所述目标影响系数对应的目标恢复时长；

依据所述目标影响系数、所述第一听觉参数进行运算，得到所述第二听觉参数；

以所述目标恢复时长进行倒计时，在所述目标恢复时长结束时，将所述第二听觉参数恢复至所述第一听觉参数。

在一个可能的示例中，在所述依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据方面，上述程序包括用于执行以下步骤的指令：

将所述单声道数据生成所述第一三维坐标与所述第二三维坐标之间的多路双声道数据，每路双声道数据对应唯一传播方向；

将所述多路双声道数据合成目标双声道数据。

在一个可能的示例中，在所述将所述多路双声道数据合成目标双声道数据方面，上述程序包括用于执行以下步骤的指令：

以所述第一三维坐标与所述第二三维坐标为轴线作横截面，将所述多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，所述第一双声道数据集合、所述第二声道数据集合均包括至少一路双声道数据；

将所述第一双声道数据集合进行合成，得到第一单声道数据；

将所述第二双声道数据集合进行合成，得到第二单声道数据；

将所述第一单声道数据、所述第二单声道数据进行合成，得到所述目标双声道数据。

在一个可能的示例中，在所述将所述第一双声道数据集合进行合成，得到第一单声道数据方面，上述程序包括用于执行以下步骤的指令：

将所述第一双声道数据集合中每一路双声道数据的能量值，得到多个能量值；

从所述多个能量值中选取大于第一能量阈值的能量值，得到多个第一目标能量值；

确定所述多个第一目标能量值对应的第一双声道数据，将所述第一双声道数据进行合成，得到所述第一单声道数据。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

请参阅图4，图4是本申请实施例公开的一种3D音效处理装置的结构示意图，所述3D音效处理装置400包括：第一获取单元401、第二获取单元402、生成单元403、确定单元404和调整单元405，其中，

所述第一获取单元401，用于获取目标声源的第一三维坐标，以及由所述目标声源产生的单声道数据；

所述第二获取单元402，用于获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点；

所述生成单元403，用于依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据；

所述第一获取单元401，还用于获取所述目标双声道数据的第一能量值；

所述第二获取单元402，还用于获取所述目标对象的面部朝向；

所述确定单元404，用于依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数；

所述调整单元405，用于依据所述目标影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数，所述第二听觉参数用于接收下一双声道数据。

在一个可能的示例中，在所述依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数方面，所述确定单元404具体用于：

确定所述目标声源与所述面部朝向之间的目标夹角；

依据所述目标夹角、所述第一能量值确定所述目标对象的第一听觉参数的目标影响系数。

在一个可能的示例中，在所述依据所述目标夹角、所述第一能量值确定所述目标对象的第一听觉参数的目标影响系数方面，所述确定单元404具体用于：

按照预设的夹角与能量值有效因子之间的映射关系，确定所述目标夹角对应的目标能量值有效因子；

依据所述目标能量值有效因子确定所述第一能量值的有效能量值，得到第二能量值，所述第二能量值小于所述第一能量值；

在所述第二能量值大于预设阈值时，确定所述第二能量值与所述预设阈值之间的目标差值；

按照预设的差值与影响因子之间的映射关系，确定所述目标差值对应的目标对象的第一听觉参数的目标影响系数。

在一个可能的示例中，在所述依据所述影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数方面，所述调整单元405具体用于：

按照预设的影响系数与恢复时长之间的映射关系，确定所述目标影响系数对应的目标恢复时长；

依据所述目标影响系数、所述第一听觉参数进行运算，得到所述第二听觉参数；

以所述目标恢复时长进行倒计时，在所述目标恢复时长结束时，将所述第二听觉参数恢复至所述第一听觉参数。

在一个可能的示例中，在所述依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据方面，所述生成单元403具体用于：

将所述单声道数据生成所述第一三维坐标与所述第二三维坐标之间的多路双声道数据，每路双声道数据对应唯一传播方向；

将所述多路双声道数据合成目标双声道数据。

在一个可能的示例中，所述将所述多路双声道数据合成目标双声道数据，包括：

以所述第一三维坐标与所述第二三维坐标为轴线作横截面，将所述多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，所述第一双声道数据集合、所述第二声道数据集合均包括至少一路双声道数据；

将所述第一双声道数据集合进行合成，得到第一单声道数据；

将所述第二双声道数据集合进行合成，得到第二单声道数据；

将所述第一单声道数据、所述第二单声道数据进行合成，得到所述目标双声道数据。

在一个可能的示例中，在所述将所述第一双声道数据集合进行合成，得到第一单声道数据方面，所述生成单元403具体用于：

将所述第一双声道数据集合中每一路双声道数据的能量值，得到多个能量值；

从所述多个能量值中选取大于第一能量阈值的能量值，得到多个第一目标能量值；

确定所述多个第一目标能量值对应的第一双声道数据，将所述第一双声道数据进行合成，得到所述第一单声道数据。

需要注意的是，本申请实施例所描述的电子设备是以功能单元的形式呈现。这里所使用的术语“单元”应当理解为尽可能最宽的含义，用于实现各个“单元”所描述功能的对象例如可以是集成电路ASIC，单个电路，用于执行一个或多个软件或固件程序的处理器(共享的、专用的或芯片组)和存储器，组合逻辑电路，和/或提供实现上述功能的其他合适的组件。

其中，第一获取单元401、第二获取单元402、生成单元403、确定单元404和调整单元405可以是控制电路或处理器。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种3D音效处理方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种3D音效处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种3D音效处理方法，其特征在于，所述方法包括：

获取目标声源的第一三维坐标，以及由所述目标声源产生的单声道数据；

获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点；

依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据；

获取所述目标双声道数据的第一能量值；

获取所述目标对象的面部朝向；

依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数；

依据所述目标影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数，所述第二听觉参数用于接收下一双声道数据；

其中，所述依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数，包括：

确定所述目标声源的第一三维坐标与所述面部朝向之间的目标夹角；

依据所述目标夹角、所述第一能量值确定所述目标对象的第一听觉参数的目标影响系数。

2.根据权利要求1所述的方法，其特征在于，所述依据所述目标夹角、所述第一能量值确定所述目标对象的第一听觉参数的目标影响系数，包括：

按照预设的夹角与能量值有效因子之间的映射关系，确定所述目标夹角对应的目标能量值有效因子；

依据所述目标能量值有效因子确定所述第一能量值的有效能量值，得到第二能量值，所述第二能量值小于所述第一能量值；

在所述第二能量值大于预设阈值时，确定所述第二能量值与所述预设阈值之间的目标差值；

按照预设的差值与影响因子之间的映射关系，确定所述目标差值对应的目标对象的第一听觉参数的目标影响系数。

3.根据权利要求1所述的方法，其特征在于，所述依据所述影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数，包括：

按照预设的影响系数与恢复时长之间的映射关系，确定所述目标影响系数对应的目标恢复时长；

依据所述目标影响系数、所述第一听觉参数进行运算，得到所述第二听觉参数；

以所述目标恢复时长进行倒计时，在所述目标恢复时长结束时，将所述第二听觉参数恢复至所述第一听觉参数。

4.根据权利要求2所述的方法，其特征在于，所述依据所述影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数，包括：

按照预设的影响系数与恢复时长之间的映射关系，确定所述目标影响系数对应的目标恢复时长；

依据所述目标影响系数、所述第一听觉参数进行运算，得到所述第二听觉参数；

以所述目标恢复时长进行倒计时，在所述目标恢复时长结束时，将所述第二听觉参数恢复至所述第一听觉参数。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据，包括：

将所述单声道数据生成所述第一三维坐标与所述第二三维坐标之间的多路双声道数据，每路双声道数据对应唯一传播方向；

将所述多路双声道数据合成目标双声道数据。

6.根据权利要求5所述的方法，其特征在于，所述将所述多路双声道数据合成目标双声道数据，包括：

以所述第一三维坐标与所述第二三维坐标为轴线作横截面，将所述多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，所述第一双声道数据集合、所述第二双声道数据集合均包括至少一路双声道数据；

将所述第一双声道数据集合进行合成，得到第一单声道数据；

将所述第二双声道数据集合进行合成，得到第二单声道数据；

将所述第一单声道数据、所述第二单声道数据进行合成，得到所述目标双声道数据。

7.根据权利要求6所述的方法，其特征在于，所述将所述第一双声道数据集合进行合成，得到第一单声道数据，包括：

将所述第一双声道数据集合中每一路双声道数据的能量值，得到多个能量值；

从所述多个能量值中选取大于第一能量阈值的能量值，得到多个第一目标能量值；

确定所述多个第一目标能量值对应的第一双声道数据，将所述第一双声道数据进行合成，得到所述第一单声道数据。

8.一种3D音效处理装置，其特征在于，所述3D音效处理装置包括：第一获取单元、第二获取单元、生成单元、确定单元和调整单元，其中，

所述第一获取单元，用于获取目标声源的第一三维坐标，以及由所述目标声源产生的单声道数据；

所述第二获取单元，用于获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点；

所述生成单元，用于依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据生成目标双声道数据；

所述第一获取单元，还用于获取所述目标双声道数据的第一能量值；

所述第二获取单元，还用于获取所述目标对象的面部朝向；

所述确定单元，用于依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数；

所述调整单元，用于依据所述目标影响系数对所述目标对象的第一听觉参数进行调整，得到第二听觉参数，所述第二听觉参数用于接收下一双声道数据；

其中，所述依据所述目标声源的第一三维坐标、所述面部朝向以及所述第一能量值确定对所述目标对象的第一听觉参数的目标影响系数，包括：

确定所述目标声源的第一三维坐标与所述面部朝向之间的目标夹角；

依据所述目标夹角、所述第一能量值确定所述目标对象的第一听觉参数的目标影响系数。

9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

Images