CN109286889A - 一种音频处理方法及装置、终端设备 - Google Patents

一种音频处理方法及装置、终端设备 Download PDF

Info

Publication number
CN109286889A
CN109286889A CN201710602718.1A CN201710602718A CN109286889A CN 109286889 A CN109286889 A CN 109286889A CN 201710602718 A CN201710602718 A CN 201710602718A CN 109286889 A CN109286889 A CN 109286889A
Authority
CN
China
Prior art keywords
data
reverberation
audio
sampling
hrtf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710602718.1A
Other languages
English (en)
Inventor
徐德著
白鹤群
赵翔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710602718.1A priority Critical patent/CN109286889A/zh
Publication of CN109286889A publication Critical patent/CN109286889A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Abstract

本申请公开一种音频处理方法及装置、终端设备，涉及VR的虚拟音频技术领域，能够使得VR设备提供的VR音频效果与VR应用展示给用户的VR视觉效果的空间感相匹配。该音频处理方法包括：根据原始音频数据中的音频声道信息，利用头相关变换函数HRTF数据库对原始音频数据进行虚拟化处理；从采样混响数据库中选择用户选定的位置对应的采样混响数据，采样混响数据库包含VR应用展示的场景中的位置对应的采样混响数据；利用用户选定的位置对应的采样混响数据，对虚拟化音频数据进行混响卷积处理；对混响卷积处理后的虚拟化音频数据进行混音处理，生成双耳音频数据。本申请用于音频处理。

Description

一种音频处理方法及装置、终端设备
技术领域
本申请涉及VR(Virtual Reality，虚拟现实)的虚拟音频技术领域，尤其涉及一种音频处理方法。
背景技术
VR是利用计算机图像、声音系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感受的技术。当前虚拟现实领域研究非常广泛，其中，VR的虚拟音频方面的体验也越来越被重视。
目前，在使用VR设备时，用户开启的VR应用通常会通过VR设备展示给用户一些模拟真实环境的音视频效果。其中，VR设备所提供的音频效果主要是利用HRTF(Head RelatedTransfer Function，头相关变换函数)技术来实现模拟真实环境音频的效果。但这类处理技术仅仅实现了具有方向感的声音效果，HRTF技术固有的头中效应、声源距离感等方面效果还是存在不足。采用HRTF技术所模拟的真实环境音频往往无法提供很好的临场感和沉浸感。
为了解决以上问题，现有技术中采用FDN(Feedback delay network，反馈延迟网络)方法添加后期混响，使VR设备提供空间感更好的音频效果。但在该技术方案中，主要是利用算法混响来模拟音频的后期混响效果，使所输出的音频信号具有一定的空间感。而算法混响仍然难以模拟VR应用所展示的具体场景对应的空间感，因此该技术方案中依然存在VR设备提供的VR音频效果与真实VR应用展示给用户的VR视觉效果的空间感不匹配的问题，进而无法提供还原特定VR应用展示的场景的音频效果，用户体验差。
发明内容
本申请的实施例提供一种音频处理方法及装置、终端设备，能够使得VR设备提供的VR音频效果与真实VR应用展示给用户的VR视觉效果的空间感相匹配，进而提供还原特定VR应用展示的场景的音频效果，提高用户体验。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，本申请实施例提供了一种音频处理方法，包括：获取用户输入的位置选择指令，根据位置选择指令在VR应用展示的场景中确定用户选定的位置；根据用户选定的位置，从采样混响数据库中选择用户选定的位置对应的采样混响数据，采样混响数据库包含VR应用展示的场景中的位置对应的采样混响数据；获取VR应用的原始音频数据，例如：该原始音频数据至少可以为2.0双声道音频数据、5.1声道音频数据和7.1声道音频数据中的一种；利用头相关变换函数HRTF数据库对原始音频数据进行虚拟化处理，得到虚拟化音频数据；利用所述用户选定的位置对应的采样混响数据，对虚拟化音频数据进行混响卷积处理；对混响卷积处理后的虚拟化音频数据进行混音处理，生成双耳音频数据。本申请实施例提供的音频处理方法，能够在使用VR应用时，针对用户所选择的VR应用展示的场景中的位置，利用VR应用展示的场景中的位置从采样混响数据库中选择用户选定的位置对应的采样混响数据，对音频数据进行混响卷积处理。由于采样混响数据库包含VR应用展示的场景中的位置对应的采样混响数据，即采样混响数据库的采样混响数据是与VR应用展示的场景中的位置一一对应的，进而使输出音频能够更加逼真的还原出VR应用所展示场景的空间声学特征，提升输出音频的空间感和音质；同时因为用户所选择的不同位置使用的采样混响不同，用户可以根据自己的需要选择不同位置的音频效果，提升了输出音频的临场感与沉浸感。
在第一种可能的设计中，结合第一方面，上述根据用户选定的位置，从采样混响数据库中选择用户选定的位置对应的采样混响数据之前，方法还包括：采集VR应用展示的场景中预定位置的原始采样混响数据；根据HRTF数据库对原始采样混响数据进行能量归一化处理，得到能量归一化采样混响数据，并添加至采样混响数据库。该设计通过采集VR应用展示的场景中预定位置的原始采样混响数据，进而获得VR应用所展示的场景中预定位置真实的空间声学特征。进一步的，该设计中，通过根据HRTF数据库对原始采样混响数据进行能量归一化处理，确保在利用虚拟化音频数据对直达声部分的音频数据进行替换时，混响各部分能量比例保持一致。此外，该设计中，将能量归一化采样混响数据添加至采样混响数据库中，进而生成一个VR应用展示的场景的采样混响数据库。这样则可以在之后对音频数据添加混响时，则利用该采样混响数据直接对虚拟化音频数据进行卷积，获得与VR应用展示场景空间感相匹配的音频数据，减少计算量。
在第二种可能的设计中，结合第一种可能的设计，上述根据HRTF数据库对原始采样混响数据进行能量归一化处理，得到能量归一化采样混响数据，并添加至采样混响数据库，包括：获取待处理混响数据，待处理混响数据包含VR应用展示的场景中预定位置在预定方向上的原始采样混响数据；获取预定方向HRTF数据，预定方向HRTF数据包含HRTF数据库中VR应用展示的场景中在预定方向上的HRTF数据；计算预定方向HRTF数据的均方根值RMS能量E1；计算待处理混响数据中与预定方向HRTF数据长度一致的数据的RMS能量E2；将所述待处理混响数据乘以E1/E2，再将所述乘以E1/E2后的混响数据中与所述预定方向HRTF数据长度一致的数据置为0，得到所述能量归一化采样混响数据；或者，将待处理混响数据中与预定方向HRTF数据长度一致的数据置为0，并将待处理混响数据中的其他部分乘以E1/E2，得到能量归一化采样混响数据；其中待处理混响数据中的其他部分包括待处理混响数据的早起反射部分和后期混响部分；将能量归一化采样混响数据添加至采样混响数据库。该设计使混响数据各部分能量比例保持一致，从而使混响卷积过程较小影响空间感的模拟。
在第三种可能的设计中，结合第一方面，利用所述用户选定的位置对应的采样混响数据，对所述虚拟化音频数据进行混响卷积处理，包括：从所述用户选定的位置对应的采样混响数据中，根据所述虚拟化音频数据对应的虚拟音箱的方向选取采样混响数据，对所述虚拟化音频数据进行混响卷积处理。
在第四种可能的设计中，结合第一方面，在对混响卷积处理后的虚拟化音频数据进行混音处理，生成双耳音频数据之后，方法还包括：对双耳音频数据进行音效处理。该设计便于提升低频与整体音质。具体的，音效处理至少包括以下的一项或多项：均衡器EQ音效处理、动态范围压缩器DRC音效处理。
第二方面，本申请实施例提供了另一种音频采样方法，包括：采集所述VR应用展示的场景中预定位置的原始采样混响数据；根据所述HRTF数据库对所述原始采样混响数据的早期反射与后期混响部分进行能量归一化处理，得到能量归一化采样混响数据，并添加至所述采样混响数据库。本申请实施例提供的音频采样方法，通过采集VR应用展示的场景中预定位置的原始采样混响数据，进而获得VR应用所展示的场景中预定位置真实的空间声学特征。进一步的，本申请实施例提供的音频采样方法，通过根据HRTF数据库对原始采样混响数据的早期反射与后期混响部分进行能量归一化处理，确保在利用虚拟化音频数据对直达声部分的音频数据进行替换时，混响各部分能量比例保持一致。此外，本申请实施例提供的音频采样方法，将能量归一化采样混响数据添加至采样混响数据库中，进而生成一个VR应用展示的场景的采样混响数据库。这样则可以在之后对音频数据添加混响时，则利用该所述用户选定的位置对应的采样混响数据直接对虚拟化音频数据进行卷积，获得与VR应用展示场景空间感相匹配的音频数据，减少计算量。
在一种可能的设计中，结合第二方面，上述根据HRTF数据库对原始采样混响数据的早期反射与后期混响部分进行能量归一化处理，得到能量归一化采样混响数据，并添加至采样混响数据库，包括：获取待处理混响数据，待处理混响数据包含VR应用展示的场景中预定位置在预定方向上的原始采样混响数据；获取预定方向HRTF数据，预定方向HRTF数据包含HRTF数据库中VR应用展示的场景中在预定方向上的HRTF数据；计算预定方向HRTF数据的均方根值RMS能量E1；计算待处理混响数据中与预定方向HRTF数据长度一致的数据的RMS能量E2；将所述待处理混响数据乘以E1/E2，再将所述乘以E1/E2后的混响数据中与所述预定方向HRTF数据长度一致的数据置为0，得到所述能量归一化采样混响数据；或者，将待处理混响数据中与预定方向HRTF数据长度一致的数据置为0，并将待处理混响数据中的其他部分乘以E1/E2，得到能量归一化采样混响数据；其中待处理混响数据中的其他部分包括待处理混响数据的早起反射部分和后期混响部分；将能量归一化采样混响数据添加至采样混响数据库。该设计使混响数据各部分能量比例保持一致，从而使混响卷积过程较小影响空间感的模拟。
第三方面，本申请实施例提供了一种音频处理装置，该音频处理装置包括：接收单元，用于获取用户输入的位置选择指令，根据位置选择指令在VR应用展示的场景中确定用户选定的位置；选取单元，用于根据接收单元获取的用户选定的位置，从采样混响数据库中选择用户选定的位置对应的采样混响数据，采样混响数据库包含VR应用展示的场景中的位置对应的采样混响数据；获取单元，用于获取虚拟现实VR应用的原始音频数据；虚拟化单元，用于利用头相关变换函数HRTF数据库对获取单元获取的原始音频数据进行虚拟化处理，得到虚拟化音频数据；音频数据处理单元，用于利用选取单元获取的所述用户选定的位置对应的采样混响数据，对虚拟化音频数据进行混响卷积处理；音频处理单元，用于对音频数据处理单元获取的混响卷积处理后的虚拟化音频数据进行混音处理，生成双耳音频数据。本申请实施例提供的音频处理装置，能够在使用VR应用时，针对用户所选择的VR应用展示的场景中的位置，利用VR应用展示的场景中的位置对应的采样混响数据，对音频数据进行混响卷积处理。进而使输出音频能够更加逼真的还原出所展示场景的空间声学特征，提升输出音频的空间感和音质；同时因为用户所选择的不同位置使用的采样混响不同，用户可以根据自己的需要选择不同位置的音频效果，提升了输出音频的临场感与沉浸感；基于同一发明构思，由于该装置解决问题的原理以及有益效果可以参见上述第一方面和第一方面的各可能的方法实施方式以及所带来的有益效果，因此该装置的实施可以参见上述第一方面和第一方面的各可能的方法的实施方式，重复之处不再赘述。
第四方面，本申请实施例提供了另一种音频采样装置，包括：混响数据采集单元，采集VR应用展示的场景中预定位置的原始采样混响数据；混响数据处理单元，用于根据HRTF数据库对混响数据采集单元采集的原始采样混响数据的早期反射与后期混响部分进行能量归一化处理，得到能量归一化采样混响数据，并添加至采样混响数据库；接收单元，用于获取用户输入的位置选择指令，根据位置选择指令在VR应用展示的场景中确定用户选定的位置；选取单元，用于根据接收单元获取的用户选定的位置，从采样混响数据库中选择用户选定的位置对应的采样混响数据，采样混响数据库包含VR应用展示的场景中的位置对应的采样混响数据。本申请实施例提供的音频采样装置，通过采集VR应用展示的场景中预定位置的原始采样混响数据，进而获得VR应用所展示的场景中预定位置真实的空间声学特征。进一步的，本申请实施例提供的音频采样装置，通过根据HRTF数据库对原始采样混响数据的早期反射与后期混响部分进行能量归一化处理，确保混响各部分能量比例保持一致。此外，本申请实施例提供的音频采样装置，将能量归一化采样混响数据添加至采样混响数据库中，进而生成一个VR应用展示的场景的采样混响数据库。这样则可以在之后对音频数据添加混响时，则利用该所述用户选定的位置对应的采样混响数据直接对虚拟化音频数据进行卷积，获得与VR应用展示场景空间感相匹配的音频数据，减少计算量。基于同一发明构思，由于该装置解决问题的原理以及有益效果可以参见上述第二方面和第二方面的各可能的方法实施方式以及所带来的有益效果，因此该装置的实施可以参见上述第二方面和第二方面的各可能的方法的实施方式，重复之处不再赘述。
第五方面，本申请实施例提供一种音频处理装置，包括：处理器、存储器、总线和通信接口；该存储器用于存储计算机执行指令，该处理器与该存储器通过该总线连接，当音频处理装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该音频处理装置执行上述第一方面中任意一项的音频处理方法；基于同一发明构思，所述处理器调用存储在所述存储器中的指令以实现上述第一方面的方法设计中的方案，由于该装置解决问题的实施方式以及有益效果可以参见上述第一方面和第一方面的各可能的方法的实施方式以及有益效果，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
第六方面，本申请实施例提供了一种计算机存储介质，包括指令，当其在计算机上运行时，使得计算机执行如第一方面的音频处理方法。
第七方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得该计算机执行如第一方面所述的音频处理方法。
第八方面，本申请实施例提供一种音频采样装置，包括：处理器、存储器、总线和通信接口；该存储器用于存储计算机执行指令，该处理器与该存储器通过该总线连接，当音频采样装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该音频采样装置执行上述第二方面中任意一项的音频采样方法；基于同一发明构思，所述处理器调用存储在所述存储器中的指令以实现上述第二方面的方法设计中的方案，由于该装置解决问题的实施方式以及有益效果可以参见上述第二方面和第二方面的各可能的方法的实施方式以及有益效果，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
第九方面，本申请实施例提供了一种计算机存储介质，包括指令，当其在计算机上运行时，使得计算机执行如第二方面的音频采样方法。
第十方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得该计算机执行如第二方面所述的音频采样方法。
第十一方面，本申请实施例提供一种终端设备，该终端设备包括上述第三方面的音频处理装置。
在第一种设计中，结合第十一方面，所述终端为手机或VR设备。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请的实施例提供的一种电子设备的结构示意图；
图2为本申请的实施例提供的一种音频处理方法的流程示意图；
图3为本申请的实施例提供的采样混响数据的信号示意图；
图4为本申请的实施例提供的一种获取用户输入位置选择指令的方式的示意图；
图5为本申请的实施例提供的另一种获取用户输入位置选择指令的方式的示意图；
图6为本申请的实施例提供的经过虚拟化的5.1声道音频数据的模拟效果示意图；
图7为本申请的实施例提供的一种确定采样混响数据方向的方法示意图；
图8为本申请的实施例提供的一种音频处理装置的结构示意图；
图9为本申请的实施例提供的另一种音频处理装置的结构示意图；
图10为本申请的实施例提供的一种音频采样方法的流程示意图；
图11为本申请的实施例提供的一种音频采样装置的结构示意图；
图12为本申请的实施例提供的一种音频采样装置的结构示意图；
图13为本申请的实施例提供的一种音频采样装置的结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
本申请的实施例应用于利用VR应用向用户展示模拟真实环境(场景)的音视频效果的情况。具体在应用本申请时，本申请的实施例提供一种实施VR应用的终端设备，可以为手机，或者VR设备；若终端设备为手机时，其包含实施下述实施例提供的音频处理方法的音频处理装置，并且实施本申请时还需要配合VR眼镜以及音频输出装置(如耳机)使用，VR眼镜用于配合手机向用户展示VR应用提供的场景，音频输出装置用于配合手机输出VR应用提供的音频信息；当然，该终端设备也可以是一种集成音频输出装置以及实施以下实施例提供的音频处理方法的音频处理装置的VR设备，VR设备向用户展示VR应用提供的场景以及通过音频输出装置输出VR应用提供的音频信息。
在具体实现中，作为一种实施例，终端设备可以是一个通用电子设备或者是一个专用电子设备。在具体实现中，终端设备可以是便携式电脑、掌上电脑(personal digitalassistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等具有VR音视频输出功能的设备。
如图1所示，为本申请实施例提供的一种音频处理装置的硬件结构示意图，该音频处理装置包括至少一个处理器101，通信总线102，存储器103、至少一个通信接口104。
处理器101可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。
通信总线102可包括一通路，在上述组件之间传送信息。
存储器103可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器103用于存储执行本申请方案的应用程序代码，并由处理器101来控制执行。处理器101用于执行存储器103中存储的应用程序代码，从而实现上述实施例中所述音频处理方法。
通信接口104，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。
在具体实现中，作为一种实施例，处理器101可以包括一个或多个CPU，例如图1中的CPU0和CPU1。
在具体实现中，作为一种实施例，电子设备100可以包括多个处理器，例如图1中的处理器101和处理器105。这些处理器中的每一个可以是一个单核(s ingle-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
基于上述的硬件结构，本申请实施例提供了一种音频处理方法，参照图2所示，包括以下步骤：
S101、音频处理装置采集VR应用展示的场景中预定位置的原始采样混响数据。
在步骤S101中需要用到采样混响技术，其中采样混响技术为在实际场景测量该实际场景中的空间声学信息得到对应的原始采样混响数据；同一实际场景中，听者处于不同预定位置时对应的空间声学信息是不同的，所得到对应的原始采样混响数据也不同。
在本申请实施例中，采集VR应用展示的场景中预定位置的原始采样混响数据，是指采集VR应用展示的场景对应的实际场景中对应位置的原始采样混响数据。例如，若本实施例中的VR应用为VR影院应用时，即VR应用展示的场景为电影院放映厅。则采集VR影院应用展示的电影院放映厅对应的实际电影院放映厅中，与VR影院应用展示的电影院放映厅中预定位置对应的位置的采样混响数据，作为VR应用展示的场景中预定位置的原始采样混响数据。进一步的，示例性的，可以在VR影院应用展示的电影院放映厅对应的实际电影院放映厅中，在该放映厅中的前、中、后位置各选择一排座位，再在这三排座位中的左、中、右位置各选择一个座位，并对这9个座位的位置点进行采集获取原始采样混响数据。进而获得VR影院应用展示的场景中的9个预定位置的原始采样混响数据。
需要说明的是，本申请上述实施例中，只是举例说明了采集VR应用展示的场景中预定位置的原始采样混响数据的方法。对于所采集的VR应用展示的场景中预定位置的个数，可以根据实际需要确定，本申请中不作限制。
S102、音频处理装置根据HRTF数据库对原始采样混响数据进行能量归一化处理，得到能量归一化采样混响数据，并添加至采样混响数据库。
步骤S101中所采集的采样混响数据如下图3示意，包括直达声(Direct)、早期反射(Early)、后期混响(Late reverberation)三个部分。其中直达声部分是指从声源发出直接到达听音者的声音。也就是说直达声是在传播途中没有经过外界物体反射、吸收，声音直接到达听音者的声音部分。因此对于直达声部分的音频数据，可以直接使用下文步骤S106中的未经卷积处理的虚拟化音频数据进行替换。在替换中，为了防止混响各部分能量比例发生变化，从而影响空间感的模拟。因此对原始采样混响数据进行能量归一化处理，以使混响各部分的能量比例保持一致。
具体的，步骤S102具体可以包括如下步骤：
S1021、音频处理装置获取待处理混响数据，待处理混响数据包含VR应用展示的场景中预定位置在预定方向上的原始混响数据。
示例性的，获取正前方扬声器与影院中央位置的采集的采样混响数据。
S1022、音频处理装置获取预定方向HRTF数据，预定方向HRTF数据包含HRTF数据库中VR应用展示的场景中在预定方向上的HRTF数据。
基于上述采样混响数据为正前方扬声器与影院中央位置的混响数据，因此从HRTF数据库中，获取正前方方位的HRTF数据。
需要说明的是，步骤S1021和S1022没有先后执行顺序。
S1023、音频处理装置计算预定方向HRTF数据的均方根值RMS能量E1。
其中，预定方向HRTF数据的均方根值RMS能量E1的计算公式包括：
其中，n为采样点，X1(n)为采样点n对应的HRTF数据中的样点值；taps为HRTF数据的长度。
S1024、音频处理装置计算待处理混响数据中与预定方向HRTF数据长度一致的数据的RMS能量E2。
其中所述待处理混响数据中与预定方向HRTF数据长度一致的数据的RMS能量E2的计算公式包括：
其中，n为采样点，X2(n)为采样点n对应的混响数据中的样点值；taps为HRTF数据的长度。
S1025、音频处理装置根据待处理混响数据、预定方向HRTF数据以及E1/E2得到能量归一化采样混响数据。
具体的，根据待处理混响数据、预定方向HRTF数据以及E1/E2得到能量归一化采样混响数据，可以包括：
对待处理混响数据进行能量归一化处理的公式包括：
R'(n)＝(E1/E2)*R(n)
其中，R(n)为待处理混响数据。
再将R'(n)中与预定方向HRTF数据长度一致的数据置为0，得到能量归一化的混响数据。即就是将R'(n)中与预定方向HRTF数据长度一致的数据作为混响数据中的直达声部分，并将该部分的数据置为0，进而得到能量归一化的混响数据。
或者，根据待处理混响数据、预定方向HRTF数据以及E1/E2得到能量归一化采样混响数据，还可以包括：
将待处理混响数据中与预定方向HRTF数据长度一致的数据置为0；
并将待处理混响数据中的其他部分乘以E1/E2，得到能量归一化的混响数据：
R1'(n)＝(E1/E2)*R1(n)
其中，R1(n)为将待处理混响数据中与预定方向HRTF数据长度一致的数据置为0后的混响数据。
S1026、音频处理装置将能量归一化采样混响数据添加至采样混响数据库。
需要说明的是，本申请上述实施例中，只对待处理混响数据即VR应用展示的场景中预定位置在预定方向上的原始采样混响数据，进行了能量归一化处理。可以理解的是，本申请实施例中的数据库是包含多条数据的，上述对待处理混响数据的能量归一化处理过程可以用于VR应用展示的场景中预定位置的其他方向上的原始采样混响数据的能量归一化处理，也可以用于VR应用展示的场景中其他位置的不同方向上的原始采样混响数据的能量归一化处理。对于能量归一化处理后的混响数据都可以添加至采样混响数据库中。
S103、音频处理装置获取用户输入的位置选择指令，根据位置选择指令在虚拟现实VR应用展示的场景中确定用户选定的位置。
示例性的，如图4所示，可以通过向用户提供预设的位置选项，通过用户选择相应的选项获取用户输入的位置选择指令，再根据位置选择指令在VR应用展示的场景中确定用户选定的位置。例如，在图4中，根据用户点击“后排中间座位”选项的这一位置选择指令，确定在VR应用展示的场景中用户选定的是“后排中间座位”的位置。
也可以如图5所示，向用户展示VR应用展示的场景的示意图，根据用户所点击的场景示意图中的某一位置点，确定在VR应用展示的场景中用户选定的位置。图5中，根据用户点击VR应用展示的电影院放映厅的示意图中第7排偏左侧的座位，确定在VR应用展示的场景中用户选定的位置。
只要能够确定VR应用展示的场景中用户所选择的位置，本申请实施例对此具体方法不作限制。
S104、音频处理装置根据用户选定的位置，从采样混响数据库中选择用户选定的位置对应的采样混响数据，采样混响数据库包含VR应用展示的场景中的位置对应的采样混响数据。
在步骤104中，所采用的采样混响数据库可以是通过上述步骤S101和102生成的采样数据库。当然上述步骤S101和S102为可选步骤，当已获取采样混响数据库时，也可以不执行步骤101和102。
因为采样混响数据库中包含VR应用展示的场景中的位置对应的采样混响数据，所以在确定VR应用展示的场景中用户选定的位置后，可以根据该用户选定的位置从采样混响数据库中确定用户选定的位置对应的VR应用展示的场景中的位置对应的采样混响数据。
S105、音频处理装置获取VR应用的原始音频数据。
示例性的，原始音频数据可以是2.0双声道音频数据、5.1声道音频数据或者7.1声道音频数据。
需要说明的是，本申请中步骤S105与步骤S103、S104没有先后执行关系。步骤S105可以在执行步骤S103、S104之前执行，也可以在执行步骤S103、S104时同时执行，也可以在步骤S103、S104之后执行。
S106、音频处理装置利用头相关变换函数HRTF数据库对原始音频数据进行虚拟化处理，得到虚拟化音频数据。
虚拟化音频数据中的虚拟音箱的个数由原始音频数据的属性决定。示例性的，如图6所示，原始音频数据可以为5.1声道音频数据，经过虚拟化处理后，五个虚拟音箱位置为水平面上与正前方夹角为0°(中置声道CT)、30°(右前声道FR)、-30°(左前声道FL)、110°(环绕右声道SR)、-110°(环绕左声道SL)。虚拟音箱位置遵循ITU(InternationalTelecommunication Union，国际电信联盟)国际标准。
S107、音频处理装置利用用户选定的位置对应的采样混响数据，对虚拟化音频数据进行混响卷积处理。
具体的，S107具体为从用户选定的位置对应的采样混响数据中，根据所述虚拟化音频数据对应的虚拟音箱的方向选取采样混响数据，对所述虚拟化音频数据进行混响卷积处理。
示例性的，可以从用户选定的位置对应的采样混响数据中，选取与虚拟化音频数据对应的虚拟音箱的方向相同的采样混响数据，对所述虚拟化音频数据进行混响卷积处理。
如图7所示，在上述步骤S106所示原始音频数据为5.1声道的示例中，在对音频数据进行虚拟化后。当用户选定了如图中位置时，选取图中该选定的位置对应的采样混响数据中A、B、C、D、E五个虚拟音箱的方向的采样混响数据，将虚拟化音频数据中的五个声道音频数据与上述A、B、C、D、E五个方向的采样混响数据进行混响卷积处理。
另一种示例中，当用户选定的位置对应的采样混响数据中不包括与虚拟化音频数据对应的虚拟音箱的方向相同的采样混响数据时，可以选取用户选定的位置对应的采样混响数据中与虚拟化音频数据对应的虚拟音箱方向最接近的方向的采样混响数据对所述虚拟化音频数据进行混响卷积处理。
S108、音频处理装置对混响卷积处理后的所述虚拟化音频数据进行混音处理，生成双耳音频数据。
可选的，参照图2所示，所述音频处理方法还包括以下步骤：
S109、音频处理装置在对混响卷积处理后的虚拟化音频数据进行混音处理，生成双耳音频数据之后，对双耳音频数据进行音效处理。
为进一步提高双耳音频数据的音效，在步骤S109中具体可以利用均衡器EQ对双耳音频数据进行音效处理；或者，利用动态方位压缩器DRC对双耳音频数据进行音效处理。
本申请实施例提供的音频处理方法，能够在使用VR应用时，针对用户所选择的VR应用展示的场景中的位置，利用VR应用展示的场景中用户选定的位置对应的采样混响数据，对音频数据进行混响卷积处理。进而使输出音频能够更加逼真的还原出所展示场景的空间声学特征，提升输出音频的空间感和音质；同时因为用户所选择的不同位置使用的采样混响不同，用户可以根据自己的需要选择不同位置的音频效果，提升了输出音频的临场感与沉浸感。
例如，在VR影院应用中，假设原始音频数据为5.1声道音频数据。首先，利用HRTF数据库对原始音频数据进行虚拟化处理，使五个声道中的每个声道都变成双耳双声道，从而模拟每个声道的音频信号从对应方向的虚拟音箱发出，使声音具有方向感。之后，用户可以选择影院内的某一位置来进行观影，在根据用户的位置指令确定用户所选定的影院内的位置后，从采样混响数据库中选择用户选定的位置对应的采样混响数据。利用用户选定的位置对应的采样混响数据对上述虚拟化音频数据中的每个声道的音频进行混响卷积处理。具体的，在VR应用展示的场景中不同的位置对应的采样混响数据也是不同的，该采样混响数据中包括了该位置上的空间声学信息，也就是该采样混响数据表示声音的原始数据与该声音从其他地方传向该位置时会被途中的物体吸收、反射后的声音的关系。这样一来，通过用用户选定的位置对应的采样混响数据对音频数据进行混响卷积处理后，各声道音频数据中都包含了该声道传输过程中对应方向的空间声学信息，进而提升了输出音频的空间感和音质；同时因为用户所选择的不同位置使用的采样混响不同，用户可以根据自己的需要选择不同位置的音频效果，提升了输出音频的临场感与沉浸感。从而使用户能够利用VR设备中的VR影院应用，模拟出在电影院观影时的听觉体验，并且还能够自己选择要体验坐在电影院哪个位置的听觉效果。
另外，本申请实施例提供的音频处理方法，通过采集VR应用展示的场景中预定位置的原始采样混响数据，进而获得VR应用所展示的场景中预定位置对应的空间声学特征。进一步的，本申请实施例提供的音频处理方法中，通过根据HRTF数据库对原始采样混响数据进行能量归一化处理，确保混响各部分能量比例保持一致。此外，本申请实施例提供的音频处理方法中，将能量归一化采样混响数据添加至采样混响数据库中，进而生成一个VR应用展示的场景的采样混响数据库。这样则可以在之后对音频数据添加混响时，利用该采样混响数据直接对虚拟化音频数据进行卷积，获得与VR应用展示场景空间感相匹配的音频数据，减少计算量。
本申请的实施例提供一种音频采样方法，如图10所示，包括如下步骤：
S201、音频采样装置采集VR应用展示的场景中预定位置的原始采样混响数据。
S202、音频采样装置根据HRTF数据库对原始采样混响数据的早期反射与后期混响部分进行能量归一化处理，得到能量归一化采样混响数据，并添加至采样混响数据库。
具体方案可以援引上述音频处理装置执行的步骤101和102的描述这里不再赘述。
本申请实施例提供一种音频处理装置，用于执行上述音频处理方法。本申请实施例可以根据上述方法实例对音频处理装置进行功能模块的划分。例如，可以对应各功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图8示出了上述实施例中所涉及的音频处理装置的一种可能的结构示意图，音频处理装置10包括：混响数据采样单元1011、混响数据处理单元1012、接收单元1013、选取单元1014、获取单元1015、虚拟化单元1016、音频数据处理单元1017、音频处理单元1018、音效处理单元1019。混响数据采样单元1011用于执行图2中的步骤S101；混响数据处理单元1012用于执行图2中的步骤S102；接收单元1013用于执行图2中的步骤S103；选取单元1014用于执行图2中的步骤S104；获取单元1015用于执行图2中的步骤S105；虚拟化单元1016用于执行图2中的步骤S106；音频数据处理单元1017用于执行图2中的步骤S107；音频处理单元1018用于执行图2中的步骤S108；音效处理单元1019用于执行图2中的步骤S109。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在采用集成的单元的情况下，图9示出了上述实施例中所涉及的音频处理装置的一种可能的结构示意图。音频处理装置10包括：处理模块1022和通信模块1023。处理模块1022用于对音频处理装置10的动作进行控制管理，例如，处理模块1022用于支持音频处理装置10执行图2中的过程S101-S109。通信模块1023用于支持音频处理装置与其他实体的通信。音频处理装置10还可以包括存储模块1021，用于存储音频处理装置的程序代码和数据。
其中，处理模块1022可以是处理器或控制器，例如可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块1023可以是收发器、收发电路或通信接口等。存储模块1021可以是存储器。
处理模块1022为如图1所示的处理器，通信模块1023为图1的通信接口，存储模块1021为图1的存储器时，本申请实施例所涉及的音频处理装置可以为如图1中所述的音频处理装置100。
本申请实施例提供一种音频采样装置，用于执行上述音频采样方法。本申请实施例可以根据上述方法实例对音频采样装置进行功能模块的划分。例如，可以对应各功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图11示出了上述实施例中所涉及的音频采样装置的一种可能的结构示意图，音频采样装置20包括：混响数据采样单元2013、混响数据处理单元2014。混响数据采集单元2013用于执行图10中的步骤S201；混响数据处理单元2014用于执行图10中的步骤S202。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在采用集成的单元的情况下，图12示出了上述实施例中所涉及的音频采样装置的一种可能的结构示意图。音频采样装置20包括：处理模块2022和通信模块2023。处理模块2022用于对音频采样装置20的动作进行控制管理，例如，处理模块2022用于支持音频采样装置20执行图10中的过程S201-S202。通信模块2023用于支持音频采样装置与其他实体的通信。音频采样装置20还可以包括存储模块2021，用于存储音频采样装置的程序代码和数据。
其中，处理模块2022可以是处理器或控制器，例如可以是中央处理器(centralprocess ing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块2023可以是收发器、收发电路或通信接口等。存储模块2021可以是存储器。
当处理模块2022为处理器，通信模块2023为收发器，存储模块2021为存储器时，本申请实施例所涉及的音频采样装置可以为如下所述的音频采样装置20。
参照图13所示，该音频采样装置20包括：存储器2031、处理器2032、通信接口2033、总线2034。
其中，通信接口2033、处理器2032、存储器2031通过总线2034相互连接；总线2034可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industy standard architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
处理器2032可以是一个通用中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。
存储器2031可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器2031用于存储执行本申请方案的应用程序代码，并由处理器2032来控制执行。通信接口2033用于接收外部设备输入的内容，处理器2032用于执行存储器2031中存储的应用程序代码，从而实现本申请实施例中所述的音频采样的方法。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (26)

1.一种音频处理方法，其特征在于，包括：
获取用户输入的位置选择指令，根据所述位置选择指令在虚拟现实VR应用展示的场景中确定用户选定的位置；
根据所述用户选定的位置，从采样混响数据库中选择所述用户选定的位置对应的采样混响数据，所述采样混响数据库包含所述VR应用展示的场景中的位置对应的采样混响数据；
获取所述VR应用的原始音频数据；
利用头相关变换函数HRTF数据库对所述原始音频数据进行虚拟化处理，得到虚拟化音频数据；
利用所述用户选定的位置对应的采样混响数据，对所述虚拟化音频数据进行混响卷积处理；
对混响卷积处理后的所述虚拟化音频数据进行混音处理，生成双耳音频数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述用户选定的位置，从采样混响数据库中选择所述用户选定的位置对应的采样混响数据之前，所述方法还包括：
采集所述VR应用展示的场景中预定位置的原始采样混响数据；
根据所述HRTF数据库对所述原始采样混响数据进行能量归一化处理，得到能量归一化采样混响数据，并添加至所述采样混响数据库。
3.根据权利要求2所述的方法，其特征在于，所述根据所述HRTF数据库对所述原始采样混响数据进行能量归一化处理，得到能量归一化采样混响数据，并添加至所述采样混响数据库，包括：
获取待处理混响数据，所述待处理混响数据包含所述VR应用展示的场景中所述预定位置在预定方向上的原始采样混响数据；
获取预定方向HRTF数据，所述预定方向HRTF数据包含所述HRTF数据库中所述VR应用展示的场景中在所述预定方向上的HRTF数据；计算所述预定方向HRTF数据的均方根值RMS能量E1；
计算所述待处理混响数据中与所述预定方向HRTF数据长度一致的数据的RMS能量E2；
根据所述待处理混响数据、所述预定方向HRTF数据以及E1/E2得到所述能量归一化采样混响数据；
将所述能量归一化采样混响数据添加至所述采样混响数据库。
4.根据权利要求3所述的方法，其特征在于，所述根据所述待处理混响数据、所述预定方向HRTF数据以及E1/E2得到所述能量归一化采样混响数据，包括：
将所述待处理混响数据乘以E1/E2得到预处理混响数据，将所述预处理混响数据中与所述预定方向HRTF数据长度一致的数据置为0，得到所述能量归一化采样混响数据；
或者，将所述待处理混响数据中与所述预定方向HRTF数据长度一致的数据置为0，并将所述待处理混响数据中的其他部分乘以E1/E2，得到所述能量归一化采样混响数据；其中所述待处理混响数据中的其他部分包括所述待处理混响数据的早起反射部分和后期混响部分。
5.根据权利要求1所述的方法，其特征在于，所述利用所述用户选定的位置对应的采样混响数据，对所述虚拟化音频数据进行混响卷积处理，包括：
从所述用户选定的位置对应的采样混响数据中，根据所述虚拟化音频数据对应的虚拟音箱的方向选取采样混响数据，对所述虚拟化音频数据进行混响卷积处理。
6.根据权利要求1所述的方法，其特征在于，所述对混响卷积处理后的所述虚拟化音频数据进行混音处理，生成双耳音频数据之后，所述方法还包括：
对所述双耳音频数据进行音效处理。
7.根据权利要求6所述的方法，其特征在于，所述音效处理至少包括以下的一项或多项：均衡器EQ音效处理、动态范围压缩器DRC音效处理。
8.根据权利要求1所述的方法，其特征在于，所述原始音频数据至少包括以下任一一项：2.0双声道音频数据、5.1声道音频数据和7.1声道音频数据。
9.一种音频采样方法，其特征在于，包括：
采集所述VR应用展示的场景中预定位置的原始采样混响数据；
根据所述HRTF数据库对所述原始采样混响数据进行能量归一化处理，得到能量归一化采样混响数据，并添加至所述采样混响数据库。
10.根据权利要求9所述的方法，其特征在于，根据所述HRTF数据库对所述原始采样混响数据进行能量归一化处理，得到能量归一化采样混响数据，并添加至所述采样混响数据库，包括：
获取待处理混响数据，所述待处理混响数据包含所述VR应用展示的场景中所述预定位置在预定方向上的原始采样混响数据；
获取预定方向HRTF数据，所述预定方向HRTF数据包含所述HRTF数据库中所述VR应用展示的场景中在所述预定方向上的HRTF数据；计算所述预定方向HRTF数据的均方根值RMS能量E1；
计算所述待处理混响数据中与所述预定方向HRTF数据长度一致的数据的RMS能量E2；
根据所述待处理混响数据、所述预定方向HRTF数据以及E1/E2得到所述能量归一化采样混响数据；
将所述能量归一化采样混响数据添加至所述采样混响数据库。
11.根据权利要求10所述的方法，其特征在于，所述根据所述待处理混响数据、所述预定方向HRTF数据以及E1/E2得到所述能量归一化采样混响数据，包括：
将所述待处理混响数据乘以E1/E2得到预处理混响数据，将所述预处理混响数据中与所述预定方向HRTF数据长度一致的数据置为0，得到所述能量归一化采样混响数据；
或者，将所述待处理混响数据中与所述预定方向HRTF数据长度一致的数据置为0，并将所述待处理混响数据中的其他部分乘以E1/E2，得到所述能量归一化采样混响数据；其中所述待处理混响数据中的其他部分包括所述待处理混响数据的早起反射部分和后期混响部分。
12.一种音频处理装置，其特征在于，包括：
接收单元，用于获取用户输入的位置选择指令，根据所述位置选择指令在VR应用展示的场景中确定用户选定的位置；
选取单元，用于根据所述接收单元获取的所述用户选定的位置，从采样混响数据库中选择所述用户选定的位置对应的采样混响数据，所述采样混响数据库包含所述VR应用展示的场景中的位置对应的采样混响数据；
获取单元，用于获取虚拟现实VR应用的原始音频数据；
虚拟化单元，用于利用头相关变换函数HRTF数据库对所述获取单元获取的所述原始音频数据进行虚拟化处理，得到虚拟化音频数据；
音频数据处理单元，用于利用所述选取单元获取的所述用户选定的位置对应的采样混响数据，对所述虚拟化音频数据进行混响卷积处理；
音频处理单元，用于对所述音频数据处理单元获取的混响卷积处理后的所述虚拟化音频数据进行混音处理，生成双耳音频数据。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：混响数据采集单元、混响数据处理单元；
所述混响数据采集单元，用于采集所述VR应用展示的场景中预定位置的原始采样混响数据；
所述混响数据处理单元，用于根据所述HRTF数据库对所述混响数据采集单元采集的所述原始采样混响数据进行能量归一化处理，得到能量归一化采样混响数据，并添加至所述采样混响数据库。
14.根据权利要求13所述的装置，其特征在于，所述混响数据处理单元具体用于获取待处理混响数据，所述待处理混响数据包含所述VR应用展示的场景中所述预定位置在预定方向上的原始采样混响数据；获取预定方向HRTF数据，所述预定方向HRTF数据包含所述HRTF数据库中所述VR应用展示的场景中在所述预定方向上的HRTF数据；计算所述预定方向HRTF数据的均方根值RMS能量E1；计算所述待处理混响数据中与所述预定方向HRTF数据长度一致的数据的RMS能量E2；根据所述待处理混响数据、所述预定方向HRTF数据以及E1/E2得到所述能量归一化采样混响数据；将所述能量归一化采样混响数据添加至所述采样混响数据库。
15.根据权利要求14所述的装置，其特征在于，所述混响数据处理单元具体用于将所述待处理混响数据乘以E1/E2，再将所述乘以E1/E2后的混响数据中与所述预定方向HRTF数据长度一致的数据置为0，得到所述能量归一化采样混响数据；或者，将所述待处理混响数据中与所述预定方向HRTF数据长度一致的数据置为0，并将所述待处理混响数据中的其他部分乘以E1/E2，得到所述能量归一化采样混响数据；其中所述待处理混响数据中的其他部分包括所述待处理混响数据的早起反射部分和后期混响部分。
16.根据权利要求12所述的装置，其特征在于，所述音频数据处理单元具体用于从所述用户选定的位置对应的采样混响数据中，根据所述虚拟化音频数据对应的虚拟音箱的方向选取采样混响数据，对所述虚拟化音频数据进行混响卷积处理。
17.根据权利要求12所述的装置，其特征在于，还包括：音效处理单元，用于对所述音频处理单元生成的所述双耳音频数据进行音效处理。
18.根据权利要求17所述的装置，其特征在于，所述音效处理至少包括以下的一项或多项：均衡器EQ音效处理、动态范围压缩器DRC音效处理。
19.一种音频采样装置，其特征在于，包括：
混响数据采集单元，采集所述VR应用展示的场景中预定位置的原始采样混响数据；
所述混响数据处理单元，用于根据所述HRTF数据库对所述混响数据采集单元采集的所述原始采样混响数据进行能量归一化处理，得到能量归一化采样混响数据，并添加至所述采样混响数据库。
20.根据权利要求19所述的装置，其特征在于，所述混响数据处理单元，具体用于获取待处理混响数据，所述待处理混响数据包含所述VR应用展示的场景中所述预定位置在预定方向上的原始采样混响数据；获取预定方向HRTF数据，所述预定方向HRTF数据包含所述HRTF数据库中所述VR应用展示的场景中在所述预定方向上的HRTF数据；计算所述预定方向HRTF数据的均方根值RMS能量E1；计算所述待处理混响数据中与所述预定方向HRTF数据长度一致的数据的RMS能量E2；根据所述待处理混响数据、所述预定方向HRTF数据以及E1/E2得到所述能量归一化采样混响数据；将所述能量归一化采样混响数据添加至所述采样混响数据库。
21.根据权利要求20所述的装置，其特征在于，所述混响数据处理单元具体用于将所述待处理混响数据乘以E1/E2，再将所述乘以E1/E2后的混响数据中与所述预定方向HRTF数据长度一致的数据置为0，得到所述能量归一化采样混响数据；或者，将所述待处理混响数据中与所述预定方向HRTF数据长度一致的数据置为0，并将所述待处理混响数据中的其他部分乘以E1/E2，得到所述能量归一化采样混响数据；其中所述待处理混响数据中的其他部分包括所述待处理混响数据的早起反射部分和后期混响部分。
22.一种音频处理装置，其特征在于，包括：处理器、存储器、总线和通信接口；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述音频处理装置运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述音频处理装置执行如权利要求1-8中任意一项所述的音频处理方法。
23.一种计算机存储介质，其特征在于，包括指令，当其在计算机上运行时，使得所述计算机执行如权利要求1-8中任一项所述的音频处理方法。
24.一种包含指令的计算机程序产品，其特征在于，当其在计算机上运行时，使得所述计算机执行如权利要求1-8中任一项所述的音频处理方法。
25.一种终端设备，其特征在于，所述终端设备包含如权利要求12-18任一一项所述的音频处理装置。
26.根据权利要求25所述的终端设备，其特征在于，所述终端设备为手机或VR设备。
CN201710602718.1A 2017-07-21 2017-07-21 一种音频处理方法及装置、终端设备 Pending CN109286889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710602718.1A CN109286889A (zh) 2017-07-21 2017-07-21 一种音频处理方法及装置、终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710602718.1A CN109286889A (zh) 2017-07-21 2017-07-21 一种音频处理方法及装置、终端设备

Publications (1)

Publication Number Publication Date
CN109286889A true CN109286889A (zh) 2019-01-29

Family

ID=65185318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710602718.1A Pending CN109286889A (zh) 2017-07-21 2017-07-21 一种音频处理方法及装置、终端设备

Country Status (1)

Country Link
CN (1) CN109286889A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040319A (zh) * 2021-11-17 2022-02-11 青岛海信移动通信技术股份有限公司 一种终端设备外放音质优化方法、装置、设备和介质
WO2023142783A1 (zh) * 2022-01-28 2023-08-03 华为技术有限公司 一种音频处理方法和终端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665156A (zh) * 2012-03-27 2012-09-12 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
CN103329576A (zh) * 2011-01-05 2013-09-25 皇家飞利浦电子股份有限公司 音频系统及其操作方法
CN104240695A (zh) * 2014-08-29 2014-12-24 华南理工大学 一种优化的基于耳机重放的虚拟声合成方法
CN105263075A (zh) * 2015-10-12 2016-01-20 深圳东方酷音信息技术有限公司 一种带方位传感器耳机及其3d声场还原方法
CN105376690A (zh) * 2015-11-04 2016-03-02 北京时代拓灵科技有限公司 生成虚拟环绕声的方法和装置
CN105792090A (zh) * 2016-04-27 2016-07-20 华为技术有限公司 一种增加混响的方法与装置
CN105874820A (zh) * 2014-01-03 2016-08-17 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
CN105959905A (zh) * 2016-04-27 2016-09-21 北京时代拓灵科技有限公司 混合模式空间声生成系统与方法
CN106576203A (zh) * 2014-05-28 2017-04-19 弗劳恩霍夫应用研究促进协会 确定和使用房间优化传输函数

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103329576A (zh) * 2011-01-05 2013-09-25 皇家飞利浦电子股份有限公司 音频系统及其操作方法
CN102665156A (zh) * 2012-03-27 2012-09-12 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
CN105874820A (zh) * 2014-01-03 2016-08-17 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
CN106576203A (zh) * 2014-05-28 2017-04-19 弗劳恩霍夫应用研究促进协会 确定和使用房间优化传输函数
CN104240695A (zh) * 2014-08-29 2014-12-24 华南理工大学 一种优化的基于耳机重放的虚拟声合成方法
CN105263075A (zh) * 2015-10-12 2016-01-20 深圳东方酷音信息技术有限公司 一种带方位传感器耳机及其3d声场还原方法
CN105376690A (zh) * 2015-11-04 2016-03-02 北京时代拓灵科技有限公司 生成虚拟环绕声的方法和装置
CN105792090A (zh) * 2016-04-27 2016-07-20 华为技术有限公司 一种增加混响的方法与装置
CN105959905A (zh) * 2016-04-27 2016-09-21 北京时代拓灵科技有限公司 混合模式空间声生成系统与方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040319A (zh) * 2021-11-17 2022-02-11 青岛海信移动通信技术股份有限公司 一种终端设备外放音质优化方法、装置、设备和介质
CN114040319B (zh) * 2021-11-17 2023-11-14 青岛海信移动通信技术有限公司 一种终端设备外放音质优化方法、装置、设备和介质
WO2023142783A1 (zh) * 2022-01-28 2023-08-03 华为技术有限公司 一种音频处理方法和终端

Similar Documents

Publication Publication Date Title
Avni et al. Spatial perception of sound fields recorded by spherical microphone arrays with varying spatial resolution
CN101040565B (zh) 用于移动立体声内容的改善的头相关传递函数
CN106537942A (zh) 3d沉浸式空间音频系统和方法
Schröder et al. Virtual reality system at RWTH Aachen University
US8693713B2 (en) Virtual audio environment for multidimensional conferencing
AU2014311618B2 (en) Multidimensional virtual learning system and method
US10757528B1 (en) Methods and systems for simulating spatially-varying acoustics of an extended reality world
JP2016504824A (ja) 協調的サウンドシステム
WO2018132235A1 (en) Decoupled binaural rendering
JP7210602B2 (ja) オーディオ信号の処理用の方法及び装置
CN108293165A (zh) 增强音场的装置和方法
US20220014712A1 (en) Methods and apparatus to enable private verbal side conversations in virtual meetings
CN104581610A (zh) 一种虚拟立体声合成方法及装置
US20160037281A1 (en) Memory management techniques and related systems for block-based convolution
CN110460863A (zh) 基于显示位置的音视频处理方法、装置、介质和电子设备
CN108966114A (zh) 声场重建方法、音频设备、存储介质及装置
CN108391199A (zh) 基于个性化反射声阈值的虚拟声像合成方法、介质和终端
US20230283978A1 (en) Playing Binaural Sound Clips During an Electronic Communication
CN109286889A (zh) 一种音频处理方法及装置、终端设备
Villegas Locating virtual sound sources at arbitrary distances in real-time binaural reproduction
US20230199421A1 (en) Audio processing method and apparatus, and storage medium
Hacihabiboglu et al. Frequency-domain scattering delay networks for simulating room acoustics in virtual environments
CN113827953B (zh) 游戏控制系统
US20200107148A1 (en) Generating personalized end user head-related transfer function (hrtv) using panoramic images of ear
Brix et al. Wave field synthesis based concept car for high-quality automotive sound

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129

RJ01 Rejection of invention patent application after publication