CN105792090B - 一种增加混响的方法与装置 - Google Patents

一种增加混响的方法与装置 Download PDF

Info

Publication number
CN105792090B
CN105792090B CN201610269909.6A CN201610269909A CN105792090B CN 105792090 B CN105792090 B CN 105792090B CN 201610269909 A CN201610269909 A CN 201610269909A CN 105792090 B CN105792090 B CN 105792090B
Authority
CN
China
Prior art keywords
signal
reverberation
target
rir
hrir
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610269909.6A
Other languages
English (en)
Other versions
CN105792090A (zh
Inventor
徐德著
赵翔宇
帕布洛·霍夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610269909.6A priority Critical patent/CN105792090B/zh
Publication of CN105792090A publication Critical patent/CN105792090A/zh
Priority to PCT/CN2016/102026 priority patent/WO2017185663A1/zh
Application granted granted Critical
Publication of CN105792090B publication Critical patent/CN105792090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明实施例提供了一种生成混响的方法与装置，获取室内环境的房间脉冲响应RIR，所述RIR表征所述室内的混响的时域信息；确定音频系统中目标头相关脉冲响应HRIR数据，并计算所述目标HRIRHRIR数据的能量和长度；根据所述目标HRIR数据的能量对所述RIR进行归一化处理得到第一信号；根据所述目标HRIR数据的长度对所述第一信号进行淡入处理得到第二信号；确定距离信息，所述距离信息用于表征虚拟声源距离用户的距离；根据所述距离信息对所述第二信号进行能量调整，生成后期混响信号。方便地实时得到真实采样混响；同时，对得到的采样混响进行处理，加入了能量归一化与结合距离信息的增益控制，可以增强音频系统中的头外部感，并且通过距离信息产生不同的距离感。

Description

一种增加混响的方法与装置
技术领域
本发明涉及通信技术领域，尤其涉及一种增加混响的方法与装置。
背景技术
当前虚拟现实领域研究非常广泛，其中虚拟音频方面的体验也越来越被重视。目前VR音频效果主要是利用头头相关传递函数HRTF(Head Related Transfer Function)技术结合头部跟踪来实现音源不随头动效果，模拟真实环境音频体验。
对于一个时域信号-头相关脉冲响应HRIR(Head Related Impulse Response)，经快速傅里叶变换FFT就可以得到频域信号，也即HRTF信号，反之HRTF信号经过IFFT就可以得到HRIR信号，两者可视为等价关系。VR音频系统中一般都包含一个HRIR或者HRTF数据库，如CIPIC(Center for Image Processing and Integrated Computing)等公知数据库，它包含了三维球面上不同方位对应的HRTF/HRIR数据。
声源发出的声波经头部、耳廓、躯干等衍射后到达双耳，其中的物理过程可视为一个线性时不变的声滤波系统，其特性可由系统的频域传输函数描述，定义为头部相关的传递函数。它反映了进入人耳的声音信号的方位不同时，外耳、头部、躯干对声音信号的滤波作用。因此HRTF数据包含了方向信息。
一种常见的音频处理技术如图1所示，预先将HRIR数据库使用FFT转换为HRTF数据库，根据头部跟踪处理(Head-tracking processing)得到的方位信息，选取对应的HRTF数据。根据时域卷积等价于频域乘积的原理，将HRTF数据与视频音轨等输入时域音频信号的FFT变换结果相乘，再进行IFFT变换为时域信号并将此时域信号用耳机播放给用户。
然而，这类处理技术仅仅实现了具有方向感的声音，HRTF技术固有的头中效应、声源距离感等方面效果还存在缺陷。所谓头中效应具体表现就是听音乐时，仿佛人声、乐器存在于脑中而非空间中，这种效应应当尽量减小或避免。除了头中效应还有头外部效应，头外部效应即表示用户用耳机听音乐时，听者仿佛置身于一个音乐厅的中心位置，自己被周围(外界)的各个乐器声包围，这种效应应当增强。相对应的，头中效应与头外部效应是此消彼长的，如提高头外部效应同时也会降低头中效应。在此基础上，用户还需要能感觉到不同声源的远近，这种效应也是应当增强的。
声波在室内传播时，要被墙壁、天花板、地板等障碍物反射，每反射一次都要被障碍物吸收一些。这样，当声源停止发声后，声波在室内要经过多次反射和吸收，最后才消失，我们就感觉到声源停止发声后声音还继续一段时间。这种现象叫做混响。混响包含了室内的空间信息，因此添加混响处理能够增强头外部效应，削弱头中效应。
对于一个室内混响的测量，一般是在室内通过扬声器发射一个短暂的声学测试信号，声音经过一系列的反射后，被麦克风拾取，针对不同类型的测试信号经过特定处理就可以得到这个室内空间的混响的时域信号。
Dolby处理方式为在图1所示技术基础之上添加了后期混响的处理。Dolby采用公知的FDN(Feedback delay network)方法添加后期混响解决头中效应，在一些实例中，对多声道输入的每一个声道都进行HRTF卷积处理，同时对下混响后的单声道做至少一次FDN处理。一种具体实例如图2所示：输入信号为视频音轨等多声道时域信号；将输入信号中每一声道的信号通过直接响应前期反射处理模块200与HRTF进行卷积，得到对应的时域双声道输出信号，将不同声道的输出直接相加得到第一路双声道输出信号；将输入信号中的不同声道信号相加，通过模块下混响模块201下混响成一个单声道信号，此单声道信号经过FDN模块(220)处理，得到第二路双声道输出信号；将第一路双声道输出信号和第二路双声道输出信号用混响模块210相加混响得到最终输出信号，并用耳机反馈给用户。
其中，对于FDN模块(220)，需要进行至少一个FDN模块的运算，每个FDN模块均需要全通滤波，多路延时处理，每个音频时域样点需要进行一个矩阵运算(可参见专利WO 2015/102920 A1)。因此涉及到的计算模块和参数设置都很复杂；此外，FDN为人工混响，不同场景需要设置不同的FDN参数，因此不能灵活适用多种应用场景；效果难以与真实环境混响一致；并且没有实现对距离感的控制功能。
发明内容
有鉴于此，本发明实施例提供了一种增加混响的方法与装置。
第一方面，本发明实施例提供了一种生成混响的方法：获取室内环境的房间脉冲响应RIR，上述RIR表征上述室内的混响的时域信息；确定音频系统中目标头相关脉冲响应HRIR数据，并计算上述目标HRIR数据的能量和长度；根据上述目标HRIR数据的能量对上述RIR进行归一化处理得到第一信号；根据上述目标HRIR数据的长度对上述第一信号进行淡入处理得到第二信号；确定距离信息，上述距离信息用于表征虚拟声源距离用户的距离；根据上述距离信息对上述第二信号进行能量调整，生成混响信号。通常，设备可以通过自带的扬声器和麦克风轻松获取到RIR，无需外部设备；对得到的采样混响进行处理，加入了能量归一化与结合距离信息的增益控制，可以增强音频系统中的头外部感，并且通过距离信息产生不同的距离感。
第二方面，本发明实施例提供了一种增加混响的方法：上述方法应用于VR设备，上述VR设备包括头部传感器，上述头部传感器用于获得头部方位传感信息；上述方法包括：获取室内环境的房间脉冲响应RIR，上述RIR表征上述室内的混响的时域信息；确定音频系统中目标头相关脉冲响应HRIR数据，并计算上述目标HRIR数据的能量和长度；根据上述目标HRIR数据的能量对上述RIR进行归一化处理得到第一信号；根据上述目标HRIR数据的长度对上述第一信号进行淡入处理得到第二信号；确定距离信息，上述距离信息用于表征虚拟声源距离用户的距离；根据上述距离信息对上述第二信号进行能量调整，生成混响信号；获得目标头部方位传感信息，确定上述目标头部方位传感信息对应的头相关传递函数HRTF；根据上述HRTF对音频输入信号进行处理，得到第一路音频信号；根据上述混响信号对上述音频输入信号进行处理，得到第二路音频信号；对上述第一路音频信号和上述第二路音频信号进行混响得到输出音频信号。通常，VR设备可以通过自带的或者智能终端自带的扬声器和麦克风轻松获取到RIR，无需外部设备；对得到的采样混响进行处理，加入了能量归一化与结合距离信息的增益控制，可以增强VR音频系统中的头外部感，并且通过距离信息产生不同的距离感。
根据第一方面或第二方面，在一个可能的设计中，上述获取当前室内环境的房间脉冲响应RIR包括：发射一个声学参考测试信号，收集上述声学参考测试信号的反射信号；对上述反射信号进行采样，得到上述RIR。其中，发射测试信号可以是预设的经验参考测试信号。这样更容易获取到房间的混响信息。
根据第一方面或第二方面，在一个可能的设计中，上述确定音频系统中目标头相关脉冲响应HRIR数据包括：在音频系统HRIR数据库中选出所有HRIR数据波形中样点绝对值的最大的HRIR数据作为上述目标头相关脉冲响应HRIR数据。因为该HRIR是用于能量归一化的，选取样点绝对值最大的能够使RIR归一化到一个与HRIR数据库最匹配的能量水平。
第三方面，本发明实施例提供了一种生成混响的装置，该装置包括：获取模块，用于获取室内环境的房间脉冲响应RIR，上述RIR表征上述室内的混响的时域信息；第一确定模块，用于确定音频系统中目标头相关脉冲响应HRIR数据，并计算上述目标HRIR数据的能量和长度；第一计算模块，用于根据上述第一确定模块计算出的目标HRIR数据的能量对上述获取模块获取的RIR进行归一化处理得到第一信号；第二计算模块，用于根据上述第一确定模块计算出的目标HRIR数据的长度对上述第一信号进行淡入处理得到第二信号；第二确定模块，用于确定距离信息，上述距离信息用于表征虚拟声源距离用户的距离；第三计算模块，用于根据上述第二确定模块确定的距离信息对上述第二计算模块计算出的第二信号进行能量调整，生成混响信号。通常，设备可以通过自带的扬声器和麦克风轻松获取到RIR，无需外部设备；对得到的采样混响进行处理，加入了能量归一化与结合距离信息的增益控制，可以增强音频系统中的头外部感，并且通过距离信息产生不同的距离感。
第四方面，本发明实施例提供了一种生成混响的装置，该装置应用于VR设备，上述VR设备包括头部传感器，上述头部传感器用于获得头部方位传感信息；上述装置包括：获取模块，用于获取室内环境的房间脉冲响应RIR，上述RIR表征上述室内的混响的时域信息；第一确定模块，用于确定音频系统中目标头相关脉冲响应HRIR数据，并计算上述目标HRIR数据的能量和长度；第一计算模块，用于根据上述第一确定模块计算出的目标HRIR数据的能量对上述获取模块获取的RIR进行归一化处理得到第一信号；第二计算模块，用于根据上述第一确定模块计算出的目标HRIR数据的长度对上述第一信号进行淡入处理得到第二信号；第二确定模块，用于确定距离信息，上述距离信息用于表征虚拟声源距离用户的距离；第三计算模块，用于根据上述第二确定模块确定的距离信息对上述第二计算模块计算出的第二信号进行能量调整，生成混响信号；第四计算模块，用于根据头相关传递函数HRTF对音频输入信号进行处理，得到第一路音频信号，其中，所述HRTF由所述头部方位传感信息决定；第五计算模块，用于根据上述第三计算模块计算出的混响信号对上述音频输入信号进行处理，得到第二路音频信号；第六计算模块，用于对上述第四计算模块计算出来的第一路音频信号和上述第五计算模块计算出的第二路音频信号进行混响得到输出音频信号。
根据第三方面或第四方面，在一个可能的设计中，上述获取模块具体用于：发射一个声学参考测试信号，收集上述声学参考测试信号的反射信号；对上述反射信号进行采样，得到上述RIR。其中，发射测试信号可以是预设的经验参考测试信号。这样更容易获取到房间的混响信息。
根据第三方面或第四方面，在一个可能的设计中，上述第一确定模块具体用于：在音频系统HRIR数据库中选出所有HRIR数据波形中样点绝对值的最大的HRIR数据作为上述目标头相关脉冲响应HRIR数据。
第五方面，本发明实施例提供了一种增强混响的设备，设备包括：处理器、存储器、收发器和总线系统；其中，上述处理器和上述存储器、上述收发器通过上述总线系统相连，上述存储器用于存储程序和指令，上述收发器用于收发音频信号，上述处理器通过调用上述存储器中的程序和指令，执行如上述任一一种可能的实现方法。
根据本发明实施例提供的技术方案，可以无需其他音频采集和测试设备，利用设备自身的扬声器和话筒就可以轻松获得当前房间的RIR，并对该RIR进行一定的数学方法处理，得到一个音频系统可用的混响信号，该混响信号可以对音频的输入信号进行卷积运算，使得输出信号可以增加用户的头外部效应、减轻头中效应，无需额外设置复杂的参数信息制造人工混响，总而言之，本发明能够给用户带来更好的音频体验。
附图说明
图1为现有技术中一种常见的音频处理技术；
图2为一种后期混响的信号处理示意图；
图3为本发明实施例中一种的应用设备示意图；
图4为本发明实施例中一个结合具体硬件的应用场景示意图；
图5为本发明实施例中一种增加混响的音频处理流程示意图；
图6为本发明实施例中一种生成混响信号的方法流程图；
图7为本发明实施例中一种生成混响的装置示意图；
图8为本发明实施例中一种增加混响的装置示意图；
图9为本发明实施例中一种生成混响的设备结构示意图。
具体实施方式
本发明实施例提供了一种增加混响的方法与装置。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分优选实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的应用场景为智能穿戴设备、智能影音系统等，如头带式VR设备，该设备包含智能终端设备，如手机、平板等智能终端(下文中以手机进行举例，若VR设备中包含功能与手机等同的其他终端，也应属于本发明保护范围内)，用户在不同的室内空间时，可以通过手机下发更新混响的命令，以便获得当前室内空间的混响信息，并根据当前室内的混响信息对VR设备中的声音进行后期处理，并通过耳机将处理后的声音返回给用户。
请参阅图3，在一种具体实现过程中，本发明所应用的设备为一个与VR设备300结合的智能终端，如智能手机304，智能手机中含有扬声器306与麦克风305，手机插在VR设备中作为VR显示设备、以及音频信号处理设备，一副连接VR设备的耳机设备302，用于播放虚拟音频信号给用户。智能手机中还包含存储单元307与计算单元308，VR设备中的控制单元301接受用户命令，当用户触发更新混响命令时，智能手机304通过麦克风305与扬声器306对所处真实环境房间混响进行测量，并通过计算单元308进行处理后得到后期混响信号，将该信号与HRTF数据库一起存放在存储单元307中。当用户体验VR音频时，计算单元308负责VR音频系统的运算，输出时域音频信号最终用耳机设备302回放给用户。
其中，VR设备300与智能手机304的既可以通过有线的方式连接，通常这种情形下VR设备300与智能手机304是集成在一体的；VR设备300与智能手机304也可以通过蓝牙、Wifi、红外等无线通讯方式进行无线连接通讯，通常这种情形下VR设备300与智能手机304是分立的。
本发明利用了VR设备搭配使用的智能手机上的扬声器与麦克风，不需要额外的测试设备。可以快速地测量获得以及更新当前真实环境混响信息，无需进行大量混响参数设定。在获得真实房间混响信息后进行本发明中的一系列处理即可得到可用的后期混响信号，得到可用的后期混响信号，并且结合距离信息进一步增益控制，在VR音频处理中使用。
一个结合具体硬件的应用场景示意图如图4所示：10为含信号控制与处理单元的智能手机，11为智能手机上的麦克风，12为智能手机上的扬声器，13为头戴式VR设备。
更为形象的音频处理流程可参阅图5。其中，输入信号为视频音轨等多声道时域信号；处理流程如下：
1)根据VR设备中的头部传感器确定出头部方位传感信息，根据头部方位传感信息在HRTF数据库中匹配出该头部方位传感信息所对应的HRTF函数；将输入信号中每一声道的信号通过HRTF双耳音频处理模块500与上述匹配出来的HRTF函数进行卷积，得到对应的时域双声道输出信号S1，将不同声道的输出直接相加得到输出信号S1；
2)通过后期混响处理模块503获取后期混响信号S2；
3)将输入信号中的不同声道信号相加，通过模块下混响模块501下混响成一个单声道信号，对该单声道信号与后期混响信号S2通过FFT快速卷积模块502进行FFT快速卷积，得到输出信号S3；
4)将输出信号S1和输出信号S3用混响模块504相加混响得到最终输出信号S4，并用耳机反馈给用户。
以上步骤中，步骤2)为本发明的关键步骤，下面将以更详细的实施例来描述如何获取后期混响信号S2。获取后期混响信号S2的方法步骤请参阅图6。具体步骤如下：
步骤610，使用VR设备搭配手机的扬声器发射一个声学参考测试信号，如TSP/MLS等测试信号S610；并使用测试信号对房间混响进行测量。
TSP信号是指一种公知的响应测量信号的信号，可以用wav等格式存储于存储设备，使用智能手机扬声器播放，产生声波经房间内各种障碍物反射，进而反应出房间的混响信息。
另外，测试信号不限于TSP信号，也可以是最大长度序列(MLS)、正弦扫频信号；测试信号的发出由用户进行控制。
步骤620，使用VR设备搭配手机的麦克风或者VR设备自带的麦克风拾取声学回声信号设备自带的麦克风拾取测试信号S610对应的声学反馈信号，由计算单元计算得出房间脉冲响应S620。
上述声学反馈信号包含了声波经不同障碍物、不同次反射的信号。由计算单元计算得出RIR房间脉冲响应，它表示房间混响信息的时域波形，不同房间的RIR均不同房间脉冲响应，可记为R(n)，其中n为[0,N],N为最终选取的RIR的样点长度，如N＝4096；该计算方法为公知方法。例如一个二维波形表示的RIR信号，横坐标为样点，纵坐标为样点值。样点表示音频信号采样点，以48000Hz采样为例，样点间间隔为1/48000秒，也即1秒中有48000个样点。
作为可选的，本步骤中不限于一个麦克风录制，若有多于两个可用的麦克风，则优先选取选材接近、距离较远的两个麦克风。对这两个麦克风录制数据进行处理。只有一个麦克风时，则只能得到一个可用的后期混响信号，这时VR音频处理中应用到左右两个声道即可；当有两个麦克风时，则有两个可用的后期混响信号，将它们分别应用于左右声道，因为两麦克风采集信号不完全相同，后期混响相关性降低，整体立体感会得到一定增强，但是这样会需要两路的本方案中S630-S650计算步骤。对于三个麦克风，则没有必要进行三路运算，选取麦克风性能最近、距离最远的两个麦克风信号。
步骤630，根据VR音频系统采用的HRIR数据能量，由计算单元对房间脉冲响应S620进行能量归一化处理得到信号S630。
首先，统计得出HRIR数据库(与HRTF数据库等价，为时域信号)中所有HRIR数据波形中样点绝对值的最大值的目标HRIR数据，以及目标HRIR数据中样点绝对值最大的样点位置(时间点)N1。
其次，统计录制的RIR房间脉冲响应的样点绝对值最大值对应的样点位置N2，将录制响应峰值点按HRIR数据峰值样点进行对齐处理。此时需要将RIR数据的前(N2-N1)个样点删除，保证时间同步。对齐后的RIR为：
R1(n)＝R(n+N2-N1) n∈[1,N]
对对齐处理后的HRIR以及对齐处理后的RIR截取相同长度的样点，截取长度取决于VR音频系统HRIR数据库中所使用的长度。以长度512为示例，截取HRIR样点[N1,N1+511]，截取RIR样点[N2’，N2’+511]部分，也即分别截取512个样点，分别计算HRIR以及RIR截取部分的RMS均方根能量E1，E2。对对齐处理后的RIR乘以E1/E2，进行能量归一化处理。其中，
R2(n)＝(E1/E2)*R1(n) n∈[1,N]
R2(n)即信号S630。
步骤640，根据VR音频系统采用的HRIR数据长度，由计算单元对信号S630中所述信号进行淡入处理，获得第一后期混响信号S640。
该处理目的是淡入处理，删除测量混响中的直达声及前期反射部分，只剩下第一后期混响信号。以HRIR长度为M个样点为例(M取值一般可为256、512等)，淡入窗函数为：
LR(n)＝W(n)*R2(n)
LR(n)即信号S640。
步骤650，根据距离传感器或者用户设定的距离信息，由计算单元对第一后期混响信号S640信号进行能量调整，得到经处理的、系统可用的第二后期混响信号S650，该信号S650即上述信号S2，供VR音频系统后续进行运算处理。
具体为，对于用户设定距离r(r≥1)，单位为(米)，可为用户设定虚拟声源的距离，或者可为VR设备中距离传感器获得的声源距离信息。后期混响信号增益为该增益直接加载在后期混响信号上，
LR1(n)即信号S650。
以上实现过程中，步骤610-650中，每一个步骤的算法都存在着若干形式的变形，本领域技术人员基于现有技术中的信号处理方法、以及无需经过任何创造性改进的同等算法实现都应属于本发明所保护的范围内。本发明中不予以一一列举。
本发明实施例中提供了一种增加混响的方法，据本发明实施例提供的技术方案，可以无需其他音频采集和测试设备，利用设备自身的扬声器和话筒就可以轻松获得当前房间的RIR，并对该RIR进行一定的数学方法处理，得到一个音频系统可用的混响信号，该混响信号可以对音频的输入信号进行卷积运算，使得输出信号可以增加用户的头外部效应、减轻头中效应，无需额外设置复杂的参数信息制造人工混响。
请参阅图7，图7为本发明实施例中生成混响的装置，该装置可以是一个智能终端，也可以是可穿戴设备如VR设备，也可以是集成在产品中的一个音频处理模块。该装置700包括：
获取模块701，用于获取室内环境的房间脉冲响应RIR，RIR表征当前室内的混响的时域信息。该获取模块可以由常见的无线收发模块来实现，相应的无线收发模式可以接收和发送音频信号，可由特定应用来控制实现。
第一确定模块702，用于确定音频系统中目标头相关脉冲响应HRIR数据，并计算目标HRIR数据的能量和长度。HRIR数据可以由存储器来存储，第一确定模块702可以在处理器中实现。
第一计算模块703，用于根据第一确定模块702确定出的目标HRIR数据的能量对获取模块701获取的RIR进行归一化处理得到第一信号。第一计算模块可在处理器中实现。
第二计算模块704，用于根据第一计算模块703计算出的目标HRIR数据的长度对第一信号进行淡入处理得到第二信号。第二计算模块可在处理器中实现。
第二确定模块705，用于确定距离信息，该距离信息用于表征虚拟声源距离用户的距离；第二确定模块705可以由处理器来实现。
第三计算模块706，用于根据第二确定模块705确定的距离信息对第二计算模块704计算出的第二信号进行能量调整，生成混响信号。第三计算模块706可以由处理器来实现。
请参阅图8，图8为本发明实施例中增加混响的装置，该装置可以是一个智能终端，也可以是可穿戴设备如VR设备，或者是一套音频系统。该装置800包括：获取模块801，用于获取室内环境的房间脉冲响应RIR，RIR表征所述室内的混响的时域信息；该获取模块可以由常见的无线收发模块来实现，相应的无线收发模式可以接收和发送音频信号，可由特定应用来控制实现。
第一确定模块802，用于确定音频系统中目标头相关脉冲响应HRIR数据，并计算目标HRIR数据的能量和长度；HRIR数据可以由存储器来存储。
第一计算模块803，用于根据第一确定模块802计算出的目标HRIR数据的能量对获取模块801获取的RIR进行归一化处理得到第一信号；
第二计算模块804，用于根据第一确定模块802计算出的目标HRIR数据的长度对第一信号进行淡入处理得到第二信号；
第二确定模块805，用于确定距离信息，该距离信息用于表征虚拟声源距离用户的距离；
第三计算模块806，用于根据第二确定模块805确定的距离信息对第二计算模块804计算出的第二信号进行能量调整，生成混响信号；
第四计算模块807，用于根据头相关传递函数HRTF对音频输入信号进行处理，得到第一路音频信号，其中，该HRTF由所述头部方位传感信息决定；
第五计算模块808，用于根据第三计算模块806计算出的混响信号对音频输入信号进行处理，得到第二路音频信号；
第六计算模块809，用于对第四计算模块807计算出来的第一路音频信号和第五计算模块808计算出的第二路音频信号进行混响得到输出音频信号。
以上模块中802-809均可由处理器进行实现并完成相应的功能。
在具体实现过程中，所述获取模块701/801具体用于：发射一个声学参考测试信号，并收集声学参考测试信号的反射信号；对该反射信号进行采样，得到RIR。第一确定模块702/802具体用于：在音频系统HRIR数据库中选出所有HRIR数据波形中样点绝对值的最大的HRIR数据作为目标头相关脉冲响应HRIR数据
本发明技术方案提供了一种增加混响的装置，该装置包括上述模块701-706，或上述模块801-808；该装置用于实现上述步骤601-605的实现方式以及可等同替换的实现方式。设备可以通过自带的扬声器和麦克风轻松获取到RIR，无需外部设备；对得到的采样混响进行处理，加入了能量归一化与结合距离信息的增益控制，可以增强音频系统中的头外部感，并且通过距离信息产生不同的距离感。
请参阅图9，图9为本发明实施例中一种生成混响的设备结构示意图。该设备900包括：
处理器901，用于产生相应的操作控制信号，发给计算处理设备相应的部件，读取以及处理软件中的数据，尤其是读取和处理存储器902中的数据和程序，以使其中的各个功能模块执行相应的功能，从而控制相应的部件按指令的要求进行动作。
存储器902，用于存储程序和各种数据，主要存储操作系统、应用和功能指令等软件单元、或者他们的子集、或者他们的扩展集。还可以包括非易失性随机存取存储器，向处理器901提供包括管理计算处理设备中的硬件、软件及数据资源，支持控制软件和应用。
收发器903，用于采集、获取或发送信息，尤其是音频信号。
上述各个硬件单元可以通过总线连接进行通信。
如此一来，处理器901通过调用存储器902存储的程序或指令，控制收发器903获取室内环境的房间脉冲响应RIR，处理器301执行上述实施例中步骤610-650，将RIR信号处理生成一个在音频系统中可用的混响信号。
设备900的实现形式可以是智能终端，也可以是智能音频系统，如VR设备或智能耳麦、智能视听系统、可穿戴家庭影院等等。
本领域普通技术人员可知，上述方法中的全部或部分步骤可以通过程序指令相关的硬件完成，该程序可以存储于一计算机可读存储介质中。通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。
以上实施例仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。

Claims (13)

1.一种生成混响的方法，其特征在于，所述方法包括：
获取室内环境的房间脉冲响应RIR，所述RIR表征所述室内的混响的时域信息；
确定音频系统中目标头相关脉冲响应HRIR数据，并计算所述目标HRIR数据的能量和长度；
根据所述目标HRIR数据的能量对所述RIR进行归一化处理得到第一信号；
根据所述目标HRIR数据的长度对所述第一信号进行淡入处理得到第二信号，其中，所述淡入处理包括删除测量混响中的直达声及前期反射部分，只剩下第一后期混响信号，所述第二信号为所述第一后期混响信号；
确定距离信息，所述距离信息用于表征虚拟声源距离用户的距离；
根据所述距离信息对所述第二信号进行能量调整，生成混响信号。
2.如权利要求1所述方法，其特征在于，所述获取当前室内环境的房间脉冲响应RIR包括：
发射一个声学参考测试信号，收集所述声学参考测试信号的反射信号；
对所述反射信号进行采样，得到所述RIR。
3.如权利要求2所述的方法，其特征在于，所述确定音频系统中目标头相关脉冲响应HRIR数据包括：
在音频系统HRIR数据库中选出所有HRIR数据波形中样点绝对值的最大的HRIR数据作为所述目标头相关脉冲响应HRIR数据。
4.一种增加混响的方法，其特征在于，所述方法应用于VR设备，所述VR设备包括头部传感器，所述头部传感器用于获得头部方位传感信息；所述方法包括：
获取室内环境的房间脉冲响应RIR，所述RIR表征所述室内的混响的时域信息；
确定音频系统中目标头相关脉冲响应HRIR数据，并计算所述目标HRIR数据的能量和长度；
根据所述目标HRIR数据的能量对所述RIR进行归一化处理得到第一信号；
根据所述目标HRIR数据的长度对所述第一信号进行淡入处理得到第二信号，其中，所述淡入处理包括删除测量混响中的直达声及前期反射部分，只剩下第一后期混响信号，所述第二信号为所述第一后期混响信号；
确定距离信息，所述距离信息用于表征虚拟声源距离用户的距离；
根据所述距离信息对所述第二信号进行能量调整，生成混响信号；
获得目标头部方位传感信息，确定所述目标头部方位传感信息对应的头相关传递函数HRTF；
根据所述HRTF对音频输入信号进行处理，得到第一路音频信号；
根据所述混响信号对所述音频输入信号进行处理，得到第二路音频信号；
对所述第一路音频信号和所述第二路音频信号进行混响得到输出音频信号。
5.如权利要求4所述方法，其特征在于，所述获取当前室内环境的房间脉冲响应RIR包括：
发射一个声学参考测试信号，收集所述声学参考测试信号的反射信号；
对所述反射信号进行采样，得到所述RIR。
6.如权利要求4所述的方法，其特征在于，所述确定音频系统中目标头相关脉冲响应HRIR数据包括：
在音频系统HRIR数据库中选出所有HRIR数据波形中样点绝对值的最大的HRIR数据作为所述目标头相关脉冲响应HRIR数据。
7.一种生成混响的装置，其特征在于，所述装置包括：
获取模块，用于获取室内环境的房间脉冲响应RIR，所述RIR表征所述室内的混响的时域信息；
第一确定模块，用于确定音频系统中目标头相关脉冲响应HRIR数据，并计算所述目标HRIR数据的能量和长度；
第一计算模块，用于根据所述第一确定模块计算出的目标HRIR数据的能量对所述获取模块获取的RIR进行归一化处理得到第一信号；
第二计算模块，用于根据所述第一确定模块计算出的目标HRIR数据的长度对所述第一信号进行淡入处理得到第二信号，其中，所述淡入处理包括删除测量混响中的直达声及前期反射部分，只剩下第一后期混响信号，所述第二信号为所述第一后期混响信号；
第二确定模块，用于确定距离信息，所述距离信息用于表征虚拟声源距离用户的距离；
第三计算模块，用于根据所述第二确定模块确定的距离信息对所述第二计算模块计算出的第二信号进行能量调整，生成混响信号。
8.如权利要求7所述装置，其特征在于，所述获取模块具体用于：
发射一个声学参考测试信号，收集所述声学参考测试信号的反射信号；
对所述反射信号进行采样，得到所述RIR。
9.如权利要求7所述装置，其特征在于，所述第一确定模块具体用于：
在音频系统HRIR数据库中选出所有HRIR数据波形中样点绝对值的最大的HRIR数据作为所述目标头相关脉冲响应HRIR数据。
10.一种增加混响的装置，其特征在于，所述装置应用于VR设备，所述VR设备包括头部传感器，所述头部传感器用于获得头部方位传感信息；所述装置包括：
获取模块，用于获取室内环境的房间脉冲响应RIR，所述RIR表征所述室内的混响的时域信息；
第一确定模块，用于确定音频系统中目标头相关脉冲响应HRIR数据，并计算所述目标HRIR数据的能量和长度；
第一计算模块，用于根据所述第一确定模块计算出的目标HRIR数据的能量对所述获取模块获取的RIR进行归一化处理得到第一信号；
第二计算模块，用于根据所述第一确定模块计算出的目标HRIR数据的长度对所述第一信号进行淡入处理得到第二信号，其中，所述淡入处理包括删除测量混响中的直达声及前期反射部分，只剩下第一后期混响信号，所述第二信号为所述第一后期混响信号；
第二确定模块，用于确定距离信息，所述距离信息用于表征虚拟声源距离用户的距离；
第三计算模块，用于根据所述第二确定模块确定的距离信息对所述第二计算模块计算出的第二信号进行能量调整，生成混响信号；
第四计算模块，用于根据头相关传递函数HRTF对音频输入信号进行处理，得到第一路音频信号，其中，所述HRTF由所述头部方位传感信息决定；
第五计算模块，用于根据所述第三计算模块计算出的混响信号对所述音频输入信号进行处理，得到第二路音频信号；
第六计算模块，用于对所述第四计算模块计算出来的第一路音频信号和所述第五计算模块计算出的第二路音频信号进行混响得到输出音频信号。
11.如权利要求10所述装置，其特征在于，所述获取模块具体用于：
发射一个声学参考测试信号，收集所述声学参考测试信号的反射信号；
对所述反射信号进行采样，得到所述RIR。
12.如权利要求10所述装置，其特征在于，所述第一确定模块具体用于：
在音频系统HRIR数据库中选出所有HRIR数据波形中样点绝对值的最大的HRIR数据作为所述目标头相关脉冲响应HRIR数据。
13.一种增加混响的设备，其特征在于，所述设备包括：处理器、存储器、收发器和总线系统；其中，所述处理器和所述存储器、所述收发器通过所述总线系统相连，所述存储器用于存储程序和指令，所述收发器用于收发音频信号，所述处理器通过调用所述存储器中的程序和指令，执行如权利要求1-6任一项所述方法。
CN201610269909.6A 2016-04-27 2016-04-27 一种增加混响的方法与装置 Active CN105792090B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610269909.6A CN105792090B (zh) 2016-04-27 2016-04-27 一种增加混响的方法与装置
PCT/CN2016/102026 WO2017185663A1 (zh) 2016-04-27 2016-10-13 一种增加混响的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610269909.6A CN105792090B (zh) 2016-04-27 2016-04-27 一种增加混响的方法与装置

Publications (2)

Publication Number Publication Date
CN105792090A CN105792090A (zh) 2016-07-20
CN105792090B true CN105792090B (zh) 2018-06-26

Family

ID=56398794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610269909.6A Active CN105792090B (zh) 2016-04-27 2016-04-27 一种增加混响的方法与装置

Country Status (2)

Country Link
CN (1) CN105792090B (zh)
WO (1) WO2017185663A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105792090B (zh) * 2016-04-27 2018-06-26 华为技术有限公司 一种增加混响的方法与装置
EP3504523B1 (en) * 2016-08-29 2023-11-08 Harman International Industries, Incorporated Apparatus and method for generating virtual venues for a listening room
CN106528038B (zh) * 2016-10-25 2019-09-06 三星电子（中国）研发中心 一种虚拟现实场景下调节音频效果的方法、系统及装置
US10158963B2 (en) * 2017-01-30 2018-12-18 Google Llc Ambisonic audio with non-head tracked stereo based on head position and time
CN106954127B (zh) * 2017-04-07 2019-10-29 南京邮电大学 一种vr场景下音频沉浸式控制方法
CN107231599A (zh) * 2017-06-08 2017-10-03 北京奇艺世纪科技有限公司 一种3d声场构建方法和vr装置
CN107358962B (zh) * 2017-06-08 2018-09-04 腾讯科技（深圳）有限公司 音频处理方法及音频处理装置
CN107820158B (zh) * 2017-07-07 2020-09-29 大连理工大学 一种基于头相关脉冲响应的三维音频生成装置
CN109286889A (zh) * 2017-07-21 2019-01-29 华为技术有限公司 一种音频处理方法及装置、终端设备
CN107708013B (zh) * 2017-10-19 2020-04-10 上海交通大学 一种基于vr技术的沉浸式体验耳机系统
WO2019078034A1 (ja) * 2017-10-20 2019-04-25 ソニー株式会社 信号処理装置および方法、並びにプログラム
US10458840B2 (en) * 2017-11-08 2019-10-29 Harman International Industries, Incorporated Location classification for intelligent personal assistant
CN110164464A (zh) * 2018-02-12 2019-08-23 北京三星通信技术研究有限公司 音频处理方法及终端设备
EP3797529A1 (en) 2018-05-23 2021-03-31 Koninklijke KPN N.V. Adapting acoustic rendering to image-based object
WO2020057727A1 (en) 2018-09-18 2020-03-26 Huawei Technologies Co., Ltd. Device and method for adaptation of virtual 3d audio to a real room
CN108924705B (zh) * 2018-09-25 2021-07-02 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN109104687B (zh) * 2018-09-25 2021-04-13 Oppo广东移动通信有限公司 音效处理方法及相关产品
US11503423B2 (en) * 2018-10-25 2022-11-15 Creative Technology Ltd Systems and methods for modifying room characteristics for spatial audio rendering over headphones
CN110312198B (zh) * 2019-07-08 2021-04-20 雷欧尼斯（北京）信息技术有限公司 用于数字影院的虚拟音源重定位方法及装置
CN112672259B (zh) * 2019-10-16 2023-03-10 北京地平线机器人技术研发有限公司 一种扬声器控制方法及装置
CN110972053B (zh) * 2019-11-25 2021-06-25 腾讯音乐娱乐科技（深圳）有限公司 构造听音场景的方法和相关装置
CN111372167B (zh) * 2020-02-24 2021-10-26 Oppo广东移动通信有限公司 音效优化方法及装置、电子设备、存储介质
CN112351379B (zh) * 2020-10-28 2021-07-30 歌尔光学科技有限公司 音频组件的控制方法以及智能头戴设备
CN113889140A (zh) * 2021-09-24 2022-01-04 北京有竹居网络技术有限公司 音频信号播放方法、装置和电子设备
CN114040319B (zh) * 2021-11-17 2023-11-14 青岛海信移动通信技术有限公司 一种终端设备外放音质优化方法、装置、设备和介质
WO2023208333A1 (en) 2022-04-27 2023-11-02 Huawei Technologies Co., Ltd. Devices and methods for binaural audio rendering

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953620A (zh) * 2006-09-05 2007-04-25 华南理工大学 一种5.1通路虚拟环绕声信号处理方法
CN101884065A (zh) * 2007-10-03 2010-11-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成
CN102572676A (zh) * 2012-01-16 2012-07-11 华南理工大学 一种虚拟听觉环境实时绘制方法
CN102665156A (zh) * 2012-03-27 2012-09-12 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
WO2014194004A1 (en) * 2013-05-29 2014-12-04 Qualcomm Incorporated Binaural rendering of spherical harmonic coefficients
CN104240695A (zh) * 2014-08-29 2014-12-24 华南理工大学 一种优化的基于耳机重放的虚拟声合成方法
WO2015060652A1 (ko) * 2013-10-22 2015-04-30 연세대학교 산학협력단 오디오 신호 처리 방법 및 장치
CN105142094A (zh) * 2015-09-16 2015-12-09 华为技术有限公司 一种音频信号的处理方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270616B2 (en) * 2007-02-02 2012-09-18 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
CN104768121A (zh) * 2014-01-03 2015-07-08 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
CN105792090B (zh) * 2016-04-27 2018-06-26 华为技术有限公司 一种增加混响的方法与装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953620A (zh) * 2006-09-05 2007-04-25 华南理工大学 一种5.1通路虚拟环绕声信号处理方法
CN101884065A (zh) * 2007-10-03 2010-11-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成
CN102572676A (zh) * 2012-01-16 2012-07-11 华南理工大学 一种虚拟听觉环境实时绘制方法
CN102665156A (zh) * 2012-03-27 2012-09-12 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
WO2014194004A1 (en) * 2013-05-29 2014-12-04 Qualcomm Incorporated Binaural rendering of spherical harmonic coefficients
WO2015060652A1 (ko) * 2013-10-22 2015-04-30 연세대학교 산학협력단 오디오 신호 처리 방법 및 장치
CN104240695A (zh) * 2014-08-29 2014-12-24 华南理工大学 一种优化的基于耳机重放的虚拟声合成方法
CN105142094A (zh) * 2015-09-16 2015-12-09 华为技术有限公司 一种音频信号的处理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
双耳房间脉冲响应的仿真研究;郭天葵;《运输噪声的预测与控制——2009全国环境声学学术会议论文集》;20091214;全文 *
头相关传输函数的研究进展;钟小丽等;《电声技术》;20041231;全文 *

Also Published As

Publication number Publication date
WO2017185663A1 (zh) 2017-11-02
CN105792090A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
CN105792090B (zh) 一种增加混响的方法与装置
KR102502383B1 (ko) 오디오 신호 처리 방법 및 장치
Brown et al. A structural model for binaural sound synthesis
US8270616B2 (en) Virtual surround for headphones and earbuds headphone externalization system
US9769589B2 (en) Method of improving externalization of virtual surround sound
EP3644628A1 (en) Systems and methods for modifying room characteristics for spatial audio rendering over headphones
US10966046B2 (en) Spatial repositioning of multiple audio streams
US10652686B2 (en) Method of improving localization of surround sound
CN105979441A (zh) 一种用于3d音效耳机重放的个性化优化方法
WO2022228220A1 (zh) 一种合唱音频的处理方法、设备及存储介质
CN110072177B (zh) 空间划分信息获取方法、装置及存储介质
EP3048817A1 (en) Method of determining acoustical characteristics of a room or venue having n sound sources
Braasch et al. A binaural model that analyses acoustic spaces and stereophonic reproduction systems by utilizing head rotations
US11418903B2 (en) Spatial repositioning of multiple audio streams
US7327848B2 (en) Visualization of spatialized audio
Kan et al. A psychophysical evaluation of near-field head-related transfer functions synthesized using a distance variation function
Lee et al. A real-time audio system for adjusting the sweet spot to the listener's position
CN113553022A (zh) 设备调整方法、装置、移动终端及存储介质
Martellotta Optimizing stepwise rotation of dodecahedron sound source to improve the accuracy of room acoustic measures
Hacihabiboglu et al. Frequency-domain scattering delay networks for simulating room acoustics in virtual environments
CN109151702A (zh) 音频设备的音效调节方法、音频设备及可读存储介质
US11388540B2 (en) Method for acoustically rendering the size of a sound source
CN112954579B (zh) 现场听音效果的重现方法及装置
Carlsson et al. Acoustic Room Correction for Speaker Systems Using Signal Processing Techniques
Usagawa et al. Binaural speech segregation system on single board computer

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant