CN107172566B - 音频处理方法及装置 - Google Patents

音频处理方法及装置 Download PDF

Info

Publication number
CN107172566B
CN107172566B CN201710330091.9A CN201710330091A CN107172566B CN 107172566 B CN107172566 B CN 107172566B CN 201710330091 A CN201710330091 A CN 201710330091A CN 107172566 B CN107172566 B CN 107172566B
Authority
CN
China
Prior art keywords
hrtf
hrtf data
collection point
data collection
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710330091.9A
Other languages
English (en)
Other versions
CN107172566A (zh
Inventor
彭学杰
刘佳泽
王宇飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201710330091.9A priority Critical patent/CN107172566B/zh
Publication of CN107172566A publication Critical patent/CN107172566A/zh
Application granted granted Critical
Publication of CN107172566B publication Critical patent/CN107172566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals

Abstract

本公开揭示了一种音频处理方法及装置,属于音频处理技术领域。该方法包括:获取虚拟听音环境中的虚拟音源位置;检测HRTF数据库中是否包含与虚拟音源位置相匹配的HRTF数据采集点;若不包含与虚拟音源位置相匹配的HRTF数据采集点,则从HRTF数据库中获取虚拟音源位置对应的第一参考HRTF数据采集点和第二参考HRTF数据采集点,虚拟音源位置位于第一参考HRTF数据采集点和第二参考HRTF数据采集点之间的路径上;根据第一参考HRTF数据采集点对应的第一HRTF数据以及第二参考HRTF数据采集点对应的第二HRTF数据,计算虚拟音源位置对应的目标HRTF数据;根据目标HRTF数据对音频数据进行处理。

Description

音频处理方法及装置
技术领域
本公开涉及音频处理技术领域,特别涉及一种音频处理方法及装置。
背景技术
随着音频播放技术的不断成熟,人们对音频播放设备的播放效果要求越来越高。为了使用户使用耳机收听时也能体验到逼真的立体环绕音效,音频播放设备采用HRTF(Head Related Transfer Function,头相关变换函数)处理技术对待播放的音频数据进行处理。
相关技术中,为了实现对音频数据的HRTF处理,开发人员需要预先通过人头录音(Binaural recording)技术,在声学房间中采集一系列以人头为球心的HRTF数据,并记录各条HRTF数据对应HRTF数据采集点与人头的相对位置,从而将HRTF数据与相对位置关联写入音频播放设备中。后续音频播放设备对音频数据进行HRTF处理时,即根据当前设定的虚拟音源与头部的相对位置,查找匹配的HRTF数据,从而使用该HRTF数据对耳机左右声道的音频数据进行处理。
然而,为了确保能够查找到匹配的HRTF数据,从而达到更加真实的播放效果,开发人员需要在以人头为球心的球体表面密集采集大量HRTF数据,相应的,音频播放设备需要配置大容量的存储设备对该HRTF数据进行存储,导致HRTF处理技术无法适用于低端音频播放设备。
发明内容
为了解决相关技术中音频播放设备需要配置大容量的存储设备对HRTF数据进行存储,导致HRTF处理技术无法适用于低端音频播放设备的问题,本公开提供一种音频处理方法及装置。所述技术方案如下:
根据本公开实施例的第一方面,提供一种音频处理方法,该方法包括:
获取虚拟听音环境中的虚拟音源位置;
检测HRTF数据库中是否包含与虚拟音源位置相匹配的HRTF数据采集点,HRTF数据库中关联存储有HRTF数据采集点和对应的HRTF数据;
若不包含与虚拟音源位置相匹配的HRTF数据采集点,则从HRTF数据库中获取虚拟音源位置对应的第一参考HRTF数据采集点和第二参考HRTF数据采集点,虚拟音源位置位于第一参考HRTF数据采集点和第二参考HRTF数据采集点之间的路径上;
根据第一参考HRTF数据采集点对应的第一HRTF数据以及第二参考HRTF数据采集点对应的第二HRTF数据,计算虚拟音源位置对应的目标HRTF数据;
根据目标HRTF数据对音频数据进行处理。
可选的,检测HRTF数据库中是否包含与虚拟音源位置相匹配的HRTF数据采集点,包括:
计算虚拟音源位置与HRTF数据库中各个HRTF数据采集点之间的间距;
检测最小间距是否小于预设阈值;
若最小间距小于预设阈值,则确定包含与虚拟音源位置相匹配的HRTF数据采集点,其中,与虚拟音源位置相匹配的HRTF数据采集点为最小间距对应的HRTF数据采集点;
若最小间距大于预设阈值,则确定不包含与虚拟音源位置相匹配的HRTF数据采集点。
可选的,若不包含与虚拟音源位置相匹配的HRTF数据采集点,则从HRTF数据库中获取虚拟音源位置对应的第一参考HRTF数据采集点和第二参考HRTF数据采集点,包括:
将最小间距对应的HRTF数据采集点确定为第一参考HRTF数据采集点;
计算剩余的各个HRTF数据采集点与第一参考HRTF数据采集点的第一间距;
计算剩余的各个HRTF数据采集点与虚拟音源位置的第二间距;
根据第一间距和第二间距确定第二参考HRTF数据采集点,第二参考HRTF数据采集点对应的第一间距和所述第二间距最小。
可选的,根据第一参考HRTF数据采集点对应的第一HRTF数据以及第二参考HRTF数据采集点对应的第二HRTF数据,计算虚拟音源位置对应的目标HRTF数据,包括:
获取虚拟听音环境的机械波传输函数;
根据第一HRTF数据、第二HRTF数据和机械波传输函数,计算虚拟音源位置处的目标机械波特征,其中,第一HRTF数据为机械波传输函数的初始状态数据,第二HRTF数据为机械波传输函数的趋向向量;
根据第一HRTF数据、第二HRTF数据以及目标机械波特征,计算目标HRTF数据。
可选的,目标HRTF数据=[(第一HRTF数据/2)+(第二HRTF数据/2)]*目标机械波特征;
其中,/为反卷积运算符,*为卷积运算符。
根据本公开实施例的第二方面,提供一种音频处理装置,该装置包括:
第一获取模块,用于获取虚拟听音环境中的虚拟音源位置;
检测模块,用于检测HRTF数据库中是否包含与虚拟音源位置相匹配的HRTF数据采集点,HRTF数据库中关联存储有HRTF数据采集点和对应的HRTF数据;
第二获取模块,用于当不包含与虚拟音源位置相匹配的HRTF数据采集点时,从HRTF数据库中获取虚拟音源位置对应的第一参考HRTF数据采集点和第二参考HRTF数据采集点,虚拟音源位置位于第一参考HRTF数据采集点和第二参考HRTF数据采集点之间的路径上;
计算模块,用于根据第一参考HRTF数据采集点对应的第一HRTF数据以及第二参考HRTF数据采集点对应的第二HRTF数据,计算虚拟音源位置对应的目标HRTF数据;
处理模块,用于根据目标HRTF数据对音频数据进行处理。
可选的,检测模块,包括:
第一计算单元,用于计算虚拟音源位置与HRTF数据库中各个HRTF数据采集点之间的间距;
检测单元,用于检测最小间距是否小于预设阈值;
第一确定单元,用于当最小间距小于预设阈值时,确定包含与虚拟音源位置相匹配的HRTF数据采集点,其中,与虚拟音源位置相匹配的HRTF数据采集点为最小间距对应的HRTF数据采集点;
第二确定单元,用于当最小间距大于预设阈值时,确定不包含与虚拟音源位置相匹配的HRTF数据采集点。
可选的,第二获取模块,包括:
第三确定单元,用于将最小间距对应的HRTF数据采集点确定为第一参考HRTF数据采集点;
第二计算单元,用于计算剩余的各个HRTF数据采集点与第一参考HRTF数据采集点的第一间距;
第三计算单元,用于计算剩余的各个HRTF数据采集点与虚拟音源位置的第二间距;
第四确定单元,用于根据第一间距和第二间距确定第二参考HRTF数据采集点,第二参考HRTF数据采集点对应的第一间距和第二间距最小。
可选的,计算模块,包括:
获取单元,用于获取虚拟听音环境的机械波传输函数;
第四计算单元,用于根据第一HRTF数据、第二HRTF数据和机械波传输函数,计算虚拟音源位置处的目标机械波特征,其中,第一HRTF数据为机械波传输函数的初始状态数据,第二HRTF数据为机械波传输函数的趋向向量;
第五计算单元,用于根据第一HRTF数据、第二HRTF数据以及目标机械波特征,计算目标HRTF数据。
可选的,目标HRTF数据=[(第一HRTF数据/2)+(第二HRTF数据/2)]*目标机械波特征;
其中,/为反卷积运算符,*为卷积运算符。
本公开实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,即使HRTF数据库中不包含与虚拟音源位置匹配的HRTF数据采集点,音频播放设备也可以根据虚拟音源位置对应的两个参考HRTF数据采集点的HRTF数据,采用声音路径追踪技术计算出虚拟音源位置处的目标HRTF数据,并利用该目标HRTF数据对音频数据进行处理,从而减小HRTF数据库所占用的存储容量,并降低HRTF数据的采集难度;同时,低端音频播放设备也能够利用HRTF处理技术实现对音频数据的处理,进而达到更加真实的立体环绕音频播放效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并于说明书一起用于解释本公开的原理。
图1A是根据一示例性实施例示出的一种音频处理方法的流程图;
图1B是人头录音技术的实施示意图;
图2A是根据另一示例性实施例示出的一种音频处理方法的流程图;
图2B是图2A所示音频处理方法中确定候选HRTF数据采集点过程的实施示意图;
图3是根据一示例性实施例示出的一种音频播放装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中,音频播放设备对音频数据进行处理时,完全依赖预先存储的HRTF数据库。当获取到虚拟音源位置时,音频播放设备即根据该虚拟音源位置,在HRTF数据库中查找与其完全匹配的HRTF数据采集点,并利用该HRTF数据采集点对应的HRTF数据对音频数据进行处理。显然,为了确保能够查找到匹配的HRTF数据,该HRTF数据库中HRTF数据采集点的密度较高,即在采集HRTF数据时,需要在以人头为球心的球体表面设置密集的HRTF数据采集点,进而尽可能多的采集HRTF数据。比如,每隔5°在以人头为球心的球体表面设置HRTF数据采集点,并在各个HRTF数据采集点处采集HRTF数据。
HRTF数据采集点的增加,意味着用于存储HRTF数据的HRTF数据库的容量增加,相应的,运行过程中,加载HRTF数据库的RAM(Random Access Memory,随机存取存储器)的容量也需要增加。因此,相关技术中,HRTF处理技术仅适用于高端音频播放设备(配置有大容量RAM)。
而本公开各个实施例中,通过将声音路径追踪(Sound Ray Tracing)技术应用到HRTF处理过程中,使得即使在HRTF数据采集点较少的情况下(即无法查找到匹配的HRTF数据采集点),音频播放设备也能够借助与虚拟音源位置临近的两个候选HRTF数据采集点,计算得到虚拟音源位置处的HRTF数据,从而实现HRTF处理。由于处理过程中对HRTF数据采集点的密度要求较低,且对加载HRTF数据库的RAM的容量要求也较低,因此,HRTF处理技术能够应用在低端音频播放设备,甚至应用在低算力的ARM(Advanced RISC Machines,进阶精简指令集机器)硬件平台上。下面采用示意性的实施例对本公开的音频处理方法进行说明。
图1A是根据一示例性实施例示出的一种音频处理方法的流程图,本实施例以该音频处理方法用于音频播放设备为例进行说明,该方法包括如下步骤:
步骤101,获取虚拟听音环境中的虚拟音源位置。
在一种可能的实施方式中,该虚拟听音环境由用户自行设置。例如,当虚拟听音环境为室内时,用户自行设置虚拟听音环境相关的属性参数,包括房间尺寸、房间四周材质、空气湿度等等。
虚拟音源位置即为虚拟听音环境中音源的位置。在一种可能的实施方式中,该虚拟音源位置由用户指定,且在音频播放过程中,该虚拟音源位置可变。可选的,在播放音频前,用户指定虚拟听音环境中虚拟音源与人头的相对位置,该相对位置包括相对距离和相对角度。
在其他可能的实施方式中,虚拟听音环境和虚拟音源位置也可以由音频播放设备根据待播放音频的音频类型进行设置。比如,当待播放音频的音频类型为摇滚时,该虚拟听音环境为室外,且虚拟音源位置可变;当待播放音频的音频类型为轻音乐时,该虚拟听音环境为室内,且虚拟音源位置固定。本公开实施例并不对虚拟听音环境以及虚拟音源位置的具体确定方式进行限定。
步骤102,检测HRTF数据库中是否包含与虚拟音源位置相匹配的HRTF数据采集点,HRTF数据库中关联存储有HRTF数据采集点和对应的HRTF数据。
作为HRTF处理前的准备工作,开发人员需要预先通过人头录音技术,在声学房间中采集一系列以人头为球心的HRTF数据。
针对HRTF数据的具体获取方式,在一种可能的实施方式中,如图2B所示,开发人员预先在声学房间11(房间四周设置有吸音海绵以减小回声干扰)中央放置假人头12(模仿真人头部制成),并将微型全指向性麦克风分别设置在假人头12的左右耳道内。
完成假人头12设置后,开发人员在以假人头12为球心的球体表面上,每隔预定距离设置HRTF数据采集点,并在HRTF数据采集点处使用扬声器13播放预定音频。
由于左右耳道到扬声器13的距离不同,且声波在传输过程中受到折射、绕射和衍射等因素影响,同一音频达到左右耳道时音频特征不同。因此,通过分析麦克风采集到的音频与原始音频的差异,即可得到HRTF数据采集点处的HRTF数据。其中,同一HRTF数据采集点对应的HRTF数据中,包含左声道对应的HRTF数据以及右声道对应的HRTF数据。
对于计算得到的HRTF数据,开发人员将HRTF数据以及对应的HRTF数据采集点关联存储在HRTF数据库中,并将该HRTF数据库写入音频播放设备,以便后续加载使用。其中,HRTF数据库中,采用与假人头的相对位置来表示HRTF数据采集点,该相对位置包括相对距离以及相对角度。示意性,HRTF数据库中,HRTF数据与HRTF数据采集点的对应关系如表一所示。
表一
HRTF数据采集点 HRTF数据
1.5m,(0°,0°,0°) 左声道HRTF数据1,左声道HRTF数据2
1.5m,(0°,0°,10°) 左声道HRTF数据3,左声道HRTF数据4
1.5m,(0°,0°,20°) 左声道HRTF数据5,左声道HRTF数据6
本公开实施例中,各个HRTF数据采集点之间的间距较大,从而减少HRTF数据库中HRTF数据的数据量。例如,现有技术中HRTF数据采集点之间的间距为5°,而本公开实施例中,HRTF数据采集点之间的间距为10°,即在球面上每隔10°设置一个HRTF数据采集点。
获取到虚拟听音环境中的虚拟音源位置后,音频播放设备根据虚拟音源位置,检测HRTF数据库中是否存在与该虚拟音源位置匹配的HRTF数据采集点。在一种可能的实施方式中,音频播放设备计算虚拟音源位置与各个HRTF数据采集点之前的间距,若存在HRTF数据采集点与虚拟音源位置之间的间距小于阈值,音频播放设备则确定包含匹配的HRTF数据采集点,并获取匹配的HRTF数据采集点对应的HRTF数据,执行下述步骤105;若各个HRTF数据采集点与虚拟音源位置之间的间距均大于阈值,音频播放设备则确定不包含匹配的HRTF数据采集点,并执行下述步骤103。
步骤103,若不包含与虚拟音源位置相匹配的HRTF数据采集点,则从HRTF数据库中获取虚拟音源位置对应的第一参考HRTF数据采集点和第二参考HRTF数据采集点,虚拟音源位置位于第一参考HRTF数据采集点和第二参考HRTF数据采集点之间的路径上。
当不包含与虚拟音源位置相匹配的HRTF数据采集点时,音频播放设备即从HRTF数据库中获取与虚拟音源位置相邻的两个候选HRTF数据采集点(虚拟音源位置位于两个候选HRTF数据采集点之间的路径上),并基于两个候选HRTF数据采集点的HRTF数据,推算得到虚拟音源位置出的HRTF数据。
结合表一所示的内容,示意性的,当虚拟音源位置为(0°,0°,4°),且HRTF数据库中不包含匹配的HRTF数据采集点时,音频播放设备即将相对角度为(0°,0°,0°)以及(0°,0°,10°)的两个HRTF数据采集点确定为候选HRTF数据采集点。
步骤104,根据第一参考HRTF数据采集点对应的第一HRTF数据以及第二参考HRTF数据采集点对应的第二HRTF数据,计算虚拟音源位置对应的目标HRTF数据。
进一步的,音频播放设备从HRTF数据库中获取两个参考HRTF数据采集点各自对应的HRTF数据,并采用声音路径追踪技术,计算出虚拟音源位置处对应的目标HRTF数据。其中,该目标HRTF数据中包括左声道目标HRTF数据以及右声道目标HRTF数据。
在一种可能的实施方式中,音频播放设备以其中一个参考HRTF数据采集点为机械波传输函数的初始状态,以另一个参考HRTF数据采集点为机械波传输函数的趋向向量,计算得到虚拟音源位置处的机械波特征,从而基于该机械波特征以及参考HRTF数据采集点各自对应的HRTF数据,计算得到虚拟音源位置对应的目标HRTF数据。
步骤105,根据目标HRTF数据对音频数据进行处理。
得到目标HRTF数据后(不包含匹配的HRTF数据采集点时计算得到,包含匹配的HRTF数据采集点时直接从HRTF数据库中查找得到),音频播放设备使用HRTF数据对音频数据进行处理,最终通过耳机对处理后的音频数据进行播放。
在一种可能的实施方式中,音频播放设备以PCM(Pulse Code Modulation,脉冲编码调制)格式将音频数据存储到高速缓存中,并使用左声道目标HRTF数据对左声道音频数据进行处理,使用右声道目标HRTF数据对右声道音频数据进行处理。
综上所述,本实施中,即使HRTF数据库中不包含与虚拟音源位置匹配的HRTF数据采集点,音频播放设备也可以根据虚拟音源位置对应的两个参考HRTF数据采集点的HRTF数据,采用声音路径追踪技术计算出虚拟音源位置处的目标HRTF数据,并利用该目标HRTF数据对音频数据进行处理,从而减小HRTF数据库所占用的存储容量,并降低HRTF数据的采集难度;同时,低端音频播放设备也能够利用HRTF处理技术实现对音频数据的处理,进而达到更加真实的立体环绕音频播放效果。
图2A是根据另一示例性实施例示出的一种音频处理方法的流程图,本实施例以该音频处理方法用于音频播放设备为例进行说明,该方法包括如下步骤:
步骤201,获取虚拟听音环境中的虚拟音源位置。
本步骤的实施方式与上述步骤101相似,本实施例在此不再赘述。
步骤202,计算虚拟音源位置与HRTF数据库中各个HRTF数据采集点之间的间距。
在一种可能的实施方式中,音频播放设备将整个HRTF数据库加载到RAM中,并通过遍历的方式,计算数据库中各个HRTF数据采集点与虚拟音源位置之间的间距。
在另一种可能的实施方式中,开发人员预先将以人头为球心的球面划分为若干个球面区块,并根据HRFT数据采集点在球面的位置,将HRFT数据采集点划分到各自所属的球面区块。当获取到虚拟音源位置时,音频播放设备确定该虚拟音源位置所处的目标球面区块,以及该目标球面区块的相邻球面区块,从而将数据库中,目标球面区块以及相邻球面区块对应的HRTF数据加载RAM中,并进一步通过遍历的方式,计算各个HRTF数据采集点与虚拟音源位置之间的间距。本公开实施例并不对计算间距的具体方式进行限定。
步骤203,检测最小间距是否小于预设阈值。
当HRTF数据采集点与虚拟音源位置较为接近时,该HRTF数据采集点与虚拟音源位置各自对应的HRTF数据大致相同;而当HRTF数据采集点与虚拟音源位置相距较远时,该HRTF数据采集点与虚拟音源位置各自对应的HRTF数据相差较大。因此,音频播放设备计算得到各个HRTF数据采集点与虚拟音源位置之间的间距后,检测其中最小间距是否小于预设阈值,若最小间距小于预设阈值,则确定存在与虚拟音源位置匹配的HRTF数据采集点(与虚拟音源位置邻近),并执行下述步骤204和205;若最小间距大于预设阈值,则确定不存在与虚拟音源位置匹配的HRTF数据采集点,并执行下述步骤206。
步骤204,若最小间距小于预设阈值,则确定包含与虚拟音源位置相匹配的HRTF数据采集点。
其中,与虚拟音源位置相匹配的HRTF数据采集点为最小间距对应的HRTF数据采集点。需要说明的时,由于HRTF数据采集点分布在球面,因此,音频播放设备确定出的与虚拟音源位置相匹配的HRTF数据采集点可以为多个。
步骤205,获取与虚拟音源位置相匹配的HRTF数据采集点对应的目标HRTF数据。
在一种可能的实施方式中,音频播放设备从HRTF数据库中,获取最小间距对应的HRTF数据采集点的HRTF数据,并将其确定为目标HRTF数据。
进一步的,音频播放设备利用该目标HRTF数据对音频数据进行处理(步骤214)。
步骤206,若最小间距大于预设阈值,则确定不包含与虚拟音源位置相匹配的HRTF数据采集点。
示意性的,结合表一所示的内容,当虚拟音源位置为(0°,0°,4°)且预设阈值为3°时,由于最小间距为4°(相对角度为(0°,0°,0°)的HRTF数据采集点),因此,音频播放设备确定HRTF数据库中不包含与虚拟音源位置匹配的HRTF数据采集点。
步骤207,将最小间距对应的HRTF数据采集点确定为第一参考HRTF数据采集点。
为了进一步推算得到虚拟音源位置处的HRTF数据,音频播放设备从HRTF数据库中选取两个与虚拟音源位置相邻的HRTF数据采集点作为参考HRTF数据采集点,并根据两个参考HRTF数据采集点对应的HRTF数据推算虚拟音源位置处的HRTF数据。
为了提高虚拟音源位置处HRTF数据的准确性,在一种可能的实施方式中,音频播放设备首先将与虚拟音源位置距离最近的HRTF数据采集点确定为第一参考HRTF数据采集点,即将上述步骤203中,最小间距对应的HRTF数据采集点确定为第一参考HRTF数据采集点。
示意性的,如图2B所示,球面(以与人耳位于同一水平面的截面进行示意性说明)上每隔10°设置有HRTF数据采集点21、22、23以及24。其中,HRTF数据采集点21与虚拟音源位置25的间距为14°(本实施例仅以角度表示间距进行示意性说明),HRTF数据采集点22与虚拟音源位置25的间距为4°,HRTF数据采集点23与虚拟音源位置25的间距为6°,HRTF数据采集点24与虚拟音源位置25的间距为16°。音频播放设备即将HRTF数据采集点22确定为第一参考HRTF数据采集点。
步骤208,计算剩余的各个HRTF数据采集点与第一参考HRTF数据采集点的第一间距。
确定出第一参考HRTF数据采集点,音频播放设备进一步计算剩余的各个HRTF数据采集点与第一参考HRTF数据采集点的第一间距。
示意性的,如图2B所示,音频播放设备计算得到HRTF数据采集点21与第一参考HRTF数据采集点的间距为10°,HRTF数据采集点23与第一参考HRTF数据采集点的间距为10°,HRTF数据采集点24与第一参考HRTF数据采集点的间距为20°。
步骤209,计算剩余的各个HRTF数据采集点与虚拟音源位置的第二间距。
为了提高虚拟音源位置处HRTF数据的准确性,音频播放设备仍旧需要选取与虚拟音源位置较近的HRTF数据采集点作为参考HRTF数据采集点。
在一种可能的实施方式中,音频播放设备计算剩余的各个HRTF数据采集点与虚拟音源位置的第二间距(也可以直接从上述步骤202计算得到的间距中获取)。
示意性的,HRTF数据采集点21与虚拟音源位置25的间距为14°,HRTF数据采集点23与虚拟音源位置25的间距为6°,HRTF数据采集点24与虚拟音源位置25的间距为16°
需要说明的是,上述步骤208至209之间并不存在严格的先后顺序,本实施例仅以步骤208在步骤209之前执行为例进行示意性说明,但并不对此构成限定。
步骤210,根据第一间距和第二间距确定第二参考HRTF数据采集点,第二参考HRTF数据采集点对应的第一间距和第二间距最小。
根据计算得到的第一间距和第二间距,音频播放设备进一步从剩余的HRTF数据参考点中,筛选出第二参考HRTF数据采集点。
可选的,在筛选第二参考HRTF数据采集点后,音频播放设备检测虚拟音源位置是否位于第一参考HRTF数据采集点与第二参考HRTF数据采集点之间的球面路径,并在虚拟音源位置位于该球面路径时,确定完成HRTF数据采集点筛选。
示意性的,如图2B所示,音频播放设备将HRTF数据采集点23确定为第二参考HRTF数据采集点(虚拟音源位置22位于HRTF数据采集点22和HRTF数据采集点23之间的球面路径)。
步骤211,获取虚拟听音环境的机械波传输函数。
获取到两个参考HRTF数据采集点后,音频播放设备进一步采用声音路径追踪技术,推算出虚拟音源位置处的机械波特征,从而根据该机械波特征,结合参考HRTF数据采集点对应的HRTF数据,推算得到虚拟音源位置处的目标HRTF数据。
由于不同听音环境中,声波(又称为机械波)对应的机械波传输函数不同,因此,音频播放设备首先获取该虚拟听音环境中声音的机械波传输函数。
可选的,该机械波传输函数基于牛顿迭代法或基于卡尔曼滤波法来实现。
在一种可能的实施方式中,音频播放设备中存储有若干机械波传输函数模板,根据虚拟听音环境对应的环境参数,音频播放设备在其中一个机械波传输函数模板的基础上进行修正,得到虚拟听音环境的机械波传输函数。本公开实施例并不对获取机械波传输函数的具体方式进行限定。
步骤212,根据第一HRTF数据、第二HRTF数据和机械波传输函数,计算虚拟音源位置处的目标机械波特征。
在一种可能的实施方式中,获取到机械波传输函数后,音频播放设备以第一HRTF数据作为机械波传输函数的初始状态数据,以第二HRTF数据为机械波传输函数的趋向向量,计算得到虚拟音源位置处的目标机械波特征。
步骤213,根据第一HRTF数据、第二HRTF数据以及目标机械波特征,计算目标HRTF数据。
可选的,计算目标HRTF数据的计算公式如下:
目标HRTF数据=[(第一HRTF数据/2)+(第二HRTF数据/2)]*目标机械波特征;
其中,/为反卷积运算符,*为卷积运算符。
在一种可能的实施方式中,音频播放设备根据第一HRTF数据中左声道的HRTF数据,第二HRTF数据中左声道的HRTF数据以及目标机械波特征,计算得到虚拟音源位置处的左声道的HRTF数据;相似的,音频播放设备根据第一HRTF数据中右声道的HRTF数据,第二HRTF数据中右声道的HRTF数据以及目标机械波特征,计算得到虚拟音源位置处的右声道的HRTF数据。
步骤214,根据目标HRTF数据对音频数据进行处理。
本步骤的实施方式与上述步骤105相似,本实施例在此不再赘述。
综上所述,本实施中,即使HRTF数据库中不包含与虚拟音源位置匹配的HRTF数据采集点,音频播放设备也可以根据虚拟音源位置对应的两个参考HRTF数据采集点的HRTF数据,采用声音路径追踪技术计算出虚拟音源位置处的目标HRTF数据,并利用该目标HRTF数据对音频数据进行处理,从而减小HRTF数据库所占用的存储容量,并降低HRTF数据的采集难度;同时,低端音频播放设备也能够利用HRTF处理技术实现对音频数据的处理,进而达到更加真实的立体环绕音频播放效果。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图3是根据一示例性实施例示出的一种音频播放装置的框图,该装置可以通过软件、硬件或软硬件结合实现成为音频播放设备的全部或一部分,该装置包括:
第一获取模块310,用于获取虚拟听音环境中的虚拟音源位置;
检测模块320,用于检测HRTF数据库中是否包含与虚拟音源位置相匹配的HRTF数据采集点,HRTF数据库中关联存储有HRTF数据采集点和对应的HRTF数据;
第二获取模块330,用于当不包含与虚拟音源位置相匹配的HRTF数据采集点时,从HRTF数据库中获取虚拟音源位置对应的第一参考HRTF数据采集点和第二参考HRTF数据采集点,虚拟音源位置位于第一参考HRTF数据采集点和第二参考HRTF数据采集点之间的路径上;
计算模块340,用于根据第一参考HRTF数据采集点对应的第一HRTF数据以及第二参考HRTF数据采集点对应的第二HRTF数据,计算虚拟音源位置对应的目标HRTF数据;
处理模块350,用于根据目标HRTF数据对音频数据进行处理。
可选的,检测模块320,包括:
第一计算单元,用于计算虚拟音源位置与HRTF数据库中各个HRTF数据采集点之间的间距;
检测单元,用于检测最小间距是否小于预设阈值;
第一确定单元,用于当最小间距小于预设阈值时,确定包含与虚拟音源位置相匹配的HRTF数据采集点,其中,与虚拟音源位置相匹配的HRTF数据采集点为最小间距对应的HRTF数据采集点;
第二确定单元,用于当最小间距大于预设阈值时,确定不包含与虚拟音源位置相匹配的HRTF数据采集点。
可选的,第二获取模块430,包括:
第三确定单元,用于将最小间距对应的HRTF数据采集点确定为第一参考HRTF数据采集点;
第二计算单元,用于计算剩余的各个HRTF数据采集点与第一参考HRTF数据采集点的第一间距;
第三计算单元,用于计算剩余的各个HRTF数据采集点与虚拟音源位置的第二间距;
第四确定单元,用于根据第一间距和第二间距确定第二参考HRTF数据采集点,第二参考HRTF数据采集点对应的第一间距和第二间距最小。
可选的,计算模块440,包括:
获取单元,用于获取虚拟听音环境的机械波传输函数;
第四计算单元,用于根据第一HRTF数据、第二HRTF数据和机械波传输函数,计算虚拟音源位置处的目标机械波特征,其中,第一HRTF数据为机械波传输函数的初始状态数据,第二HRTF数据为机械波传输函数的趋向向量;
第五计算单元,用于根据第一HRTF数据、第二HRTF数据以及目标机械波特征,计算目标HRTF数据。
可选的,目标HRTF数据=[(第一HRTF数据/2)+(第二HRTF数据/2)]*目标机械波特征;
其中,/为反卷积运算符,*为卷积运算符。
综上所述,本实施例中,即使HRTF数据库中不包含与虚拟音源位置匹配的HRTF数据采集点,音频播放设备也可以根据虚拟音源位置对应的两个参考HRTF数据采集点的HRTF数据,采用声音路径追踪技术计算出虚拟音源位置处的目标HRTF数据,并利用该目标HRTF数据对音频数据进行处理,从而减小HRTF数据库所占用的存储容量,并降低HRTF数据的采集难度;同时,低端音频播放设备也能够利用HRTF处理技术实现对音频数据的处理,进而达到更加真实的立体环绕音频播放效果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (6)

1.一种音频处理方法,其特征在于,所述方法包括:
获取虚拟听音环境中的虚拟音源位置;
计算所述虚拟音源位置与各个HRTF数据采集点之间的间距,若所述间距均大于预设阈值,则确定HRTF数据库中不包含与所述虚拟音源位置相匹配的HRTF数据采集点,所述HRTF数据库中关联存储有HRTF数据采集点和对应的HRTF数据;
若不包含与所述虚拟音源位置相匹配的HRTF数据采集点,则从所述HRTF数据库中获取所述虚拟音源位置对应的第一参考HRTF数据采集点和第二参考HRTF数据采集点,所述虚拟音源位置位于所述第一参考HRTF数据采集点和所述第二参考HRTF数据采集点之间的路径上;
获取所述虚拟听音环境的机械波传输函数;
根据所述第一参考HRTF数据采集点对应的第一HRTF数据、所述第二参考HRTF数据采集点对应的第二HRTF数据和所述机械波传输函数,计算所述虚拟音源位置处的目标机械波特征,其中,所述第一HRTF数据为所述机械波传输函数的初始状态数据,所述第二HRTF数据为所述机械波传输函数的趋向向量;
根据目标HRTF数据=[(所述第一HRTF数据/2)+(所述第二HRTF数据/2)]*所述目标机械波特征,计算所述目标HRTF数据,其中,/为反卷积运算符,*为卷积运算符;
根据所述目标HRTF数据对音频数据进行处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若最小间距小于所述预设阈值,则确定HRTF数据库中包含与所述虚拟音源位置相匹配的HRTF数据采集点,其中,与所述虚拟音源位置相匹配的HRTF数据采集点为所述最小间距对应的HRTF数据采集点。
3.根据权利要求2所述的方法,其特征在于,所述若不包含与所述虚拟音源位置相匹配的HRTF数据采集点,则从所述HRTF数据库中获取所述虚拟音源位置对应的第一参考HRTF数据采集点和第二参考HRTF数据采集点,包括:
将所述最小间距对应的HRTF数据采集点确定为所述第一参考HRTF数据采集点;
计算剩余的各个HRTF数据采集点与所述第一参考HRTF数据采集点的第一间距;
计算剩余的各个HRTF数据采集点与所述虚拟音源位置的第二间距;
根据所述第一间距和所述第二间距确定所述第二参考HRTF数据采集点,所述第二参考HRTF数据采集点对应的所述第一间距和所述第二间距最小。
4.一种音频处理装置,其特征在于,所述装置包括:
第一获取模块,用于获取虚拟听音环境中的虚拟音源位置;
检测模块,用于计算所述虚拟音源位置与各个HRTF数据采集点之间的间距,若所述间距均大于预设阈值,则确定HRTF数据库中不包含与所述虚拟音源位置相匹配的HRTF数据采集点,所述HRTF数据库中关联存储有HRTF数据采集点和对应的HRTF数据;
第二获取模块,用于当不包含与所述虚拟音源位置相匹配的HRTF数据采集点时,从所述HRTF数据库中获取所述虚拟音源位置对应的第一参考HRTF数据采集点和第二参考HRTF数据采集点,所述虚拟音源位置位于所述第一参考HRTF数据采集点和所述第二参考HRTF数据采集点之间的路径上;
计算模块,包括:
获取单元,用于获取所述虚拟听音环境的机械波传输函数;
第四计算单元,用于根据所述第一参考HRTF数据采集点对应的第一HRTF数据、所述第二参考HRTF数据采集点对应的第二HRTF数据和所述机械波传输函数,计算所述虚拟音源位置处的目标机械波特征,其中,所述第一HRTF数据为所述机械波传输函数的初始状态数据,所述第二HRTF数据为所述机械波传输函数的趋向向量;
第五计算单元,用于根据目标HRTF数据=[(所述第一HRTF数据/2)+(所述第二HRTF数据/2)]*所述目标机械波特征,计算所述目标HRTF数据,其中,/为反卷积运算符,*为卷积运算符;
处理模块,用于根据所述目标HRTF数据对音频数据进行处理。
5.根据权利要求4所述的装置,其特征在于,所述检测模块,还用于当最小间距小于所述预设阈值时,确定HRTF数据库中包含与所述虚拟音源位置相匹配的HRTF数据采集点,其中,与所述虚拟音源位置相匹配的HRTF数据采集点为所述最小间距对应的HRTF数据采集点。
6.根据权利要求5所述的装置,其特征在于,所述第二获取模块,包括:
第三确定单元,用于将所述最小间距对应的HRTF数据采集点确定为所述第一参考HRTF数据采集点;
第二计算单元,用于计算剩余的各个HRTF数据采集点与所述第一参考HRTF数据采集点的第一间距;
第三计算单元,用于计算剩余的各个HRTF数据采集点与所述虚拟音源位置的第二间距;
第四确定单元,用于根据所述第一间距和所述第二间距确定所述第二参考HRTF数据采集点,所述第二参考HRTF数据采集点对应的所述第一间距和所述第二间距最小。
CN201710330091.9A 2017-05-11 2017-05-11 音频处理方法及装置 Active CN107172566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710330091.9A CN107172566B (zh) 2017-05-11 2017-05-11 音频处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710330091.9A CN107172566B (zh) 2017-05-11 2017-05-11 音频处理方法及装置

Publications (2)

Publication Number Publication Date
CN107172566A CN107172566A (zh) 2017-09-15
CN107172566B true CN107172566B (zh) 2019-01-01

Family

ID=59814999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710330091.9A Active CN107172566B (zh) 2017-05-11 2017-05-11 音频处理方法及装置

Country Status (1)

Country Link
CN (1) CN107172566B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108156561B (zh) * 2017-12-26 2020-08-04 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
US11113092B2 (en) 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
CN110401898B (zh) * 2019-07-18 2021-05-07 广州酷狗计算机科技有限公司 输出音频数据的方法、装置、设备和存储介质
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101835072A (zh) * 2010-04-06 2010-09-15 瑞声声学科技(深圳)有限公司 虚拟环绕声处理方法
CN103563401A (zh) * 2011-06-09 2014-02-05 索尼爱立信移动通讯有限公司 减少头部相关传递函数数据量
CN105578378A (zh) * 2015-12-30 2016-05-11 深圳市有信网络技术有限公司 一种3d混音方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8467552B2 (en) * 2004-09-17 2013-06-18 Lsi Corporation Asymmetric HRTF/ITD storage for 3D sound positioning
JP5114981B2 (ja) * 2007-03-15 2013-01-09 沖電気工業株式会社 音像定位処理装置、方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101835072A (zh) * 2010-04-06 2010-09-15 瑞声声学科技(深圳)有限公司 虚拟环绕声处理方法
CN103563401A (zh) * 2011-06-09 2014-02-05 索尼爱立信移动通讯有限公司 减少头部相关传递函数数据量
CN105578378A (zh) * 2015-12-30 2016-05-11 深圳市有信网络技术有限公司 一种3d混音方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢菠荪.《头相关传输函数空间采样、插值与环绕声重放》.《声学学报》.2007,第32卷(第1期),第3部分.

Also Published As

Publication number Publication date
CN107172566A (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN107172566B (zh) 音频处理方法及装置
US10993065B2 (en) Systems and methods of calibrating earphones
US9451379B2 (en) Sound field analysis system
US20180084367A1 (en) Method for Visualizing the Directional Sound Activity of a Multichannel Audio Signal
KR102507476B1 (ko) 헤드셋을 통한 공간 오디오 렌더링을 위한 룸 특성 수정 시스템 및 방법
CN105264915B (zh) 混合控制台、音频信号发生器、用于提供音频信号的方法
US8620009B2 (en) Virtual sound source positioning
CN108156575B (zh) 音频信号的处理方法、装置及终端
US11521591B2 (en) Apparatus and method for processing volumetric audio
CN109644314A (zh) 在数字音频信号处理双耳渲染环境中产生头戴式耳机驱动信号
CN108156561A (zh) 音频信号的处理方法、装置及终端
CN1685762A (zh) 声音重现系统、程序和数据载体
CN109691139A (zh) 确定个性化头部相关传递函数和耳间时间差函数的方法及用于执行该方法的计算机程序产品
CN107040843A (zh) 通过两个麦克风获取同一个音源的方法及采集设备
US10575119B2 (en) Particle-based spatial audio visualization
CN107613428A (zh) 声音处理方法、装置和电子设备
CN109040911B (zh) 智能音箱及其目标放置位置的确定方法
Martellotta Optimizing stepwise rotation of dodecahedron sound source to improve the accuracy of room acoustic measures
TW202215419A (zh) 在開放現場中主動噪聲消除的系統和方法
Martinson et al. Robotic discovery of the auditory scene
WO2019174442A1 (zh) 拾音设备、声音输出方法、装置、存储介质及电子装置
Pelegrin Garcia et al. Interactive auralization of self-generated oral sounds in virtual acoustic environments for research in human echolocation
TWI812247B (zh) 動作引導方法、系統、電子裝置及伺服器
CN117177165B (zh) 音频设备的空间音频功能测试方法、装置、设备及介质
CN116647780A (zh) 一种用于蓝牙耳机的降噪控制系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510660 Guangzhou City, Guangzhou, Guangdong, Whampoa Avenue, No. 315, self - made 1-17

Applicant after: Guangzhou KuGou Networks Co., Ltd.

Address before: 510000 B1, building, No. 16, rhyme Road, Guangzhou, Guangdong, China 13F

Applicant before: Guangzhou KuGou Networks Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant