CN112889299B - 评估传声器阵列一致性的方法和装置 - Google Patents

评估传声器阵列一致性的方法和装置 Download PDF

Info

Publication number
CN112889299B
CN112889299B CN202180000168.0A CN202180000168A CN112889299B CN 112889299 B CN112889299 B CN 112889299B CN 202180000168 A CN202180000168 A CN 202180000168A CN 112889299 B CN112889299 B CN 112889299B
Authority
CN
China
Prior art keywords
frequency
audio signal
microphone
time difference
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180000168.0A
Other languages
English (en)
Other versions
CN112889299A (zh
Inventor
向腾
王浩
吴晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112889299A publication Critical patent/CN112889299A/zh
Application granted granted Critical
Publication of CN112889299B publication Critical patent/CN112889299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays

Abstract

本申请公开了一种评估传声器阵列一致性的方法和装置,该包括:获取传声器阵列采集的多个音频信号,第一音频信号是第一传声器采集的,第二音频信号是第二传声器采集的;确定第一频率下第一音频信号和第二音频信号之间的第二时间差;根据多个第一频率中每个第一频率下的第二时间差,确定第一音频信号和第二音频信号之间的第一时间差,从而,确定第一传声器与第二传声器在至少一个评估频率下的固定相位差;根据每个评估频率下,固定相位差与评估相位差之间的差值,对第一传声器与第二传声器进行一致性评估。根据不同音频信号在多个频率下的时间差,确定不同传声器之间的固定相位差,避免了对传声器与声源之间的距离测量,能够提高评估结果准确性。

Description

评估传声器阵列一致性的方法和装置
技术领域
本申请涉及传声器阵列评估领域,更具体地,涉及一种评估传声器阵列一致性的方法和装置。
背景技术
在语音通讯应用中,语音增强技术能够提高人的听觉感受,提高语音通讯的可懂度,在语音智能交互应用中,语音增强技术能够提高语音识别的准确率,提升用户体验,因此语音增强技术无论是在传统的语音通讯,还是语音交互中都至关重要。多通道语音增强技术利用传声器阵列采集多路信号,利用多传声器信号之间的相位信息和相干信息消除噪声,能够消除非稳态噪声,且对语音损伤较小。
在多通道语音增强技术中,传声器阵列中不同传声器之间的一致性直接影响算法性能。在评估不同传声器之间的一致性时,需要测量各个传声器与声源之间的距离,距离测量的准确性严重影响传声器阵列的一致性评估结果。
发明内容
本申请提供一种评估传声器阵列相位一致性的方法和装置,能够提高评估传声器阵列一致性的准确性。
第一方面,提供一种评估传声器阵列一致性的方法,所述方法包括:获取传声器阵列的多个传声器中每个传声器采集的音频信号,其中,第一音频信号是第一传声器采集的,第二音频信号是第二传声器采集的;确定第一频率下所述第一音频信号和所述第二音频信号之间的第二时间差;根据多个所述第一频率中每个所述第一频率下的所述第二时间差,确定所述第一音频信号和所述第二音频信号之间的第一时间差;利用所述第一时间差,确定所述第一传声器与所述第二传声器在至少一个评估频率下的固定相位差;根据每个所述评估频率下,所述固定相位差与评估相位差之间的差值,对所述第一传声器与所述第二传声器进行一致性评估,所述评估频率下的所述评估相位差是根据所述第一音频信号和所述第二音频信号在至少一个第二频率下的相位差获得的。
根据该不同传声器采集的音频信号之间的时间差,确定该不同传声器在不同频率下的固定相位差。根据该固定相位差对该不同传声器进行一致性评估,避免在固定相位差确定过程中对距离的测量,使得确定的固定相位差更加准确。
根据不同传声器采集的音频信号在多个频率下的时间差,确定第一时间差,使得第一时间差能够更准确的反映传声器与声源之间距离的差异,从而使得评估结果更准确。
结合第一方面,在一些可能的实现方式中,所述至少一个评估频率包括所述多个第一频率,所述第一频率下的所述评估相位差与所述第一频率下的所述第二时间差相对应。
将评估相位差用于第一时间差的确定从而确定固定相位差,无需测量其他更多的参数,使得固定相位差确定的方式更为简便。
结合第一方面,在一些可能的实现方式中,所述第一时间差是所述多个第二时间差的加权平均值,所述多个第二时间差中的第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关,所述第i个延时偏差用于指示所述第i个第二时间差与所述多个第二时间差的平均值的差值,i为正整数。
以第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关的权重,计算多个第二时间差的加权平均值,并将该加权平均值作为第一时间差,可以减小异常的第二时间差对第一时间差的影响,减小第一时间差的误差
结合第一方面,在一些可能的实现方式中,所述音频信号是对扫频声音进行采集得到的,所述第一音频信号包括多个信号帧,所述多个信号帧与所述多个第一频率一一对应,每个所述第一频率为所述第一频率对应的所述信号帧的主频率,所述方法还包括:根据所述多个信号帧中第j信号帧的多个所述第二频率中每个所述第二频率下所述第一音频信号与所述第二音频信号的频点相位差,确定每个所述第二频率下所述第一音频信号与所述第二音频信号的频点时间差信息;根据每个所述第二频率下的频点时间差信息,确定所述第j信号帧对应的所述第一频率下所述第一音频信号与所述第二音频信号的第二时间差,j为正整数。
根据多个第二频率下的频点相位差,确定第二时间差,可以减小噪声的影响,使得第一频率下的第二时间差更准确。
结合第一方面,在一些可能的实现方式中,所述第j信号帧对应的所述第一频率下的所述第二时间差对所述第j信号帧中所述多个第二频率下的频点时间差信息指示的频点时间差进行加权平均运算得到的,每个所述频点时间差的权重与所述频点时间差对应的所述第二频率下的声音的功率与所述信号帧中的所述多个第二频率下的声音的总功率的比值正相关。
在根据多个频点相位差计算第一时间差时,根据多个频点相位差进行加权平均值计算,每个频点相位差对应的权重与该频点相位差对应的频率下音频信号的功率正相关,可以减小功率较小的频率对应的频点相位差对第二时间差的影响。
结合第一方面,在一些可能的实现方式中,所述第二频率下的声音的功率是每个所述音频信号在所述信号帧的时间段内在所述第二频率下功率的平均值。
根据不同传声器采集的音频信号在第二频率下功率的平均值确定该第二频率对应的频点相位差的权重,可以避免某个传声器收到噪声等的较大影响造成的该产生器采集的音频信号在第二频率下的偏差,从而提高确定的第二时间差的准确度。
结合第一方面,在一些可能的实现方式中,每个所述信号帧中的多个第二频率位于以所述信号帧对应的所述第一频率为中心的预设宽度的频带内。
通过在以第一频率为中心的频带内取第二频率,避免了与第一频率存在较大差异的频率下的噪声信号对确定第一频率下的第二时间差造成影响。
第二方面,提供一种评估传声器阵列一致性的装置,包括:存储模块和处理模块,所述存储模块用于存储程序,当所述程序在所述处理模块中执行时,所述处理模块用于:获取传声器阵列的多个传声器中每个传声器采集的音频信号,其中,第一音频信号是第一传声器采集的,第二音频信号是第二传声器采集的;确定第一频率下所述第一音频信号和所述第二音频信号之间的第二时间差;根据多个所述第一频率中每个所述第一频率下的所述第二时间差,确定所述第一音频信号和所述第二音频信号之间的第一时间差;利用所述第一时间差,确定所述第一传声器与所述第二传声器在至少一个评估频率下的固定相位差;根据每个所述评估频率下,所述固定相位差与评估相位差之间的差值,对所述第一传声器与所述第二传声器进行一致性评估,所述评估频率下的所述评估相位差是根据所述第一音频信号和所述第二音频信号在至少一个第二频率下的相位差获得的。
结合第二方面,在一些可能的实现方式中,所述至少一个评估频率包括所述多个第一频率,所述第一频率下的所述评估相位差与所述第一频率下的所述第二时间差相对应。
结合第二方面,在一些可能的实现方式中,所述处理模块还用于:所述第一时间差是所述多个第二时间差的加权平均值,所述多个第二时间差中的第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关,所述第i个延时偏差用于指示所述第i个第二时间差与所述多个第二时间差的平均值的差值,i为正整数。
结合第二方面,在一些可能的实现方式中,所述音频信号是对扫频声音进行采集得到的,所述第一音频信号包括多个信号帧,所述多个信号帧与所述多个第一频率一一对应,每个所述第一频率为所述第一频率对应的所述信号帧的主频率,所述处理模块还用于,根据所述多个信号帧中第j信号帧的多个所述第二频率中每个所述第二频率下所述第一音频信号与所述第二音频信号的频点相位差,确定每个所述第二频率下所述第一音频信号与所述第二音频信号的频点时间差信息;根据每个所述第二频率下的频点时间差信息,确定所述第j信号帧对应的所述第一频率下所述第一音频信号与所述第二音频信号的第二时间差,j为正整数。
结合第二方面,在一些可能的实现方式中,所述第j信号帧对应的所述第一频率下的所述第二时间差对所述第j信号帧中所述多个第二频率下的频点时间差信息指示的频点时间差进行加权平均运算得到的,每个所述频点相位差值对应的权重与所述频点相位差值对应的所述第二频率下的声音的功率与所述信号帧中的所述多个第二频率下的声音的总功率的比值正相关。
结合第二方面,在一些可能的实现方式中,所述第二频率下的声音的功率是每个所述音频信号在所述信号帧的时间段内在所述第二频率下功率的平均值。
结合第二方面,在一些可能的实现方式中,每个所述信号帧中的多个第二频率位于以所述信号帧对应的所述第一频率为中心的预设宽度的频带内。
结合第二方面,在一些可能的实现方式中,每个所述信号帧中的主频率为所述信号帧中功率最大的频率。
第三方面,提供一种评估传声器阵列一致性的装置包括至少一个存储器和至少一个处理器,所述至少一个存储器用于存储程序,所述至少一个处理器用于运行所述程序,以实现权利要求第一方面或第一方面中的任意一种实现方式中的方法。
第四方面,提供一种计算机可读介质,该计算机可读介质存储用于设备执行的程序代码,该程序代码包括用于执行第一方面或第一方面中的任意一种实现方式中的方法。
第五方面,提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面或第一方面中的任意一种实现方式中的方法。
第六方面,提供一种芯片,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,执行上述第一方面或第一方面中的任意一种实现方式中的方法。
可选地,作为一种实现方式,所述芯片还可以包括存储器,所述存储器中存储有指令,所述处理器用于执行所述存储器上存储的指令,当所述指令被执行时,所述处理器用于执行第一方面或第一方面中的任意一种实现方式中的方法。
附图说明
图1是一种评估传声器阵列一致性的测试环境示意图。
图2是不同频率下相位差的示意图。
图3是本申请实施例提供的一种评估传声器阵列一致性的方法的示意性流程图。
图4是本申请实施例提供的一种评估传声器阵列一致性的方法的示意性流程图。
图5是一种声音信号的示意图。
图6是一种传声器阵列一致性的评估结果的示意图。
图7是本申请实施例提供的一种评估传声器阵列一致性的方法的示意性流程图。
图8是本申请实施例提供的一种评估传声器阵列一致性的装置的示意性结构图。
图9是本申请实施例提供的另一种评估传声器阵列一致性的装置的示意性结构图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
传声器阵列(microphone array)是指由一定数目的传声器(也可以称为声学传感器或麦克风)组成,用来对声场的空间特性进行采样并处理的系统。利用两个传声器接收到声波的相位之间的差异对声波进行过滤,能最大限度将环境背景声音清除掉,只剩下需要的声波。
多通道语音增强技术算法假设条件是传声器阵列中的多个传声器的目标语音成分高相关性,目标语音与非目标干扰不相关,因此传声器阵列中不同传声器之间的一致性直接影响算法性能。
传声器一致性的定量评估,可用于指导传声器的设计和传声器阵列的设计,传声器阵列的电路、电子元器件、声学结构都会影响传声器的一致性,在设计传声器阵列时可逐项测试各种因素对一致性的影响,从而使传声器一致性的设计达到系统要求。
传声器一致性的定量评估,可用于比较不同算法的鲁棒性,在达到相同语音增强性能的前提性,对一致性指标要求越低,算法鲁棒性越好。
图1是一种传声器阵列一致性的测量环境示意图。
将由该N个传声器构成的传声器阵列101放置于测试房间110内,且在该测试房间110内配置有扬声器102,该传声器阵列201可以位于该扬声器102的正前方或其他位置。该传声器阵列101与该扬声器102连接计算机或其他控制设备120。该控制设备120可以控制该扬声器102播放特定的音频数据,例如,播放高斯白噪声数据或者扫频信号数据等,同时,该控制设备120可以接收该传声器阵列101中每个传声器采集的音频信号。
传声器阵列的一致性评估要求采集的音频信号的信噪比足够高,背景噪声足够弱,因此测试环境要求在安静环境下。扬声器102要求信噪比较高。
可选地,在进行正式的音频信号采集之前,可以对上述测试环境进行信噪比(signal-to-noise ratio,SNR)检测。当信噪比满足预设要求时,可进行传声器阵列一致性的评估。
具体地,控制设备120可以根据每个传声器采集的音频信号,确定该传声器阵列中除参考传声器之外的其他传声器与该参考传声器之间的相位差值,如图2所示。
因在采集数据时,不同传声器到声源的距离并不是完全一致,所以不同传声器之间存在固定相位差。
可以分别测量传声器阵列中每个传声器到声源的距离,从而确定每个传声器与参考传声器到声源的距离差。或者,也可以测量传声器阵列与声源之间的垂直距离,以及各个传声器与传声器阵列上该垂直距离测量点之间的距离,确定每个传声器与参考传声器到声源的距离差。根据所测量的距离差,分别计算该传声器阵列中除参考传声器之外的其他传声器与该参考传声器之间的固定相位差。
需要说明的是,固定相位差与信号频率满足线性关系,因此,可以使用线性拟合的方式确定固定相位差。
控制设备120可以计算每个其他传声器与参考传声器之间的固定相位差和相位差值之间的差值作为相对相位差以评估传声器阵列一致性,从而能够消除两传声器之间的固定相位差所造成的影响,从而使得传声器阵列一致性的评估结果更准确。
但是,在评估不同传声器之间的一致性时,需要测量各个传声器与声源之间的距离,距离测量的准确性严重影响传声器阵列的一致性评估结果的准确性。
另外,测量的各个传声器与声源之间的距离仅仅是直达声的距离,因此,测试房间110内要求具有消音室环境,从而避免声波信号在测试房间110的反射影响传声器阵列的一致性评估结果的准确性。也就是说,测量各个传声器与声源之间的距离来确定固定相位差的方式,对测试环境提出了较高的要求。
为了解决上述问题,本申请实施例提供了一种评估传声器阵列一致性的方法,无需对各个传声器与声源之间的距离进行测量,能够提高传声器阵列一致性的评估结果的准确性。
图3是本申请实施例提供的一种评估传声器阵列一致性的方法的示意性流程图。
应理解,图3示出了该方法的步骤或操作,但这些步骤或操作仅是示例,本申请实施例还可以执行其他操作或者图3中的各个操作的变形。该方法可以由评估传声器阵列一致性的装置执行。评估传声器阵列一致性的装置可以是手机、平板电脑、便携式电脑、个人数字助理(Personal Digital Assistant,PDA)等等,例如,评估传声器阵列一致性的装置可以是图1所示的控制设备120。
在S310,获取传声器阵列的多个传声器中每个传声器采集的音频信号,其中,第一音频信号是第一传声器采集的,第二音频信号是第二传声器采集的。
在S320,确定所述第一频率下所述第一音频信号和所述第二音频信号之间的第二时间差。
在S330,根据多个所述第一频率中每个所述第一频率下的所述第二时间差,确定所述第一音频信号和所述第二音频信号之间的第一时间差。
在S340,利用所述第一时间差,确定所述第一传声器与所述第二传声器在至少一个评估频率下的固定相位差。
在采集数据时,不同传声器到声源的距离并不是完全一致,所以不同传声器之间存在固定相位差。
不同传声器到声源的距离差与该不同传声器接收声源发出的声音信号的时间差成正比。因此,通过不同传声器接收的音频信号的时间差,可以确定不同传声器之间的固定相位差。
在S350,根据每个所述评估频率下,所述固定相位差与评估相位差之间的差值,对所述第一传声器与所述第二传声器进行一致性评估,所述评估频率下的所述评估相位差是根据所述第一音频信号和所述第二音频信号在至少一个第二频率下的相位差获得的。
通过S310至S350,根据传声器阵列中不同传声器接收的音频信号在各个频率下的相位差,确定这些音频信号之间的时间差,从而确定不同传声器之间的固定相位差,根据不同频率下固定相位差与评估相位差之间的差值对该不同传声器的一致性评估,避免了对各个传声器与声源之间的距离进行测量,能够提高传声器阵列一致性的评估结果的准确性。
并且,声源发出的声音经过反射传输至传声器,传声器阵列中不同传声器接收的音频信号的时间差依然能够反映不同传声器接收的音频信号传输路径的差异,从而使得确定的固定相位差准确反映不同传声器接收的音频信号传输路径的差异。由于无需对各个传声器与声源之间的距离进行测量,降低了对于评估环境的要求,使得对传声器阵列一致性的评估无需在消音室环境中进行,提高了传声器阵列一致性评估的便利性。
至少一个评估频率可以包括多个第一频率,第一频率下的评估相位差与第一频率下的第二时间差相对应。
每个第一频率下的第二时间差对应的相位差为第一频率下第一音频信号和第二音频信号之间的第一相位差。
评估相位差用于进行传声器之间一致性评估,将多个评估相位差中的全部或部分,用于确定音频信号之间的第一时间差,从而确定各个评估频率下的固定相位差,降低了传声器阵列一致性评估所需的数据量,除各个评估频率下的评估相位差,无需通过测量或其他方式获取其他更多的参数,使得评估传声器阵列一致性的方式更为便利。
当然,可以将多个评估相位差中的全部用于确定音频信号之间的第一时间差,也就是说,可以计算不同传声器接收的音频信号在各个第一频率的第一相位差,并根据每个第一频率下第一相位差与固定相位差之间的差值,评估不同传声器的一致性。将多个评估相位差中的全部用于确定音频信号之间的第一时间差,用于确定第二时间差的固定相位差的数据量增加,使得传声器阵列一致性评估结果更加准确。
可以确定多个第二时间差,每个第二时间差用于表示第一音频信号和第二音频信号之间的时间差。
可以根据多个第一频率下第一音频信号和第二音频信号之间的第二时间差,确定所述第一时间差,所述第一时间差可以是所述多个第二时间差的中位数或平均值。例如,所述第一时间差可以是所述多个第二时间差的加权平均值,所述多个第二时间差中的第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关,所述第i个延时偏差用于指示所述第i个第二时间差与所述多个第二时间差的平均值的差值,i为正整数。
相比于对于每个第一频率仅确定该第一频率下的第二时间差并将该第二时间差作为第一时间差计算固定相位差的方式相比,确定多个第二时间差并对该多个第二时间差计算平均值以确定第一时间差,从而计算固定相位差,可以减小确定的第一时间差的误差。
另外,以第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关的权重,计算多个第二时间差的加权平均值,并将该加权平均值作为第一时间差,可以减小异常的第二时间差对第一时间差的影响,减小第一时间差的误差。
应当理解,该多个第二时间差可以是位于多个时间段中每个时间段内的第一音频信号与第二音频信号的时间差,也可以是不同频率下第一音频信号与第二音频信号的时间差。
每个所述音频信号包括多个第一频率下的声音,所述多个第二时间差与所述多个第一频率一一对应,每个第二时间差用于表示所述第一音频信号和所述第二音频信号在与所述第二时间差对应的频率下的所述第一频率下的时间差。
第一音频信号是由第一传声器采集的,第二音频信号是由第二传声器采集的,第一传声器与第二传声器是传声器阵列中不同的传声器。因此,第一音频信号与第二音频信号是不同的传声器对相同声音进行采集得到的。因此,第一音频信号和第二音频信号可以包括相同的第一频率下的声音。
可以确定各个第一频率下第一音频信号和第二音频信号的第二时间差,即确定了每个第一频率下的第二时间差。
确定每个第一频率对应的第二时间差,在进行用于确定第一时间差的加权平均运算时,每个第二时间差的权重与所述该第二时间差对应的延时偏差负相关,可以减小存在噪声的第一频率对应的第二时间差对第一时间差的影响。从而,可以减小噪声对固定相位差的影响,进一步减小噪声对传声器阵列一致性评价结果的影响。
可选地,音频信号是对扫频声音进行采集得到的。所述第一音频信号包括多个信号帧,每个所述信号帧对应的第一频率为所述信号帧的主频率。
可以确定每个信号帧的主频率下所述第一传声器与所述第二传声器的第一相位差。之后,根据第一频率下的第一相位差确定第一频率下的第二时间差。
可以对第一音频信号与第二音频信号进行时域上的比较,以确定第一音频信号和第二音频信号之间的第一时间差。
具体地,可以对音频信号进行傅里叶变换,以确定音频信号在第一频率下信号分量的函数表达式,该表达式中包括用于表示音频信号在第一频率下的相位的参数。从而,可以确定第一频率下第一音频信号与第二音频信号的相位差为第一音频信号与第二音频信号在第一频率下的第一相位差。可以根据第一音频信号与第二音频信号在第一频率下的第一相位差,确定在第一频率下第一音频信号和第二音频信号之间的第一时间差。
当传声器之间的距离小于或等于声波的半波长时,音频信号在某一频率下的相位的参数确定的第一音频信号与第二音频信号在该频率下的相位差的范围在0°至180°之间,通过傅里叶变化能够准确确定第一音频信号与第二音频信号在该频率下的相位差。
声音在空气中的传播速度即声速,声速等于声波的频率乘以声波的波长。声波的频率范围为20赫兹(Hz)至2千赫兹(kHz),声波的波长范围为0.0017米(m)至17m。可以根据传声器之间的距离,在确定各个频率下传声器采集的音频信号之间的相位差时,可以调整频率的范围,以使得传声器之间的距离小于或等于声波的半波长,使得确定的相位差更为准确。
传声器阵列一致性的评估结果通常以不同传声器接收的音频信号在各个频率下的相对相位差表示。某个频率下的相对相位差可以理解为,在该频率下,不同传声器采集的音频信号之间的实际相位差与该不同传声器之间的固定相位差之间从差值。音频信号之间的实际相位差可以是根据音频信号波形确定的相位差。
或者,所述第一相位差可以是所述信号帧的多个第二频率中每个所述第二频率下所述第一音频信号与所述第二音频信号的频点相位差的加权平均值。第一频率为信号帧的主频率,第一相位差可以理解为第一频率下第一音频信号与第二音频信号的相位差。
应当理解,声音以声波的形式在空间中传播。声音功率与声波正负的平方成正比。
在获取各个音频信号之后,可以对每个音频中的各个信号帧分别进行傅里叶变换,例如快速傅里叶变化(fast Fourier transform,FFT),以确定每个信号帧中的各个频率对应的功率和相位。
之后,对第一音频信号和第二音频信号分别进行傅里叶变换,从而可以计算第一音频信号和第二音频信号在相同的第二频率下的频点相位差。
应当理解,每个信号帧的多个第二频率包括该信号帧的主频率,即每个信号帧的多个第二频率包括与该信号帧对应的第一频率。
对于每一个信号帧,可以根据该信号帧中多个第二频率下第一音频信号与第二音频信号之间的频点相位差,确定该信号帧的主频率即该信号帧对应的第一频率下,第一音频信号与第二音频信号之间的第一相位差。
噪声可能出现在一个或多个频率。如果将第一频率下的频点相位差作为第一频率下第一音频信号与第二音频信号之间的第一相位差,当第一音频信号和/或第二音频信号在第一频率下存在噪声时,第一相位差受到噪声的较大影响。
可以根据多个信号帧中第j信号帧的多个第二频率中每个第二频率下第一音频信号与第二音频信号的频点相位差,确定每个所述第二频率下所述第一音频信号与所述第二音频信号的频点时间差信息。
第二频率下的频点时间差信息可以是第二频率下第一音频信号与第二音频信号之间的时间差,也可以是第二频率下第一音频信号与第二音频信号之间在第一频点或其他频点下的相位差。由于某一频率下第一音频信号与第二音频信号之间的时间差等于第一音频信号与第二音频信号之间的相位差与该频率的比值,通过第二频率下第一音频信号与第二音频信号之间的时间差或相位差均可以作为第二频率下所述第一音频信号与所述第二音频信号的频点时间差信息。
根据每个所述第二频率下的频点时间差信息,确定所述第j信号帧对应的所述第一频率下的所述第二时间差,确定所述第j信号帧对应的所述第一频率下所述第一音频信号与所述第二音频信号的第二时间差,j为正整数。
将每个第二频率下的频点相位差转换为第一频率下的相位差,并对转换后的相位差计算平均值以确定第二时间差,可以减小噪声的影响,第一频率下的第一相位差能够更准确的反映在该第一频率对应的信号帧内第一音频信号与第二音频信号的相位差。
也就是说,相比于将第一频率下的频点相位差作为第一频率下第一音频信号与第二音频信号之间的第一相位差,从而根据该第一相位差确定第二时间差的方式相比,对多个第二频率下的频点相位差计算平均值以确定第二时间差,可以减小确定第二时间差的误差。
对于一个信号帧,每个频点相位差的权重可以相同,例如可以是该信号帧中频点相位差的数量的倒数。信号帧中频点相位差的数量,即信号帧中第二频率的数量。
或者,每个第二频点相位差值对应的权重可以与该频点相位差值对应的所述第二频率下的声音的功率与所述信号帧中的所述多个第二频率下的声音的总功率的比值正相关。
噪声可能出现在一个或多个频率。为了提高对传声器阵列一致性的评估准确度,一般在较为安静的环境进行音频信号的获取。也就是说,噪声信号的功率一般较低。
在根据多个频点相位差计算第二时间差时,计算该频点相位差的多个加权平均值,每个频点相位差的权重为该频点相位差对应的频率下第一音频信号的功率,可以减小功率较小的频率对应的频点相位差对第二时间差的影响。从而可以避免噪声对第二时间差的影响。
应当理解,第二频率下的声音的功率,可以是第一音频信号或第二音频信号在该第二频率下的声音的功率。
或者,第二频率下的声音的功率可以是对第一音频信号在该第二频率下的声音的功率与第二音频信号在该第二频率下的声音的功率的平均值。
每个音频信号可以包括相同数量的信号帧,且每个信号帧的长度相等。可以对某个信号帧中各个音频信号在第二频率下声音的功耗的平均值作为该第二频率下的声音的功率,以计算该第二频率对应的频点相位差的权重。
也就是说,第二频率下的声音的功率是每个音频信号在一个信号帧的该第二频率下功率的平均值。
根据不同传声器在第二频率下功率的平均值确定该第二频率对应的频点相位差的权重,可以避免某个传声器收到噪声等的较大影响造成的该产生器采集的音频信号在第二频率下的偏差,从而提高确定的第二时间差的准确度。
一般情况下,一个信号帧中扬声器发出的声音主要集中在一定的频率范围内,例如,集中在信号帧中的主频率即该信号帧对应的第一频率的附近。与第一频率较远的频率上一般为噪声信号。
每个所述信号帧中的多个第二频率可以是位于以所述信号帧的主频率为中心的预设宽度的频带内的频率。
从而,避免在与第一频率较远的频率下噪声信号的相位差对第一频率下的第二时间差造成影响。
第一相位差即第二时间差对应的相位差。第二频率下第一音频信号与第二音频信号之间的第二时间差可以表示为该第二频率与该第二频率下第一音频信号与第二音频信号之间的第一相位差的乘积。
评估相位差的确定方式与第一相位差的确定方式可以相同或不同。
评估相位差可以是对第一音频信号和第二音频信号分别进行傅里叶变换,得到的评估频率下第一音频信号和第二音频信号之间的相位差。
或者,音频信号可以是对扫频声音进行采集得到的。可以对音频信号进行分帧(还可以进行加窗)以得到多个信号帧。可以根据某个信号帧的多个频点的每个频点下第一音频信号与第二音频信号的频点相位差,确定每个所述第二频率下所述第一音频信号与所述第二音频信号的频点时间差信息。可以根据该多个频点下的频点时间差信息,确定该信号帧对应的评估相位差,作为该信号帧的主频率下第一音频信号与第二音频信号的评估相位差。该信号帧的主频率即评估频率。在确定第二时间差与确定评估相位差时,可以采用相同或不同的窗口长度对音频信号进行分帧。
图4是本申请实施例提供的一种评估传声器阵列一致性的方法的示意性流程图。该方法可以由评估传声器阵列一致性的装置执行。可以采用图1所示的控制装置120作为评估传声器阵列一致性的装置。
以传声器阵列中第一传声器和第二传声器之间的一致性评估为例进行说明。
在S410,获取传声器阵列中每个传声器采集的音频信号,其中,第一音频信号第一传声器采集的,第二音频信号是第二传声器采集。
控制装置120可以控制扬声器播放扫频信号,例如,随着播放时间的延长,扬声器播放的声音的频率不断增加。
各个传声器阵列中的各个传声器对扬声器播放的声音进行采集,其中,第一传声器采集得到第一音频信号,第二传声器采集得到第二音频信号。
应当理解,每个传声器采集的音频信号的时间长度相等,各个音频信号的开始时间和结束时间相同。由于传声器阵列中各个传声器的距离较近,在相同的时间,各个音频信号中的声音几乎相同,仅存在较小的延时。
之后,各个传声器可以将采集的音频信号发送至控制装置120。
在S420,计算传声器之间的加权平均相位差。
具体地,可以进行S421至S425。
在S421,分别每个音频信号进行分帧加窗。
在获得第一音频信号和第二音频信号之后,可以对每个音频信号进行分帧,得到对应于每个音频信号的N个信号帧,N为正整数,且N≥2。每个信号帧的时间长度相等。
可选地,在每个音频信号中,任意两个相邻的信号帧重叠R%,R为预设值且R>0。例如,R可以是25或者50。也就是说,任意两个相邻信号帧重叠25%或者50%。
应理解,任意两个相邻的信号帧的重叠使得每一帧信号都有上一帧的成分,防止相邻两帧之间的不连续。
例如,每个信号帧的帧长可以是128ms,帧移为64ms,即任意两个相邻的信号帧重叠50%。
之后,对N个信号帧分别进行加窗处理,从而得到N个加窗信号帧。
需要说明的是,加窗处理用来消除分帧时带来的截断效应。可以对各个音频信号的每个信号帧做加汉明窗处理。
在S422,对每个加窗信号帧进行傅里叶变换(FFT),以得到每个加窗信号帧中的各个频点f下的功率和相位。
频点,可以理解为离散化的频率点。一般情况下,任意两个连续的频点之间的频率间隔相等。
在S423,根据第一音频信号和第二音频信号中的第m个加窗信号帧中各个频点f下的相位,得到各个频点f下的相位差φmf
其中,m表示加窗信号帧的序号,m为正整数且m≤N。
第一音频信号和第二音频信号在各个频点f下的相位差φmf,也可以理解为在各个频点下传声器之间的相位差。
对于该多个音频信号第m个加窗信号帧的开始时间和结束时间相同。可以根据第一音频信号中的第m个加窗信号帧中各个频点下的相位,以及第二音频信号中的第m个加窗信号帧中各个频点下的相位,确定第一传声器和第二传声器在第m个加窗信号帧中各个频点下的相位差φmf
在S424,计算每个相位差φmf对应的权重。
可以计算每个音频信号在第m个信号帧中各个频点中每个频点的声音的功率平均值,作为该第m个信号帧的该频点对应的功率。对于第m个加窗信号帧中的各个频率,各个音频信号在频点f下声音的功率平均值可以记为平均功率pmf
根据各个音频信号中的第m个加窗信号帧中各个频点下的平均功率pmf,计算每个相位差φmf对应的权重。
可以确定各个音频信号的第m个加窗信号帧中平均功率最大的频点fm0。频点fm0也可以理解为第m个加窗信号帧的主频点。以频点fm0为中心频点确定第m个加窗信号帧对应的频带Fm=[fm0-Δf,fm0+Δf]。其中,Δf为预设值,例如可以为100赫兹(Hz)。
计算第m个加窗信号帧对应的频带内的各个频点下相位差的权重,其中,每个频点的权重wmf可以表示为该频点的平均功率pmf除以该频带的总平均功率。频带的总平均功率即该频带中各个频点对应的平均功率pmf之和。
在S425,计算加权平均延时。第一传声器与第二传声器在第m个加窗信号帧中的加权平均相位差
Figure GDA0003362011100000111
可以表示为:
Figure GDA0003362011100000112
对于每个加窗信号帧,进行S423至S425,从而,得到第一传声器与第二传声器在每个加窗信号帧的加权平均相位差。
相位与频率成正比。加权平均相位差
Figure GDA0003362011100000113
的表达式中,
Figure GDA0003362011100000114
用于将第m个加窗信号帧的各个频点f下的相位差转换为第m个加窗信号帧的中心频点fm0下的相位差。
因此,加权平均相位差
Figure GDA0003362011100000115
用于表示在第m个加窗信号帧对应的第一传声器与第二传声器的相位差,加权平均相位差
Figure GDA0003362011100000116
对应的频点为第m个加窗信号帧的主频点fm0
每个信号帧的时间较短。一般情况下,一个信号帧对应于一个频点,即第m个加窗信号帧对应于该信号帧中的功率最高的频点fm0。与仅根据频点fm0的相位差进行后续S430至S440步骤处理的方式相比,通过S423至S425,将第m个加窗信号帧的各个频点对应的相位差转换为频点fm0的相位差,并根据该多个转换后的频点fm0的相位差,最终确定第m个加窗信号帧的频点fm0的相位差,使得确定的第m个加窗信号帧对应的相位差更为准确。
由于每个信号帧的时间较短,在一个信号帧中声音主要集中在某一个频点附近。通过设置以功率最高的频点fm0为中心的频带,对该频带中的各个频点对应的相位差进行转换,减弱了噪声对确定的第m个加窗信号帧对应的相位差的影响。
第m个加窗信号帧对应的相位差为第m个加窗信号帧对应的频带内的各个频点下相位差的加权平均值,每个频点下相位差的权重wmf与该频点的功率正相关。也就是说,各个频点下的相位差对第m个加窗信号帧对应的相位差的影响与每个频点的功率的大小正相关。由于噪声等信号的功率较小,可以减小噪声对确定的第m个加窗信号帧对应的相位差的影响。
加权平均相位差
Figure GDA0003362011100000117
第一传声器和第二传声器在第m个加窗信号帧中各个频点下的相位差φmf均可以理解为绝对相位差。
在S430,计算不同传声器的加权平均延时。
具体地,可以进行S431至S424。
在S431,根据第一传声器与第二传声器在每个加窗信号帧的加权平均相位差,计算第一传声器与第二传声器的平均延时差。
第一传声器与第二传声器的平均延时差
Figure GDA0003362011100000118
可以表示为
Figure GDA0003362011100000121
其中,tm为第m个加窗信号帧中第一传声器与第二传声器之间的延时差。
在一定频率下,根据相位与延时之间具有线性关系。延时差tm可以根据第一传声器与第二传声器在第m个加窗信号帧中的加权平均相位差
Figure GDA0003362011100000122
确定。延时差tm可以表示为:
Figure GDA0003362011100000123
在S432,根据各个加窗信号帧的延时差与平均延时差
Figure GDA0003362011100000129
之间的偏差,确定每个加窗信号帧的延时差的权重。
第m个加窗信号帧中第一传声器与第二传声器之间的延时差tm的权重可以表示为:
Figure GDA0003362011100000124
在S432,计算第一传声器与第二传声器的加权平均延时。
第一传声器与第二传声器的加权平均延时
Figure GDA0003362011100000125
可以表示为:
Figure GDA0003362011100000126
根据S420确定的第一传声器与第二传声器在每个信号帧中对应的相位差,确定每个信号帧的延时差。延时差用于表示声源发出的声音到达不同传声器的时间延时的差异。
在S440,计算不同传声器的相对相位差,以对传声器阵列进行一致性评估。
在频率fm0下,第一传声器与第二传声器在各个频带的相对相位差可以表示为:
Figure GDA0003362011100000127
其中,
Figure GDA0003362011100000128
可以理解为在频率fm0下第一传声器与第二传声器之间的固定相位差。
也就是说,在S440,计算不同传声器之间的绝对相位差和固定相位差的差值,从而确定的该不同传声器之间的相对相位差。
对于每个频点fm0,分别进行S440的计算,从而可以得到第一传声器和第二传声器在各个频点的相对相位差,即得到了第一传声器与第二传声器的一致性评估结果。
相比于根据某个信号帧的延时差确定该第一传声器与第二传声器之间的固定相位差,S430根据各个信号帧的延时差,确定第一传声器与第二传声器之间的固定相位差的方式,能够提高确定的固定相位差的准确度。
通过S430,根据每个信号帧的延时差与多个信号帧的平均延时差的偏差,确定每个信号帧的延时差与该偏差负相关的权重,从而使得与多个信号帧的平均延时差差异较大的信号帧的延时差对加权平均延时差的影响较小,降低了异常的延时差对极端结果的影响。
当然,也可以去除该多个信号帧的平均延时差中最大一个或多个延时差,以及最小的一个或多个延时差,之后计算平均延时差,并在S440根据该平均延时差确定固定相位差。
通过S410至S440,根据传声器阵列中不同传声器接收的音频信号的时间差确定不同传声器之间的固定相位差,从而对该不同传声器的一致性评估,避免了对各个传声器与声源之间的距离进行测量,能够提高传声器阵列一致性的评估结果的准确性。
对于传声器中的多个传声器,可以将每个传声器分别作为第一传声器,将与该第一传声器相邻的传声器作为第二传声器,可以进行S410至S440。从而,可以得到每个传声器与相邻传声器的一致性评估结果。
采用本申请实施例提供的评估传声器阵列一致性的方法,通过S410至S440,对包括6个传声器的传声器阵列的一致性进行评估。该6个传声器依次线性排列,每两个传声器之间的距离为3厘米(cm)。在进行S410时,可以控制扬声器发出如图5所示的声音,扬声器发出声音的频率随着时间不断增高。扬声器发出的声音可以覆盖传声器一致性评估所需的频率范围。人耳能够听到的声音的范围一般认为是20Hz~20kHz。传声器一致性评估所需的频率范围可以是20Hz~20kHz中的全部或部分频率范围。
传声器阵列一致性的评估结果如图6所示。其中,每个传声器与相邻传声器之间的相对相位差随频率的变化情况如图6中的曲线所示。曲线1至5分别表示在1000Hz至3500Hz的频率范围内,依次沿线性排列的6个传声器中每两个相邻的传声器之间的相对相位差。
当然,也可以将传声器阵列中的一个传声器作为参考传声器,评价其他每个传声器与参考传声器之间的一致性。
图7是本申请实施例提供的一种评估传声器阵列一致性的方法的示意性流程图。
在S710,获取多个传声器阵列的多个传声器中每个传声器采集的音频信号,其中,第一音频信号是第一传声器采集的,第二音频信号是第二传声器采集的。
也就是说,传声器阵列包括第一传声器和第二传声器,传声器阵列采集的多个音频信号包括第一音频信号和第二音频信号。
在S720,根据所述第一音频信号和所述第二音频信号在多个第一频率中每个所述第一频率下的第一相位差,确定所述第一音频信号和所述第二音频信号之间的第一时间差。
在S730,利用所述第一时间差,确定所述第一传声器与所述第二传声器在每个所述第一频率下的固定相位差。
在S740,根据所述固定相位差,对所述第一传声器与所述第二传声器进行一致性评估。
通过S710至S740,根据不同传声器采集的音频信号在不同频率下的相位差,确定该不同传声器采集的音频信号之间的时间差,从而确定该不同传声器在不同频率下的固定相位差。根据该固定相位差对该不同传声器进行一致性评估,避免在固定相位差确定过程中对距离的测量,使得确定的固定相位差更加准确。
不同传声器进行一致性评估是根据不同的传声器在各个频率下的相对相位差确定的。某个频率下不同传声器的相对相位差可以表示为该不同传声器采集的音频信号的相位差与该频率下该不同传声器的固定相位差的之间的差值。
具体地,在S730,可以利用所述第一时间差,确定所述第一传声器与所述第二传声器在每个所述第一频率下的固定相位差。在S740,可以确定每个所述第一频率下,所述第一相位差与所述固定相位差之间的差值,以评估所述第一传声器与所述第二传声器的一致性。
也就是说,多个第一频率下的第一相位差用于确定第一时间差,以从而根据第一时间差确定每个第一频率下的固定相位差;每个第一频率下的第一相位差还用于计算与该第一频率下的固定相位差之间的差值,即计算该第一频率下的相对相位差。
将第一相位差用于第一时间差的确定从而确定固定相位差,能够避免传声器相位一致性的偏差对计算得到的固定相位差的影响。另外,在确定相对相位差和固定相位差时使用相同的参数,对于固定相位差的确定无需测量其他更多的参数,使得固定相位差确定的方式更为简便。
具体地,在S720,根据每个所述第一频率下的第一相位差,确定所述第一频率下所述第一音频信号和所述第二音频信号之间的第二时间差。
第一音频信号和第二音频信号是由扬声器等声源设备发出的。声源设备发出的声音分别传输至第一传声器的位置和第二传声器的位置。传输至第一传声器的声波与传输至第二传声器位置的声波具有相位差,该相位差与声波的传输距离的差值成正比。声波以声速c在空气中传播。声波的传输距离可以表示为声速c与声波传输时间的乘积。
根据第一传声器采集的第一音频信号与第二传声器的第二音频信号在各个第一频率下的第一相位差,可以确定第一传声器与第二传声器在各个第一频率下的第二时间差。
声波的相位差可以表示为声波传输的时间差与声波的频率的乘积。每个第一频率对应的相位差等于该第一频率与该第一频率下第一音频信号与第二音频信号之间时间差的乘积。
可以根据该多个第二时间差,确定第一时间差。例如,第一时间差可以是该多个第二时间差的平均值或中位数等。
第一时间差可以是所述多个第二时间差的加权平均值,所述多个第二时间差中的第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关,所述第i个延时偏差用于指示所述第i个第二时间差与所述多个第二时间差的平均值的差值,i为正整数。
计算多个第二时间差的加权平均值,第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关的权重,并将该加权平均值作为第一时间差,可以减小异常的第二时间差对第一时间差的影响,减小第一时间差的误差。
为了确定第一音频信号与第二音频信号在各个第一频率下的第一相位差,可以对音频信号进行分帧。
第一音频信号包括多个信号帧,所述多个信号帧与所述多个第一频率一一对应,每个所述第一频率为所述第一频率对应的所述信号帧的主频率。
在S720之前,可以根据每个所述信号帧的多个第二频率中每个所述第二频率下所述第一音频信号与所述第二音频信号的频点相位差,确定所述信号帧对应的所述第一频率下所述第一音频信号与所述第二音频信号的第一相位差。
根据多个第二频率下的频点相位差,确定第一相位差,可以减小噪声的影响,使得第一相位差更准确。
由于不同传声器接收的音频信号的相位差与该音频信号的频率成正比,可以将各个第二频率下的频点相位差转换为第一频率下的等效相位差。也就是说,可以对频点相位差进行频率的调整。
对于一个信号帧,该信号帧的第一频率即主频率对应的第一相位差可以是该多个等效相位差的中位数或平均值等。
该第一相位差可以是该多个等效相位差的加权平均值。由于等效相位差是对频点相位差进行频率的调整得到的,每个等效相位差的权重也可以理解为用于进行频率调整以得到该等效相位差的频点相位差对应的权重。
每个所述频点相位差值对应的权重与所述频点相位差值对应的所述第二频率下的声音的功率与所述信号帧中的所述多个第二频率下的声音的总功率的比值正相关。
例如,每个所述频点相位差值对应的权重可以为所述频点相位差值对应的所述第二频率下的声音的功率与所述信号帧中的所述多个第二频率下的声音的总功率的比值。
在根据多个频点相位差计算第一相位差时,计算该频点相位差的多个加权平均值,每个频点相位差的权重与该频点相位差对应的频率下第一音频信号的功率正相关,可以减小功率较小的频率对应的频点相位差对第一相位差的影响。从而可以避免噪声对第一相位差的影响,提高第一相位差的准确度。
所述第二频率下的声音的功率可以是一个或多个音频信号在所述第二频率下功率的平均值。例如,第二频率下的声音的功率可以是第一音频信号或第二音频信号在该第二频率下的功率,第二频率下的声音的功率可以也是传声器阵列采集的多个音频信号中的每个音频信号在该第二频率下的功率平均值。
根据传声器阵列的各个传声器采集的音频信号在第二频率下功率的平均值确定该第二频率对应的频点相位差的权重,可以避免某个传声器收到噪声等的较大影响造成的该产生器采集的音频信号在第二频率下的偏差,从而提高确定的第一相位差的准确度。
应当理解,多个音频信号在该第二频率下的功率平均值的计算,是为了计算一个信号帧对应的第一相位差。因此,在计算多个音频信号在该第二频率下的功率平均值时,可以计算各个音频信号位于该信号帧的时间段内在该第二频率下的功率的平均值。
为了对信号做短时的频率分析,可以对该多个音频信号进行划分,使得划分后的每个音频信号包括多个信号帧,每个信号帧的时间长度相等。
一个音频信号中相邻的两个信号帧之间还可以存在重叠。在各个音频信号中,每两个信号帧之间的重叠的时间长度相等。
每个所述信号帧中的多个第二频率可以是位于以所述信号帧对应的所述第一频率为中心的预设宽度的频带内的频率。
通过在以第一频率为中心的频带内取第二频率,避免了与第一频率存在较大差异的频率下的噪声信号对确定第一频率下的第一相位差造成影响。
上文结合图1至图7的描述了本申请实施例提供的数据处理系统、神经网络模型量化方法以及数据处理方法,下面结合图8至图9,描述本申请实施例的装置实施例。应理解,数据处理系统、神经网络模型量化方法以及数据处理方法的描述与装置实施例的描述相互对应,因此,未详细描述的部分可以参见上文的描述。
图8是本申请实施例提供的一种评估传声器阵列一致性的装置的示意性结构图。评估传声器阵列一致性的装置2000可以位于图1所示的控制设备120或其他设备中。评估传声器阵列一致性的装置2000包括存储模块2010和处理模块2020。存储模块2010用于存储程序。
当所述程序在处理模块2020中运行时,处理模块2020用于执行前文所述的评估传声器阵列一致性的方法。
具体地,处理模块2020用于,获取传声器阵列的多个传声器中每个传声器采集的音频信号,其中,第一音频信号是第一传声器采集的,第二音频信号是第二传声器采集的。
处理模块2020还用于,确定第一频率下所述第一音频信号和所述第二音频信号之间的第二时间差。
处理模块2020还用于,多个所述第一频率中每个所述第一频率下的所述第二时间差,确定所述第一音频信号和所述第二音频信号之间的第一时间差。
处理模块2020还用于,利用所述第一时间差,确定所述第一传声器与所述第二传声器在至少一个评估频率下的固定相位差。
处理模块2020还用于,根据每个所述评估频率下,所述固定相位差与评估相位差之间的差值,对所述第一传声器与所述第二传声器进行一致性评估,所述评估频率下的所述评估相位差是根据所述第一音频信号和所述第二音频信号在至少一个第二频率下的相位差获得的。
可选地,处理模块2020还用于,所述至少一个评估频率包括所述多个第一频率,所述第一频率下的所述评估相位差与所述第一频率下的所述第二时间差相对应。
可选地,所述第一时间差是所述多个第二时间差的加权平均值,所述多个第二时间差中的第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关,所述第i个延时偏差用于指示所述第i个第二时间差与所述多个第二时间差的平均值的差值,i为正整数。
可选地,所述音频信号是对扫频声音进行采集得到的,所述第一音频信号包括多个信号帧,所述多个信号帧与所述多个第一频率一一对应,每个所述第一频率为所述第一频率对应的所述信号帧的主频率。
处理模块2020还用于,根据所述多个信号帧中第j信号帧的多个所述第二频率中每个所述第二频率下所述第一音频信号与所述第二音频信号的频点相位差,确定每个所述第二频率下所述第一音频信号与所述第二音频信号的频点时间差信息。
处理模块2020还用于,根据每个所述第二频率下的频点时间差信息,确定所述第j信号帧对应的所述第一频率下所述第一音频信号与所述第二音频信号的第二时间差,j为正整数。
可选地,所述第j信号帧对应的所述第一频率下的所述第二时间差对所述第j信号帧中所述多个第二频率下的频点时间差信息指示的频点时间差进行加权平均运算得到的,每个所述频点相位差值对应的权重与所述频点相位差值对应的所述第二频率下的声音的功率与所述信号帧中的所述多个第二频率下的声音的总功率的比值正相关。
可选地,所述第二频率下的声音的功率是每个所述音频信号在所述信号帧的时间段内在所述信号帧的时间段内在所述信号帧的时间段内在所述第二频率下功率的平均值。
可选地,每个所述信号帧中的多个第二频率位于以所述信号帧对应的所述第一频率为中心的预设宽度的频带内。
可选地,每个所述信号帧中的主频率为所述信号帧中功率最大的频率。
图9是本申请实施例提供的一种评估传声器阵列一致性的装置的示意性结构图。图9所示的评估传声器阵列一致性的装置3000包括存储器3010、处理器3020。
存储器3010可以用于存储程序,当存储器3010中存储的程序被处理器3020执行时,处理器3020用于执行前文所述的评估传声器阵列一致性的方法。
处理器3020可以用于执行相关程序,以执行前文所述的评估传声器阵列一致性方法。
具体地,处理器3020用于,获取传声器阵列的多个传声器中每个传声器采集的音频信号,其中,第一音频信号是第一传声器采集的,第二音频信号是第二传声器采集的。
处理器3020还用于,确定第一频率下所述第一音频信号和所述第二音频信号之间的第二时间差。
处理器3020还用于,根据多个所述第一频率中每个所述第一频率下的所述第二时间差,确定所述第一音频信号和所述第二音频信号之间的第一时间差。
处理器3020还用于,利用所述第一时间差,确定所述第一传声器与所述第二传声器在至少一个评估频率下的固定相位差。
处理器3020还用于,根据每个所述评估频率下,所述固定相位差与评估相位差之间的差值,对所述第一传声器与所述第二传声器进行一致性评估,所述评估频率下的所述评估相位差是根据所述第一音频信号和所述第二音频信号在至少一个第二频率下的相位差获得的。
可选地,所述至少一个评估频率包括所述多个第一频率,所述第一频率下的所述评估相位差与所述第一频率下的所述第二时间差相对应。
可选地,所述第一时间差是所述多个第二时间差的加权平均值,所述多个第二时间差中的第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关,所述第i个延时偏差用于指示所述第i个第二时间差与所述多个第二时间差的平均值的差值,i为正整数。
可选地,所述音频信号是对扫频声音进行采集得到的,所述第一音频信号包括多个信号帧,所述多个信号帧与所述多个第一频率一一对应,每个所述第一频率为所述第一频率对应的所述信号帧的主频率。
处理器3020还用于,根据所述多个信号帧中第j信号帧的多个所述第二频率中每个所述第二频率下所述第一音频信号与所述第二音频信号的频点相位差,确定每个所述第二频率下所述第一音频信号与所述第二音频信号的频点时间差信息。
处理器3020还用于,根据每个所述第二频率下的频点时间差信息,确定所述第j信号帧对应的所述第一频率下所述第一音频信号与所述第二音频信号的第二时间差,j为正整数。
可选地,所述第j信号帧对应的所述第一频率下的所述第二时间差对所述第j信号帧中所述多个第二频率下的频点时间差信息指示的频点时间差进行加权平均运算得到的,每个所述频点相位差值对应的权重与所述频点相位差值对应的所述第二频率下的声音的功率与所述信号帧中的所述多个第二频率下的声音的总功率的比值正相关。
可选地,所述第二频率下的声音的功率是每个所述音频信号在所述信号帧的时间段内在所述第二频率下功率的平均值。
可选地,每个所述信号帧中的多个第二频率位于以所述信号帧对应的所述第一频率为中心的预设宽度的频带内。
可选地,每个所述信号帧中的主频率为所述信号帧中功率最大的频率。
应注意,尽管上述装置3000仅仅示出了存储器、处理器,但是在具体实现过程中,本领域的技术人员应当理解,装置4000和装置5000还可以包括实现正常运行所必须的其他器件。同时,根据具体需要,本领域的技术人员应当理解,装置3000还可包括实现其他附加功能的硬件器件。
应理解,本申请实施例中的处理器可以为中央处理单元(central processingunit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random accessmemory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种评估传声器阵列一致性的方法,其特征在于,包括:
获取传声器阵列的多个传声器中每个传声器采集的音频信号,其中,第一音频信号是第一传声器采集的,第二音频信号是第二传声器采集的;
确定第一频率下所述第一传声器接收所述第一音频信号和所述第二传声器接收所述第二音频信号之间的第二时间差;
根据多个所述第一频率中每个所述第一频率下的所述第二时间差,确定所述第一音频信号和所述第二音频信号之间的第一时间差,所述第一时间差用于表示所述多个第二时间差的集中趋势;
利用所述第一时间差,确定所述第一传声器与所述第二传声器在至少一个评估频率下的固定相位差;
根据每个所述评估频率下,所述固定相位差与评估相位差之间的差值,对所述第一传声器与所述第二传声器进行一致性评估,所述评估频率下的所述评估相位差是根据所述第一音频信号和所述第二音频信号在至少一个第二频率下的相位差获得的。
2.根据权利要求1所述的方法,其特征在于,所述至少一个评估频率包括所述多个第一频率,所述第一频率下的所述评估相位差与所述第一频率下的所述第二时间差相对应。
3.根据权利要求1或2所述的方法,其特征在于,
所述第一时间差是所述多个第二时间差的加权平均值,所述多个第二时间差中的第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关,所述第i个延时偏差用于指示所述第i个第二时间差与所述多个第二时间差的平均值的差值,i为正整数。
4.根据权利要求1或2所述的方法,其特征在于,所述音频信号是对扫频声音进行采集得到的,所述第一音频信号包括多个信号帧,所述多个信号帧与所述多个第一频率一一对应,每个所述第一频率为所述第一频率对应的所述信号帧的主频率,
所述方法还包括:根据所述多个信号帧中第j信号帧的多个所述第二频率中每个所述第二频率下所述第一音频信号与所述第二音频信号的频点相位差,确定每个所述第二频率下所述第一音频信号与所述第二音频信号的频点时间差信息;
根据每个所述第二频率下的频点时间差信息,确定所述第j信号帧对应的所述第一频率下所述第一音频信号与所述第二音频信号的第二时间差,j为正整数。
5.根据权利要求4所述的方法,其特征在于,
所述第j信号帧对应的所述第一频率下的所述第二时间差是对所述第j信号帧中所述多个第二频率下的频点时间差信息指示的频点时间差进行加权平均运算得到的,每个所述频点时间差的权重与所述频点时间差对应的所述第二频率下的声音的功率与所述信号帧中的所述多个第二频率下的声音的总功率的比值正相关。
6.根据权利要求5所述的方法,其特征在于,
所述第二频率下的声音的功率是每个所述音频信号在所述信号帧的时间段内在所述第二频率下功率的平均值。
7.根据权利要求4所述的方法,其特征在于,每个所述信号帧中的多个第二频率位于以所述信号帧对应的所述第一频率为中心的预设宽度的频带内。
8.根据权利要求4所述的方法,其特征在于,每个所述信号帧中的主频率为所述信号帧中功率最大的频率。
9.一种评估传声器阵列一致性的装置,其特征在于,包括存储模块和处理模块,所述存储模块用于存储程序,当所述程序在所述处理模块中执行时,所述处理模块用于:
获取传声器阵列的多个传声器中每个传声器采集的音频信号,其中,第一音频信号是第一传声器采集的,第二音频信号是第二传声器采集的;
确定第一频率下所述第一传声器接收所述第一音频信号和所述第二传声器接收所述第二音频信号之间的第二时间差;
根据多个所述第一频率中每个所述第一频率下的所述第二时间差,确定所述第一音频信号和所述第二音频信号之间的第一时间差,所述第一时间差用于表示所述多个第二时间差的集中趋势;
利用所述第一时间差,确定所述第一传声器与所述第二传声器在至少一个评估频率下的固定相位差;
根据每个所述评估频率下,所述固定相位差与评估相位差之间的差值,对所述第一传声器与所述第二传声器进行一致性评估,所述评估频率下的所述评估相位差是根据所述第一音频信号和所述第二音频信号在至少一个第二频率下的相位差获得的。
10.根据权利要求9所述的装置,其特征在于,所述至少一个评估频率包括所述多个第一频率,所述第一频率下的所述评估相位差与所述第一频率下的所述第二时间差相对应。
11.根据权利要求9或10所述的装置,其特征在于,所述第一时间差是所述多个第二时间差的加权平均值,所述多个第二时间差中的第i个第二时间差的权重与所述第i个第二时间差对应的第i个延时偏差负相关,所述第i个延时偏差用于指示所述第i个第二时间差与所述多个第二时间差的平均值的差值,i为正整数。
12.根据权利要求9或10所述的装置,其特征在于,所述音频信号是对扫频声音进行采集得到的,所述第一音频信号包括多个信号帧,所述多个信号帧与所述多个第一频率一一对应,每个所述第一频率为所述第一频率对应的所述信号帧的主频率,
所述处理模块还用于,根据所述多个信号帧中第j信号帧的多个所述第二频率中每个所述第二频率下所述第一音频信号与所述第二音频信号的频点相位差,确定每个所述第二频率下所述第一音频信号与所述第二音频信号的频点时间差信息;
所述处理模块还用于,根据每个所述第二频率下的频点时间差信息,确定所述第j信号帧对应的所述第一频率下所述第一音频信号与所述第二音频信号的第二时间差,j为正整数。
13.根据权利要求12所述的装置,其特征在于,所述第j信号帧对应的所述第一频率下的所述第二时间差是对所述第j信号帧中所述多个第二频率下的频点时间差信息指示的频点时间差进行加权平均运算得到的,每个所述频点相位差值对应的权重与所述频点相位差值对应的所述第二频率下的声音的功率与所述信号帧中的所述多个第二频率下的声音的总功率的比值正相关。
14.根据权利要求13所述的装置,其特征在于,
所述第二频率下的声音的功率是每个所述音频信号在所述信号帧的时间段内在所述第二频率下功率的平均值。
15.根据权利要求12所述的装置,其特征在于,每个所述信号帧中的多个第二频率位于以所述信号帧对应的所述第一频率为中心的预设宽度的频带内。
16.根据权利要求12所述的装置,其特征在于,每个所述信号帧中的主频率为所述信号帧中功率最大的频率。
17.一种评估传声器阵列一致性的装置,其特征在于,包括至少一个存储器和至少一个处理器,所述至少一个存储器用于存储程序,所述至少一个处理器用于运行所述程序,以实现权利要求1-8中任一项所述的方法。
CN202180000168.0A 2021-01-12 2021-01-12 评估传声器阵列一致性的方法和装置 Active CN112889299B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/071197 WO2022150950A1 (zh) 2021-01-12 2021-01-12 评估传声器阵列一致性的方法和装置

Publications (2)

Publication Number Publication Date
CN112889299A CN112889299A (zh) 2021-06-01
CN112889299B true CN112889299B (zh) 2022-07-22

Family

ID=76040141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180000168.0A Active CN112889299B (zh) 2021-01-12 2021-01-12 评估传声器阵列一致性的方法和装置

Country Status (2)

Country Link
CN (1) CN112889299B (zh)
WO (1) WO2022150950A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248992A (zh) * 2012-02-08 2013-08-14 中国科学院声学研究所 一种基于双麦克风的目标方向语音活动检测方法及系统
CN103901400A (zh) * 2014-04-10 2014-07-02 北京大学深圳研究生院 一种基于时延补偿和双耳一致性的双耳声音源定位方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004010867B3 (de) * 2004-03-05 2005-08-18 Siemens Audiologische Technik Gmbh Verfahren und Vorrichtung zum Anpassen der Phasen von Mikrofonen eines Hörgeräterichtmikrofons
JP4247195B2 (ja) * 2005-03-23 2009-04-02 株式会社東芝 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録した記録媒体
US8724829B2 (en) * 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
CN103176167B (zh) * 2013-03-21 2014-11-05 徐华中 一种基于锁相放大器的强干扰下声源定位方法
WO2016209098A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Phase response mismatch correction for multiple microphones
US10448150B2 (en) * 2016-06-03 2019-10-15 Faraday & Future Inc. Method and apparatus to detect and isolate audio in a vehicle using multiple microphones
CN109036448B (zh) * 2017-06-12 2020-04-14 华为技术有限公司 一种声音处理方法和装置
CN116437280A (zh) * 2018-08-22 2023-07-14 深圳市汇顶科技股份有限公司 评估麦克风阵列一致性的方法、设备、装置和系统
CN111812588B (zh) * 2020-07-20 2023-08-18 百度在线网络技术(北京)有限公司 多设备语音唤醒实现方法及设备、电子设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248992A (zh) * 2012-02-08 2013-08-14 中国科学院声学研究所 一种基于双麦克风的目标方向语音活动检测方法及系统
CN103901400A (zh) * 2014-04-10 2014-07-02 北京大学深圳研究生院 一种基于时延补偿和双耳一致性的双耳声音源定位方法

Also Published As

Publication number Publication date
CN112889299A (zh) 2021-06-01
WO2022150950A1 (zh) 2022-07-21

Similar Documents

Publication Publication Date Title
US9909863B2 (en) Determination of a room dimension estimate
CN109313909B (zh) 评估麦克风阵列一致性的方法、设备、装置和系统
JP6129316B2 (ja) 情報に基づく多チャネル音声存在確率推定を提供するための装置および方法
KR101156847B1 (ko) 자동화된 센서 신호 매칭
KR101548848B1 (ko) 가청 사운드 및 초음파를 이용한 소스 정위를 위한 시스템들, 방법들, 장치, 및 컴퓨터 판독가능 매체들
TWI530201B (zh) 經由自抵達方向估值提取幾何資訊之聲音擷取技術
US8949118B2 (en) System and method for robust estimation and tracking the fundamental frequency of pseudo periodic signals in the presence of noise
JP6177253B2 (ja) ハーモニシティベースの単一チャネルスピーチ品質評価
CN106128451B (zh) 用于语音识别的方法及装置
US20140337021A1 (en) Systems and methods for noise characteristic dependent speech enhancement
EP2881948A1 (en) Spectral comb voice activity detection
US20120308038A1 (en) Sound Source Localization Apparatus and Method
JP2017503388A5 (zh)
EP2786375B1 (en) Real-time quality monitoring of speech and audio signals in noisy reverberant environments for teleconferencing systems
CN109979469B (zh) 信号处理方法、设备及存储介质
CN109102819A (zh) 一种啸叫检测方法及装置
JP2007081455A (ja) 音源位置・受音位置推定方法、その装置、そのプログラム、およびその記録媒体
US20040240681A1 (en) Method and apparatus for identifying the direction of incidence of an incoming audio signal
US11915718B2 (en) Position detection method, apparatus, electronic device and computer readable storage medium
CN112889299B (zh) 评估传声器阵列一致性的方法和装置
Raikar et al. Effect of Microphone Position Measurement Error on RIR and its Impact on Speech Intelligibility and Quality.
JP6711205B2 (ja) 音響信号処理装置、プログラム及び方法
JP2007333545A (ja) 吸音特性測定方法および吸音特性測定装置
JP6165503B2 (ja) エコー抑圧装置およびエコー抑圧方法
Fernandez Comesana et al. " Virtual Arrays", a novel broadband source localization technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant