CN117202021A - 一种音频信号处理方法、系统及电子设备 - Google Patents
一种音频信号处理方法、系统及电子设备 Download PDFInfo
- Publication number
- CN117202021A CN117202021A CN202311246283.3A CN202311246283A CN117202021A CN 117202021 A CN117202021 A CN 117202021A CN 202311246283 A CN202311246283 A CN 202311246283A CN 117202021 A CN117202021 A CN 117202021A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- filtering
- state
- signal
- echo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 576
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 214
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000002159 abnormal effect Effects 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 22
- 238000002592 echocardiography Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000002452 interceptive effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本申请公开了一种音频信号处理方法、系统及电子设备,获得第一音频信号以及基于第一音频信号采集得到的第二音频信号;至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;基于状态,对第二音频信号采用对应的滤波方式进行滤波处理。
Description
技术领域
本申请涉及音频数据领域,尤其涉及一种音频信号处理方法、系统及电子设备。
背景技术
在语音通话或语音唤醒的应用中,由于环境限制,设备经常会处于半封闭状态,如:智能音箱放置在半封闭的柜子中等,在这种情况下,环境固定,滤波器收敛,设备能够处理回声信号。然而,当环境发生变化,如:扫地机器人从床下移动至床外,回声发生变化,而基于当前的滤波器参数是无法对当前环境中的回声进行消除的,,即产生异常回声。
在存在异常回声时,设备进行语音识别的准确率或效率会降低,或者,在语音通话时,若存在异常回声,用户会听到部分残留较大的自己的声音,会对语音通话造成干扰,从而影响客户体验。
发明内容
有鉴于此,本申请提供一种音频信号处理方法、系统及电子设备,其具体方案如下:
一种音频信号处理方法,包括:
获得第一音频信号以及基于所述第一音频信号采集得到的第二音频信号;
至少基于所述第一音频信号及所述第二音频信号确定所述第二音频信号的状态,所述状态至少与所述第二音频信号中的回声信号相关;
基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理。
进一步的,所述至少基于所述第一音频信号及所述第二音频信号确定所述第二音频信号的状态,包括:
基于所述第一音频信号及所述第二音频信号确定误差信号;
至少基于所述第一音频信号及所述第二音频信号之间的第一相干参数,所述第二音频信号及所述误差信号之间的第二相干参数,及,所述第二音频信号的回声能量,确定所述电子设备是否处于异常回声状态;
其中,所述第一相干参数用于表征所述第一音频信号和所述第二音频信号之间的相关度,所述第二相干参数用于表征所述第二音频信号和所述误差信号之间的相干度。
进一步的,所述基于所述第一音频信号及所述第二音频信号确定误差信号,包括:
确定当前滤波参数;
通过所述当前滤波参数对所述第一音频信号进行滤波,获得估计回声信号;
基于所述估计回声信号及所述第二音频信号之间的差值,确定所述误差信号。
进一步的,所述基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理,包括:
若确定所述第二音频信号符合第一条件,对应于所述第二音频信号处于第一状态,以第一滤波方式进行滤波,所述以第一滤波方式进行滤波包括:以第一更新参数作为滤波处理中采用的滤波器更新参数,所述滤波器更新参数用于在滤波过程中不断更新滤波参数;
基于更新后的滤波器更新参数及所述第一音频信号,对所述第二音频信号进行滤波处理。
进一步的,所述基于更新后的滤波器更新参数及所述第一音频信号,对所述第二音频信号进行滤波处理,包括:
更新所述第一音频信号,得到第三音频信号,所述第三音频信号的频率分布与第二音频信号的频率分布的误差,小于所述第一音频信号与所述第二音频信号的频率分布的误差;
基于更新后的滤波器更新参数及所述第三音频信号,对所述第二音频信号进行滤波处理。
进一步的,
所述第一条件包括:所述第一相干参数大于第一阈值,第二相干参数大于第二阈值,且所述第二音频信号的回声能量大于第三阈值。
进一步的,所述基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理,包括:
若确定所述第二音频信号符合第二条件,对应于所述第二音频信号处于第二状态,以第二滤波方式进行滤波处理,所述以第二滤波方式进行滤波处理包括:基于第二滤波器更新参数对滤波器的滤波参数进行更新;
基于更新后的滤波器的滤波参数及所述第一音频信号,对所述第二音频信号进行滤波处理;
其中,所述第二条件包括:第一相干参数大于第一阈值,且所述第二音频信号的回声能量小于第四阈值。
进一步的,所述基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理,包括:
若确定所述第二音频信号符合第三条件,对应于所述第二音频信号处于第三状态,以固定的滤波器参数对所述第二音频信号进行滤波处理;
其中,所述第三条件包括:所述第一相干参数小于第一阈值,第二相干参数大于第二阈值,且所述第二音频信号的回声能量大于第四阈值,同时小于第三阈值。
一种电子设备,包括:
音频输出装置,用于输出所述第一音频信号;
音频采集装置,用于基于所述第一音频信号采集得到第二音频信号;
处理器,用于获得所述第一音频信号及第二音频信号,至少基于所述第一音频信号及所述第二音频信号确定所述第二音频信号的状态,所述状态至少与所述第二音频信号中的回声信号相关;基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理。
一种音频信号处理系统,包括:
获得单元,用于获得第一音频信号以及基于所述第一音频信号采集得到的第二音频信号;
确定单元,用于至少基于所述第一音频信号及所述第二音频信号确定所述第二音频信号的状态,所述状态至少与所述第二音频信号中的回声信号相关;
处理单元,用于基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理。
从上述技术方案可以看出,本申请公开的音频信号处理方法、系统及电子设备,获得第一音频信号以及基于第一音频信号采集得到的第二音频信号;至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;基于状态,对第二音频信号采用对应的滤波方式进行滤波处理。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种音频信号处理方法的流程图;
图2为本申请实施例公开的一种音频信号处理方法的流程图;
图3为本申请实施例公开的一种音频信号传输路径的示意图;
图4为本申请实施例公开的一种音频信号处理方法的流程图;
图5为本申请实施例公开的一种回声消除方式的示意图;
图6为本申请实施例公开的一种音频信号处理方法的流程图;
图7为本申请实施例公开的一种电子设备的结构示意图;
图8为本申请实施例公开的一种音频信号处理系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请公开了一种音频信号处理方法,其流程图如图1所示,包括:
步骤S11、获得第一音频信号以及基于第一音频信号采集得到的第二音频信号;
步骤S12、至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;
步骤S13、基于状态,对第二音频信号采用对应的滤波方式进行滤波处理。
在语音通话或语音唤醒的应用中,若存在异常回声,会对设备对音频进行识别的准确率或效率降低,或者,在语音通话时,异常回声会对语音通话造成干扰,从而影响用户体验。
为了避免上述问题,本方案中,在获得采集到的第二音频信号时,对第二音频信号的状态进行确定,以便第二音频信号中的回声状态的相关信息,从而确定相应的滤波方式并对第二音频信号进行滤波,以消除异常回声对第二音频信号的影响,提高设备唤醒的准确率及效率,提高通话质量,从而达到提高用户体验的目的。
设备获得第一音频信号,基于第一音频信号采集得到可能存在异常回声信号的第二音频信号,即可将第一音频信号作为参考信号,而第二音频信号是实际采集得到的信号。
可以为设备内部对第一音频信号进行配置,当配置完成后输出声波信号,该声波信号是与第一音频信号对应的信号;第二音频信号至少包括该声波信号经过环境反射后的回声信号,与第一音频信号相关。因此,在环境稳定的情况下,第二音频信号和第一音频信号之间相关的对应关系相对稳定,因此,可通过对第二音频信号和第一音频信号之间相关的对应关系的变化,确定是否存在异常回声。
在采集到第二音频信号后,需要首先判断第二音频信号中是否包括异常回声信号,以便调整滤波器参数,实现对第二音频信号的滤波处理。而要确定第二音频信号中是否包括异常回声信号,就需要基于第一音频信号确定的第二音频信号的状态进行确定,从而基于该第二音频信号的状态确定第二音频信号中是否包括异常回声信号。
设备采集第二音频信号,设备中本身存在滤波器,能够基于滤波器的当前滤波参数对第二音频信号中的回声信号进行消除,基于当前滤波参数能够消除的仅为第二音频信号中的正常回声信号,其中,正常回声信号是在设备所在环境未发生变化时,在回声消除过程中滤波器收敛时,能够消除的回声信号;而当第二音频信号中存在异常回声信号时,基于当前的滤波参数是无法实现消除的,因此,此时就需要对滤波参数进行调整。
具体的,确定第二音频信号的状态,即确定第二音频信号当前是处于没有干扰的异常回声状态,还是处于没有干扰的正常回声状态,还是处于双讲状态,其中,双讲状态即存在干扰信号的回声状态。干扰信号是指设备以外的其他声源发出的音频信号。
对于第二音频信号的不同状态,会采用不同的滤波方式进行滤波处理,以使得进行滤波处理的滤波方式能够完全符合第二音频信号的当前状态,实现对没有干扰的异常回声信号的异常回声的消除,对没有干扰的正常回声信号进行正常回声的消除,对于双讲信号则仅消除回声信号,从而使得最终获得的经过滤波处理之后的信号是不包括需要滤除的回声信号的音频信号,以达到经过滤波处理后的第二音频信号能够更趋近于第一音频信号,实现基于该经过滤波处理后的音频信号能够提高设备唤醒的准确率及效率,提高通话质量。
本实施例公开了一种音频信号处理方法,获得第一音频信号及基于第一音频信号采集得到的第二音频信号;至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;基于状态,对第二音频信号采用对应的滤波方式进行滤波处理。本方案在获得第二音频信号时,并非直接对其进行滤波处理,而是需要首先确定第二音频信号的状态,以确定第二音频信号中的回声信号的相关信息,从而确定第二音频信号是否包括异常回声,并基于该第二音频信号的状态确定相应的滤波方式对第二音频信号进行滤波,以避免异常回声对采集到的音频信号的干扰。
本实施例公开了一种音频信号处理方法,其流程图如图2所示,包括:
步骤S21、获得第一音频信号及基于第一音频信号采集得到的第二音频信号;
步骤S22、基于第一音频信号及第二音频信号确定误差信号;
步骤S23、至少基于第一音频信号及第二音频信号之间的第一相干参数,第二音频信号及误差信号之间的第二相干参数,及,第二音频信号的回声能量,确定电子设备是否处于异常回声状态,其中,第一相干参数用于表征第一音频信号和第二音频信号之间的相关度,第二相干参数用于表征第二音频信号和误差信号之间的相干度;
步骤S24、基于电子设备是否处于异常回声状态的判断结果,对第二音频信号采用对应的滤波方式进行滤波处理。
在获得第一音频信号后,基于第一音频信号采集得到第二音频信号,之后可基于第一音频信号及第二音频信号确定第二音频信号的状态。
具体的,基于第一音频信号及第二音频信号确定第二音频信号的状态,可以为,首先确定第一音频信号及第二音频信号之间的误差信号,即基于当前的滤波参数、第一音频信号及第二音频信号确定的基于当前滤波参数进行滤波处理后还需要进行滤波处理的滤波误差信号,将其确定为误差信号。
具体的,确定误差信号,可以为:确定当前滤波参数;通过当前滤波参数对第一音频信号进行滤波,获得估计回声信号;基于估计回声信号及第二音频信号之间的差值,确定误差信号。
例如:语音通话中,如图3所示,扬声器输出第一音频信号x,第一音频信号x经过路径w被麦克风接收到,即第二音频信号d,若第二音频信号d中只有正常回声信号,则第二音频信号d=w*x,而实际场景中,时常会有干扰信号s存在,该干扰信号s也会被麦克风采集到,此时得到的麦克风信号为d=s+w*x。基于此,对干扰信号s进行回声消除,通常是构建一个滤波器以使基于该滤波器不断更新接近真实路径w,基于该滤波器/>能够估计出回声信号/>进而能够消除第二音频信号中的回声信号,其原理为滤波器逼近回声后,和接收到的回声抵消,实现回声消除。
其中,误差信号为:即获得基于当前滤波参数进行滤波后的滤波误差。对于该误差信号,应趋近于0,即当滤波误差趋近于0时,就可确定回声被完全消除。
在获得误差信号后,需要基于第二音频信号及误差信号确定两者之间的第二相干参数Sed,第二相干参数为第二音频信号和误差信号之间的相干度;另外,还需要获得第一音频信号和第二音频信号之间的第一相干参数Sxd,第一相干参数是第一音频信号和第二音频信号之间的相关度。
对于时域误差信号e,通过窗函数加窗后,经过傅里叶变换到频域,得到误差信号的频域信号E(n):
E(n)=FFT(e*window)
对于时域第二音频信号d,通过窗函数加窗后,经过傅里叶变换到频域,得到第二音频信号的频域信号D(n):
D(n)=FFT(d.*window)
对于时域第一音频信号x,通过窗函数加窗后,经过傅里叶变换到频域,得到第一音频信号的频域信号X(n):
X(n)=FFT(x.*window)
计算第一音频信号和第二音频信号之间的相干性Sxd,获得第一相干参数,为:
cohdx=Sxd*conj(Sxd)./(Sx.*Sd)
计算第二音频信号及误差信号之间的相干性Sed,获得第二相干参数,为:
cohde=Sed*conj(Sed)./(Se.*Sd)
其中,Se为误差信号的自相关,Sd为第二音频信号的自相关,Sx为第一音频信号的自相关。
Sd=Sd*gamma+(D(n)).*coonj(D(n))*(1-gamma)
Sx=Sx*gamma+(X(n)).*coonj(X(n))*(1-gamma)
Sxd=Sxd*gamma+(X(n)).*coonj(D(n))*(1-gamma)
Sed=Sed*gamma+(E(n)).*abs(D(n))*(1-gamma)
其中,gamma为平滑系数,其在以上每个公式中可选取不同的平滑系数,(E(n)).*conj(E(n))是自功率谱,(X(n)).*conj(D(n))是互功率谱。
另外,要确定电子设备是否处于异常回声状态,还需要确定第二音频信号的回声能量。
回声能量可以为:设备开始处理回声信号处于纯回声状态时,统计的预设时长内的第二音频信号的能量energyd,另外,在设备出厂前存储的最大音量下的回声能量值,将其作为异常回声检测时的能量阈值。其中,纯回声状态,即没有干扰的正常回声状态。
具体的,energyd=energyd*gamma+sum(d.*d)*(1-gamma)
在确定回声能量、第一相干参数及第二相干参数后,基于回声能量、第一相干参数及第二相干参数与相应阈值的比较,可确定电子设备是处于没有干扰的异常回声状态、没有干扰的正常回声状态还是处于存在干扰的双讲状态,以便基于电子设备所处的状态执行相应的滤波方式进行滤波处理。
本实施例中,通过回声能量、第一相干参数及第二相干参数分别与相应阈值的比较确定当前实际所处的状态,提高了异常回声状态检测的准确度,实现了对音频信号进行滤波处理的精确度。
本实施例公开了一种音频信号处理方法,获得第一音频信号及基于第一音频信号采集得到的第二音频信号;基于第一音频信号及第二音频信号确定误差信号;至少基于第一音频信号及第二音频信号之间的第一相干参数,第二音频信号及误差信号之间的第二相干参数,及,第二音频信号的回声能量,确定电子设备是否处于异常回声状态,其中,第一相干参数用于表征第一音频信号和第二音频信号之间的相关度,第二相干参数用于表征第二音频信号和误差信号之间的相干度;基于电子设备是否处于异常回声状态的判断结果,对第二音频信号采用对应的滤波方式进行滤波处理。本方案在获得第二音频信号时,并非直接对其进行滤波处理,而是需要首先确定第二音频信号的状态,以确定第二音频信号中的回声信号的相关信息,从而确定第二音频信号是否包括异常回声,并基于该第二音频信号的状态确定相应的滤波方式对第二音频信号进行滤波,以避免异常回声对采集到的音频信号的干扰;另外,基于第一音频信号、第二音频信号及误差信号确定第一相干参数、第二相干参数及回声能量,基于第一相干参数、第二相干参数及回声能量确定是否处于异常回声状态,实现了对第二音频信号的精确判断,提高了对第二音频信号进行滤波处理的精确度。
本实施例公开了一种音频信号处理方法,其流程图如图4所示,包括:
步骤S41、获得第一音频信号以及基于第一音频信号采集得到的第二音频信号;
步骤S42、至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;
步骤S43、若确定第二音频信号符合第一条件,对应于第二音频信号处于第一状态,以第一滤波方式进行滤波,以第一滤波方式进行滤波包括:以第一更新参数作为滤波处理中采用的滤波器更新参数,滤波器更新参数用于在滤波过程中不断更新滤波参数;
步骤S44、基于更新后的滤波器更新参数及第一音频信号,对第二音频信号进行滤波处理。
在获得第一音频信号及第二音频信号后,基于第一音频信号及第二音频信号确定第二音频信号的状态,以便基于第二音频信号的状态确定对其进行滤波处理的滤波方式。
具体的,第二音频信号的状态可以为第二音频信号当前是否处于异常回声状态,其可以包括:处于异常回声状态及处于非异常回声状态,其中,第二音频信号处于异常回声状态还可以包括:第二音频信号处于不存在干扰信号的异常回声状态,以及存在干扰信号的双讲状态,而非异常回声状态可以为:不存在干扰信号的正常回声状态。
基于第二音频信号满足不同的条件,确定第二音频信号处于不同的状态。由于第二音频信号的状态是至少基于第一音频信号及第二音频信号确定的,那么,可具体的,基于第一相干参数、第二相干参数及第二音频信号的回声能量确定,其中,第二相干参数基于第二音频信号和误差信号确定,误差信号基于当前滤波参数、第一音频信号及第二音频信号确定,第一相干参数基于第一音频信号及第二音频信号确定。
具体的,第一条件可以为:第一相干参数大于第一阈值,第二相干参数大于第二阈值,且第二音频信号的回声能量大于第三阈值,即:cohdx>thrdx1,cohde>thrde1,energyd>thred1。其中,cohdx为第一相干参数,thrdx1为第一阈值,cohde为第二相干参数,thrde1为第二阈值,energyd为第二音频信号的回声能量,thred1为第三阈值。
当第二音频信号满足上述第一条件时,可确定第二音频信号处于不存在干扰信号的异常回声状态,将不存在干扰信号的异常回声状态确定为第一状态。
当第二音频信号处于不同的状态时,会对应不同的滤波方式,预先设定不同的状态对应不同的滤波方式,如:第一状态对应第一滤波方式,第二状态对应第二滤波方式,第三状态对应第三滤波方式。
若第二音频信号处于第一状态,即不存在干扰信号的异常回声状态,则以对应的第一滤波方式进行滤波。
其中,第一滤波方式可以为:以第一更新参数作为滤波处理中采用的滤波器更新参数,滤波器更新参数用于在滤波过程中不断更新滤波参数,并基于更新后的滤波器更新参数及第一音频信号,对第二音频信号进行滤波处理。第一更新参数和不存在干扰信号的正常回声状态时的滤波器更新参数不同。
即当确定第二音频信号处于不存在干扰信号的异常回声状态时,需要对滤波器更新参数进行重新确定,以便基于当前的状态确定滤波器更新参数,从而使滤波器能够更快的收敛到最佳回声路径,以达到消除异常回声的目的。
在回声消除中,通常采用频域自适应滤波器FDAF,第一音频信号x(n)激励圆形滤波器和模型滤波器H(n),分别产生期望信号d(n)和滤波输出y(n)=IFFT(X(n)*H(n)),其中,期望信号d(n)为实际接收到的第二音频信号,y(n)为第一音频信号经过滤波后的估计回声信号,对应于频域的YF。
其中,滤波器更新参数可以包括:传输延时、滤波器长度(H(n)的滤波系数的个数)、更新步长μ等。
传输延时是指音频信号从第一音频信号到第二音频信号之间的延迟,异常回声时,传输延时与正常情况的延时相比是变小的趋势,需要调整传输延时,估计延时可采用基于相关的时延估计算法确定,如:基于第一音频信号和干扰信号的相似性,在第一音频信号缓存中查找最相似的帧等方式估计延时。在第一音频信号和干扰信号进入线性部分之前,需保证延时在设计的滤波器阶数范围内,若延时过大超出了线性滤波器估计的范围或调整过当均可能会导致无法收敛的回声信号。
在异常回声状态时,设备处于半封闭空间,回声在空间内多次反射,因此,需适当加长滤波器H(n)的长度,也可加快回声消除;另外,异常回声状态时,更新步长μ可加大,以加快自适应滤波器的收敛。
其中,更新滤波器更新参数后的滤波器可以为:
H(n+1)=H(n)+μ*(X(n).*conj(E(n)))./A(n)
A(n)=A(n)*gamma+X(n).*X(n)*(1-gamma)
其中,A(n)为第一音频信号的平方,是归一化能量。
具体的,如图5所示,为回声消除方式,将第一音频信号x(i)输入,获得块参考输入x(n),将第一音频信号x(n)经过第一窗函数w1执行加窗操作后,经过傅里叶变换FFT,获得第一音频信号的频域信号X(n),X(n)=FFT(x.*window)。
第一音频信号的频域信号经过当前滤波参数进行滤波处理后获得滤波输出信号y(n),即估计回声信号;另外,还需要获得期望信号d(n),即第二音频信号。基于y(n)与d(n)之间的差值确定误差信号e(n),将误差信号e(n)经过第二窗函数w2执行加窗操作后,经傅里叶变换FFT,获得误差信号的频域信号E(n),E(n)=FFT(e*window)。
之后,基于误差信号e(n)及第一音频信号的频域信号X(n)对滤波参数进行调整,得到以第一更新参数作为滤波器更新参数的滤波模型H(n,m),基于当前滤波模型对第一音频信号进行滤波处理,重新获得滤波输出,即基于误差信号对滤波器参数进行更新,以便于获得不包含异常回声的音频信号,实现异常回声的消除。
本实施例公开了一种音频信号处理方法,获得第一音频信号及基于第一音频信号采集得到的第二音频信号;至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;若确定第二音频信号符合第一条件,对应于第二音频信号处于第一状态,以第一滤波方式进行滤波,以第一滤波方式进行滤波包括:以第一更新参数作为滤波处理中采用的滤波器更新参数,滤波器更新参数用于在滤波过程中不断更新滤波参数;基于更新后的滤波器更新参数及第一音频信号,对第二音频信号进行滤波处理。本方案在获得第二音频信号时,并非直接对其进行滤波处理,而是需要首先确定第二音频信号的状态,以确定第二音频信号中的回声信号的相关信息,从而确定第二音频信号是否包括异常回声,并基于该第二音频信号的状态确定相应的滤波方式对第二音频信号进行滤波,以避免异常回声对采集到的音频信号的干扰;另外,在确定第二音频信号符合第一条件时,以第一滤波方式进行滤波,实现基于第二音频信号的实际情况对第二音频信号进行精确的滤波处理,提高滤波处理的精确度。
进一步的,本实施例公开的音频信号处理方法中,基于状态,对第二音频信号采用对应的滤波方式进行处理,还可以包括:
若确定第二音频信号符合第二条件,对应于第二音频信号处于第二状态,以第二滤波方式进行滤波处理,以第二滤波方式进行滤波处理包括:基于第二滤波器更新参数对滤波器的滤波参数进行更新;基于更新后的滤波器的滤波参数及第一音频信号,对第二音频信号进行滤波处理。
其中,第二条件包括:第一相干参数大于第一阈值,且第二音频信号的回声能量小于第四阈值,即cohdx>thrde1,且energyd<thred1。
第二音频信号处于第二状态,即第二音频信号处于不存在干扰信号的正常回声状态,即只要确定cohdx>thrde1,且energyd<thred1,就可以确定当前处于不存在干扰信号的正常回声状态,此时,使用默认的滤波器更新参数对滤波参数进行更新。
其与第二音频信号处于第一状态不同的是,第二音频信号处于第一状态时,需要对滤波器更新参数进行重新确定,即确定第一更新参数,将确定的第一更新参数作为滤波器更新参数,对滤波参数进行更新,而在第二音频信号处于第二状态时,无需对滤波器更新参数进行重新确定,也不需要对滤波器更新参数进行选择,而是直接采用默认的滤波器更新参数,此时,由于不存在异常回声,使用默认的滤波器更新参数更新滤波参数后即能够对正常回声进行消除。
进一步的,本实施例公开的音频信号处理方法中,基于状态,对第二音频信号采用对应的滤波方式进行处理,还可以包括:
若确定第二音频信号符合第三条件,对应于第二音频信号处于第三状态,以固定的滤波器参数对第二音频信号进行滤波处理。
其中,第三条件包括:第一相干参数小于第一阈值,第二相干参数大于第二阈值,且第二音频信号的回声能量大于第四阈值,同时小于第三阈值,即:cohdx<thrdx1,cohde>thrde1,thred1>energyd>thred2,其中,thred2为第四阈值。
在确定第二音频信号满足上述条件时,可确定第二音频信号处于第三状态,即存在干扰信号的双讲状态,双讲状态即第一音频信号与干扰信号同时存在,同时对第二音频信号造成影响,此时,可采用第三滤波方式进行滤波处理。
第三滤波方式即采用固定的滤波器参数对第二音频信号进行滤波处理,此时,滤波器参数不再更新,不存在滤波器更新参数,而直接是固定不变的滤波器参数,以消除回声。
本实施例公开了一种音频信号处理方法,其流程图如图6所示,包括:
步骤S61、获得第一音频信号以及基于第一音频信号采集得到的第二音频信号;
步骤S62、至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;
步骤S63、若确定第二音频信号符合第一条件,对应于第二音频信号处于第一状态,以第一滤波方式进行滤波,以第一滤波方式进行滤波包括:以第一更新参数作为滤波处理中采用的滤波器更新参数,滤波器更新参数用于在滤波过程中不断更新滤波参数;
步骤S64、更新第一音频信号,得到第三音频信号,第三音频信号的频率分布于第二音频信号的频率分布的误差,小于第一音频信号与第二音频信号的频率分布的误差;
步骤S65、基于更新后的滤波器更新参数及第三音频信号,对第二音频信号进行滤波处理。
在确定第二音频信号当前处于第一状态,即不存在干扰信号的异常回声状态时,需要对滤波器更新参数进行更新,以使得基于更新后的滤波器更新参数对滤波参数进行更新,以便基于更新后的滤波器更新参数对第二音频信号进行滤波处理,使得滤波器的收敛速度更快;同时,还可以对第一音频信号进行更新。
对第一音频信号进行更新,可以为:获得频域加权函数,基于频域加权函数对第一音频信号进行更新,以得到第三音频信号,其中,频域加权函数是基于第二音频信号及估计回声信号中的频率分布信息生成的。
获得当前第二音频信号中的回声频率分布信息D(n)short,以及估计回声信号的频率分布信息Y(n)long,其中,当前第二音频信号中的回声频率分布信息是短时的回声信号的频率分布信息,而估计回声信号的频率分布信息是长时间的回声信号的频率分布信息,比较两个频率分布信息,得到频域加权函数gainx。
D(n)short=D(n)short*beta+(D(n).*D(n))*(1-beta)
Y(n)long=Y(n)long*alpha+(X(n).*H)*(1-alpha)
其中,Y(n)=X(n).*H,估计回声信号是在处于正常回声状态时获得的,在检测到异常回声时,估计回声信号的频率分布信息Y(n)long不再变化。
gainx=gainx*thld+(D(n)short./Y(n)long)*(1-thld)
在获得频域加权函数gainx后,基于频域加权函数对第一音频信号X(n)进行更新,得到第三音频信号newX(n):
newX(n)=gainx*X(n)
其中,对第一音频信号X(n)进行更新,其对应图5中的虚线框51部分,即获取第一音频信号后,复制成为两部分,其中一部分按照正常流程输入至当前滤波器,以获得误差信号,而另一部分则是在确定当前处于不存在干扰信号的异常回声状态时,进行更新,获得第三音频信号,以便基于更新滤波器更新参数后的滤波器对第三音频信号进行滤波处理,从而获得消除异常回声的音频信号。
本实施例公开了一种音频信号处理方法,获得第一音频信号及基于第一音频信号采集得到的第二音频信号;至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;若确定第二音频信号符合第一条件,对应于第二音频信号处于第一状态,以第一滤波方式进行滤波,以第一滤波方式进行滤波包括:以第一更新参数作为滤波处理中采用的滤波器更新参数,滤波器更新参数用于在滤波过程中不断更新滤波参数;基于更新后的滤波器更新参数及第一音频信号,对第二音频信号进行滤波处理。本方案在获得第二音频信号时,并非直接对其进行滤波处理,而是需要首先确定第二音频信号的状态,以确定第二音频信号中的回声信号的相关信息,从而确定第二音频信号是否包括异常回声,并基于该第二音频信号的状态确定相应的滤波方式对第二音频信号进行滤波,以避免异常回声对采集到的音频信号的干扰;另外,在确定第二音频信号符合第一条件时,以第一滤波方式进行滤波,实现基于第二音频信号的实际情况对第二音频信号进行精确的滤波处理,提高滤波处理的精确度;在对滤波器更新参数进行更新后,还需要对第一音频信号进行更新,以便基于更新后的滤波器更新参数以及更新后的第一音频信号对第二音频信号进行滤波处理,以使得更新后的第一音频信号的频率分布更接近当前回声频率分布信息,有利于回声消除。
本实施例公开了一种电子设备,其结构示意图如图7所示,包括:
音频输出装置71,音频采集装置72及处理器73。
其中,音频输出装置71用于输出第一音频信号;
音频采集装置72用于基于第一音频信号采集得到第二音频信号;
处理器73用于获得第一音频信号及第二音频信号,至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;基于状态,对第二音频信号采用对应的滤波方式进行滤波处理。
其中,音频采集装置采集到的第二音频信号可以是基于该音频采集装置所在的电子设备中的音频输出装置输出的第一音频信号采集到的,也可以是基于其他设备中的音频输出装置输出的第一音频信号采集到的。
进一步,处理器用于:
基于第一音频信号及第二音频信号确定误差信号;至少基于第一音频信号及第二音频信号之间的第一相干参数,第二音频信号及误差信号之间的第二相干参数,及,第二音频信号的回声能量,确定电子设备是否处于异常回声状态;其中,第一相干参数用于表征第一音频信号和第二音频信号之间的相关度,第二相干参数用于表征第二音频信号和误差信号之间的相干度。
进一步,处理器用于:
确定当前滤波参数;通过当前滤波参数对第一音频信号进行滤波,获得估计回声信号;基于估计回声信号及第二音频信号之间的差值,确定误差信号。
进一步,处理器用于:
若确定第二音频信号符合第一条件,对应于第二音频信号处于第一状态,以第一滤波方式进行滤波,以第一滤波方式进行滤波包括:以第一更新参数作为滤波处理中采用的滤波器更新参数,滤波器更新参数用于在滤波过程中不断更新滤波参数;基于更新后的滤波器更新参数及第一音频信号,对第二音频信号进行滤波处理。
进一步,处理器用于:
更新第一音频信号,得到第三音频信号,第三音频信号的频率分布与第二音频信号的频率分布的误差,小于第一音频信号与第二音频信号的频率分布的误差;基于更新后的滤波器更新参数及第三音频信号,对第二音频信号进行滤波处理。
进一步,
第一条件包括:第一相干参数大于第一阈值,第二相干参数大于第二阈值,且第二音频信号的回声能量大于第三阈值。
进一步,处理器用于:
若确定第二音频信号符合第二条件,对应于第二音频信号处于第二状态,以第二滤波方式进行滤波处理,以第二滤波方式进行滤波处理包括:基于第二滤波器更新参数对滤波器的滤波参数进行更新;基于更新后的滤波器的滤波参数及第一音频信号,对第二音频信号进行滤波处理;其中,第二条件包括:第一相干参数大于第一阈值,且第二音频信号的回声能量小于第四阈值。
进一步,处理器用于:
若确定第二音频信号符合第三条件,对应于第二音频信号处于第三状态,以固定的滤波器参数对第二音频信号进行滤波处理;其中,第三条件包括:第一相干参数小于第一阈值,第二相干参数大于第二阈值,且第二音频信号的回声能量大于第四阈值,同时小于第三阈值。
本实施例公开的电子设备是基于上述实施例公开的音频信号处理方法实现的,在此不再赘述。
本实施例公开了一种电子设备,获得第一音频信号及基于第一音频信号采集得到的第二音频信号;至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;基于状态,对第二音频信号采用对应的滤波方式进行滤波处理。本方案在获得第二音频信号时,并非直接对其进行滤波处理,而是需要首先确定第二音频信号的状态,以确定第二音频信号中的回声信号的相关信息,从而确定第二音频信号是否包括异常回声,并基于该第二音频信号的状态确定相应的滤波方式对第二音频信号进行滤波,以避免异常回声对采集到的音频信号的干扰。
本实施例公开了一种音频信号处理系统,其结构示意图如图8所示,包括:
获得单元81,确定单元82及处理单元83。
其中,获得单元81用于获得第一音频信号以及基于第一音频信号采集得到的第二音频信号;
确定单元82用于至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;
处理单元83用于基于状态,对第二音频信号采用对应的滤波方式进行滤波处理。
本实施例公开的音频信号处理系统是基于上述实施例公开的音频信号处理方法实现的,在此不再赘述。
本实施例公开了一种音频信号处理系统,获得第一音频信号及基于第一音频信号采集得到的第二音频信号;至少基于第一音频信号及第二音频信号确定第二音频信号的状态,状态至少与第二音频信号中的回声信号相关;基于状态,对第二音频信号采用对应的滤波方式进行滤波处理。本方案在获得第二音频信号时,并非直接对其进行滤波处理,而是需要首先确定第二音频信号的状态,以确定第二音频信号中的回声信号的相关信息,从而确定第二音频信号是否包括异常回声,并基于该第二音频信号的状态确定相应的滤波方式对第二音频信号进行滤波,以避免异常回声对采集到的音频信号的干扰。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种音频信号处理方法,包括:
获得第一音频信号以及基于所述第一音频信号采集得到的第二音频信号;
至少基于所述第一音频信号及所述第二音频信号确定所述第二音频信号的状态,所述状态至少与所述第二音频信号中的回声信号相关;
基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理。
2.根据权利要求1所述的方法,其中,所述至少基于所述第一音频信号及所述第二音频信号确定所述第二音频信号的状态,包括:
基于所述第一音频信号及所述第二音频信号确定误差信号;
至少基于所述第一音频信号及所述第二音频信号之间的第一相干参数,所述第二音频信号及所述误差信号之间的第二相干参数,及,所述第二音频信号的回声能量,确定所述电子设备是否处于异常回声状态;
其中,所述第一相干参数用于表征所述第一音频信号和所述第二音频信号之间的相关度,所述第二相干参数用于表征所述第二音频信号和所述误差信号之间的相干度。
3.根据权利要求2所述的方法,其中,所述基于所述第一音频信号及所述第二音频信号确定误差信号,包括:
确定当前滤波参数;
通过所述当前滤波参数对所述第一音频信号进行滤波,获得估计回声信号;
基于所述估计回声信号及所述第二音频信号之间的差值,确定所述误差信号。
4.根据权利要求1所述的方法,其中,所述基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理,包括:
若确定所述第二音频信号符合第一条件,对应于所述第二音频信号处于第一状态,以第一滤波方式进行滤波,所述以第一滤波方式进行滤波包括:以第一更新参数作为滤波处理中采用的滤波器更新参数,所述滤波器更新参数用于在滤波过程中不断更新滤波参数;
基于更新后的滤波器更新参数及所述第一音频信号,对所述第二音频信号进行滤波处理。
5.根据权利要求4所述的方法,其中,所述基于更新后的滤波器更新参数及所述第一音频信号,对所述第二音频信号进行滤波处理,包括:
更新所述第一音频信号,得到第三音频信号,所述第三音频信号的频率分布与第二音频信号的频率分布的误差,小于所述第一音频信号与所述第二音频信号的频率分布的误差;
基于更新后的滤波器更新参数及所述第三音频信号,对所述第二音频信号进行滤波处理。
6.根据权利要求4所述的方法,其中,
所述第一条件包括:所述第一相干参数大于第一阈值,第二相干参数大于第二阈值,且所述第二音频信号的回声能量大于第三阈值。
7.根据权利要求1所述的方法,其中,所述基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理,包括:
若确定所述第二音频信号符合第二条件,对应于所述第二音频信号处于第二状态,以第二滤波方式进行滤波处理,所述以第二滤波方式进行滤波处理包括:基于第二滤波器更新参数对滤波器的滤波参数进行更新;
基于更新后的滤波器的滤波参数及所述第一音频信号,对所述第二音频信号进行滤波处理;
其中,所述第二条件包括:第一相干参数大于第一阈值,且所述第二音频信号的回声能量小于第四阈值。
8.根据权利要求1所述的方法,其中,所述基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理,包括:
若确定所述第二音频信号符合第三条件,对应于所述第二音频信号处于第三状态,以固定的滤波器参数对所述第二音频信号进行滤波处理;
其中,所述第三条件包括:所述第一相干参数小于第一阈值,第二相干参数大于第二阈值,且所述第二音频信号的回声能量大于第四阈值,同时小于第三阈值。
9.一种电子设备,包括:
音频输出装置,用于输出所述第一音频信号;
音频采集装置,用于基于所述第一音频信号采集得到第二音频信号;
处理器,用于获得所述第一音频信号及第二音频信号,至少基于所述第一音频信号及所述第二音频信号确定所述第二音频信号的状态,所述状态至少与所述第二音频信号中的回声信号相关;基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理。
10.一种音频信号处理系统,包括:
获得单元,用于获得第一音频信号以及基于所述第一音频信号采集得到的第二音频信号;
确定单元,用于至少基于所述第一音频信号及所述第二音频信号确定所述第二音频信号的状态,所述状态至少与所述第二音频信号中的回声信号相关;
处理单元,用于基于所述状态,对所述第二音频信号采用对应的滤波方式进行滤波处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311246283.3A CN117202021A (zh) | 2023-09-25 | 2023-09-25 | 一种音频信号处理方法、系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311246283.3A CN117202021A (zh) | 2023-09-25 | 2023-09-25 | 一种音频信号处理方法、系统及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117202021A true CN117202021A (zh) | 2023-12-08 |
Family
ID=88983333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311246283.3A Pending CN117202021A (zh) | 2023-09-25 | 2023-09-25 | 一种音频信号处理方法、系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117202021A (zh) |
-
2023
- 2023-09-25 CN CN202311246283.3A patent/CN117202021A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3703052B1 (en) | Echo cancellation method and apparatus based on time delay estimation | |
US11056130B2 (en) | Speech enhancement method and apparatus, device and storage medium | |
US10827263B2 (en) | Adaptive beamforming | |
EP1252796B1 (en) | System and method for dual microphone signal noise reduction using spectral subtraction | |
US10553236B1 (en) | Multichannel noise cancellation using frequency domain spectrum masking | |
KR101601197B1 (ko) | 마이크로폰 어레이의 이득 조정 장치 및 방법 | |
JP2002541753A (ja) | 固定フィルタを用いた時間領域スペクトラル減算による信号雑音の低減 | |
CN111213359B (zh) | 回声消除器和用于回声消除器的方法 | |
US11483651B2 (en) | Processing audio signals | |
CN110211602B (zh) | 智能语音增强通信方法及装置 | |
EP2752848B1 (en) | Method and apparatus for generating a noise reduced audio signal using a microphone array | |
CN111868826B (zh) | 一种回声消除中的自适应滤波方法、装置、设备及存储介质 | |
CN111048061B (zh) | 回声消除滤波器的步长获取方法、装置及设备 | |
JP2023133472A (ja) | ギャップ信頼度を用いた背景雑音推定 | |
CN112997249B (zh) | 语音处理方法、装置、存储介质及电子设备 | |
WO2019239977A1 (ja) | エコー抑圧装置、エコー抑圧方法およびエコー抑圧プログラム | |
KR101295727B1 (ko) | 적응적 잡음추정 장치 및 방법 | |
CN113593599A (zh) | 一种去除语音信号中噪声信号的方法 | |
JP2003188776A (ja) | 音響エコー消去方法、装置及び音響エコー消去プログラム | |
JP2002541529A (ja) | 時間領域スペクトラル減算による信号雑音の低減 | |
CN117202021A (zh) | 一种音频信号处理方法、系统及电子设备 | |
CN112165558B (zh) | 一种双讲状态检测方法、装置、存储介质及终端设备 | |
CN114566179A (zh) | 一种时延可控的语音降噪方法 | |
CN111726464B (zh) | 一种多通道回声滤除方法、滤除装置和可读存储介质 | |
CN117995215B (zh) | 语音信号的处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |