CN114157945B - 一种数据处理方法及相关装置 - Google Patents

一种数据处理方法及相关装置 Download PDF

Info

Publication number
CN114157945B
CN114157945B CN202010929537.1A CN202010929537A CN114157945B CN 114157945 B CN114157945 B CN 114157945B CN 202010929537 A CN202010929537 A CN 202010929537A CN 114157945 B CN114157945 B CN 114157945B
Authority
CN
China
Prior art keywords
signal
microphone
earphone
ear canal
filter coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010929537.1A
Other languages
English (en)
Other versions
CN114157945A (zh
Inventor
陈志鹏
徐德著
陈伟宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010929537.1A priority Critical patent/CN114157945B/zh
Publication of CN114157945A publication Critical patent/CN114157945A/zh
Application granted granted Critical
Publication of CN114157945B publication Critical patent/CN114157945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/05Electronic compensation of the occlusion effect

Abstract

本申请实施例公开了一种数据处理方法,涉及信号处理技术领域。本申请实施例方法包括:获取耳机的参数,所述参数包括所述耳机的等效声压源及声阻抗;获取所述耳机的佩戴者对应的耳道长度;根据所述参数和所述耳道长度,确定第一滤波系数;根据所述第一滤波系数和所述耳机的第一预设滤波系数,确定第一目标滤波系数,所述第一目标滤波系数用于配置于所述耳机上。该方法能够基于不同佩戴者的耳道差异,实现个性化差异的补偿,提高耳机的透传效果。

Description

一种数据处理方法及相关装置
技术领域
本申请涉及信号处理技术领域,尤其涉及一种数据处理方法及相关装置。
背景技术
目前,耳机的声学结构,是在扬声器和人耳之间用固体材料和人耳皮肤贴合构成一个密闭或半密闭的腔体。扬声器发出的声音传导至人耳里的过程中,该腔体可以减少声音的扩散,增强部分频率声音的共振,获得理想的音质。
然而,在耳机的实际使用中,不同用户的耳道会存在一定的差别,即传播耳机声音的腔体结构是不一样的,传播耳机声音的效果也是不一样的。现有的耳机没有考虑到不同个体的之间差别,耳机透传效果较差。
发明内容
本申请提供了一种数据处理方法及相关装置,通过获取耳机本身的参数以及耳机佩戴者的耳道长度,来确定适用于该佩戴者的透传滤波系数,从而能够基于该透传滤波系数以及耳机中预设的滤波系数,求取目标滤波系数,以实现个性化差异的补偿,提高耳机的透传效果。
本申请第一方面提供一种数据处理方法,包括:获取耳机的参数,所述参数可以包括所述耳机的等效声压源及声阻抗,所述参数可以是预置于所述耳机中的;获取所述耳机的佩戴者对应的耳道长度;根据所述参数和所述耳道长度,确定第一滤波系数,所述第一滤波系数为佩戴者所对应的个性化滤波系数;根据所述第一滤波系数和所述耳机的第一预设滤波系数,确定第一目标滤波系数,所述第一目标滤波系数用于配置于所述耳机上,所述耳机的预设滤波系数例如可以为预置于耳机中的通用滤波系数。
本方案中,通过获取耳机本身的参数,例如耳机的等效声压源以及声阻抗等参数,以及耳机佩戴者的耳道长度,来确定适用于该佩戴者的透传滤波系数,从而能够基于该透传滤波系数以及耳机中预设的滤波系数,求取目标滤波系数,以实现个性化差异的补偿,提高耳机的透传效果。
可选地,在一种可能的实现方式中,所述根据所述参数和所述耳道长度,确定第一滤波系数,具体包括:基于所述参数和所述耳道长度,确定鼓膜处的第一声压;根据所述第一声压和目标频响曲线,确定所述第一滤波系数。
可选地,在一种可能的实现方式中,所述基于所述参数和所述耳道长度,通过声音传输公式确定第一声压,具体包括:通过第一麦克风获取耳道口的第二声压,所述第一麦克风为所述耳机上靠近耳道的麦克风;根据所述等效声压源、所述第二声压和所述耳机的声阻抗确定所述耳道口的体积速度;基于所述第二声压和所述耳道口的体积速度,通过声音传输公式确定第一声压;所述声音传输公式为:
Figure BDA0002669719180000011
其中,所述P1表示第二声压,所述Q1表示耳道口的体积速度,所述P2表示第一声压,所述Q2表示鼓膜处的体积速度,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数。
可选地,在一种可能的实现方式中,所述方法还包括:根据所述参数确定鼓膜的声阻抗;基于所述鼓膜的声阻抗以及所述耳道长度,通过第一公式确定第二滤波系数;根据所述第二滤波系数和所述耳机的第二预设滤波系数,确定第二目标滤波系数,所述第二目标滤波系数用于配置于所述耳机上;
所述第一公式为:
H_open_ind=Zd/(Zd*cos(γL)+j*Zw*sin(γL))
其中,所述H_open_ind表示所述第二滤波系数,所述Zd表示所述鼓膜的声阻抗,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述j表示虚部。
可选地,在一种可能的实现方式中,所述获取所述耳机的佩戴者对应的耳道长度,具体包括:获取第一信号,所述第一信号为所述耳机的扬声器输出的声音信号;获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;基于所述第一信号和所述第二信号进行自适应滤波处理,得到第一脉冲响应曲线;对所述第一脉冲响应曲线进行处理,得到频率响应曲线;根据所述频率响应曲线的主共振峰的位置确定所述耳道长度。示例性地,在佩戴者佩戴好耳机之后,该耳机可以播放测试信号,通过获取耳机上的麦克风捕捉到的信号,来进行耳道长度的计算。通过由耳机播放测试信号,并且由耳机上的麦克风捕捉相应的声音信号来计算佩戴者的耳道长度,能够测得当前佩戴者的耳道长度,提高了方案的可实现性。
可选地,在一种可能的实现方式中,在所述耳机处于佩戴状态时,所述方法还包括:获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;基于所述第二信号和所述第三信号进行自适应滤波处理,得到第二脉冲响应曲线;根据所述第二脉冲响应曲线和预设脉冲响应曲线,确定滤波补偿系数,所述滤波补偿系数用于所述耳机信号泄露的补偿。
本方案中,通过由耳机上的麦克风捕捉相应的声音信号,来获得当前佩戴状态下的脉冲响应曲线,从而能够根据当前佩戴状态下的脉冲响应曲线与预设的脉冲响应曲线,确定用于泄露补偿的滤波补偿系数,以实现不同佩戴状态下的泄露补偿。
可选地,在一种可能的实现方式中,所述方法还包括:获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;根据所述第二信号对应的频谱和所述第三信号对应的频谱,确定频谱差异曲线;根据所述频谱差异曲线对反馈主动噪声控制(Active noise control,ANC)系数进行修正。
本方案中,可以根据佩戴者的耳道差异,对反馈ANC系数进行修正,以减弱闭塞效应,提高透传的效果,使得佩戴者所听到的声音通透自然。
可选地,在一种可能的实现方式中,所述方法还包括:获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;对所述第三信号中能量大于第一阈值的大信号进行滤除处理,以及提升滤除所述大信号后的第三信号的增益,得到第四信号;对所述第三信号中能量小于第二阈值的小信号进行滤除处理,以及提升滤除所述小信号后的第三信号的增益,得到第五信号;对所述第四信号和所述第五信号进行融合处理,得到第六信号;输出所述第六信号。
本方案中,通过对耳外麦克风输入的信号进行多路处理,分别得到相应的大信号和小信号,实现大小信号下透传带宽的自适应调整,并且利用信号掩蔽效应,减弱大信号环境下的底噪感。
可选地,在一种可能的实现方式中,所述对所述第四信号和所述第五信号进行融合处理,得到第六信号之前,所述方法还包括:对所述第五信号进行相位前移处理,得到移相后的第五信号;所述对所述第四信号和所述第五信号进行融合处理,得到第六信号,具体包括:对所述第四信号和所述移相后的第五信号进行融合处理,得到所述第六信号。
本方案中,通过对待输出的信号做移相处理,提前信号的相位,以破坏啸叫的条件,保证透传的稳定性。
本申请第二方面提供一种数据处理装置,包括:获取单元,用于获取耳机的参数,所述参数包括所述等效声压源及声阻抗;所述获取单元,还用于获取所述耳机的佩戴者对应的耳道长度;处理单元,用于根据所述参数和所述耳道长度,确定第一滤波系数;所述处理单元,还用于根据所述第一滤波系数和所述耳机的第一预设滤波系数,确定第一目标滤波系数,所述第一目标滤波系数用于配置于所述耳机上。
可选地,在一种可能的实现方式中,所述处理单元具体用于:基于所述参数和所述耳道长度,通过声音传输公式确定第一声压;根据所述第一声压和目标频响曲线,确定所述第一滤波系数。
可选地,在一种可能的实现方式中,所述处理单元具体用于:通过第一麦克风获取第二声压,所述第一麦克风为所述耳机上靠近耳道的麦克风;根据所述等效声压源、所述第二声压和所述耳机的声阻抗确定所述耳道口的体积速度;基于所述第二声压和所述耳道口的体积速度,通过声音传输公式确定第一声压;所述声音传输公式为:
Figure BDA0002669719180000031
其中,所述P1表示第二声压,所述Q1表示耳道口的体积速度,所述P2表示第一声压,所述Q2表示鼓膜处的体积速度,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数。
可选地,在一种可能的实现方式中,所述处理单元具体用于:根据所述参数确定鼓膜的声阻抗;基于所述鼓膜的声阻抗以及所述耳道长度,通过第一公式确定第二滤波系数;根据所述第二滤波系数和所述耳机的第二预设滤波系数,确定第二目标滤波系数,所述第二目标滤波系数用于配置于所述耳机上;
所述第一公式为:
H_open_ind=Zd/(Zd*cos(γL)+j*Zw*sin(γL))
其中,所述H_open_ind表示所述第二滤波系数,所述Zd表示所述鼓膜的声阻抗,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述j表示虚部。
可选地,在一种可能的实现方式中,所述获取单元具体用于:获取第一信号,所述第一信号为所述耳机的扬声器输出的声音信号;获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;所述处理单元具体用于:基于所述第一信号和所述第二信号进行自适应滤波处理,得到第一脉冲响应曲线;对所述第一脉冲响应曲线进行处理,得到频率响应曲线;根据所述频率响应曲线的主共振峰的位置确定所述耳道长度。
可选地,在一种可能的实现方式中,所述获取单元具体用于:获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;所述处理单元具体用于:基于所述第二信号和所述第三信号进行自适应滤波处理,得到第二脉冲响应曲线;根据所述第二脉冲响应曲线和预设脉冲响应曲线,确定滤波补偿系数,所述滤波补偿系数用于所述耳机信号泄露的补偿。
可选地,在一种可能的实现方式中,所述获取单元具体用于:获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;所述处理单元具体用于:根据所述第二信号对应的频谱和所述第三信号对应的频谱,确定频谱差异曲线;根据所述频谱差异曲线对反馈主动噪声控制ANC系数进行修正。
可选地,在一种可能的实现方式中,所述获取单元具体用于获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;所述处理单元具体用于:对所述第三信号中能量大于第一阈值的大信号进行滤除处理,以及提升滤除所述大信号后的第三信号的增益,得到第四信号;对所述第三信号中能量小于第二阈值的小信号进行滤除处理,以及提升滤除所述小信号后的第三信号的增益,得到第五信号;对所述第四信号和所述第五信号进行融合处理,得到第六信号;输出所述第六信号。
可选地,在一种可能的实现方式中,所述处理单元具体用于:对所述第五信号进行相位前移处理,得到移相后的第五信号;对所述第四信号和所述移相后的第五信号进行融合处理,得到所述第六信号。
本申请实施例第三方面提供了一种终端,包括:一个或多个处理器和存储器;其中,所述存储器中存储有计算机可读指令;所述一个或多个处理器读取所述存储器中的所述计算机可读指令以使所述终端实现如上述第一方面以及各种可能的实现方式中任一项所述的方法。该终端例如可以包括耳机。
本申请实施例第四方面提供了一种包含指令的计算机程序产品,其特征在于,当其在计算机上运行时,使得所述计算机执行如上述第一方面以及各种可能的实现方式中任一项所述的方法。
本申请实施例第五方面提供了一种计算机可读存储介质,包括指令,其特征在于,当所述指令在计算机上运行时,使得计算机执行如上述第一方面以及各种可能的实现方式中任一项所述的方法。
本申请实施例第六方面提供了一种芯片,包括处理器。处理器用于读取并执行存储器中存储的计算机程序,以执行上述任一方面任意可能的实现方式中的方法。可选地,该芯片该包括存储器,该存储器与该处理器通过电路或电线与存储器连接。进一步可选地,该芯片还包括通信接口,处理器与该通信接口连接。通信接口用于接收需要处理的数据和/或信息,处理器从该通信接口获取该数据和/或信息,并对该数据和/或信息进行处理,并通过该通信接口输出处理结果。该通信接口可以是输入输出接口。
其中,第二方面至第六方面中任一种实现方式所带来的技术效果可参见第一方面中相应实现方式所带来的技术效果,此处不再赘述。
从以上技术方案可以看出,本申请具有以下优点:
本申请中,通过获取耳机本身的参数,例如等效声压源以及声阻抗等参数,以及耳机佩戴者的耳道长度,来确定适用于该佩戴者的透传滤波系数,从而能够基于该透传滤波系数以及耳机中预设的滤波系数,求取目标滤波系数,以实现个性化差异的补偿,提高耳机的透传效果。
附图说明
图1为本申请实施例提供的一种耳机的结构示意图;
图2为本申请实施例提供的一种数据处理方法的流程示意图;
图3为本申请实施例提供的一种声阻抗管的结构示意图;
图4为本申请实施例提供的一种开放耳道的声阻抗曲线示意图;
图5a为本申请实施例提供的多种耳机的声阻抗曲线示意图;
图5b为本申请实施例提供的一种耳机建模的结构示意图;
图6为本申请实施例提供的一种闭塞耳道的补偿曲线示意图;
图7为本申请实施例提供的一种开放耳道的补偿曲线示意图;
图8为本申请实施例提供的不同佩戴状态下的SP响应曲线;
图9为本申请实施例提供的不同佩戴状态下的PP响应的曲线示意图;
图10为本申请实施例提供的一种闭塞效应的示意图;
图11为本申请实施例提供的一种耳机透传系统的结构示意图;
图12为本申请实施例提供的一种不同信号下的透传曲线示意图;
图13为本申请实施例提供的一种入耳式透传系统的奈奎斯特示意图;
图14为本申请实施例提供的一种改善后的入耳式透传系统的奈奎斯特示意图;
图15为本申请实施例提供的另一种耳机透传系统的结构示意图;
图16为本申请实施例提供的一种终端的结构示意图;
图17为本申请实施例提供的一种终端100的结构示意图。
具体实施方式
下面结合附图,对本申请的实施例进行描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。
随着社会进步和人民生活水平的提高,耳机已成为人们必不可少的生活用品。带有主动噪声抑制功能的耳机能够使得用户在机场、地铁、飞机或餐厅等各种嘈杂环境下享受到舒适的降噪体验。然而,在某些需要接收外界语音或外界环境噪声等信号的场景下,耳机还需要具备透传功能,使得耳机佩戴者能够更好地接收外界语音、外界环境噪声或外界报警声等。此外,耳机的透传功能受不同佩戴方式、不同耳部结构的影响较大,这在一定程度上影响了用户的听音体验,使得用户难以听到未佩戴耳机时的自然环境声,具备透传功能的耳机可以使得用户在佩戴耳机时能够听到尽可能接近未佩戴耳机时的自然环境声。
随着电子技术及低时延芯片的快速发展,市场上具有透传功能的耳机越来越普遍。透传功能的主要原理是利用耳机上远离耳道的麦克风拾取外界环境音,并利用扬声器播放与环境音相关的信号来进行环境音增强,从而达到主观听感接近于不佩戴耳机时的状态,即使得用户在佩戴耳机的情况下可以清楚自然地听到外界环境音以及自己说话的声音。
传统的耳机透传系统是基于多人平均模型或者人工头进行训练、调参得到的一组固定的基础透传滤波系数。但是在耳机的实际使用中,不同用户的耳道会存在一定的差别,即传播耳机声音的腔体结构是不一样的,传播耳机声音的效果也是不一样的。基于人工头得到的基础透传滤波系数并没有考虑到不同个体的之间差别,耳机透传效果较差。
有鉴于此,本申请实施例提供了一种数据处理方法,应用于具有透传功能的耳机上。在耳机的实际使用情况下,通过获取耳机本身的参数以及耳机佩戴者的耳道长度,来确定适用于该佩戴者的透传滤波系数,从而能够基于该透传滤波系数以及耳机中预设的滤波系数,求取目标滤波系数,以实现个性化差异的补偿,提高耳机的透传效果。
其中,本申请实施例所指的个性化差异可以是指不同用户之间的耳道或者佩戴状态的差异,也可以是指同一个用户在不同场景下的佩戴状态的差异,例如用户在户外环境时,耳机佩戴较紧,用户在室内环境时,耳机佩戴较松。
为了便于理解,以下先介绍本申请实施例提供的数据处理方法所应用的耳机结构。如图1所示,图1为本申请实施例提供的一种耳机的结构示意图。如图1所示,在人耳101上佩戴有耳机102,该耳机102包括有扬声器1021、参考麦克风1022、误差麦克风1023以及芯片1024。
其中,扬声器1021用于播放芯片1024处理后得到的声音信号,例如下行音乐信号、通话信号或透传信号等。参考麦克风1022(也称为前馈麦克风)位于耳机外侧,远离耳道,用于采集外界环境音。误差麦克风1023(也称为反馈麦克风)位于耳机内侧,靠近耳道,用于采集耳道内部的噪声。芯片1024位于耳机内部,用于获取参考麦克风1022和误差麦克风1023采集到的声音信号,以生成相应的透传信号。
可以理解的是,执行本实施例方法的主体可以是耳机,也可以是与耳机连接的终端设备。在实际应用过程中,可以根据耳机芯片的算力来决定执行本实施例方法的主体。例如,在耳机芯片的算力较高的情况下,可以由耳机来执行本实施例方法;在耳机芯片算力较低的情况下,则可以由与耳机连接的终端设备来执行本实施例方法,并且由该终端设备将确定的目标滤波系数发送给耳机,从而实现在耳机上配置目标滤波系数。为便于叙述,以下将以耳机为本实施例方法的执行主体为例,对本申请实施例进行详细介绍。
其中,终端设备又称之为用户设备(user equipment,UE)、移动台(mobilestation,MS)、移动终端(mobile terminal,MT)等,是一种能够与耳机进行有线连接或无线连接,以向用户提供语音和/或数据连通性的设备。例如,无线连接功能允许的手持式设备、车载设备等。目前,一些终端设备的举例为:手机(mobile phone)、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备,虚拟现实(virtual reality,VR)设备、增强现实(augmented reality,AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。
可以参阅图2,图2为本申请实施例提供的一种数据处理方法的流程示意图。如图2所示,该数据处理方法,包括以下步骤:
步骤201、获取耳机的参数,所述参数包括所述等效声压源及声阻抗。
本实施例中,该耳机至少包括两个麦克风。例如该耳机可以包括第一麦克风和第二麦克风,第一麦克风为耳机上靠近耳道的麦克风,第二麦克风为耳机上远离耳道的麦克风;该第一麦克风用于获取耳内的声音信号,该第二麦克风用于获取耳外的声音信号。
在耳机中可以预置有该耳机相应的硬件参数,例如等效声压源及声阻抗。该硬件参数可以是在该耳机出厂前,通过对耳机进行测量处理而获得,并且预置于耳机中的。
示例性地,该等效声压源可以通过电声转换公式进行建模求解,或者是在已知耳机的声阻抗的情况下,在耳道处进行声压测量获得。其中,电声转换公式以及进行声压测量的方法为现有技术,在此不再赘述。
耳机的声阻抗可以通过声阻抗管来进行测量。可以参阅图3,图3为本申请实施例提供的一种声阻抗管的结构示意图。如图3所示,图3中左侧为待测耳机,该待测耳机可以安装于人工耳上;该待测耳机的右侧即为声阻抗管,该待测耳机的扬声器发出的声音经过该声阻抗管。在图3中,M1~M4表示测试麦克风,d表示声阻抗的直径,s表示各麦克风之间的距离或麦克风到原点的距离。测试频率的上下限可以由测试麦克风之间的距离以及阻抗管的直径决定,计算方法为传递函数法。
示例性地,可以参阅图4,图4为本申请实施例提供的一种开放耳道的声阻抗曲线示意图。图4中的(a)表示的是开放耳道(即不佩戴耳机)的声阻抗的实部对应的曲线图,该曲线图中包括了测量值、有限元仿真以及数值分析对应的曲线;图4中的(b)表示的是开放耳道的声阻抗的虚部对应的曲线图,该曲线图中同样包括了测量值、有限元仿真以及数值分析对应的曲线。在图4中,横坐标表示的是频率,纵坐标分别为声阻抗的实部和虚部。
可以参阅图5a,图5a为本申请实施例提供的多种耳机的声阻抗曲线示意图。如图5a所示,图5a的曲线图中包括了开放耳道以及开放式耳罩、封闭式耳罩、入耳式耳机等不同耳机的声阻抗曲线。在图5a中,横坐标表示的是频率,纵坐标表示的是声阻抗的幅值。
步骤202、获取所述耳机的佩戴者对应的耳道长度。
本实施例中,该耳机可以通过多种方式来获取佩戴者对应的耳道长度。该耳道长度可以是指耳道口(即耳机在佩戴状态下,耳机中的第一麦克风所处的位置)至耳内的鼓膜的长度。
在一种可能的实现方式中,在佩戴者佩戴好耳机之后,该耳机可以播放测试信号,通过获取耳机上的麦克风捕捉到的信号,来进行耳道长度的计算。
示例性地,在用户通过终端设备连接上耳机并且佩戴好耳机之后,可以在终端设备上通过显示相应的文字和/或图像提示,来指示用户在安静的环境下播放测试信号。在测试过程中,该耳机可以播放例如音乐、噪声或扫频信号等测试信号。
具体地,该耳机可以获取第一信号,该第一信号为耳机的扬声器所输出的声音信号,即该耳机所播放的测试信号;该耳机还可以获取第二信号,该第二信号为第一麦克风获取到的声音信号,该第一麦克风为所述耳机上靠近耳道的麦克风,即前文所述的反馈麦克风。在获取到第一信号和第二信号之后,该耳机可以基于所述第一信号和所述第二信号进行自适应滤波处理,得到第一脉冲响应曲线,即次级路径(Secondary path,SP)脉冲响应曲线,该次级路径表示的是声源为耳机扬声器时,耳机扬声器到反馈麦克风之间的传递路径;然后,该耳机对该第一脉冲响应曲线进行处理,例如进行傅里叶变换处理,得到频率响应曲线;最后,该耳机可以根据所述频率响应曲线的主共振峰的位置确定所述耳道长度。示例性地,基于闭塞耳道共振为1/2波长共振,可以在确定频率响应曲线的主共振峰的位置f之后,根据计算公式L=c/2f来计算耳道长度;其中,c表示的是声速。
在另一种可能的实现方式中,在佩戴者已通过其他的方式获知自己的耳道长度的情况下,可以由用户在终端设备上输入自己的耳道长度,并且由终端设备将耳道长度发送给耳机,从而获得耳道长度。
步骤203、根据所述参数和所述耳道长度,确定第一滤波系数。
其中,该第一滤波系数是基于耳机的参数和佩戴者的耳道长度所得到的滤波系数,即可以认为是佩戴者所对应的个性化滤波系数。
在一个可能的实施例中,该耳机可以基于所述参数和所述耳道长度,通过声音传输公式确定鼓膜处的第一声压。根据该第一声压和目标频响曲线,可以确定第二滤波系数,该第二滤波系数即为闭塞耳道的个性化滤波系数,该第二滤波系数可以用于确定该第一滤波系数。
示例性地,可以参阅图5b,图5b为本申请实施例提供的一种耳机建模的结构示意图。其中,Ps表示耳机的等效声压源,Rs和Ls分别表示耳机的电阻和电抗,P1表示第二声压,Q1表示耳道口的体积速度,Zw表示空气特性声阻抗,γ表示声波传递常数,L表示耳道的长度,P2表示第一声压,Q2表示鼓膜处的体积速度,Zd表示鼓膜的声阻抗。
基于图5b,该耳机基于所述参数和所述耳道长度,通过声音传输公式确定第一声压,具体可以包括:该耳机通过第一麦克风获取第二声压,所述第一麦克风为所述耳机上靠近耳道的麦克风;根据所述等效声压源、所述耳道口的第二声压和所述耳机的声阻抗确定所述耳道口的体积速度;基于所述第二声压和所述耳道口的体积速度,通过声音传输公式确定第一声压。
该声音传输公式具体为:
Figure BDA0002669719180000091
其中,所述P1表示第二声压,所述Q1表示耳道口的体积速度,所述P2表示第一声压,所述Q2表示鼓膜处的体积速度,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数。
也就是说,在确定了第二声压、耳道口的体积速度以及耳道长度的情况下,可以根据声音传输公式计算得到第一声压。
其中,第二声压P1可以基于耳机内的第一麦克风获取到。耳道口的体积速度Q1则可以通过采用等效声压源Ps与第二声压P1的差值除以耳机声阻抗Zs来求得,即Q1=(Ps-P1)/Zs。
在获得第一声压之后,可以基于目标频响曲线,通过滤波器设计方法来获得第二滤波系数(即闭塞耳道下的个性化滤波系数);该目标频响曲线可以为平直的频响曲线,即预期得到的频响曲线。示例性地,第二滤波系数可以基于公式H=A/B来获得。其中,H表示第二滤波系数,A表示目标频响曲线,B表示第一声压。
步骤204、根据所述第一滤波系数和所述耳机的第一预设滤波系数,确定第一目标滤波系数,所述第一目标滤波系数用于配置于所述耳机上。
本实施例中,在求得的第一滤波系数为闭塞耳道的个性化滤波系数的情况下,基于第一滤波系数和耳机的第一预设滤波系数,可以确定第一目标滤波系数,即确定耳机的个性化补偿滤波系数。示例性地,可以通过公式Comp_closed=H_closed_ind/H_closed_gen来确定第一目标滤波系数;其中,Comp_closed表示第一目标滤波系数,H_closed_ind表示闭塞耳道对应的预设滤波系数,H_closed_gen表示第一滤波系数。具体地,可以参阅图6,图6为本申请实施例提供的一种闭塞耳道的补偿曲线示意图。如图6所示,图6表示的是第一滤波系数对应的一组闭塞耳道的补偿曲线,即需要进行闭塞耳道个性化补偿的曲线。
其中,该第一预设滤波系数可以为预置于耳机中的通用滤波系数,例如可以是在耳机出厂前,通过对耳机进行测量处理而获得并且预置于耳机中的。示例性地,获得该第一预设滤波系数的过程具体可以包括:在安静环境下,将耳机安装于人工头上,并且利用耳机的扬声器播放测试信号(例如扫频信号或白噪声等);然后,获取人工头第一声压,并且基于目标频响曲线,来确定第一预设滤波系数。
在确定第一目标滤波系数之后,耳机可以配置该第一目标滤波系数,以实现透传场景下声音信号的个性化补偿。具体地,该耳机配置第一目标滤波系数的方式可以是在对声音信号处理的过程中,采用该第一目标滤波系数对声音信号做滤波处理;例如,耳机内的芯片通过第一目标滤波系数和第一预设滤波系数对第二麦克风采集到的声音信号进行处理,得到待输出的声音信号。
本实施例中,通过获取耳机本身的参数以及耳机佩戴者的耳道长度,来确定适用于该佩戴者的透传滤波系数,从而能够基于该透传滤波系数以及耳机中预设的滤波系数,求取目标滤波系数,以实现个性化差异的补偿,提高耳机的透传效果。
可选的,在进一步考虑开放耳道的情况下,还可以基于开放耳道的个性化滤波系数来确定开放耳道下的个性化补偿滤波系数。
示例性地,该数据处理方法还可以包括:根据所述参数确定鼓膜的声阻抗;基于所述鼓膜的声阻抗以及所述耳道长度,通过第一公式确定第二滤波系数;根据所述第二滤波系数和所述耳机的第二预设滤波系数,确定第二目标滤波系数,所述第二目标滤波系数用于配置于所述耳机上。
具体地,根据该耳机的参数以及上述的声音传输公式,可以求得第一声压P2以及鼓膜处的体积速度Q2。鼓膜处的声阻抗则可以通过公式Zd=P2/Q2求取,该Zd表示鼓膜处的声阻抗,即第一声压P2除以鼓膜处的体积速度Q2得到鼓膜处的声阻抗Zd。
由于待求取的第二滤波系数为开放耳道的个性化滤波系数,开放耳道可以简化一端开放,另一端封闭的管道。因此,可以基于鼓膜的声阻抗以及所述耳道长度通过第一公式确定第二滤波系数。该第一公式具体为:
H_open_ind=Zd/(Zd*cos(γL)+j*Zw*sin(γL))
其中,所述H_open_ind表示所述第二滤波系数,所述Zd表示所述鼓膜的声阻抗,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述j表示虚部。
在求解得到表示开放耳道的个性化滤波系数的第二滤波系数之后,则可以基于第二滤波系数和耳机的第二预设滤波系数,可以确定第二目标滤波系数,即确定开放耳道下的耳机的个性化补偿滤波系数。其中,该第二预设滤波系数同样可以为预置于耳机中的通用滤波系数,例如可以是在耳机出厂前,通过对耳机进行测量处理而获得并且预置于耳机中的。示例性地,可以将耳机安装于人工头上,参照上述求取第二滤波系数的过程来求取第二预设滤波系数。
在耳机上,通过对第一目标滤波系数和第二目标滤波系数进行级联处理,即可实现闭塞耳道下的个性化滤波补偿以及开放耳道下的个性化滤波补偿。
示例性地,可以参阅图7,图7为本申请实施例提供的一种开放耳道的补偿曲线示意图。如图7所示,图7表示的是开放耳道的补偿滤波系数所对应的一组闭塞耳道的补偿曲线,即需要进行开放耳道个性化补偿的曲线。
本实施例中,同时考虑了闭塞耳道和开放耳道下的个性化差异,结合佩戴者的耳道长度,确定了闭塞耳道和开放耳道下的个性化滤波系数,从而有针对性实现闭塞耳道和开放耳道的个性化补偿,提高耳机的透传效果。
可选的,在一个可能的实施例中,在该耳机中也可以是在预置有多组参数不一致的补偿滤波系数,分别用于不同的耳道长度下的个性化补偿。这样,在获取到佩戴者的耳道长度之后,可以基于佩戴者的耳道长度匹配到对应的补偿滤波系数,从而在耳机上采用匹配得到的补偿滤波系数进行个性化补偿,以提高耳机的透传效果。
以上描述了基于不同佩戴者的耳道长度差异,进行个性化补偿,以提高透传效果的过程,以下将描述基于不同佩戴状态,进行滤波补偿的过程。
在耳机的实际使用中,由于不同用户的佩戴习惯存在差别,导致耳机与人耳皮肤的贴合度会因人而异。同时用户在佩戴耳机时的各种行动,也会导致耳机与人耳皮肤之间的贴合度不断变化。耳机与人耳皮肤之间的贴合度不同将导致用于传播声音的腔体的密闭性发生变化,音质也随之受到明显影响。
一般地,在不同的佩戴状态下,耳机泄漏状态的差异导致SP响应差异较大,具体表现为佩戴越紧,低频信号抬升越多;佩戴越松,低频信号泄漏越多。具体地,可以参阅图8,图8为本申请实施例提供的不同佩戴状态下的SP响应曲线。如图8所示,在0-1kHz的低频段下,佩戴越松,信号幅值越低,即低频信号泄漏越多。
此外,还可以进一步考虑被动衰减,即初级路径(primary path,PP)响应的衰减,该PP响应表示在外界环境声为声源的情况下,前馈麦克风到反馈麦克风之间的传递路径。具体地,可以参阅图9,图9为本申请实施例提供的不同佩戴状态下的PP响应的曲线示意图。如图9所示,在不同的佩戴状态下,PP响应均随着频率的提高而逐渐衰减;并且,佩戴越紧,中高频信号衰减越多;佩戴越松,中高频信号衰减越少。
因此,在本实施例中,可以结合PP响应以及SP响应的变化对滤波系数进行调节。对于SP响应来说,在佩戴较紧时,可以适当减弱中低频信号的增益;在佩戴较松时,可以适当增强中低频信号的增益。对于PP响应来说,在佩戴较紧时,可以适当抬升中高频信号的增益;在佩戴较松时,可以适当降低中高频信号的增益,以提高耳机在不同佩戴状态下的透传效果。
具体地,在一个可能的实施例中,在所述耳机处于佩戴状态时,获取第二信号和第三信号,所述第二信号为第一麦克风获取到的声音信号,所述第三信号为第二麦克风获取到的声音信号,即分别获取反馈麦克风和前馈麦克风所获取到的声音信号。基于所述第二信号和所述第三信号进行自适应滤波处理,得到第二脉冲响应曲线,该第二脉冲响应曲线即为PP脉冲响应曲线;根据所述第二脉冲响应曲线和预设脉冲响应曲线,确定滤波补偿系数,该滤波补偿系数为PP响应滤波补偿系数,用于所述耳机信号泄露的补偿。其中,该预设脉冲响应曲线可以为耳机中预置的通用PP脉冲响应曲线。
可选的,由于反馈麦克风除了可以获取到从外界传递到耳内的环境声,反馈麦克风还可以获取到耳机扬声器所播放的下行声音信号。因此,在获得第二信号之后,可以根据耳机扬声器所播放的下行声音信号,对第二信号进行处理,以滤除第二信号中的下行声音信号,从而得到与第三信号对应的环境声信号。
类似地,对于SP响应,可以在噪声场景下进行SP响应计算。示例性地,可以在噪声场景下,采用耳机扬声器播放下行信号,通过前馈麦克风获取外界的环境噪声信号,并在反馈麦克风处进行消除,以获得与耳机扬声器下行信号相关的响应信号。然后,基于前馈麦克风获取到的环境噪声信号以及下行信号相关的响应信号,通过自适应滤波等方法进行脉冲响应求解,得到SP脉冲响应曲线。最后,基于该SP脉冲响应曲线和耳机预置的通用SP脉冲响应曲线确定SP响应滤波补偿系数。
此外,在耳机的实际使用中,由于耳道封闭所产生的闭塞效应,会导致佩戴者在自己说话时产生闭塞、闷的主观感受,影响了自己说话的通透程度。一般来说,闭塞效应主要是由于佩戴者说话的声信号从一条软组织传递到外耳,由于耳道闭塞形成了封闭腔体,则引起低频共振抬升,从而产生闭塞、闷的主观感受。示例性地,可以参阅图10,图10为本申请实施例提供的一种闭塞效应的示意图。如图10所示,对于前馈麦克风和反馈麦克风所采集到的声音信号,在低频段上的幅值均要大于中高频段上的幅值,也就是说,低频段上有明显的抬升。
由于不同佩戴者的外耳生理构造的不同,由闭塞耳道腔体得到的闭塞曲线也有很大的差异。目前,可以采用反馈主动噪声控制(active noise control,ANC)减弱闭塞效应的方法,可以在一定程度上减轻低频增强的现象。其中,反馈ANC功能的主要原理是利用反馈麦克风拾取耳内的环境噪声,并利用扬声器播放等幅反向的信号进行噪声抵消,从而达到降低环境噪声的目的。但是由于佩戴者的个体差异,基于通用的反馈ANC来减弱闭塞效应之后,佩戴者在主观上仍会有偏闷、空洞或低频缺失的感受。
有鉴于此,在一个可能的实施例中,还可以根据佩戴者的耳道差异,对反馈ANC系数进行修正,以解决佩戴者在主观上仍会有偏闷、空洞或低频缺失感受的问题,优化佩戴者在自己说话时的自然感,提高耳机的透传效果。
示例性地,本实施例提供的所述方法还可以包括:获取第二信号,所述第二信号为反馈麦克风获取到的声音信号;获取第三信号,所述第三信号为前馈麦克风获取到的声音信号。根据所述第二信号对应的频谱和所述第三信号对应的频谱,确定频谱差异曲线,例如直接将所述第二信号对应的频谱与所述第三信号对应的频谱进行幅度谱相减,以得到频谱差异曲线。根据所述频谱差异曲线对反馈ANC系数进行修正。其中,对反馈ANC系数进行修正的方式例如可以为基于所述频谱差异曲线,使用滤波型最小均方算法(FxLMS)、遗传算法(Genetic Algorithm,GA)等优化搜索方法来进行反馈ANC系数的修正。
具体地,在一种可能的实现方式中,在终端设备与耳机连接的情况下,可以通过终端设备上的应用程序(APP)来指示佩戴者进行频谱差异曲线的测量。在安静环境下,佩戴者佩戴好耳机之后,终端设备可以指示佩戴者发出特定音或者朗读特定的字词或语句。在佩戴者朗读或发出特定音的过程中,耳机可以通过前馈麦克风和反馈麦克风进行声音信号的采集。其中,前馈麦克风采集的信号可以近似为未佩戴耳机时,佩戴者自己说话的部分响应;反馈麦克风采集到的信号则可以近似为佩戴耳机时用户自己说话时的状态。
这样,根据前馈麦克风采集的信号以及反馈麦克风采集到的信号之间的频谱差异,即可得到个性化的闭塞曲线(即上述的频谱差异曲线),该闭塞曲线与佩戴者的耳道、软组织等生理特征相关。最后,根据该闭塞曲线进行反馈ANC系数优化,即以该闭塞曲线作为反馈ANC的目标降噪曲线,进行系数设计。反馈ANC系数的优化方法例如可以为使用FxLMS、GA等优化搜索方法来修正反馈ANC系数,或者从离线参数中选择与该闭塞曲线匹配的反馈ANC系数。
可以理解的是,在耳机进行透传的过程中,由于中高频段的信号被动衰减较大。因此,耳机通常需要在2kHz以上的频段进行较大幅度的抬升,以达到透传的目的。尤其是2~5kHz的频段,由于该频段在开放耳道的共振峰附近,通常需要有30分贝值(dB)的抬升,甚至是更高dB的抬升。这样一来,也就不可避免地抬升了系统底噪,并且由于底噪处于人耳的敏感频段,底噪会很大程度上影响透传的主观体验。
针对于底噪问题,本实施例中基于动态均衡器(Equaliser,EQ)的思想,实现大小信号下透传带宽的自适应调整,并且利用信号掩蔽效应,减弱大信号环境下的底噪感。
在一个可能的实施例中,在耳机处于工作状态时,本实施例提供的所述方法还可以包括:获取第三信号,所述第三信号为前馈麦克风获取到的声音信号;对所述第三信号中能量大于第一阈值的大信号进行滤除处理,以及提升滤除所述大信号后的第三信号的增益,得到第四信号;对所述第三信号中能量小于第二阈值的小信号进行滤除处理,以及提升滤除所述小信号后的第三信号的增益,得到第五信号;对所述第四信号和所述第五信号进行融合处理,得到第六信号;输出所述第六信号。
也就是说,本实施例中对第三信号分两路进行处理,分别滤除第三信号中能量值较大(即音量较大)的信号,以及第三信号中能量值较小的信号,再分别提升滤除相关信号后的第三信号的增益,从而实现提升特定能量范围内的信号的增益,减弱对底噪的增益的提升。其中,该第一阈值和第二阈值可以根据耳机的实际情况而定,例如基于耳机所产生的底噪所处的能量范围来确定第一阈值和第二阈值,以使得第一阈值能够尽可能低于底噪所处的能量范围,以及第二阈值能够尽可能高于底噪所处的能量范围。
示例性地,为便于理解,以下将结合具体例子来描述对信号进行分路处理的过程。可以参阅图11,图11为本申请实施例提供的一种耳机透传系统的结构示意图。如图11所示,耳机上的前馈麦克风110所获取到的声音信号在进入耳机中的芯片111之后,将该声音信号复制为三路;并且分别对三路信号进行处理,并且将三路处理后的信号进行融合后,再输出至扬声器112。
具体地,第一路信号通过对齐模块1111和基础滤波模块1112进行处理。由于第二路信号以及第三路信号的处理过程会存在一定的时延,因此对齐模块1111用于对第一路信号进行时延处理,以实现与第二路信号和第三路信号的时延对齐。基础滤波模块1112为耳机芯片中的通用滤波器。其中,通用滤波器在各种音量的外界环境声下均能够生效,滤波处理后的信号带宽为2kHz,带宽相对较窄,但是基本无底噪反弹,主观无负向感受。
第二路信号通过压缩器1113和小信号滤波模块1114进行处理。压缩器1113用于滤除第二路信号中能量大于第一阈值的大信号,以得到小信号。小信号滤波模块1114用于对压缩器1113滤除处理得到的小信号进行滤波,以提升小信号的增益。由于压缩器1113的作用,小信号滤波模块1114主要在外界小音量时生效,可以通过抬升特定频段提升安静情况下人声的清晰度。
第三路信号通过扩张器1115和大信号滤波模块1116进行处理。扩张器1115用于滤除第三路信号中能量小于第二阈值的小信号,以得到大信号。大信号滤波模块1116用于对扩张器1115滤除处理得到的大信号进行滤波,以提升大信号的增益。由于扩张器1115的作用,大信号滤波模块1116在外界大音量时生效,通过大信号滤波对中高频进行抬升,扩展透传带宽,同时利用信号掩蔽原理减弱提升带宽带来的底噪感受。也就是说,通过提升非底噪的增益,来增强底噪之外的环境声的音量,使得在存在有大音量声音时,人耳在主观上会听不到较小音量的底噪。
通过对信号进行分路处理,实现不同环境音量下的动态调节。示例性地,可以参阅图12,图12为本申请实施例提供的一种不同信号下的透传曲线示意图。如图12所示,图12中包括有开放耳道的透传曲线,被动衰减的透传曲线,小信号的透传曲线(即经过压缩器处理后得到的小信号对应的透传曲线)以及大信号的透传曲线(即经过扩张器处理后得到的大信号对应的透传曲线)。
此外,由于在耳机透传系统中,进行耳道补偿的频段主要集中在2kHz以上;并且,开放耳道共振处于2k~5kHz,闭塞耳道共振集中在4k~10kHz。因此,为了达到预期的透传效果,通常需要保证耳机的透传带宽(即耳机的透传频率范围)足够宽。根据奈奎斯特稳定性判据,前馈系统的稳定性由耳机前馈通路闭环传递函数决定。以入耳式耳机为例,透传系统的啸叫频率往往在前腔共振频率附近(通常略高于前腔共振频率),并且对应的幅度裕度也较小,从而限制了透传带宽,使得透传效果变差。示例性地,可以参阅图13,图13为本申请实施例提供的一种入耳式透传系统的奈奎斯特示意图,其中横坐标为频率,纵坐标为幅频/相频响应。如图13所示,现有的透传系统的啸叫频率出现在4594Hz,幅度裕度为17.96dB。然而,为了保证在不同佩戴者以及不同佩戴状态下均能够保持透传系统的稳定,不出现啸叫的现象,幅度裕度往往要求达到20dB以上。
为了保证透传的稳定性,避免出现啸叫,本实施例中可以对待输出的信号做移相处理,提前信号的相位,以破坏啸叫的条件,提升耳机的透传带宽以及保证透传的稳定性。
在一个可能的实施例中,在对所述第四信号和所述第五信号进行融合处理,得到第六信号之前,所述方法还包括:对所述第五信号进行相位前移处理,得到移相后的第五信号;所述对所述第四信号和所述第五信号进行融合处理,得到第六信号,具体包括:对所述第四信号和所述移相后的第五信号进行融合处理,得到所述第六信号。
可以理解的是,由于抗啸叫处理过程主要是针对高频信号,因此可以对滤除了小信号的第五信号(即中高频信号)做相位前移处理,以得到相位提前的第五信号。这样,通过对第五信号进行相位提前,可以改变啸叫点的位置和对应的裕度,提升透传的稳定性。
示例性地,本实施例中可以通过具有相位提前特性的滤波器对第五信号进行相位前移处理,例如具有相位提前特性的全通滤波器。基于图11对应的实施例,具有相位提前特性的滤波器可以集成于大信号滤波模块1116中,或者是级联于大信号滤波1116之后。
可以参阅图14,图14为本申请实施例提供的一种改善后的入耳式透传系统的奈奎斯特示意图,其中横坐标为频率,纵坐标为幅频/相频响应。如图14所示,在对入耳式透传系统进行改善后,即提前了高频信号的相位,透传系统的啸叫频率提升到5227Hz,同时幅度裕度提升到30.62dB,远大于稳定性阈值,可以较好地保证透传系统的稳定性。
为了便于理解,以下将结合附图来描述用于执行本实施提供的数据处理方法的耳机透传系统。可以参阅图15,图15为本申请实施例提供的另一种耳机透传系统的结构示意图。在图11的基础上,图15所提供的耳机透传系统中还包括泄露补偿模块1117、个性化滤波模块1118、反馈ANC模块1119以及前馈麦克风113。其中,泄露补偿模块可以是配置有上述的PP响应滤波补偿系数和/或SP响应滤波补偿系数的模块,能够用于耳机信号泄露的补偿。个性化滤波模块1118可以是配置有上述的目标滤波系数的模块,能够用于针对不同佩戴者的耳道进行个性化补偿。反馈ANC模块1119可以是配置有上述修正后的反馈ANC系数的模块,能够用于根据佩戴者的耳道差异反馈主动噪声控制,以减弱闭塞效应。
上面介绍了本申请提供的数据处理方法,下面对执行该数据处理方法的主体进行介绍。可以参阅图16,图16为本申请实施例提供的一种终端的结构示意图。
本申请实施例中的终端可以是手机、平板、笔记本电脑或可穿戴便携设备(例如耳机)等各种类型的终端设备,具体不做限定。本申请实施例中的耳机可以是开放式耳罩、封闭式耳罩或入耳式耳机等各种类型的耳机,具体不做限定。以终端为耳机为例,以下对本申请实施例提供的耳机做详细的介绍。
如图16所示,本申请实施例提供的一种耳机,包括:获取单元1601和处理单元1602。所示获取单元1601,用于获取耳机的参数,所述参数包括所述等效声压源及声阻抗;所述获取单元1601,还用于获取所述耳机的佩戴者对应的耳道长度;处理单元1602,用于根据所述参数和所述耳道长度,确定第一滤波系数;所述处理单元1602,还用于根据所述第一滤波系数和所述耳机的第一预设滤波系数,确定第一目标滤波系数,所述第一目标滤波系数用于配置于所述耳机上。
可选地,在一种可能的实现方式中,所述处理单元1602具体用于:基于所述参数和所述耳道长度,通过声音传输公式确定第一声压;根据所述第一声压和目标频响曲线,确定所述第一滤波系数。
可选地,在一种可能的实现方式中,所述处理单元1602具体用于:通过第一麦克风获取第二声压,所述第一麦克风为所述耳机上靠近耳道的麦克风;根据所述等效声压源、所述第二声压和所述耳机的声阻抗确定所述耳道口的体积速度;基于所述第二声压和所述耳道口的体积速度,通过声音传输公式确定第一声压;所述声音传输公式为:
Figure BDA0002669719180000151
其中,所述P1表示第二声压,所述Q1表示耳道口的体积速度,所述P2表示第一声压,所述Q2表示鼓膜处的体积速度,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数。
可选地,在一种可能的实现方式中,所述处理单元1602具体用于:根据所述参数确定鼓膜的声阻抗;基于所述鼓膜的声阻抗以及所述耳道长度,通过第一公式确定第二滤波系数;根据所述第二滤波系数和所述耳机的第二预设滤波系数,确定第二目标滤波系数,所述第二目标滤波系数用于配置于所述耳机上;所述第一公式为:
H_open_ind=Zd/(Zd*cos(γL)+j*Zw*sin(γL))
其中,所述H_open_ind表示所述第二滤波系数,所述Zd表示所述鼓膜的声阻抗,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述j表示虚部。
可选地,在一种可能的实现方式中,所述获取单元1601具体用于:获取第一信号,所述第一信号为所述耳机的扬声器输出的声音信号;获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;所述处理单元1602具体用于:基于所述第一信号和所述第二信号进行自适应滤波处理,得到第一脉冲响应曲线;对所述第一脉冲响应曲线进行处理,得到频率响应曲线;根据所述频率响应曲线的主共振峰的位置确定所述耳道长度。
可选地,在一种可能的实现方式中,所述获取单元1601具体用于:获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;所述处理单元1602具体用于:基于所述第二信号和所述第三信号进行自适应滤波处理,得到第二脉冲响应曲线;根据所述第二脉冲响应曲线和预设脉冲响应曲线,确定滤波补偿系数,所述滤波补偿系数用于所述耳机信号泄露的补偿。
可选地,在一种可能的实现方式中,所述获取单元1601具体用于:获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;所述处理单元1602具体用于:根据所述第二信号对应的频谱和所述第三信号对应的频谱,确定频谱差异曲线;根据所述频谱差异曲线对反馈主动噪声控制ANC系数进行修正。
可选地,在一种可能的实现方式中,所述获取单元1601具体用于获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;所述处理单元1602具体用于:对所述第三信号中能量大于第一阈值的大信号进行滤除处理,以及提升滤除所述大信号后的第三信号的增益,得到第四信号;对所述第三信号中能量小于第二阈值的小信号进行滤除处理,以及提升滤除所述小信号后的第三信号的增益,得到第五信号;对所述第四信号和所述第五信号进行融合处理,得到第六信号;输出所述第六信号。
可选地,在一种可能的实现方式中,所述处理单元1602具体用于:对所述第五信号进行相位前移处理,得到移相后的第五信号;对所述第四信号和所述移相后的第五信号进行融合处理,得到所述第六信号。
可以参阅图17,图17为本申请实施例提供的一种终端100的结构示意图。
如图17所示,终端100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中,终端100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是终端100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I1C)接口,集成电路内置音频(inter-integrated circuitsound,I1S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端100的结构限定。在本申请另一些实施例中,终端100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
终端100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
在一些可行的实施方式中,终端100可以使用无线通信功能和其他设备通信。例如,终端100可以和第二电子设备通信,终端100与第二电子设备建立投屏连接,终端100输出投屏数据至第二电子设备等。其中,终端100输出的投屏数据可以为音视频数据。
天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端100上的包括1G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线2转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线1接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,终端100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
终端100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,终端100可以包括1个或N个显示屏194,N为大于1的正整数。
在一些可行的实施方式中,显示屏194可用于显示终端100的系统输出的各个界面。终端100输出的各个界面可参考后续实施例的相关描述。
终端100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,终端100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。
视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样,终端100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG1,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行终端100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
终端100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。在一些可行的实施方式中,音频模块170可用于播放视频对应的声音。例如,显示屏194显示视频播放画面时,音频模块170输出视频播放的声音。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。陀螺仪传感器180B可以用于确定终端100的运动姿态。气压传感器180C用于测量气压。
加速度传感器180E可检测终端100在各个方向上(包括三轴或六轴)加速度的大小。当终端100静止时可检测出重力的大小及方向。还可以用于识别终端姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。
环境光传感器180L用于感知环境光亮度。
指纹传感器180H用于采集指纹。
温度传感器180J用于检测温度。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于终端100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端100可以接收按键输入,产生与终端100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (22)

1.一种数据处理方法,其特征在于,所述方法应用于耳机,所述耳机至少包括两个麦克风,所述方法包括:
获取所述耳机的参数,所述参数包括所述耳机的等效声压源及声阻抗;
获取所述耳机的佩戴者对应的耳道长度;
根据所述参数和所述耳道长度,确定闭塞耳道下的第一滤波系数;
根据所述第一滤波系数和所述耳机的第一预设滤波系数,确定第一目标滤波系数,所述第一目标滤波系数用于配置于所述耳机上;
根据所述参数确定鼓膜的声阻抗;
基于所述鼓膜的声阻抗以及所述耳道长度,确定开放耳道下的第二滤波系数;
根据所述第二滤波系数和所述耳机的第二预设滤波系数,确定第二目标滤波系数,所述第二目标滤波系数用于配置于所述耳机上。
2.根据权利要求1所述的数据处理方法,其特征在于,所述耳机包括第一麦克风和第二麦克风,所述第一麦克风为所述耳机上靠近耳道的麦克风,所述第二麦克风为所述耳机上远离耳道的麦克风;
所述第一麦克风用于获取耳内的声音信号,所述第二麦克风用于获取耳外的声音信号。
3.根据权利要求1或2所述的数据处理方法,其特征在于,所述根据所述参数和所述耳道长度,确定第一滤波系数,具体包括:
基于所述参数和所述耳道长度,确定鼓膜处的第一声压;
根据所述第一声压和目标频响曲线,确定所述第一滤波系数。
4.根据权利要求3所述的数据处理方法,其特征在于,所述基于所述参数和所述耳道长度,通过声音传输公式确定鼓膜处的第一声压,具体包括:
通过第一麦克风获取耳道口的第二声压,所述第一麦克风为所述耳机上靠近耳道的麦克风;
根据所述等效声压源、所述第二声压和所述耳机的声阻抗确定所述耳道口的体积速度;
基于所述第二声压和所述耳道口的体积速度,通过声音传输公式确定第一声压;
所述声音传输公式为:
Figure FDA0003959782600000011
其中,所述P1表示第二声压,所述Q1表示耳道口的体积速度,所述P2表示第一声压,所述Q2表示鼓膜处的体积速度,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数。
5.根据权利要求1或2所述的数据处理方法,其特征在于,所述基于所述鼓膜的声阻抗以及所述耳道长度,确定第二滤波系数包括:
基于所述鼓膜的声阻抗以及所述耳道长度,通过第一公式确定第二滤波系数;
所述第一公式为:
H_open_ind=Zd/(Zd*cos(γL)+j*Zw*sin(γL))
其中,所述H_open_ind表示所述第二滤波系数,所述Zd表示所述鼓膜的声阻抗,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述j表示虚部。
6.根据权利要求1或2所述的数据处理方法,其特征在于,所述获取所述耳机的佩戴者对应的耳道长度,具体包括:
获取第一信号,所述第一信号为所述耳机的扬声器输出的声音信号;
获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;
基于所述第一信号和所述第二信号进行自适应滤波处理,得到第一脉冲响应曲线;
对所述第一脉冲响应曲线进行处理,得到频率响应曲线;
根据所述频率响应曲线的主共振峰的位置确定所述耳道长度。
7.根据权利要求1或2所述的数据处理方法,其特征在于,在所述耳机处于佩戴状态时,所述方法还包括:
获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;
获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;
基于所述第二信号和所述第三信号进行自适应滤波处理,得到第二脉冲响应曲线;
根据所述第二脉冲响应曲线和预设脉冲响应曲线,确定滤波补偿系数,所述滤波补偿系数用于所述耳机信号泄露的补偿。
8.根据权利要求1或2所述的数据处理方法,其特征在于,所述方法还包括:
获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;
获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;
根据所述第二信号对应的频谱和所述第三信号对应的频谱,确定频谱差异曲线;
根据所述频谱差异曲线对反馈主动噪声控制ANC系数进行修正。
9.根据权利要求1或2所述的数据处理方法,其特征在于,所述方法还包括:
获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;
对所述第三信号中能量大于第一阈值的大信号进行滤除处理,以及提升滤除所述大信号后的第三信号的增益,得到第四信号;
对所述第三信号中能量小于第二阈值的小信号进行滤除处理,以及提升滤除所述小信号后的第三信号的增益,得到第五信号;
对所述第四信号和所述第五信号进行融合处理,得到第六信号;
输出所述第六信号。
10.根据权利要求9所述的数据处理方法,其特征在于,所述对所述第四信号和所述第五信号进行融合处理,得到第六信号之前,所述方法还包括:
对所述第五信号进行相位前移处理,得到移相后的第五信号;
所述对所述第四信号和所述第五信号进行融合处理,得到第六信号,具体包括:
对所述第四信号和所述移相后的第五信号进行融合处理,得到所述第六信号。
11.一种数据处理装置,其特征在于,所述数据处理装置应用于耳机,所述耳机至少包括两个麦克风,包括:
获取单元,用于获取所述耳机的参数,所述参数包括所述耳机的等效声压源及声阻抗;
所述获取单元,还用于获取所述耳机的佩戴者对应的耳道长度;
处理单元,用于根据所述参数和所述耳道长度,确定第一滤波系数;
所述处理单元,还用于根据所述第一滤波系数和所述耳机的第一预设滤波系数,确定第一目标滤波系数,所述第一目标滤波系数用于配置于所述耳机上;
所述处理单元还用于:
根据所述参数确定鼓膜的声阻抗;
基于所述鼓膜的声阻抗以及所述耳道长度,确定第二滤波系数;
根据所述第二滤波系数和所述耳机的第二预设滤波系数,确定第二目标滤波系数,所述第二目标滤波系数用于配置于所述耳机上。
12.根据权利要求11所述的数据处理装置,其特征在于,所述耳机包括第一麦克风和第二麦克风,所述第一麦克风为所述耳机上靠近耳道的麦克风,所述第二麦克风为所述耳机上远离耳道的麦克风;
所述第一麦克风用于获取耳内的声音信号,所述第二麦克风用于获取耳外的声音信号。
13.根据权利要求11或12所述的数据处理装置,其特征在于,所述处理单元具体用于:
基于所述参数和所述耳道长度,通过声音传输公式确定鼓膜处的第一声压;
根据所述第一声压和目标频响曲线,确定所述第一滤波系数。
14.根据权利要求13所述的数据处理装置,其特征在于,所述处理单元具体用于:
通过第一麦克风获取第二声压,所述第一麦克风为所述耳机上靠近耳道的麦克风;
根据所述等效声压源、所述第二声压和所述耳机的声阻抗确定所述耳道口的体积速度;
基于所述第二声压和所述耳道口的体积速度,通过声音传输公式确定第一声压;
所述声音传输公式为:
Figure FDA0003959782600000041
其中,所述P1表示第二声压,所述Q1表示耳道口的体积速度,所述P2表示第一声压,所述Q2表示鼓膜处的体积速度,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数。
15.根据权利要求11或12所述的数据处理装置,其特征在于,所述处理单元还用于:
基于所述鼓膜的声阻抗以及所述耳道长度,通过第一公式确定第二滤波系数;
所述第一公式为:
H_open_ind=Zd/(Zd*cos(γL)+j*Zw*sin(γL))
其中,所述H_open_ind表示所述第二滤波系数,所述Zd表示所述鼓膜的声阻抗,所述cosh()表示双曲余弦函数,所述sinh()表示双曲正弦函数,所述Zw表示空气特性声阻抗,所述γ表示声波传递常数,所述L表示所述耳道长度,所述j表示虚部。
16.根据权利要求11或12所述的数据处理装置,其特征在于,所述获取单元具体用于:
获取第一信号,所述第一信号为所述耳机的扬声器输出的声音信号;
获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;
所述处理单元具体用于:
基于所述第一信号和所述第二信号进行自适应滤波处理,得到第一脉冲响应曲线;
对所述第一脉冲响应曲线进行处理,得到频率响应曲线;
根据所述频率响应曲线的主共振峰的位置确定所述耳道长度。
17.根据权利要求11或12所述的数据处理装置,其特征在于,所述获取单元具体用于:
获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;
获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;
所述处理单元具体用于:
基于所述第二信号和所述第三信号进行自适应滤波处理,得到第二脉冲响应曲线;
根据所述第二脉冲响应曲线和预设脉冲响应曲线,确定滤波补偿系数,所述滤波补偿系数用于所述耳机信号泄露的补偿。
18.根据权利要求11或12所述的数据处理装置,其特征在于,所述获取单元具体用于:
获取第二信号,所述第二信号为第一麦克风获取到的声音信号,所述第一麦克风为所述耳机上靠近耳道的麦克风;
获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;
所述处理单元具体用于:
根据所述第二信号对应的频谱和所述第三信号对应的频谱,确定频谱差异曲线;
根据所述频谱差异曲线对反馈主动噪声控制ANC系数进行修正。
19.根据权利要求11或12所述的数据处理装置,其特征在于,所述获取单元具体用于获取第三信号,所述第三信号为第二麦克风获取到的声音信号,所述第二麦克风为所述耳机上远离耳道的麦克风;
所述处理单元具体用于:
对所述第三信号中能量大于第一阈值的大信号进行滤除处理,以及提升滤除所述大信号后的第三信号的增益,得到第四信号;
对所述第三信号中能量小于第二阈值的小信号进行滤除处理,以及提升滤除所述小信号后的第三信号的增益,得到第五信号;
对所述第四信号和所述第五信号进行融合处理,得到第六信号;
输出所述第六信号。
20.根据权利要求19所述的数据处理装置,其特征在于,所述处理单元具体用于:
对所述第五信号进行相位前移处理,得到移相后的第五信号;
对所述第四信号和所述移相后的第五信号进行融合处理,得到所述第六信号。
21.一种终端,其特征在于,包括:一个或多个处理器和存储器;其中,
所述存储器中存储有计算机可读指令;
所述一个或多个处理器用于读取所述计算机可读指令以使所述终端实现如权利要求1至10中任一项所述的方法。
22.一种计算机可读存储介质,其特征在于,包括计算机可读指令,当所述计算机可读指令在计算机上运行时,使得所述计算机执行如权利要求1至10中任一项所述的方法。
CN202010929537.1A 2020-09-07 2020-09-07 一种数据处理方法及相关装置 Active CN114157945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010929537.1A CN114157945B (zh) 2020-09-07 2020-09-07 一种数据处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010929537.1A CN114157945B (zh) 2020-09-07 2020-09-07 一种数据处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN114157945A CN114157945A (zh) 2022-03-08
CN114157945B true CN114157945B (zh) 2023-04-07

Family

ID=80460829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010929537.1A Active CN114157945B (zh) 2020-09-07 2020-09-07 一种数据处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN114157945B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466278B (zh) * 2022-04-11 2022-08-16 北京荣耀终端有限公司 一种耳机模式对应的参数确定方法、耳机、终端和系统
CN114760567B (zh) * 2022-04-26 2023-07-14 歌尔股份有限公司 耳机音质效果的校准方法、装置、设备及存储介质
CN116156385B (zh) * 2023-04-19 2023-07-07 深圳市汇顶科技股份有限公司 滤波方法、滤波装置、芯片和耳机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9516407B2 (en) * 2012-08-13 2016-12-06 Apple Inc. Active noise control with compensation for error sensing at the eardrum
CN105323666B (zh) * 2014-07-11 2018-05-22 中国科学院声学研究所 一种外耳声音信号传递函数的计算方法及应用
CN110763658B (zh) * 2018-07-25 2023-02-03 邓惠群 一种耳道和鼓膜声压反射系数的测量装置及测量方法
CN110972018B (zh) * 2019-12-13 2021-01-22 恒玄科技(上海)股份有限公司 对耳机进行透传的方法、系统以及耳机
CN111010646B (zh) * 2020-03-11 2020-06-26 恒玄科技(北京)有限公司 一种对耳机透传的方法、系统以及耳机

Also Published As

Publication number Publication date
CN114157945A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN113676804B (zh) 一种主动降噪方法及装置
CN114157945B (zh) 一种数据处理方法及相关装置
CN113873378B (zh) 一种耳机噪声处理方法、装置及耳机
US9380374B2 (en) Hearing assistance systems configured to detect and provide protection to the user from harmful conditions
US20160316304A1 (en) Hearing assistance system
US20150319546A1 (en) Hearing Assistance System
US20230164475A1 (en) Mode Control Method and Apparatus, and Terminal Device
US9894449B2 (en) Ear mold for auditory device
CN113496708B (zh) 拾音方法、装置和电子设备
CN114727212B (zh) 音频的处理方法及电子设备
WO2021227696A1 (zh) 一种主动降噪方法及装置
CN111148271A (zh) 一种控制助听器的方法及终端
CN113852899A (zh) 包括助听器和处理设备的听力系统
WO2022257563A1 (zh) 一种音量调节的方法,电子设备和系统
CN113129916B (zh) 一种音频采集方法、系统及相关装置
CN114120950B (zh) 一种人声屏蔽方法和电子设备
WO2022206825A1 (zh) 一种调节音量的方法、系统及电子设备
WO2023274180A1 (zh) 一种提升扬声器的音质的方法及装置
US20240114295A1 (en) Method for identifying earbud wearing error and related device
CN114390406B (zh) 一种控制扬声器振膜位移的方法及装置
CN114449393B (zh) 一种声音增强方法、耳机控制方法、装置及耳机
CN113467747B (zh) 音量调节方法、电子设备及存储介质
CN113436635A (zh) 分布式麦克风阵列的自校准方法、装置和电子设备
CN114584913B (zh) Foa信号和双耳信号的获得方法、声场采集装置及处理装置
CN117156332A (zh) 头戴设备及音频信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant