CN116744169A - 耳机设备、声音信号的处理方法及佩戴贴合度测试方法 - Google Patents
耳机设备、声音信号的处理方法及佩戴贴合度测试方法 Download PDFInfo
- Publication number
- CN116744169A CN116744169A CN202211208432.2A CN202211208432A CN116744169A CN 116744169 A CN116744169 A CN 116744169A CN 202211208432 A CN202211208432 A CN 202211208432A CN 116744169 A CN116744169 A CN 116744169A
- Authority
- CN
- China
- Prior art keywords
- signal
- frequency response
- audio
- sound
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 285
- 238000012360 testing method Methods 0.000 title claims abstract description 85
- 238000003672 processing method Methods 0.000 title abstract description 5
- 230000004044 response Effects 0.000 claims abstract description 187
- 238000012545 processing Methods 0.000 claims abstract description 111
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000012546 transfer Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 77
- 230000008569 process Effects 0.000 claims description 37
- 230000007613 environmental effect Effects 0.000 claims description 11
- 238000004148 unit process Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 40
- 230000006870 function Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 18
- 210000003454 tympanic membrane Anatomy 0.000 description 14
- 210000000613 ear canal Anatomy 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012074 hearing test Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/05—Detection of connection of loudspeakers or headphones to amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Headphones And Earphones (AREA)
Abstract
本申请实施例提供一种耳机设备、声音信号的处理方法及佩戴贴合度测试方法。耳机设备包括:扬声器、用于采集耳内声音信号的内部麦克风、第一音频处理单元,处于内部麦克风与第一音频处理单元之间的反馈滤波器;扬声器用于播放第一音频信号;反馈滤波器用于基于耳内声音信号得到反相噪声信号;第一音频处理单元用于基于第一音频信号和反相噪声信号得到混音音频信号,混音音频信号与第一音频信号之比与下述函数的值反相关,函数包括:反馈滤波器的滤波函数、声音信号的传递函数、声学泄露函数;扬声器用于播放混音音频信号。通过反馈系统缩小不同声学泄露场景下耳内频响的差异,改善耳机的音质效果。此外,耳机在不同佩戴方式中,音质效果差异小。
Description
技术领域
本申请涉及电子技术领域,尤其涉及一种耳机设备、声音信号的处理方法及佩戴贴合度测试方法。
背景技术
随着电子技术的不断发展,助听器,入耳式耳机、耳罩式耳机等耳机设备受到了越来越多消费者的青睐。
当用户未正确佩戴耳机设备时,会出现声音的泄露,使得耳机设备的频响(频率响应)无法达到正常佩戴时的频响,耳机设备的音质效果差。其中,用户未正确佩戴耳机设备包括:未将耳机与耳道没有较好贴合。
发明内容
本申请实施例提供一种耳机设备、声音信号的处理方法及佩戴贴合度测试方法,通过反馈系统缩小不同声学泄露场景下耳内频响的差异,改善耳机的音质效果。此外,耳机在不同佩戴方式中,音质效果差异小。
第一方面,本申请实施例提出一种耳机设备,包括:包括:扬声器、内部麦克风、第一音频处理单元、反馈滤波器,反馈滤波器位于内部麦克风与第一音频处理单元之间;扬声器用于播放第一音频信号;内部麦克风,用于采集耳内声音信号,耳内声音信号包括第二音频信号,第二音频信号的信号强度小于第一音频信号的信号强度;反馈滤波器,用于对耳内声音信号进行处理,得到反相噪声信号;第一音频处理单元,用于对第一音频信号和反相噪声信号进行混音处理,得到混音音频信号,混音音频信号与第一音频信号之比与下述函数的值反相关,函数包括:反馈滤波器的滤波函数K、声音信号的的传递函数G、声学泄露函数L;扬声器,用于播放混音音频信号。
这样,通过反馈系统缩小不同声学泄露场景下耳内频响的差异,改善耳机的音质效果。此外,耳机在不同佩戴方式中,音质效果差异小。对于二次佩戴调整依旧可以达到较好的音质效果,能够实时的根据佩戴去调整耳机的音质。
可选的,混音音频信号与第一音频信号之比满足
这样,缩小不同声学泄露场景下耳内频响的差异,从原理上使得不同声学泄露场景下耳内频响的差异最小。
可选的,第一音频处理单元具体用于基于预先存储的音质补偿参数对第一音频信号和反相噪声信号进行混音处理,得到混音音频信号;音质补偿参数与第一频响和第二频响相关,第一频响为耳机设备在未开启反馈滤波器且播放第一信号时内部麦克风处的频响,第二频响为耳机设备在开启反馈滤波器且播放第一信号时内部麦克风处的频响。
这样,进行音质补偿后,可以减少反馈系统的影响,提升耳机频响的还原度,提升音质效果和用户体验。
可选的,音质补偿参数为第一频响与第二频响的比值。
这样,通过将开启反馈滤波器前后的频响进行对比,可方便确定出反馈滤波器对声音信号的影响,从而便于确定音质补偿参数。
可选的,耳机设备还包括第二音频处理单元、外部麦克风和音质校准控制器;外部麦克风用于采集第一外界声音信号;音质校准控制器,用于对第一外界声音信号进行处理,得到外界声音衰减信号;第二音频处理单元,用于根据外界声音衰减信号,对耳内声音信号中的第二外界声音信号进行去除,得到第二音频信号,第二音频信号的信号强度小于第一音频信号的信号强度;反馈滤波器,具体用于对第二音频信号进行处理,得到反相噪声信号。
这样,将第二外界声音信号从耳内声音信号中去除,减少反馈系统对外界声音信号的消除,进而用户在佩戴耳机时可以感受到外界声音。
可选的,音质校准控制器具体用于根据音质校准参数对第一外界声音信号进行处理;音质校准参数与第一信号强度和第二信号强度相关,第一信号强度为播放环境声时外部麦克风采集的第一测试信号的信号强度,第二信号强度为播放环境声时内部麦克风采集的第二测试信号的信号强度。
这样,通过将外部麦克风的频响和内部麦克风的频响进行对比,可方便确定出被动衰减对声音信号的影响,从而便于确定音质校准参数。
可选的,音质校准参数为比例系数,音质校准参数满足:或者,音质校准参数为衰减参数,音质校准参数满足:|第一信号强度-第二信号强度|。
这样,可以有多种方式进行音质校准。
可选的,第一音频处理单元还用于基于二次补偿参数对第一音频信号和反相噪声信号进行处理;二次补偿参数与第三频响和第四频响相关,第三频响为耳机设备在未开启反馈滤波器且播放第三测试信号时内部麦克风处的频响,第四频响为耳机设备在开启反馈滤波器且播放第三测试信号时内部麦克风处的频响。
这样,二次补偿处理后,使得耳机在声学泄露场景中可以有足够的低音下潜,提高低频信号的还原度。
第二方面,本申请实施例提出一种声音信号的处理方法,应用于第一方面涉及的任一项耳机设备。该方法包括:扬声器播放第一音频信号;内部麦克风采集耳内声音信号,耳内声音信号包括第二音频信号,第二音频信号的信号强度小于第一音频信号的信号强度;反馈滤波器对第二音频信号进行处理,得到反相噪声信号;第一音频处理单元对耳内声音信号和反相噪声信号进行混音处理,得到混音音频信号,混音音频信号与第一音频信号之比与下述函数的值反相关,函数包括:反馈滤波器的滤波函数K、声音信号的的传递函数G、声学泄露函数L;扬声器播放混音音频信号。
可选的,混音音频信号与第一音频信号之比满足
可选的,第一音频处理单元对第一音频信号和反相噪声信号进行混音处理,包括:第一音频处理单元基于预先存储的音质补偿参数对第一音频信号和反相噪声信号进行混音处理,得到混音音频信号;音质补偿参数与第一频响和第二频响相关,第一频响为耳机设备在未开启反馈滤波器且播放第一信号时内部麦克风处的频响,第二频响为耳机设备在开启反馈滤波器且播放第一信号时内部麦克风处的频响。
可选的,音质补偿参数为第一频响与第二频响的比值。
可选的,方法还包括:外部麦克风采集第一外界声音信号;音质校准控制器对第一外界声音信号进行处理,得到外界声音衰减信号;第二音频处理单元根据外界声音衰减信号,对耳内声音信号中的第二外界声音信号进行去除,得到第二音频信号,第二音频信号的信号强度小于第一音频信号的信号强度;反馈滤波器对第二音频信号进行处理,得到反相噪声信号,包括:反馈滤波器对第二音频信号进行处理,得到反相噪声信号。
可选的,音质校准控制器对第一外界声音信号进行处理,包括:音质校准控制器根据音质校准参数对第一外界声音信号进行处理;音质校准参数与第一信号强度和第二信号强度相关,第一信号强度为播放环境声时外部麦克风采集的第一测试信号的信号强度,第二信号强度为播放环境声时内部麦克风采集的第二测试信号的信号强度。
可选的,音质校准参数为比例系数,音质校准参数满足:或者,音质校准参数为衰减参数,音质校准参数满足:|第一信号强度-第二信号强度|。
可选的,方法还包括:第一音频处理单元基于二次补偿参数对第一音频信号和反相噪声信号进行处理;二次补偿参数与第三频响和第四频响相关,第三频响为耳机设备在未开启反馈滤波器且播放第三测试信号时内部麦克风处的频响,第四频响为耳机设备在开启反馈滤波器且播放第三测试信号时内部麦克风处的频响。
第二方面各可能的实现方式,效果与第一方面以及第一方面的可能的设计中的效果类似,在此不再赘述。
第三方面,本申请实施例提出一种耳机设备佩戴贴合度测试方法,应用于第一方面涉及的任一项耳机设备。方法包括:耳机设备接收到用于指示测试佩戴贴合度的消息;耳机设备在关闭音质补偿功能、反馈滤波器、音质校准控制器时,采用扬声器播放第四测试信号;耳机设备获取内部麦克风处的第五频响;耳机设备在开启音质补偿功能、反馈滤波器、音质校准控制器时,采用扬声器播放第四测试信号;耳机设备获取内部麦克风处的第六频响;当第五频响、第六频响、音质补偿功能对应的音质补偿参数之差小于或等于第三阈值时,耳机设备生成第一提示信息,第一提示信息用于提示用户重新佩戴耳机,或者用于提示用户当前佩戴情况。
这样,通过两次测试得到的频响判断耳内的实际反馈效果,通过反馈效果确定佩戴贴合度,提高佩戴贴合度测试准确性。用户可以基于上述佩戴贴合度测试,从多个耳机对应的耳帽中选取合适的耳帽。也可以基于上述佩戴贴合度测试,确定合适的佩戴方式等,还可以基于上述佩戴贴合度测试确定声学的密闭性。
附图说明
图1为本申请实施例提供的一种系统架构示意图;
图2为本申请实施例提供的用户佩戴耳机的场景示意图;
图3为本申请实施例提供的一种内部麦克风处的频响示意图;
图4为本申请实施例提供的一种耳机的结构示意图;
图5为本申请实施例提供的一种反馈系统的等效示意图;
图6为本申请实施例提供的一种内部麦克风处的频响示意图;
图7为本申请实施例提供的一种声音信号的处理方法的流程示意图;
图8为本申请实施例提供的一种音质补偿参数的测试方法的流程示意图;
图9为本申请实施例提供的一种耳机的结构示意图;
图10为本申请实施例提供的一种声音信号的处理方法的流程示意图;
图11为本申请实施例提供的一种音质校准参数的测试方法的流程示意图;
图12为本申请实施例提供的一种外界声音信号被动衰减的频响图;
图13为本申请实施例提供的一种内部麦克风处的频响示意图;
图14为本申请实施例提供的一种二次补偿参数的测试方法的流程示意图;
图15为本申请实施例提供的一种佩戴贴合度测试方法的流程示意图;
图16为本申请实施例提供的一种内部麦克风处的频响示意图;
图17为本申请实施例提供的一种终端设备的界面示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,以下,对本申请实施例中所涉及的部分术语和技术进行简单介绍:
1、反馈系统:是基于反馈原理建立的自动控制系统。反馈可以理解为根据系统输出变化的信息来进行控制,即通过比较系统行为(输出)与期望行为之间的偏差,并消除偏差以获得预期的系统性能。
可以理解的是,在反馈控制系统中,既存在由输入到输出的信号前向通路,也包含从输出端到输入端的信号反馈通路,两者组成一个闭合的回路。反馈系统也可以称为闭环控制系统。
本申请实施例中,扬声器发声正对面的区域放置内部麦克风,扬声器和内部麦克风形成反馈系统。
2、其他术语
本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一芯片和第二芯片仅仅是为了区分不同的芯片,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
3、终端设备
本申请实施例的终端设备也可以为任意形式的电子设备,例如,电子设备可以包括具有图像处理功能的手持式设备、车载设备等。例如,一些电子设备为:手机(mobilephone)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备,虚拟现实(virtual reality,VR)设备、增强现实(augmented reality,AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、蜂窝电话、无绳电话、会话启动协议(session initiation protocol,SIP)电话、无线本地环路(wireless local loop,WLL)站、个人数字助理(personal digital assistant,PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备,5G网络中的终端设备或者未来演进的公用陆地移动通信网络(public land mobile network,PLMN)中的终端设备等,本申请实施例对此并不限定。
作为示例而非限定,在本申请实施例中,该电子设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备,是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能,例如:智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其它设备如智能手机配合使用,如各类进行体征监测的智能手环、智能首饰等。
此外,在本申请实施例中,电子设备还可以是物联网(internet of things,IoT)系统中的终端设备,IoT是未来信息技术发展的重要组成部分,其主要技术特点是将物品通过通信技术与网络连接,从而实现人机互连,物物互连的智能化网络。
本申请实施例中的电子设备也可以称为:终端设备、用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。
在本申请实施例中,电子设备或各个网络设备包括硬件层、运行在硬件层之上的操作系统层,以及运行在操作系统层上的应用层。该硬件层包括中央处理器(centralprocessing unit,CPU)、内存管理单元(memory management unit,MMU)和内存(也称为主存)等硬件。该操作系统可以是任意一种或多种通过进程(process)实现业务处理的计算机操作系统,例如,Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。该应用层包含浏览器、通讯录、文字处理软件、即时通信软件等应用。
随着电子技术的不断发展,耳机设备受到了越来越多消费者的青睐。本申请实施例中的耳机设备可以是耳机,也可以是助听器或者诊听器等需要入耳的设备,本申请实施例主要是以耳机作为耳机设备为例进行说明。耳机也可能被称为耳塞、耳麦、随身听、音讯播放器、媒体播放器、头戴式受话器、听筒设备或其它某个合适的术语。
参照图1所示,图1为本申请实施例提供的一种系统架构示意图,该系统架构包括终端设备和耳机,耳机与终端设备之间可建立通信连接。
其中,该耳机可以为无线入耳式耳机。即从耳机与终端设备之间的通信方式上看,无线入耳式耳机属于无线耳机。无线耳机是可以与终端设备进行无线连接的耳机,根据无线耳机使用的电磁波频率,还可以将它们进一步区分为:红外线无线耳机、米波无线耳机(例如FM调频耳机)、分米波无线耳机(例如蓝牙(Bluetooth)耳机)等;而从耳机的佩戴方式上看,无线入耳式耳机属于入耳式耳机。
可以理解的是,本申请实施例中的耳机还可以是其它类型的耳机。示例性的,从耳机与终端设备之间的通信方式上看,本申请实施例中的耳机还可以是有线耳机。有线耳机是可以与终端设备通过导线(例如线缆)连接的耳机,根据线缆形状还可以区分为圆柱形线缆耳机、面条线耳机等。从耳机的佩戴方式上看,该耳机还可以是半入耳式耳机、包耳式耳机(也可以称作耳罩式耳机)、耳挂式耳机、颈挂式耳机等。
参照图2,图2为本申请实施例提供的用户佩戴耳机的场景示意图。其中,耳机可以包括参考麦克风21、通话麦克风22和误差麦克风23。
在用户正常佩戴该耳机的情况下,参考麦克风21和通话麦克风22通常设置在耳机远离耳道的一侧,即耳机的外侧,因此,可将参考麦克风21和通话麦克风22统称为外部麦克风。参考麦克风21和通话麦克风22用于采集外界声音信号,其中,参考麦克风21主要用于采集外界环境声音信号,通话麦克风22主要用于采集用户说话时通过空气传播的语音信号,例如,针对通话场景下的说话声。
在用户正常佩戴该耳机的情况下,误差麦克风23通常设置在耳机靠近耳道的一侧,即耳机的内侧,其用于采集用户耳道内的耳内声音信号。因此,可将误差麦克风23称为耳内麦克风。
可以理解的是,在一些产品中,耳机中的麦克风可以包括参考麦克风21、通话麦克风22和误差麦克风23中的一种或多种。例如,耳机中的麦克风可以仅包括通话麦克风22和误差麦克风23。并且,参考麦克风21的数量可以是一个或多个,通话麦克风22的数量可以是一个或多个,误差麦克风23的数量可以是一个或多个。
通常来说,由于用户本身存在耳道的差异、佩戴方式的差异等,用户可能未正确佩戴耳机,使得耳机与耳道并不是完全贴合的。因此,用户在佩戴耳机时,耳机中播放的声音信号可能会通过耳机与耳道之间的缝隙泄露出去,导致部分声音信号的还原度降低,从而影响用户通过耳机收听的音质。
示例性的,图3为本申请实施例提供的一种耳膜参考点的频响噪声的示意图。其中,其中,横坐标表示声音信号的频率,单位为Hz,纵坐标为耳膜参考点的频响值,单位为dB;且沿着箭头所示的方向,分别表示不同程度声学泄露场景下对应的耳膜参考点的频响噪声,沿着箭头所示的方向,各条线段对应的声学泄露依次提升。
从图3中可以看出,在用户佩戴耳机时,20Hz-1KHz对应的频响值受到声学泄露的影响较大,1KHz以上的频率对应的频响值差异小。并且,随着声学泄露的增加,20Hz-1KHz对应的频响值总体降低。
可以理解的是,由于用户本身存在耳道的差异、佩戴方式的差异等,可能会导致不同程度的声学泄露,进而用户感受到耳机的音质效果不同。
可能的设计一中,通过调整耳机设备前嘴的入耳深度,减少声学泄露,降低用户佩戴耳机设备时的差异。但是,入耳深度增加,可能会增加用户佩戴的不适感。并且,无法消除耳道差异和佩戴方式的差异的影响,改善效果较差。
可能的设计二中,对声学泄露进行补偿。具体的,通过检测佩戴提示音中特定频率的信号强度确定泄露补偿参数,进而基于补偿参数确定补偿信号以进行泄露补偿。
示例性的,当耳机设备进行佩戴检测时,耳机设备会播放佩戴提示音。佩戴提示音中包含80赫兹(Hz)的信号和160Hz的信号,当耳机设备采集到的80Hz的信号的信号强度低于第一阈值时,耳机设备基于采集到的80Hz的信号的信号强度确认泄露补偿参数。在播放音频时,基于补偿参数确定补偿信号以进行泄露补偿。
但是,佩戴提示音仅在耳机设备进行佩戴检测时触发,在二次调整佩戴时,无法适应调整泄露补偿参数,音质效果差。示例性的,若用户在耳机设备结束佩戴检测后调整耳机设备的佩戴,耳机设备不会再次进行佩戴检测,进而无法适应调整泄露补偿参数,音质效果差。
并且,软件逻辑实现较为复杂,需要的参数较多,软件调试难度大。
此外,上述两种设计方案中均没有从耳机的结构腔体以及佩戴等特性方面综合考量,无法做到实时进行泄露补偿。
有鉴于此,本申请实施例提供声音信号的处理方法,通过反馈系统实现不同程度的声学泄露场景下,耳膜参考点处的频响值差异小,并且通过补偿模块对反馈系统耗损的声音信号进行补偿,实现对音频信号的还原校准。
示例性的,图4为本申请实施例提供的一种耳机的结构示意图。如图4所示,耳机包括内部麦克风401、反馈滤波器402、第一音频处理单元403和扬声器404。
其中,内部麦克风401与反馈滤波器402连接,反馈滤波器402与第一音频处理单元403连接,第一音频处理单元403还与扬声器404连接。
内部麦克风401用于采集耳内声音信号。当耳机播放第一音频信号时,内部麦克风采集的耳内声音信号包括第二音频信号。第二音频信号的信号强度小于耳机播放的第一音频信号的信号强度。本申请实施例中,内部麦克风也可以称为后馈麦克风(feedbackmicrophone,FB MIC),还可以称为误差麦克风。此处不做限定。
反馈滤波器402用于对耳内声音信号进行处理,得到反相噪声信号。
第一音频处理单元403用于对第一音频信号和反相噪声信号进行混音处理,得到混音音频信号,混音音频信号与第一音频信号之比与下述函数的值反相关,函数包括:反馈滤波器的滤波函数K、第一音频信号的传递函数G、声学泄露函数L。
可选的,混音音频信号与第一音频信号之比满足
扬声器404用于播放混音音频信号。
可以理解的是,图4所示的耳机仅为本申请实施例提供的一种示例。在本申请的具体实现中,耳机可具有比示出的部件更多或更少的部件,可以组合两个或更多个部件,或者可具有部件的不同配置实现。需要说明的是,在一种可选的情况中,耳机的上述各个部件也可以耦合在一起设置。
可以理解的是,本申请实施例中的麦克风是一种用于采集声音信号的装置,扬声器为用于播放声音信号的装置。
麦克风也可能被称为话筒、耳麦、拾音器、收音器、传音器、声音传感器、声敏传感器、音频采集装置或其它某个合适的术语,本申请实施例主要以麦克风为例进行技术方案的描述。扬声器也称“喇叭”,用于将音频电信号转换为声音信号。本申请实施例主要以扬声器为例进行技术方案的描述。
下面结合图5和图6对图4中反馈系统进行说明。以ANC为反馈系统的反馈参数,Y为输出信号,X为输入信号,G为声音信号的传递函数,K为反馈滤波器的滤波函数,L为声学泄露函数为例。
未发生声学泄露的场景中,图4中反馈系统可以为如图5中的a所示。图5中的a所示的等效系统中,用于表征反馈能力的表征方程满足:GK>>1。
需要说明的是,人体听觉对声音信号强弱刺激反应不是线性的,而是与声音信号的对数成正比。因此,通常采用分贝(dB)来表达声学量值。本申请实施例中,分贝是指两个相同的物理量(A1和A0)之比取以10为底的对数并乘以20。
图5中的a所示的等效系统中的反馈参数转换为频域,反馈参数
未发生声学泄露的场景中,未开启反馈系统时,内部麦克风处对应的频响FR1=X*G=20lg(M*G),M为音频信号;开启反馈系统时,内部麦克风处对应的频响:
发生声学泄露的场景中,图4中反馈系统可以如图5中的b所示。图5中的b所示的等效系统中,用于表征反馈能力的表征方程满足:GKL>>1。
图5中的b所示的等效系统中的反馈参数转换为频域,反馈参数
发生声学泄露的场景中,未开启反馈系统时,内部麦克风处对应的频响:FR3=X*GL=20lg(M*GL);开启反馈系统时,内部麦克风处对应的频响:
可以理解的是,FR2≈FR1-(20lg(G)+20lg(K));FR4≈FR1-(20lg(G)+20lg(K))。即FR2≈FR4。当反馈系统开启时,未发生声学泄露的场景与发生声学泄露的场景中,内部麦克风处对应的频响差异小,甚至一致。从原理上,反馈系统可以基于不同的声学泄露自动调整反馈量,使得内部麦克风处对应的频响差异小,甚至一致。
可以理解的是,耳膜处的频响与内部麦克风(FB MIC)处的频响具有一定的映射关系。一些实施例中,由于内部麦克风距离耳膜较近,可以将内部麦克风处的频响视为耳膜处的频响。另一些实施例中,可以基于映射关系和内部麦克风处的频响确定耳膜处的频响,或者,可以基于映射关系和耳膜处的频响确定内部麦克风处的频响。本申请实施例对于耳膜处的频响与内部麦克风处的频响不作区分。
示例性的,图6为本申请实施例提供的一种内部麦克风处的频响示意图。其中,曲线1、曲线2和曲线3均为未开启反馈系统时内部麦克风处的频响值与频率对应的关系曲线。曲线4、曲线5和曲线6均为开启反馈系统时内部麦克风处的的频响值与频率对应的关系曲线。
并且,曲线1、曲线2和曲线3对应的声学泄露程度逐渐增加。曲线1和曲线4为未发生声学泄露时内部麦克风处的频响值与频率对应的关系曲线;曲线2和曲线5对应的声学泄露程度相同,曲线3和曲线6对应的声学泄露程度相同。
从图6中可以看出,曲线1、曲线2、曲线3在频率为20Hz-1KHz之间对应的频响值差异较大,在频率大于1KHz对应的频响值差异较小。曲线4、曲线5、曲线6在20Hz-50Hz之间对应的频响值差异较大,在频率大于50Hz对应的频响值差异小。因此,在开启反馈系统后,未发生声学泄露的场景与发生声学泄露的场景中,内部麦克风处对应的频响差异小。
综上,本申请实施例中,通过反馈系统可以缩小耳机在不同佩戴场景下耳内频响的差异,进而改善耳机的音质效果。此外,耳机在用户调整佩戴方式前后,用户感受到的音质效果差异小,甚至一致。对于二次佩戴调整依旧可以达到较好的音质效果,能够实时的根据佩戴去调整耳机的音质。
可以理解的是,反馈系统还可以消除耳道差异的影响。具体原理可以参照上述图4的说明,此处不再赘述。通过反馈系统可以实现耳机在不同结构的人耳中,缩小耳内频响的差异,较好的改善耳机的音质效果。
在上述实施例的基础上,第一音频处理单元预先设置有音质补偿参数,第一音频处理单元基于设置的目标音质补偿参数,对第一音频信号进行音质补偿处理,得到混音音频信号。适应性的,扬声器用于播放混音音频信号。
可以理解的是,反馈系统开启后会损耗部分第一音频信号。具体的,以图5所示的反馈系统为例,反馈系统开启后,内部麦克风的频响值降低20lg(G)+20lg(K)左右。从图6中可以看出,曲线4中20Hz-1KHz之间对应的频响值低于曲线1中20Hz-1KHz之间对应的频响值。
这样,第一音频处理单元进行音质补偿后,可以减少反馈系统的影响,提升耳机频响的还原度,提升音质效果和用户体验。
基于图4所示的耳机的结构示意图,下面描述本申请实施例提供的声音信号的处理方法。图7为本申请实施例提供的一种声音信号的处理方法的流程示意图,该方法可以应用于图4所示的耳机中,且该耳机处于被用户佩戴的状态,该方法具体可以包括如下步骤:
S701、在扬声器播放第一音频信号时,内部麦克风采集耳内声音信号。
耳内声音信号包括第二音频信号,第二音频信号的信号强度小于第一音频信号的信号强度。
耳内声音信号为模拟信号。
S702、反馈滤波器对耳内声音信号进行处理,得到反相噪声信号。
在一些实施例中,在内部麦克风与反馈滤波器之间可设置有第一模数转换单元(未示出),第一模数转换单元的输入端与内部麦克风连接,第一模数转换单元的输出端与反馈滤波器连接。
由于内部麦克风采集的耳内声音信号为模拟信号,内部麦克风在采集到耳内声音信号之后,将耳内声音信号传送给第一模数转换单元,第一模数转换单元对耳内声音信号进行模数转换,将模拟信号转换为数字信号,并将模数转换后的耳内声音信号传送给反馈滤波器进行处理。
在反馈滤波器中预先设置有反馈滤波器参数,该反馈滤波器参数可称为FB参数。反馈滤波器基于设置的反馈滤波器参数,对模数转换后的耳内声音信号进行处理,得到反相噪声信号,并将该反相噪声信号传送给第一音频处理单元。
S703、第一音频处理单元对第一音频信号和反相噪声信号进行混音处理,得到混音音频信号。
混音音频信号与第一音频信号之比与下述函数的值反相关,函数包括:反馈滤波器的滤波函数K、第一音频信号的传递函数G、声学泄露函数L。这样,通过反馈系统可以缩小耳机在不同佩戴场景下耳内频响的差异,进而改善耳机的音质效果。此外,耳机在用户调整佩戴方式前后,用户感受到的音质效果差异小,甚至一致。
第一音频处理单元在接收到反馈滤波器传送的反相噪声信号之后,将音频信号和反相噪声信号进行混音处理,得到混音音频信号。该混音音频信号包括第一音频信号和反相噪声信号。
可选的,混音音频信号与第一音频信号之比满足
这样,可以进一步缩小耳机在不同佩戴场景下耳内频响的差异。并且方便计算,易于实现。
S704、扬声器播放混音音频信号。
在一些实施例中,在第一音频处理单元与扬声器之间可设置有数模转换单元(未示出),数模转换单元的输入端与第一音频处理单元连接,数模转换单元的输出端与扬声器连接。
由于第一音频处理单元处理得到的混音音频信号为数字信号,第一音频处理单元在处理得到混音音频信号之后,将混音音频信号传送给数模转换单元,数模转换单元对混音音频信号进行数模转换,将数字信号转换为模拟信号,并将数模转换后的混音音频信号传送给扬声器。扬声器根据该数模转换后的混音音频信号进行播放。
综上,通过反馈系统可以缩小耳机在不同佩戴场景下耳内频响的差异,进而实现在不同声学泄露场景中,耳内频响的一致性处理。在不同方式佩戴耳机时,使得用户可以感受的音质效果差异小,甚至一致。对于二次佩戴调整依旧可以达到较好的音质效果,能够实时的根据佩戴去调整耳机的音质。
可选的,第一音频处理单元对第一音频信号和反相噪声信号进行混音处理包括:第一音频处理单元基于预先设置的音质补偿参数对第一音频信号和反相噪声信号进行混音处理。
这样,可以减少反馈系统对声音信号的损耗,提升耳机频响的还原度,提升音质效果和用户体验。
第一音频处理单元可以先基于音质补偿参数对第一音频信号和反相噪声信号进行音质补偿,再进行混音处理,得到混音音频信号,此时,混音音频信号与补偿后的第一音频信号之比满足也可以先将第一音频信号和反相噪声信号进行混音处理,再基于音质补偿参数进行音质补偿,得到补偿后的混音音频信号,适应性的,扬声器播放补偿后的混音音频信号。本申请实施例对于补偿处理和混音处理的先后顺序不作限定。
本申请实施例中,该音质补偿参数可以为一个比例系数,该比例系数为大于1的正数。
示例性的,第一音频处理单元计算第一音频信号与比例系数的乘积,得到补偿后的第一音频信号,计算反相噪声信号与比例系数的乘积,得到补偿后的反相噪声信号,再将补偿后的第一音频信号与补偿后的反相噪声信号进行混音处理,得到混音音频信号,以供扬声器播放;或者,第一音频处理单元计算混音音频信号与比例系数的乘积,得到处理后的混音音频信号,以供扬声器播放。
在一些实施例中,可通过预先测试得到音质补偿参数。
图8为本申请实施例提供的测试得到第一音频处理单元的音质补偿参数的测试流程示意图,参照图8所示,其可以包括如下步骤:
S801、耳机佩戴在标准人耳的情况下,在未开启反馈系统时采用扬声器播放第一信号,以获取标准人耳的耳膜处的第一频响。
可以理解的是,标准人耳可以理解为听力正常的测试人员的耳朵。频响也可称为频率响应,指的是系统对不同频率的响应程度。
S802、在开启反馈系统时采用扬声器播放第一信号,以获取标准人耳的耳膜处的第二频响。
S803、基于第一频响和第二频响确定音质补偿参数。
可能的实现方式中,将第一频响与第二频响的比值,作为音质补偿参数。
测试人员在未开启反馈系统时,测试内部麦克风处的第一频响;测试人员在未开启反馈系统后,测试内部麦克风处的第二频响。由于开启反馈系统后,音频信号有损失,因此,可将第一频响与第二频响的比值,确定为音质补偿参数。
一些实施例中,也可以通过获取内部麦克风(FB MIC)处的频响确定音质补偿参数。
可以理解的是,耳膜处的频响与内部麦克风(FB MIC)处的频响具有一定的映射关系。若耳机泄露和不泄露的情况内部麦克风处的频响一致,则耳膜参考点处的频响也一致。因此,也可以通过内部麦克风(FB MIC)处的频响确定音质补偿参数。
具体的,耳机佩戴在标准人耳的情况下,在未开启反馈系统时采用扬声器播放第一信号,以获取内部麦克风处的第一频响;在开启反馈系统时采用扬声器播放第一信号,以获取内部麦克风处的第二频响;基于第一频响和第二频响确定音质补偿参数。
可以理解的是,用户在佩戴耳机后,外界声音(例如,车辆等环境声音,用户说话声音等)可能会通过耳机与耳道之间的缝隙进入耳道内。内部麦克风可能会采集到衰减后的外界声音。
上述图4所示的结构,反馈系统可能会将衰减后的外界声音消除,使得用户感知到的外界声音降低。
下面结合图9-图13对外界声音的处理进行说明。
示例性的,图9为本申请实施例提供的一种耳机的结构示意图。如图9所示,耳机包括:内部麦克风901、反馈滤波器902、第一音频处理单元903、扬声器904、第二音频处理单元905、外部麦克风906和音质校准控制器907。
其中,外部麦克风906与音质校准控制器907连接,内部麦克风901和音质校准控制器907均与第二音频处理单元905连接;第二音频处理单元905还与反馈滤波器902连接,而反馈滤波器902与第一音频处理单元903连接,第一音频处理单元903还与扬声器904连接。
外部麦克风906用于采集第一外界声音信号。第一外界声音信号可以包括第一环境声音信号和/或第一语音信号。外部麦克风可以为参考麦克风或通话麦克风。
内部麦克风901用于采集耳内声音信号。当耳机播放第一音频信号时,内部麦克风采集的耳内声音信号包括第二音频信号。第二音频信号的信号强度小于第一音频信号的信号强度。本申请实施例中,内部麦克风也可以称为后馈麦克风(feedback microphone,FBMIC),还可以称为误差麦克风。此处不做限定。
音质校准控制器907用于对第一外界声音信号进行处理,得到外界声音衰减信号。这样,确定外界声音衰减信号,方便后续外界声音分量的处理。
一些实施例中,音质校准控制器907可以对频率在20-1KHz之间的信号进行处理,或者可以对频率在20-600Hz之间的信号进行处理。
可能的实现方式中,耳机可以由满足后腔低阻的声学驱动单元、腔体以及阻尼网布组成。此处不做具体限定。这样,通过合适的硬件,减小声学泄露对外界声音信号的被动衰减的影响,降低外界声音衰减信号与第二外界声音信号差异,进而更好的还原、保留外界声音。
第二音频处理单元905用于根据音质校准控制器处理得到的外界声音衰减信号,将内部麦克风采集的耳内声音信号中的第二外界声音信号进行去除,得到第二音频信号。
这样,将第二外界声音信号去除,减少反馈系统对外界声音信号的消除,进而用户在佩戴耳机时可以感受到外界声音。
反馈滤波器902用于对第二音频信号进行处理,得到反相噪声信号。
第一音频处理单元903用于对第一音频信号和反相噪声信号进行混音处理,得到混音音频信号;混音音频信号与第一音频信号之比与下述函数的值反相关,函数包括:反馈滤波器的滤波函数K、第一音频信号的传递函数G、声学泄露函数L。
可选的,混音音频信号与第一音频信号之比满足
扬声器904用于播放混音音频信号。
可以理解的是,图9所示的耳机仅为本申请实施例提供的一种示例。在本申请的具体实现中,耳机可具有比示出的部件更多或更少的部件,可以组合两个或更多个部件,或者可具有部件的不同配置实现。需要说明的是,在一种可选的情况中,耳机的上述各个部件也可以耦合在一起设置。
基于图9所示的耳机的结构示意图,下面描述本申请实施例提供的声音信号的处理方法。图10为本申请实施例提供的声音信号的处理方法的流程示意图,该方法可以应用于图9所示的耳机中,且该耳机处于被用户佩戴的状态,该方法具体可以包括如下步骤:
S1001、外部麦克风采集外界声音信号。
S1002、音质校准控制器对外界声音信号进行处理,得到外界声音衰减信号。
在一些实施例中,第二模数转换单元的输出端还可以与音质校准控制器连接,第二模数转换单元对外界声音信号进行模数转换之后,还可以将模数转换后的第一外界声音信号传送给音质校准控制器进行处理。
在音质校准控制器中预先设置有音质校准参数,音质校准控制器基于设置的目标音质校准参数,对模数转换后的第一外界声音信号进行滤波处理,得到外界声音衰减信号。
在一种可能的实现方式中,音质校准控制器可将第一外界声音信号映射成被动衰减后的环境声音信号H1和被动衰减后的语音信号H2。这样,后续耳机设备也可以单独将从语音从耳内声音信号中去除,进而用户在佩戴耳机时可以感受到语音声音;或者单独将环境声音从耳内声音信号中去除,进而用户在佩戴耳机时可以感受到环境声音;或者,将外界声音信号从耳内声音信号中去除,进而用户在佩戴耳机时可以感受到外界声音。
一种情况,该音质校准参数可以为一个比例系数,该比例系数为大于0且小于1的正数。音质校准控制器计算第一外界声音信号与比例系数的乘积,得到外界声音衰减信号。
另一种情况,该音质校准参数可以为一个衰减参数,该衰减参数为正数。音质校准控制器计算第一外界声音信号与衰减参数的差值,得到外界声音衰减信号。
音质校准控制器在得到外界声音衰减信号之后,可以将外界声音衰减信号传送给第二音频处理单元进行处理。
S1003、内部麦克风采集耳内声音信号。
S1004、第二音频处理单元将耳内声音信号中的第二外界声音信号进行去除,得到第二音频信号。
S1005、反馈滤波器对第二音频信号进行处理,得到反相噪声信号。
S1006、第一音频处理单元对第一音频信号和反相噪声信号进行混音处理,得到混音音频信号。
本申请实施例中,混音音频信号与第一音频信号之比与下述函数的值反相关,函数包括:反馈滤波器的滤波函数K、第一音频信号的传递函数G、声学泄露函数L。这样,通过反馈系统可以缩小耳机在不同佩戴场景下耳内频响的差异,进而改善耳机的音质效果。此外,耳机在用户调整佩戴方式前后,用户感受到的音质效果差异小,甚至一致。
可选的,混音音频信号与第一音频信号之比满足
这样,可以进一步缩小耳机在不同佩戴场景下耳内频响的差异。并且方便计算,易于实现。
S1007、扬声器播放混音音频信号。
需要说明的是,S1005至S1007的原理与上述S702至S704的原理类似,为避免重复,在此不再赘述。
综上,通过反馈系统可以缩小耳机在不同佩戴场景下耳内频响的差异,进而实现在不同声学泄露场景中,耳内频响的一致性处理。在不同方式佩戴耳机时,使得用户可以感受的音质效果差异小,甚至一致。这样,将第二外界声音信号从耳内声音信号中去除,减少反馈系统对外界声音信号的消除,进而用户在佩戴耳机时可以感受到外界声音。对于二次佩戴调整依旧可以达到较好的音质效果,能够实时的根据佩戴去调整耳机的音质。
可选的,第一音频处理单元对第一音频信号和反相噪声信号进行混音处理包括:第一音频处理单元基于预先设置的音质补偿参数对第一音频信号和反相噪声信号进行混音处理。
这样,可以减少反馈系统对声音信号的损耗,提升耳机频响的还原度,提升音质效果和用户体验。
在一些实施例中,可通过预先测试,得到音质校准参数。
图11为本申请实施例提供的测试得到音质校准控制器的音质校准参数的测试流程示意图,参照图11所示,其可以包括如下步骤:
S1101、播放环境声以测试外部麦克风采集的第一测试信号的第一信号强度,以及内部麦克风采集的第二测试信号的第二信号强度。
S1102、将第一信号强度与第二信号强度的比值,作为音质校准控制器的音质校准参数。
测试人员在佩戴耳机后,外部麦克风采集的第一测试信号的第一信号强度为S1,以及内部麦克风采集的第二测试信号的第二信号强度为S2,则音质校准控制器的音质校准参数=|S1-S2|,此时,该音质校准参数可以为一个衰减参数。
因此,用户后续在佩戴耳机时,音质校准控制器可以计算外部麦克风采集的外界声音信号与该音质校准参数的差值,从而得到外界声音衰减信号,进而经过第二音频处理单元不包括第二外界声音信号,减少反馈滤波器对外界声音信号进行额外衰减。
如图12所示,分别示出了测试得到的第一测试信号与第二测试信号的示意图。其横坐标表示第一测试信号与第二测试信号的频率,单位为Hz,纵坐标表示第一测试信号与第二测试信号的信号强度,单位为dB(分贝),两者在纵轴方向上的差距就可以理解为音质校准控制器的音质校准参数。
在另一些实施例中,测试人员在佩戴耳机后,外部麦克风采集的第一测试信号的第一信号强度为S1,以及内部麦克风采集的第二测试信号的第二信号强度为S2,也可以将第二信号强度与第一信号强度的比值确定为音质校准控制器的音质校准参数,即音质校准控制器的音质校准参数=S2/S1,此时,该音质校准参数可以为一个比例系数,该比例系数为大于0且小于1的正数。
因此,用户后续在佩戴耳机时,音质校准控制器可以计算外部麦克风采集的外界声音信号与该音质校准参数的乘积,从而得到外界声音衰减信号,使得最终经过第二音频处理单元处理得到的信号不包括第二外界声音信号,减少反馈滤波器对第一外界声音信号进行额外衰减。
本申请实施例中,音质补偿参数的测试流程可以参照上述图8所示的流程,此处不再赘述。
在上述实施例的基础上,耳机还包括控制单元,控制单元用于调整音质补偿参数。第一音频处理单元还用于基于二次补偿参数,对第一音频信号进行二次补偿处理。
可以理解的是,上述反馈滤波器具有滤波器带宽,部分频段的反馈效果较好,部分频段的反馈效果较差。
当发生声学泄露时,低频信号的影响较高频信号影响较大。因此,声学泄露场景中,低频信号对应的频响值较低,反馈量较小,反馈效果较差。在不满足约束条件时,效果较差。因此,对不满足约束条件的频段对应的信号需进行二次补偿处理。
示例性的,图13为本申请实施例提供的一种内部麦克风处的频响噪声的示意图。其中,曲线1为未发生声学泄露且未开启反馈系统时内部麦克风处的频响值与频率对应的关系曲线;曲线2为未发生声学泄露且开启反馈系统时内部麦克风处的的频响值与频率对应的关系曲线;曲线3为未发生声学泄露且开启反馈系统和补偿功能时内部麦克风处的频响值与频率对应的关系曲线。
从图13中可以看出,曲线3在频率在20Hz-50Hz区间对应的频响值与曲线1在20Hz-50Hz之间对应的频响值差异较大。
可以理解的是,当声学泄露较高时,频率为20Hz-50Hz可能会不满足反馈系统的约束条件,即不满足GKL>>1。因此,第一音频处理单元可能会基于二次补偿参数音频信号进行二次补偿处理。
图14为本申请实施例提供的二次补偿参数的测试流程示意图,参照图14所示,其可以包括如下步骤:
S1401、在未开启反馈系统和音质补偿功能时,采用扬声器播放第三测试信号,以获取内部麦克风处的第三频响。
S1402、在开启反馈系统和音质补偿功能时,采用扬声器播放第三测试信号,以获取内部麦克风处的第四频响。
S1403、计算第三频响与第四频响的差值。
S1404、基于差值和第二阈值,调整二次补偿参数,直至在开启反馈系统和音质补偿功能时内部麦克风处的频响与第三频响之间的差值小于第二阈值,即|第三频响-第四频响|<第二阈值。第二阈值可以为0,也可以为接近于零的正数。此次不作限定。
这样,二次补偿处理后,使得耳机设备在播放第三测试信号时,20Hz-50Hz可以达到预设的频响值,进而耳机在声学泄露场景中可以有足够的低音下潜,提高低频信号的还原度。
在上述实施例的基础上,本申请实施例还提供一种耳机佩戴贴合度测试方法。
示例性的,图15为本申请实施例提供的一种佩戴贴合度测试流程示意图,参照图15所示,其可以包括如下步骤:
S1501、当用户佩戴耳机后,在关闭音质补偿功能、反馈滤波器、音质校准控制器时,采用扬声器播放第四测试信号,以获取内部麦克风处的第五频响。
S1502、开启音质补偿功能、反馈滤波器、音质校准控制器时,采用扬声器播放第四测试信号,以获取内部麦克风处的第六频响。
S1503、基于第五频响、第六频响、音质补偿参数和第三阈值确定佩戴贴合度。
本申请实施例中,当第五频响FR5、第六频响FR6、音质补偿参数E之差大于第三阈值,(即,FR5-FR6-E>第三阈值)时,佩戴贴合度良好。第五频响、第六频响、音质补偿参数之差小于或等于第三阈值(即,FR5-FR6-E≤第三阈值)时,佩戴贴合度差。
一些实施例中,耳机设备在R5-FR6-E≤第三阈值时,生成第一提示信息,以提示用户重新佩戴耳机,或者提示用户当前的佩戴情况。示例性的,耳机可以播放第一提示信息。也可以通过与耳机连接的终端设备显示第一提示信息。
一些实施例中,设置有第三阈值、第四阈值、第五阈值等多个阈值,以对佩戴贴合度进行进一步的区分。示例性的,FR5-FR6-E>第三阈值时,佩戴贴合度为100%;第四阈值<FR5-FR6-E≤第三阈值时,佩戴贴合度为75%;第五阈值<FR5-FR6-E≤第四阈值时,佩戴贴合度为50%。本申请实施例对于佩戴贴合度的具体划分不作限定。
可以理解的是,佩戴贴合度良好时,表示耳机在佩戴时未发生声学泄露或声学泄露较小;佩戴贴合度差时,表示耳机在佩戴时发生声学泄露较大。因此,可以通过反馈系统开启前后测得的频响确定佩戴贴合度。
示例性的,若反馈系统开启前后测得的频响的差异较大,表示耳机在佩戴时未发生声学泄露或声学泄露较小,佩戴贴合度良好;若反馈系统开启前后测得的频响的差异较小,表示耳机在佩戴时声学泄露较大,佩戴贴合度差。
可能的实现方式中,耳机或终端设备可以基于一个或多个特定频率(例如,80Hz,160Hz)对应的频响值确定佩戴贴合度;耳机或终端设备也可以基于某个频段(例如,80Hz-100Hz)对应的频响值确定佩戴贴合度。示例性的,图16为本申请实施例提供的一种内部麦克风处的频响噪声的示意图。曲线1和曲线2分别为未发生声学泄露时对应的第五频响曲线和第六频响曲线。曲线3和曲线4分别为发生声学泄露时对应的第五频响曲线和第六频响曲线。
从图16中可以看出,未发生声学泄露时,曲线1和曲线2频响值的差异较大。发生声学泄露时,曲线3和曲线4频响值的差异较小。
这样,通过两次测试得到的频响判断耳内的实际反馈效果,通过反馈效果确定佩戴贴合度,提高佩戴贴合度测试准确性。
一些实施例中,用户可以通过终端设备控制耳机佩戴贴合度测试的开启与关闭。或者,在耳机在进行佩戴检测时,自动测试佩戴贴合度。
在一种可能的实现方式中,参见图17所示,图17为本申请实施例提供的一种示例性的终端设备的控制界面。在一些实施例中,该控制界面可以认为是面向用户的输入界面,该输入界面上提供多种功能的控件,以使得用户通过控制相关控件实现对耳机的控制。
图17中的a所示的界面为终端设备上显示的第一界面170a,在第一界面170a上显示有二次补偿控件、佩戴贴合度测试控件,用户可以在第一界面170a上进行相应的操作,以进行佩戴贴合度测试。
当用户对第一界面170a上的佩戴贴合度测试控件输入第一操作时,该第一操作可以是用户对第一界面170a上的贴合度测试控件的选中操作,如单击操作、双击操作、长按操作等。终端设备响应于第一操作,跳转到如图17中的b所示的界面,并控制耳机执行上述图15的方法。
图17中的b所示的界面为终端设备上显示的第二界面170b,在第二界面170b上显示有佩戴贴合度测试中。当耳机测试结束时,终端设备跳转到如图17中的c所示的界面。图17中的c所示的界面为终端设备上显示的第三界面170c。在第三界面170c上显示有显示有贴合度标识。
这样,方便用户确定适配的耳帽等。
可能的实现方式中,当用户对第一界面170a上的二次补偿控件输入第二操作时,该第一操作可以是用户对第一界面170a上的二次补偿控件的选中操作,如单击操作、双击操作、长按操作等。终端设备响应于第二操作,跳转到如图17中的d所示的界面,控制耳机执行上述图14的方法以确定二次补偿参数,并基于二次补偿参数进行补偿。图17中的d所示的界面为终端设备上显示的第四界面170d,在第四界面170d上二次补偿功能已开启。
可以理解的是,用户可以基于上述佩戴贴合度测试,从多个耳机对应的耳帽中选取合适的耳帽。也可以基于上述佩戴贴合度测试,确定合适的佩戴方式等,还可以基于上述佩戴贴合度测试确定声学的密闭性。本申请实施例对于佩戴贴合度测试的具体使用场景不做限定。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。
Claims (17)
1.一种耳机设备,其特征在于,包括:扬声器、内部麦克风、第一音频处理单元、反馈滤波器,所述反馈滤波器位于所述内部麦克风与所述第一音频处理单元之间;
所述扬声器用于播放第一音频信号;
所述内部麦克风,用于采集耳内声音信号,所述耳内声音信号包括第二音频信号,所述第二音频信号的信号强度小于所述第一音频信号的信号强度;
所述反馈滤波器,用于对所述耳内声音信号进行处理,得到反相噪声信号;
所述第一音频处理单元,用于对所述第一音频信号和所述反相噪声信号进行混音处理,得到混音音频信号,所述混音音频信号与所述第一音频信号之比与下述函数的值反相关,所述函数包括:所述反馈滤波器的滤波函数K、所述第一音频信号的传递函数G、声学泄露函数L;
所述扬声器,用于播放所述混音音频信号。
2.根据权利要求1所述的耳机设备,其特征在于,所述混音音频信号与所述第一音频信号之比满足
3.根据权利要求1或2所述的耳机设备,其特征在于,所述第一音频处理单元具体用于基于预先存储的音质补偿参数对所述第一音频信号和所述反相噪声信号进行混音处理,得到混音音频信号;
所述音质补偿参数与第一频响和第二频响相关,所述第一频响为所述耳机设备在未开启所述反馈滤波器且播放第一信号时所述内部麦克风处的频响,所述第二频响为所述耳机设备在开启所述反馈滤波器且播放所述第一信号时所述内部麦克风处的频响。
4.根据权利要求3所述的耳机设备,其特征在于,所述音质补偿参数为所述第一频响与所述第二频响的比值。
5.根据权利要求1-4任一项所述的耳机设备,其特征在于,所述耳机设备还包括第二音频处理单元、外部麦克风和音质校准控制器;
所述外部麦克风用于采集第一外界声音信号;
所述音质校准控制器,用于对所述第一外界声音信号进行处理,得到外界声音衰减信号;
所述第二音频处理单元,用于根据所述外界声音衰减信号,对所述耳内声音信号中的第二外界声音信号进行去除,得到第二音频信号,所述第二音频信号的信号强度小于所述第一音频信号的信号强度;
所述反馈滤波器,具体用于对所述第二音频信号进行处理,得到反相噪声信号。
6.根据权利要求5所述的耳机设备,其特征在于,所述音质校准控制器具体用于根据音质校准参数对所述第一外界声音信号进行处理;
所述音质校准参数与第一信号强度和第二信号强度相关,所述第一信号强度为播放环境声时所述外部麦克风采集的第一测试信号的信号强度,所述第二信号强度为播放环境声时所述内部麦克风采集的第二测试信号的信号强度。
7.根据权利要求6所述的耳机设备,其特征在于,所述音质校准参数为比例系数,所述音质校准参数满足:
或者,所述音质校准参数为衰减参数,所述音质校准参数满足:|所述第一信号强度-所述第二信号强度|。
8.根据权利要求1-7任一项所述的耳机设备,其特征在于,所述第一音频处理单元还用于基于二次补偿参数对所述第一音频信号和所述反相噪声信号进行处理;
所述二次补偿参数与第三频响和第四频响相关,所述第三频响为所述耳机设备在未开启反馈滤波器且播放第三测试信号时所述内部麦克风处的频响,所述第四频响为所述耳机设备在开启反馈滤波器且播放第三测试信号时所述内部麦克风处的频响。
9.一种声音信号的处理方法,其特征在于,应用于如权利要求1-8任一项所述的耳机设备,所述方法包括:
所述扬声器播放所述第一音频信号;
所述内部麦克风采集所述耳内声音信号,所述耳内声音信号包括第二音频信号,所述第二音频信号的信号强度小于所述第一音频信号的信号强度;
所述反馈滤波器对所述第二音频信号进行处理,得到所述反相噪声信号;
所述第一音频处理单元对所述耳内声音信号和所述反相噪声信号进行混音处理,得到所述混音音频信号,所述混音音频信号与所述第一音频信号之比与下述函数的值反相关,所述函数包括:所述反馈滤波器的滤波函数K、所述第一音频信号的传递函数G、所述声学泄露函数L;
所述扬声器播放所述混音音频信号。
10.根据权利要求9所述的方法,其特征在于,所述混音音频信号与所述第一音频信号之比满足
11.根据权利要求9或10所述的方法,其特征在于,所述第一音频处理单元对所述第一音频信号和所述反相噪声信号进行混音处理,包括:
所述第一音频处理单元基于预先存储的音质补偿参数对所述第一音频信号和所述反相噪声信号进行混音处理,得到混音音频信号;
所述音质补偿参数与第一频响和第二频响相关,所述第一频响为所述耳机设备在未开启所述反馈滤波器且播放第一信号时所述内部麦克风处的频响,所述第二频响为所述耳机设备在开启所述反馈滤波器且播放所述第一信号时所述内部麦克风处的频响。
12.根据权利要求11所述的方法,其特征在于,所述音质补偿参数为所述第一频响与所述第二频响的比值。
13.根据权利要求9-12任一项所述的方法,其特征在于,所述方法还包括:
外部麦克风采集第一外界声音信号;
音质校准控制器对所述第一外界声音信号进行处理,得到外界声音衰减信号;
第二音频处理单元根据所述外界声音衰减信号,对所述耳内声音信号中的第二外界声音信号进行去除,得到第二音频信号,所述第二音频信号的信号强度小于所述第一音频信号的信号强度;
所述反馈滤波器对所述第二音频信号进行处理,得到反相噪声信号,包括:所述反馈滤波器对所述第二音频信号进行处理,得到所述反相噪声信号。
14.根据权利要求13所述的方法,其特征在于,所述音质校准控制器对所述第一外界声音信号进行处理,包括:
所述音质校准控制器根据音质校准参数对所述第一外界声音信号进行处理;
所述音质校准参数与第一信号强度和第二信号强度相关,所述第一信号强度为播放环境声时所述外部麦克风采集的第一测试信号的信号强度,所述第二信号强度为播放所述环境声时所述内部麦克风采集的第二测试信号的信号强度。
15.根据权利要求14所述的方法,其特征在于,所述音质校准参数为比例系数,所述音质校准参数满足:
或者,所述音质校准参数为衰减参数,所述音质校准参数满足:|所述第一信号强度-所述第二信号强度|。
16.根据权利要求9-15任一项所述的方法,其特征在于,所述方法还包括:
所述第一音频处理单元基于二次补偿参数对所述第一音频信号和所述反相噪声信号进行处理;
所述二次补偿参数与第三频响和第四频响相关,所述第三频响为所述耳机设备在未开启所述反馈滤波器且播放第三测试信号时所述内部麦克风处的频响,所述第四频响为所述耳机设备在开启所述反馈滤波器且播放所述第三测试信号时所述内部麦克风处的频响。
17.一种耳机设备佩戴贴合度测试方法,其特征在于,应用于如权利要求1-8任一项所述的耳机设备,所述方法包括:
所述耳机设备接收到用于指示测试佩戴贴合度的消息;
所述耳机设备在关闭音质补偿功能、所述反馈滤波器、音质校准控制器时,采用所述扬声器播放第四测试信号;
所述耳机设备获取所述内部麦克风处的第五频响;
所述耳机设备在开启所述音质补偿功能、所述反馈滤波器、所述音质校准控制器时,采用所述扬声器播放所述第四测试信号;
所述耳机设备获取所述内部麦克风处的第六频响;
当所述第五频响、所述第六频响、所述音质补偿功能对应的音质补偿参数之差小于或等于第三阈值时,所述耳机设备生成第一提示信息,所述第一提示信息用于提示用户重新佩戴耳机,或者用于提示用户当前佩戴情况。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211208432.2A CN116744169B (zh) | 2022-09-30 | 2022-09-30 | 耳机设备、声音信号的处理方法及佩戴贴合度测试方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211208432.2A CN116744169B (zh) | 2022-09-30 | 2022-09-30 | 耳机设备、声音信号的处理方法及佩戴贴合度测试方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116744169A true CN116744169A (zh) | 2023-09-12 |
CN116744169B CN116744169B (zh) | 2024-04-09 |
Family
ID=87912094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211208432.2A Active CN116744169B (zh) | 2022-09-30 | 2022-09-30 | 耳机设备、声音信号的处理方法及佩戴贴合度测试方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116744169B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150243271A1 (en) * | 2014-02-22 | 2015-08-27 | Apple Inc. | Active noise control with compensation for acoustic leak in personal listening devices |
US20170171657A1 (en) * | 2014-12-31 | 2017-06-15 | Goertek Inc. | Method and apparatus for earphone sound effect compensation and an earphone |
US10595151B1 (en) * | 2019-03-18 | 2020-03-17 | Cirrus Logic, Inc. | Compensation of own voice occlusion |
CN111010646A (zh) * | 2020-03-11 | 2020-04-14 | 恒玄科技(北京)有限公司 | 一种对耳机透传的方法、系统以及耳机 |
CN111935589A (zh) * | 2020-09-28 | 2020-11-13 | 深圳市汇顶科技股份有限公司 | 主动降噪的方法、装置、电子设备和芯片 |
CN113891205A (zh) * | 2021-09-18 | 2022-01-04 | 恒玄科技(上海)股份有限公司 | 一种补偿耳机泄漏的主动降噪方法、装置及耳机 |
WO2022048334A1 (zh) * | 2020-09-03 | 2022-03-10 | Oppo广东移动通信有限公司 | 检测方法、装置、耳机和可读存储介质 |
CN114450745A (zh) * | 2019-09-30 | 2022-05-06 | ams有限公司 | 用于耳戴式播放设备的音频系统和信号处理方法 |
CN114503602A (zh) * | 2019-09-30 | 2022-05-13 | ams有限公司 | 用于耳戴式播放设备的音频系统和信号处理方法 |
US11355096B1 (en) * | 2020-09-16 | 2022-06-07 | Apple Inc. | Adaptive feedback processing for consistent headphone acoustic noise cancellation |
-
2022
- 2022-09-30 CN CN202211208432.2A patent/CN116744169B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150243271A1 (en) * | 2014-02-22 | 2015-08-27 | Apple Inc. | Active noise control with compensation for acoustic leak in personal listening devices |
US20170171657A1 (en) * | 2014-12-31 | 2017-06-15 | Goertek Inc. | Method and apparatus for earphone sound effect compensation and an earphone |
US10595151B1 (en) * | 2019-03-18 | 2020-03-17 | Cirrus Logic, Inc. | Compensation of own voice occlusion |
CN114450745A (zh) * | 2019-09-30 | 2022-05-06 | ams有限公司 | 用于耳戴式播放设备的音频系统和信号处理方法 |
CN114503602A (zh) * | 2019-09-30 | 2022-05-13 | ams有限公司 | 用于耳戴式播放设备的音频系统和信号处理方法 |
CN111010646A (zh) * | 2020-03-11 | 2020-04-14 | 恒玄科技(北京)有限公司 | 一种对耳机透传的方法、系统以及耳机 |
WO2022048334A1 (zh) * | 2020-09-03 | 2022-03-10 | Oppo广东移动通信有限公司 | 检测方法、装置、耳机和可读存储介质 |
US11355096B1 (en) * | 2020-09-16 | 2022-06-07 | Apple Inc. | Adaptive feedback processing for consistent headphone acoustic noise cancellation |
CN111935589A (zh) * | 2020-09-28 | 2020-11-13 | 深圳市汇顶科技股份有限公司 | 主动降噪的方法、装置、电子设备和芯片 |
CN113891205A (zh) * | 2021-09-18 | 2022-01-04 | 恒玄科技(上海)股份有限公司 | 一种补偿耳机泄漏的主动降噪方法、装置及耳机 |
Also Published As
Publication number | Publication date |
---|---|
CN116744169B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106664498B (zh) | 用于产生与音频传输功能相关的头的人造耳装置及其相关方法 | |
US11259127B2 (en) | Hearing device adapted to provide an estimate of a user's own voice | |
JP2017513296A (ja) | 周波数依存側音較正 | |
US11463820B2 (en) | Hearing aid comprising a directional microphone system | |
US10993047B2 (en) | System and method for aiding hearing | |
CN109068217B (zh) | 一种入耳式耳机的侧音增强方法、装置及入耳式耳机 | |
US11330375B2 (en) | Method of adaptive mixing of uncorrelated or correlated noisy signals, and a hearing device | |
US10034087B2 (en) | Audio signal processing for listening devices | |
CN105744455B (zh) | 用于在外部拾取的麦克风信号上叠加空间听觉提示的方法 | |
US20220256296A1 (en) | Binaural hearing system comprising frequency transition | |
US20200007973A1 (en) | System and Method for Configuring Audio Signals to Compensate for Acoustic Changes of the Ear | |
EP4120698A1 (en) | A hearing aid comprising an ite-part adapted to be located in an ear canal of a user | |
CN116033312B (zh) | 耳机控制方法及耳机 | |
EP4047956A1 (en) | A hearing aid comprising an open loop gain estimator | |
CN116744169B (zh) | 耳机设备、声音信号的处理方法及佩戴贴合度测试方法 | |
US11991499B2 (en) | Hearing aid system comprising a database of acoustic transfer functions | |
CN115225997A (zh) | 一种声音播放方法、装置、耳机及存储介质 | |
US12003921B2 (en) | Hearing aid comprising an ITE-part adapted to be located in an ear canal of a user | |
KR102613033B1 (ko) | 머리전달함수 기반의 이어폰, 이를 포함하는 전화디바이스 및 이를 이용하는 통화방법 | |
WO2023093412A1 (zh) | 主动降噪的方法及电子设备 | |
EP4297436A1 (en) | A hearing aid comprising an active occlusion cancellation system and corresponding method | |
WO2023160275A1 (zh) | 声音信号的处理方法及耳机设备 | |
EP4199542A1 (en) | A hearing aid configured to perform a recd measurement | |
US20230143325A1 (en) | Hearing device or system comprising a noise control system | |
CN106664477A (zh) | 声音滤波系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |