CN115412803A - 音频信号补偿方法及装置、耳机、存储介质 - Google Patents
音频信号补偿方法及装置、耳机、存储介质 Download PDFInfo
- Publication number
- CN115412803A CN115412803A CN202110580650.8A CN202110580650A CN115412803A CN 115412803 A CN115412803 A CN 115412803A CN 202110580650 A CN202110580650 A CN 202110580650A CN 115412803 A CN115412803 A CN 115412803A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- compensation
- audio
- interactive
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 332
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000002452 interceptive effect Effects 0.000 claims abstract description 84
- 230000004044 response Effects 0.000 claims description 80
- 238000012360 testing method Methods 0.000 claims description 60
- 238000012937 correction Methods 0.000 claims description 49
- 230000007613 environmental effect Effects 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 claims 13
- 239000002131 composite material Substances 0.000 claims 1
- 230000002596 correlated effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- WYROLENTHWJFLR-ACLDMZEESA-N queuine Chemical compound C1=2C(=O)NC(N)=NC=2NC=C1CN[C@H]1C=C[C@H](O)[C@@H]1O WYROLENTHWJFLR-ACLDMZEESA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
一种音频信号补偿方法及装置、耳机、存储介质,该方法应用于耳机,该方法包括:输出交互音频信号,其中,该交互音频信号包括一个或多个音频片段,该一个或多个音频片段分别对应不同的音乐风格;获取针对每个音频片段的交互音频信号反馈的用户偏好信息;根据该用户偏好信息确定补偿参数,该补偿参数用于对待输出的目标音频信号进行补偿。实施本申请实施例,能够方便地为不同用户提供符合其听音偏好的个性化音频信号,提高了根据用户偏好进行音频信号补偿的灵活性和有效性。
Description
技术领域
本申请涉及音频处理技术领域,尤其涉及一种音频信号补偿方法及装置、耳机、存储介质。
背景技术
当前,耳机用户往往有着多样化的听音偏好,不同用户在面对不同的音频效果或风格(如摇滚音乐、古典音乐、电子音乐等)时,其喜好或不喜好的程度均可能有所不同。然而,在实践中发现,传统的耳机通常只能提供相对单一的音频信号调整(如音量调整、降噪等),或者依赖与其连接的音源设备来进行固定形式的音频信号补偿,导致音频信号补偿的灵活性和有效性较差。
发明内容
本申请实施例公开了一种音频信号补偿方法及装置、耳机、存储介质,能够方便地为不同用户提供符合其听音偏好的个性化音频信号,提高了根据用户偏好进行音频信号补偿的灵活性和有效性。
本申请实施例第一方面公开一种音频信号补偿方法,应用于耳机,所述方法包括:
输出交互音频信号,其中,所述交互音频信号包括一个或多个音频片段,所述一个或多个音频片段分别对应不同的音乐风格;
获取针对每个所述音频片段的交互音频信号反馈的用户偏好信息;
根据所述用户偏好信息确定补偿参数,所述补偿参数用于对待输出的目标音频信号进行补偿。
本申请实施例第二方面公开一种音频信号补偿装置,应用于耳机,所述音频信号补偿装置包括:
输出单元,用于输出交互音频信号,其中,所述交互音频信号包括一个或多个音频片段,所述一个或多个音频片段分别对应不同的音乐风格;
获取单元,用于获取针对每个所述音频片段的交互音频信号反馈的用户偏好信息;
补偿单元,用于根据所述用户偏好信息确定补偿参数,所述补偿参数用于对待输出的目标音频信号进行补偿。
本申请实施例第三方面公开了一种耳机,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如本申请实施例第一方面公开的任意一种音频信号补偿方法中的全部或部分步骤。
本申请实施例第四方面公开了一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序被处理器执行时实现如本申请实施例第一方面公开的任意一种音频信号补偿方法中的全部或部分步骤。
与相关技术相比,本申请实施例具有以下有益效果:
本申请实施例中,应用音频信号补偿方法的耳机可以输出交互音频信号,其中,该交互音频信号可以包括一个或多个音频片段的,该一个或多个音频片段可以分别对应不同的音乐风格,继而该耳机可以获取针对每个音频片段的交互音频信号反馈的用户偏好信息,并根据该用户偏好信息确定相应的补偿参数,该补偿参数可以用于对耳机接下来待输出的目标音频信号进行补偿。可见,实施本申请实施例,能够借助耳机方便地检测用户对不同音乐风格的偏好情况,以根据其偏好情况计算针对该用户的补偿参数,从而可以对待向用户输出的目标音频信号进行相应的音频信号补偿,提高了根据用户偏好进行音频信号补偿的灵活性和有效性,有利于实现为不同用户提供符合其听音偏好的个性化音频信号的效果,使得耳机播放的音频信号(尤其是音乐)可以呈现用户喜好的风格,满足不同用户的需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图进行简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例公开的音频信号补偿方法的一种应用场景示意图;
图1B是本申请实施例公开的音频信号补偿方法的另一种应用场景示意图;
图2是本申请实施例公开的一种音频信号补偿方法的流程示意图;
图3是本申请实施例公开的另一种音频信号补偿方法的流程示意图;
图4是本申请实施例公开的一种补偿滤波器的频率响应示意图;
图5是由图4所示的补偿滤波器进行音频信号补偿的效果示意图;
图6是本申请实施例公开的又一种音频信号补偿方法的流程示意图;
图7是本申请实施例公开的一种耳机的结构示意图;
图8是本申请实施例公开的一种系统频响校正的效果示意图;
图9是本申请实施例公开的一种经过系统频响校正后的系统脉冲响应变化效果示意图;
图10是本申请实施例公开的一种音频信号补偿装置的模块化示意图;
图11是本申请实施例公开的一种耳机的模块化示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开了一种音频信号补偿方法及装置、耳机、存储介质,能够方便地为不同用户提供符合其听音偏好的个性化音频信号,提高了根据用户偏好进行音频信号补偿的灵活性和有效性。
以下将结合附图进行详细描述。
请一并参阅图1A及图1B,图1A是本申请实施例公开的音频信号补偿方法的一种应用场景示意图,图1B则是本申请实施例公开的音频信号补偿方法的另一种应用场景示意图。如图1A所示,该应用场景可以包括用户10及耳机20,用户10可以通过该耳机20检测自身对不同音乐风格的听音偏好,即用户10在面对不同的音乐风格(如重低音、立体声等效果或者摇滚音乐、古典音乐、电子音乐等类型)的时候,其自身喜好或不喜好的程度,以使该耳机20可以准确地获取用户10的用户偏好信息。进一步地,该耳机20可以根据上述用户偏好信息进行相应的音频信号补偿,并输出经过补偿的目标音频信号,以使用户10能够收听到符合其听音偏好的个性化音频信号。
示例性地,当需要获取用户10的用户偏好信息,以进行相应的音频信号补偿时,用户10可以与耳机20进行交互,向该耳机20发出相应的检测指令,以触发该耳机20开始进行用户偏好信息检测。具体地,该检测可以利用一个或多个对应于不同音乐风格的音频片段来进行,即耳机20可以通过输出具有不同音乐风格的音频片段对应的交互音频信号,并采集用户10针对该交互音频信号的反馈情况,来评估用户10对不同音乐风格的偏好情况。
在本申请实施例中,耳机20可以输出交互音频信号,该交互音频信号可以包括上述一个或多个音频片段,各个音频片段可以分别对应于不同的音乐风格。在此基础上,耳机20可以获取用户10针对上述交互音频信号反馈的用户偏好信息,进而可以根据该用户偏好信息确定相应的补偿参数,以将该补偿参数用于对上述扬声器待输出的目标音频信号进行补偿。可见,上述方法能够借助耳机20方便地检测得到用户10对不同音乐风格的偏好情况,并根据其偏好情况计算针对该用户10的补偿参数,以在后续进行相应的音频信号补偿,有效提高了根据用户偏好信息进行音频信号补偿的灵活性和有效性,有利于实现为不同用户10提供符合其听音偏好的个性化音频信号的效果,使得耳机20播放的音频信号(尤其是音乐)呈现用户10喜好的风格,大大提升了用户10的耳机使用体验。
可选地,如图1B所示,耳机20还可以与终端设备30连接,从而当需要获取用户10的用户偏好信息时,用户10可以与终端设备30进行交互,以通过该终端设备30向耳机20发出相应的检测指令,触发该耳机20开始进行用户偏好信息检测。示例性地,上述终端设备30可以包括具备无线通信功能的各类设备或系统,如手机、智能可穿戴设备、车载终端、平板电脑、PC(Personal Computer,个人电脑)、PDA(Personal Digital Assistant,个人数字助理)等,本申请实施例中不作具体限定。需要说明的是,耳机20在获取用户10针对上述交互音频信号反馈的用户偏好信息时,可以是获取用户10直接通过该耳机20反馈的交互数据,并根据该交互数据得到相应的用户偏好信息;也可以是由终端设备30获取用户10反馈的交互数据并得到相应的用户偏好信息之后,耳机20再与该终端设备30进行通信,获取该终端设备30发送的上述用户偏好信息。
请参阅图2,图2是本申请实施例公开的一种音频信号补偿方法的流程示意图,该方法可以应用于上述的耳机。如图2所示,该音频信号补偿方法可以包括以下步骤:
202、输出交互音频信号,其中,该交互音频信号包括一个或多个音频片段,该一个或多个音频片段分别对应不同的音乐风格。
在本申请实施例中,用于检测用户偏好信息的音频片段可以分别对应不同的音乐风格。示例性地,上述音乐风格,可以包括各种类型的音频效果(如重低音效果、立体声效果等)或音乐类型(如摇滚音乐、古典音乐、电子音乐等)等,本申请实施例中不作具体限定。需要说明的是,每个音频片段可以仅对应于某一种音乐风格,也可以同时对应于多种音乐风格,各个音频片段对应的音乐风格分别可以与其相应的音频片段数据一起存储,例如存储在相应音频片段数据的文件头、存储为与相应音频片段数据绑定的标签等。
具体地,上述耳机可以通过其内置的扬声器对具有不同音乐风格的一个或多个音频片段的交互音频信号分别进行输出。在一些实施例中,上述音频片段可以存储在与该耳机连接的终端设备中,即以该终端设备作为音源设备,终端设备可以通过其与上述耳机之间的通信连接,将存储的音频片段数据传输至耳机。耳机在接收到该音频片段数据之后,可以解码并生成上述音频片段对应的音频信号,并将该音频信号作为用于检测用户偏好信息的交互音频信号,直接通过扬声器进行输出。可选地,耳机还可以对其生成的音频信号作进一步处理,如进行片段截取、增益调整、系统频响校正等,以得到更适于检测的交互音频信号,并最终进行输出。
在另一些实施例中,上述音频片段也可以存储在该耳机中,即以该耳机自身作为音源设备,耳机可以对其存储的具有不同音乐风格的一个或多个音频片段进行解码,并生成相应的交互音频信号,分别进行输出。
204、获取针对每个音频片段的交互音频信号反馈的用户偏好信息。
在本申请实施例中,耳机在向用户输出上述交互音频信号之后,可以进一步检测用户针对该交互音频信号的反馈情况,从而确定用户对不同音乐风格的偏好情况,进而得到相应的用户偏好信息。示例性地,上述反馈情况,可以包括用户针对某一交互音频信号而在交互端(如耳机、与该耳机连接的终端设备等)上执行反馈操作时,该交互端所采集到的交互数据。其中,该交互数据可以包括“喜好”“不喜好”或“无特别感受”等非量化数据,也可以包括“喜好”或“不喜好”的程度(如评分、百分比、等级等)等量化数据。
具体举例来说,用户在收听到耳机输出的上述一个或多个音频片段的交互音频信号之后,可以结合自身对不同音乐风格的听音偏好,分别针对每个交互音频信号在交互端上执行相应的反馈操作。在此基础上,交互端可以根据其检测到的反馈操作,采集得到相应的交互数据,并根据该交互数据分析确定出用户针对不同音乐风格的用户偏好信息。
在一种实施例中,当用户仅通过耳机获取上述用户偏好信息时,可以通过检测针对该耳机的反馈操作来实现。示例性地,针对该耳机的反馈操作可以包括触控操作、语音操作、移动操作等。
例如,当用户收听到交互音频信号时,可以触摸该耳机上指定的触控点,从而该耳机在检测到针对上述指定触控点的触控操作时,可以据此确定用户针对该交互音频信号的偏好情况,进而获取相应的用户偏好信息。
又例如,当用户收听到交互音频信号时,可以直接发出“好听”“不好听”等语音指令,从而该耳机可以对其检测到的语音指令进行解析,以确定用户针对该交互音频信号的偏好情况,并进一步获取相应的用户偏好信息。
再例如,用户还可以根据其收听到交互音频信号的不同偏好情况,进行不同方向的头部移动,从而该耳机可以通过传感器检测其自身的移动状态,以确定相应的用户偏好信息。具体举例来说,当用户收听到交互音频信号时,若喜好该交互音频信号,可以使头部左倾,以使耳机检测到向左移动的趋势;若不喜好该交互音频信号,则可以使头部右倾,以使该耳机检测到向右移动的趋势,进而耳机可以根据其检测到的移动趋势确定用户针对该交互音频信号的偏好情况,以获取相应的用户偏好信息。
在另一种实施例中,当用户还通过与耳机通信连接的终端设备来获取上述用户偏好信息时,也可以通过检测针对该终端设备的反馈操作来实现。示例性地,针对该终端设备的反馈操作可以包括触控操作、按钮点击操作等。当终端设备检测到上述反馈操作时,可以根据该反馈操作确定用户对相应的交互音频信号的偏好情况,并将该偏好情况发送至耳机。在此基础上,耳机可以根据其接收到的各种偏好情况,进一步获取该用户对不同音乐风格的用户偏好信息。
206、根据该用户偏好信息确定补偿参数,该补偿参数用于对待输出的目标音频信号进行补偿。
具体地,耳机可以通过其内置的处理器调用上述用户偏好信息,并根据该用户偏好信息分析用户的听音偏好,以确定需要对待输出的目标音频信号的不同频率分量所做的补偿。示例性地,若用户偏好低音风格,则耳机可以对待输出的目标音频信号的低频分量适当增强,同时对其高频分量适当衰减;若用户偏好金属音乐,则耳机可以对待输出的目标音频信号的高频分量适当增强,同时对其低频分量进行保留或衰减。
在需要对目标音频信号进行补偿时,根据上述用户偏好信息分析得到的该用户的听音偏好,耳机可以计算出相应的补偿参数,该补偿参数可以用于针对目标音频信号的不同频率分量,分别进行与用户的听音偏好相对应的补偿。示例性地,上述补偿参数可以包括补偿滤波器参数(如用于配置补偿滤波器的抽头系数、各个抽头的增益及其增益系数等),即耳机可以根据上述每个音频片段对应的用户偏好信息,分别计算出各个补偿滤波器对应的补偿滤波器参数,进而可以针对待输出的目标音频信号中需要补偿的频率分量,分别通过补偿滤波器参数来配置相应的补偿滤波器,以进行补偿滤波。具体举例来说,当需要对特定频段的音频信号进行补偿时,可以通过配置相应频带的带通滤波器或带阻滤波器进行补偿滤波;当需要对多个频段的音频信号进行较复杂的补偿时,也可以通过配置级联的FIR(Finite Impulse Response,有限长单位冲激响应)滤波器或IIR(Infinite ImpulseResponse,无限长单位冲激响应)滤波器来进行相应的补偿滤波。
可见,实施上述实施例所描述的音频信号补偿方法,能够借助耳机方便地检测用户对不同音乐风格的偏好情况,以根据其偏好情况计算针对该用户的补偿参数,从而可以对待向用户输出的目标音频信号进行相应的音频信号补偿,实现了为不同用户提供符合其听音偏好的个性化音频信号的效果,使得耳机播放的音频信号(尤其是音乐)呈现用户喜好的风格,大大提升了用户的耳机使用体验,同时也提高了根据用户偏好进行音频信号补偿的灵活性和有效性。
请参阅图3,图3是本申请实施例公开的另一种音频信号补偿方法的流程示意图,该方法可以应用于上述的耳机。如图3所示,该音频信号补偿方法可以包括以下步骤:
302、输出交互音频信号,其中,该交互音频信号包括一个或多个音频片段,该一个或多个音频片段分别对应不同的音乐风格。
304、获取针对每个音频片段的交互音频信号反馈的用户偏好信息。
其中,步骤302以及步骤304与上述步骤202以及步骤204类似,此处不再赘述。
306、确定与每个音频片段的音乐风格对应的补偿滤波器。
在本申请实施例中,每个音频片段可以仅对应于某一种音乐风格,也可以同时对应于多种音乐风格。进一步地,每种音乐风格也可以对应后续用于音频补偿的一个或多个补偿滤波器。其中,各个补偿滤波器可以分别针对待输出的目标音频信号中的不同频率分量进行补偿,从而通过配置相应的补偿滤波器,即可针对特定音乐风格所需补偿的一个或多个频率分量进行补偿,以满足用户对特定音乐风格的听音偏好。
具体地,耳机在获取针对每个音频片段的交互音频信号所反馈的用户偏好信息之后,可以先确定各个音频片段对应的音乐风格,并根据该音乐风格确定一个或多个需要进行音频补偿的频率点。在此基础上,耳机可以将以上述频率点为中心频率的补偿滤波器确定为与上述音乐风格对应的补偿滤波器,进而可以在后续步骤中利用这些补偿滤波器,对待输出的目标音频信号中与上述频率点对应的频率分量进行补偿。
308、根据每个音频片段对应的用户偏好信息,分别计算与每个音频片段对应的补偿滤波器的基础增益系数。
在本申请实施例中,根据每个音频片段对应的用户偏好信息,可以计算出与每个音频片段分别对应的补偿滤波器参数,以用于配置相应的补偿滤波器。其中,补偿滤波器参数可以包括增益系数,即针对目标音频信号中需补偿的频率分量对应的增益的权重。可以理解的是,上述补偿滤波器参数还可以包括增益、中心频率、品质因数等,进而可以根据这些具体的补偿滤波器参数计算出相应的补偿滤波器的抽头系数,从而可以唯一确定出相应的补偿滤波器。
针对上述增益系数,耳机在获取每个音频片段对应的用户偏好信息之后,可以先分别计算各个音频片段对应的补偿滤波器的基础增益系数。其中,该补偿滤波器为上述步骤306中确定出的补偿滤波器,补偿滤波器的基础增益系数与涉及该补偿滤波器的音频片段一一对应。进一步地,若上述每个音频片段仅对应于某一种音乐风格,则补偿滤波器的基础增益系数可以与涉及该补偿滤波器的音乐风格一一对应。在此基础上,耳机可以在后续步骤中根据每个补偿滤波器对应的各个基础增益系数,计算出其实际配置的综合增益系数。
示例性地,第j个补偿滤波器的基础增益系数可以用Aij来表示,其中i可以表示涉及该补偿滤波器的第i个音频片段,则根据上述用户偏好信息,尤其是涉及第j个补偿滤波器的P个音频片段对应的用户偏好信息,可以先计算出对应的P个基础增益系数Aij(P为自然数)。其中,当P大于0时,i=1,2,...,P。在此基础上,根据第j个补偿滤波器对应的P个基础增益系数Aij(i=1,2,...,P),可以在后续步骤中计算出据第j个补偿滤波器的综合增益系数AJ。
可选地,对于同一音频片段,其对应的各个补偿滤波器的基础增益系数之和可以为1,从而实现基础增益系数的归一化。示例性地,该约束条件可以如以下公式1所示。
公式1:
其中,Aij为第i个音频片段、第j个补偿滤波器对应的基础增益系数,该第i个音频片段可以对应于Q个补偿滤波器(Q为正整数),从而第i个音频片段对应的Q个基础增益系数之和可以为1。
310、基于每个补偿滤波器对应的一个或多个基础增益系数,计算每个补偿滤波器的综合增益系数,上述每个补偿滤波器对应的各个基础增益系数分别与不同的音乐风格对应。
在本申请实施例中,当耳机计算出每个音频片段对应的补偿滤波器的基础增益系数之后,可以基于每个补偿滤波器对应的一个或多个基础增益系数,分别计算出各个补偿滤波器实际配置的综合增益系数。示例性地,上述综合增益系数可以为其对应的各个基础增益系数的统计量,如均值、中位数、众数等。具体地,以均值为例,耳机可以基于第一补偿滤波器(即上述各个补偿滤波器中的任一补偿滤波器)对应的各个基础增益系数,计算出各个基础增益系数的均值,并将该均值确定为该第一补偿滤波器的综合增益系数,如以下公式2所示。
公式2:
其中,Aij为第i个音频片段、第j个补偿滤波器对应的基础增益系数,则第j个补偿滤波器的综合增益系数可以为该第j个补偿滤波器对应的P个基础增益系数的均值。
312、通过补偿滤波器参数配置对应的各个补偿滤波器,各个补偿滤波器用于对待输出的目标音频信号进行滤波补偿,其中,补偿滤波器参数包括上述增益系数。
其中,上述补偿滤波器参数除了包括增益系数之外,还可以包括增益、中心频率、品质因数等,进而可以根据这些具体的补偿滤波器参数计算出相应的补偿滤波器的抽头系数,以唯一确定出相应的补偿滤波器。在此基础上,通过上述补偿滤波器参数配置相应的各个补偿滤波器,可以对待输出的目标音频信号进行滤波补偿,以满足用户对特定音乐风格的听音偏好。
示例性地,请一并参阅图4及图5,当确定出上述补偿滤波器参数之后,由该补偿滤波器参数配置得到的补偿滤波器的频率响应可以如图4所示,而利用该补偿滤波器对耳机待输出的目标音频信号进行补偿的效果则可以如图5所示,其中,图5中的虚线表示进行滤波补偿前的系统频率响应,实线则表示进行滤波补偿后的系统频率响应。可见,在图4中频率点A处对应的补偿较小,则相应地在图5中频率点A附近的频率分量的滤波补偿效果不明显;图4中频率点B处对应的补偿较大,则相应地在图5中频率点B附近的频率分量的滤波补偿较明显。可以理解,针对不同的用户偏好信息,可以计算出相应的补偿滤波器参数,以配置相应的补偿滤波器,对该用户偏好信息涉及的音乐风格所对应的不同频率分量进行针对性的补偿,从而可以提高了根据用户偏好进行音频信号补偿的准确性和有效性。
可见,实施上述实施例所描述的音频信号补偿方法,能够借助耳机方便地检测用户对不同音乐风格的偏好情况,进而可以方便地为不同用户提供符合其听音偏好的个性化音频信号,提高了根据用户偏好进行音频信号补偿的灵活性和有效性;此外,通过配置相应的补偿滤波器,可以对耳机待输出的目标音频信号进行针对性的补偿,进一步提高了根据用户偏好进行音频信号补偿的准确性和有效性。
请参阅图6,图6是本申请实施例公开的又一种音频信号补偿方法的流程示意图,该方法可以应用于上述的耳机,该耳机具体可以包括扬声器、前馈麦克风以及反馈麦克风。如图6所示,该音频信号补偿方法可以包括以下步骤:
602、响应偏好检测指令,通过前馈麦克风采集环境音。
示例性地,上述偏好检测指令可以包括用户直接针对该耳机进行的检测触发操作(如指定的触控操作、语音操作、移动操作等),也可以包括用户针对与该耳机通信连接的终端设备进行的检测触发操作(如指定的触控操作、按钮点击操作等),且对于后者,终端设备在检测到检测触发操作时,还可以向上述耳机发出相应的偏好检测指令。在此基础上,当耳机检测到针对其自身的检测触发操作,或者接收到与其连接的终端设备发送的偏好检测指令时,则可以触发其前馈麦克风采集外界的环境音,以在后续步骤中评估环境音对于检测用户偏好信息的影响。
其中,本申请实施例公开的耳机可以如图7所示,该耳机除了包括扬声器71以及设置于该扬声器71前方的反馈麦克风72之外,还可以包括前馈麦克风73,该前馈麦克风73可以设置于扬声器71后方(即当用户佩戴该耳机时,前馈麦克风处于扬声器与外界环境之间),以通过该前馈麦克风73采集外界的环境音。
604、根据该环境音,计算得到环境音参数。
示例性地,环境音参数可以包括用于表征环境噪声强弱的各种参数,如声音强度、声音能量、声音功率等。在本申请实施例中,上述耳机在通过其前馈麦克风采集到环境音之后,可以对该环境音进行解析,以计算出其对应的环境音参数。
示例性地,以环境音参数包括声音能量为例,对于前馈麦克风采集到环境音,该耳机内置的处理器可以先按照单位窗口长度对该环境音进行加窗分割,得到至少一帧环境音子信号。其中,对环境音进行加窗分割所采用的窗函数可以包括矩形窗函数,也可以包括其他形态的窗函数,如三角窗函数、汉明窗函数等。优选地,为了减少加窗分割前后的计算量,可以仅采用矩形窗函数进行上述的加窗分割步骤。
在此基础上,该耳机内置的处理器可以分别计算每帧环境音子信号的短时平均能量,并对计算得到的短时平均能量进行平滑处理,得到该环境音对应的环境音参数。示例性地,在对每帧环境音子信号分别计算其短时平均能量时,可以采用如以下公式3所示的方式进行计算:
公式3:
其中,En表示第n帧(或n时刻的)环境音子信号的短时平均能量,n为离散时间,w(n-m)为窗函数w(n)的时移表示,x(m)表示各帧环境音子信号,N为单位窗口长度。通过计算环境音子信号的短时平均能量,能够快速确定某一帧环境音子信号的强弱,以便于在后续步骤中减少环境音参数相关计算的计算量。进一步地,在得到各帧环境音子信号的短时平均能量后,还可以采用如以下公式4所示的方式进行平滑处理:
公式4:
En(m)=α·En(m-1)+(1-α)·En(m),0<α<1
其中,En(m)为平滑后的音频信号能量,α则为进行上述指数平滑的系数。该耳机内置的处理器可以将上述平滑后的音频信号能量En(m)确定为上述环境音对应的环境音参数。
606、若环境音参数低于环境音阈值,则根据该环境音的声音强度,确定扬声器输出测试音频信号的测试声音强度。
示例性地,耳机可以将上述环境音参数与环境音阈值(如5dB、10dB等)进行比较,并可以根据比较结果确定是否继续执行后续步骤。具体地,若环境音参数低于环境音阈值,则表示该耳机所处环境的环境音影响较小,可以继续执行后续的听力检测等步骤;若环境音参数高于环境音阈值,则表示该耳机所处环境的环境音影响较大,可以中止执行后续步骤。可选地,当判断出环境音参数高于环境音阈值时,该耳机可以通过扬声器输出相应的提醒信息,以提醒用户更换至环境音较小(尤其是环境噪声较小)的环境,以减小环境音对后续的用户偏好信息检测等步骤的影响,确保根据用户偏好信息进行音频信号补偿的准确性和可靠性。
在本申请实施例中,耳机在判断出环境音参数低于环境音阈值时,可以进一步确定扬声器后续输出测试音频信号的测试声音强度。示例性地,测试音频信号可以包括白噪声信号,该白噪声信号的测试声音强度可以与上述前馈麦克风采集到的环境音的声音强度成正相关关系。在此基础上,该耳机可以根据该环境音的声音强度,以及指定的正相关函数关系,计算出白噪声信号对应的测试声音强度,以便在后续步骤中输出具备该测试声音强度的白噪声信号,以提高音频信号的信噪比,避免环境音对后续的系统频响校正造成干扰。
608、通过扬声器输出具备该测试声音强度的测试音频信号。
在本申请实施例中,当需要获取用户对于不同音乐风格的用户偏好信息时,在耳机输出实际的交互音频信号之前,该耳机还可以先通过其扬声器输出测试音频信号。其中,该测试音频信号可以包括一小段短暂的音频信号,用于在该耳机所处的音频系统(即耳机输出的音频信号在耳机与用户之间传输的通路)中进行传输,并被反馈麦克风所接收,以计算该音频系统对应的系统频率响应。可以理解,由于反馈麦克风处于扬声器与用户之间,上述音频系统也可以由音频信号在该扬声器以及反馈麦克风之间传输的通路来近似替代。通过计算该音频系统的系统频率响应,可以确定音频信号在该音频系统的传输过程中所受到的环境影响,进而可以在后续步骤中针对该系统频率响应进行校正,以得到经过系统频响校正的交互音频信号。
作为一种可选的实施方式,在耳机通过其扬声器输出测试音频信号时,还可以考虑耳机所处环境中的环境音的影响,若环境音的声音强度较大,则所输出的测试音频信号的声音强度也应当增大,以提高音频信号的信噪比,避免环境音对系统频响校正造成干扰。
610、通过反馈麦克风采集该测试音频信号对应的接收音频信号。
在本申请实施例中,当耳机通过扬声器输出上述测试音频信号之后,可以立即获取其内置的反馈麦克风所采集的与该测试音频信号对应的接收音频信号。可以理解,耳机的反馈麦克风可以持续采集音频信号,从而可以根据扬声器输出上述测试音频信号的时间戳,获取反馈麦克风在该时间戳附近(如延后0.01毫秒、延后0.1毫秒等)的时刻所采集到的接收音频信号。在一些实施例中,耳机的反馈麦克风也可以不持续开启,而是在扬声器输出上述测试音频信号之后,由该扬声器触发开启,并将该反馈麦克风开启后采集到的音频信号作为与上述测试音频信号对应的接收音频信号。可选地,对于通过反馈麦克风采集到的接收音频信号,耳机还可以利用其内置的处理器,将上述扬声器输出的测试音频信号与该接收音频信号进行波形对比,当对比结果表示该测试音频信号与该接收音频信号的波形相似度满足相似度阈值(如50%、80%等)时,可以将该接收音频信号确认为与上述测试音频信号对应的接收音频信号。
612、根据该测试音频信号以及接收音频信号,计算得到系统校正参数。
在本申请实施例中,耳机可以先根据上述测试音频信号以及接收音频信号,计算得到该耳机所处的音频系统的系统频率响应,以确定音频信号在该音频系统的传输过程中所受到的环境影响。在此基础上,耳机可以基于该系统频率响应,进一步计算该系统频率响应对应的系统校正参数。其中,该系统校正参数可以包括滤波器参数(如用于配置滤波器的抽头系数等)、均衡器参数(如用于配置均衡器中所包含的滤波器的抽头系数、增益系数等)等,以用于对上述音频系统的系统频率响应进行校正,以尽可能消除音频信号在音频系统的传输过程中所受到的环境影响。
示例性地,耳机在根据上述测试音频信号以及接收音频信号计算系统校正参数时,可以先分别对上述测试音频信号以及接收音频信号进行傅里叶变换,再将进行傅里叶变换后的接收音频信号与测试音频信号相比,得到系统频率响应。具体地,耳机内置的处理器可以先对上述测试音频信号以及接收音频信号进行分帧加窗处理,即,将宏观上不平稳的音频信号分割为具备短时平稳性的多个音频信号帧(如帧长为10~30毫秒的音频信号帧),再根据指定的窗函数对上述音频信号帧进行加窗截断,得到每一帧测试音频信号以及接收音频信号。示例性地,加窗截断可以通过如公式5所示的窗函数来实现:
公式5:
w(n)=1,0≤n≤N-1;
w(n)=0,其他
其中,分段函数w(n)为窗函数,N为单位窗口长度。通过将上述测试音频信号或接收音频信号与该窗函数进行时域上的卷积,即可实现加窗截断的效果。
在此基础上,对分帧加窗后得到的某一帧测试音频信号或接收音频信号,可以通过FFT(Fast Fourier Transform,快速傅里叶变换)等算法进行短时傅里叶变换,其表达式可以如以下公式6所示:
公式6:
其中,n为离散时间,连续频率ω=2πk/N,k=0,1,...,N-1,N为傅里叶变换长度,x(m)则为第m帧音频信号。在此基础上,将进行傅里叶变换后的接收音频信号与测试音频信号相比,即可得到系统频率响应,即系统频率响应H(k)可以由频域接收音频信号Y(k)与频域测试音频信号X(k)的比Y(k)/X(k)得到。
进一步地,该耳机还可以基于最小二乘准则,根据上述系统频率响应计算得到目标均衡器参数,其中,上述目标均衡参数可以包括用于配置目标均衡器中所包含的滤波器的抽头系数、增益系数等。通过由该目标均衡器参数配置得到的目标均衡器,可以在后续步骤中对初始音频信号进行均衡校正,以得到交互音频信号。可选地,该目标均衡器可以包括由FIR(有限长单位冲激响应)滤波器组成的均衡器,从而可以采用正则化滤波器、理想带通滤波器等,并基于上述最小二乘准则以及通过正则化滤波器使均衡误差最小化的目标设计目标均衡器,示例性地,该目标均衡器的响应M(k)在频域上的表达式可以如以下公式7所示:
公式7:
其中,H(k)为上述系统频率响应,D(k)可以表示理想带通滤波器响应的傅里叶变换,B(k)则可以表示正则化滤波器响应的傅里叶变换,β可以表示该正则化滤波器的加权标量。通过配置上述FIR均衡器,可以实现以平直幅频响应为目标的幅度均衡和以线性相位为目标的相位均衡。
614、根据系统校正参数分别对一个或多个音频片段的初始音频信号进行系统频响校正,得到交互音频信号。
在本申请实施例中,通过对一个或多个音频片段的初始音频信号进行系统频响校正,耳机可以得到与该初始音频信号对应的交互音频信号。其中,上述系统频响校正可以尽可能消除音频信号在音频系统的传输过程中所受到的影响,使得耳机实际输出的交互音频信号在经过传输并被用户收听到之后,用户所收听到的音频信号可以尽可能还原上述初始音频信号。需要说明的是,上述音频系统,指的是耳机输出的音频信号在耳机与用户之间传输的通路。示例性地,该耳机可以包括扬声器以及反馈麦克风,当用户佩戴该耳机时,该反馈麦克风处于扬声器与用户之间,从而上述音频系统也可以通过音频信号在该扬声器以及反馈麦克风之间传输的通路来近似替代。通过进行上述系统频响校正,可以提升音频系统对音频信号传输的保真度,尽可能将后续经过传输的交互音频信号还原为初始音频信号,从而提升获取用户偏好信息的准确性和可靠性。
需要说明的是,当采用如上述实施例中示例的系统校正参数计算方法计算得到上述目标均衡器参数时,该耳机具体可以通过由该目标均衡器参数配置得到的目标均衡器来对初始音频信号进行均衡校正,进而得到校正音频信号。示例性地,如图8所示,图8是本申请实施例公开的一种系统频响校正的效果示意图,其中虚线表示进行系统频响校正前的系统频率响应,实线则表示进行系统频响校正后的系统频率响应。可见,通过进行上述系统频响校正,可以使得系统频率响应更加平直,并保持线性相位,有利于尽可能消除音频信号在传输过程中所受到的环境影响。另一方面,如图9所示,图9是本申请实施例公开的一种经过系统频响校正后的系统脉冲响应变化效果示意图,其中虚线表示进行系统频响校正前的系统脉冲响应,实线则表示进行系统频响校正后额系统脉冲响应。可见,通过进行上述系统频响校正,可以使得时域上的系统脉冲响应在脉冲之后衰减更快,有效降低了多径干扰,使得后续经过传输的交互音频信号更接近初始音频信号,有助于提高音频信号的保真度。
616、输出交互音频信号,其中,该交互音频信号包括一个或多个音频片段,该一个或多个音频片段分别对应不同的音乐风格。
618、获取针对每个音频片段的交互音频信号反馈的用户偏好信息。
其中,步骤616以及步骤618与上述步骤202以及步骤204类似,此处不再赘述。
620、根据每个音频片段对应的用户偏好信息,计算各个补偿滤波器对应的补偿滤波器参数。
其中,补偿滤波器参数可以包括上述实施例中涉及的增益系数,此外还可以包括其他参数,如增益Gain值、品质因素Q值等,从而根据上述补偿滤波器参数可以唯一确定出相应的补偿滤波器。
可选地,通过上述补偿滤波器参数配置得到的补偿滤波器可以包括IIR(无限长单位冲激响应)滤波器,当需要针对某个频率分量进行音频信号补偿时,可以通过一个IIR滤波器来实现。示例性地,当采用二阶IIR滤波器作为补偿滤波器时,该二阶IIR滤波器可以通过公式8所示的差分方程表示如下:
公式8:
其中,a0=1+α/A,a1=-2cos(w0),a2=1-α/A,b0=1+α·A,b1=-2cos(w0),b2=1-α·A;进一步地,w0=2πf0/fs,A=10Gain/40,α=sin(w0)/(2Q),其中f0为补偿滤波器的中心频率,fs为待输出的目标音频信号的采样率,Gain值为该补偿滤波器的增益,A则为增益系数(即针对目标音频信号中需补偿的频率分量对应的增益的权重),Q值为该补偿滤波器的的品质因数。
622、通过补偿滤波器参数配置对应的各个补偿滤波器,各个补偿滤波器用于对待输出的目标音频信号进行滤波补偿。
在本申请实施例中,该耳机可以基于上述补偿滤波器参数配置得到相应的各个补偿滤波器。示例性地,当该耳机获取上述用户偏好信息之后,可以根据该用户偏好信息涉及的音乐风格所对应的一个或多个需要进行音频补偿的频率点,确定补偿滤波器的中心频率f0,以及该耳机通过扬声器待输出的目标音频信号的采样率fs。进一步地,该耳机可以根据该用户偏好信息确定出匹配的补偿等级,并进一步获取该补偿等级对应的目标补偿滤波器的增益Gain值和品质因数Q值;也可以采用统一默认的增益Gain值和品质因数Q值。在此基础上,根据上述补偿滤波器参数配置得到的各个补偿滤波器,可以用于对扬声器待输出的目标音频信号进行滤波补偿。
作为一种可选地实施方式,对于需要配置多个补偿滤波器的情况,该耳机可以先根据上述用户偏好信息计算出与该用户偏好信息对应的多组补偿滤波器参数,并由该多组补偿滤波器参数配置得到多个补偿滤波器。示例性地,若存在M个补偿滤波器,即根据上述用户偏好信息可以计算出M组补偿滤波器参数(实际上对应于M个频率点),则该耳机可以根据每个待检测频率点对应的补偿滤波器参数配置相应的M个补偿滤波器。在此基础上,该耳机可以将上述M个目标补偿滤波器进行级联,从而可以通过级联的M个补偿滤波器共同对待输出的目标音频信号进行滤波补偿。
可见,实施上述实施例所描述的音频信号补偿方法,能够借助耳机方便地检测用户对不同音乐风格的偏好情况,进而可以方便地为不同用户提供符合其听音偏好的个性化音频信号,提高了根据用户偏好进行音频信号补偿的灵活性和有效性;此外,通过借助简单的交互操作,无需在静音房或消声室等专门环境即可实现针对用户的偏好检测,并获取相对准确的用户偏好信息,有利于提升根据用户偏好信息进行音频信号补偿的灵活性和便利性;此外,通过滤波补偿的方式,能够有效地对待输出的目标音频信号进行实时补偿,进一步提高了根据用户偏好信息进行音频信号补偿的灵活性和准确性。
请参阅图10,图10是本申请实施例公开的一种音频信号补偿装置的模块化示意图,该音频信号补偿装置可以应用于上述的耳机,该耳机可以包括扬声器、反馈麦克风以及前馈麦克风。如图10所示,该音频信号补偿装置可以包括输出单元1001、获取单元1002以及补偿单元1003,其中:
输出单元1001,用于输出交互音频信号,其中,该交互音频信号包括一个或多个音频片段,该一个或多个音频片段分别对应不同的音乐风格;
获取单元1002,用于获取针对每个音频片段的交互音频信号反馈的用户偏好信息;
补偿单元1003,用于根据用户偏好信息确定补偿参数,该补偿参数用于对待输出的目标音频信号进行补偿。
可见,采用上述实施例所描述的音频信号补偿装置,能够借助耳机方便地检测用户对不同音乐风格的偏好情况,以根据其偏好情况计算针对该用户的补偿参数,从而可以对待向用户输出的目标音频信号进行相应的音频信号补偿,实现了为不同用户提供符合其听音偏好的个性化音频信号的效果,使得耳机播放的音频信号(尤其是音乐)呈现用户喜好的风格,大大提升了用户的耳机使用体验,同时也提高了根据用户偏好进行音频信号补偿的灵活性和有效性。
在一种实施例中,上述补偿参数可以包括补偿滤波器参数,该音频信号补偿装置还可以包括未图示的配置单元,其中:
上述补偿单元1003,具体可以用于根据每个音频片段对应的用户偏好信息,计算各个补偿滤波器对应的补偿滤波器参数;
配置单元,可以用于通过补偿滤波器参数配置对应的各个补偿滤波器,各个补偿滤波器用于对待输出的目标音频信号进行滤波补偿。
在一种实施例中,上述补偿滤波器参数可以包括增益系数,上述补偿单元1003可以包括未图示的确定子单元、第一计算子单元以及第二计算子单元,其中:
确定子单元,用于确定与每个音频片段的音乐风格对应的补偿滤波器;
第一计算子单元,用于根据每个音频片段对应的用户偏好信息,分别计算与每个音频片段对应的补偿滤波器的基础增益系数;
第二计算子单元,用于基于每个补偿滤波器对应的各个基础增益系数,计算每个补偿滤波器的综合增益系数,每个补偿滤波器对应的各个基础增益系数分别与不同的音乐风格对应。
在一种实施例中,上述第二计算子单元,具体可以基于第一补偿滤波器对应的各个基础增益系数,计算各个基础增益系数的均值,并将该均值确定为第一补偿滤波器的综合增益系数,
其中,同一音频片段对应的所有补偿滤波器的基础增益系数之和可以为1。
其中,上述补偿滤波器可以包括无限长单位冲激响应IIR滤波器。
可选地,若存在M个补偿滤波器,则可以将该M个补偿滤波器进行级联,其中,M为大于或等于1的正整数。
可见,采用上述实施例所描述的音频信号补偿装置,通过配置相应的补偿滤波器,可以对耳机待输出的目标音频信号进行针对性的补偿,进一步提高了根据用户偏好进行音频信号补偿的准确性和有效性。
在一种实施例中,图10所示的音频信号补偿装置还可以包括未图示的频响校正单元,该频响校正单元可以用于分别对一个或多个音频片段的初始音频信号进行系统频响校正,得到上述交互音频信号。
在一种实施例中,该音频信号补偿装置还可以包括未图示的接收单元以及计算单元,其中:
上述输出单元1001,还可以用于在频响校正单元分别对一个或多个音频片段的初始音频信号进行系统频响校正,得到上述交互音频信号之前,通过扬声器输出测试音频信号;
接收单元,用于通过反馈麦克风采集测试音频信号对应的接收音频信号;
计算单元,用于根据测试音频信号以及接收音频信号,计算得到系统校正参数;
上述频响校正单元,具体可以用于根据系统校正参数分别对一个或多个音频片段的初始音频信号进行系统频响校正,得到交互音频信号。
在一种实施例中,该音频信号补偿装置还可以包括未图示的确定单元,其中:
上述接收单元,还可以用于在上述输出单元1001通过扬声器输出测试音频信号之前,通过前馈麦克风采集环境音;
确定单元,用于根据该环境音的环境声音强度,确定扬声器输出测试音频信号的测试声音强度;
上述输出单元1001,具体可以用于通过扬声器输出具备该测试声音强度的测试音频信号。
示例性地,该测试音频信号可以包括白噪声信号,该白噪声信号的测试声音强度可以与前馈麦克风采集到的环境音的环境声音强度成正相关关系。
在一种实施例中,上述系统校正参数可以包括目标均衡器参数,上述计算单元具体可以用于分别对测试音频信号以及接收音频信号进行傅里叶变换;将进行傅里叶变换后的接收音频信号与测试音频信号相比,得到系统频率响应;基于最小二乘准则,根据上述系统频率响应计算得到目标均衡器参数;
上述频响校正单元,具体可以通过由目标均衡器参数配置得到的目标均衡器对初始音频信号进行均衡校正,得到校正音频信号。
示例性地,上述目标均衡器可以包括由有限长单位冲激响应FIR滤波器组成的均衡器。
在一种实施例中,上述接收单元,还可以用于在频响校正单元分别对一个或多个音频片段的初始音频信号进行系统频响校正,得到上述交互音频信号之前,响应偏好检测指令,通过前馈麦克风采集环境音;
上述计算单元,还可以用于根据该环境音,计算得到环境音参数,若该环境音参数低于环境音阈值,则触发频响校正单元901执行对初始音频信号进行系统频响校正,得到校正音频信号的步骤。
其中,上述计算单元,具体可以按照单位窗口长度对环境音进行加窗分割,得到至少一帧环境音子信号;分别计算每帧环境音子信号的短时平均能量;对每帧环境音子信号的短时平均能量进行平滑处理,得到上述环境音对应的环境音参数。
可见,采用上述实施例所描述的音频信号补偿装置,能够借助耳机方便地检测用户对不同音乐风格的偏好情况,进而可以方便地为不同用户提供符合其听音偏好的个性化音频信号,提高了根据用户偏好进行音频信号补偿的灵活性和有效性;此外,通过借助简单的交互操作,无需在静音房或消声室等专门环境即可实现针对用户的偏好检测,并获取相对准确的用户偏好信息,有利于提升根据用户偏好信息进行音频信号补偿的灵活性和便利性;此外,通过滤波补偿的方式,能够有效地对待输出的目标音频信号进行实时补偿,进一步提高了根据用户偏好信息进行音频信号补偿的灵活性和准确性。
请参阅图11,图11是本申请实施例公开的一种耳机的模块化示意图。如图11所示,该耳机可以包括:
存储有可执行程序代码的存储器1101;
与存储器1101耦合的处理器1102;
其中,处理器1102调用存储器1101中存储的可执行程序代码,可以执行上述实施例所描述的任意一种音频信号补偿方法中的全部或部分步骤。
此外,本申请实施例进一步公开了一种计算机可读存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机可以执行上述实施例所描述的任意一种音频信号补偿方法中的全部或部分步骤。
此外,本申请实施例进一步公开一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机可以执行上述实施例所描述的任意一种音频信号补偿方法中的全部或部分步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种音频信号补偿方法及装置、耳机、存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (18)
1.一种音频信号补偿方法,其特征在于,应用于耳机,所述方法包括:
输出交互音频信号,其中,所述交互音频信号包括一个或多个音频片段,所述一个或多个音频片段分别对应不同的音乐风格;
获取针对每个所述音频片段的交互音频信号反馈的用户偏好信息;
根据所述用户偏好信息确定补偿参数,所述补偿参数用于对待输出的目标音频信号进行补偿。
2.根据权利要求1所述的方法,其特征在于,所述补偿参数包括补偿滤波器参数,所述根据所述用户偏好信息确定补偿参数,包括:
根据每个所述音频片段对应的用户偏好信息,计算各个补偿滤波器对应的补偿滤波器参数;
所述方法还包括:
通过所述各个补偿滤波器对应的补偿滤波器参数配置所述各个补偿滤波器,所述各个补偿滤波器用于对待输出的目标音频信号进行滤波补偿。
3.根据权利要求2所述的方法,其特征在于,所述补偿滤波器参数包括增益系数,所述根据每个所述音频片段对应的用户偏好信息,计算各个补偿滤波器对应的补偿滤波器参数,包括:
确定与每个音频片段的音乐风格对应的补偿滤波器;
根据每个音频片段对应的用户偏好信息,分别计算与所述每个音频片段对应的补偿滤波器的基础增益系数;
基于每个补偿滤波器对应的一个或多个基础增益系数,计算所述每个补偿滤波器的综合增益系数,所述每个补偿滤波器对应的各个基础增益系数分别与不同的音乐风格对应。
4.根据权利要求3所述的方法,其特征在于,所述基于每个补偿滤波器对应的各个基础增益系数,计算所述每个补偿滤波器的综合增益系数,包括:
基于第一补偿滤波器对应的各个基础增益系数,计算所述各个基础增益系数的均值,并将所述均值确定为所述第一补偿滤波器的综合增益系数,所述第一补偿滤波器为所述各个补偿滤波器中的任一补偿滤波器。
5.根据权利要求3所述的方法,其特征在于,同一所述音频片段对应的所有补偿滤波器的基础增益系数之和为1。
6.根据权利要求2至5任一项所述的方法,其特征在于,所述补偿滤波器包括无限长单位冲激响应IIR滤波器。
7.根据权利要求2至5任一项所述的方法,其特征在于,在所述通过所述补偿滤波器参数配置对应的各个所述补偿滤波器之后,所述方法还包括:
若存在M个补偿滤波器,将所述M个补偿滤波器进行级联,其中,M为大于或等于1的正整数。
8.根据权利要求1至5任一项所述的方法,其特征在于,在所述输出交互音频信号之前,所述方法还包括:
分别对一个或多个音频片段的初始音频信号进行系统频响校正,得到交互音频信号。
9.根据权利要求8所述的方法,其特征在于,所述耳机包括扬声器及反馈麦克风,在所述分别对一个或多个音频片段的初始音频信号进行系统频响校正,得到交互音频信号之前,所述方法还包括:
通过所述扬声器输出测试音频信号;
通过所述反馈麦克风采集所述测试音频信号对应的接收音频信号;
根据所述测试音频信号以及所述接收音频信号,计算得到系统校正参数;
所述分别对一个或多个音频片段的初始音频信号进行系统频响校正,得到交互音频信号,包括:
根据所述系统校正参数分别对所述一个或多个音频片段的初始音频信号进行系统频响校正,得到所述交互音频信号。
10.根据权利要求9所述的方法,其特征在于,所述耳机还包括前馈麦克风,在所述通过所述扬声器输出测试音频信号之前,所述方法还包括:
通过所述前馈麦克风采集环境音;
根据所述环境音的环境声音强度,确定所述扬声器输出所述测试音频信号的测试声音强度;
所述通过所述扬声器输出测试音频信号,包括:
通过所述扬声器输出具备所述测试声音强度的测试音频信号。
11.根据权利要求10所述的方法,其特征在于,所述测试音频信号包括白噪声信号,所述白噪声信号的测试声音强度与所述前馈麦克风采集到的环境音的环境声音强度成正相关关系。
12.根据权利要求9所述的方法,其特征在于,所述系统校正参数包括目标均衡器参数,所述根据所述测试音频信号以及所述接收音频信号,计算得到系统校正参数,包括:
分别对所述测试音频信号以及所述接收音频信号进行傅里叶变换;
计算变换后的接收音频信号与变换后的测试音频信号之间的比,得到系统频率响应;
基于最小二乘准则,根据所述系统频率响应计算得到所述目标均衡器参数;
所述根据所述系统校正参数分别对所述一个或多个音频片段的初始音频信号进行系统频响校正,得到所述交互音频信号,包括:
通过由所述目标均衡器参数配置得到的目标均衡器分别对所述一个或多个音频片段的初始音频信号进行系统频响校正,得到所述交互音频信号。
13.根据权利要求12所述的方法,其特征在于,所述目标均衡器包括由有限长单位冲激响应FIR滤波器组成的均衡器。
14.根据权利要求8所述的方法,其特征在于,所述耳机包括前馈麦克风,在所述分别对一个或多个音频片段的初始音频信号进行系统频响校正,得到交互音频信号之前,所述方法还包括:
响应偏好检测指令,通过所述前馈麦克风采集环境音;
根据所述环境音,计算得到环境音参数;
若所述环境音参数低于环境音阈值,则执行所述分别对一个或多个音频片段的初始音频信号进行系统频响校正,得到交互音频信号的步骤。
15.根据权利要求14所述的方法,其特征在于,所述根据所述环境音,计算得到环境音参数,包括:
按照单位窗口长度对所述环境音进行加窗分割,得到至少一帧环境音子信号;
分别计算每帧环境音子信号的短时平均能量;
对所述每帧环境音子信号的短时平均能量进行平滑处理,得到所述环境音对应的环境音参数。
16.一种音频信号补偿装置,其特征在于,应用于耳机,所述音频信号补偿装置包括:
输出单元,用于输出交互音频信号,其中,所述交互音频信号包括一个或多个音频片段,所述一个或多个音频片段分别对应不同的音乐风格;
获取单元,用于获取针对每个所述音频片段的交互音频信号反馈的用户偏好信息;
补偿单元,用于根据所述用户偏好信息确定补偿参数,所述补偿参数用于对待输出的目标音频信号进行补偿。
17.一种耳机,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至15任一项所述的方法。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至15任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110580650.8A CN115412803A (zh) | 2021-05-26 | 2021-05-26 | 音频信号补偿方法及装置、耳机、存储介质 |
PCT/CN2022/086087 WO2022247494A1 (zh) | 2021-05-26 | 2022-04-11 | 音频信号补偿方法及装置、耳机、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110580650.8A CN115412803A (zh) | 2021-05-26 | 2021-05-26 | 音频信号补偿方法及装置、耳机、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115412803A true CN115412803A (zh) | 2022-11-29 |
Family
ID=84156228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110580650.8A Pending CN115412803A (zh) | 2021-05-26 | 2021-05-26 | 音频信号补偿方法及装置、耳机、存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115412803A (zh) |
WO (1) | WO2022247494A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116647616A (zh) * | 2023-06-21 | 2023-08-25 | 杭州爱华仪器有限公司 | 基于手机的声校准装置的精度校准方法 |
CN116782095B (zh) * | 2023-08-23 | 2023-11-28 | 苏州爱情之音科技有限公司 | 一种车载音响系统的响度补偿方法及车载音响系统 |
CN117292698B (zh) * | 2023-11-22 | 2024-04-12 | 科大讯飞(苏州)科技有限公司 | 车载音频数据的处理方法、装置和电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030197965A1 (en) * | 2002-04-17 | 2003-10-23 | Mikael Sternad | Digital audio precompensation |
EP1976114A1 (en) * | 2007-03-13 | 2008-10-01 | Vestel Elektronik Sanayi ve Ticaret A.S. | Automatic equalizer adjustment method |
US20180048958A1 (en) * | 2015-02-12 | 2018-02-15 | China Academy Of Telecommunications Technology | Determination method and apparatus for preset of audio equalizer (aeq) |
CN111182402A (zh) * | 2019-12-31 | 2020-05-19 | 歌尔科技有限公司 | 耳机的降噪处理方法、耳机以及计算机可读存储介质 |
CN111399795A (zh) * | 2019-01-03 | 2020-07-10 | 哈曼国际工业有限公司 | 多步声音偏好确定 |
CN112333596A (zh) * | 2020-11-05 | 2021-02-05 | 江苏紫米电子技术有限公司 | 一种耳机均衡器的调整方法、装置、服务器及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7075000B2 (en) * | 2000-06-29 | 2006-07-11 | Musicgenome.Com Inc. | System and method for prediction of musical preferences |
CN111988690B (zh) * | 2019-05-23 | 2023-06-27 | 小鸟创新(北京)科技有限公司 | 一种耳机佩戴状态检测方法、装置和耳机 |
-
2021
- 2021-05-26 CN CN202110580650.8A patent/CN115412803A/zh active Pending
-
2022
- 2022-04-11 WO PCT/CN2022/086087 patent/WO2022247494A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030197965A1 (en) * | 2002-04-17 | 2003-10-23 | Mikael Sternad | Digital audio precompensation |
EP1976114A1 (en) * | 2007-03-13 | 2008-10-01 | Vestel Elektronik Sanayi ve Ticaret A.S. | Automatic equalizer adjustment method |
US20180048958A1 (en) * | 2015-02-12 | 2018-02-15 | China Academy Of Telecommunications Technology | Determination method and apparatus for preset of audio equalizer (aeq) |
CN111399795A (zh) * | 2019-01-03 | 2020-07-10 | 哈曼国际工业有限公司 | 多步声音偏好确定 |
CN111182402A (zh) * | 2019-12-31 | 2020-05-19 | 歌尔科技有限公司 | 耳机的降噪处理方法、耳机以及计算机可读存储介质 |
CN112333596A (zh) * | 2020-11-05 | 2021-02-05 | 江苏紫米电子技术有限公司 | 一种耳机均衡器的调整方法、装置、服务器及介质 |
Non-Patent Citations (1)
Title |
---|
杜昕: ""三类音频对听力损伤的量化比较"", 《数字技术与应用》, no. 9, 15 September 2011 (2011-09-15), pages 209 - 211 * |
Also Published As
Publication number | Publication date |
---|---|
WO2022247494A1 (zh) | 2022-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107454538B (zh) | 包括含有平滑单元的波束形成器滤波单元的助听器 | |
CN115412803A (zh) | 音频信号补偿方法及装置、耳机、存储介质 | |
WO2022218093A1 (zh) | 音频信号补偿方法及装置、耳机、存储介质 | |
JPWO2016002358A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN108235181B (zh) | 在音频处理装置中降噪的方法 | |
AU2009346638A1 (en) | Signal enhancement using wireless streaming | |
CN111063366A (zh) | 降低噪声的方法、装置、电子设备及可读存储介质 | |
US10204637B2 (en) | Noise reduction methodology for wearable devices employing multitude of sensors | |
JP2011061422A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN111354368B (zh) | 补偿处理后的音频信号的方法 | |
CN113949955A (zh) | 降噪处理方法、装置、电子设备、耳机及存储介质 | |
CN111629313B (zh) | 包括环路增益限制器的听力装置 | |
CN113421583B (zh) | 降噪方法、存储介质、芯片及电子设备 | |
CN115119124A (zh) | 具有传感器的助听器 | |
CN110447239B (zh) | 拾音装置及拾音方法 | |
CN116782084A (zh) | 音频信号处理方法及装置、耳机、存储介质 | |
CN102970638B (zh) | 处理信号 | |
CN111163411B (zh) | 减少干扰音影响的方法及声音播放装置 | |
CN115706885A (zh) | 音频信号补偿方法及装置、耳机、存储介质 | |
CN116528099A (zh) | 音频信号处理方法及装置、耳机设备、存储介质 | |
CN114143667A (zh) | 音量调节方法、存储介质及电子设备 | |
WO2021103262A1 (zh) | 耳机的控制方法、耳机及可读存储介质 | |
WO2024093536A1 (zh) | 音频信号处理方法及装置、音频播放设备、存储介质 | |
WO2023020208A1 (zh) | 音频信号处理方法及装置、耳机、存储介质 | |
TWI700004B (zh) | 減少干擾音影響之方法及聲音播放裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |