CN116033312A - 耳机控制方法及耳机 - Google Patents
耳机控制方法及耳机 Download PDFInfo
- Publication number
- CN116033312A CN116033312A CN202210907783.6A CN202210907783A CN116033312A CN 116033312 A CN116033312 A CN 116033312A CN 202210907783 A CN202210907783 A CN 202210907783A CN 116033312 A CN116033312 A CN 116033312A
- Authority
- CN
- China
- Prior art keywords
- earphone
- enhancement
- mode
- pickup
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004891 communication Methods 0.000 claims abstract description 21
- 230000001629 suppression Effects 0.000 claims description 110
- 238000012545 processing Methods 0.000 claims description 35
- 230000006399 behavior Effects 0.000 claims description 28
- 230000009467 reduction Effects 0.000 claims description 26
- 230000000694 effects Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000005236 sound signal Effects 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 45
- 230000006870 function Effects 0.000 description 40
- 230000007613 environmental effect Effects 0.000 description 22
- 230000004807 localization Effects 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000002708 enhancing effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 210000000613 ear canal Anatomy 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Headphones And Earphones (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
本申请实施例提供了一种耳机控制方法及耳机。在该方法中,当耳机识别到佩戴者存在自讲话行为时,自动将噪声控制模式切换至增强模式,以使耳机能够执行指向性拾音增强操作。这样,不仅便于耳机佩戴者与外界进行沟通,还能提升耳机佩戴者与外界沟通时的听觉体验。
Description
技术领域
本申请涉及智能终端技术领域,尤其涉及一种耳机控制方法及耳机。
背景技术
近年来,耳机用户越来越多,用户对耳机的功能诉求也越来越有差异化。比如有的用户在佩戴耳机时不想听见外界噪声,可以通过主动降噪(active noise control,ANC)功能对耳朵的噪声进行消除。有的用户想听见耳机外的声音,需要通过环境声透传(hearthrough,HT)功能来实现与不戴耳机一样感受外界声音。
然而,目前耳机的智能化程度不高,无法灵活地满足用户的实际使用需求。
发明内容
为了解决上述技术问题,本申请实施例提供一种耳机控制方法及耳机。在该方法中,当耳机识别到佩戴者存在自讲话行为时,自动将噪声控制模式切换至增强模式,以使耳机能够执行指向性拾音增强操作。这样,不仅便于耳机佩戴者与外界进行沟通,还能提升耳机佩戴者与外界沟通时的听觉体验。
第一方面,本申请实施例提供一种耳机控制方法。该方法应用于耳机中,包括:
耳机识别耳机的佩戴者是否存在自讲话行为;在识别到佩戴者出现自讲话行为时,耳机根据用户的设置控制耳机切换至增强模式;其中,在增强模式中,耳机对外界声音信号进行指向性拾取并增强。
其中,增强模式也可以称之为指向性拾音增强模式。在该模式中,耳机不仅可以对外界信号进行指向性拾取并增强,还可以对环境噪声进行抑制。
这样,用户佩戴耳机与外接进行沟通时,不仅无需手动操作(摘下耳机或手动设置耳机噪声控制模式),还能提升耳机佩戴者与外界沟通时的听觉体验。
根据第一方面,在识别到佩戴者出现自讲话行为之前,耳机的噪声控制模式为第一模式,第一模式包括降噪模式或关闭模式;其中,在佩戴者出现自讲话行为时,根据用户的设置控制耳机切换至增强模式,可以包括:
在佩戴者出现自讲话行为时,根据用户的设置控制耳机由第一模式切换为增强模式;在识别到佩戴者停止自讲话行为达到预设时长时,控制耳机由增强模式切换回第一模式。
这样,当耳机识别到连续一段时间用户没有讲话时,确定用户不再存在与外界进行沟通的需求时,耳机会退回切换前的模式,以尽量不对用户自讲前后使用耳机状态的连续性。
根据第一方面,或者以上第一方面的任意一种实现方式,在识别到佩戴者出现自讲话行为之前,耳机播放音频,耳机的噪声控制模式为第二模式,第二模块包括降噪模式或关闭模式;其中,在佩戴者出现自讲话行为时,根据用户的设置控制耳机切换至增强模式,可以包括:
在佩戴者出现自讲话行为时,根据用户的设置控制耳机由第二模式切换为增强模式,并控制耳机暂停音频播放;在识别到佩戴者停止自讲话行为达到预设时长时,控制耳机由增强模式切换回第二模式,并控制耳机恢复音频播放。
这样,在用户佩戴耳机听音乐的场景下,当耳机识别到佩戴者存在自讲话行为时,自动将噪声控制模式切换至增强模式,并暂停音乐播放。当耳机识别到连续一段时间用户没有讲话时,确定用户不再存在与外界进行沟通的需求时,耳机不仅会退回切换前的模式,还会恢复音乐播放,以尽量不对用户自讲前后使用耳机状态的连续性。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:耳机接收终端设备发送的第一指令;第一指令为终端设备响应于第一操作向耳机发送的,用于指示将噪声控制模式切换方式设置为自讲后切换至增强模式;耳机根据第一指令对噪声控制模式切换方式进行设置。
示例性的,终端设备可以为手机。
其中,自讲后切换至增强模式,指的是当耳机识别到佩戴者自讲话后自动将噪声控制模式(无论切换前是哪种模式)切换至增强模式。
这样,用户可以在终端设备侧对耳机的噪声控制模式切换方式进行设置。用户不仅可以将噪声控制模式切换方式设置为自讲后切换至增强模式,还可以设置为自讲后切换至透传模式,自讲后模式不切换等。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:耳机接收终端设备发送的第二指令;第二指令为终端设备响应于第二操作向耳机发送的,用于指示将增强模式中的噪声抑制方式设置为自动噪声抑制,或者用于指示将增强模式中的噪声抑制等级设置为目标等级,目标等级为用户选择的;耳机根据第二指令,对增强模式中的噪声抑制方式进行设置。
其中,用户设置的目标等级越高,耳机处于增强模式时噪声抑制能力越强。
这样,用户可以在终端设备侧对耳机增强模式中的噪声抑制方式进行设置,包括但不限于将噪声抑制方式设置为自动噪声抑制、手动设置噪声抑制等级。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:耳机接收终端设备发送的第三指令;第三指令为终端设备响应于第三操作向耳机发送的,用于指示将增强模式中的拾音增强方式设置为定向拾音增强或跟踪拾音增强;耳机根据第三指令,对增强模式中的拾音增强方式进行设置。
其中,定向拾音增强方式,指的是只对一个方向(如耳机正前方,即声源角度设置为90°)的对话者发出语音信号进行拾音增强;跟踪拾音增强方式,指的是跟踪对话者的方向并对该方向上语音信号进行拾音增强。
这样,用户可以在终端设备侧对耳机增强模式中的拾音增强方式进行设置,包括但不限于将拾音增强方式设置为定向拾音增强或跟踪拾音增强。
根据第一方面,或者以上第一方面的任意一种实现方式,当增强模式中的拾音增强方式为定向拾音增强时,在耳机根据用户的设置控制耳机切换至增强模式之后,该方法还包括:
通过主耳机根据主耳机的前馈麦克风和通话麦克风采集的信号,进行指向性拾音增强处理,得到主耳拾音增强信号;和/或,
通过从耳机根据从耳机的前馈麦克风和通话麦克风采集的信号,进行指向性拾音增强处理,得到从耳拾音增强信号。
其中,主耳拾音增强信号用于发送至主耳扬声器中进行播放,从耳拾音增强信号用于发送至从耳扬声器中进行播放。
这样,在用户将增强模式中的拾音增强方式设置为定向拾音增强时,无论用户佩戴双耳耳机还是双耳耳机中任意一只耳机时,耳机的指向性拾音增强处理操作均基于单侧耳机采集的信号(即前馈麦克风和通话麦克风采集的信号)实现,以确保定向拾音增强的效果。
根据第一方面,或者以上第一方面的任意一种实现方式,在得到主耳拾音增强信号之后,该方法还包括:对主耳拾音增强信号进行音质补偿,并叠加噪声抑制信号之后,通过主耳机扬声器进行播放。
这样,通过对主耳拾音增强信号进行音质补偿,能够弥补指向性拾音导致的听音感受改变的问题,使声音听起来更自然。同时,噪声抑制信号的叠加,能够有效过滤到外界的噪声,进一步提升用户的听觉体验。
根据第一方面,或者以上第一方面的任意一种实现方式,在得到从耳拾音增强信号之后,该方法还包括:对从耳拾音增强信号进行音质补偿,并叠加噪声抑制信号之后,通过从耳机扬声器进行播放。
这样,通过对从耳拾音增强信号进行音质补偿,能够弥补指向性拾音导致的听音感受改变的问题,使声音听起来更自然。同时,噪声抑制信号的叠加,能够有效过滤到外界的噪声,进一步提升用户的听觉体验。
根据第一方面,或者以上第一方面的任意一种实现方式,当增强模式中的拾音增强方式为跟踪拾音增强时,在根据用户的设置控制耳机切换至增强模式之后,该方法还包括:
通过主耳机根据主耳机的前馈麦克风和从耳机的前馈麦克风采集的信号,以及声源定位角度,进行指向性拾音增强处理,得到第一双耳拾音增强信号;
通过从耳机根据从耳机的前馈麦克风和主耳机的前馈麦克风采集的信号,以及声源定位角度,进行指向性拾音增强处理,得到第二双耳拾音增强信号;
其中,第一双耳拾音增强信号用于发送至主耳扬声器中进行播放,第二双耳拾音增强信号用于发送至从耳扬声器中进行播放。
其中,在主从耳机中用于进行指向性拾音增强处理的主从耳机前馈麦克风采集的信号为同步信号。
这样,在用户将增强模式中的拾音增强方式设置为跟踪拾音增强时,主从耳机的指向性拾音增强处理操作均基于双侧耳机采集的信号(即主耳机前馈麦克风和从耳机前馈麦克风采集的信号)以及声源定位角度实现,以确保跟踪拾音增强的效果。
根据第一方面,或者以上第一方面的任意一种实现方式,当增强模式中的拾音增强方式为跟踪拾音增强时,在根据用户的设置控制耳机切换至增强模式之后,该方法还包括:
通过主耳机根据主耳机的通话麦克风和从耳机的通话麦克风采集的信号,以及声源定位角度,进行指向性拾音增强处理,得到第一双耳拾音增强信号;
通过从耳机根据从耳机的通话麦克风和主耳机的通话麦克风采集的信号,以及声源定位角度,进行指向性拾音增强处理,得到第二双耳拾音增强信号;
其中,第一双耳拾音增强信号用于发送至主耳扬声器中进行播放,第二双耳拾音增强信号用于发送至从耳扬声器中进行播放。
其中,在主从耳机中用于进行指向性拾音增强处理的主从耳机通话麦克风采集的信号为同步信号。
这样,在用户将增强模式中的拾音增强方式设置为跟踪拾音增强时,主从耳机的指向性拾音增强处理操作均基于双侧耳机采集的信号(即主耳机通话麦克风和从耳机通话麦克风采集的信号)以及声源定位角度实现,以确保跟踪拾音增强的效果。
根据第一方面,或者以上第一方面的任意一种实现方式,在得到第一双耳拾音增强信号之后,还包括:对第一双耳拾音增强信号进行音质补偿,并叠加噪声抑制信号之后,通过主耳机扬声器进行播放;在得到第二双耳拾音增强信号之后,还包括:对第二双耳拾音增强信号进行音质补偿,并叠加噪声抑制信号之后,通过从耳机扬声器进行播放。
这样,通过对双耳拾音增强信号进行音质补偿,能够弥补指向性拾音导致的听音感受改变的问题,使声音听起来更自然。同时,噪声抑制信号的叠加,能够有效过滤到外界的噪声,进一步提升用户的听觉体验。
根据第一方面,或者以上第一方面的任意一种实现方式,耳机包括前馈麦克风、反馈麦克风、通话麦克风和振动传感器;识别耳机的佩戴者是否存在自讲话行为,可以包括:根据前馈麦克风、反馈麦克风、通话麦克风和振动传感器采集的信号,识别耳机的佩戴者是否存在自讲话行为。
其中,当用户佩戴双耳耳机时,可以通过主耳机的前馈麦克风、反馈麦克风、通话麦克风和振动传感器采集的信号,识别耳机的佩戴者是否存在自讲话行为;当用户佩戴主耳机或从耳机时,可以通过相应耳机(主耳机或从耳机)的前馈麦克风、反馈麦克风、通话麦克风和振动传感器采集的信号,识别耳机的佩戴者是否存在自讲话行为。
第二方面,本申请实施例提供一种耳机。该耳机包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序存储在存储器上,当计算机程序被一个或多个处理器执行时,使得耳机执行第一方面以及第一方面中任意一项的耳机控制方法。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第三方面,本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行第一方面以及第一方面中任意一项的耳机控制方法。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请实施例提供一种计算机程序产品,包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面或第一方面中任意一项的耳机控制方法。
第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请实施例提供了一种芯片,该芯片包括处理电路、收发管脚。其中,该收发管脚和该处理电路通过内部连接通路互相通信,该处理电路执行如第一方面或第一方面中任意一项的耳机控制方法,以控制接收管脚接收信号,以控制发送管脚发送信号。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第六方面,本申请实施例提供了一种耳机控制系统,包括终端设备和第二方面的任意一种实现方式对应的耳机。其中,终端设备与耳机绑定后,用于响应于用户操作,向耳机发送指令;耳机用于根据指令对耳机进行设置。
示例性的,终端设备可以为手机等。
第六方面以及第六方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
附图说明
图1为示例性示出的应用场景示意图;
图2为示例性示出的耳机的硬件结构示意图;
图3为示例性示出的耳机的硬件结构示意图;
图4为示例性示出的耳机控制系统的示意图;
图5a-图5c为示例性示出的应用场景示意图;
图6a-图6b为示例性示出的应用场景示意图;
图7a为示例性示出的耳机的软件结构示意图;
图7b为示例性示出的拾音增强流程示意图;
图8为示例性示出的音质补偿示意图;
图9a为示例性示出的耳机的软件结构示意图;
图9b为示例性示出的拾音增强方式切换示意图;
图9c为示例性示出的拾音增强流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
图1示例性的示出了一种应用场景。参照图1,用户A佩戴耳机100(包括左耳机和右耳机)听音乐,或者用户A佩戴的耳机100处于主动降噪模式。此时,如果用户A需要与外界进行沟通,例如与用户B进行沟通,通常用户A需要将耳机100摘下(至少摘下左耳机或右耳机中的一个),或者暂停音乐播放,或者降低音乐音量,或者将耳机100的噪声控制模式由主动降噪模式切换为透传模式等,以确保能够与用户B进行良好的沟通。这样,用户的操作比较繁琐,无法给用户带来较佳的使用体验。
为了解决上述问题,本申请实施例提供了一种拾音增强方法。在该方法中,当耳机识别到佩戴用户自讲话后,将其噪声控制模式自动切换至增强模式。其中,在增强模式下,耳机对外界声音信号进行指向性拾取,抑制其他方向来源的声音信号,提升佩戴者与外界沟通的清晰度。这样,用户不仅无需进行手动操作,而且将耳机的噪声控制模式切换至增强模式也能够提升用户对外界感兴趣声音的听觉体验。
本申请提供一种耳机100,耳机100包括挂在耳朵边上的两个发音单元。适配于左耳朵的可以称为左耳机,适配于右耳朵的可以称为右耳机。从佩戴角度来说,本申请实施例中耳机100可以是头戴式耳机、耳挂式耳机、颈挂式耳机或者耳塞式耳机等。耳塞式耳机还包括入耳式耳机(或者称为耳道式耳机)或者半入耳式耳机。本实施例提供的耳机100除了具备主动降噪功能、透传功能,还具备指向性拾音增强功能。其中,主动降噪功能,用于降低用户佩戴耳机时不想听到的外界噪声;透传功能,用于透传外部环境中的声音,来实现与用户不戴耳机一样感受外界声音;指向性拾音增强功能,用于对外界声音进行指向性拾取,抑制其他方向来源的声音。
作为一种示例,以入耳式耳机为例。左耳机和右耳机采用的结构类似。左耳机或者右耳机均可以采用如下所描述的耳机结构。耳机结构(左耳机或右耳机)包括可以塞入耳道内的胶套、贴近耳朵的耳包、悬挂在耳包上的耳机杆。胶套将声音导向耳道,耳包内包括电池、扬声器、传感器等器件,耳机杆上可布置麦克风、物理按键等。耳机杆可以是圆柱、长方体、椭圆体等形状。
图2示出了耳机100的一种可选的硬件结构示意图。耳机100包括左耳机和右耳机,左耳机和右耳机采用的结构类似。参照图2,耳机100(包括左耳机和右耳机)的结构均可以包括:处理器110、存储器120、接口装置130、通信装置140、麦克风150和扬声器160。处理器110可以包括但不限于中央处理器CPU、微处理器MCU等。存储器120例如包括ROM(Read-OnlyMemory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、诸如硬盘等非易失性存储器等。接口装置130例如包括各种总线接口,例如串行总线接口、并行总线接口等。通信装置140用于进行有线通信或无线通信。麦克风150可以用于输入语音信息,麦克风150例如可以包括前馈(feed-forward mic,FF)麦克风、反馈麦克风(feed-back mic,FB)和通话(Talk)麦克风。扬声器160可以用于输出语音信息。
参照图3,以入耳式耳机为例,布置在耳机外侧的麦克风151称为前馈麦克风,布置在耳机内侧的麦克风152可以称为反馈麦克风,布置在耳机杆底部的麦克风153可以称为通话麦克风。其中,前馈麦克风用于采集当前外部环境的声音、或者说用于采集前馈麦克风所处环境的声音。当用户佩戴上该耳机时,前馈麦克风位于耳机外侧,或者说前馈麦克风位于耳朵外部。当用户佩戴上耳机的情况下,反馈麦克风采集反馈麦克风所处用户耳道环境的声音。当用户佩戴上该耳机时,反馈麦克风位于耳机内部贴近耳道。通话麦克风用于采集通话信号,也可以称为主麦克风(main mic)。通话麦克风可以位于耳机外侧,当用户佩戴上耳机时,通话麦克风相对于前馈麦克风来说,更靠近用户的嘴部,更侧重于拾音。
需要说明的是,前馈麦克风用于采集当前外部环境的声音,这里的外部环境的声音可以解释为,前馈麦克风所处的外部环境的声音,比如在火车上,外部环境的声音为前馈麦克风的周围环境的声音。左耳机上的前馈麦克风采集左耳机的前馈麦克风的外部环境的声音。右耳机上的前馈麦克风采集右耳机的前馈麦克风外部环境的声音。
需要说明的是,耳道内部环境的声音可以理解为用户的耳朵带上耳机之后,结合耳机可能播放的声音、耳机正在采用的算法(如降噪、透传等)、人体耳朵环境等因素对环境声音的综合声音感知。
本申请实施例中涉及的麦克风可以是模拟麦克风,也可以是数字麦克风。麦克风为模拟麦克风时,在对麦克风采集的信号进行处理之前,可以将模拟信号转换为数字信号。本申请实施例中以前馈麦克风、反馈麦克风和通话麦克风均为数字麦克风为例进行说明,也即这三个麦克风采集的信号均为数字信号。
继续参照图3,耳机的扬声器160位于前馈麦克风与反馈麦克风之间。振动传感器154设置于耳包中,用于检测耳廓的振动信号。
应该理解的是,图2、图3所示的耳机100仅是耳机的一个范例,并且耳机100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图2、图3中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
本申请实施例提供一种系统,如图4所示,该系统包括终端设备200和耳机100。终端设备200与耳机100连接,连接可以是无线连接,也可以为有线连接。对于无线连接,比如可以是终端设备通过蓝牙技术、无线高保真(wireless fidelity,Wi-Fi)技术、红外(infrared radiation,IR)技术、超宽带技术与所述耳机连接。
本申请实施例中,终端设备200是具备显示界面功能的设备。终端设备200例如可以为手机、显示器、平板电脑、车载设备等具有显示界面的产品,以及智能手表、智能手环等智能显示穿戴产品等备。本申请实施例对上述移动终端的具体形式不做特殊限制。
在一些实施例中,终端设备200,可以用于向耳机100发送下行音频信号和/或控制指令。比如,控制指令可以用于对耳机100的透传功能、降噪功能、指向性拾音增强功能等进行控制。
其中,用户将耳机100与终端设备200进行绑定后,可以在终端设备200的相关界面(例如在与耳机100对应的应用界面)上对耳机100的噪声控制模式进行设置。
图5a示例性的示出了一种应用场景。如图5a中(1)所示,耳机的噪声控制模块包括降噪模式、透传模式、增强模式、关闭模式。其中,增强模式指的是与指向性拾音增强功能对应的模式。当耳机开启增强模式之后,耳机对外界声音进行指向性拾取,抑制其他方向来源的声音。关闭模式指的是耳机不进行任何噪声控制。继续参照图5a中(1),用户在终端设备的界面中点击降噪模式的图标501,响应于用户操作,终端设备向耳机发送开启降噪功能的指令,以使耳机开启降噪功能。类似的,若用户点击透传模式的图标502,响应于用户操作,终端设备向耳机发送开启透传功能的指令,以使耳机开启透传功能;若用户点击增强模式的图标503,响应于用户操作,终端设备向耳机发送开启指向性语音增强功能的指令,以使耳机开启指向性语音增强功能。
继续参照图5a中(1),界面中还显示有噪声控制模式切换设置选项505,该选项用于用户对噪声控制模式切换进行设置。示例性的,用户点击噪声控制模式切换设置选项505,响应于用户操作,终端设备显示如图5a中(2)所示的界面。如图5a中(2)所示,本实施例提供的可供用户选择的噪声控制模式切换类型包括自讲后切换至增强模式、自讲后切换至透传模式以及自讲后模式不切换。其中,自讲后切换至增强模式,指的是当耳机识别到佩戴者自讲话后自动将噪声控制模式(无论切换前是哪种模式)切换至增强模式;自讲后切换至透传模式,指的是当耳机识别到佩戴者自讲话后自动将噪声控制模式(无论切换前是哪种模式)切换至透传模式;自讲后模式不切换,指的是当耳机识别到佩戴者自讲话后不对当前的噪声控制模式进行调整。
示例性的,在用户点击选项5051,将噪声控制模式切换设置为“自讲后切换至增强模式”的场景下,假设耳机当前的噪声控制模式为降噪模式或关闭模式,则当耳机识别到佩戴者自讲话后,耳机自动将当前的噪声控制模式切换至增强模式,可以参照图5b中(2)所示。相应的,与耳机对应的噪声控制模式界面的变化可以参照图5c中(1)或图5c中(2)所示。
又示例性的,在用户点击选项5052,将噪声控制模式切换设置为“自讲后切换至透传模式”的场景下,假设耳机当前的噪声控制模式为降噪模式或关闭模式,则当耳机识别到佩戴者自讲话后,耳机自动将当前的噪声控制模式切换至透传模式,可以参照图5b中(1)所示。相应的,与耳机对应的噪声控制模式界面的变化和图5c中(1)或图5c中(2)也是类似的。
需要指出的是,用户佩戴耳机听音乐时,耳机的噪声控制模式可以是降噪模式或关闭模式。
在本申请实施例中,用户还可以对透传模式涉及的噪声抑制方式,以及增强模式涉及噪声抑制方式和拾音增强方式进行设置。
图6a示例性的示出了一种应用场景。如图6a中(1)所示,用户对透传模式的图标502进行相关操作(例如长按操作等)以开启耳机透传模式设置界面。示例性的,响应于用户操作,终端设备可以显示如图6a中(2)所示的界面,该界面中显示有透传模式设置窗口5021。继续参照图6a中(2),用户可以点击选项50211开启或关闭透传模式中环境噪声抑制功能。在透传模式中环境噪声抑制功能开启时,用户可以点击选项50212开启或关闭环境噪声自动抑制功能。其中,当环境噪声自动抑制功能开启时,耳机对环境噪声的抑制等级对外界噪声的强度而自动调整。在环境噪声自动抑制功能关闭时,用户也可以调整选项50213的位置以实现手动设置耳机对环境噪声的抑制等级。其中,当用户手动设置环境噪声的抑制等级时,无论外界噪声的强度如何,耳机对环境噪声的抑制等级不会调整。
图6b示例性的示出了一种应用场景。如图6b中(1)所示,用户对增强模式的图标503进行相关操作(例如长按操作等)以开启耳机增强模式设置界面。示例性的,响应于用户操作,终端设备可以显示如图6b中(2)所示的界面,该界面中显示有增强模式设置窗口5031。继续参照图6b中(2),用户可以点击选项50311开启或关闭增强模式中环境噪声抑制功能。在增强模式中环境噪声抑制功能开启时,用户可以点击选项50312开启或关闭环境噪声自动抑制功能。其中,当环境噪声自动抑制功能开启时,耳机对环境噪声的抑制等级对外界噪声的强度而自动调整。在环境噪声自动抑制功能关闭时,用户也可以调整选项50313的位置以实现手动设置耳机对环境噪声的抑制等级。其中,当用户手动设置环境噪声的抑制等级时,无论外界噪声的强度如何,耳机对环境噪声的抑制等级不会调整。继续参照图6b中(2),用户还可以对拾音增强方式进行设置。其中,拾音增强方式可以包括定向拾音增强方式和跟踪拾音增强方式。定向拾音增强方式,指的是只对一个方向(如耳机正前方,即声源角度设置为90°)的对话者发出语音信号进行拾音增强;跟踪拾音增强方式,指的是跟踪对话者的方向并对该方向上语音信号进行拾音增强。示例性的,用户点击选项50514可以开启或关闭定向拾音增强方式,用户点击选项50515可以开启或关闭跟踪拾音增强方式。需要指出的是,用户只能开启定向拾音增强方式和跟踪拾音增强方式中的一种方式。
下述结合耳机不同的使用场景对本申请实施例提供的拾音增强方法进行详细解释说明。
场景一
在本场景中,用户在耳机增强模式中开启定向拾音增强方式。
(一)以用户佩戴双耳耳机(包括左耳机和右耳机)为例。在左右耳机中,一只耳机为主耳机,一只耳机为从耳机。左右耳机间存在信息交互,主耳机可以用于进行自讲检测,并将检测结果发送至从耳机侧。其中,主耳机和从耳机分别基于前馈麦克风和通话麦克风采集到的信号进行单耳指向性拾音增强,以提升耳机佩戴者对外接声音的听觉感知。
图7a和图9a示例性的示出了主耳机和从耳机的模块结构示意图。结合图7a和图9a所示,主耳机100-1包括自讲检测模块601、控制模块602、噪声抑制模块603、单耳拾音增强模块604、双耳拾音增强模块605、音质补偿模块606和声源定位模块607。其中,控制模块602分别与自讲检测模块601、噪声抑制模块603、单耳拾音增强模块604、双耳拾音增强模块605、音质补偿模块606以及声源定位模块607电连接。
继续结合图7a和图9a所示,从耳机100-2包括自讲检测模块701、控制模块702、噪声抑制模块703、单耳拾音增强模块704、双耳拾音增强模块705和音质补偿模块706。其中,控制模块702分别与自讲检测模块701、噪声抑制模块703、单耳拾音增强模块704、双耳拾音增强模块705和音质补偿模块706电连接。
需要指出的是,耳机的声源定位功能,只有在双耳佩戴且跟踪拾音增强方式开启时才可能被开启,故只需在其中一个耳机(左耳机或右耳机)中设置声源定位模块。在本实施例中,以声源定位模块设置于主耳机为例进行解释说明,对此不做限定。
在主耳机中,自讲检测模块601,用于根据主耳机前馈麦克风采集的信号、主耳机反馈麦克风采集的信号、主耳机通话麦克风采集的信号、主耳机振动传感器采集的信号进行佩戴者是否进行自讲的检测,并将自讲检测结果发送至控制模块。
示例性的,主耳机中预设自讲检测算法模型。自讲检测模块601实时或按预设频率(例如每几秒一次等)将接收到的前馈麦克风采集的信号、反馈麦克风采集的信号、通话麦克风采集的信号以及振动传感器采集的信号输入至自讲检测算法模型,并获取自讲检测算法模块输出的自讲检测结果。例如,“自讲检测结果”为“是”时,表明耳机佩戴者在自讲话,“自讲检测结果”为“否”时,表明耳机佩戴者未在自讲话。
在用户佩戴双耳耳机时,从耳机中设置的自讲检测模块701无需同时进行自讲检测,故自讲检测模块701可以处于未使能状态。
在主耳机中,控制模块602,可以作为主耳机的神经中枢和指挥中心。类似的,在从耳机中,控制模块702也可以作为从耳机的神经中枢和指挥中心。控制模块可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
在本场景中,控制模块602接收到的自讲检测结果如果表示耳机佩戴者在自讲话,将耳机的噪声控制模式切换为增强模式。示例性的,如图7a所示,在增强模式下,控制模块602可以分别向噪声抑制模块603、单耳拾音增强模块604和音质补偿模块606发送控制信号,以使噪声抑制模块603、单耳拾音增强模块604和音质补偿模块606根据控制信号控制自身处于工作状态。
与此同时,控制模块602接收到的自讲检测结果如果表示耳机佩戴者在自讲话,主耳机控制模块602还需将自讲检测结果发送至从耳机的控制模块702,以使从耳机的控制模块702在接收到的自讲检测结果表示耳机佩戴者在自讲话时,向相关的功能模块发送控制信号,以使这些模块根据控制信号控制自身处于工作状态。类似的,如图7a所示,从耳机的控制模块702在接收到的自讲检测结果表示耳机佩戴者在自讲话时,向噪声抑制模块703、单耳拾音增强模块704和音质补偿模块706发送控制信号,以使噪声抑制模块703、单耳拾音增强模块704和音质补偿模块706根据控制信号控制自身处于工作状态。
其中,主耳机和从耳机之间的信息交互,可以按照耳机间预设的通信协议实现。关于主耳机和从耳机之间信息交互涉及的流程可以参照已有技术,在此不再赘述。
在主耳机和从耳机中,噪声抑制模块603和噪声抑制模块604分别用于对外界噪声进行抑制。其中,噪声抑制模块603和噪声抑制模块604的噪声抑制等级与用户设置有关。当用户开启增强模式中环境噪声自动抑制功能时,噪声抑制模块603和噪声抑制模块604的噪声抑制等级随外界噪声的变化而自动调整;当用户手动设置增强模式中的噪声抑制等级时,噪声抑制模块603和噪声抑制模块604的噪声抑制等级与用户设置相同。
在主耳机侧,单耳拾音增强模块604用于根据第一预设算法对主耳机采集的语音信号进行指向性拾音增强,得到单耳(即主耳)指向性拾音增强信号。类似的,在从耳机侧,单耳拾音增强模块704用于根据第一预设算法对从耳机采集的语音信号进行指向性拾音增强,得到单耳(即从耳)指向性拾音增强信号。
在主耳机侧,音质补偿模块606可以用于对单耳(即主耳)指向性拾音增强信号进行音质补偿,提高相应的语音信号能量。类似的,在从耳机侧,音质补偿模块706可以用于对单耳(即从耳)指向性拾音增强信号进行音质补偿,提高相应的语音信号能量。
图7b示例性的示出了一种耳机实现指向性拾音增强功能的流程示意图。
参照图7b中(1),主耳机侧单耳拾音增强模块根据主耳机前馈麦克风采集的信号以及主耳机通话麦克风采集的信号,进行单侧指向性拾音增强处理,得到主耳指向性拾音增强信号。类似的,参照图7b中(2),从耳机侧单耳拾音增强模块根据从耳机前馈麦克风采集的信号以及从耳机通话麦克风采集的信号,进行单侧指向性拾音增强处理,得到从耳指向性拾音增强信号。
在主耳机或从耳机中,单耳拾音增强模块可以采用延迟-相加波束算法进行单侧指向性拾音增强处理。单耳拾音增强模块,先对前馈麦克风和通话麦克风采集的信号进行时延补偿,使各麦克风之间的信号同步,然后通过一个有限长度的滤波器进行加权求和,得到单耳指向性拾音增强信号。
对于主耳机或从耳机,当前馈麦克风与通话麦克风的间距为s时,前馈麦克风和通话麦克风采集信号的时延为τ=s/c,声速c为344m/s。在本实施例中,单耳拾音增强模块采用算法所采用的波束模式为α,α取值范围为[-1,0],α取值可以根据算法性能进行调整。假设前馈麦克风采集的信号为x1(n),通话麦克风采集的信号为x2(n),则单耳指向性拾音增强信号y(n)=x1(n)+x2(n)*(-α*τ)。
需要指出的是,单耳拾音增强模块还可以对前馈麦克风与通话麦克风采集信号进行频率过滤,将与人声频率不符的信号过滤掉,以确保单耳拾音增强模块对语音信号进行增强的有效性,提高单耳指向性拾音增强信号的信号质量。
继续参照图7b,对于主耳机或从耳机,在得到单耳指向性拾音增强信号之后,可以将单耳指向性拾音增强信号输入音质补偿模块进行音质补偿,得到音质补偿后的信号。其中,音质补偿模块用于弥补指向性拾音导致的听音感受改变的问题。
由于经单耳拾音增强模块采用的算法处理后音频信号各个频率处的能量会发生变化,如图8中(1)所示。因此,为了提升音质,使声音听起来更自然,音质补偿模块可以针对不同方向(如0°、90°、135°)的音频信号加以不同的EQ(Equalizer,均衡器),使10kHz以下的信号更加平坦,如图8中(2)所示。其中,EQ的作用是调整各频段信号的增益衰减值。
另外,音质补偿模块除了可以对指向性拾取的声音进行频率响应的修正,还可以基于声音的角度信息,将拾取后的声音基于预设的空间音频渲染算法进行空间音频渲染处理,使得音质补偿模块输出的音频信号更具空间方向性,进而使得佩戴用户听到的声音的方向感更强(即来源于相应的空间角度)。
继续参照图7b,对于主耳机或从耳机,噪声抑制模块根据反馈麦克风采集的反馈信号以及前馈麦克风采集的前馈信号生成噪声抑制信号,以对非语音频段或环境噪声能量较高的频段进行抑制。
在一种示例中,噪声抑制模块可以根据反馈麦克风采集的反馈信号的反相信号,以及前馈麦克风采集的前馈信号的反相信号进行噪声抑制,即噪声抑制模块生成的噪声抑制信号中包括反馈信号的反相信号以及前馈信号的反相信号。需要说明的是,某信号与该信号的反相信号的相位差为180°。噪声抑制模块生成的噪声抑制信号与音质补偿模块输出的信号进行叠加后通过扬声器输出,使得扬声器播放的当前外部环境的声音与耳朵实际听见的外部环境的声音进行了抵消而达到去噪的效果,能够减弱耳机佩戴者对当前外部环境的声音以及用户耳道内部的环境声音的感知。
其中,噪声抑制模块在获取前馈信号的反相信号和反馈信号的反相信号时,可以分别采用前馈滤波处理和反馈滤波处理。例如,前馈滤波处理可以由前馈滤波器来实现,反馈滤波处理可以由反馈滤波器来实现。
需要指出的是,反相信号的生成与用户在增强模式中设置的环境噪声抑制等级有关。当用户设置环境噪声自动抑制时,噪声抑制模块所依据的噪声抑制等级与反馈麦克风采集的反馈信号以及前馈麦克风采集的前馈信号的强度有关。当用户手动设置环境噪声抑制等级时,噪声抑制模块所依据的噪声抑制等级也即用户设置的噪声抑制等级。其中,声抑制模块所依据的噪声抑制等级越高,生成的反相信号对环境噪声的降噪能力就越高,反之对环境噪声的降噪能力就越低。
在另一种示例中,噪声抑制模块根据反馈麦克风采集的反馈信号以及前馈麦克风采集的前馈信号对环境噪声进行识别,分析外界噪声的噪声频谱分布,并根据噪声频率分布及预设的计权方式计算总的噪声。例如,噪声频谱分布情况为:50Hz处的噪声为a dB,100Hz处的噪声为b dB,200Hz处的噪声为c dB,…,4kHz处的噪声为m dB,则总的噪声N=a*w1+b*w2+c*w3+…+m*wm。其中,w1,w2,w3,…,wm分别为与各个频率对应的权重,w1,w2,w3,…,wm的值与计权方式有关。进而,噪声抑制模块可以生成与总的噪声对应的反相信号,作为噪声抑制信号。其中,噪声抑制模块生成的与总的噪声对应的反相信号,与用户在增强模式中设置的环境噪声抑制等级有关。当用户设置环境噪声自动抑制时,噪声抑制模块所依据的噪声抑制等级与总的噪声有关,总的噪声越大,声抑制模块所依据的噪声抑制等级越高。当用户手动设置环境噪声抑制等级时,噪声抑制模块所依据的噪声抑制等级也为用户设置的噪声抑制等级,与总的噪声无关。其中,声抑制模块所依据的噪声抑制等级越高,相应的对环境噪声的降噪能力就越高,反之,声抑制模块所依据的噪声抑制等级越低,相应的对环境噪声的降噪能力就越低。
类似的,噪声抑制模块也可以根据反馈麦克风采集的反馈信号、前馈麦克风采集的前馈信号以及通话麦克风采集的通话信号中的一种或多种信号生成噪声抑制信号,以对非语音频段或环境噪声能量较高的频段进行抑制。本实施例对此不做限定。
继续参照图7b,对于主耳机或从耳机,噪声抑制信号和音质补偿后的信号叠加得到的信号,经过数模转换处理后即可通过扬声器进行播放。
(二)以用户佩戴主耳机或从耳机为例。
当用户只佩戴主耳机时,主耳机中的自讲检测模块根据主耳机前馈麦克风采集的信号、主耳机反馈麦克风采集的信号、主耳机通话麦克风采集的信号、主耳机振动传感器采集的信号进行佩戴者是否进行自讲的检测,并将自讲检测结果发送至其控制模块。其控制模块接收到的自讲检测结果如果表示耳机佩戴者在自讲话,将耳机的噪声控制模式切换为增强模式。其中,主耳机实现指向性拾音增强功能的流程参照前文以及图7b中(1),在此不再赘述。
类似的,当用户只佩戴从耳机时,从耳机中的自讲检测模块根据从耳机前馈麦克风采集的信号、从耳机反馈麦克风采集的信号、从耳机通话麦克风采集的信号、从耳机振动传感器采集的信号进行佩戴者是否进行自讲的检测,并将自讲检测结果发送至其控制模块。其控制模块接收到的自讲检测结果如果表示耳机佩戴者在自讲话,将耳机的噪声控制模式切换为增强模式。其中,从耳机实现指向性拾音增强功能的流程参照前文以及图7b中(2),在此不再赘述。
场景二
在本场景中,用户在耳机增强模式中开启跟踪拾音增强方式。其中,需要指出的是,只有用户佩戴双耳耳机时,耳机才支持跟踪拾音增强方式。示例性的,若用户选择开启跟踪拾音增强方式,但只佩戴一只耳机,则耳机以定向拾音增强方式实现指向性拾音增强,此时可以参照场景一。
与场景一相同,在主耳机中,自讲检测模块601,用于根据主耳机前馈麦克风采集的信号、主耳机反馈麦克风采集的信号、主耳机通话麦克风采集的信号、主耳机振动传感器采集的信号进行佩戴者是否进行自讲的检测,并将自讲检测结果发送至控制模块。由于用户佩戴双耳耳机,从耳机中设置的自讲检测模块701无需同时进行自讲检测,故自讲检测模块701可以处于未使能状态。
在本场景中,控制模块602接收到的自讲检测结果如果表示耳机佩戴者在自讲话,将耳机的噪声控制模式切换为增强模式。示例性的,如图9a所示,在增强模式下,控制模块602可以分别向噪声抑制模块603、单耳拾音增强模块604(或双耳拾音增强模块605)、音质补偿模块606和声源定位模块607发送控制信号,以使噪声抑制模块603、单耳拾音增强模块604(或双耳拾音增强模块605)、音质补偿模块606和声源定位模块607根据控制信号控制自身处于工作状态。
与此同时,控制模块602接收到的自讲检测结果如果表示耳机佩戴者在自讲话,主耳机控制模块602还需将自讲检测结果发送至从耳机的控制模块702,以使从耳机的控制模块702在接收到的自讲检测结果表示耳机佩戴者在自讲话时,向相关的功能模块发送控制信号,以使这些模块根据控制信号控制自身处于工作状态。类似的,如图9a所示,从耳机的控制模块702在接收到的自讲检测结果表示耳机佩戴者在自讲话时,向噪声抑制模块703、单耳拾音增强模块704(或双耳拾音增强模块705)和音质补偿模块706发送控制信号,以使噪声抑制模块703、单耳拾音增强模块704(或双耳拾音增强模块705)和音质补偿模块706根据控制信号控制自身处于工作状态。
需要指出的是,在本场景中,由于跟踪拾音增强方式,主耳机中声源定位模块607会实时或按照预设频率对声源方向进行定位,确定声源定位角度。其中,声源定位角度不同,主耳机和从耳机中所采用的拾音增强方式不同。示例性的,当声源定位角度为90°(也即在正前方)时,主耳机和从耳机中均基于单耳拾音增强模块进行指向性拾音增强处理;当声源定位角度为非90°(也即不在正前方)时,主耳机和从耳机中均基于双耳拾音增强模块进行指向性拾音增强处理。
如图9b所示,主耳机中声源定位模块607,用于根据主耳机前馈麦克风采集的信号、主耳机通话麦克风采集的信号、从耳机前馈麦克风采集的信号、从耳机通话麦克风采集的信号进行声源定位,确定声源定位角度,并将声源定位角度发送至控制模块602。同时,声源定位角度也会被发送至从耳机中控制模块702。
示例性的,主耳机中预设声源定位算法模型。声源定位模块607实时或按预设频率(例如每几秒一次等)将主耳机前馈麦克风采集的信号、主耳机通话麦克风采集的信号,以及接收到的从耳机前馈麦克风采集的信号、从耳机通话麦克风采集的信号,输入至声源定位算法模型,并获取声源定位算法模型输出的声源定位角度。
需要指出的是,从耳机将其前馈麦克风采集的信号、通话麦克风采集的信号向主耳机发送时,首先对信号进行压缩,并将压缩后信号发送至主耳机侧,主耳机接收到信号后首先对信号进行还原,以使声源定位算法模型可以基于主耳机前馈麦克风采集的信号、主耳机通话麦克风采集的信号,以及从耳机前馈麦克风采集的信号、从耳机通话麦克风采集的信号进行声源定位。其中,压缩方式包括但不限于FFT(Fast Fourier Transform,快速傅里叶变换)、DCT(Discrete Cosine Transformation,离散余弦变换)。而且,主从耳机之间交互的信号是携带同步标识的,这样声源定位算法模型可以基于同步的主从耳机前馈麦克风采集的信号以及通话麦克风采集的信号进行声源定位。关于信号同步方式,以及信号在主从耳机之间的传输方式和协议,本实施例不做限定。
继续参照图9b,在主耳机或从耳机中,控制模块获取到声源定位角度后,对声源定位角度进行判断,如判断声源定位角度是否90度(也即声源在正前方),若是,则控制模块向单耳拾音增强模块发送第一控制信号以使单耳拾音增强模块处于工作状态,向双耳拾音增强模块发送第二控制信号以使双耳拾音增强模块处于非工作状态;若否,则控制模块向单耳拾音增强模块发送第二控制信号以使单耳拾音增强模块处于非工作状态,向双耳拾音增强模块发送第一控制信号以使双耳拾音增强模块处于工作状态。
当声源定位角度为90°时,主耳机和从耳机中均基于单耳拾音增强模块进行指向性拾音增强。此情形下,主耳机实现指向性拾音增强功能的流程参照前文以及图7b中(1),从耳机实现指向性拾音增强功能的流程参照前文以及图7b中(2),在此不再赘述。
当声源定位角度为非90°时,主耳机和从耳机中均基于双耳拾音增强模块进行指向性拾音增强。其中,双耳拾音增强模块可以基于第二预设算法根据声源定位角度对主从耳机采集的语音信号进行指向性拾音增强,得到双耳指向性拾音增强信号。
下述对此情形下主从耳机实现指向性拾音增强功能的流程进行解释说明。
如图9c中(1)所示,在主耳机侧,声源定位模块将检测到的声源定位角度发送至双耳拾音增强模块,以使双耳拾音增强模块可以基于主耳机前馈麦克风采集的信号、从耳机前馈麦克风采集的信号以及声源定位角度进行指向性拾音增强,得到双耳指向性拾音增强信号。
其中,在从耳机侧,在双耳拾音增强模块处于工作状态的情况下,控制模块将从耳机前馈麦克风采集的信号发送至主耳机侧。从耳机将其前馈麦克风采集的信号向主耳机发送时,首先对信号进行压缩,再将压缩后信号发送至主耳机侧。主耳机接收到信号后首先对信号进行还原,以使双耳拾音增强模块可以基于主耳机前馈麦克风采集的信号、从耳机前馈麦克风采集的信号以及声源定位角度进行指向性拾音增强。
类似的,如图9c中(2)所示,在从耳机侧,双耳拾音增强模块基于从耳机前馈麦克风采集的信号,以及接收到的主耳机前馈麦克风采集的信号和声源定位角度进行指向性拾音增强,得到双耳指向性拾音增强信号。
其中,在主耳机侧,在双耳拾音增强模块处于工作状态的情况下,控制模块将主耳机前馈麦克风采集的信号发送至从耳机侧。主耳机将其前馈麦克风采集的信号向从耳机发送时,首先对信号进行压缩,再将压缩后信号发送至从耳机侧。从耳机接收到信号后首先对信号进行还原,以使双耳拾音增强模块可以基于主耳机前馈麦克风采集的信号、从耳机前馈麦克风采集的信号以及声源定位角度进行指向性拾音增强。
需要说明的是,在主耳机或从耳机中,用于双耳拾音增强模块进行指向性拾音增强的主耳机前馈麦克风采集的信号、从耳机前馈麦克风采集的信号是同步信号,且声源定位角度也是与该同步信号匹配的,以确保双耳拾音增强模块进行指向性拾音增强的准确性。
在主耳机或从耳机中,双耳拾音增强模块可以采用双耳波束算法进行双侧指向性拾音增强处理。对于主耳机中双耳拾音增强模块或从耳机中双耳拾音增强模块,假设主耳机前馈麦克风采集的信号为x1_1(n),从耳机前馈麦克风采集的信号为x1_2(n),声源定位角度为θ,则双耳指向性拾音增强信号Y(n)=f(x1_1(n),x1_1(n),θ)。
需要指出的是,双耳拾音增强模块还可以对主耳机前馈麦克风采集的信号、从耳机前馈麦克风采集的信号进行频率过滤,将与人声频率不符的信号过滤掉,以确保双耳拾音增强模块对语音信号进行增强的有效性,提高双耳指向性拾音增强信号的信号质量。
在另一种实施方式中,在主耳机或从耳机中,双耳拾音增强模块也可以基于主耳机通话麦克风采集的信号、从耳机通话麦克风采集的信号以及声源定位角度进行指向性拾音增强,得到双耳指向性拾音增强信号。关于此种实施方式,在此不再赘述。
继续参照图9c,对于主耳机或从耳机,在得到双耳指向性拾音增强信号之后,可以将双耳指向性拾音增强信号输入音质补偿模块进行音质补偿,得到音质补偿后的信号。其中,音质补偿模块用于弥补指向性拾音导致的听音感受改变。
其中,音质补偿模块除了可以对指向性拾取的声音进行频率响应的修正,还可以基于声音定位模块确定的声源定位角度,将拾取后的声音基于预设的空间音频渲染算法进行空间音频渲染处理,使得音质补偿模块输出的音频信号更具空间方向性,进而使得佩戴用户听到的声音的方向感更强(即来源于相应的声源定位角度)。在本场景中,关于噪声抑制模块和音质补偿模块的解释说明也可以参照场景一,在此不再赘述。
在场景一和场景二的基础上,主耳机和/或从耳机的控制模块可以对耳机噪声控制模式切换前的模式进行记录。在耳机基于佩戴者的自讲话行为将耳机噪声控制模式切换至增强模式之后,如果主耳机或从耳机的自讲检测模块检测到佩戴者停止自讲话行为达到预设时长时,则控制模块控制将耳机噪声控制模式设置会切换前的模式。
在一种具体的场景中,在主耳机或从耳机的自讲检测模块检测到佩戴者出现自讲话行为之前,耳机处于降噪模式或关闭模式。在耳机基于佩戴者的自讲话行为将耳机噪声控制模式切换至增强模式之后,如果主耳机或从耳机的自讲检测模块检测到佩戴者停止自讲话行为达到预设时长时,则控制模块控制将耳机噪声控制模式设置为切换前的降噪模式或关闭模式。
在一种具体的场景中,在主耳机或从耳机的自讲检测模块检测到佩戴者出现自讲话行为之前,耳机处于降噪模式或关闭模式,且耳机中播放音频(如音乐)。在耳机基于佩戴者的自讲话行为将耳机噪声控制模式切换至增强模式之后,如果主耳机或从耳机的自讲检测模块检测到佩戴者停止自讲话行为达到预设时长时,则控制模块控制将耳机噪声控制模式设置为切换前的降噪模式或关闭模式,并恢复音频播放。
可以理解的是,耳机为了实现本申请实施例中的耳机控制方法,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的耳机控制方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的耳机控制方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的耳机控制方法。
其中,本实施例提供的耳机、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (14)
1.一种耳机控制方法,其特征在于,应用于耳机中,包括:
识别所述耳机的佩戴者是否存在自讲话行为;
在识别到所述佩戴者出现自讲话行为时,根据用户的设置控制所述耳机切换至增强模式;
其中,在所述增强模式中,所述耳机对外界声音信号进行指向性拾取并增强。
2.根据权利要求1所述的方法,其特征在于,在识别到所述佩戴者出现自讲话行为之前,所述耳机的噪声控制模式为第一模式,所述第一模式包括降噪模式或关闭模式;
在所述佩戴者出现自讲话行为时,根据用户的设置控制所述耳机切换至增强模式,包括:
在所述佩戴者出现自讲话行为时,根据用户的设置控制所述耳机由所述第一模式切换为所述增强模式;
在识别到所述佩戴者停止自讲话行为达到预设时长时,控制所述耳机由所述增强模式切换回所述第一模式。
3.根据权利要求1所述的方法,其特征在于,在识别到所述佩戴者出现自讲话行为之前,所述耳机播放音频,所述耳机的噪声控制模式为第二模式,所述第二模块包括降噪模式或关闭模式;
在所述佩戴者出现自讲话行为时,根据用户的设置控制所述耳机切换至增强模式,包括:
在所述佩戴者出现自讲话行为时,根据用户的设置控制所述耳机由所述第二模式切换为所述增强模式,并控制所述耳机暂停音频播放;
在识别到所述佩戴者停止自讲话行为达到预设时长时,控制所述耳机由所述增强模式切换回所述第二模式,并控制所述耳机恢复音频播放。
4.根据权利要求1所述的方法,其特征在于,还包括:
接收终端设备发送的第一指令;所述第一指令为所述终端设备响应于第一操作向所述耳机发送的,用于指示将噪声控制模式切换方式设置为自讲后切换至增强模式;
根据所述第一指令对噪声控制模式切换方式进行设置。
5.根据权利要求1所述的方法,其特征在于,还包括:
接收终端设备发送的第二指令;所述第二指令为所述终端设备响应于第二操作向所述耳机发送的,用于指示将所述增强模式中的噪声抑制方式设置为自动噪声抑制,或者用于指示将所述增强模式中的噪声抑制等级设置为目标等级,所述目标等级为用户选择的;
根据所述第二指令,对所述增强模式中的噪声抑制方式进行设置。
6.根据权利要求1所述的方法,其特征在于,还包括:
接收终端设备发送的第三指令;所述第三指令为所述终端设备响应于第三操作向所述耳机发送的,用于指示将所述增强模式中的拾音增强方式设置为定向拾音增强或跟踪拾音增强;
根据所述第三指令,对所述增强模式中的拾音增强方式进行设置。
7.根据权利要求1-6任一项所述的方法,其特征在于,当所述增强模式中的拾音增强方式为定向拾音增强时,在根据用户的设置控制所述耳机切换至增强模式之后,所述方法还包括:
通过主耳机根据主耳机的前馈麦克风和通话麦克风采集的信号,进行指向性拾音增强处理,得到主耳拾音增强信号;和/或,
通过从耳机根据从耳机的前馈麦克风和通话麦克风采集的信号,进行指向性拾音增强处理,得到从耳拾音增强信号;
其中,所述主耳拾音增强信号用于发送至主耳扬声器中进行播放,所述从耳拾音增强信号用于发送至从耳扬声器中进行播放。
8.根据权利要求7所述的方法,其特征在于,在所述得到主耳拾音增强信号之后,还包括:对所述主耳拾音增强信号进行音质补偿,并叠加噪声抑制信号之后,通过主耳机扬声器进行播放;
和/或,在所述得到从耳拾音增强信号之后,还包括:
对所述从耳拾音增强信号进行音质补偿,并叠加噪声抑制信号之后,通过从耳机扬声器进行播放。
9.根据权利要求1-6任一项所述的方法,其特征在于,当所述增强模式中的拾音增强方式为跟踪拾音增强时,在根据用户的设置控制所述耳机切换至增强模式之后,所述方法还包括:
通过主耳机根据主耳机的前馈麦克风和从耳机前馈麦克风采集的信号,以及声源定位角度,进行指向性拾音增强处理,得到第一双耳拾音增强信号;
通过从耳机根据从耳机的前馈麦克风和主耳机前馈麦克风采集的信号,以及声源定位角度,进行指向性拾音增强处理,得到第二双耳拾音增强信号;
其中,所述第一双耳拾音增强信号用于发送至主耳扬声器中进行播放,所述第二双耳拾音增强信号用于发送至从耳扬声器中进行播放。
10.根据权利要求9所述的方法,其特征在于,在所述得到第一双耳拾音增强信号之后,还包括:
对所述第一双耳拾音增强信号进行音质补偿及空间音频渲染操作,并叠加噪声抑制信号之后,通过主耳机扬声器进行播放;
在所述得到第二双耳拾音增强信号之后,还包括:
对所述第二双耳拾音增强信号进行音质补偿及空间音频渲染操作,并叠加噪声抑制信号之后,通过从耳机扬声器进行播放。
11.根据权利要求1所述的方法,其特征在于,所述耳机包括前馈麦克风、反馈麦克风、通话麦克风和振动传感器;
识别所述耳机的佩戴者是否存在自讲话行为,包括:
根据所述前馈麦克风、所述反馈麦克风、所述通话麦克风和所述振动传感器采集的信号,识别所述耳机的佩戴者是否存在自讲话行为。
12.一种耳机,其特征在于,包括:
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序存储在所述存储器上,当所述计算机程序被所述一个或多个处理器执行时,使得所述耳机执行如权利要求1-11中任一项所述的耳机控制方法。
13.一种耳机控制系统,其特征在于,包括终端设备和如权利要求12所述的耳机;其中,
所述终端设备与所述耳机绑定后,用于响应于用户操作,向所述耳机发送指令;
所述耳机,用于根据所述指令对所述耳机进行设置。
14.一种计算机可读存储介质,包括计算机程序,其特征在于,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1-11中任一项所述的耳机控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210907783.6A CN116033312B (zh) | 2022-07-29 | 2022-07-29 | 耳机控制方法及耳机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210907783.6A CN116033312B (zh) | 2022-07-29 | 2022-07-29 | 耳机控制方法及耳机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116033312A true CN116033312A (zh) | 2023-04-28 |
CN116033312B CN116033312B (zh) | 2023-12-08 |
Family
ID=86075087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210907783.6A Active CN116033312B (zh) | 2022-07-29 | 2022-07-29 | 耳机控制方法及耳机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116033312B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024087961A1 (zh) * | 2022-10-26 | 2024-05-02 | 华为技术有限公司 | 显示方法和穿戴式设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102474681A (zh) * | 2010-06-30 | 2012-05-23 | 松下电器产业株式会社 | 交谈检测装置、助听器和交谈检测方法 |
CN108028957A (zh) * | 2015-09-29 | 2018-05-11 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN109348338A (zh) * | 2018-11-01 | 2019-02-15 | 歌尔股份有限公司 | 一种耳机及其播放方法 |
CN111435574A (zh) * | 2019-01-11 | 2020-07-21 | 陈筱涵 | 用于重度听障者的沟通辅具系统 |
CN113596670A (zh) * | 2021-08-30 | 2021-11-02 | 歌尔科技有限公司 | 一种耳机及耳机降噪模式切换方法、装置、存储介质 |
-
2022
- 2022-07-29 CN CN202210907783.6A patent/CN116033312B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102474681A (zh) * | 2010-06-30 | 2012-05-23 | 松下电器产业株式会社 | 交谈检测装置、助听器和交谈检测方法 |
CN108028957A (zh) * | 2015-09-29 | 2018-05-11 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN109348338A (zh) * | 2018-11-01 | 2019-02-15 | 歌尔股份有限公司 | 一种耳机及其播放方法 |
CN111435574A (zh) * | 2019-01-11 | 2020-07-21 | 陈筱涵 | 用于重度听障者的沟通辅具系统 |
CN113596670A (zh) * | 2021-08-30 | 2021-11-02 | 歌尔科技有限公司 | 一种耳机及耳机降噪模式切换方法、装置、存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024087961A1 (zh) * | 2022-10-26 | 2024-05-02 | 华为技术有限公司 | 显示方法和穿戴式设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116033312B (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105530580B (zh) | 听力系统 | |
KR101689339B1 (ko) | 이어폰 구조체 및 그 작동 방법 | |
CN113676804A (zh) | 一种主动降噪方法及装置 | |
CN111464905A (zh) | 基于智能穿戴设备的听力增强方法、系统和穿戴设备 | |
EP3799444A1 (en) | A hearing aid comprising a directional microphone system | |
US11259127B2 (en) | Hearing device adapted to provide an estimate of a user's own voice | |
CN112954530B (zh) | 一种耳机降噪方法、装置、系统及无线耳机 | |
US11638106B2 (en) | Hearing system comprising a hearing aid and a processing device | |
US20230080298A1 (en) | Active Noise Cancellation Method and Apparatus | |
CN111757233A (zh) | 用于评估和选择外部音频源的听力装置或系统 | |
JP2017536062A (ja) | イヤーカナルマイクを内蔵するブルートゥースイヤーセットとその制御方法 | |
EP4270987A1 (en) | Audio signal processing method and system for suppressing echo | |
CN112533121A (zh) | 不相关或相关有噪声信号的自适应混合方法及听力装置 | |
US20200196058A1 (en) | Hearing device providing virtual sound | |
WO2023098401A1 (zh) | 具有主动降噪功能的耳机及主动降噪方法 | |
CN116033312B (zh) | 耳机控制方法及耳机 | |
CN117459875B (zh) | 耳机降噪方法、耳机及计算机可读存储介质 | |
US20200329316A1 (en) | Hearing devices with eye movement detection | |
US20230300544A1 (en) | Methods and systems for configuring bone conduction hearing aids | |
CN112087699A (zh) | 包括频率转移的双耳听力系统 | |
EP4297436A1 (en) | A hearing aid comprising an active occlusion cancellation system and corresponding method | |
CN116744169B (zh) | 耳机设备、声音信号的处理方法及佩戴贴合度测试方法 | |
WO2023093412A1 (zh) | 主动降噪的方法及电子设备 | |
US20230169948A1 (en) | Signal processing device, signal processing program, and signal processing method | |
TWI345923B (zh) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |