CN115835079A - 透传模式的切换方法和切换装置 - Google Patents

透传模式的切换方法和切换装置 Download PDF

Info

Publication number
CN115835079A
CN115835079A CN202211452699.6A CN202211452699A CN115835079A CN 115835079 A CN115835079 A CN 115835079A CN 202211452699 A CN202211452699 A CN 202211452699A CN 115835079 A CN115835079 A CN 115835079A
Authority
CN
China
Prior art keywords
sound
user
earphone
environment
headset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211452699.6A
Other languages
English (en)
Other versions
CN115835079B (zh
Inventor
杨昭
韩荣
韩欣宇
王耀光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211452699.6A priority Critical patent/CN115835079B/zh
Priority to CN202310931487.4A priority patent/CN118057837A/zh
Publication of CN115835079A publication Critical patent/CN115835079A/zh
Application granted granted Critical
Publication of CN115835079B publication Critical patent/CN115835079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Headphones And Earphones (AREA)

Abstract

本申请提供了一种透传模式的切换方法和切换装置,可以在用户处于聆听状态时,开启透传模式或者保持开启透传模式的状态,有利于提高用户体验。本申请提供的方法可以应用于耳机,该方法可以包括:耳机在第一时间采集和存储第一对象的声音;耳机在第二时间采集佩戴耳机的用户所处环境内的第一环境音,第一对象在第二时间在环境内处于说话状态,第二时间位于第一时间之后;响应于第一环境音,耳机开启透传模式。

Description

透传模式的切换方法和切换装置
技术领域
本申请涉及终端技术领域,尤其涉及一种透传模式的切换方法和切换装置。
背景技术
随着终端设备的普及和发展,用户对真无线(true wireless stereo,TWS)耳机的使用越来越频繁,长时间佩戴TWS耳机已经成为一种常态。为了不影响用户在佩戴TWS耳机时与其他人的沟通交流,本领域提出了TWS耳机的透传模式。其中,透传模式是指TWS耳机可以过滤环境音,将其他人的声音传递至用户,以使用户可以听清环境中的人声,进而可以佩戴着TWS耳机与他人交谈。
目前,TWS耳机可以通过如下方式控制是否开启透传模式:若TWS耳机检测到其用户讲话,则开启透传模式;若在一段时间内检测不到其用户讲话,则关闭透传模式。
但是,上述TWS耳机会存在如下问题:用户处于聆听状态时,TWS耳机处于关闭透传模式的状态,从而导致用户没法聆听到他人的讲话。
发明内容
本申请提供一种透传模式的切换方法和切换装置,可以在用户处于聆听状态时,开启透传模式或者保持开启透传模式的状态。
第一方面,提供了一种透传模式的切换方法,应用于耳机,包括:耳机在第一时间采集和存储第一对象的声音;耳机在第二时间采集佩戴耳机的用户所处环境内的第一环境音,第一对象在第二时间在环境内处于说话状态,第二时间位于第一时间之后;响应于第一环境音,耳机开启透传模式。
第一对象在具体实施例中称为重点对象,第一对象的个数可以是一个,也可以是多个,本申请对此不作限定。第一对象为除佩戴该耳机的用户的其他人。第一环境音可以理解为佩戴耳机的用户所处环境内的声音。
耳机采集第一对象的声音的时间可以称为第一时间。第二时间在第一时间之后,也就是耳机先采集并存储第一对象的声音,再采集第一环境音。耳机存储第一对象的声音以期望第一对象讲话时,可以开启透传模式。
耳机中保存有第一对象的声音,耳机在第二时间采集佩戴耳机的用户所处环境内的第一环境音,第一对象正好在第二时间讲话,耳机可以识别到第一对象的声音,可以开启透传模式。可以理解的是,第一对象在佩戴耳机的用户所处环境内讲话时,用户可能处于聆听状态,此时,耳机可以开启透传模式。
示例性地,本申请提供的方法可以如具体实施例中的图5所示,耳机在第二时间采集佩戴耳机的用户所处环境内的第一环境音,即图5所示的S501,耳机采集用户所处环境的声音,耳机采集的时间为第二时间。第一对象在第二时间在环境内处于说话状态,也就是耳机判断出用户所处环境的声音中存在人的声音,且该人的声音为重点对象的声音,即S502和S503。
本申请提供的透传模式的切换方法,用户所处环境中第一对象处于讲话状态,耳机可以开启透传模式,以便于用户聆听第一对象的声音,避免用户在聆听状态下耳机退出透传模式的情况,有利于提高用户的使用体验。
结合第一方面,在第一方面的某些实现方式中,第一对象在第二时间面向用户,且第一对象在第一时长内均处于说话状态;或者,在第二时间,第一对象面向用户,且用户面向第一对象。
第一对象在第二时间在环境内处于说话状态,同时,耳机检测到第一对象在第二时间面向用户讲话,且第一对象的讲话时长大于或等于第一时长,则耳机开启透传模式或者保持开启透传模式的状态。
这种实现方式,可以更精准地判断出用户处于聆听状态,开启透传模式或者保持开启透传模式的状态,以便于用户与第一对象交谈,有利于提高用户体验。
第一对象在第二时间在环境内处于说话状态,同时,耳机检测到第一对象在第二时间面向用户,且用户也面向第一对象,耳机开启透传模式或者保持开启透传模式的状态。
这种实现方式,可以更精准地判断出用户与第一对象进行交谈,开启透传模式或者保持开启透传模式的状态,以便于用户与第一对象交谈,有利于提高用户体验。
本申请提供的透传模式的切换方法,基于用户与第一对象的朝向,以更精准地判断出用户的状态,当用户处于聆听状态时,开启透传模式或者保持开启透传模式的状态,有利于提高用户的使用体验。
结合第一方面,在第一方面的某些实现方式中,耳机包括左耳机和右耳机,左耳机获取到第一对象的声音的第一传递函数,右耳机获取到第一对象的声音的第二传递函数;方法还包括:若第一传递函数与第二传递函数的比值小于或等于第一预设阈值,则耳机确定第一对象面向用户,且用户面向第一对象;若比值大于第一预设阈值,且小于或等于第二预设阈值,则耳机确定第一对象面向用户,且用户未面向第一对象;或者,若比值大于第二预设阈值,则耳机确定第一对象未面向用户,且用户未面向第一对象。
上述第一环境音中包括第一对象的声音,耳机采集到第一环境音,相应地,耳机可以采集到第一声音。耳机包括左耳机和右耳机,左耳机获取到第一对象的声音的第一传递函数,右耳机获取到第一对象的声音的第二传递函数,第一传递函数和第二传递函数可以分别用符号L' (s)和R' (s)表示,但本申请并不限于此。
第一预设阈值可以用符号
Figure 455392DEST_PATH_IMAGE001
表示,第二预设阈值可以用符号
Figure 353334DEST_PATH_IMAGE002
表示,但本申请并不限于此。
Figure 868629DEST_PATH_IMAGE003
,则耳机确定第一对象面向用户,且用户面向第一对象;若
Figure 385061DEST_PATH_IMAGE004
,则耳机确定第一对象面向用户,且用户未面向第一对象;若
Figure 773448DEST_PATH_IMAGE005
,则耳机确定第一对象未面向用户,且用户未面向第一对象。
本申请提供的透传模式的切换方法,基于左耳机和右耳机获取到第一对象的声音的传递函数的差异,确定用户和第一对象的朝向,有利于准确地判断用户的状态,进而准确地开启透传模式。
结合第一方面,在第一方面的某些实现方式中,响应于第一环境音,耳机开启透传模式,包括:耳机响应于第一环境音,获取第一环境音中的人声;在第一环境音中的人声与第一对象的声音相匹配的情况下,耳机开启透传模式。
耳机响应于第一环境音,可以先对第一环境音进行人声检测,若存在人声,再判断该人声是否与第一对象相匹配。
示例性地,耳机可以通过语音活动检测(voice activity detection,VAD)算法对用户所处环境的声音进行人声检测。
第一环境音中可以存在一个或者多个人声,本申请对此不作限定。第一对象在第二时间在用户所处环境内讲话,第一环境音中的人声可以包括第一对象的声音。第一环境音中的人声中存在第一对象的声音,耳机开启透传模式。
可以理解的是,若第一环境音中没有人声,耳机不会再进行后续判断。
本申请提供的透传模式的切换方法,可以先对第一环境音进行人声检测,再存在人声的情况下与第一对象的声音进行匹配,以确定是否开启透传模式,这种实现方式,对第一环境音进行逐步分析,有利于进行准确地判断。
结合第一方面,在第一方面的某些实现方式中,耳机在第一时间采集第一对象的声音时,用户面向第一对象;在第一环境音中的人声与第一对象的声音相匹配的情况下,耳机开启透传模式,包括:若第一环境音中的人声对应的讲话人未面向用户,则耳机基于讲话人相对用户的角度和第一对应关系,确定补偿函数,第一对应关系包括多个角度以及多个角度中每个角度对应的补偿函数,多个角度包括讲话人相对用户的角度;耳机基于补偿函数对第一环境音中的人声进行补偿,得到补偿后的第一环境音中的人声;在补偿后的第一环境音中的人声与第一对象的声音相匹配的情况下,耳机开启透传模式。
若第一环境音中的人声对应的讲话人未面向用户,耳机可以先对第一环境音中的人声进行补偿。耳机中预设有第一对应关系,可以基于讲话人相对用户的角度,从第一对应关系中选择合适的补偿函数,并基于补偿函数对第一环境音中的人声进行补偿,得到补偿后的第一环境音中的人声。其中,第一对应关系是开发人员经过试验确定的,并预设于耳机中的。
示例性地,在具体实施例中不同方位的补偿函数用于表示第一对应关系中不同角度对应的补偿函数。第一对应关系的标定过程可以如具体实施例中图9所示。
本申请提供的透传模式的切换方法,在第一环境音中的人声对应的讲话人未面向用户的情况下,先对第一环境音中的人声进行补偿,再对补偿后的第一环境音中的人声与第一对象的声音进行匹配,有利于提高匹配准确度。
可选地,第一环境音中的人声包括第一对象,基于上述方法,耳机也可以对第一环境音中的第一对象的声音进行补偿,得到补偿后的第一对象的声音。耳机可以基于补偿后的第一对象的声音,确定第一对象讲话时的朝向和用户的朝向以便更加准确地判断用户的状态以合理地进行透传模式地切换,有利于提高用户体验。
结合第一方面,在第一方面的某些实现方式中,方法还包括:耳机在第三时间采集用户所处环境内的第二环境音,第二对象在第三时间在环境内处于说话状态,第一对象在第三时间在环境内未处于说话状态,第三时间位于第二时间之后;响应于第二环境音,若用户在第三时间处于说话状态,耳机保持透传模式处于开启状态。
耳机开启透传模式后的第三时间采集用户所处环境内的第二环境音,此时,第二对象在第三时间在环境内处于说话状态,第一对象在第三时间在环境内未处于说话状态,则第二环境音中包括第二对象的声音,不包括第一对象的声音。此时,若用户在第三时间处于说话状态,则耳机保持透传模式处于开启状态。也就是说,耳机开启透传模式或者保持透传模式处于开启状态的条件包括:用户处于说话状态,或者,环境音中存在第一对象的声音。
本申请提供的透传模式的切换方法,用户主动讲话,或者,用户不讲话处于聆听状态下,耳机均可以处于透传状态,有利于用户与他人进行交谈,提高用户体验。
结合第一方面,在第一方面的某些实现方式中,方法还包括:响应于第二环境音,若用户在第三时间未处于说话状态,耳机退出透传模式。
在第三时间,若用户未讲话,且环境中也不存在第一对象的声音,耳机退出透传模式。
本申请提供的透传模式的切换方法,在用户未讲话,且环境中不存在第一对象的声音的情况下,耳机退出透传模式,不是一直保持透传模式,有利于节省耳机的功耗。
结合第一方面,在第一方面的某些实现方式中,在耳机在第一时间采集和存储第一对象的声音,包括:耳机在第一时间接收终端设备的第一指令,终端设备与耳机连接,第一指令用于指示耳机采集第一对象的声音;耳机基于第一指令,采集第一对象的声音,并对第一对象的声音进行存储。
终端设备与耳机可以通过无线连接也可以通过有线连接,本申请对此不作限定。终端设备可以是手机等设备。终端设备中可以包括采集数据的控件。终端设备检测到用户触发采集数据的控件的操作,响应于该操作,可以向耳机发送第一指令,第一指令用于指示耳机采集第一对象的声音;耳机基于第一指令,采集第一对象的声音,并对第一对象的声音进行存储。
示例性地,具体采集第一对象的声音的实现方式可以如具体实施例中的图7所示。
耳机对第一对象的声音进行存储的方式可以存在多种可能的实现方式。
在一种可能的实现方式中,耳机保存第一对象的声音。
这种实现方式,耳机保存有第一对象的声音,不需要从外部获取第一对象的声音,节省信令开销,可以提高识别效率。
在另一种可能的实现方式中,耳机可以将第一对象的声音发送至上述终端设备,由终端设备存储第一对象的声音。当耳机将环境音与第一对象的声音进行匹配时,可以从终端设备中获取第一对象的声音。
这种实现方式,耳机无需存储重点对象的声音,可以节省耳机的内存空间。
可选地,耳机还可以接收终端设备的第二指令,第二指令用于指示耳机结束采集第一对象的声音,耳机基于第二指令,不再采集第一对象的声音。
本申请提供的透传模式的切换方法,基于终端设备的指示采集第一对象的声音,便于后续在第一对象讲话时,开启透传模式。
第二方面,提供了一种透传模式的切换装置,包括:采集模块和处理模块。其中,采集模块用于:在第一时间采集第一对象的声音;处理模块用于:在第一时间存储第一对象的声音;采集模块还用于:在第二时间采集佩戴该切换装置的用户所处环境内的第一环境音,第一对象在第二时间在环境内处于说话状态,第二时间位于第一时间之后;处理模块还用于:响应于第一环境音,开启透传模式。
结合第二方面,在第二方面的某些实现方式中,第一对象在第二时间面向用户,且第一对象在第一时长内均处于说话状态;或者,在第二时间,第一对象面向用户,且用户面向第一对象。
结合第二方面,在第二方面的某些实现方式中,处理模块还用于:若第一对象的声音的第一传递函数与第一对象的声音的第二传递函数的比值小于或等于第一预设阈值,则确定第一对象面向用户,且用户面向第一对象;若比值大于第一预设阈值,且小于或等于第二预设阈值,则确定第一对象面向用户,且用户未面向第一对象;或者,若比值大于第二预设阈值,则确定第一对象未面向用户,且用户未面向第一对象。
结合第二方面,在第二方面的某些实现方式中,处理模块还用于:响应于第一环境音,获取第一环境音中的人声;在第一环境音中的人声与第一对象的声音相匹配的情况下,开启透传模式。
结合第二方面,在第二方面的某些实现方式中,处理模块还用于:若第一环境音中的人声对应的讲话人未面向用户,则基于讲话人相对用户的角度和第一对应关系,确定补偿函数,第一对应关系包括多个角度以及多个角度中每个角度对应的补偿函数,多个角度包括讲话人相对用户的角度;基于补偿函数对第一环境音中的人声进行补偿,得到补偿后的第一环境音中的人声;在补偿后的第一环境音中的人声与第一对象的声音相匹配的情况下,开启透传模式。
结合第二方面,在第二方面的某些实现方式中,处理模块还用于:在第三时间采集用户所处环境内的第二环境音,第二对象在第三时间在环境内处于说话状态,第一对象在第三时间在环境内未处于说话状态,第三时间位于第二时间之后;响应于第二环境音,若用户在第三时间处于说话状态,保持透传模式处于开启状态。
结合第二方面,在第二方面的某些实现方式中,处理模块还用于:响应于第二环境音,若用户在第三时间未处于说话状态,退出透传模式。
结合第二方面,在第二方面的某些实现方式中,上述切换装置还包括接收模块。该接收模块用于:在第一时间接收终端设备的第一指令,终端设备与上述切换装置连接,第一指令用于指示该切换装置采集第一对象的声音;采集模块还用于:基于第一指令,采集第一对象的声音;处理模块还用于:对第一对象的声音进行存储。
第三方面,本申请提供一种透传模式的切换装置,该切换取装置包括:处理器和存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,使得提取装置执行如第一方面所述的方法。
第四方面,本申请提供一种耳机,该耳机可以用于执行如第一方面所述的方法。
第五方面,本申请提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如第一方面所述的方法。
第六方面,本申请提供一种计算机程序产品,计算机程序产品包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面所述的方法。
第七方面,本申请提供了一种芯片,芯片包括处理器,处理器用于调用存储器中的计算机程序,以执行如第一方面所述的方法。
应当理解的是,本申请的第二方面至第七方面与本申请的第一方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1是一种TWS耳机适用的场景图;
图2是本申请实施例的方法适用的一种场景图;
图3是本申请实施例的方法适用的另一种场景图;
图4是本申请实施例提供的一种耳机的结构示意图;
图5是本申请实施例提供的一种透传模式的切换方法的示意性流程图;
图6是本申请实施例提供的一种TWS耳机的结构示意图;
图7是一种重点对象声音采集的界面示意图;
图8是本申请实施例提供的一种计算双耳时间差的示意图;
图9是本申请实施例提供的一种标定补偿函数的示意图;
图10是本申请实施例提供的一种不同交谈场景的示意图;
图11是本申请实施例提供的一种透传模式的切换装置的示意性框图;
图12是本申请实施例提供的另一种透传模式的切换装置的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
随着终端设备的普及和发展,用户对真无线(true wireless stereo,TWS)耳机的使用越来越频繁,长时间佩戴TWS耳机已经成为一种常态。为了不影响用户在佩戴TWS耳机时与其他人的沟通交流,目前,TWS耳机具有透传模式。透传模式是指TWS耳机可以过滤环境音,将人的声音传递至用户,以使用户可以听清环境中的人声,进而可以佩戴着TWS耳机与他人交谈。
通常情况下,TWS耳机检测到用户讲话时,开启透传模式,若在一段时间内检测不到用户讲话时,退出透传模式。
示例性地,图1示出了一种TWS耳机适用的场景图。如图1所示,用户101佩戴有TWS耳机102。在TWS耳机102检测到用户101的声音的情况下,可以开启透传模式。若TWS耳机102在一段时间内未检测到用户101的声音,可以退出透传模式。
这种实现方式,若用户处于对话交谈场景中,当用户未主动讲话时,TWS耳机不会开启透传模式,造成用户无法听清对方的声音,进而影响交谈。若用户进行了主动讲话,TWS耳机开启透传模式,若用户在较长时间内未主动讲话,处于聆听对方讲话的状态,TWS耳机经常会退出透传模式,造成用户无法听清对方的声音,进而影响交谈,严重用户体验较差。
示例性地,图2示出了另一种TWS耳机适用的场景图。如图2所示,用户101佩戴有TWS耳机102,用户101的朋友103与用户101进行交谈,用户101的朋友103对用户101说:“一起去吃饭呀”。此时,TWS耳机未检测到用户101的声音,即用户101未主动讲话,TWS耳机不会开启透传模式,造成用户101无法听清其朋友103的声音,进而影响交谈。
示例性地,图3示出了又一种TWS耳机适用的场景图。如图3中的a所示,用户101佩戴有TWS耳机102,用户101与其朋友103进行交谈,用户101对其朋友103说:“你们昨天玩的怎么样呀
Figure 109752DEST_PATH_IMAGE006
”。此时,TWS耳机检测到用户101的声音,即用户101主动讲话,TWS耳机开启透传模式,用户101可以听清其朋友103的声音,进而进行交谈。用户101的朋友103对用户101说:“我们先去了XXXXX,又去了XXXXX,最后去了XXXXX,玩的挺开心的。在XXXXX的时候,我们发生了很多有趣的事情,XXXXXXXXXXXXXXXX。” 用户101的朋友103诉说的时间较长,用户101处于聆听状态,TWS耳机因未检测到用户101的声音而退出透传模式,造成用户101无法听清其朋友103的声音,进而影响交谈,严重用户体验较差。
有鉴于此,本申请实施例提供一种透传模式的切换方法和切换装置,可以判断环境中的人声是否为交谈对象的声音,若存在交谈对象的声音,可以开启透传模式或者保持透传模式;若环境中的人声不是交谈对象的声音,且用户未主动讲话,则退出透传模式。这种实现方式,可以在对话交谈场景中更加合理地开启或者退出透传模式,有利于提升用户体验。
本申请实施例提供的方法可以适用于任意具有透传模式的耳机,并不限于上述所示的TWS耳机。本申请实施例提供的方法可以适用于任何用户主动讲话和用户与他人交谈的场景,并不限于上述图1、图2以及图3所示的场景。
为了能够更好地理解本申请实施例,下面对本申请实施例的耳机的结构进行介绍。示例性的,图4为本申请实施例提供的一种耳机的结构示意图。
耳机可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,指示器192,摄像头193,以及显示屏194等。
可以理解的是,本申请实施例示意的结构并不构成对耳机的具体限定。在本申请另一些实施例中,耳机可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。处理器110中还可以设置存储器,用于存储指令和数据。处理器110可以用于执行本申请实施例提供的方法。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展耳机的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为耳机充电,也可以用于耳机与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他耳机,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。
耳机的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。耳机中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在耳机上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。
无线通信模块160可以提供应用在耳机上的包括无线局域网(wirelesslocalarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM)等无线通信的解决方案。
耳机可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。耳机可以通过扬声器170A收听音乐,或收听免提通话。受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当耳机接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。耳机接口170D用于连接有线耳机。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。本申请实施例中,耳机可以基于麦克风170C接收声音信号,并将声音信号转换为可以进行后续处理的电信号,该耳机可以拥有至少一个麦克风170C。
传感器模块180可以包括下述一种或多种传感器,例如:压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,或骨传导传感器等(图4中未示出)。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。耳机可以接收按键输入,产生与耳机的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
摄像头193用于捕获静态图像或视频。在一些实施例中,耳机可以包括1个或N个摄像头193,N为大于1的正整数。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,耳机可以包括1个或N个显示屏194,N为大于1的正整数。
耳机的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构等,在此不再赘述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现,也可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
在介绍本申请实施例提供的方法之前,本申请实施例先进行以下说明。
第一、在本申请实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
第二、在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
第三、在本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a,b,c可以是单个,也可以是多个。
图5为本申请实施例提供的一种透传模式的切换方法500的示意性流程图。该方法500可以适用于上述图2和图3所示的场景,但本申请实施例并不限于此。该方法500可以由耳机备执行,例如上述TWS耳机。
如图5所示,该方法500可以包括如下步骤:
S501、采集用户所处环境的声音。
耳机可以通过麦克风(microphone,MIC)采集用户所处环境的声音。其中,MIC可以是上述图4所示的麦克风170C,但本申请实施例并不限于此。用户佩戴有耳机,用户所处环境的声音也可以理解为耳机所处环境的声音。
若耳机包括前馈麦克风(feed forward microphone,FF MIC)和后馈麦克风(feedback microphone,FB MIC),则耳机可以通过FF MIC或者FB MIC采集用户所处环境的声音,本申请实施例对此不作限定。
示例性地,耳机为TWS耳机,TWS耳机可以通过FF MIC采集用户所处环境的声音。图6示出了一种TWS耳机的结构示意图。如图6所示,TWS耳机包括FF MIC和FB MIC。当用户佩戴TWS耳机时,TWS耳机的FB MIC贴近用户的耳朵,TWS耳机的FF MIC离用户的耳朵相对较远,离用户所处的环境较近。TWS耳机可以通过FF MIC采集用户所处环境的声音,采集的用户所处环境的声音相对较准确。
S502、判断用户所处环境的声音中是否存在人的声音(或者简称为人声)。
耳机可以对用户所处环境的声音进行人声检测,判断用户所处环境的声音中是否存在人的声音。本申请实施例对耳机进行人声检测的具体实现方式不作限定。
示例性地,耳机可以通过语音活动检测(voice activity detection,VAD)算法对用户所处环境的声音进行人声检测。例如,在上述图6所示的示例中,耳机为TWS耳机,TWS耳机通过FF MIC采集用户所处环境的声音后,可以通过VAD算法对用户所处环境的声音进行人声检测。
若用户所处环境的声音中存在人的声音,则耳机可以对人的声音进行后续处理,即可以执行S503。若用户所处环境的声音中不存在人的声音,则耳机可以不再对采集的用户所处环境的声音进行处理,即退出方法500。
可选地,若用户所处环境的声音中不存在人的声音,则耳机也可以继续采集用户所处环境的声音,继续根据新采集的信息,检测环境中是否存在人的声音,即执行上述S501和S502。
S503、若用户所处环境的声音中存在人的声音,则判断人的声音是否为重点对象的声音。
重点对象也可以称为重点关注对象或者交谈对象。当重点对象讲话或者用户与重点对象交谈时,用户期望耳机可以开启透传模式。耳机判断人的声音是否为重点对象的声音也可以理解为:耳机判断用户所处环境中的讲话人是否为重点对象。
耳机判断人的声音是否为重点对象的声音,存在多种实现方式,
在一种可能的实现方式中,耳机保存有重点对象的声音,可以直接判断人的声音是否为重点对象的声音。
示例性地,耳机可以如上述图4所示,耳机的内部存储器121可以存储有重点对象的声音。若用户所处环境的声音中存在人的声音,耳机可以从内部存储器121中读取重点对象的声音,并判断人的声音是否为重点对象的声音。
这种实现方式,耳机保存有重点对象的声音,不需要从外部获取重点对象的声音,节省信令开销,可以提高识别效率。
在另一种可能的实现方式中,耳机可以从与耳机配对的设备例如手机中获取重点对象的声音以判断人的声音是否为重点对象的声音。其中,与耳机配对的设备可以称为终端设备,是可以与耳机进行无线或者有线通信的设备。
示例性地,与耳机配对的设备为手机。若用户所处环境的声音中存在人的声音,耳机可以向手机发送获取重点对象的声音的指令。手机接收该指令,并基于该指令,向耳机发送重点对象的声音。耳机接收重点对象的声音后,判断人的声音是否为重点对象的声音。
这种实现方式,耳机无需存储重点对象的声音,可以节省耳机的内存空间。
若人的声音为重点对象的声音,耳机可以继续对人的声音进行后续判断,即执行S504。若人的声音不是重点对象的声音,耳机可以不再继续对人的声音进行后续判断,即退出方法500。
可选地,若人的声音不是重点对象的声音,耳机也可以继续采集用户所处环境的声音,继续根据新采集的信息,检测环境中是否存在人的声音,即执行上述S501和S502。
S504、判断人的声音是否朝向用户。
耳机可以判断人的声音即重点对象的声音是否朝向用户,即判断环境中的人即重点对象或者讲话人是否是在向用户讲话。
示例性地,耳机为TWS耳机,耳机可以基于左耳机接收的人的声音信号和右耳机接收的人的声音信号计算双耳幅度差(interaural level difference,ILD)和双耳时间差(interaural time difference,ITD),并基于ILD和ITD确定人的声音相对用户的方位,以确定人的声音是否朝向用户。
若人的声音朝向用户,则耳机可以开启透传模式;若人的声音未朝向用户,则耳机可以开启退出方法500。
可选地,若人的声音未朝向用户,则耳机也可以继续采集用户所处环境的声音,继续根据新采集的信息,检测环境中是否存在人的声音,即执行上述S501和S502。
S505、若人的声音朝向用户,则开启透传模式。
若环境中存在人的声音、且人的声音为重点对象的声音,同时,该人的声音朝向用户,则耳机开启透传模式。其中,人的声音也可以成为讲话人的声音,本申请实施例对此不作限定。环境中的讲话人为重点对象,且讲话时朝向用户,此时,用户是否朝向讲话人,本申请实施例对此不作限定。
耳机可以在环境中的讲话人为重点对象,且讲话时朝向用户,用户也面向讲话人的情况下,开启透传模式。耳机也可以在环境中的讲话人为重点对象,且讲话时朝向用户,而用户未面向讲话人例如侧向讲话人,但讲话人朝向用户讲话时长超过预设时长的情况下,开启透传模式。
这种实现方式,在重点对象与用户交谈的场景中,即使用户未讲话,处于聆听状态,耳机仍会开启透传模式,使用户可以听清重点对象的声音,进而便于用户与之交谈,有利于提高用户的使用体验。另外,在重点对象与用户交谈的场景中,即使用户未面向重点对象,但是处于聆听状态时,耳机仍会开启透传模式,进一步提高用户体验。
可选地,在开启透传模式之前,耳机还可以判断透传模式是否开启。若透传模式已开启,则耳机使透传模式保持开启状态;若透传模式未已开启,则耳机开启透传模式。
这种实现方式,在开启透传模式之前,判断透传模式是否开启,可以避免重复开启透传模式。
S506、判断用户是否处于自讲状态。
耳机可以判断用户是否处于讲话状态即自讲状态。
示例性地,耳机可以采集骨传导传感器的信号,基于骨传导传感器的信号判断用户是否处于自讲状态。其中,骨传导传感器可以是上述图4所示的传感器模块180中的骨传导传感器。
本申请实施例不限定上述S501与S506的先后顺序,耳机可以同时执行S501和S506,也可以先执行S501再执行S506,还可以先执行S506再执行S501。
若用户处于自讲状态,则耳机可以开启透传模式,即执行上述S505。若用户处于自讲状态,且耳机已开启透传模式,则耳机使透传模式保持开启状态。若用户未处于自讲状态,耳机可以判断环境中人的声音是否为重点对象的声音,若人的声音为重点对象的声音,且朝向用户,则耳机可以开启透传模式。若用户未处于自讲状态,且环境中人的声音是不是重点对象的声音,则判断透传模式是否开启。若透传模式未开启,则耳机退出方法500或者继续采集用户所处环境的声音,继续根据新采集的信息,检测环境中是否存在人的声音,即执行上述S501和S502。若透传模式已开启,耳机可以退出透传模式。
本申请实施例提供的透传模式的切换方法,在用户未主动讲话,但在用户所处环境中重点对象在向用户讲话的场景中,耳机可以开启透传模式或者保持开启透传模式,以便于用户可以与重点对象进行交谈,避免用户在聆听状态下耳机退出透传模式的情况,有利于提高用户的使用体验。
作为一个可选的实施例,上述S503、若用户所处环境的声音中存在人的声音,则判断人的声音是否为重点对象的声音,可以包括:若用户所处环境的声音中存在人的声音,则提取人的声音的声纹特征,将人的声音的声纹特征与重点对象的声音的声纹特征进行匹配,以判断人的声音是否为重点对象的声音。
用户所处环境的声音中存在人的声音,包括用户所处环境的声音中存在一个人的声音或者存在多个人的声音,本申请实施例对此不作限定。
声纹特征可以包括声谱图(Spectrogram)、基频轨迹(Pitch contour)以及长时间平均谱(long time average spectrum,LTAS)等特征。
示例性地,人的声音的声纹特征可以用一个时频特征矩阵表示,该时频特征矩阵可以用符号pred_FT i (f,t)表示,其中,i用于表示用户所处环境的声音中存在的第i个人的声音。若耳机为TWS耳机,TWS耳机包括左耳机和右耳机。TWS耳机可以基于左耳机采集人的声音提取声纹特征pred_left_FT i (f,t),也可以基于右耳机采集人的声音提取声纹特征pred_right_FT i (f,t)。
其中,pred_left_FT i (f,t)可以具体表示为:
Figure 694317DEST_PATH_IMAGE007
其中,i用于用户所处环境的声音中存在的第i个人的声音,M用于表示第几个特征,N用于表示频点数,P用于表示总帧数。
pred_right_FT i (f,t) 可以具体表示为:
Figure 111260DEST_PATH_IMAGE008
重点对象的声音可以是一个,也可以多个。重点对象的声音的具体个数可以基于用户需求确定,本申请实施例对此不作限定。耳机可以存储有重点对象的声音的声纹特征,也可以从与耳机配对的设备中获取重点对象的声音的声纹特征,本申请实施例对此不作限定。重点对象的声音的声纹特征是耳机从重点对象的声音中提取的,可以存储于耳机的存储器,也可以发送至与耳机配对的设备中存储。在耳机对重点对象的声音提取声纹特征之前,可以先采集重点对象的声音。
示例性地,耳机为TWS耳机,耳机可以基于与耳机配对的设备例如手机的指令,在面向重点对象时,采集重点对象的声音。图7示出了一种重点对象声音采集的界面示意图。如图7中的a界面所示,手机显示的界面为重点对象声音采集的界面,用户可以在请输入讲话人个数对应的输入框中根据需求选择相应的人数例如8。手机基于用户的操作,可以确定重点对象的人数为8,并在目标人选择区域显示8个标识(即A、B、C、D、E、F、G以及H)以分别对应8个重点对象。这8个标识中每个标识均对应一个选择框,以选中该标识对应的重点对象。该界面还显示有注意事项:面向目标说话人时采集数据,以提示用户采集重点对象的声音时需使手机面向重点对象。该界面还显示有采集进度条和开始控件,当手机检测到用户触发开始控件的操作时,响应于该操作,手机可以向TWS耳机发送采集声音的指令,并记录采集时长,根据采集时长和预设的采集总时长计算采集进度,并根据采集进度在采集进度条上显示相应的进度。
如图7中的a界面所示,手机检测到用户选中H表示对应的选择框的操作,响应于该操作,可以确定采集的重点对象对应的标识为H。如图7中的b界面所示,手机检测到用户触发开始控件的操作,响应于该操作,向TWS耳机发送采集声音的指令。TWS耳机接收到采集声音的指令,并基于该指令,通过FF MIC采集声音。手机检测到用户触发开始控件的操作,响应于该操作,还可以记录采集时长,根据采集时长和预设的采集总时长计算采集进度,并根据采集进度在采集进度条上显示相应的进度。如图7中的c界面所示,若采集进度为70%,手机可以在采集进度条上显示70%。手机检测到用户触发开始控件的操作,响应于该操作,还可以将上述开始控件替换为停止控件以供用户停止采集声音。如图7中的d界面所示,若手机检测到采集进度为100%,可以在采集进度条上显示100%,并将上述停止控件替换为已完成文本控件以表示采集完成。
耳机基于上述图7所示的方法采集重点对象的声音后,可以对重点对象的声音提取声纹特征,得到重点对象的声纹特征。重点对象的声纹特征可以用符号FT i (f,t)表示,其中,i用于重点对象中第i个重点对象。若耳机为TWS耳机,TWS耳机包括左耳机和右耳机。TWS耳机可以基于左耳机采集的重点对象的声音提取的声纹特征left_FT i (f,t),也可以基于右耳机采集的重点对象的声音提取的声纹特征right_FT i (f,t)。
其中,left_FT i (f,t)可以具体表示为:
Figure 857499DEST_PATH_IMAGE009
其中,i用于重点对象中第i个重点对象,M用于表示第几个特征,N用于表示频点数,P用于表示总帧数。
right_FT i (f,t) 可以具体表示为:
Figure 681099DEST_PATH_IMAGE010
耳机可以将人的声音的声纹特征与重点对象的声音的声纹特征进行匹配,以判断人的声音是否为重点对象的声音。若用户所处环境的声音中存在人的声音,重点对象的声音为多个,则耳机可以将该人的声音与每个重点对象的声音的声纹特征进行匹配,得到匹配结果。
示例性地,若人的声音的声纹特征表示为上述pred_left_FT i (f,t)和pred_ right_FT i (f,t),重点对象的声音提取声纹特征表示为上述left_FT i (f,t) 和left_FT i (f,t),则耳机可以计算人的声音的声纹特征与重点对象的声音提取声纹特征的均方误差(msemse,MSE),基于均方误差确定人的声音是否为重点对象的声音。
示例性地,人的声音的声纹特征与重点对象的声音提取声纹特征的均方误差可以用符号MSE_left_FT i (f,t)和MSE_right_FT i (f,t)表示。
其中,MSE_left_FT i (f,t) 可以具体表示为:
Figure 820087DEST_PATH_IMAGE011
其中,
Figure 842270DEST_PATH_IMAGE012
Figure 802486DEST_PATH_IMAGE013
Figure 113382DEST_PATH_IMAGE014
Figure 39749DEST_PATH_IMAGE015
MSE_ right _FT i (f,t) 可以具体表示为:
Figure 667171DEST_PATH_IMAGE016
其中,
Figure 817530DEST_PATH_IMAGE017
Figure 350142DEST_PATH_IMAGE018
Figure 329468DEST_PATH_IMAGE019
Figure 60664DEST_PATH_IMAGE020
MSE_left_FT i (f,t)和MSE_right_FT i (f,t)均小于预设门限λ,耳机可以确定人的声音为重点对象的声音。相反的,若MSE_left_FT i (f,t)和MSE_right_FT i (f,t)存在至少一个大于或等于预设门限λ,耳机可以确定人的声音不是重点对象的声音。其中,预设门限λ是开发人员经过大量的实验标定后预设于耳机中的。
本申请实施例提供的方法,基于声音的声纹特征判断用户所处环境的声音中存在的人的声音是否为重点对象的声音,有利于准确地得到判断结果。
作为一个可选的实施例,上述耳机提取人的声音的声纹特征,可以包括:若用户所处环境的声音中存在人的声音,耳机可以计算该人的声音相对于耳机的角度;若该角度不是0°(即不是朝向耳机),耳机对人的声音的声谱进行补偿,得到补偿后的人的声音的声谱;并对补偿后的人的声音的声谱提取声纹特征。
若耳机是TWS耳机,人的声音相对于耳机的角度可以用双耳幅度差(interaurallevel difference,ILD)和双耳时间差(interaural time difference,ITD)表示。
其中,ITD的计算公式可以表示为:
Figure 585186DEST_PATH_IMAGE021
其中,
Figure 418144DEST_PATH_IMAGE022
为常数,例如a可以为0.0875m,c可以为声速,正前方的入射角度为
Figure 686314DEST_PATH_IMAGE023
。可以理解的是,当正前方的入射角
Figure 475279DEST_PATH_IMAGE023
为0°时,ITD也可以为0。
图8为本申请实施例提供的一种计算双耳时间差的示意图。如图8所示,当人的声音(即声源)在左前方,人的声音所在方向与正前方的角度为
Figure 688479DEST_PATH_IMAGE023
,当
Figure 726842DEST_PATH_IMAGE024
时,则添加线索后的左右通道信号为:
Figure 798703DEST_PATH_IMAGE025
其中,
Figure 724065DEST_PATH_IMAGE026
为调制频率,
Figure 387128DEST_PATH_IMAGE027
为信号频率,m为调制指数。
ILD的计算方式相对较简单,耳机可以把空间线索库中的幅度差信息,直接叠加到左、右通道的信号上即可得到ILD。
例如,若
Figure 427634DEST_PATH_IMAGE028
时,则
Figure 37606DEST_PATH_IMAGE029
耳机可以基于ILD和ITD,确定人的声音相对于耳机的角度,若该角度不是0°,耳机对人的声音的声谱进行补偿,得到补偿后的人的声音的声谱,也就是说,耳机可以基于ILD和ITD,确定人的声音相对于耳机的方位,若人的声音不是朝向耳机的,耳机对人的声音的声谱进行补偿,得到补偿后的人的声音的声谱。
耳机可以基于人的声音相对于耳机的方位,确定补偿函数,并基于补偿函数对人的声音的声谱进行补偿,得到补偿后的人的声音的声谱。耳机可以预设有不同方位的补偿函数,可以基于人的声音相对于耳机的方位,从预设的补偿函数中确定所需的补偿函数。其中,预设的补偿函数是开发人员经过试验确定的,并预设于耳机中的。
示例性地,图9示出了一种标定补偿函数的示意图。如图9所示,实验人员佩戴有TWS耳机,开发人员可以分别在距离实验人员的1米(meter,m)半径的不同角度处(例如0°、30°、60°、90°、120°、150°、180°、210°、240°、270°、300°以及330°)播放测试信号s(t)。TWS耳机可以分别接收不同角度的信号。TWS耳机包括左耳机和右耳机,左耳机接收到的信号可以为l j (t),右耳机接收到的信号可以为r j (t),其中,j用于表示测试信号s(t)位于TWS耳机的角度,j为0°、30°、60°、90°、120°、150°、180°、210°、240°、270°、300°或者330°。在j为0°时,TWS耳机接收到的信号为s(t)。
TWS耳机可以对l j (t)和r j (t)进行拉普拉斯变换,得到L j (s)和R j (s),并对s(t) 进行拉普拉斯变换,得到S(s) 。TWS耳机可以基于L j (s) 、R j (s) 以及S(s) ,确定不同角度下的左右耳的补偿函数,具体可以表示为:
Figure 597901DEST_PATH_IMAGE030
TWS耳机可以保存不同角度下的左右耳的补偿函数。若用户所处环境的声音中存在人的声音,且该人的声音相对于TWS耳机的角度为60°,TWS耳机可以基于上述补偿函数对左耳机和右耳机接收的该人的声音的传递函数(L' (s)和R' (s))进行补偿,得到补偿后的传递函数
Figure 385859DEST_PATH_IMAGE031
Figure 133236DEST_PATH_IMAGE032
。其中,
Figure 281320DEST_PATH_IMAGE033
Figure 208038DEST_PATH_IMAGE034
具体可以表示为:
Figure 681745DEST_PATH_IMAGE035
耳机可以基于补偿后的传递函数,确定补偿后的人的声音的声谱,并对补偿后的人的声音的声谱提取声纹特征。
本申请实施例提供的方法,在耳机所处环境的声音中存在的人的声音并不是朝向耳机的情况下,先对人的声音的声谱进行补偿,再对补偿后的声谱提取声纹特征,有利于提高声纹特征的准确度。
可选地,上述耳机在采集重点对象的声音时,还可以计算重点对象相对用户(或者称为耳机)的角度,若该角度是0°,则基于上述方法计算;若不是0°,耳机也可以记录下采集重点对象的声音的角度。若用户所处环境的声音中存在人的声音,且该人的声音相对于耳机的角度与重点对象的声音相对耳机的角度不同,耳机对人的声音的声谱进行补偿,得到补偿后的人的声音的声谱,该补偿后的人的声音相对耳机的角度与重点对象的声音相对耳机的角度相同。
在这种实现方式中,耳机预设有补偿为不同角度的补偿函数。在该耳机出厂之前,考法人员可以将补偿为不同角度的补偿函数预设于耳机中。
作为一个可选的实施例,上述S504、判断人的声音是否朝向用户,可以包括:耳机基于补偿后的声谱确定人的声音是否朝向用户(即讲话人是否朝向用户讲话),和/或,耳机基于补偿后的声谱确定用户是否朝向人的声音(即用户是否朝向讲话人)。若讲话人朝向用户讲话,且用户朝向讲话人,耳机可以开启透传模式;若讲话人朝向用户讲话,而用户未朝向讲话人,但讲话人朝向用户讲话的时长超过预设时长(例如10秒或者20秒等等),耳机可以开启透传模式。若讲话人朝向用户讲话,而用户未朝向讲话人,但讲话人朝向用户讲话的时长超过预设时长
示例性地,在上述示例中,补偿后的传递函数为
Figure 650838DEST_PATH_IMAGE036
Figure 337034DEST_PATH_IMAGE037
,耳机可以基于
Figure 888232DEST_PATH_IMAGE038
Figure 532840DEST_PATH_IMAGE039
确定讲话人是否朝向用户讲话和用户是否朝向讲话人。具体可以为:耳机计算
Figure 238497DEST_PATH_IMAGE038
Figure 790701DEST_PATH_IMAGE039
的比值
Figure 383356DEST_PATH_IMAGE040
或者
Figure 949598DEST_PATH_IMAGE041
,若该比值
Figure 690021DEST_PATH_IMAGE042
,耳机可以确定讲话人朝向用户讲话,且用户朝向讲话人;若
Figure 983599DEST_PATH_IMAGE043
,耳机可以确定讲话人朝向用户讲话,但用户未朝向讲话人;若
Figure 479696DEST_PATH_IMAGE044
,耳机可以确定讲话人未朝向用户讲话,且用户未朝向讲话人。其中,预设阈值
Figure 466106DEST_PATH_IMAGE045
Figure 897088DEST_PATH_IMAGE046
是开发人员经过大量实验标定后预设与耳机中的。
图10示出了一种不同交谈场景的示意图。如图10中的a所示,用户101佩戴有TWS耳机102,用户101的朋友103面向用户101进行交谈,用户101的朋友103对用户101说:“一起去吃饭呀”。此时,TWS耳机检测到朋友103的声音,若
Figure 479510DEST_PATH_IMAGE042
,耳机可以确定朋友103朝向用户101讲话,且用户101朝向朋友103,耳机可以开启透传模式。
如图10中的b所示,用户101佩戴有TWS耳机102,用户101的朋友103朝向用户101进行交谈,用户101的朋友103对用户101说:“一起去吃饭呀”。此时,TWS耳机检测到朋友103的声音,若
Figure 843495DEST_PATH_IMAGE043
,耳机可以确定朋友103朝向用户101讲话,但用户101未朝向朋友103。若耳机检测到朋友103的时长超过预设时长,则可以开启透传模式。
如图10中的c所示,用户101佩戴有TWS耳机102,用户101的朋友103与其他人104进行交谈,用户101的朋友103对其他人104说:“一起去吃饭呀”。此时,TWS耳机检测到朋友103的声音,若
Figure 807DEST_PATH_IMAGE044
,耳机可以确定朋友103未朝向用户101讲话,且用户101也未朝向朋友103,耳机可以不开启透传模式。
本申请实施例提供的方法,终端设备基于补偿后的声谱确定人的声音是否朝向用户和/或用户是否朝向人的声音,并基于判断结果确定是否开启透传模式,这种实现方式,可以更加准确地判断用户的状态以合理地进行透传模式地切换,有利于提高用户体验。
上述实施例中各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上文中结合图1至图10,详细描述了本申请实施例提供的方法,下面将结合图11和图12,详细描述本申请实施例提供的装置。
图11示出了本申请实施例提供的一种透传模式的切换装置1100的示意性框图。如图11所示,该切换装置1100包括:采集模块1110和处理模块1120。其中,采集模块1110用于:在第一时间采集第一对象的声音;处理模块1120用于:在第一时间存储第一对象的声音;采集模块1110还用于:在第二时间采集佩戴该切换装置的用户所处环境内的第一环境音,第一对象在第二时间在环境内处于说话状态,第二时间位于第一时间之后;处理模块1120还用于:响应于第一环境音,开启透传模式。
可选地,第一对象在第二时间面向用户,且第一对象在第一时长内均处于说话状态;或者,在第二时间,第一对象面向用户,且用户面向第一对象。
可选地,处理模块1120还用于:若第一对象的声音的第一传递函数与第一对象的声音的第二传递函数的比值小于或等于第一预设阈值,则确定第一对象面向用户,且用户面向第一对象;若比值大于第一预设阈值,且小于或等于第二预设阈值,则确定第一对象面向用户,且用户未面向第一对象;或者,若比值大于第二预设阈值,则确定第一对象未面向用户,且用户未面向第一对象。
可选地,处理模块1120还用于:响应于第一环境音,获取第一环境音中的人声;在第一环境音中的人声与第一对象的声音相匹配的情况下,开启透传模式。
可选地,处理模块1120还用于:若第一环境音中的人声对应的讲话人未面向用户,则基于讲话人相对用户的角度和第一对应关系,确定补偿函数,第一对应关系包括多个角度以及多个角度中每个角度对应的补偿函数,多个角度包括讲话人相对用户的角度;基于补偿函数对第一环境音中的人声进行补偿,得到补偿后的第一环境音中的人声;在补偿后的第一环境音中的人声与第一对象的声音相匹配的情况下,开启透传模式。
可选地,处理模块1120还用于:在第三时间采集用户所处环境内的第二环境音,第二对象在第三时间在环境内处于说话状态,第一对象在第三时间在环境内未处于说话状态,第三时间位于第二时间之后;响应于第二环境音,若用户在第三时间处于说话状态,保持透传模式处于开启状态。
可选地,处理模块1120还用于:响应于第二环境音,若用户在第三时间未处于说话状态,退出透传模式。
可选地,上述切换装置还包括接收模块。该接收模块用于:在第一时间接收终端设备的第一指令,终端设备与上述切换装置连接,第一指令用于指示该切换装置采集第一对象的声音;采集模块1110还用于:基于第一指令,采集第一对象的声音;处理模块1120还用于:对第一对象的声音进行存储。
应理解,这里的切换装置1100以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选的例子中,本领域技术人员可以理解,切换装置1100可以具体为上述方法实施例中的耳机,或者,上述方法实施例中耳机的功能可以集成在切换装置1100中,切换装置1100可以用于执行上述方法实施例中与耳机对应的各个流程和/或步骤,为避免重复,在此不再赘述。
上述切换装置1100具有实现上述方法实施例中耳机执行的相应步骤的功能;上述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
在本申请的实施例中,图11中的切换装置1100也可以是芯片或者芯片系统,例如:片上系统(system on chip,SoC)。
图12是本申请实施例提供的另一种透传模式的切换装置1200的示意性框图。如图12所示,该切换装置1200包括:处理器1210、收发器1220和存储器1230。其中,处理器1210、收发器1220和存储器1230通过内部连接通路互相通信,该存储器1230用于存储指令,该处理器1210用于执行该存储器1230存储的指令,以控制该收发器1220发送信号和/或接收信号。
应理解,切换装置1200可以具体为上述方法实施例中的耳机,或者,上述方法实施例中耳机的功能可以集成在切换装置1200中,切换装置1200可以用于执行上述方法实施例中与耳机对应的各个步骤和/或流程。可选地,该存储器1230可以包括只读存储器和随机存取存储器,并向处理器1210提供指令和数据。存储器1230的一部分还可以包括非易失性随机存取存储器。例如,存储器1230还可以存储设备类型的信息。该处理器1210可以用于执行存储器1230中存储的指令,并且该处理器1210执行该指令时,该处理器1210可以执行上述方法实施例中与耳机对应的各个步骤和/或流程。
应理解,在本申请实施例中,该处理器1210可以是中央处理单元(centralprocessing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器执行存储器中的指令,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序用于实现上述方法实施例中耳机对应的方法。
本申请还提供了一种芯片系统,该芯片系统用于支持上述方法实施例中耳机实现本申请实施例所示的功能。
本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机程序(也可以称为代码,或指令),当该计算机程序在计算机上运行时,该计算机可以执行上述方法实施例所示的耳机对应的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种透传模式的切换方法,其特征在于,应用于耳机,包括:
所述耳机在第一时间采集和存储第一对象的声音;
所述耳机在第二时间采集佩戴所述耳机的用户所处环境内的第一环境音,所述第一对象在所述第二时间在所述环境内处于说话状态,所述第二时间位于所述第一时间之后;
响应于所述第一环境音,所述耳机开启透传模式。
2.根据权利要求1所述的方法,其特征在于,所述第一对象在所述第二时间面向所述用户,且所述第一对象在第一时长内均处于说话状态;或者,
在所述第二时间,所述第一对象面向所述用户,且所述用户面向所述第一对象。
3.根据权利要求2所述的方法,其特征在于,所述耳机包括左耳机和右耳机,所述左耳机获取到所述第一对象的声音的第一传递函数,所述右耳机获取到所述第一对象的声音的第二传递函数;
所述方法还包括:
若所述第一传递函数与所述第二传递函数的比值小于或等于第一预设阈值,则所述耳机确定所述第一对象面向所述用户,且所述用户面向所述第一对象;
若所述比值大于所述第一预设阈值,且小于或等于第二预设阈值,则所述耳机确定所述第一对象面向所述用户,且所述用户未面向所述第一对象;或者,
若所述比值大于所述第二预设阈值,则所述耳机确定所述第一对象未面向所述用户,且所述用户未面向所述第一对象。
4.根据权利要求1所述的方法,其特征在于,所述响应于所述第一环境音,所述耳机开启透传模式,包括:
所述耳机响应于所述第一环境音,获取所述第一环境音中的人声;
在所述第一环境音中的人声与所述第一对象的声音相匹配的情况下,所述耳机开启透传模式。
5.根据权利要求4所述的方法,其特征在于,所述耳机在所述第一时间采集所述第一对象的声音时,所述用户面向所述第一对象;
所述在所述第一环境音中的人声与所述第一对象的声音相匹配的情况下,所述耳机开启透传模式,包括:
若所述第一环境音中的人声对应的讲话人未面向所述用户,则所述耳机基于所述讲话人相对所述用户的角度和第一对应关系,确定补偿函数,所述第一对应关系包括多个角度以及所述多个角度中每个角度对应的补偿函数,所述多个角度包括所述讲话人相对所述用户的角度;
所述耳机基于所述补偿函数对所述第一环境音中的人声进行补偿,得到补偿后的所述第一环境音中的人声;
在所述补偿后的所述第一环境音中的人声与所述第一对象的声音相匹配的情况下,所述耳机开启透传模式。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述耳机在第三时间采集所述用户所处环境内的第二环境音,第二对象在所述第三时间在所述环境内处于说话状态,所述第一对象在所述第三时间在所述环境内未处于说话状态,所述第三时间位于所述第二时间之后;
响应于所述第二环境音,若所述用户在所述第三时间处于说话状态,所述耳机保持透传模式处于开启状态。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
响应于所述第二环境音,若所述用户在所述第三时间未处于说话状态,所述耳机退出透传模式。
8.根据权利要求1至7中任一项所述的方法,其特征在于,在所述耳机在第一时间采集和存储第一对象的声音,包括:
所述耳机在所述第一时间接收终端设备的第一指令,所述终端设备与所述耳机连接,所述第一指令用于指示所述耳机采集所述第一对象的声音;
所述耳机基于所述第一指令,采集所述第一对象的声音,并对所述第一对象的声音进行存储。
9.一种透传模式的切换装置,其特征在于,包括:处理器和存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述切换装置执行如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
CN202211452699.6A 2022-11-21 2022-11-21 透传模式的切换方法和切换装置 Active CN115835079B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211452699.6A CN115835079B (zh) 2022-11-21 2022-11-21 透传模式的切换方法和切换装置
CN202310931487.4A CN118057837A (zh) 2022-11-21 2022-11-21 透传模式的切换方法和切换装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211452699.6A CN115835079B (zh) 2022-11-21 2022-11-21 透传模式的切换方法和切换装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310931487.4A Division CN118057837A (zh) 2022-11-21 2022-11-21 透传模式的切换方法和切换装置

Publications (2)

Publication Number Publication Date
CN115835079A true CN115835079A (zh) 2023-03-21
CN115835079B CN115835079B (zh) 2023-08-08

Family

ID=85529484

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211452699.6A Active CN115835079B (zh) 2022-11-21 2022-11-21 透传模式的切换方法和切换装置
CN202310931487.4A Pending CN118057837A (zh) 2022-11-21 2022-11-21 透传模式的切换方法和切换装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310931487.4A Pending CN118057837A (zh) 2022-11-21 2022-11-21 透传模式的切换方法和切换装置

Country Status (1)

Country Link
CN (2) CN115835079B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4322548A1 (en) * 2022-08-09 2024-02-14 Beijing Xiaomi Mobile Software Co., Ltd. Earphone controlling method and apparatus, and storage medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010046304A1 (en) * 2000-04-24 2001-11-29 Rast Rodger H. System and method for selective control of acoustic isolation in headsets
CN112770214A (zh) * 2021-01-28 2021-05-07 歌尔科技有限公司 耳机的控制方法、装置及耳机
WO2022002166A1 (zh) * 2020-06-30 2022-01-06 华为技术有限公司 一种耳机噪声处理方法、装置及耳机
CN113938785A (zh) * 2021-11-24 2022-01-14 英华达(上海)科技有限公司 降噪处理方法、装置、设备、耳机及存储介质
WO2022089563A1 (zh) * 2020-10-31 2022-05-05 华为技术有限公司 一种声音增强方法、耳机控制方法、装置及耳机
US20220167105A1 (en) * 2019-04-08 2022-05-26 Harman International Industries, Incorporated Personalized three-dimensional audio
CN114727212A (zh) * 2022-03-10 2022-07-08 荣耀终端有限公司 音频的处理方法及电子设备
CN115209298A (zh) * 2022-07-12 2022-10-18 Oppo广东移动通信有限公司 音频播放方法、装置、耳机及存储介质
US20220335924A1 (en) * 2019-12-31 2022-10-20 Huawei Technologies Co., Ltd. Method for reducing occlusion effect of earphone, and related apparatus

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010046304A1 (en) * 2000-04-24 2001-11-29 Rast Rodger H. System and method for selective control of acoustic isolation in headsets
US20220167105A1 (en) * 2019-04-08 2022-05-26 Harman International Industries, Incorporated Personalized three-dimensional audio
US20220335924A1 (en) * 2019-12-31 2022-10-20 Huawei Technologies Co., Ltd. Method for reducing occlusion effect of earphone, and related apparatus
WO2022002166A1 (zh) * 2020-06-30 2022-01-06 华为技术有限公司 一种耳机噪声处理方法、装置及耳机
WO2022089563A1 (zh) * 2020-10-31 2022-05-05 华为技术有限公司 一种声音增强方法、耳机控制方法、装置及耳机
CN114449393A (zh) * 2020-10-31 2022-05-06 华为技术有限公司 一种声音增强方法、耳机控制方法、装置及耳机
CN112770214A (zh) * 2021-01-28 2021-05-07 歌尔科技有限公司 耳机的控制方法、装置及耳机
CN113938785A (zh) * 2021-11-24 2022-01-14 英华达(上海)科技有限公司 降噪处理方法、装置、设备、耳机及存储介质
CN114727212A (zh) * 2022-03-10 2022-07-08 荣耀终端有限公司 音频的处理方法及电子设备
CN115209298A (zh) * 2022-07-12 2022-10-18 Oppo广东移动通信有限公司 音频播放方法、装置、耳机及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4322548A1 (en) * 2022-08-09 2024-02-14 Beijing Xiaomi Mobile Software Co., Ltd. Earphone controlling method and apparatus, and storage medium

Also Published As

Publication number Publication date
CN118057837A (zh) 2024-05-21
CN115835079B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
WO2021008614A1 (zh) 一种建立通信连接的方法及可穿戴设备
CN108538320B (zh) 录音控制方法和装置、可读存储介质、终端
CN108886653B (zh) 一种耳机声道控制方法、相关设备及系统
CN109040446B (zh) 通话处理方法及相关产品
CN112040461A (zh) 一种靠近发现的方法及设备
CN110913062B (zh) 一种音频控制方法、装置、终端及可读存储介质
CN110022487A (zh) 音量调节方法及装置
CN114727212B (zh) 音频的处理方法及电子设备
US20230147435A1 (en) Audio Processing Method, Apparatus, and System
CN113393856B (zh) 拾音方法、装置和电子设备
CN114466097A (zh) 防漏音的移动终端及移动终端的声音输出方法
CN106453838B (zh) 音量调节方法及装置
CN115835079B (zh) 透传模式的切换方法和切换装置
KR101886735B1 (ko) 스테레오 무선이어폰이 구비된 블루투스 웨어러블 워치
CN113411417A (zh) 无线扩音系统及终端
CN113301544B (zh) 一种音频设备间语音互通的方法及设备
CN112771828A (zh) 一种音频数据的通信方法及电子设备
CN112599144A (zh) 音频数据处理方法、音频数据处理装置、介质与电子设备
CN113727231A (zh) 一种耳机音量调节方法及其设备
CN114120950B (zh) 一种人声屏蔽方法和电子设备
CN114666445B (zh) 通话方法、装置、芯片和可读存储介质
CN113746976B (zh) 音频模块检测方法、电子设备及计算机存储介质
WO2018064883A1 (zh) 一种录音方法、装置、设备及计算机存储介质
CN108605067B (zh) 播放音频的方法和移动终端
CN108882112A (zh) 音频播放控制方法、装置、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant