CN112822585A - 一种入耳式耳机的音频播放方法、装置及系统 - Google Patents

一种入耳式耳机的音频播放方法、装置及系统 Download PDF

Info

Publication number
CN112822585A
CN112822585A CN202011600763.1A CN202011600763A CN112822585A CN 112822585 A CN112822585 A CN 112822585A CN 202011600763 A CN202011600763 A CN 202011600763A CN 112822585 A CN112822585 A CN 112822585A
Authority
CN
China
Prior art keywords
earphone
user
signal
sound
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011600763.1A
Other languages
English (en)
Other versions
CN112822585B (zh
Inventor
王中镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202011600763.1A priority Critical patent/CN112822585B/zh
Publication of CN112822585A publication Critical patent/CN112822585A/zh
Priority to PCT/CN2021/103649 priority patent/WO2022142224A1/zh
Priority to US18/259,796 priority patent/US20240073577A1/en
Application granted granted Critical
Publication of CN112822585B publication Critical patent/CN112822585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Headphones And Earphones (AREA)

Abstract

本发明公开了一种入耳式耳机的音频播放方法、装置及系统，应用于设有振动传感器的入耳式耳机，包括：在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；在音频播放的过程中通过所述振动传感器获取用户耳道内的振动信号；依据所述振动信号获取对应的语音参数，并依据语音参数判断该用户是否在对外交流，若是，则将耳机切换至辅听模式，辅听模式为采集环境声音并将所述环境声音中的第一声音信号通过所述耳机进行播放，其中，第一声音信号包括与所述用户对应的对话者的声音信号；若否，则继续保持当前的音频播放模式；本发明能够为用户的使用提供便利，提升用户的使用体验。

Description

一种入耳式耳机的音频播放方法、装置及系统
技术领域
本发明实施例涉及耳机技术领域，特别是涉及一种入耳式耳机的音频播放方法、装置及系统。
背景技术
随着移动通信的发展，各种智能穿戴设备在人们生活中使用越来越广泛，其中，无线耳机已经成为大众生活的必需品。无线耳机用来听音乐、听音视频以及打电话，与有线耳机相比给人们带来了很大便利，但若用户在使用过程中需要与别人进行当面交流时，需要手动关掉音频、摘下耳机，否则会严重影响与别人的交流效果，并且摘掉耳机容易导致耳机丢失，或者是用户手动调低音量以便听清楚对方说话，但这些方式都为用户带来不便，影响用户使用体验。
鉴于此，如何提供一种解决上述技术问题的入耳式耳机的音频播放方法、装置及系统成为本领域技术人员需要解决的技术问题。
发明内容
本发明实施例的目的是提供一种入耳式耳机的音频播放方法、装置及系统，在使用过程中能够为用户的使用提供便利，提升用户的使用体验。
为解决上述技术问题，本发明实施例提供了一种入耳式耳机的音频播放方法，应用于设有振动传感器的入耳式耳机，包括：
在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；
在音频播放的过程中通过所述振动传感器获取用户耳道内的振动信号；
依据所述振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流，若是，则将耳机切换至辅听模式，所述辅听模式为采集环境声音并将所述环境声音中的第一声音信号通过所述耳机进行播放，所述第一声音信号包括与所述用户对应的对话者的声音信号；若否，则继续保持当前的音频播放模式。
可选的，所述语音参数包括语音能量，则依据所述振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流的过程为：
依据所述振动信号获取对应的语音能量，并依据所述语音能量判断对应的语音能量值是否达到预设值，若是，则所述用户在对外交流，若否，则所述用户没有对外交流。
可选的，所述依据所述振动信号获取对应的语音能量，并依据所述语音能量判断对应的语音能量值是否达到预设值的过程为：
对所述振动信号进行噪声消除处理，以便提取出与所述用户的语音对应的第一振动信号；
对所述第一振动信号进行语音能量检测获取对应的语音能量值，并判断对应的语音能量值是否达到预设值。
可选的，在所述对所述第一振动信号进行语音能量检测获取对应的语音能量值，并判断所述语音能量值是否达到预设值之前，还包括：
将所述第一振动信号发送至终端设备，以便对所述用户进行身份识别；
接收识别结果，并当所述识别结果为识别成功时进入下一步。
可选的，所述第一声音信号包括人的声音信号和/或拟人声音信号。
可选的，所述采集环境声音并将所述环境声音中的第一声音信号通过耳机进行播放的过程为：
采集环境声音并对所述环境声音进行噪声消除处理，得到所述环境声音中与人声对应的声音信号；
将所述的第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号，并将所述混合声音信号通过所述耳机进行播放。
可选的，在所述将所述的第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号之前，还包括：
对所述的第一声音信号进行响度补偿处理，得到补偿后的声音信号；
拾取用户耳道内的声音信号，并从所述用户耳道内的声音信号中提取出共鸣声音信号；
对所述共鸣声音信号进行处理，得到共鸣声音抑制信号；
则，所述将所述与人声对应的声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号的过程为：
将所述补偿后的声音信号、所述共鸣声音抑制信号与当前正在播放的音频信号进行混音处理后得到混合声音信号。
可选的，在所述将耳机切换至辅听模式之后，还包括：
继续通过所述振动传感器采集用户耳道内的振动信号，并在依据所述振动信号确定出所述用户没有对外交流时，将所述耳机切换至所述音频播放模式，使所述耳机继续对当前所播放的音频文件进行播放。
本发明实施例还提供了一种入耳式耳机的音频播放装置，应用于设有振动传感器的入耳式耳机，包括：
播放模块，用于在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；
获取模块，用于在音频播放的过程中通过所述振动传感器获取用户耳道内的振动信号；
判断模块，用于依据所述振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流，若是，则触发控制模块；若否，则触发所述播放模块；
所述控制模块，用于将耳机切换至辅听模式，所述辅听模式为采集环境声音并将所述环境声音中的第一声音信号通过所述耳机进行播放，所述第一声音信号包括与所述用户对应的对话者的声音信号。
本发明实施例还提供了一种入耳式耳机的音频播放系统，包括处理器、存储器和设置于入耳式耳机上的、用于采集用户耳道内的振动信号的振动传感器；其中：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述入耳式耳机的音频播放方法的步骤。
本发明实施例提供了一种入耳式耳机的音频播放方法、装置、系统及计算机可读存储介质，应用于设有振动传感器的入耳式耳机，该方法能够在耳机处于音频播放模式时对当前音频文件进行音频播放，并在音频播放的过程中通过设置在耳机上的振动传感器采集用户耳道内的振动信号，然后依据该振动信号获取对应的语音参数，并依据语音参数判断该用户是否在对外交流，若用户在对外交流，则说明用户需要与外界进行面对面的交流，此时将耳机切换至辅听模式，辅听模式为采集环境声音然后将环境声音中的第一声音信号通过耳机进行播放，其中，第一声音信号包括与所述用户对应的对话者的声音信号，并与其进行交流；本发明能够为用户的使用提供便利，提升用户的使用体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种入耳式耳机的音频播放方法的流程示意图；
图2为本发明实施例提供的一种入耳式耳机的音频播放装置的结构示意图；
图3为本发明实施例提供的一种入耳式耳机的音频播放系统的结构示意图；
图4为本发明实施例提供的一种入耳式耳机的结构示意图；
图5为本发明实施例提供的一种入耳式耳机的内部结构示意图。
具体实施方式
本发明实施例提供了一种入耳式耳机的音频播放方法、装置、系统及计算机可读存储介质，在使用过程中能够为用户的使用提供便利，提升用户的使用体验。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明实施例提供的一种入耳式耳机的音频播放方法的流程示意图。该方法应用于设有振动传感器的入耳式耳机，包括：
S110：在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；
具体的，在耳机处于音频播放模式时，根据当前正在播放的音频文件控制耳机播放对应的音频，其中，本发明具体可以应用于TWS耳机，对于TWS耳机当耳机处于音频播放模式时，TWS耳机内的蓝牙协议栈根据当前音频文件输出已编码的音频数据，并且蓝牙音频解码后得到PCM格式的音频数据，并对该音频数据进行音效后处理后得到渲染音频，通过耳机产生对应的声音信号，具体可以通过耳机上设置的耳道内扬声器产生声音信号。当然，在实际应用中还可以在得到渲染音频后，再进行噪声抑制处理，得到叠加了反相噪声的音频数据后，再由耳机上的耳道内扬声器产生声音信号，其中噪声可以包括环境噪声和耳道内噪声，其中，环境噪声可以通过耳道外麦克风获得，耳道内噪声可以通过耳道内麦克风拾取，具体获取方式和噪声消除方式本实施例不做特殊限定。
S120：在音频播放的过程中通过振动传感器获取用户耳道内的振动信号；
需要说明的是，预先在入耳式耳机上设置振动传感器，其中，振动传感器具体可以设置在入耳式耳机的声腔内，并且使振动传感器的接触点位于声腔外壁上用于贴合用户耳道的位置处，也即在用户佩戴上耳机后，可以使耳机上的振动传感器的接触点贴合用户耳道，从而可以将用户耳道内的振动信号传递给振动传感器，其中，当用户说话时振动信号包括用户说话时所引起的耳道振动信号以及环境声音引起的耳道振动信号。在实际应用过程中，具体可以在音乐播放过程中通过振动传感器实时采集用户耳道内的振动信号。
130：依据振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流，若是，则进入S140：若否，则返回S110继续保持当前的音频播放模式；
具体的，在获取振动信号后，可以从振动信号中提取出与用户的语音对应的振动信号，然后根据该振动信号获取对应的语音参数，然后在根据该语音参数判断用户是否在对外交流，当用户在与外界进行面对面的交流时，进入S140；当用户没有与外界进行面对面交流的需求，此时应继续保持当前的音频播放模式对当前音频文件进行播放。
S140：将耳机切换至辅听模式，辅听模式为采集环境声音并将环境声音中的第一声音信号通过耳机进行播放，第一声音信号包括与用户对应的对话者的声音信号。
可以理解的是，当确定出用户的语音能量值大于预设值后，也即在判断用户在与外界人员进行面对面交流时，为了保证用户在无需摘到耳机的情况下能够听清楚外界人员的声音，可以将耳机切换至辅听模式，在辅听模式下采集环境声音，具体可以通过设置在耳机上的耳道外麦克风来采集环境声音，环境声音中包括环境噪声和人声，本实施例可以提取与环境声音中的人声对应的声音信号，并通过耳机对其进行播放，以便用户能够听清楚外界与用户对话者的声音，其中，具体可以通过耳机中的耳道内扬声器对第一声音信号进行播放。
需要说明的是，在将耳机切换至辅听模式之后，在控制耳机对环境声音中第一声音信号进行播放的同时，还应继续通过振动传感器采集用户耳道内的振动信号，并在依据振动信号确定出用户没有对外交流时，具体可以在确定出在一定时长(20s)内用户的语音能量值均小于预设值时，说明此时用户已经完成与外界人员的面对面交流，因此可以再将耳机切换至音频播放模式，使耳机继续对当前所播放的音频文件进行播放。
具体的，本发明实施例中的第一声音信号可以包括人的声音信号和/或拟人声音信号。
进一步的，语音参数包括语音能量，则依据振动信号获取对应的语音参数，并依据语音参数判断用户是否在对外交流的过程为：
依据振动信号获取对应的语音能量，并依据语音能量判断对应的语音能量值是否达到预设值，若是，则用户在对外交流，若否，则用户没有对外交流。
具体的，根据振动信号获取语音能量后，语音能量值大于预设值说明用户声音说话声音较大，此时在与外界交流，语音能量值没有达到预设值说明用户声音说话声音较小，此时没有与外界进行交流。
进一步的，上述S130中依据振动信号获取对应的语音能量，并依据语音能量判断对应的语音能量值是否达到预设值的过程，具体可以为：
对振动信号进行噪声消除处理，以便提取出与用户的语音对应的第一振动信号；
对第一振动信号进行语音能量检测获取对应的语音能量值，并判断该语音能量值是否达到预设值。
需要说明的是，由于在实际应用中当用户说话时振动信号包括用户说话时所引起的耳道振动信号以及环境声音引起的耳道振动信号，故为了使得到的用户的语音能量值更加准确，因此本实施例中对采集到的振动信号进行噪声消除处理，将振动信号中的环境声音作为噪声进行消除，其中，环境声音包括环境噪声和环境中的人声，然后得到仅包括与用户的语音对应的第一振动信号，再对第一振动信号进行能量检测，得到第一振动信号的语音能量值，具体可以根据第一振动信号在预设时长(5ms)内的峰值平均值得到对应的语音能量值，然后判断该语音能量值是否达到预设值，进一步确定用户是否在与外界人员进行面对面交流，以便确定是否将耳机切换至辅听模式。
更进一步的，在上述对所述第一振动信号进行语音能量检测获取对应的语音能量值，并判断语音能量值是否达到预设值之前，该方法还可以包括：
将第一振动信号发送至终端设备，以便对用户进行身份识别；
接收识别结果，并当识别结果为识别成功时进入下一步。
具体的，在得到与用户对应的第一振动信号后，本发明实施例中还可以将第一振动信号发送至终端设备，以便对用户进行身份识别，具体可以预先存储与用户的声音信号对应的标准振动信号，然后将第一振动信号与标准振动信号进行匹配，两者相同的用户身份识别通过，两者不同则说明使用耳机的人不是用户本人，此时身份识别失败，终端设备可以将识别结果返回至耳机，耳机在根据识别结果来进一步确定是否需要对第一振动信号进行语音能量检测，在身份识别通过后再进行语音能量检测。其中，对于TWS耳机，具体可以将第一振动信号经过蓝牙语音编码后再通过蓝牙协议栈发送至与耳机进行蓝牙连接的移动终端。
进一步的，上述S140中采集环境声音并将环境声音中第一声音信号通过耳机进行播放的过程，具体可以为：
采集环境声音并对环境声音进行噪声消除处理，得到环境声音中第一声音信号；
将第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号，并将混合声音信号通过耳机进行播放。
需要说明的是，在辅听模式中用户需要与外界人员进行面对面交流，因此可以通过耳道外麦克风拾取环境声音，并对环境声音进行噪声消除处理，提取出环境声音中第一声音信号，为了使用户在收听音频的同时能够听到外界与其对话者的声音，本实施例中可以将所提取出的第一声音信号与当前正在播放的音频信号进行混音处理，并将混音处理后的混合声音信号通过耳机进行播放，使耳机播放包含外界人声的音乐信号。
其中，针对TWS耳机，在蓝牙协议栈根据当前音频文件输出已编码的音频数据，并且蓝牙音频解码后得到PCM格式的音频数据，对该音频数据进行音效后处理后得到渲染音频，然后将渲染音频与上述从环境声音中提取出的第一声音信号进行混音处理，具体可以将两者按照一定比例进行混音处理，得到混合声音信号，其中，具体比例可以根据实际需要进行确定，本申请对此不做特性限定。
更进一步的，在上述将第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号之前，该方法还可以包括：
对第一声音信号进行响度补偿处理，得到补偿后的声音信号；
拾取用户耳道内的声音信号，并从用户耳道内的声音信号中提取出共鸣声音信号；
对共鸣声音信号进行处理，得到共鸣声音抑制信号；
需要说明的是，入耳式耳机的堵耳效应是影响耳机佩戴舒适度的主要因素之一，当入耳式耳机佩戴后，用户外耳道共鸣腔的中频提升会弱化，用户说话时的低频共鸣不仅会使得用户听自己的声音产生严重的失真，还会使用户听到与其对话者的声音产生失真，影响交谈的流畅度。因此，本实施例中为了使用户能够更加清楚的听到与其对话者的声音，可以在从环境声音中提取出第一声音信号后，一方面可以对第一声音信号进行响度补偿处理，得到补偿后的声音信号，另一方面可以通过耳道内麦克风拾取用户耳道内的声音信号，用户耳道内的声音信号包括喇叭根据第一声音信号所播放的声音信号、以及产生的共鸣声音信号，然后从该用户耳道内的声音信号中提取出共鸣声音信号，并对共鸣声音信号进行抑制处理后得到共鸣声音抑制信号，其中，具体可以通过产生与共鸣声音信号对应的等幅反相的声音信号，并将该声音信号作为共鸣音抑制信号。
则相应的，上述将第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号的过程，具体可以为：
将补偿后的声音信号、共鸣声音抑制信号与当前正在播放的音频信号进行混音处理后得到混合声音信号，从而可以使用户更加清楚的听到与其对话者的声音，以便用户能够流畅的与其进行交谈。
可见，该方法能够在耳机处于音频播放模式时对当前音频文件进行音频播放，并在音频播放的过程中通过设置在耳机上的振动传感器采集用户耳道内的振动信号，然后依据该振动信号判断用户的语音能量值是否达到预设值，若达到预设值，则说明用户需要与外界人员进行面对面的交流，此时将耳机切换至辅听模式，辅听模式为采集环境声音然后将环境声音中第一声音信号通过耳机进行播放，以便用户能够听到外界人员说话的声音，并与其进行交流；本发明能够为用户的使用提供便利，提升用户的使用体验。
在上述实施例的基础上，本发明实施例还提供了一种入耳式耳机的音频播放装置，具体请参照图2。该装置应用于设有振动传感器的入耳式耳机，包括：
播放模块21，用于在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；
获取模块22，用于在音频播放的过程中通过振动传感器获取用户耳道内的振动信号；
判断模块23，用于依据振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流，若是，则触发控制模块24；若否，则触发播放模块21；
控制模块24，用于将耳机切换至辅听模式，辅听模式为采集环境声音并将环境声音中第一声音信号通过耳机进行播放，第一声音信号包括与用户对应的对话者的声音信号。
需要说明的是，本发明实施例中所提供的入耳式耳机的音频播放装置具有与上述实施例所提供的入耳式耳机的音频播放方法相同的有益效果，并且对于本实施例中所涉及到的入耳式耳机的音频播放方法的具体介绍请参照上述实施例，本申请在此不再赘述。
在上述实施例的基础上，本发明实施例还提供了一种入耳式耳机的音频播放系统，具体请参照图3至图5，该系统包括处理31、存储器32和设置于入耳式耳机上的、用于采集用户耳道内的振动信号的振动传感器33；其中：
存储器31，用于存储计算机程序；
处理器32，用于执行计算机程序时实现如上述入耳式耳机的音频播放方法的步骤。
其中，本实施例中的振动传感器33可以设置于入耳式耳机的声腔内，振动传感器的接触点331位于声腔外壁上用于贴合用户耳道的位置处，如图4和图5所示。
需要说明的是，本实施例中的处理器具体可以用于实现在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；在音频播放的过程中通过所述振动传感器获取用户耳道内的振动信号；依据所述振动信号获取对应的语音参数，并依据语音参数判断所述用户是否在对外交流，若是，则将耳机切换至辅听模式，辅听模式为采集环境声音并将所述环境声音中第一声音信号通过所述耳机进行播放，第一声音信号包括与用户对应的对话者的声音信号；若否，则继续保持当前的音频播放模式。
在上述实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述入耳式耳机的音频播放方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种入耳式耳机的音频播放方法，其特征在于，应用于设有振动传感器的入耳式耳机，包括：
在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；
在音频播放的过程中通过所述振动传感器获取用户耳道内的振动信号；
依据所述振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流，若是，则将耳机切换至辅听模式，所述辅听模式为采集环境声音并将所述环境声音中的第一声音信号通过所述耳机进行播放，所述第一声音信号包括与所述用户对应的对话者的声音信号；若否，则继续保持当前的音频播放模式。
2.根据权利要求1所述的入耳式耳机的音频播放方法，其特征在于，所述语音参数包括语音能量，则依据所述振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流的过程为：
依据所述振动信号获取对应的语音能量，并依据所述语音能量判断对应的语音能量值是否达到预设值，若是，则所述用户在对外交流，若否，则所述用户没有对外交流。
3.根据权利要求2所述的入耳式耳机的音频播放方法，其特征在于，所述依据所述振动信号获取对应的语音能量，并依据所述语音能量判断对应的语音能量值是否达到预设值的过程为：
对所述振动信号进行噪声消除处理，以便提取出与所述用户的语音对应的第一振动信号；
对所述第一振动信号进行语音能量检测获取对应的语音能量值，并判断所述语音能量值是否达到预设值。
4.根据权利要求3所述的入耳式耳机的音频播放方法，其特征在于，在所述对所述第一振动信号进行语音能量检测获取对应的语音能量值，并判断所述语音能量值是否达到预设值之前，还包括：
将所述第一振动信号发送至终端设备，以便对所述用户进行身份识别；
接收识别结果，并当所述识别结果为识别成功时进入下一步。
5.根据权利要求1所述的入耳式耳机的音频播放方法，其特征在于，所述第一声音信号包括人的声音信号和/或拟人声音信号。
6.根据权利要求1所述的入耳式耳机的音频播放方法，其特征在于，所述采集环境声音并将所述环境声音中的第一声音信号通过耳机进行播放的过程为：
采集环境声音并对所述环境声音进行噪声消除处理，得到所述环境声音中的第一声音信号；
将所述第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号，并将所述混合声音信号通过所述耳机进行播放。
7.根据权利要求6所述的入耳式耳机的音频播放方法，其特征在于，在所述将所述第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号之前，还包括：
对所述第一声音信号进行响度补偿处理，得到补偿后的声音信号；
拾取用户耳道内的声音信号，并从所述用户耳道内的声音信号中提取出共鸣声音信号；
对所述共鸣声音信号进行处理，得到共鸣声音抑制信号；
则，所述将所述第一声音信号与当前正在播放的音频信号进行混音处理后得到混合声音信号的过程为：
将所述补偿后的声音信号、所述共鸣声音抑制信号与当前正在播放的音频信号进行混音处理后得到混合声音信号。
8.根据权利要求1所述的入耳式耳机的音频播放方法，其特征在于，在所述将耳机切换至辅听模式之后，还包括：
继续通过所述振动传感器采集用户耳道内的振动信号，并在依据所述振动信号确定出所述用户没有对外交流时，将所述耳机切换至所述音频播放模式，使所述耳机继续对当前所播放的音频文件进行播放。
9.一种入耳式耳机的音频播放装置，其特征在于，应用于设有振动传感器的入耳式耳机，包括：
播放模块，用于在耳机处于音频播放模式时，依据当前音频文件控制耳机进行音频播放；
获取模块，用于在音频播放的过程中通过所述振动传感器获取用户耳道内的振动信号；
判断模块，用于依据所述振动信号获取对应的语音参数，并依据所述语音参数判断所述用户是否在对外交流，若是，则触发控制模块；若否，则触发所述播放模块；
所述控制模块，用于将耳机切换至辅听模式，所述辅听模式为采集环境声音并将所述环境声音中的第一声音信号通过所述耳机进行播放，所述第一声音信号包括与所述用户对应的对话者的声音信号。
10.一种入耳式耳机的音频播放系统，其特征在于，包括处理器、存储器和设置于入耳式耳机上的、用于采集用户耳道内的振动信号的振动传感器；其中：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述入耳式耳机的音频播放方法的步骤。
CN202011600763.1A 2020-12-29 2020-12-29 一种入耳式耳机的音频播放方法、装置及系统 Active CN112822585B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011600763.1A CN112822585B (zh) 2020-12-29 2020-12-29 一种入耳式耳机的音频播放方法、装置及系统
PCT/CN2021/103649 WO2022142224A1 (zh) 2020-12-29 2021-06-30 一种入耳式耳机的音频播放方法、装置及系统
US18/259,796 US20240073577A1 (en) 2020-12-29 2021-06-30 Audio playing method, apparatus and system for in-ear earphone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011600763.1A CN112822585B (zh) 2020-12-29 2020-12-29 一种入耳式耳机的音频播放方法、装置及系统

Publications (2)

Publication Number Publication Date
CN112822585A true CN112822585A (zh) 2021-05-18
CN112822585B CN112822585B (zh) 2023-01-24

Family

ID=75855258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011600763.1A Active CN112822585B (zh) 2020-12-29 2020-12-29 一种入耳式耳机的音频播放方法、装置及系统

Country Status (3)

Country Link
US (1) US20240073577A1 (zh)
CN (1) CN112822585B (zh)
WO (1) WO2022142224A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113314121A (zh) * 2021-05-25 2021-08-27 北京小米移动软件有限公司 无声语音识别方法、装置、介质、耳机及电子设备
CN113395629A (zh) * 2021-07-19 2021-09-14 歌尔科技有限公司 一种耳机及其音频处理方法、装置、存储介质
CN113473345A (zh) * 2021-06-30 2021-10-01 歌尔科技有限公司 一种穿戴设备辅听控制方法、装置、系统及可读存储介质
WO2022142224A1 (zh) * 2020-12-29 2022-07-07 歌尔股份有限公司 一种入耳式耳机的音频播放方法、装置及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097944A (zh) * 2022-07-21 2022-09-23 瑞声开泰声学科技(上海)有限公司 声音和振动的播放方法与装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245990A (zh) * 2015-10-26 2016-01-13 无锡智感星际科技有限公司 一种基于封闭式耳机的外界声源导入系统
CN205302748U (zh) * 2016-01-25 2016-06-08 孙德保 语言交流机
CN105814913A (zh) * 2013-12-13 2016-07-27 哈曼国际工业有限公司 对名字敏感的收听装置
CN107995547A (zh) * 2017-11-29 2018-05-04 联想(北京)有限公司 耳机装置和控制方法
CN108108280A (zh) * 2016-11-25 2018-06-01 东讯股份有限公司 电子设备的互动式警告方法与警告系统
CN108391206A (zh) * 2018-03-30 2018-08-10 广东欧珀移动通信有限公司 信号处理方法、装置、终端、耳机及可读存储介质
CN108462914A (zh) * 2018-04-18 2018-08-28 深圳市睿冠科技有限公司 一种提升耳机体验的方法
CN109348338A (zh) * 2018-11-01 2019-02-15 歌尔股份有限公司 一种耳机及其播放方法
CN110113688A (zh) * 2019-05-16 2019-08-09 潍坊歌尔电子有限公司 耳机音量的动态调节方法、装置、无线耳机及tws耳机
CN110602594A (zh) * 2016-09-07 2019-12-20 合肥中感微电子有限公司 具体环境声音提醒模式的耳机装置
CN111464905A (zh) * 2020-04-09 2020-07-28 电子科技大学 基于智能穿戴设备的听力增强方法、系统和穿戴设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469587B (zh) * 2014-11-26 2018-08-24 宇龙计算机通信科技(深圳)有限公司 耳机
CN210927936U (zh) * 2019-08-09 2020-07-03 无锡中感微电子股份有限公司 具有全自然用户界面的耳机装置
CN112822585B (zh) * 2020-12-29 2023-01-24 歌尔科技有限公司 一种入耳式耳机的音频播放方法、装置及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105814913A (zh) * 2013-12-13 2016-07-27 哈曼国际工业有限公司 对名字敏感的收听装置
CN105245990A (zh) * 2015-10-26 2016-01-13 无锡智感星际科技有限公司 一种基于封闭式耳机的外界声源导入系统
CN205302748U (zh) * 2016-01-25 2016-06-08 孙德保 语言交流机
CN110602594A (zh) * 2016-09-07 2019-12-20 合肥中感微电子有限公司 具体环境声音提醒模式的耳机装置
CN108108280A (zh) * 2016-11-25 2018-06-01 东讯股份有限公司 电子设备的互动式警告方法与警告系统
CN107995547A (zh) * 2017-11-29 2018-05-04 联想(北京)有限公司 耳机装置和控制方法
CN108391206A (zh) * 2018-03-30 2018-08-10 广东欧珀移动通信有限公司 信号处理方法、装置、终端、耳机及可读存储介质
US20190304432A1 (en) * 2018-03-30 2019-10-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for Processing Signals, Terminal Device, and Non-Transitory Computer-Readable Storage Medium
CN108462914A (zh) * 2018-04-18 2018-08-28 深圳市睿冠科技有限公司 一种提升耳机体验的方法
CN109348338A (zh) * 2018-11-01 2019-02-15 歌尔股份有限公司 一种耳机及其播放方法
CN110113688A (zh) * 2019-05-16 2019-08-09 潍坊歌尔电子有限公司 耳机音量的动态调节方法、装置、无线耳机及tws耳机
CN111464905A (zh) * 2020-04-09 2020-07-28 电子科技大学 基于智能穿戴设备的听力增强方法、系统和穿戴设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142224A1 (zh) * 2020-12-29 2022-07-07 歌尔股份有限公司 一种入耳式耳机的音频播放方法、装置及系统
CN113314121A (zh) * 2021-05-25 2021-08-27 北京小米移动软件有限公司 无声语音识别方法、装置、介质、耳机及电子设备
CN113314121B (zh) * 2021-05-25 2024-06-04 北京小米移动软件有限公司 无声语音识别方法、装置、介质、耳机及电子设备
CN113473345A (zh) * 2021-06-30 2021-10-01 歌尔科技有限公司 一种穿戴设备辅听控制方法、装置、系统及可读存储介质
CN113473345B (zh) * 2021-06-30 2022-11-01 歌尔科技有限公司 一种穿戴设备辅听控制方法、装置、系统及可读存储介质
CN113395629A (zh) * 2021-07-19 2021-09-14 歌尔科技有限公司 一种耳机及其音频处理方法、装置、存储介质
CN113395629B (zh) * 2021-07-19 2022-07-22 歌尔科技有限公司 一种耳机及其音频处理方法、装置、存储介质

Also Published As

Publication number Publication date
US20240073577A1 (en) 2024-02-29
CN112822585B (zh) 2023-01-24
WO2022142224A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN112822585B (zh) 一种入耳式耳机的音频播放方法、装置及系统
US10810989B2 (en) Method and device for acute sound detection and reproduction
CN110493678B (zh) 耳机的控制方法、装置、耳机和存储介质
CN111464905A (zh) 基于智能穿戴设备的听力增强方法、系统和穿戴设备
CN110602594A (zh) 具体环境声音提醒模式的耳机装置
CN106231088B (zh) 一种语音通话的方法、装置及终端
CN106170108B (zh) 具有分贝提醒模式的耳机装置
CN108551604B (zh) 一种降噪方法、降噪装置及降噪耳机
CN110896509A (zh) 耳机佩戴状态确定方法、电子设备控制方法及电子设备
CN112040383A (zh) 助听装置
CN109068215B (zh) 一种入耳式耳机的降噪方法、装置及入耳式耳机
CN110650403A (zh) 具有本地通话环境模式的耳机装置
CN106791122A (zh) 一种可穿戴设备的通话控制方法及可穿戴设备
EP3777114B1 (en) Dynamically adjustable sidetone generation
CN104469587A (zh) 耳机
CN108766468A (zh) 一种智能语音检测方法、无线耳机、tws耳机及终端
US11589173B2 (en) Hearing aid comprising a record and replay function
CN109511040B (zh) 一种耳语放大方法、装置及耳机
EP3072314B1 (en) A method of operating a hearing system for conducting telephone calls and a corresponding hearing system
CN205195931U (zh) 一种耳机
US20180070184A1 (en) Sound collection equipment having a function of answering incoming calls and control method of sound collection
CN221509773U (zh) 一种助听耳机
JPH0993683A (ja) ステレオ、電話切換送受話装置
CN210579107U (zh) 耳夹式骨听智能耳机
JP2008219240A (ja) 放収音システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant