CN114038478A - 声音能量处理装置及处理方法、及耳机、及可读存储介质 - Google Patents

声音能量处理装置及处理方法、及耳机、及可读存储介质 Download PDF

Info

Publication number
CN114038478A
CN114038478A CN202111365119.5A CN202111365119A CN114038478A CN 114038478 A CN114038478 A CN 114038478A CN 202111365119 A CN202111365119 A CN 202111365119A CN 114038478 A CN114038478 A CN 114038478A
Authority
CN
China
Prior art keywords
microphone
sound
information
environmental
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111365119.5A
Other languages
English (en)
Inventor
孙宇峰
刘海明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiuyin Nanjing Integrated Circuit Technology Co ltd
Original Assignee
Jiuyin Nanjing Integrated Circuit Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiuyin Nanjing Integrated Circuit Technology Co ltd filed Critical Jiuyin Nanjing Integrated Circuit Technology Co ltd
Priority to CN202111365119.5A priority Critical patent/CN114038478A/zh
Publication of CN114038478A publication Critical patent/CN114038478A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/24Reselection being triggered by specific parameters
    • H04W36/30Reselection being triggered by specific parameters by measured or perceived connection quality data

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)

Abstract

本申请公开了一种声音能量处理装置及处理方法、及耳机、及可读存储介质,声音能量处理装置包括:声音能量检测模块,处理控制模块。本发明方案的处理方法是通过声音能量检测模块检测环境声音得到一些标识环境特征的标识性的环境信息,再通过处理控制模块对环境声音和标识性环境信息进行分析,可以有针对性地根据环境的切换来调整声音能量检测模块的麦克风检测模式,从而实现根据环境的不同,自动切换不同的通话模式,使得通话随时都保持清晰通话的效果。

Description

声音能量处理装置及处理方法、及耳机、及可读存储介质
技术领域
本发明属于音频信号处理技术及声学领域,特别是涉及一种声音能量处理装置及处理方法、及耳机、及可读存储介质。
背景技术
随着生活方式、工作方式的改变,佩戴耳机进行移动远程通信的人越来越多,例如音视频通话,电话会议或视频会议、语音消息收发等,并且在通信中的人还存在不断移动导致环境切换的场景,而人的生活环境存在的各种噪音,同时有很多户外者,大风天气、大雨的天气需要进行交流。不同的环境对通信的音质影响是不同的,针对不同的环境需求,需要提供相应的音频采集和处理方案。
目前的耳机一般采用通用的回声抑制和噪声消除算法,让人在嘈杂环境中,保证一个相对清晰的通话效果,但是无法识别不同的环境,无法针对不同的环境需求,提供相应的音频采集和处理方法。
发明内容
为了解决现有技术中的耳机无法识别不同环境,从而进行针对性的音频采集和处理的问题,本发明提出一种声音能量处理装置及处理方法、及耳机、及可读存储介质,对佩戴者所处不同的环境进行环境能量检测,根据能量的不同,自动切换不同的通话模式,使得通话随时都保持清晰通话的效果,提供人与人之间沟通的效率。技术方案如下:
一方面,本发明提供一种声音能量处理装置,包括:
声音能量检测模块,用于通过麦克风来拾取环境声音,检测环境声音的声音能量,产生能量信息,并根据能量信息计算出麦克风所处环境的环境信息;
处理控制模块,根据能量信息、环境信息和麦克风的初始状态信息,调整声音能量检测模块的麦克风检测模式;
声音能量检测模块,还用于基于处理控制模块发送的调整指令进行麦克风检测模式切换,并记录切换后麦克风的拾取或者关闭状态的状态信息。
通过声音能量检测模块检测环境声音得到一些标识环境特征的环境信息,再通过处理控制模块对环境声音和标识性环境信息进行分析,就可以有针对性地根据环境的切换来调整声音能量检测模块的麦克风检测模式以及耳机状态,从而实现根据能量的不同,自动切换不同的通话模式,使得通话随时都保持清晰通话的效果。
优选地,声音能量检测模块包括:
设置在耳机上的至少一个偏向耳道的内部麦克风和至少一个背离耳道的外部麦克风,内部麦克风和外部麦克风接收处理控制模块的调整指令,进行检测模式切换。多个麦克风可以保证声音提取的多样性,丰富声音能量检测模块的输入数据,达到更好的检测效果,因此可以根据成本选择设置多个麦克风;另外,麦克风的位置也与检测效果强相关,一般偏向耳道和背离耳道这两种方位的检测数据区别较大,所以在两个方向均设置麦克风,就可以达到更好的检测效果。
优选地,声音能量检测模块和处理控制模块之间的通信采用Socket通信协议或GPIO通信协议。这两种协议都能实现模块间信令和数据的实时传输,同时也能在复杂环境种保持良好的性能和一致性。
另一方面,本发明提供一种声音能量的处理方法,该处理方法应用于耳机,耳机上设置至少一个偏向耳道的内部麦克风和至少一个背离耳道的外部麦克风;
该处理方法的步骤包括:
检测声音能量,通过麦克风拾取环境声音,检测环境声音的声音能量,产生能量信息;
处理能量信息,计算出用于标识环境类型的环境信息;
获取麦克风的初始状态信息;
根据环境信息和初始状态信息,确认用于对麦克风进行切换的目标检测模式;
发出控制信号,将麦克风的初始检测模式切换为目标检测模式。
进一步地,环境信息包括第一环境信息、第二环境信息和第三环境信息。处理能量信息,计算出用于标识环境类型的环境信息包括:
若能量信息包括不同频率声音能量的大小,则根据能量的大小计算信噪比信息,确认环境噪音大小,并根据环境噪音大小确认第一环境信息;
若能量信息包括不同频率的声音,则根据声音频率识别麦克风所处环境的音频主成分,并根据音频主成分得到第二环境信息;
若能量信息包括声音来源的方向,则根据声音来源的方向,确认嘴部最接近的麦克风位置,并根据麦克风位置得到第三环境信息。
进一步地,初始状态信息包括第一预设阈值和第二预设阈值,且第一预设阈值小于第二预设阈值;
根据环境信息和初始状态信息,确认用于对麦克风进行切换的目标检测模式包括以下步骤:
当第一环境信息小于第一预设阈值,确认目标检测模式为仅使用外部麦克风进行环境声音检测;
当第一环境信息属于预设区间时,确认目标检测模式为同时使用外部麦克风和内部麦克风进行环境声音检测;
当第一环境信息超过第二预设阈值时,确认目标检测模式为仅只使用内部麦克风进行环境声音检测。
进一步地,初始状态信息包括内部麦克风的内部位置,以及外部麦克风的外部位置;
根据环境信息和初始状态信息,确认用于对麦克风进行切换的目标检测模式包括以下步骤:
确定内部位置和外部位置中,与第三环境信息的麦克风位置对应的目标位置;
确定内部麦克风和外部麦克风中与目标位置对应的目标麦克风,并确认目标检测模式为仅使用除目标麦克风以外的麦克风进行环境声音检测。
进一步地,根据音频主成分得到第二环境信息的步骤包括:
当音频主成分为人声成分,则根据人声成分计算人声占比,并将人声占比作为第二环境信息;
当音频主成分为噪声成分,则根据噪声成分计算噪声占比,并将噪声占比作为第二环境信息。
进一步地,初始状态信息包括第三预设阈值和第四预设阈值,且第四预设阈值大于第三预设阈值;
根据环境信息和初始状态信息,确认用于对麦克风进行切换的目标检测模式包括以下步骤:
当第二环境信息大于第三预设阈值,确认目标检测模式为仅使用外部麦克风进行环境声音检测;
当第二环境信息大于第四预设阈值,确认目标检测模式为同时使用外部麦克风和内部麦克风进行环境声音检测,且使用外部麦克风进行降噪。
进一步地,根据环境信息和初始状态信息,确认用于对麦克风进行切换的目标检测模式步骤之后,还包括以下步骤:
根据初始状态信息,对环境声音进行有效声音的提取。
再一方面,本发明还提供一种耳机,包括:
如前所述的声音能量处理装置,至少一个处理器,以及与至少一个处理器通信连接的存储器;其中存储器存储有被处理器执行的指令,用以实现以上声音能量的处理方法的步骤。该耳机是可以自动检测声音能量的耳机,根据检测的声音能量可以实现不同环境识别,从而进行适配,使得通话质量保持一致。
又一方面,本发明提供一种可读存储介质,可读存储介质上存储有声音能量处理装置的检测程序,声音能量处理装置的检测程序被处理器执行时实现上述声音能量处理装置的处理方法的步骤。
本发明的有益效果是:利用本发明方案,通过拾取环境的声音来检测环境的声音能量,计算出所处的环境信息;再综合能量信息、环境信息和状态信息,进行有效声音的提取,以及调整声音能量检测模块的麦克风检测模式和耳机状态。因此,本发明方案可以通过声音能量检测模块检测环境声音得到一些标识环境特征的标识性的环境信息,再通过处理控制模块对环境声音和标识性环境信息进行分析,就可以有针对性地根据环境的切换来调整声音能量检测模块的麦克风检测模式,从而实现根据环境的不同,自动切换不同的通话模式,使得通话随时都保持清晰通话的效果。
附图说明
图1是本发明实施例中声音能量处理装置的结构图;
图2是本发明实施例中声音能量的处理方法流程图;
图3是本发明实施例中声音能量处理装置的内部模块图;
图4是本发明实施例中另一声音能量的处理方法流程图;
图5是本发明实施例中存储介质的结构图。
具体实施方式
为了便于理解本发明,下面结合附图和具体实施例,对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是,本发明可以以许多不同的形式来实现,并不限于本说明书所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
需要说明的是,除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是用于限制本发明。
实施例一
一方面,请结合参照图1,图1是本发明一种声音能量处理装置的结构图,该装置可以自动检测环境中的声音能量,根据声音能量信息自动切换不同的通话模式。该声音能量处理装置包括:
声音能量检测模块1,用于通过麦克风来拾取环境声音,检测环境声音的声音能量,产生能量信息,并根据能量信息计算出麦克风所处环境的环境信息;
处理控制模块2,根据能量信息、环境信息和麦克风的初始状态信息,调整声音能量检测模块1的麦克风检测模式;
声音能量检测模块1,还用于基于处理控制模块2发送的调整指令进行麦克风检测模式切换,并记录切换后麦克风的拾取或者关闭状态的状态信息。
具体地,环境声音是指通话中麦克风拾取的除人声之外的一些环境背景声音,这些声音在不同的环境下是不同的,例如办公室、咖啡厅、火车站、地铁、机场等等的环境中,声音的特征都有区别,例如声音频率所处频段、声音的信噪比、声音来源的方向等。这些特征就是声音能量,通过计算得到能量信息以后,再根据这些能量信息计算出可以指代环境特征的环境信息,例如指代环境是以人声为主,还是以噪声为主,以人声为主的环境中,又可以根据计算得到的人声占比的比例,细分为安静环境、普通环境、和嘈杂环境。
具体地,麦克风的初始状态信息是指当前麦克风处于拾取还是关闭状态,以及是否使用环境检测功能,当麦克风有多个时,要记录多个麦克风的初始状态信息。
具体地,麦克风检测模式是指具体启用哪些麦克风进行环境检测,例如同时使用内部和外部麦克风进行环境检测,或者只使用外部麦克风进行检测,或者不适用麦克风的检测功能等。
麦克风检测模式需要根据环境进行切换,因此麦克风检测模式还包括初始检测模式和目标检测模式。其中,初始检测模式是当前开启的麦克风检测模式;而对于目标检测模式的产生和使用,则是由处理控制模块2根据能量信息、环境信息和麦克风的初始状态信息,进行计算,最终确认是否需要切换麦克风检测模式,如果需要切换,则下发指令给声音能量检测模块1将麦克风切换到目标检测模式。
由此可见,通过声音能量检测模块1检测环境声音得到一些标识环境特征的标识性的环境信息,再通过处理控制模块2对环境声音和标识性环境信息进行分析,就可以有针对性地根据环境的切换来调整声音能量检测模块1的麦克风检测模式以及耳机状态,从而实现根据能量的不同,自动切换不同的通话模式,使得通话随时都保持清晰通话的效果。
优选地,声音能量检测模块1还包括:设置在耳机上的至少一个偏向耳道的内部麦克风和至少一个背离耳道的外部麦克风,内部麦克风和外部麦克风接收处理控制模块2的调整指令,进行目标检测模式切换。多个麦克风可以保证声音提取的多样性,丰富声音能量检测模块1的输入数据,达到更好的检测效果,因此可以根据成本选择设置多个麦克风;另外,麦克风的位置也与检测效果强相关,例如,由于同一耳机上偏向耳道和背离耳道这两种方位检测到的环境声音的具体数据区别较大,所以在两个方向均设置麦克风,就可以达到更好的检测效果。进一步地,本发明不限于偏向耳道和背离耳道这两种方位设置麦克风,还可以根据具体的产品需求在其他任何位置设置麦克风,以便增加环境声音的检测数据的多样性,例如,有线耳机的耳机线上固定收音装置,耳麦式耳机的收音咪头,蓝牙耳机的机身等都有不同的大小和形状以及电路设计,所以,需要根据不同的产品需求选择设置麦克风的位置和数量。
进一步地,参考图3,给出了一种典型的声音能量处理装置的内部模块图。具体地,声音能量检测模块1包括采集单元101、存储单元102、切换单元103,处理控制模块2包括处理单元201、提取单元202、调整单元203。
其中,采集单元101包括上述设置在耳机上的至少一个偏向耳道的内部麦克风和至少一个背离耳道的外部麦克风;采集单元101还用于实现控制麦克风来拾取环境声音,检测环境声音的声音能量,产生能量信息的功能,该功能可以是硬件实现,也可以是软件实现,或者软硬件相结合。例如,音频的编解码、音频的参数提取和计算等,可以通过软件实现,也可以使用业界常用的硬件支持。麦克风作为一种实现将声波转变为电信号的换能器,其技术已相当成熟,结构形式多见驻极体电容式、动圈式和碳晶式等。优选地,本发明的麦克风可选用骨传导麦克风、驻极体麦克风或MEMS数字麦克风等。
存储单元102用于存储采集单元101采集的原始环境声音和环境信息。其中,环境信息是通过对原始环境声音中声音的频率,声音来源的方向,不同频率声音能量大小等数据进行一些计算得到的。具体地,数据存储在寄存器中,并可以特定数据格式存取,例如数据表、格式化文件、键值对等;该数据支持本地读取和远程读取。
切换单元103用于接受处理控制模块2发送的调整指令进行麦克风检测模式切换,并记录切换后麦克风的拾取或者关闭状态的状态信息。
处理单元201用于读取声音能量检测模块1中的相关数据,包括能量信息、环境信息和麦克风的初始状态信息,根据这些信息确认用于对麦克风进行切换的目标检测模式。除了以上主动读取数据方式,也可以是声音能量检测模块1主动上报数据。
提取单元202用于根据初始状态信息对环境声音进行有效声音的提取。在通话中,人声的识别包括很多方式,而拾音麦克风的方位、状态也会对人声的识别产生影响。因此,可根据初始状态信息中的麦克风启用或者关闭状态,以及是否开启能量检测等,选择不同的提取方式,从而提取出更准确的通话声音,用于发送给对方接听。
调整单元203用于向声音能量检测模块1下发指令调整声音能量检测模块1的麦克风检测模式和耳机状态。
进一步地,声音能量监测模块1和处理控制模块2之间的通信包括多种方式。可以是设置在同一物理介质上,进行本地通信;也可以是设置在不同的物理介质上,通过通信协议进行远程通信,远程通信协议包括Socket通信协议或GPIO通信协议。优选地,声音能量检测模块1和处理控制模块2之间的通信采用Socket通信协议或GPIO通信协议。这两种协议都能实现模块间信令和数据的实时传输,同时也能在复杂环境种保持良好的性能和一致性。
综合以上,本发明中声音能量处理装置具有以下优点:
对佩戴者所处不同的环境进行环境能量检测,根据能量的不同,自动切换不同的通话模式,使得通话随时都保持清晰通话的效果,提供人与人之间沟通的效率。
实施例二
另一方面,请参照图2,本发明提供一种声音能量的处理方法,
该处理方法应用于耳机,耳机上设置至少一个偏向耳道的内部麦克风和至少一个背离耳道的外部麦克风,内部麦克风和外部麦克风接收调整指令,进行检测模式切换;
该处理方法的步骤包括:
S101检测声音能量,通过麦克风拾取环境声音,检测环境声音的声音能量,产生能量信息;
S102处理能量信息,计算出用于标识环境类型的环境信息;
S103获取麦克风的初始状态信息;
S104根据环境信息和初始状态信息,确认用于对麦克风进行切换的目标检测模式;
S105发出控制信号,将麦克风的初始检测模式切换为目标检测模式。
进一步地,对于步骤S101,其中的能量信息可以包括环境中的不同频率的声音,声音来源的方向,声音能量的大小等不同的数据。不同环境对应的这些能量信息是不同的,例如办公室环境、咖啡厅环境、火车站环境、地铁环境、机场环境等,有的环境下噪音较大,有的环境噪音较低,此时可以通过计算信噪比信息,再进行一定的区间划分,识别出不同的环境;另外,有的环境以人声为主,有的环境是以噪声为主,此时可以通过计算声音频率的大小,再进行一定的区间划分,识别出不同的环境。
进一步地,环境信息包括第一环境信息、第二环境信息和第三环境信息,对于步骤S102,处理能量信息,计算出用于标识环境类型的环境信息包括:
若能量信息包括不同频率声音能量的大小,则根据能量的大小计算信噪比信息,确认环境噪音大小,并根据环境噪音大小确认第一环境信息。具体地,第一环境信息可以是通过计算信噪比信息得到的环境噪音。
若能量信息包括不同频率的声音,则根据声音频率识别麦克风所处环境的音频主成分,并根据音频主成分得到第二环境信息。具体地,可以将声音频率在300hz-2.5khz的环境声音定义为以人声为主,将声音频率在300hz以下,以及2.5khz以上的环境声音定义为以噪声为主;第二环境信息可以是计算环境声音得到的不同的声音频率的占比。
若能量信息包括声音来源的方向,则根据声音来源的方向,确认嘴部最接近的麦克风位置,并根据麦克风位置得到第三环境信息。具体地,第三环境信息可以是计算环境声音得到的最接近的麦克风所在位置信息,以及该麦克风拾取声音的声音角度。
进一步地,对于步骤S103,获取麦克风的初始状态信息包括:
一方面,要检测当前麦克风处于拾取还是关闭状态,以及是否使用环境检测功能,当麦克风有多个时,要记录多个麦克风的位置等,该初始状态信息主要用于确认目标检测模式和用于提取环境声音的有效信息;另一方面,初始状态信息还包括预设的一些预设阈值,这些阈值在进行目标检测模式确认时使用,根据不同的检测方法和不同的硬件要求可以调整该阈值大小,用以达到最佳的判断效果。
进一步地,初始状态信息包括第一预设阈值和第二预设阈值,且第一预设阈值小于第二预设阈值;此时,对于步骤S104,根据环境信息和初始状态信息,确认用于对麦克风进行切换的目标检测模式包括以下步骤:
当第一环境信息小于第一预设阈值,确认目标检测模式为仅使用外部麦克风进行环境声音检测;
当第一环境信息属于预设区间时,确认目标检测模式为同时使用外部麦克风和内部麦克风进行环境声音检测;
当第一环境信息超过第二预设阈值时,确认目标检测模式为仅只使用内部麦克风进行环境声音检测,其中,第一预设阈值小于第二预设阈值。
具体地,第一预设阈值可设为60db,预设区间设为65db-85db,第二预设阈值可设为为85db。这样设置以后,可以将环境分为三种情况:环境噪音较小、环境噪音正常、环境噪音较大。
当第一环境信息即环境噪音小于第一预设阈值60db时,环境噪音较小,此时就可以只启用外部麦克风,就可以达到预期的通话质量,因此确认目标检测模式为仅使用外部麦克风进行环境声音检测。
当第一环境信息即环境噪音属于预设区间65db-85db之间时,环境噪音正常,此时就可以同时启用外部麦克风和内部麦克风,特别地,当外部麦克风存在多个时,也可以不启用内部麦克风,改为同时启用两个外部麦克风。因此确认目标检测模式为同时使用外部麦克风和内部麦克风进行环境声音检测。
当第一环境信息即环境噪音大于第二预设阈值85db时,环境噪音较大,此时就可以只启用内部麦克风。因此确认目标检测模式为仅只使用内部麦克风进行环境声音检测。
进一步地,初始状态信息包括内部麦克风的内部位置,以及外部麦克风的外部位置;此时,对于步骤S104,根据环境信息和状态信息,确认需要调整的检测模式还包括以下步骤:
确定内部位置和外部位置中,与第三环境信息的麦克风位置对应的目标位置;
具体地,如前所述,第三环境信息包括计算环境声音得到的最接近的麦克风所在位置信息,以及该麦克风拾取声音的声音角度,例如声音角度可以是标识距离嘴部45°方向还是90°方向。根据该位置信息和声音角度,可以计算出最接近的麦克风具体是初始状态信息中的哪一位置,即目标位置。
确定内部麦克风和外部麦克风中与目标位置对应的目标麦克风,并确认目标检测模式为仅使用除目标麦克风以外的麦克风进行环境声音检测。
具体地,根据目标位置可以计算出对应的目标麦克风的唯一标识,从而下发指令使用最接近的麦克风进行通话拾音,且不使用该麦克风进行环境声音检测,可以达到更好的收音效果;另外,声音角度也可以作为后期提取声音时的计算参数,从而重点提取最佳声音角度的声音,因此确认目标检测模式为使用最接近的麦克风,且不使用麦克风进行环境声音检测。
进一步地,根据音频主成分得到第二环境信息的步骤包括:
当音频主成分为人声成分,则根据人声成分计算人声占比,并将人声占比作为第二环境信息;
当音频主成分为噪声成分,则根据噪声成分计算噪声占比,并将噪声占比作为第二环境信息。
进一步地,初始状态信息包括第三预设阈值和第四预设阈值,且第四预设阈值大于第三预设阈值;
对于步骤S104,根据环境信息和状态信息,确认需要调整的检测模式还包括以下步骤:
当第二环境信息大于第三预设阈值,确认目标检测模式为仅使用外部麦克风进行环境声音检测;
当第二环境信息大于第四预设阈值,确认目标检测模式为同时使用外部麦克风和内部麦克风进行环境声音检测,且使用外部麦克风进行降噪。
具体地,可以将环境声音分为以人声为主和以噪声为主,其中可以将频率在300hz-2.5khz之间的声音确定为人声,将频率低于300hz或者高于2.5khz的声音确定为噪声。该频率区间的端点值可以根据算法和实际测试效果进行调整。
当环境为以人声为主时,第二环境信息为人声占比,即频率在300hz-2.5khz之间的声音能量大小占总体的环境声音能量大小的比例。第三预设阈值可设置为大于50%的一个比例值,例如为80%。当此时的第二环境信息大于第三预设阈值时,说明环境声音中人声占比较大,应该是处于较为安静的环境,此时,目确认标检测模式为仅使用外部麦克风进行环境声音检测。
当环境为以噪声为主时,第二环境信息为噪声占比,即频率低于300hz或者高于2.5khz的声音的声音能量大小占总体的环境声音能量大小的比例。第四预设阈值可设置为大于50%的一个比例值,例如为70%。当此时的第二环境信息大于第四预设阈值时,说明环境声音中噪声占比较大,应该是处于较为喧闹的环境,此时,确认目标检测模式为同时使用外部麦克风和内部麦克风进行环境声音检测,且使用外部麦克风进行降噪。
进一步地,参考图4,根据环境信息和初始状态信息,确认用于对麦克风进行切换的目标检测模式步骤之后,还包括以下步骤:
S106根据初始状态信息,对环境声音进行有效声音的提取。
在通话中,人声的识别包括很多方式,而拾音麦克风的方位、状态也会对人声的识别产生影响。因此,可根据初始状态信息中的麦克风启用或者关闭状态,以及是否开启能量检测等,选择不同的提取方式,从而提取出更准确的通话声音,用于发送给对方收听。
具体地,参考前述的麦克风设置方式,若同时开启了内部麦克风和外部麦克风,则可以选择内部麦克风中,最接近嘴部的麦克风所拾取的环境声音进行通话声音提取,而忽略其他麦克风拾取的环境声音。这样可以提取到最保真的通话声音,用于发送给对方收听。
综合以上,本发明的声音能量的处理方法具有以下优点:
通过拾取环境的声音来检测环境的声音能量,计算出所处的环境信息;再综合能量信息、环境信息和状态信息,进行有效声音的提取,以及调整声音能量检测模块1的麦克风检测模式和耳机状态,从而达到通话人进入不同环境时还能保持清晰通话的效果。
实施例三
再一方面,本发明还提供一种自动检测声音能量的耳机,包括:
如前所述的声音能量处理装置,至少一个处理器,以及与至少一个处理器通信连接的存储器;其中存储器存储有被处理器执行的指令,用以实现如前所述实施例中的声音能量的处理方法的步骤。
该耳机是可以自动检测声音能量的耳机,根据检测的声音能量可以实现不同环境识别,从而进行适配,使得通话质量保持一致。
具体地,耳机包括有线耳机,无线耳机,耳麦式耳机等。
如前所述,由于同一耳机上偏向耳道和背离耳道这两种方位检测到的环境声音的具体数据区别较大,所以在两个方向均设置麦克风,就可以达到更好的检测效果。进一步地,本发明不限于偏向耳道和背离耳道这两种方位设置麦克风,还可以根据具体的产品需求在其他任何位置设置麦克风,以便增加环境声音的检测数据的多样性,例如,有线耳机的耳机线上固定收音装置,耳麦式耳机的收音咪头,蓝牙耳机的机身等都有不同的大小和形状以及电路设计,所以,需要根据不同的产品需求选择设置麦克风的位置和数量。
实施例四
又一方面,本发明提供一种可读存储介质,可读存储介质上存储有声音能量处理装置的检测程序,声音能量处理装置的检测程序被处理器执行时实现上述声音能量处理装置的处理方法的步骤。
在实际应用中,图5为本发明可读存储介质涉及的硬件运行环境的结构示意图。
如图5所示,该硬件运行环境可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解,图5中示出的储能充电系统的控制方法运行的硬件结构并不构成对储能充电系统的控制方法运行设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图5所示,作为一种可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及储能充电系统的控制程序。其中,操作系统是管理和控制程序,支持网络通信模块、用户接口模块、储能充电系统的控制程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1004;用户接口模块用于管理和控制用户接口1003。
在图5所示的硬件结构中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;处理器1001可以调用存储器1005中存储的储能充电系统的控制程序,并执行前述的储能充电系统控制方法中涉及的各方法流程。
以上仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构变换,或直接或间接运用在其他相关的技术领域,均包括在本发明的专利保护范围内。

Claims (12)

1.一种声音能量处理装置,其特征在于,包括:
声音能量检测模块,用于通过麦克风来拾取环境声音,检测所述环境声音的声音能量,产生能量信息,并根据所述能量信息计算出所述麦克风所处环境的环境信息;
处理控制模块,根据所述环境信息和所述麦克风的初始状态信息,调整所述声音能量检测模块的麦克风检测模式;
所述声音能量检测模块,还用于基于所述处理控制模块发送的调整指令进行麦克风检测模式切换,并记录切换后麦克风的拾取或者关闭状态的状态信息。
2.根据权利要求1所述的声音能量处理装置,其特征在于,所述声音能量检测模块包括:
设置在耳机上的至少一个偏向耳道的内部麦克风和至少一个背离耳道的外部麦克风,所述内部麦克风和外部麦克风接收所述处理控制模块的调整指令,进行检测模式切换。
3.根据权利要求1所述的声音能量处理装置,其特征在于,所述声音能量检测模块和所述处理控制模块之间的通信采用Socket通信协议或GPIO通信协议。
4.一种声音能量的处理方法,其特征在于,
所述处理方法应用于耳机,所述耳机上设置至少一个偏向耳道的内部麦克风和至少一个背离耳道的外部麦克风;
所述处理方法的步骤包括:
检测声音能量,通过麦克风拾取环境声音,检测所述环境声音的声音能量,产生能量信息;
处理所述能量信息,计算出用于标识环境类型的环境信息;
获取所述麦克风的初始状态信息;
根据所述环境信息和初始状态信息,确认用于对所述麦克风进行切换的目标检测模式;
发出控制信号,将所述麦克风的初始检测模式切换为所述目标检测模式。
5.根据权利要求4所述的处理方法,其特征在于,所述环境信息包括第一环境信息、第二环境信息和第三环境信息,所述处理所述能量信息,计算出用于标识环境类型的环境信息包括:
若所述能量信息包括不同频率声音能量的大小,则根据能量的大小计算信噪比信息,确认环境噪音大小,并根据所述环境噪音大小确认第一环境信息;
若所述所述能量信息包括不同频率的声音,则根据声音频率识别所述麦克风所处环境的音频主成分,并根据所述音频主成分得到第二环境信息;
若所述所述能量信息包括声音来源的方向,则根据声音来源的方向,确认嘴部最接近的麦克风位置,并根据所述麦克风位置得到第三环境信息。
6.根据权利要求5所述的处理方法,其特征在于,所述初始状态信息包括第一预设阈值和第二预设阈值,且所述第一预设阈值小于第二预设阈值;
所述根据所述环境信息和初始状态信息,确认用于对所述麦克风进行切换的目标检测模式包括以下步骤:
当所述第一环境信息小于第一预设阈值,确认所述目标检测模式为仅使用所述外部麦克风进行环境声音检测;
当所述第一环境信息属于预设区间时,确认所述目标检测模式为同时使用所述外部麦克风和所述内部麦克风进行环境声音检测;
当所述第一环境信息超过第二预设阈值时,确认所述目标检测模式为仅只使用所述内部麦克风进行环境声音检测。
7.根据权利要求5所述的处理方法,其特征在于,所述初始状态信息包括内部麦克风的内部位置,以及外部麦克风的外部位置;
所述根据所述环境信息和初始状态信息,确认用于对所述麦克风进行切换的目标检测模式包括以下步骤:
确定所述内部位置和所述外部位置中,与所述第三环境信息的麦克风位置对应的目标位置;
确定所述内部麦克风和外部麦克风中与所述目标位置对应的目标麦克风,并确认所述目标检测模式为仅使用除目标麦克风以外的麦克风进行环境声音检测。
8.根据权利要求5所述的处理方法,其特征在于,所述根据所述音频主成分得到第二环境信息的步骤包括:
当所述音频主成分为人声成分,则根据所述人声成分计算人声占比,并将所述人声占比作为所述第二环境信息;
当所述音频主成分为噪声成分,则根据所述噪声成分计算噪声占比,并将所述噪声占比作为所述第二环境信息。
9.根据权利要求5所述的处理方法,其特征在于,所述初始状态信息包括第三预设阈值和第四预设阈值,且所述第四预设阈值大于第三预设阈值;
所述根据所述环境信息和初始状态信息,确认用于对所述麦克风进行切换的目标检测模式包括以下步骤:
当所述第二环境信息大于第三预设阈值,确认所述目标检测模式为仅使用所述外部麦克风进行环境声音检测;
当所述第二环境信息大于第四预设阈值,确认所述目标检测模式为同时使用所述外部麦克风和所述内部麦克风进行环境声音检测,且使用外部麦克风进行降噪。
10.根据权利要求4-9所述的处理方法,其特征在于,所述根据所述环境信息和初始状态信息,确认用于对所述麦克风进行切换的目标检测模式步骤之后,还包括以下步骤:
根据所述初始状态信息,对所述环境声音进行有效声音的提取。
11.一种耳机,其特征在于,包括:
如权利要求1-3任一项所述的声音能量处理装置,至少一个处理器,以及与所述至少一个处理器通信连接的存储器;其中所述存储器存储有被所述处理器执行的指令,用以实现如权利要求4-10任一项所述的处理方法的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储有声音能量处理装置的检测程序,所述声音能量处理装置的检测程序被处理器执行时实现如权利要求4-10中任一项所述的声音能量处理装置的处理方法的步骤。
CN202111365119.5A 2021-11-17 2021-11-17 声音能量处理装置及处理方法、及耳机、及可读存储介质 Pending CN114038478A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111365119.5A CN114038478A (zh) 2021-11-17 2021-11-17 声音能量处理装置及处理方法、及耳机、及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111365119.5A CN114038478A (zh) 2021-11-17 2021-11-17 声音能量处理装置及处理方法、及耳机、及可读存储介质

Publications (1)

Publication Number Publication Date
CN114038478A true CN114038478A (zh) 2022-02-11

Family

ID=80144732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111365119.5A Pending CN114038478A (zh) 2021-11-17 2021-11-17 声音能量处理装置及处理方法、及耳机、及可读存储介质

Country Status (1)

Country Link
CN (1) CN114038478A (zh)

Similar Documents

Publication Publication Date Title
CN101843118B (zh) 用于无线听力辅助的方法和系统
CN102124758B (zh) 助听器、助听系统、步行检测方法和助听方法
JP6360893B2 (ja) 分類器を有する補聴器
US9071900B2 (en) Multi-channel recording
CN106231088B (zh) 一种语音通话的方法、装置及终端
CN103259898B (zh) 自适应调节频响的方法及终端
CN101828410A (zh) 用于无线听力辅助的方法和系统
CN105719644A (zh) 一种自适应调整语音识别率的方法及装置
US20240073577A1 (en) Audio playing method, apparatus and system for in-ear earphone
CN112992169A (zh) 语音信号的采集方法、装置、电子设备以及存储介质
CN110265056A (zh) 音源的控制方法以及扬声设备、装置
CN114640938B (zh) 一种基于蓝牙耳机芯片的助听功能实现方法及蓝牙耳机
CN112804610B (zh) TWS蓝牙耳机控制PC上微软Teams的方法
CN115482830B (zh) 语音增强方法及相关设备
US20120197635A1 (en) Method for generating an audio signal
CN117480554A (zh) 语音增强方法及相关设备
CN110996238B (zh) 双耳同步信号处理助听系统及方法
US11589173B2 (en) Hearing aid comprising a record and replay function
WO2021258724A1 (zh) 一种终端、发声方法、存储介质及电子装置
CN111182416B (zh) 处理方法、装置及电子设备
CN211792016U (zh) 降噪语音设备及电子设备
JP7284570B2 (ja) 音声再生システムおよびプログラム
CN114038478A (zh) 声音能量处理装置及处理方法、及耳机、及可读存储介质
CN106507242A (zh) 一种音频装置及终端
CN110099328B (zh) 一种智能音箱

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination