CN113196792A - 特定声音检测设备、方法以及程序 - Google Patents

特定声音检测设备、方法以及程序 Download PDF

Info

Publication number
CN113196792A
CN113196792A CN201980083956.3A CN201980083956A CN113196792A CN 113196792 A CN113196792 A CN 113196792A CN 201980083956 A CN201980083956 A CN 201980083956A CN 113196792 A CN113196792 A CN 113196792A
Authority
CN
China
Prior art keywords
microphone
specific sound
sound
microphones
wearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980083956.3A
Other languages
English (en)
Inventor
山本优树
床爪佑司
知念徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113196792A publication Critical patent/CN113196792A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17827Desired external signals, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17833Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by using a self-diagnostic function or a malfunction prevention function, e.g. detecting abnormal output levels
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17857Geometric disposition, e.g. placement of microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17873General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17875General system configurations using an error signal without a reference signal, e.g. pure feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • G10K11/17881General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04Structural association of microphone with electric circuitry therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058Manufacture or assembly
    • H04R1/1075Mountings of transducers in earphones or headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3026Feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3038Neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/05Noise reduction with a separate noise microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation

Abstract

本技术涉及特定声音检测器、方法以及程序,其使得可以改善特定声音检测性能。该特定声音检测器设置有特定声音检测部,其基于由设置在可穿戴装置上的多个麦克风拾取并获得的多个音频信号来检测特定声音。另外,多个麦克风包括至少与特定声音的声源等距的两个麦克风以及布置在预定位置处的一个麦克风。本技术适用于耳机。

Description

特定声音检测设备、方法以及程序
技术领域
本技术涉及特定声音检测器、方法以及程序,并且尤其涉及被配置为使得可以改善检测特定声音的性能的特定声音检测器、方法以及程序。
背景技术
常规已知用于特定声音检测的技术,其中,基于由麦克风获取的音频信号来检测基于音频信号的声音是否包括诸如人的声音或车辆的行驶声音的特定声音(以下称为特定声音)。
例如,作为这样的技术中的一种,提出了设置到耳机的麦克风用于检测耳机的佩戴者的对话,并且如果检测到对话,则耳机切换到对话模式的技术(例如,参见专利文献1)。
引用列表
专利文献
专利文献1:JP 2011-97268A。
发明内容
技术问题
同时,当尝试检测特定声音时,根据麦克风的布置等,在某些情况下不能获得足够的检测性能。
鉴于这样的情况已经提出了本技术,并且本技术的目的旨在使得可以改善检测特定声音的性能。
问题的解决方案
根据本技术的一个方面的特定声音检测器包括特定声音检测部,其基于通过由设置到可穿戴装置的多个麦克风收集声音而获得的多个音频信号来检测特定声音。多个麦克风包括至少与特定声音的声源等距的两个麦克风以及布置在预定位置处的一个麦克风。
根据本技术的一个方面的特定声音检测方法或程序包括以下步骤:基于通过由设置到可穿戴装置的多个麦克风收集声音而获得的多个音频信号来检测特定声音。多个麦克风包括至少与特定声音的声源等距的两个麦克风以及布置在预定位置处的一个麦克风。
在本技术的一个方面,基于通过由设置到可穿戴装置的多个麦克风收集声音而获得的多个音频信号来检测特定声音。另外,多个麦克风包括至少与特定声音的声源等距的两个麦克风以及布置在预定位置处的一个麦克风。
附图说明
[图1]是用于说明通过使用麦克风进行特定声音检测的示图。
[图2]是描绘耳机中的麦克风的布置的示例的示图。
[图3]是用于说明通过使用麦克风进行特定声音检测的示图。
[图4]是描绘耳机中的麦克风的布置的示例的示图。
[图5]是用于说明通过使用麦克风进行特定声音检测的示图。
[图6]是描绘耳机中的麦克风的布置的示例的示图。
[图7]是描绘耳机中的麦克风的布置的示例的示图。
[图8]是描绘耳机中的麦克风的布置的示例的示图。
[图9]是描绘耳机中的麦克风的布置的示例的示图。
[图10]是描绘耳机中的麦克风的布置的示例的示图。
[图11]是描绘耳机的功能配置示例的示图。
[图12]是用于说明特定声音检测处理的流程图。
[图13]是描绘计算机的配置示例的示图。
具体实施方式
在下文中,参考附图说明应用了本技术的实施例。
<第一实施例>
<关于特定声音检测时的错误检测>
本技术旨在使得可以通过基于由多个麦克风获取的多个音频信号中的每一个音频信号来检测特定声音来提高检测特定声音的性能。
注意,作为声音(特定声音)的检测目标的特定声音可以是任何声音。另外,用于特定声音检测的麦克风例如可以是设置到由用户佩戴的可穿戴装置的麦克风。
例如,可穿戴装置可以是只要用户可以佩戴的任何可穿戴装置,诸如头戴式耳机、佩戴在左耳和右耳上的部分没有物理连接的真无线耳机或头戴式显示器。
在下面说明的示例中,耳机的佩戴者的声音、除耳机的佩戴者之外的人的声音、通告声音、车辆的行驶声音以及由车辆等发出的喇叭声中的至少任意一种由设置到耳机的多个麦克风检测为特定声音。
在要执行特定声音检测的情况下,如果使用一个麦克风,则难以获得足够的检测性能。
如图1所示,例如,假设存在作为佩戴设置有一个麦克风MK11的头戴式耳机HD11的耳机佩戴者的用户U11,并且在用户U11附近存在另一用户U12。
在这种情况下,当基于通过麦克风MK11收集声音而获得的音频信号将作为耳机佩戴者的用户U11的声音检测为特定声音时,在某些情况下,通过不期望的错误将不是耳机佩戴者的用户U12的声音检测为特定声音。即,在某些情况下发生错误检测。
在将用户U11的语音检测为特定声音时,用于在用户U11可以是任何人的情况下检测特定声音的方法与用于在用户U11是预定的特定人的情况下检测特定声音的方法不同,但是在这两种情况下,不期望地发生错误检测。
这里,进一步说明用户U11可以是任何人的情况以及用户U11是预定的特定人的情况。
首先,存在一种用于用户U11可以是任何人的情况的方法,其中,通过机器学习生成包括检测任何人的语音的神经网络等的检测器,并且所获得的检测器用于将作为耳机佩戴者的用户U11的语音检测为特定声音。
在采用这种方法的情况下,在图1所示的示例中发生错误检测。
即,在图1所示的示例中,从可以是任何耳机佩戴者的用户U11的嘴到麦克风MK11的距离与从不是耳机佩戴者的用户U12的嘴到麦克风MK11的距离大致相同(等距)。
因此,通过麦克风MK11获取的用户U11的语音和用户U12的语音的音频信号的声压大致相等,并且是相同的“人的语音”。
因此,在该示例中,难以通过检测器识别可以是任何耳机佩戴者的用户U11的语音和不是耳机佩戴者的用户U12的语音。因此,不期望地发生将除了作为耳机佩戴者的用户U11之外的用户(人)的语音(即,这里的用户U12的语音)检测为特定声音的错误检测。
另外,存在一种方法,其中,通过机器学习生成检测预定的特定人的语音(即,这里是作为耳机佩戴者的特定用户U11的语音)的检测器,并且该检测器用于将作为耳机佩戴者的用户U11的语音检测为特定声音。
在图1所示的示例中,假设采用这样的方法将预定的特定用户U11的语音检测为特定声音。
在图1所示的示例中,从作为特定耳机佩戴者的用户U11的嘴到麦克风MK11的距离与从不是耳机佩戴者的用户U12的嘴到麦克风MK11的距离大致相同。
因此,类似于用户U11可以是任何人的情况,由麦克风MK11获取的用户U11的语音和用户U12的语音的音频信号的声压大致相等,但是由于用户U11的语音和用户U12的语音不同,因此与上面提到的用户U11可以是任何人的情况相比,不太可能发生错误的特定声音检测。
然而,即使在这种情况下,如果用户U11的语音听起来像用户U12的语音,则在某些情况下,不期望地发生将作为除了用户U11之外的另一用户的用户U12的语音检测为特定声音的错误检测。
鉴于此,本技术使得可以通过基于由多个麦克风获取的每个音频信号来检测特定声音来抑制错误检测的发生。
具体地,本技术不仅可以通过使用多个麦克风,而且还可以通过以巧妙的方式设计麦克风的布置,并且尤其是通过以巧妙的方式设计从特定声音的声源到麦克风的距离,来改善检测特定声音的性能。
这是因为,在通过使用多个麦克风执行特定声音检测的情况下,解决错误检测的程度根据用于特定声音检测的麦克风的数量以及麦克风的布置而变化。下面具体说明几个示例。
<两个麦克风布置在L和R处的示例>
在首先说明的示例中,两个麦克风用于特定声音检测,并且两个麦克风布置在L位置和R位置,即,从耳机佩戴者的角度看在左和右的位置,从而使错误检测不太可能发生。
在这种情况下,如图2所示,例如,头戴式耳机HD21设置有麦克风MK21-1和麦克风MK21-2。注意,图2中与图1相对应的部分被赋予相同的参考标记,并且适当地省略其说明。
在该示例中,作为耳机佩戴者的用户U11佩戴耳机HD21,并且在用户U11附近存在不是耳机佩戴者的用户U12。
另外,麦克风MK21-1设置在佩戴在用户U11的左耳上的耳机HD21的左壳体部HW21-1处。此外,麦克风MK21-2设置在佩戴在用户U11的右耳上的耳机HD21的右壳体部HW21-2处。
换句话说,当从用户U11看时,麦克风MK21-1布置在左侧,并且当从用户U11看时,麦克风MK21-2布置在右侧。
注意,在以下不需要特别区分麦克风MK21-1和麦克风MK21-2的情况下,它们也简称为麦克风MK21。另外,在以下不需要特别区分壳体部HW21-1和壳体部HW21-2的情况下,它们也简称为壳体部HW21。
这里,麦克风MK21设置在耳机HD21的壳体部HW21的外周外部。即,麦克风MK21具有用于收集声音的传感器部且未被壳体覆盖,并且麦克风MK21被设置为暴露在外部。
另外,麦克风MK21例如是用于实现噪声消除功能等的前馈麦克风。
前馈麦克风是用于噪声消除中的前馈控制的麦克风,并且前馈麦克风不仅用于噪声消除,而且还用于特定声音检测。
此外,两个麦克风MK21被布置为使得在用户U11佩戴耳机HD21的状态下,与作为特定声音的声源位置的用户U11的嘴的距离大致相等。
在图2所示的示例中,从作为耳机佩戴者的用户U11的嘴到麦克风MK21-2的距离和从不是耳机佩戴者的用户U12的嘴到麦克风MK21-2的距离为大致相同的距离。然而,从用户U11的嘴到麦克风MK21-1的距离和从用户U12的嘴到麦克风MK21-1的距离为不同的距离。
换句话说,虽然麦克风MK21-1和麦克风MK21-2被布置在与作为特定声音的声源的用户U11的嘴大致等距的位置处,但是麦克风MK21的位置不是与用户U12的嘴等距的位置。
因此,在通过麦克风MK21-1和麦克风MK21-2获取(收集)作为耳机佩戴者的用户U11的语音的情况下,由麦克风MK21获得的音频信号的声压大致相同。
相对照地,在通过麦克风MK21-1和麦克风MK21-2获取(收集)不是耳机佩戴者的用户U12的语音的情况下,麦克风MK21获得的音频信号的声压是不同的声压。
以这种方式,在两个麦克风MK21布置在左L位置和右R位置的情况下,可以通过使用由这两个麦克风MK21获取的音频信号来执行检测器的机器学习来抑制上述错误检测的发生。
即,通过使用通过机器学习获得的检测器,可以通过使用由布置在彼此不同的位置并且距特定声音的声源大致相等距离的位置的麦克风MK21获取的音频信号的声压之间的差来执行特定声音检测。由此,可以提高检测性能。
然而,如图3所示,例如,在不是耳机佩戴者的用户U12位于作为耳机佩戴者的用户U11的中线的情况下,可能发生错误检测。注意,图3中与图2相对应的部分被赋予相同的参考标记,并且适当地省略其说明。
由于在图3所示的示例中用户U12位于用户U11的中线上,因此从用户U12的嘴到麦克风MK21-1的距离和从用户U12的嘴到麦克风MK21-2的距离在该状态下大致相等。
例如,在用户U12在火车上、在铁路交叉路口附近等的用户U11的后面的情况下,或者在其他情况下,发生这种情况。另外,在火车等上,在某些情况下,在用户U11的上方再现诸如广播声音的人语音,并且在这种情况下,还可以发生广播声音等的声源位于用户U11的中线的情况。
在这种情况下,当通过麦克风MK21-1和麦克风MK21-2获取用户U12的语音时,通过麦克风MK21获得的音频信号的声压变得大致相同,并且因此担心不期望地发生上面提到的错误检测。
<关于三个麦克风布置在L、R和BTM处的示例>
鉴于此,如图4所示,例如,头戴式耳机HD31可以设置有三个麦克风,即麦克风MK21-1、麦克风MK21-2以及麦克风MK31。注意,图4中与图2相对应的部分被赋予相同的参考标记,并且适当地省略其说明。
在图4所示的示例中,麦克风MK21-1设置在耳机HD31的左壳体部HW21-1,并且麦克风MK21-2设置在耳机HD31的右壳体部HW21-2。
具体地,在该示例中,在用户U11在他/她的头上佩戴耳机HD31的状态下,麦克风MK21-1和麦克风MK21-2被布置在如从用户U11看的相同高度位置处。
另外,在左壳体部HW21-1的图中,麦克风MK31设置在比麦克风MK21-1低的位置,即BTM位置(底部位置)。
例如,麦克风MK31用作设置在壳体部HW21-1的外周外部的用于通话并且用于通过使用电话等进行通话等的麦克风。
另外,用户U11在他/她的头上佩戴耳机HD31的状态下,麦克风MK31被布置在比麦克风MK21更靠近用户U11的嘴的位置。即,麦克风MK31被布置在距用户U11的嘴的距离比从麦克风MK21到用户U11的嘴的距离更短的位置处。
因此,在通过两个麦克风MK21和一个麦克风MK31获取作为耳机佩戴者的用户U11的语音的情况下,通过两个麦克风MK21获得的音频信号的声压大致相同。
然而,在这种情况下,由麦克风MK31获得的音频信号的声压高于由两个麦克风MK21获得的音频信号的声压。
即,尽管作为耳机佩戴者的用户U11的语音以大致相同的声压被输入到两个麦克风MK21,但是用户U11的语音的声压以比麦克风MK21的声压高的声压被输入到麦克风MK31。
这是因为,如上所述,在用户U11在他/她的头上佩戴耳机HD31的状态下,麦克风MK31被布置在比麦克风MK21更靠近用户U11的嘴的位置。
因此,如在图3所示的示例中,即使在不是耳机佩戴者的用户U12在作为耳机佩戴者的用户U11的中线的情况下,在耳机HD31中也不太可能发生上述错误检测。即,与设置有两个麦克风的耳机HD21相比,设置有三个麦克风的耳机HD31可以获得更高的检测性能。
同时,如图5所示,例如,在不是耳机佩戴者的用户U12在作为耳机佩戴者的用户U11的下方并且在用户U11的中线上的情况下,可能发生错误检测。注意,图5中与图3或图4相对应的部分被赋予相同的参考标记,并且适当地省略其说明。
在图5所示的示例中,用户U12位于用户U11的中线上,并且低于用户U11。在用户U11站在坐在火车等的座位上的用户U12的前方的情况下或在其他情况下,可能发生用户U12与用户U11之间的这种位置关系。
在该示例中,麦克风MK31位于比麦克风MK21更靠近用户U12的嘴的位置处,并且两个麦克风MK21布置在与用户U12的嘴大致等距的位置处。
因此,在这种情况下,在通过麦克风MK21和麦克风MK31获取用户U12的语音的情况下,由两个麦克风MK21获得的音频信号的声压大致相同。
另外,由麦克风MK31获得的音频信号的声压高于由麦克风MK21获得的音频信号的声压。因此,类似于图3所示的示例,担心不期望地发生错误检测。
<四个麦克风布置在L、R、BTM和TOP处的示例>
鉴于此,如图6所示,例如,头戴式耳机HD41可以设置有四个麦克风,即麦克风MK21-1、麦克风MK21-2、麦克风MK31以及麦克风MK41。
注意,图6中与图4相对应的部分被赋予相同的参考标记,并且适当地省略其说明。
在图6所示的示例中,麦克风MK21-1和麦克风MK31设置在耳机HD41的左壳体部HW21-1,并且麦克风MK21-2设置在耳机HD41的右壳体部HW21-2。这些麦克风MK21和麦克风MK31的布置类似于图4中的情况。
另外,在耳机HD41中,在用户U11佩戴耳机HD41的状态下,麦克风MK41被布置为当从用户U11看时位于高于麦克风MK21和麦克风MK31。
具体地,在该示例中,在用户U11佩戴耳机HD41的状态下,麦克风MK41被布置为靠近用户U11的头部的顶部(在头部的顶部附近),即,处于TOP位置(顶部位置)。
具体地,在耳机HD41中,麦克风MK41设置在耦接(连接)两个壳体部HW21的带部BD41上的位置处,并且与两个麦克风MK21大致等距。该麦克风MK41例如用作设置在带部BD41外部的用于特定声音检测的麦克风。
另外,在作为耳机佩戴者的用户U11在他的/她的头上佩戴耳机HD41的状态下,从用户U11的嘴到麦克风MK21的距离大致等于从用户U11的嘴到麦克风MK41的距离。换句话说,两个麦克风MK21和麦克风MK41中的每一个布置在与作为特定声音的声源的用户U11的嘴大致等距的位置处。
利用这样的麦克风布置,在每个麦克风获取作为耳机佩戴者的用户U11的语音的情况下,由总共三个麦克风(两个麦克风MK21和麦克风MK41)获得的音频信号的声压变得大致相同。
另外,由麦克风MK31获得的音频信号的声压高于由麦克风MK21和麦克风MK41获得的音频信号的声压。
另一方面,如果尝试获得关于不是耳机佩戴者的用户U12的语音的类似于用户U11的语音的情况下的关系作为由麦克风获得的音频信号的声压之间的相对关系,则用户U12必须在用户U12的嘴的位置非常靠近用户U11的嘴的位置的状态下发声。
然而,不是耳机佩戴者的用户U12在正常实际生活中以这种状态发声的概率(发生概率)较低,并且因此在耳机HD41中很少发生错误检测。即,与设置有三个麦克风的耳机HD31相比,设置有四个麦克风的耳机HD41可以获得更高的检测性能。
<四个麦克风布置在L、R、FBL和FBR处的示例>
同时,存在一些耳机,其中,用于噪声消除的反馈麦克风布置在耳机的壳体内部。
鉴于此,如图7所示,例如,头戴式耳机HD51可以设置有两个麦克风MK21以及作为用于噪声消除的反馈麦克风的麦克风MK51-1和麦克风MK51-2。注意,图7中与图4相对应的部分被赋予相同的参考标记,并且适当地省略其说明。
在图7所示的示例中,麦克风MK21-1设置在耳机HD51的左壳体部HW21-1,并且麦克风MK21-2设置在耳机HD51的右壳体部HW21-2。麦克风MK21的这种布置类似于图4中的情况。
此外,在耳机HD51中,作为反馈麦克风的麦克风MK51-1布置在左壳体部HW21-1内部的位置,即,在形成壳体部HW21-1的壳体内部的位置(FBL位置)处。换句话说,麦克风MK51-1被形成壳体部HW21-1的壳体覆盖。
更具体地,例如,麦克风MK51-1布置在未示出但设置在壳体部HW21-1内部的扬声器的振动膜与通过覆盖振动膜来保护该振动膜的网状保护构件之间的位置处或者布置在另一位置处。这里,保护构件还用作壳体。
反馈麦克风是用于噪声消除中的反馈控制的麦克风,并且在该示例中,反馈麦克风不仅用于噪声消除,而且还用于特定声音检测。
类似地,作为反馈麦克风的麦克风MK51-2布置在形成右壳体部HW21-2的壳体内部的位置(FBR位置)处。
注意,在以下不需要特别区分麦克风MK51-1和麦克风MK51-2的情况下,它们也简称为麦克风MK51。
由于麦克风MK51被耳机HD51的壳体覆盖,因此麦克风MK51很少接收(收集)包括除了作为耳机佩戴者的用户U11的语音之外的人语音的外部声音的输入。即,麦克风MK51很少收集从壳体部HW21的外部在空气中传播的声音。
另一方面,如果作为耳机佩戴者的用户U11发出声音,则麦克风MK51接收(收集)由于作为耳机佩戴者的用户U11的发声而引起的用户U11的各个振动声音的输入。即,麦克风MK51收集由用户U11的发声产生的振动声音。
因此,基于由麦克风MK21和麦克风MK51获得的音频信号,可以区分用户U11的语音,更具体地,由用户U11的发声产生的振动声音以及诸如用户U12的语音的其他人语音。
因此,例如,即使在用户U12的嘴的位置非常靠近用户U11的嘴的位置的状态下,在用户U12发出声音的情况下以及在其他情况下,很少发生错误的特定声音检测,并且可以获得高检测性能。
注意,尽管在这里说明的示例中反馈麦克风主要用作用于收集用户U11的个体振动声音的麦克风,但是可以通过使用诸如骨传导麦克风的其他麦克风来收集用户U11的个体振动声音。即,例如,骨传导麦克风等可以用作麦克风MK51。
<两个麦克风布置在L和FBL或R和FBR的示例>
另外,如果如参考图7所说明的那样使用总共四个麦克风,即两个麦克风MK21和两个麦克风MK51,则可以使错误的特定声音检测不太可能发生,并且可以获得检测特定声音的高性能。
然而,随着设置到耳机的麦克风的数量的增加,特定声音检测所需的功耗和存储量不期望地增加了与麦克风数量的增加相对应的量。
鉴于此,例如,通过使用总共两个麦克风(一个前馈麦克风和一个反馈麦克风)来执行特定声音检测,可以保持低功耗和存储量,并且可以抑制错误检测的发生。
具体地,作为设置到左壳体部HW21-1的前馈麦克风的麦克风MK21-1和作为设置到左壳体部HW21-1的反馈麦克风的麦克风MK51-1可以用于特定声音检测。
在这种情况下,不特别必要将诸如麦克风MK21-2或麦克风MK51-2的其他麦克风设置到耳机。
相对照地,作为设置在右壳体部HW21-2的前馈麦克风的麦克风MK21-2和作为设置在右壳体部HW21-2的反馈麦克风的麦克风MK51-2可以用于特定声音检测。同样在这种情况下,也不必将其他麦克风设置到耳机。
如果以这种方式将一个前馈麦克风和一个反馈麦克风用于特定声音检测,则可以增强检测特定声音的性能与功耗和存储量的增加的抑制(成本效益)之间的平衡。即,可以使功耗和存储量与参考图2说明的示例中的功耗和存储量大致相同,并且可以获得足够高的检测性能。
<真无线耳机的应用示例>
除此之外,例如,如图8所示,在将真无线耳机HD61作为可穿戴装置用于特定声音检测的情况下,在保持低功耗和内存量的同时可以获得足够高的检测性能。注意,图8中与图7相对应的部分被赋予相同的参考标记,并且适当地省略其说明。
在图8所示的示例中,真无线耳机HD61包括佩戴在用户(即,上述用户U11)的左耳上的左耳机HS61-1和佩戴在用户的右耳上的右耳机HS61-2。
注意,在以下不需要特别区分耳机HS61-1和耳机HS61-2的情况下,它们也简称为耳机HS61。
这里,左耳机HS61-1设置有麦克风MK21-1(其是用于噪声消除的前馈麦克风)和麦克风MK51-1(其是用于噪声消除的反馈麦克风)。
类似地,右耳机HS61-2设置有麦克风MK21-2(其是用于噪声消除的前馈麦克风)和麦克风MK51-2(其是用于噪声消除的反馈麦克风)。
这些麦克风MK21和麦克风MK51的布置位置大致类似于图7的情况下的布置位置。即,麦克风MK21设置在耳机HS61的外部,并且麦克风MK51设置在耳机HS61的内部。
在要考虑的示例中,例如,一个麦克风MK21和一个麦克风MK51用于特定声音检测。
在这种情况下,例如,设置到同一左耳机HS61-1的麦克风MK21-1和麦克风MK51-1可以用于特定声音检测。注意,此时,麦克风MK21-2和麦克风MK51-2可能没有设置到右耳机HS61-2。
类似地,例如,设置到右耳机HS61-2的麦克风MK21-2和麦克风MK51-2可以用于特定声音检测。
通过以这种方式将用于特定声音检测的两个麦克风布置在一个耳机HS61上,即使在耳机(例如包括左麦克风和右麦克风(即,独立的左耳机和右耳机)的真无线耳机HD61)中,也可以抑制错误的特定声音检测的发生,并且可以获得高检测性能。
具体地,在真无线耳机HD61中,左麦克风和右麦克风(例如,麦克风MK21-1和麦克风MK21-2)彼此独立。换句话说,左耳机HS61-1和右耳机HS61-2是无线连接的,但未通过电缆连接。
因此,例如,在将麦克风MK21-1和麦克风MK21-2用于特定声音检测的情况下,由一个麦克风MK21获得的音频信号需要通过无线通信被传送到设置有另一麦克风MK21的耳机HS61,并且通过无线通信的传送需要大功耗。
相对照地,如果将麦克风MK21和麦克风MK51布置在耳机HD61的一个耳机HS61上,并且这些麦克风用于特定声音检测,则以上提及的通过无线通信的传送变得不必要,并且因此可以在保持低功耗的同时获得高检测性能。
注意,尽管以上参考图2、图4、图6、图7和图8主要说明了作为麦克风的数量和布置的示例的五个示例,但是本技术不限于这些示例。
即,只要可以使诸如由多个麦克风获得的音频信号的声压的特征在耳机佩戴者的语音与除耳机佩戴者之外的人的语音之间不同,则用于特定声音检测的麦克风的数量可以是任何数量,并且麦克风的布置也可以是任何布置。
因此,例如,可以采用与图9和图10所示的麦克风布置类似的麦克风布置。
例如,在图9所示的示例中,头戴式耳机HD71设置有八个麦克风,并且八个麦克风中的任何两个或多个可以用于特定声音检测。注意,图9中与图6或图7相对应的部分被赋予相同的参考标记,并且适当地省略其说明。
在该示例中,耳机HD71以与图6中的布置相同的布置设置有两个麦克风MK21、麦克风MK31和麦克风MK41,并且以与图7中的布置相同的布置设置有两个麦克风MK51。
此外,在该示例中,用于通话的麦克风MK71-1和麦克风MK71-2被设置在左壳体部HW21-1中的麦克风MK21-1与麦克风MK31之间的高度位置处。
具体地,麦克风MK71-1设置在壳体部HW21-1的外周外部的FRT位置处,即,设置在作为耳机佩戴者的用户U11的脸(嘴)侧的位置处。
相对照地,麦克风MK71-2设置在壳体部HW21-1的外周外部的REA位置处,即,设置在作为耳机佩戴者的用户U11的头部的后侧的位置处。
注意,在以下不需要特别区分麦克风MK71-1和麦克风MK71-2的情况下,它们也简称为麦克风MK71。
另外,在图10所示的示例中,真无线耳机HD81设置有六个麦克风,并且六个麦克风中的任何两个或多个可以用于特定声音检测。注意,图10中与图8或图9相对应的部分被赋予相同的参考标记,并且适当地省略其说明。
在该示例中,耳机HD81的左耳机HS61-1设置有麦克风MK21-1、麦克风MK51-1、麦克风MK31和麦克风MK71-1。另外,耳机HD81的右耳机HS61-2设置有麦克风MK21-2和麦克风MK51-2。
此外,尽管在上述示例中通过耳机将耳机佩戴者的语音检测为特定声音,但是作为检测目标的特定声音不限于耳机佩戴者的语音,而是可以是任何其他声音。
例如,不是耳机佩戴者的人的语音或广播声音可以被检测为特定声音,或者诸如围绕耳机佩戴者行驶的车辆的行驶声音、由车辆(汽车或自行车)等发出的喇叭声音的移动声音可以被检测为特定声音。
适于不通过错误检测除特定声音之外的声音的麦克风布置根据作为检测目标的特定声音是什么类型的声音而不同。在下文中,说明了用于每个特定声音的麦克风布置的具体示例。
(检测到除耳机佩戴者之外的人的语音的情况)
首先,说明将除耳机佩戴者之外的人的语音检测为特定声音的示例。
在这种情况下,对于特定声音检测,例如,有效地使用上述麦克风,即布置在L位置处的作为前馈麦克风的麦克风MK21-1、布置在FBL位置处的作为反馈麦克风的麦克风MK51-1、布置在BTM位置处的用于通话的麦克风MK31以及布置在TOP位置处的用于特定声音检测的麦克风MK41。
例如,在将除耳机佩戴者之外的人的语音检测为特定声音的情况下,通过参考图2说明的麦克风布置而经常被错误地检测为特定声音的声音主要是耳机佩戴者的语音以及火车上、车站站台上、街道上等的广播声音。
耳机佩戴者的语音和广播声音到麦克风的输入的声压(以下也称为输入声压)具有如下所述的特征。
即,关于耳机佩戴者的语音,在BTM位置处的麦克风MK31和在FBL位置处的麦克风MK51-1的输入声压高,并且在L位置处的麦克风MK21-1的输入声压与在TOP位置处的麦克风MK41的输入声压大致相同,并且两者都低于在BTM位置处的麦克风MK31的输入声压。
另一方面,关于作为特定声音的除耳机佩戴者之外的人的语音,在BTM位置处的麦克风MK31、在L位置处的麦克风MK21-1和在TOP位置处的麦克风MK41的输入声压大致相同,并且在FBL位置处的麦克风MK51-1的输入声压极低。
另外,关于广播声音,在TOP位置处的麦克风MK41的输入声压高,在L位置处的麦克风MK21-1的输入声压高,并且在BTM位置处的麦克风MK31的输入声压低于在TOP位置处的麦克风MK41的输入声压,并且在FBL位置处的麦克风MK51-1的输入声压极低。
以这种方式,作为特定声音的除耳机佩戴者之外的人的语音、耳机佩戴者的语音以及不是特定声音的广播声音在不同的麦克风处具有不同的输入声压的大小关系。因此,如果用像以上麦克风布置的麦克风布置将除耳机佩戴者之外的人的语音检测为特定声音,则可以无错误地并且以高检测性能检测该特定声音。
(检测到广播声音的情况)
接下来,说明将在耳机佩戴者附近再现的广播声音检测为特定声音的示例。
在这种情况下,例如,与上述检测到除耳机佩戴者之外的人的语音的情况类似,有效地使用布置在L位置处的作为前馈麦克风的麦克风MK21-1、布置在FBL位置处的作为反馈麦克风的麦克风MK51-1、布置在BTM位置处的用于通话的麦克风MK31以及布置在TOP位置处的用于特定声音检测的麦克风MK41。
这是因为,如上所述,广播声音、除耳机佩戴者之外的其他人的语音和耳机佩戴者的语音在不同麦克风处具有不同的输入声压的大小关系。
(检测到移动声音的情况)
此外,说明了将移动声音检测为特定声音的示例。
在这种情况下,例如,有效地使用布置在L位置处的作为前馈麦克风的麦克风MK21-1、布置在R位置处的作为前馈麦克风的麦克风MK21-2、布置在FRT位置处的用于通话的麦克风MK71-1以及布置在REA位置处的用于通话的麦克风MK71-2。
通过以这种方式使用布置在耳机的前、后、左和右的麦克风,可以识别作为特定声音的移动声音的声源是在附近还是在远处以及移动声音的声源的移动方向,例如声源是远离还是接近。
例如,在麦克风处,声源远离耳机的移动声音和声源靠近耳机的移动声音的输入声压具有如下所述的特征。
即,对于声源远离耳机的移动声音,声源的位置离耳机越远,在L位置处的麦克风MK21-1、在R位置处的麦克风MK21-2、在FRT位置处的麦克风MK71-1和在REA位置处的麦克风MK71-2的输入声压越相似,并且麦克风的输入声压的时间变化也越相似。
相对照地,对于声源靠近耳机的移动声音,声源的位置离耳机越近,在L位置处的麦克风MK21-1、在R位置处的麦克风MK21-2、在FRT位置处的麦克风MK71-1和在REA位置处的麦克风MK71-2中的几个麦克风之间的输入声压的差(声压差)越大,所有麦克风的输入声压的时间变化越相似。
另外,在移动声音的声源远离耳机的情况下,麦克风处的输入声压的时间变化是使输入声压随时间变小的变化。相对照地,在移动声音的声源接近耳机的情况下,麦克风处的输入声压的时间变化是使输入声压随时间变大的变化。
如上所述的输入声压的差(即,输入声压的特征)使得可以识别移动声音的声源是远离耳机还是靠近耳机、声源是远离还是接近等。
注意,在上述示例中,将耳机佩戴者的语音、除耳机佩戴者之外的人的语音、广播声音和移动声音检测为特定声音。然而,可以并行地操作用于检测那些声音中的每一个的检测器。在这种情况下,对于不同的检测器(即,对于作为检测目标的不同的特定声音),可以以不同的方式组合用于获得输入到检测器的音频信号的麦克风。
此外,尽管在上述示例中通过使用诸如通过机器学习获得的神经网络的检测器来检测特定声音,但是用于特定声音检测的方法可以是任何方法,只要它使用多个麦克风。
<耳机的功能配置示例>
接下来,说明在将以上说明的本技术应用于具有电话通话功能的噪声消除耳机的情况下的具体实施例。
例如,应用了本技术的具有电话通话功能的噪声消除耳机(以下也简称为耳机)被配置为如图11所示。
图11所示的耳机11是具有电话通话功能的头戴式噪声消除耳机。
耳机11具有L麦克风21、R麦克风22、FBL麦克风23、FBR麦克风24、BTM麦克风25、FRT麦克风26、REA麦克风27、TOP麦克风28、特定声音检测部29、外部声音部30、记录部31、噪声消除部32、电话通话部33、接收部34、模式切换部35、控制部36和扬声器37。
尤其是在耳机11中,至少包括特定声音检测部29的块部用作检测特定声音的特定声音检测器。因此,例如,特定声音检测器可以包括控制部36等。注意,特定声音检测器可以设置在耳机11的外部,并且可以从耳机11获取通过声音收集获得的音频信号,并且执行特定声音检测。
L麦克风21、R麦克风22、FBL麦克风23和FBR麦克风24分别对应于图9所示的麦克风MK21-1、麦克风MK21-2、麦克风MK51-1和麦克风MK51-2。
即,L麦克风21和R麦克风22是分别设置在L位置和R位置处的前馈麦克风。L麦克风21和R麦克风22收集环境声音,并且将由此获得的音频信号提供给外部声音部30、噪声消除部32和特定声音检测部29。
另外,FBL麦克风23和FBR麦克风24是分别布置在FBL位置和FBR位置处的反馈麦克风。FBL麦克风23和FBR麦克风24收集环境声音,并且将由此获得的音频信号提供给噪声消除部32和特定声音检测部29。
BTM麦克风25、FRT麦克风26和REA麦克风27是分别布置在BTM位置、FRT位置和REA位置处的用于通话的麦克风,并且对应于图9所示的麦克风MK31、麦克风MK71-1和麦克风MK71-2。BTM麦克风25至REA麦克风27收集环境声音,并且将由此获得的音频信号提供给电话通话部33和特定声音检测部29。
TOP麦克风28是布置在TOP位置处的用于特定声音检测的麦克风,并且对应于图9所示的麦克风MK41。TOP麦克风28收集环境声音,并且将由此获得的音频信号提供给特定声音检测部29。
基于从L麦克风21至TOP麦克风28提供的音频信号,特定声音检测部29检测特定声音,并且将检测结果提供给控制部36。
特定声音检测部29具有分配部51、佩戴者声音检测部52、非用户声音检测部53和移动声音检测部54。
分配部51将从L麦克风21至TOP麦克风28提供的音频信号分配给佩戴者声音检测部52、非用户声音检测部53和移动声音检测部54。即,由麦克风获得的音频信号被分配给佩戴者声音检测部52、非用户声音检测部53和移动声音检测部54。
例如,分配部51将从L麦克风21、R麦克风22和BTM麦克风25提供的音频信号提供给佩戴者声音检测部52。
另外,例如,分配部51将从L麦克风21、FBL麦克风23、BTM麦克风25和TOP麦克风28提供的音频信号提供给非用户声音检测部53。
此外,例如,分配部51将从L麦克风21、R麦克风22、FRT麦克风26和REA麦克风27提供的音频信号提供给移动声音检测部54。
佩戴者声音检测部52例如包括包含通过机器学习等获得的神经网络等的检测器,即,包括具有神经网络结构的检测器等。
基于从分配部51提供的音频信号,佩戴者声音检测部52将耳机11的佩戴者的语音检测为特定声音,并且将检测结果提供给控制部36。
例如,通过机器学习等预先获得包括在佩戴者声音检测部52中的检测器,使得它使用通过布置在L位置、R位置和BTM位置处的麦克风收集声音而获得的音频信号作为输入,以基于这些音频信号来计算包括在声音中的作为特定声音的耳机11的佩戴者的语音的概率,并且输出该概率作为特定声音检测的结果。
例如,非用户声音检测部53包括具有通过机器学习等获得的神经网络结构的检测器,基于从分配部51提供的音频信号检测除耳机11的佩戴者之外的人的语音作为特定声音,并且将检测结果提供给控制部36。
例如,通过机器学习等预先获得包括在非用户声音检测部53中的检测器,使得它使用通过布置在L位置、FBL位置、BTM位置和TOP位置处的麦克风收集声音而获得的音频信号作为输入,以基于这些音频信号来计算包括在声音中的作为特定声音的除耳机11的佩戴者之外的人的语音的概率,并且输出该概率作为特定声音检测的结果。
此外,例如,移动声音检测部54包括具有通过机器学习等获得的神经网络结构的检测器,基于从分配部51提供的音频信号检测诸如车辆的行驶声音或喇叭声音的特定移动声音作为特定声音,并且将检测结果提供给控制部36。
例如,通过机器学习等预先获得包括在移动声音检测部54中的检测器,使得它使用通过布置在L位置、R位置和FRT位置处的麦克风收集声音而获得的音频信号作为输入,以基于这些音频信号来计算包括在声音中的作为特定声音的移动声音的概率,并且输出该概率作为特定声音检测的结果。
注意,假设表示从佩戴者声音检测部52至移动声音检测部54输出的特定声音检测的结果的信息例如是表示从0%至100%范围内的概率值的信息。然而,这不是唯一的示例,并且表示特定声音检测的结果的信息可以是表示是否在所收集的声音中检测到特定声音的标志信息等。
另外,尽管在这里说明的示例中检测到三个互不相同的特定声音,但是要作为特定声音检测部29的检测目标的特定声音的数量可以是一个,或者可以是一个以上。
外部声音部30将从L麦克风21和R麦克风22提供的音频信号转换为表示耳机11周围的外部声音(来自外部的声音)的外部声音信号,并且将该外部声音信号提供给控制部36。
记录部31保持(已记录在其中)用于再现音乐的音乐信号,并且根据需要将所保持的音乐信号提供给噪声消除部32和控制部36。
基于从L麦克风21、R麦克风22、FBL麦克风23和FBR麦克风24提供的音频信号以及从记录部31提供的音乐信号,噪声消除部32生成用于消除耳机11周围的声音(外部声音)的噪声消除信号,并且将该噪声消除信号提供给控制部36。
具体地,例如,噪声消除部32生成基于从L麦克风21和R麦克风22提供的音频信号但具有反相的信号作为反相信号。另外,噪声消除部32通过从由FBL麦克风23和FBR麦克风24提供的音频信号中减去音乐信号,并且对由此获得的信号的相位进行反相来生成差反相信号。然后,噪声消除部32将如此获得的反相信号和差反相信号相加在一起来生成噪声消除信号。
电话通话部33通过将来自BTM麦克风25、FRT麦克风26和REA麦克风27的音频信号与从接收部34提供的耳机11的佩戴者通过电话与其交谈的人的声音信号相加在一起来生成通话信号,并且将该通话信号提供给控制部36。
接收部34接收通过无线通信从由耳机11的佩戴者通过电话与其交谈的人操作的诸如移动电话的设备发送的耳机11的佩戴者通过电话与其交谈的人的声音的声音信号,并且将该声音信号提供给电话通话部33。
模式切换部35将耳机11的操作模式切换为音乐再现模式或通话模式,并且将表示所选择的操作模式的识别信息提供给控制部36。
例如,音乐再现模式是基于保留在耳机11中的记录部31中的音乐信号来再现音乐的操作模式。相对照地,通话模式是实现耳机11的佩戴者与佩戴者通过电话与其交谈的人之间的语音通话的操作模式。
控制部36控制耳机11的整体操作。
例如,基于从佩戴者声音检测部52至移动声音检测部54的检测结果以及来自模式切换部35的识别信息,控制部36对来自外部声音部30的外部声音信号、来自记录部31的音乐信号、来自噪声消除部32的噪声消除信号以及来自电话通话部33的通话信号执行加权相加,从而生成加权和信号。另外,控制部36将所获得的加权和信号提供给扬声器37。
扬声器37基于从控制部36提供的加权和信号来输出声音。因此,例如,再现音乐、佩戴者与佩戴者通过电话与其交谈的人之间的对话的通话语音等。
例如,在控制部36处执行的外部声音信号、音乐信号、噪声消除信号和通话信号的加权相加中,执行以下公式(1)的计算以计算(生成)加权和信号sig_w[i]。
[数学1]
sig_w[i]=A×sig_ambient[i]+M×sig_music[i]+N×sig_noise[i]+T×sig_tel[i]
…(1)
注意,公式(1)中的i表示每个信号的时间采样索引。另外,公式(1)中的sig_ambient[i]、sig_music[i]、sig_noise[i]和sig_tel[i]分别表示外部声音信号、音乐信号、噪声消除信号和通话信号。
此外,公式(1)中的A、M、N和T表示加权因子。例如,基于表示操作模式的识别信息以及从佩戴者声音检测部52至移动声音检测部54的特定声音检测的结果来确定加权因子A、M、N和T。
具体地,例如,假设由识别信息表示的操作模式是音乐再现模式,并且表示从佩戴者声音检测部52至移动声音检测部54提供的特定声音检测的结果的所有概率均低于90%。这里假设当表示特定声音检测的结果的概率等于或高于作为预定阈值的“90%”时,控制部36确定已经检测到特定声音。
在这种情况下,控制部36通过使用加权因子A=0.0、M=1.0、N=1.0和T=0.0来执行公式(1)的计算。
在该示例中,操作模式是音乐再现模式,并且没有从耳机11的周围检测到耳机11的佩戴者的语音、除耳机11的佩戴者之外的人的语音以及移动声音。鉴于此,控制部36通过以相同权重仅将音乐信号sig_music[i]和噪声消除信号sig_noise[i]相加在一起来计算加权和信号sig_w[i]。
通过这样做,如果扬声器37基于加权和信号sig_w[i]再现声音,则实现了噪声消除,耳机11的佩戴者仅听到音乐,并且佩戴者(用户)可以专注于正在再现的音乐。即,在这种情况下,通过基于噪声消除信号sig_noise[i]的声音来消除作为噪声的外部声音,并且通过音乐信号sig_music[i]来再现音乐。
另外,例如,假设由佩戴者声音检测部52的检测结果或非用户声音检测部53的检测结果表示的概率等于或高于90%,并且由识别信息表示的操作模式是音乐再现模式。
即,假设当在音乐再现模式下时,已经将耳机11的佩戴者的语音或除耳机11的佩戴者之外的人的语音检测为特定声音。
在这种情况下,控制部36通过使用加权因子A=0.5、M=0.5、N=0.0和T=0.0来执行公式(1)的计算。因此,在这种情况下,通过以相同权重仅将外部声音信号sig_ambient[i]和音乐信号sig_music[i]相加在一起来计算加权和信号sig_w[i]。
通过这样做,如果扬声器37基于加权和信号sig_w[i]再现声音,则暂时停止噪声消除功能,并且外部声音(即,耳机11的佩戴者以及除佩戴者之外的人的语音)也与音乐同时再现。因此,不仅可以使耳机11的佩戴者清楚地听到音乐,而且还可以清楚地听到外部声音,并且使佩戴者更容易与非用户进行对话。
此外,例如,假设由识别信息表示的操作模式是音乐再现模式,并且表示从移动声音检测部54提供的特定声音(移动声音)的检测的结果的概率等于或高于90%。即,假设在耳机11周围检测到移动声音。
在这种情况下,控制部36通过使用加权因子A=1.0、M=0.0、N=0.0和T=0.0来执行公式(1)的计算。因此,在这种情况下,外部声音信号sig_ambient[i]被直接计算为加权和信号sig_w[i]。
通过这样做,如果扬声器37基于加权和信号sig_w[i]再现声音,则耳机11的佩戴者仅听到外部声音,即移动声音。因此,耳机11的佩戴者可以清楚地听到作为外部声音的诸如车辆的行驶声音或喇叭声音的移动声音,并且容易地感知危险。
另外,例如,假设由识别信息表示的操作模式是通话模式,并且表示从移动声音检测部54提供的特定声音(移动声音)的检测的结果的概率低于90%。即,假设确定在耳机11周围未检测到移动声音,并且耳机11的佩戴者周围的环境是安全的。
在这种情况下,控制部36通过使用加权因子A=0.0、M=0.0、N=1.0和T=1.0来执行公式(1)的计算。因此,在这种情况下,通过以相同权重仅将噪声消除信号sig_noise[i]和通话信号sig_tel[i]相加在一起来计算加权和信号sig_w[i]。
通过这样做,如果扬声器37基于加权和信号sig_w[i]再现声音,则实现了噪声消除,并且佩戴者仅听到耳机11的佩戴者通过电话与其交谈的人的通话语音。因此,耳机11的佩戴者可以专注于佩戴者通过电话与其交谈的人的语音通话。
除此之外,例如,假设由识别信息表示的操作模式是通话模式,并且表示从移动声音检测部54提供的特定声音(移动声音)的检测的结果的概率等于或高于90%。即,假设在耳机11周围检测到移动声音。
在这种情况下,控制部36通过使用加权因子A=1.0、M=0.0、N=0.0和T=0.0来执行公式(1)的计算。因此,在这种情况下,外部声音信号sig_ambient[i]被直接计算为加权和信号sig_w[i]。
通过这样做,如果扬声器37基于加权和信号sig_w[i]再现声音,则暂停佩戴者通过电话与其交谈的人的语音,并且耳机11的佩戴者仅听到外部声音,即移动声音。因此,耳机11的佩戴者可以清楚地听到作为外部声音的诸如车辆的行驶声音或喇叭声音的移动声音,并且容易地感知危险。
如上所述,当以任何一种操作模式操作时,控制部36根据一个或多个特定声音的检测的结果来切换要执行的处理。通过这样做,可以根据周围状况适当地确保安全性或使得容易进行对话,并且因此可以改善耳机11的可用性。
<特定声音检测处理的说明>
接下来,说明通过耳机11检测特定声音的处理的特定声音检测处理。即,以下参考图12的流程图说明耳机11的特定声音检测处理。
在步骤S11,L麦克风21至TOP麦克风28收集环境声音,并且输出由此获得的音频信号。
这里,由L麦克风21至TOP麦克风28获得的音频信号被提供给分配部51等。然后,分配部51将从L麦克风21至TOP麦克风28提供的音频信号分配给佩戴者声音检测部52、非用户声音检测部53和移动声音检测部54。
在步骤S12,佩戴者声音检测部52至移动声音检测部54基于从分配部51提供的音频信号来检测特定声音,并且将检测的结果提供给控制部36。
例如,佩戴者声音检测部52将从分配部51提供的音频信号(即,由L麦克风21、R麦克风22和BTM麦克风25获得的音频信号)输入到检测器并且执行计算,从而计算将耳机11的佩戴者的语音的检测的结果表示为特定声音的概率。
类似地,非用户声音检测部53和移动声音检测部54还将从分配部51提供的音频信号输入到检测器,执行计算,并且获得除耳机11的佩戴者之外的人的语音和移动声音的检测的结果表示为特定声音的概率。
在步骤S13,基于从模式切换部35提供的识别信息和从佩戴者声音检测部52至移动声音检测部54提供的检测结果,控制部36根据特定声音检测的结果执行处理,并且结束特定声音检测处理。换句话说,控制部36根据特定声音检测的结果来切换要执行的处理。
例如,控制部36基于如上所述基于识别信息和检测结果确定的加权因子来执行公式(1)的计算,并且将由此获得的加权和信号提供给扬声器37,并使扬声器37输出声音。
以上述方式,耳机11通过适当布置的多个麦克风收集环境声音,并且基于由此获得的音频信号来检测特定声音。以这种方式,通过使用在适当的布置位置处的多个麦克风,可以抑制错误检测的发生,并且可以提高检测特定声音的性能。
<计算机的配置示例>
同时,上述一系列处理可以由硬件执行,也可以由软件执行。在通过软件执行一系列处理的情况下,包括在软件中的程序安装在计算机上。这里,计算机的示例包括结合在专用硬件中的计算机、例如可以通过在其上安装各种程序来执行各种功能的通用个人计算机等。
图13是描绘通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机中,CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504互连。
总线504进一步与输入/输出接口505连接。输入/输出接口505与输入部506、输出部507、记录部508、通信部509和驱动器510连接。
输入部506包括键盘、鼠标、麦克风、图像捕获元件等。输出部507包括显示器、扬声器等。记录部508包括硬盘、非易失性存储器等。通信部509包括网络接口等。驱动器510驱动可移动记录介质511,诸如磁盘、光盘、磁光盘或半导体存储器。
在如此配置的计算机中,例如,CPU 501经由输入/输出接口505和总线504将记录在记录部508中的程序加载到RAM 503中并且执行该程序,从而执行上述一系列处理。
例如,由计算机(CPU 501)执行的程序可以被设置为记录在作为封装介质等的可移动记录介质511中。另外,可以经由诸如局域网、因特网和数字卫星广播的电缆或无线传输介质来提供程序。
在计算机中,通过将可移动记录介质511附接到驱动器510,可以经由输入/输出接口505将程序安装在记录部508上。另外,可以经由电缆或无线传输介质在通信部509处接收程序,并且将该程序安装在记录部508上。除此之外,可以将程序预先安装在ROM 502或记录部508上。
注意,要由计算机执行的程序可以是以本说明书中说明的顺序按时间顺序执行处理的程序,或者可以是并行执行处理或在诸如当调用处理时的必要定时执行处理的程序。
另外,根据本技术的实施例不限于上述实施例,并且可以在不脱离本技术的要旨的范围内以各种方式改变。
例如,本技术可以具有云计算配置,在该云计算配置中,一个功能由多个装置经由网络以共享方式彼此协作地处理。
另外,参考上述流程图说明的每个步骤可以由一个装置执行,或者另外可以由多个装置以共享方式执行。
此外,在一个步骤包括多个处理的情况下,包括在一个步骤中的多个处理可以由一个装置执行,或者另外可以由多个装置以共享方式执行。
此外,本技术还可以具有以下配置。
(1)
一种特定声音检测器,包括:
特定声音检测部,其基于通过由设置到可穿戴装置的多个麦克风收集声音而获得的多个音频信号来检测特定声音,其中,
多个麦克风包括至少与特定声音的声源等距的两个麦克风以及布置在预定位置处的一个麦克风。
(2)
根据(1)的特定声音检测器,其中,特定声音检测部包括具有神经网络结构的检测器。
(3)
根据(1)或(2)的特定声音检测器,其中,特定声音是可穿戴装置的佩戴者的声音。
(4)
根据(1)至(3)中任一项的特定声音检测器,其中,多个麦克风中的至少一个麦克风是用于噪声消除的反馈麦克风。
(5)
根据(4)的特定声音检测器,其中,布置在预定位置处的一个麦克风是反馈麦克风。
(6)
根据(4)或(5)的特定声音检测器,其中,反馈麦克风布置在可穿戴装置的壳体内部。
(7)
根据(1)至(3)中任一项的特定声音检测器,其中,多个麦克风中的至少一个麦克风是骨传导麦克风。
(8)
根据(7)的特定声音检测器,其中,布置在预定位置处的一个麦克风是骨传导麦克风。
(9)
根据(1)至(3)中任一项的特定声音检测器,其中,多个麦克风中的至少一个麦克风是用于通话的麦克风。
(10)
根据(9)的特定声音检测器,其中,布置在预定位置处的一个麦克风是用于通话的麦克风。
(11)
根据(10)的特定声音检测器,其中,预定位置是距可穿戴装置的佩戴者的嘴的距离比从两个麦克风到佩戴者的嘴的距离更短的位置。
(12)
根据(1)至(11)中任一项的特定声音检测器,其中,两个麦克风是用于噪声消除的前馈麦克风。
(13)
根据(1)至(12)中任一项的特定声音检测器,其中,除了两个麦克风和布置在预定位置处的一个麦克风之外,多个麦克风包括在佩戴者佩戴可穿戴装置的状态下布置在佩戴者的头部的顶部附近的一个麦克风。
(14)
根据(1)至(13)中任一项的特定声音检测器,进一步包括:
控制部,其根据特定声音的检测结果来切换要执行的处理。
(15)
一种特定声音检测方法,包括:
由特定声音检测器基于通过由设置到可穿戴装置的多个麦克风收集声音而获得的多个音频信号来检测特定声音,其中,
多个麦克风包括至少与特定声音的声源等距的两个麦克风以及布置在预定位置处的一个麦克风。
(16)
一种程序,使计算机执行包括以下步骤的处理:基于通过由设置到可穿戴装置的多个麦克风收集声音而获得的多个音频信号来检测特定声音,其中,
多个麦克风包括至少与特定声音的声源等距的两个麦克风以及布置在预定位置处的一个麦克风。
参考标记列表
11:耳机
21:L麦克风
22:R麦克风
23:FBL麦克风
24:FBR麦克风
25:BTM麦克风
26:FRT麦克风
27:REA麦克风
28:TOP麦克风
29:特定声音检测部
36:控制部
52:佩戴者声音检测部
53:非用户声音检测部
54:移动声音检测部。

Claims (16)

1.一种特定声音检测器,包括:
特定声音检测部,基于通过由设置到可穿戴装置的多个麦克风收集声音而获得的多个音频信号来检测特定声音,其中,
所述多个麦克风包括至少与所述特定声音的声源等距的两个麦克风以及布置在预定位置处的一个麦克风。
2.根据权利要求1所述的特定声音检测器,其中,所述特定声音检测部包括具有神经网络结构的检测器。
3.根据权利要求1所述的特定声音检测器,其中,所述特定声音是所述可穿戴装置的佩戴者的声音。
4.根据权利要求1所述的特定声音检测器,其中,所述多个麦克风中的至少一个麦克风是用于噪声消除的反馈麦克风。
5.根据权利要求4所述的特定声音检测器,其中,布置在所述预定位置处的所述一个麦克风是所述反馈麦克风。
6.根据权利要求4所述的特定声音检测器,其中,所述反馈麦克风布置在所述可穿戴装置的壳体内部。
7.根据权利要求1所述的特定声音检测器,其中,所述多个麦克风中的至少一个麦克风是骨传导麦克风。
8.根据权利要求7所述的特定声音检测器,其中,布置在所述预定位置处的所述一个麦克风是所述骨传导麦克风。
9.根据权利要求1所述的特定声音检测器,其中,所述多个麦克风中的至少一个麦克风是用于通话的麦克风。
10.根据权利要求9所述的特定声音检测器,其中,布置在所述预定位置处的所述一个麦克风是所述用于通话的麦克风。
11.根据权利要求10所述的特定声音检测器,其中,所述预定位置是距所述可穿戴装置的佩戴者的嘴的距离比从所述两个麦克风到所述佩戴者的所述嘴的距离更短的位置。
12.根据权利要求1所述的特定声音检测器,其中,所述两个麦克风是用于噪声消除的前馈麦克风。
13.根据权利要求1所述的特定声音检测器,其中,除了所述两个麦克风和布置在所述预定位置处的一个麦克风之外,所述多个麦克风包括在佩戴者佩戴所述可穿戴装置的状态下布置在所述佩戴者的头部的顶部附近的一个麦克风。
14.根据权利要求1所述的特定声音检测器,进一步包括:
控制部,根据所述特定声音的检测结果来切换要执行的处理。
15.一种特定声音检测方法,包括:
由特定声音检测器基于通过由设置到可穿戴装置的多个麦克风收集声音而获得的多个音频信号来检测特定声音,其中,
所述多个麦克风包括至少与所述特定声音的声源等距的两个麦克风以及布置在预定位置处的一个麦克风。
16.一种程序,使计算机执行包括以下步骤的处理:基于通过由设置到可穿戴装置的多个麦克风收集声音而获得的多个音频信号来检测特定声音,其中,
所述多个麦克风包括至少与所述特定声音的声源等距的两个麦克风以及布置在预定位置处的一个麦克风。
CN201980083956.3A 2018-12-25 2019-12-12 特定声音检测设备、方法以及程序 Withdrawn CN113196792A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-240642 2018-12-25
JP2018240642 2018-12-25
PCT/JP2019/048706 WO2020137585A1 (ja) 2018-12-25 2019-12-12 特定音検出器および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN113196792A true CN113196792A (zh) 2021-07-30

Family

ID=71127205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980083956.3A Withdrawn CN113196792A (zh) 2018-12-25 2019-12-12 特定声音检测设备、方法以及程序

Country Status (6)

Country Link
US (1) US20220059120A1 (zh)
JP (1) JPWO2020137585A1 (zh)
KR (1) KR20210109526A (zh)
CN (1) CN113196792A (zh)
DE (1) DE112019006400T5 (zh)
WO (1) WO2020137585A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3102252B1 (fr) * 2019-10-17 2021-10-15 Sagemcom Broadband Sas Procédé de regroupement d’équipements par espaces sonores
CN112992178A (zh) * 2021-02-05 2021-06-18 安徽绿舟科技有限公司 一种通过混沌声纹分析管道泄露的方法
JPWO2023002714A1 (zh) * 2021-07-20 2023-01-26

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960391A (en) * 1995-12-13 1999-09-28 Denso Corporation Signal extraction system, system and method for speech restoration, learning method for neural network model, constructing method of neural network model, and signal processing system
US8527280B2 (en) * 2001-12-13 2013-09-03 Peter V. Boesen Voice communication device with foreign language translation
US9099094B2 (en) * 2003-03-27 2015-08-04 Aliphcom Microphone array with rear venting
GB2434708B (en) * 2006-01-26 2008-02-27 Sonaptic Ltd Ambient noise reduction arrangements
JP5269618B2 (ja) * 2009-01-05 2013-08-21 株式会社オーディオテクニカ 骨伝導マイクロホン内蔵ヘッドセット
US8532310B2 (en) * 2010-03-30 2013-09-10 Bose Corporation Frequency-dependent ANR reference sound compression
JP5499633B2 (ja) * 2009-10-28 2014-05-21 ソニー株式会社 再生装置、ヘッドホン及び再生方法
US9208773B2 (en) * 2011-12-23 2015-12-08 Bose Corporation Headset noise-based pulsed attenuation

Also Published As

Publication number Publication date
JPWO2020137585A1 (ja) 2021-11-04
DE112019006400T5 (de) 2021-09-09
US20220059120A1 (en) 2022-02-24
KR20210109526A (ko) 2021-09-06
WO2020137585A1 (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
US10097921B2 (en) Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
US11550535B2 (en) Always on headwear recording system
JP7317115B2 (ja) オーディオシステムのための修正されたオーディオ体験を生成すること
US8194865B2 (en) Method and device for sound detection and audio control
CN113196792A (zh) 特定声音检测设备、方法以及程序
US8781142B2 (en) Selective acoustic enhancement of ambient sound
US11165399B2 (en) Compensation for ambient sound signals to facilitate adjustment of an audio volume
US7817806B2 (en) Sound pickup method and apparatus, sound pickup and reproduction method, and sound reproduction apparatus
US20150172814A1 (en) Method and system for directional enhancement of sound using small microphone arrays
US11467666B2 (en) Hearing augmentation and wearable system with localized feedback
US10636405B1 (en) Automatic active noise reduction (ANR) control
CN114727212B (zh) 音频的处理方法及电子设备
EP3648098A1 (en) Information processing apparatus, information processing system, information processing method, and program
EP4167591A1 (en) Acoustic device and acoustic control method
US20230024547A1 (en) Terminal for controlling wireless sound device, and method therefor
JP2009089133A (ja) 放収音装置
CN116156372A (zh) 声学装置及其传递函数确定方法
US20190306618A1 (en) Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
CN112584266A (zh) 一种信号处理方法、装置及耳机
EP4322555A1 (en) Electronic device and method for providing ambient sounds when user is in danger
US20220174448A1 (en) Headphones, out-of-head localization filter determination device, out-of-head localization filter determination system, out-of-head localization filter determination method, and program
US20240056734A1 (en) Selective modification of stereo or spatial audio
Amin et al. Impact of microphone orientation and distance on BSS quality within interaction devices
CN117499837A (zh) 音频处理方法、装置以及音频播放设备
CN116781817A (zh) 双耳拾音方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210730

WW01 Invention patent application withdrawn after publication