CN1813284A - 语音活动检测的装置和方法 - Google Patents

语音活动检测的装置和方法 Download PDF

Info

Publication number
CN1813284A
CN1813284A CN200480016534.8A CN200480016534A CN1813284A CN 1813284 A CN1813284 A CN 1813284A CN 200480016534 A CN200480016534 A CN 200480016534A CN 1813284 A CN1813284 A CN 1813284A
Authority
CN
China
Prior art keywords
microphone
sound
voice
microphone element
mouth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200480016534.8A
Other languages
English (en)
Other versions
CN100559461C (zh
Inventor
S·古斯塔夫松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN1813284A publication Critical patent/CN1813284A/zh
Application granted granted Critical
Publication of CN100559461C publication Critical patent/CN100559461C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

本发明涉及一种具体为在移动电话中利用麦克风系统的方向敏感性和有关语音源空间方位的知识,进行语音活动性检测的装置、结合该装置的移动设备及其附件以及方法。该装置包括设为判断声音信号中是否含有语音的声音信号分析器。根据本发明,所述装置还包括麦克风系统(2a,2b,2c,2d,2e),其设为区分从位于麦克风系统不同方向上的声源发出的声音,以便仅一定方向域发出的声音被作为可能含有语音的信号包括。

Description

语音活动检测的装置和方法
发明领域
本发明涉及一种具体为在移动电话中利用麦克风系统的方向敏感性和有关语音源空间方位的知识,进行语音活动性检测的装置、结合该装置的移动设备及其附件以及方法。所述装置协助现有语音活动检测来取得更高的灵敏度且需要较少处理器资源。
现有技术
语音活动检测器用于例如移动电话,以在某些情况下提高性能。构建语音活动检测器的最常用方法是检查输入信号子频带的电平。然后估计背景噪声电平和语音电平,并与阈值比较以判断是否存在语音。美国专利6427134中公开了一种语音活动检测器的实例。
例如,在噪声环境中,难以为语音活动检测器作统一的参数设置。因此,需要多种语音活动检测器,以针对特定情况进行相应调整。例如在某些模块中,需要确保是否有应该检测的语音(回波消除器),但在其它情况下,最好在信噪比等级太低的情况下指示没有任何语音。多个语音活动检测器对数字信号处理器造成负担,它必须负责执行各种语音活动检测算法。
发明概述
本发明的目的在于将声源方向纳入考虑来完善现有的语音活动检测。
在第一方面,本发明提供一种用于语音活动检测的装置,它包括设为判断声音信号是否包含语音的声音信号分析器。
根据本发明,所述装置还包括麦克风系统,其设为区分从位于麦克风系统不同方向上的声源发出的声音,以便仅从一定方向域(range of directions)发出的声音被作为可能含有语音的信号包括。
最好,所述方向域指向预定用户嘴的方向。
在一个实施例中,所述麦克风系统包括两个分开一定距离且位于指向预定用户嘴的方向的线条上的麦克风元件。
所述方向域可以定义为落在具有锥形角度α(其中10°<α<30°)的锥形区域内的所有声音,最好α近似为25°。
在另一个实施例中,所述麦克风系统包括三个分开一定距离且位于指向预定用户嘴的方向的平面上的麦克风元件。
最好,所述三个麦克风元件中的两个分开一定距离且位于与预定用户嘴的方向垂直的线条上。
在另一个实施例中,所述麦克风系统包括四个麦克风元件,其中第四个麦克风与其它三个不在同一个平面上。
所述麦克风元件可以是具有在预定用户嘴方向上有最大灵敏度的模式的定向麦克风元件。
在又一个实施例中,所述麦克风系统包括一个定向麦克风元件以及一个或多个其它麦克风元件,以消除声源方向上的不确定性。所述定向麦克风元件可用于测量相对于其它麦克风元件的声压级。
在第二方面,本发明提供一种移动设备,它包括如上所述的装置。
最好所述麦克风元件位于所述装置的下边缘。
在一个实施例中,多个麦克风元件位于所述装置的下边缘以及至少另一个麦克风元件设在距所述下边缘一定距离的位置上。
所述移动设备可以是移动无线电终端,例如移动电话、寻呼机、通信器、电子组织器(electronic organiser)或智能电话。
在第三方面,本发明提供一种用于移动设备的附件,其包括如上所述的麦克风系统。
最好所述方向域的方向是可调的。
所述附件可以是免提套件或电话会议麦克风。
在第四方面,本发明提供一种用于语音活动检测的方法,包括如下步骤:
从麦克风系统接收声音信号,所述麦克风系统设为区分从位于所述麦克风系统不同方向上的声源发出的声音;确定产生所述声音信号的所述声源的方向;如果所述声音是从第一方向域发出的,则还分析所述声音以确定所述声音信号是否包含语音;但如果所述声音是从第二方向域发出的,则确定所述声音信号不包含语音。
最好所述第一方向域指向预定用户嘴的方向。
所述第一方向域可以定义为落在具有锥形角度α(其中10°<α<30°)的锥形区域内的所有声音,最好α近似为25°。
在一个实施例中,所述麦克风系统至少包括两个彼此相距一定距离且位于指向预定用户嘴的方向的线条上的麦克风元件,所述两个麦克风元件间隔距离d,其中至声源的方向角θ按如下公式计算:
θ = arccos Δt · v 2 · d
其中
Δt是来自上述两个麦克风元件的声音之间的时差,
v是声音的速度。
在另一个实施例中,一个定向麦克风元件配合一个或多个其它麦克风元件一起使用,以消除声源方向上的不确定性。
所述定向麦克风元件可用于测量相对于其它麦克风元件的声压级。
本发明在所附独立权利要求1、12、16和20中定义,而优选实施例在从属权利要求项中陈述。
附图简介
下面将参考如下附图更详细地说明本发明,附图中:
图1是集成本发明的移动电话的透视图;以及
图2是本发明实施例的接收角度的示意图。
优选实施例的详细说明
如前言中所简述,电话和免提套件中所用的许多信号处理算法,如回波消除和背景噪声合成基于用户在发话或未在发话的情况进行。例如,当近端用户正在发话时,语音编解码器处于活动状态,而当近端用户沉默时,背景合成处于活动状态。所有这些算法需要良好的语音活动检测器(VAD)才能较好地执行。检测操作中的错误可能导致由算法发散或其它问题引起的缺陷或故障。
现有语音活动检测器用于判断声音信号中是否存在语音。但是,实际上并非所有语音都是感兴趣或相关的,而仅有用户语音是感兴趣的或相关的。例如在若干人在讲话的噪声环境中的所有其它语音可以被忽略并视为噪声。
本发明人认识到可以利用具有某种方向灵敏度的麦克风系统来区分从位于不同方向上的声源发出的声音。非用户发出的声音可以视为非语音,这些信号无需利用常规语音活动检测器进行分析。
现有语音活动检测器会方便实施,且在本申请中仅称为声音信号分析器。
一般而言,可以采用具有某种方向灵敏度的麦克风系统。图1显示了具有至少两个分设的麦克风元件的实例。
图中1示出一般的移动电话。本发明同样适用于其它设备,如移动无线电终端、寻呼机、通信器、电子组织器(electronic organiser)或智能电话。其共同特征是,采用了语音活动检测,例如结合传送语音或通过语音识别接收语音命令。
在最简单的形式下,麦克风系统包括两个麦克风2a和2b。最好将它们设在指向预定用户嘴的计算方向的线条上。最好所述麦克风元件设在所述移动设备1的下边缘。
图2显示计算声源(通常为用户嘴3)的方向的示意图。在两个麦克风的情况下,可以只确定与麦克风元件所在线条的角度。换言之,声源的方向在具有锥形角度θ的锥形区域上。为计算角度θ,首先确定来自麦克风2a和2b的信号之间的互相关。其最大值指示两个两个麦克风2a和2b之间的时差Δt。两个麦克风2a和2b之间的距离为例如20毫米。角度θ按如下公式计算:
θ = arccos Δt · v 2 · d
注意,arccos仅对-1和1之间的自变量有定义。如果时差为负,这意味着角度大于90°且声音从装置后发出。
最好该装置适于确定所有角度θ小于固定角度α的声音发自用户。阈值角度α可以设在例如10°到30°的范围内,最好设为25°。
在三个麦克风的情况下,还可以将声源的方向进一步确定为在两点(例如在上述锥形区域上)。三个麦克风元件最好设在指向用户嘴的大致方向的平面内。在图1中,麦克风元件2b、2c和2d是可能的设置。在前方的两个麦克风2c和2d位于垂直于用户嘴方向的线条上,而第三个麦克风2b位于后侧。
在四个麦克风(或更多)的情况下,可以计算所有方向的方向角,只要四个麦克风元件设置为使其中第四个麦克风与其它三个不在同一个平面上,例如设在四面体上。一种可能的设置是,前方的两个麦克风2c和2d设在下边缘,而第三个麦克风2b设在后侧,以及第四个麦克风2e设在与下边缘相距一定距离的前方。
一个类似的麦克风布置可用于移动设备的附件,如免提套件或打算放置在台面上的电话会议麦克风系统。除了麦克风元件,逻辑电路也可位于主/移动设备中。在此情况下,麦克风系统的接收角度可加以调整。这在例如当麦克风系统设置在汽车中时有用,其中用户可以坐在驾驶座位上或乘客座位上或驾驶和乘客均可以是同一呼叫过程中的发话人。接收角度的调整可以机械方式或电子方式实现,例如通过波束成形或调整麦克风系统的方向灵敏度。
为了进一步提高麦克风系统的灵敏度,可以采用具有在用户嘴的方向上有最大灵敏度的模式的定向麦克风元件。
在另一个实施例中,一个定向麦克风元件配合一个或两个其它麦克风元件一起使用(可以是无方向的)。该定向麦克风元件用于测量相对于其它麦克风元件的声压级,由此消除声源方向上的不确定性。定向麦克风元件和无定向麦克风元件的各种组合都是可能的。
本发明可得到增强性能的语音活动检测器。利用本发明,整个信号路径上可能只需一个语音活动检测器。这将降低计算复杂性,减轻数字信号处理器上的负载并提高性能。它特别适用于具有高背景噪声和类似语音的频谱特性的噪声的环境。
本领域技术人员会意识到,本发明可以通过硬件和软件的各种组合来实现。本发明的范围仅由所附权利要求限定。

Claims (26)

1.一种用于语音活动检测的装置,包括设为判断声音信号中是否含有语音的声音信号分析器,其特征在于,
麦克风系统(2a,2b,2c,2d,2e),其设为区分从位于所述麦克风系统不同方向上的声源发出的声音,以便仅一定方向域发出的声音被作为可能含有语音的信号包括。
2.如权利要求1所述的装置,其特征在于,所述方向域指向预定用户嘴(3)的方向。
3.如权利要求2所述的装置,其特征在于,所述麦克风系统包括两个分开一定距离且位于指向预定用户嘴(3)的方向的线条上的麦克风元件(2a,2b)。
4.如权利要求3所述的装置,其特征在于,所述方向域定义为落在具有锥形角度α,其中10°<α<30°内的锥形区域内的所有声音。
5.如权利要求3所述的装置,其特征在于,α近似为25°。
6.如权利要求2所述的装置,其特征在于,所述麦克风系统包括三个分开一定距离且位于指向预定用户嘴(3)的方向的平面上的麦克风元件(2b,2c,2d)。
7.如权利要求6所述的装置,其特征在于,所述三个麦克风元件中的两个(2c,2d)分开一定距离且位于与预定用户嘴(3)的方向垂直的线条上。
8.如权利要求2所述的装置,其特征在于,所述麦克风系统包括四个麦克风元件(2b,2c,2d,2e),其设置为使其中第四个麦克风(2e)与其它三个(2b,2c,2d)不在同一个平面上。
9.权利要求1至8中任一项所述的装置,其特征在于,所述麦克风元件(2a,2b,2c,2d,2e)可以是具有在预定用户嘴(3)方向上有最大灵敏度的模式的定向麦克风元件。
10.如权利要求1所述的装置,其特征在于,所述麦克风系统包括一个定向麦克风元件以及适于消除所述声源方向不确定性的一个或多个其它麦克风元件。
11.如权利要求10所述的装置,其特征在于,所述定向麦克风元件适于测量相对于所述其它麦克风元件的声压级。
12.一种移动设备,其特征在于,它包括如权利要求1至11中任一项所述的装置。
13.如权利要求12所述的移动设备,其特征在于,所述麦克风元件(2a,2b,2c,2d)位于所述装置的下边缘。
14.如权利要求12所述的移动设备,其特征在于,多个麦克风元件(2a,2b,2c,2d)位于所述装置的下边缘以及至少另一个麦克风元件(2e)位于与所述下边缘相距一定距离的位置上。
15.如权利要求12至14中任一项所述的移动设备,其特征在于,所述移动设备是移动无线电终端,例如移动电话(1)、寻呼机、通信器、电子组织器或智能电话。
16.一种用于移动设备的附件,其特征在于,它包括如权利要求1至11中任一项所述的麦克风装置(2a,2b,2c,2d,2e)。
17.如权利要求16所述的附件,其特征在于,所述方向域的方向是可调的。
18.如权利要求16或17所述的附件,其特征在于,它是免提套件。
19.如权利要求16或17所述的附件,其特征在于,它是电话会议麦克风。
20.一种用于语音活动检测的方法,其特征在于,所述方法包括如下步骤:
从麦克风系统(2a,2b,2c,2d,2e)接收声音信号,所述麦克风系统设为区分从位于所述麦克风系统不同方向上的声源发出的声音;
确定产生所述声音信号的所述声源的方向;
如果所述声音是从第一方向域发出的,则还分析所述声音以确定所述声音信号是否包含语音;
但如果所述声音是从第二方向域发出的,则确定所述声音信号不包含语音。
21.如权利要求20所述的方法,其特征在于,所述第一方向域指向预定用户嘴(3)的方向。
22.如权利要求21所述的方法,其特征在于,所述第一方向域可以定义为落在具有锥形角度α,其中10°<α<30°的锥形区域内的所有声音。
23.如权利要求22所述的方法,其特征在于,α近似为25°。
24.权利要求22或23中任一项所述的方法,其特征在于,所述麦克风系统至少包括两个彼此相距一定距离且位于指向预定用户嘴(3)的方向的线条上的麦克风元件(2a,2b),所述两个麦克风元件间隔距离d,其中所述声源的方向角θ按如下公式计算:
θ = arccos Δt · v 2 · d
其中
Δt是来自所述两个麦克风元件的声音之间的时差,
v是声音的速度。
25.如权利要求20所述的方法,其特征在于,一个定向麦克风元件配合一个或多个其它麦克风元件一起使用,以消除所述声源方向上的不确定性。
26.如权利要求25所述的方法,其特征在于,所述定向麦克风元件用于测量相对于所述其它麦克风元件的声压级。
CN200480016534.8A 2003-06-17 2004-06-08 语音活动检测的装置和方法 Expired - Fee Related CN100559461C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03445076.7 2003-06-17
EP03445076A EP1489596B1 (en) 2003-06-17 2003-06-17 Device and method for voice activity detection
US60/480,876 2003-06-24

Publications (2)

Publication Number Publication Date
CN1813284A true CN1813284A (zh) 2006-08-02
CN100559461C CN100559461C (zh) 2009-11-11

Family

ID=33396142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200480016534.8A Expired - Fee Related CN100559461C (zh) 2003-06-17 2004-06-08 语音活动检测的装置和方法

Country Status (6)

Country Link
US (1) US7966178B2 (zh)
EP (1) EP1489596B1 (zh)
CN (1) CN100559461C (zh)
AT (1) ATE339757T1 (zh)
DE (1) DE60308342T2 (zh)
WO (1) WO2004111995A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024457A (zh) * 2009-09-09 2011-04-20 索尼公司 信息处理设备、信息处理方法和程序
CN102282865A (zh) * 2008-10-24 2011-12-14 爱利富卡姆公司 用于电子系统的声学语音活动检测(avad)
WO2014094576A1 (zh) * 2012-12-17 2014-06-26 Jiang Hongming 手机声波传输的接受装置
CN104715753A (zh) * 2013-12-12 2015-06-17 联想(北京)有限公司 一种数据处理的方法及电子设备
CN105261359A (zh) * 2015-12-01 2016-01-20 南京师范大学 手机麦克风的消噪系统和消噪方法
CN106686185A (zh) * 2014-06-30 2017-05-17 歌尔科技有限公司 提高免提通话设备通话质量的方法、装置和免提通话设备
CN109479172A (zh) * 2016-04-21 2019-03-15 惠普发展公司,有限责任合伙企业 电子设备麦克风监听模式
CN110337819A (zh) * 2016-11-18 2019-10-15 诺基亚技术有限公司 来自设备中具有不对称几何形状的多个麦克风的空间元数据的分析
CN110491376A (zh) * 2018-05-11 2019-11-22 北京国双科技有限公司 一种语音处理方法及装置
CN112201259A (zh) * 2020-09-23 2021-01-08 北京百度网讯科技有限公司 声源定位方法、装置、设备和计算机存储介质
CN113170022A (zh) * 2018-12-17 2021-07-23 惠普发展公司,有限责任合伙企业 基于语音方向的麦克风控制
WO2022022139A1 (zh) * 2020-07-27 2022-02-03 腾讯科技(深圳)有限公司 一种基于多音区的语音检测方法、相关装置及存储介质

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7161579B2 (en) * 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US8947347B2 (en) 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US10279254B2 (en) * 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US9573056B2 (en) * 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
EP2352149B1 (en) * 2005-05-05 2013-09-04 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8767975B2 (en) * 2007-06-21 2014-07-01 Bose Corporation Sound discrimination method and apparatus
JP2009130619A (ja) 2007-11-22 2009-06-11 Funai Electric Advanced Applied Technology Research Institute Inc マイクロフォンシステム、音声入力装置及びこれらの製造方法
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
JP5684577B2 (ja) * 2008-02-27 2015-03-11 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8611554B2 (en) 2008-04-22 2013-12-17 Bose Corporation Hearing assistance apparatus
US8244528B2 (en) * 2008-04-25 2012-08-14 Nokia Corporation Method and apparatus for voice activity determination
US8611556B2 (en) * 2008-04-25 2013-12-17 Nokia Corporation Calibrating multiple microphones
US8527657B2 (en) * 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) * 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8393964B2 (en) * 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8142288B2 (en) * 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US9078077B2 (en) 2010-10-21 2015-07-07 Bose Corporation Estimation of synthetic audio prototypes with frequency-based input signal decomposition
US20130090926A1 (en) * 2011-09-16 2013-04-11 Qualcomm Incorporated Mobile device context information using speech detection
JP5931566B2 (ja) * 2012-04-26 2016-06-08 株式会社オーディオテクニカ 単一指向性マイクロホン
DE202013005408U1 (de) * 2012-06-25 2013-10-11 Lg Electronics Inc. Mikrophonbefestigungsanordnung eines mobilen Endgerätes
US9438985B2 (en) 2012-09-28 2016-09-06 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9313572B2 (en) * 2012-09-28 2016-04-12 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9894454B2 (en) 2013-10-23 2018-02-13 Nokia Technologies Oy Multi-channel audio capture in an apparatus with changeable microphone configurations
US9467569B2 (en) 2015-03-05 2016-10-11 Raytheon Company Methods and apparatus for reducing audio conference noise using voice quality measures
US11621017B2 (en) 2015-08-07 2023-04-04 Cirrus Logic, Inc. Event detection for playback management in an audio device
CN109859749A (zh) 2017-11-30 2019-06-07 阿里巴巴集团控股有限公司 一种语音信号识别方法和装置
EP4147229A1 (en) 2020-05-08 2023-03-15 Nuance Communications, Inc. System and method for data augmentation for multi-microphone signal processing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568383A (en) * 1992-11-30 1996-10-22 International Business Machines Corporation Natural language translation system and document transmission network with translation loss information and restrictions
EP0602296A1 (en) * 1992-12-17 1994-06-22 International Business Machines Corporation Adaptive method for generating field dependant models for intelligent systems
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
US6283760B1 (en) * 1994-10-21 2001-09-04 Carl Wakamoto Learning and entertainment device, method and system and storage media therefor
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US5634084A (en) * 1995-01-20 1997-05-27 Centigram Communications Corporation Abbreviation and acronym/initialism expansion procedures for a text to speech reader
TW347503B (en) * 1995-11-15 1998-12-11 Hitachi Ltd Character recognition translation system and voice recognition translation system
FR2742960B1 (fr) * 1995-12-22 1998-02-20 Mahieux Yannick Antenne acoustique pour station de travail informatique
US6161082A (en) * 1997-11-18 2000-12-12 At&T Corp Network based language translation system
JP3975007B2 (ja) * 1998-07-10 2007-09-12 株式会社オーディオテクニカ 単一指向性マイクロホン
US6532446B1 (en) * 1999-11-24 2003-03-11 Openwave Systems Inc. Server based speech recognition user interface for wireless devices
JP2003530051A (ja) * 2000-03-31 2003-10-07 クラリティー リミテッド ライアビリティ カンパニー 音声信号抽出のための方法及び装置
EP1206161A1 (en) * 2000-11-10 2002-05-15 Sony International (Europe) GmbH Microphone array with self-adjusting directivity for handsets and hands free kits
US20030027600A1 (en) * 2001-05-09 2003-02-06 Leonid Krasny Microphone antenna array using voice activity detection
US20030125959A1 (en) * 2001-12-31 2003-07-03 Palmquist Robert D. Translation device with planar microphone array

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102282865A (zh) * 2008-10-24 2011-12-14 爱利富卡姆公司 用于电子系统的声学语音活动检测(avad)
CN102024457A (zh) * 2009-09-09 2011-04-20 索尼公司 信息处理设备、信息处理方法和程序
CN102024457B (zh) * 2009-09-09 2013-06-19 索尼公司 信息处理设备和信息处理方法
WO2014094576A1 (zh) * 2012-12-17 2014-06-26 Jiang Hongming 手机声波传输的接受装置
CN104715753A (zh) * 2013-12-12 2015-06-17 联想(北京)有限公司 一种数据处理的方法及电子设备
CN104715753B (zh) * 2013-12-12 2018-08-31 联想(北京)有限公司 一种数据处理的方法及电子设备
CN106686185B (zh) * 2014-06-30 2019-07-19 歌尔科技有限公司 提高免提通话设备通话质量的方法、装置和免提通话设备
CN106686185A (zh) * 2014-06-30 2017-05-17 歌尔科技有限公司 提高免提通话设备通话质量的方法、装置和免提通话设备
CN105261359B (zh) * 2015-12-01 2018-11-09 南京师范大学 手机麦克风的消噪系统和消噪方法
CN105261359A (zh) * 2015-12-01 2016-01-20 南京师范大学 手机麦克风的消噪系统和消噪方法
CN109479172A (zh) * 2016-04-21 2019-03-15 惠普发展公司,有限责任合伙企业 电子设备麦克风监听模式
US10993057B2 (en) 2016-04-21 2021-04-27 Hewlett-Packard Development Company, L.P. Electronic device microphone listening modes
CN110337819A (zh) * 2016-11-18 2019-10-15 诺基亚技术有限公司 来自设备中具有不对称几何形状的多个麦克风的空间元数据的分析
CN110491376A (zh) * 2018-05-11 2019-11-22 北京国双科技有限公司 一种语音处理方法及装置
CN113170022A (zh) * 2018-12-17 2021-07-23 惠普发展公司,有限责任合伙企业 基于语音方向的麦克风控制
US11601750B2 (en) 2018-12-17 2023-03-07 Hewlett-Packard Development Company, L.P Microphone control based on speech direction
WO2022022139A1 (zh) * 2020-07-27 2022-02-03 腾讯科技(深圳)有限公司 一种基于多音区的语音检测方法、相关装置及存储介质
CN112201259A (zh) * 2020-09-23 2021-01-08 北京百度网讯科技有限公司 声源定位方法、装置、设备和计算机存储介质
CN112201259B (zh) * 2020-09-23 2022-11-25 北京百度网讯科技有限公司 声源定位方法、装置、设备和计算机存储介质

Also Published As

Publication number Publication date
DE60308342T2 (de) 2007-09-06
EP1489596B1 (en) 2006-09-13
DE60308342D1 (de) 2006-10-26
US7966178B2 (en) 2011-06-21
EP1489596A1 (en) 2004-12-22
ATE339757T1 (de) 2006-10-15
US20080091421A1 (en) 2008-04-17
WO2004111995A1 (en) 2004-12-23
CN100559461C (zh) 2009-11-11

Similar Documents

Publication Publication Date Title
CN1813284A (zh) 语音活动检测的装置和方法
US8275145B2 (en) Vehicle communication system
CN1197422C (zh) 用于移动终端和其他设备的声音接近检测
US6937980B2 (en) Speech recognition using microphone antenna array
Grenier A microphone array for car environments
US11694710B2 (en) Multi-stream target-speech detection and channel fusion
CN102819009B (zh) 用于汽车的驾驶者声源定位系统及方法
US9767826B2 (en) Methods and apparatus for robust speaker activity detection
US20030053639A1 (en) Method for improving near-end voice activity detection in talker localization system utilizing beamforming technology
CN1805008A (zh) 语音检测装置、自动图像拾取装置和语音检测方法
US8422696B2 (en) Apparatus and method for removing noise
JP2010112996A (ja) 音声処理装置、音声処理方法およびプログラム
KR20240033108A (ko) 음성인식 오디오 시스템 및 방법
US20170365249A1 (en) System and method of performing automatic speech recognition using end-pointing markers generated using accelerometer-based voice activity detector
US20090012794A1 (en) System For Giving Intelligibility Feedback To A Speaker
US9532138B1 (en) Systems and methods for suppressing audio noise in a communication system
CN1297668A (zh) 噪声控制装置
EP1257146B1 (en) Method and system of sound processing
Song et al. Detecting driver phone calls in a moving vehicle based on voice features
US11636866B2 (en) Transform ambisonic coefficients using an adaptive network
CN111599366B (zh) 一种车载多音区语音处理的方法和相关装置
CN114556792A (zh) 车内端射阵列麦克风布置方式
EP3639263A1 (en) Noise cancellation in voice communication systems
US8831681B1 (en) Image guided audio processing
Parry Microphone arrays for desktop computers and speech recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091111

Termination date: 20190608