CN102084668A - 处理信号的方法和系统 - Google Patents
处理信号的方法和系统 Download PDFInfo
- Publication number
- CN102084668A CN102084668A CN2009801214471A CN200980121447A CN102084668A CN 102084668 A CN102084668 A CN 102084668A CN 2009801214471 A CN2009801214471 A CN 2009801214471A CN 200980121447 A CN200980121447 A CN 200980121447A CN 102084668 A CN102084668 A CN 102084668A
- Authority
- CN
- China
- Prior art keywords
- signal
- input signal
- microphone
- user
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/01—Noise reduction using microphones having different directional characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/01—Hearing devices using active noise cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/13—Hearing devices using bone conduction transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Telephone Function (AREA)
Abstract
一种用于处理声音的系统,所述系统包括:(a)处理器,设置为处理由第一麦克风在检测时刻检测到的第一输入信号、由第二麦克风在检测时刻检测到的第二输入信号,以及由骨传导麦克风在检测时刻检测到的第三输入信号,以产生响应于第一、第二和第三输入信号的校正后的信号;以及(b)通信接口,其设置为向外部系统提供校正后的信号。
Description
相关申请的交叉引用
本申请要求通过引用全部并入本文的于2008年5月22日递交的美国序列号为61/055,176(且名称为“Method and Apparatus for Reducing AmbientNoise for Mobile Devices by Using Combination of Auditory Signal,Microphones and Bone Conduction Speakers”)的益处。
发明背景
移动电话变得非常普遍,人们在各种嘈杂环境中使用它。在嘈杂环境中,麦克风拾取与环境噪音结合的用户的语音信号。在环境噪音非常高的情况中,远端的信号接收器接收质量下降的语音,且在极端情况中语音不能被理解。在近端,由于环境噪音,在某些情况下用户不能听清楚远端的说话语音。
有不同的技术和产品降低环境噪音的影响。一些是在近端用户的沉默期间使用单个麦克风,环境噪音被估计,且用于在说话期间降噪。
其他的技术使用两个麦克风,其中一个被设计为拾取与环境噪音结合的语音。第二个被设计为主要拾取环境噪音。
现有技术不够有效且需要大量的计算。存在对处理信号的简单并有效的装置的需要。
发明概述
一种用于处理声音的系统,该系统包括:(a)处理器,其设置为处理由第一麦克风在检测时刻检测到的第一输入信号、由第二麦克风在检测时刻检测到的第二输入信号,以及由骨传导麦克风在检测时刻检测到的第三输入信号,以产生响应于第一、第二和第三输入信号的校正后的信号;以及(b)通信接口,其设置为向外部系统提供校正后的信号。
一种用于处理声音的方法,该方法包括:(a)处理由第一麦克风在检测时刻检测到的第一输入信号、由第二麦克风在检测时刻检测到的第二输入信号,以及由骨传导麦克风在检测时刻检测到的第三输入信号,以产生响应于第一、第二和第三输入信号的校正后的信号;以及(b)向外部系统提供校正后的信号。
一种用于处理声音的系统,该系统包括(a)处理器,其设置为处理由第一麦克风在检测时刻检测到的第一输入信号以及由至少部分地置于用户耳内的第二麦克风在检测时刻检测到的第二输入信号,以产生响应于第一和第二输入信号的校正后的信号;以及(b)通信接口,其用于向外部系统提供校正后的信号。
一种用于处理声音的方法,该方法包括:(a)处理由第一麦克风在检测时刻检测到的第一输入信号以及由至少部分地置于用户耳内的第二麦克风在检测时刻检测到的第二输入信号,以产生响应于第一和第二输入信号的校正后的信号;以及(b)向外部系统提供校正后的信号。
附图的简要描述
在本说明书的结束部分具体指出了被作为本发明的主题并清楚地要求了保护范围。但是,本发明关于操作的组织和方法这两者,连同其对象、特征和优势,都可在连同附图一起阅读时通过参考以下的详细描述来很好地理解,在附图中:
图1示出了依照本发明的实施方式的用于处理信号的系统;
图2A示出了依照本发明的实施方式的检测器;
图2B示出了依照本发明的实施方式的检测器;
图3示出了依照本发明的实施方式的处理器和相应的过程;
图4示出了依照本发明的实施方式的系统;
图5示出了依照本发明的实施方式的处理器和相应的处理过程;
图6示出了依照本发明的实施方式的处理器和相应的处理过程;
图7示出了依照本发明的实施方式的用于处理信号的系统;
图8示出了NMSE估计的曲线图;
图9示出了依照本发明的实施方式的用于处理声音的系统;
图10示出了依照本发明的实施方式的用于处理声音的方法;
图11示出了依照本发明的实施方式的用于处理声音的系统;
图12示出了依照本发明的实施方式的用于处理声音的方法;
应认识到为了说明的简单和清楚起见,图中示出的元件不一定按比例绘制。例如,为了清楚,一些元件的尺寸相对于其他元件可能被放大。另外,在被认为适当的地方,参考标号可在图中重复以指示相应的或相似的元件。
本发明的详细描述
在以下的详细描述中,大量的具体细节被阐明以便提供对本发明的全面理解。但是,本领域技术人员应理解本发明可在没有这些具体细节的情况下被实践。在其他情况下,被熟知的方法、程序和部件未被详细描述以便不使本发明难以理解。
本文所公开的系统和方法可根据其一些实现方式被用于例如通过使用声音信号、麦克风、和骨传导扬声器或骨传导麦克风的组合来降低移动电话设备的环境噪音。也可实现其他的用途(一些用途作为例子被提供)。
根据若干实现方式,本文所公开的系统和方法利用多个麦克风收集语音和环境噪音。根据本发明的实施方式,为了降低实现的成本和/或复杂度,一些麦克风可能不是专用麦克风,而是也可能使用扬声器作为麦克风。
必须注意到本文所公开的系统和方法可推广到使用与结合附图描述的不同的扬声器或麦克风的配置或数量--例如,以便改进降噪--而不超出本发明的范围。
图1示出了依照本发明的实施方式的用于处理信号的系统100。系统100可在例如移动电话中实现,用于降低在近端、蓝牙头戴耳机、有线头戴耳机,等等中的环境噪音。
系统100是可在电话通信过程中执行在远端的环境噪音降低的系统。系统100可包括以下部件中的一些或全部。框150是在移动电话中普遍使用的带有存储器160的信号处理器例如DSP或ARM。DSP通过接口140接收多个麦克风信息。接口140可方便地作为将信号数字化并输入到信号处理器150的模数转换设备,而且其由将从信号处理器150接收的适当的语音信号传送到相关的扬声器的数模转换模块组成。在信号处理器150中,信号处理器处理多信道麦克风,如关于图3(和系统300)所描述。被降噪信号输入到170,在此处语音通过数字调制解调器被压缩并发送到远端用户。
根据本发明的实施方式,信号处理器150和170可被组合到一个框中。
110包括一个或多个骨传导麦克风,其可以是专用骨传导麦克风或也被用作麦克风的骨传导扬声器。被适当放大的模拟信号被输入到140。
120包括用户插入耳孔的一个或多个“入耳”扬声器,或其他类型的扬声器。这些扬声器可通常用于听远端用户或由系统100或另一个系统播放的音乐。根据本发明的实施方式,这些“入耳”扬声器可被用作麦克风收集在耳孔中被听到的信号。被适当放大的模拟信号被输入到140。
130包括一个或多个麦克风(例如,移动电话用于拾取用户的语音的麦克风)。被适当放大的模拟信号被输入到140。
根据本发明的实施方式,对于远端和对近端用户的噪音的消除处理可由以下等式来表示,假设我们仅使用以下的3个输入:
1.“入耳”扬声器
2.标准麦克风
3.骨传导麦克风
在标准麦克风M1(n)中检测到的信号可由下式描述
M1(n)=s(n)+d(n)+n1(n)
其中
s(n)是远端用户产生的语音
d(n)是近端的环境噪音
n1(n)是拾音设备的噪音
由麦克风120(例如,用作拾取通过骨传播的用户语音的麦克风的扬声器)检测的信号M2(n)遵守以下的等式:
M2(n)=α(n)*s(n)+β(n)*d(n)+n2(n)
其中α(n)是语音在其通过骨传播的过程中受到的滤波,β(n)是增益或降低由“入耳”扬声器检测的环境噪音的量的滤波器。n2(n)是拾音设备的噪音。应注意到在本公开全文中,符号*表示卷积运算。
必须注意到由于“入耳”插头堵塞耳孔的事实,在这样的实现方式中,由近端用户产生并通过骨传播的语音信号受到将语音的低频增加15-20db的阻塞效应的影响。这意味着α>>1。
另外,“入耳”扬声器明显地阻塞了环境噪音,即意味着β(n)<<1。这与使用两个麦克风的标准系统不同。
可附接到用户的颅骨的骨传导麦克风110可通过骨的振动拾取用户的语音。骨传导麦克风不易于对环境噪音敏感,因此
M3(n)=χ(n)*s(n)+n3(n)
其中χ(n)是模仿骨传导麦克风特性的低通滤波器,且n3(n)是拾音设备的噪音。因此
M1(n)=s(n)+d(n)+n1(n)
M2(n)=α(n)*s(n)+β(n)*d(n)+n2(n)
M3(n)=χ(n)*s(n)+n3(n)
降低了本地用户的环境噪音的系统关于图4被描述。
在n1=n2=0的情况
M1(n)=s(n)+d(n)
M2(n)=α(n)*s(n)+β(n)*d(n)
M3(n)=χ(n)*s(n)
其中α(n)和β(n)可在校准期间被计算。在χ(n)的宽度较宽并覆盖所有的语音频率范围的情况下
在n1、n2和n3不为零的情况下,s(n)能够由各种已知的MMSE(最小均方误差)技术来估计。
使表达式e(n)作为估计误差,即下式
因此均方误差J是:
J=E(e2)
J=E{[h1(n)*M1(n)+h2(n)*M2(n)+h3(n)*M3(n)-s(n)]2}
其中E{}是均值算子
因此
其中,在我们的情况中i=1、2、3
遵照该式能够通过关于图3所描述的适应过程计算h1(n)、h2(n)、h3(n)。
必须注意到在适应过程期间有近端用户沉默即s(n)=0的时间段,在这个时间段期间滤波器中的一个(例如h1(n))需要冻结,否则该适应将以不期望出现的解h1(n)=h2(n)=h3(n)=0结束。
为了防止沉默期间的适应,可使用语音检测机制。有不同的机制能够被使用。在本发明的不同实现方式中,我们呈现了可被(一起或单独地)实现的两个不同机制。
在使用“入耳”扬声器的情况中,人们可分析M2(n)在低频上的能量,如果能量高,其表示用户正在说话,这个表示是由于明显增强通过骨传播的语音的低频的阻塞效应。这样的实现方式结合图2A被讨论。
在使用骨传导麦克风或扬声器的情况中能够使用可选的方式。这个设备检测语音的低通形式且几乎不检测环境噪音。因此,通过检测M3(n)的能量或通过分析其每个频率的谱幅,人们可判定用户是否正在说话。这样的实现方式结合图2B被讨论。
图2A示出了依照本发明的实施方式的检测器200。检测器200可依照本发明的实施方式在系统100中实现(且可以是或不是处理器150的一部分)。检测器200是通过使用LPF(低通滤波器)对M2(n)滤波来计算M2(n)的低频能量(例如T毫秒的每个语音帧)的检测器。如果能量在预先限定的阈值以上,则帧被声明作为语音帧,否则其被声明作为沉默帧,且其输出是1或0。当该帧为语音帧时,其输出为1。这个过程能够由DSP150实现。
图2B示出了依照本发明的实施方式的检测器250。检测器250可依照本发明的实施方式在系统100中实现(且可以是或不是处理器150的一部分)。检测器250是计算M3(n)的能量(例如,T毫秒的每个语音帧)的检测器,如果这个帧的能量在预先限定的阈值以上,则帧被声明为语音帧,否则其被声明为沉默帧,且其输出是1或0。当该帧为语音帧时,其输出为1。这个过程能够由DSP 150实现。
s(n)和d(n)的估计由信号处理器150实现,且其实现方式结合图3被呈现。
图3示出了依照本发明的实施方式的处理器300以及相应的过程。处理器300可被用作例如处理器150、处理器450、处理器750或处理器950。这个相应的过程可在方法1100中实现。处理器300的部件可被分为两个主要框301和305。框301用于估计信号和M1(n)被输入到310,M2(n)被输入到320,且M3(n)被输入到330,三个滤波器输出的和是其中Hk(z)是hk(n)(k=1、3)的Z变换。多路复用器(Mux)350选择的最终估计,其取决于所处理的帧是语音帧还是沉默帧。在其是语音帧的情况下,否则这个帧是语音帧还是沉默帧的判定如200或250中所描述的那样计算。
必须注意到也能够依照本发明的实施方式使用语音/沉默帧的切换以改变310、320和330中的适应权重(步长)。
300中的所有过程可在DSP处理器150、450和/或950中实现。
图4示出了依照本发明的实施方式的系统400。除了用于远端用户的环境噪音的消除之外,系统400还用于例如通过使用立体声骨传导扬声器或“入耳”立体声头戴耳机消除本地用户的环境噪音。
依照本发明的实施方式,系统400执行电话通话过程中的远端和近端中的环境噪音的降低。框450是在大多数移动电话中普遍使用的带有存储器460的信号处理器,例如DSP或ARM。DSP通过接口440接收多个麦克风信息。440由将信号数字化并将其输入到450的模数转换设备组成,而且其由将适当的语音信号从450传送到相关的扬声器的数模转换模块组成。在450中,信号处理器处理多信道麦克风,如关于300和500所描述的那样。被降噪信号被输入到470,其中语音还通过数字调制解调器被压缩并发送到远端用户。被估计的环境噪音也通过440被引入到立体声“入耳”扬声器。用户需要使用立体声头戴耳机以便降低两耳中的环境噪音。如果人们选择使用立体声骨传导扬声器,则装置将通过440支持它。
410包括一个或多个骨传导麦克风,其能够是专用的骨传导麦克风或是也被用作麦克风的骨传导扬声器。被适当放大的模拟信号被输入到440。
420包括一个或多个麦克风(根据本发明的实施方式,其可能是用户插入到耳孔的“入耳”麦克风,和/或扬声器或被用作麦克风的扬声器)。根据这种其中用户将这些扬声器/麦克风插入到耳孔的本发明的实施方式,一般用于听远端用户的语音且其用于为远端用户消除近处的环境噪音。被适当放大的模拟信号被输入到440。
430包括一个或多个麦克风,例如移动电话用来拾取用户的语音的麦克风,被适当放大的模拟信号被输入到440。
对于远端用户和对于近端用户的噪音消除过程可通过以下等式来表示,假定我们使用以下的3个输入
1.“入耳”扬声器
2.标准麦克风
3.骨传导麦克风
依照本发明的实施方式,用户将使用立体声“入耳”头戴耳机以用于更加有效的消除。
图5示出了依照本发明的实施方式的处理器500以及相应的处理过程。处理器500可被实现为处理器450、750和/或950的一部分,但是这不必一定是这样。相应的过程可在方法100中实现。500的处理可用于消除近端用户的环境噪音。输出处理器300是和那些信号被用作输入500。
M2(n)=α(n)*s(n)+n2(n)
其意味着用户听不到环境噪音并只听到其自己的语音。如果用户想消除其自己的声音,能够从那个信号中减去该声音。
必须注意到如果用户使用立体声头戴耳机,他将听不到两耳中的环境噪音。如果由于一些原因S(z)在两耳中不相同的话。这个过程能够被执行两次,每耳一次。
这个适应过程可通过计算在530中的ed(n)
ed(n)被用于更新510。
根据本发明的实施方式,语音指示器/检测器(像200或250)用于调整适应权重。
人们可使用复杂的方案以减小环境噪音,见600。
图6示出了依照本发明的实施方式的处理器600以及相应的处理过程。处理器600可被实现为处理器450和/或950的一部分,但这不必一定是这样。相应的过程可在方法1000中被实现。600的处理是与500相似的过程,只是带有改进的估计的额外循环。
图7示出了依照本发明的实施方式的用于处理信号的系统700。如果仅使用两个麦克风来代替3个麦克风,系统700可依照本发明的实施方式被实现为可用的低成本装置。低成本装置由以下的麦克风组成:
1.“入耳”扬声器
2.标准麦克风
系统700执行例如有噪音的电话通话过程中的对远端和本地端的环境噪音的降噪。框750是一般在移动电话中使用的带有存储器760的信号处理器例如DSP或ARM。DSP通过接口740接收两个麦克风信息。740由将信号数字化并将其输入到750的模数转换设备组成,而且其由将从750发送的适当的语音信号传送到相关的扬声器的数模转换模块组成。在750中,信号处理器如300和500中所描述的那样处理多信道麦克风,而仅用两个麦克风。被降噪的信号被输入到770中,其中语音还通过数字调制解调器压缩并发送到远端用户。
720包括一个或多个“入耳”麦克风(依照本发明的实施方式,其可以是扬声器或用户插入到耳孔的扬声器,其一般用于听远端用户语音或音乐)。根据本发明的实施方式,这样的“入耳”扬声器可被用作麦克风以收集耳孔内的信号,以及我们通过这些扬声器为远端用户引入消除信号。被适当放大的模拟信号被输入到740。
730包括一个或多个标准麦克风,例如由移动电话用来拾取用户的语音的麦克风。被适当放大的模拟信号被输入到740。
对于远端用户和近端用户的噪音的消除过程能够由以下的等式表示,假定我们仅使用以下的2个输入
1.“入耳”扬声器
2.标准麦克风
在标准的麦克风M1(n)中检测的信号能够由下式描述
M1(n)=s(n)+d(n)+n1(n)
其中
s(n)是由远端用户产生的语音
d(n)是近端的环境噪音
n1(n)是拾音设备的噪音
由“入耳”扬声器(其可用作麦克风以拾取通过骨传播的用户的语音)检测的信号M2(n)遵守以下的等式:
M2(n)=α(n)*s(n)+β(n)*d(n)+n2(n)
其中α(n)是语音在其通过骨传播期间所经过的滤波器,β(n)是增益或降低透入耳孔的环境噪音的量的滤波器,以及n2是拾音设备的噪音。
方便地,由于“入耳”扬声器堵塞耳孔的事实,由近端用户产生并通过骨传播的语音信号受到将语音的低频增加15-20db的阻塞效应的影响。这意味着α>>1。
另外,“入耳”扬声器明显地阻塞了环境噪音,因此β(n)<<1。
这与使用两个麦克风的标准系统不同。这个事实使我们具有优于标准的两个麦克风装置好性能。
图8示出了NMSE估计的曲线图800。曲线图800描绘了对于β=0db、S/N(语音对噪音)比为30dB、和S/D(语音对干扰)比为0dB的MMSE对比α的曲线。如所见,对于α<0db,MMSE在-30db的范围内,但是如果α>~3db,MMSE总是比α<0db时小,如果α接近20db,则MMSE接近-45db,其提供了与标准的方法相比明显的改进。
必须注意到100、400、700、900、1100中描述的系统可用于标准的头戴耳机而代替“入耳”扬声器,在这种情况下α和β的值是不同的,且消除过程不那么有效。
根据本发明的实施方式,本发明公开了通过使用“入耳”扬声器、标准麦克风和骨传导扬声器或麦克风的组合消除对于远端用户的环境噪音的装置。
根据本发明的一方面,本发明公开了通过使用“入耳”扬声器、标准麦克风、和骨传导扬声器或骨传导麦克风的组合消除对于远端用户和/或对于近端用户的环境噪音的装置。
根据本发明的一方面,本发明公开了通过使用带有或不带有置于耳内的内置麦克风的“入耳”扬声器和标准的外部麦克风的组合消除对于远端用户的环境噪音的装置。
根据本发明的一方面,本发明公开了通过使用带有或不带有置于耳内的内置麦克风的“入耳”扬声器和标准的外部麦克风的组合以消除对于远端用户和/或对于近端用户的环境噪音的装置。
根据本发明的一方面,本发明公开了通过分析“入耳”语音信号检测到用户沉默的检测器。
根据本发明的一方面,本发明公开了通过分析由骨传导麦克风或骨传导扬声器检测的语音而检测到的用户沉默的检测器。依照本发明的一些实施方式,该分析可通过计算信号的能量或通过分析每个频带的功率幅度来实现。
根据本发明的一方面,本发明公开了改变了噪音消除过程的适应参数的机制,且其取决于近端用户是在说话还是处于沉默状态。
根据本发明的一方面,本发明公开了使用骨扬声器,使其同时作为麦克风和扬声器。
根据本发明的一方面,本发明公开了使用“入耳”扬声器,使其同时作为麦克风和扬声器。
参考本文所提供的本发明的方面,注意到在引用“入耳”麦克风的地方,本发明还能够使用代替“入耳”扬声器的标准头戴扬声器以及本领域中已知的其他的扬声器来实现。
方便地,在近端,用户能够决定他是否需要消除环境噪音d和其自己的语音。
方便地,在近端,用户能够决定他是否仅需要消除环境噪音d的一部分。
图9示出了依照本发明的实施方式的用于处理声音的系统900。注意到系统900的不同实施方式可实现系统100、300、400、500和600的不同的实施方式,且系统900的不同部件可实现这些系统的不同功能,或者这些系统的部件(类似部件中的任一个--例如,代替处理器150的处理器950--或其他部件)的不同功能。而且注意到,根据本发明的若干实施方式,即使未被明确详述,系统900可实现方法1000或本文所公开的其他方法。
系统900包括处理器950,该处理器950设置为处理由第一麦克风在检测时刻检测的第一输入信号、由第二麦克风在检测时刻检测到的第二输入信号,以及由骨传导麦克风在检测时刻检测到的第三输入信号,以产生响应于第一、第二和第三输入信号的校正后的信号。
注意到,方便地,检测时刻是短长度的。参考其中数字信号被处理的实施方式,注意到检测时刻可包括若干声音样本,且还可包括仅一个来自每个麦克风的样本。
注意到系统900可包括或可不包括前述的麦克风,因为一个或多个麦克风可--通过有线连接或无线连接--连接到系统900。例如,根据本发明的实施方式,第一麦克风可以是作为系统900操作的蜂窝电话的常规麦克风,同时第二麦克风可以是插入到蜂窝电话的头戴耳机的扬声器,同时骨传导麦克风可向蜂窝电话无线地发送信息。
麦克风被标示为第一麦克风930、第二麦克风920和骨传导麦克风910。但是,如以前所述,不一定任何麦克风都包括在系统900中,且特别地,一些麦克风方便地在处理器950所在的系统900的包装物的外部。麦克风可通过一个或多个中间接口940连接到处理器950。中间接口可以预先处理或可不预先处理由任何麦克风提供的任何信号。
注意到,根据本发明的不同实施方式,系统900可以是合并到具有其他功能的系统(例如,蜂窝电话、PDA、计算机、车载系统、头盔,等等)中的独立系统,且可以是增强另一个系统的功能的附加系统。系统900的部件和功能还可被分配在可彼此交互的两个或多个系统之间。
根据本发明的实施方式,系统900还包括存储器960,其可由处理器950利用(例如,用于存储临时信息、可执行代表、校准值,等等)。
系统900还包括通信接口970,其设置为向外部系统提供校正后的信号。例如,外部系统可以是另一个蜂窝电话(或更精确地,是蜂窝网络接入设备)、步话机、基于计算机的电话软件、(例如专用的通信设备的)另一个芯片,等等。
根据本发明的实施方式,第二输入信号由至少部分地置于用户的耳内的第二麦克风检测。根据本发明的实施方式,第二输入信号响应于在耳孔内被修改的声音信号,以使得声音信号的较低频率在耳孔中被放大。这样的修改可由例如阻塞引起。
对于助听设备,阻塞是被熟知的现象(也被称为阻塞效应)。在助听器中这个效应降低了设备的性能[例如,Mark Ross,PhD的“The‘OcclusionEffect’-what it is,and what to do about it”,Hearing Loss(Jan/Feb 2004),http://www.hearingresearch.org/Dr.Ross/occlusion.htm]。根据本发明的实施方式,阻塞效应被用于改进由第二麦克风检测的信噪比。为了解释阻塞效应,从上述参考文献中引用以下内容。
“当一些物体(如不通气的耳模)完全填充耳孔的外部时发生阻塞效应。其作用是将人自己声音的骨传导的声音振动限制在耳模末端和鼓膜之间的空间内。一般地,当人们谈话(或咀嚼)时这些振动通过开放的耳孔逸出,并且人们没有意识到它们的存在。但是当耳孔被耳模挡住时,振动被反射回到鼓膜并增加其自己声音的响度知觉。与完全开放的耳孔相比,阻塞效应可在耳孔内增强20dB或更多的低频(通常在500Hz以下)声压。”
根据本发明的实施方式,所使用的至少一个第二麦克风中的一个或多个是关闭用户的耳中气孔(air canal)的“入耳”麦克风(其还可以是扬声器),其产生了对用户说话声音的阻塞效应。因此,根据本发明的实施方式,耳蜗接收从骨骼直接到达的声音和(由于阻塞效应的)低频增强形式的声音叠加,其可以被轻微延迟。根据本发明的实施方式,检测时刻足够长以使被延迟的版本被检测到。可选地,根据本发明的实施方式,处理器还设置为处理由第二麦克风在被检测时刻之前的一个时刻所检测的经过的第二信号,以用于产生校正后的信号。
根据本发明的实施方式,第二麦克风也是用于向用户提供声音(其可由系统900或另一个系统提供)的(例如,头戴耳机装置的)扬声器。根据本发明的这种实施方式,由第二麦克风进行的检测和声音提供可至少部分地同时发生,或以交替的方式发生,这取决于例如所使用的麦克风/扬声器的类型。
根据本发明的实施方式,系统900还包括连接到处理器950的第二麦克风接口(其可以是接口940的一部分,但不必一定是这样),用于从第二麦克风接收第二输入信号,其中第二麦克风接口还用于向被用作第二麦克风的扬声器提供声音信号。
根据本发明的实施方式,系统900还包括连接到处理器950的骨传导麦克风接口(其可以是接口940的一部分,但不必一定是这样),用于从第三麦克风接收第三输入信号,其中骨传导麦克风接口还用于向被用作骨传导麦克风的骨传导扬声器提供可骨传导的声音信号。
根据本发明的实施方式,第二麦克风被包括在堵塞耳孔以防止环境声音进入的耳塞中。堵塞不一定是完全堵塞,而也可能是环境噪音的实质降低。而且,这种实质上的堵塞对于在耳孔中反射声音信号是有用的,因此有助于阻塞。
根据本发明的实施方式,处理器950还设置为通过对卷积 求和来确定关于检测时刻n的校正后的信号其中M1(n)代表检测时刻的第一输入信号,M2(n)代表检测时刻的第二输入信号,M3(n)代表在检测时刻的第三输入信号,且h1(n)、h2(n)和h3(n)是校准函数。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,处理器950还设置为响应在检测时刻之前的一个过去时刻对输入信号的处理而更新至少一个校准函数。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,处理器950设置为选择性地对于检测到用户说话的至少一个过去时刻更新至少一个校准函数。这样的实现方式结合例如图1到图6被讨论。检测说话时刻/帧结合例如图2A到图2B被讨论。
注意到,处理器950(或系统900的其他处理器/语音检测器)可用于检测用户说话。这可通过例如分析第一、第二和/或第三输入信号中的一个或多个输入信号的音量的方式实现。根据本发明的实施方式,处理器950(或系统900的专用处理器)还设置为通过分析第一、第二和第三输入信号中的至少一个输入信号中说话的频谱(speaking spectrum)的方式检测过去时刻的用户说话。注意到,人说话可通常由独特的频谱(和/或节奏,或本领域中已知的其他参数)来表征,且这样的参数可用于确定人是否在说话。这还可用于在用户说话和其他的背景通话之间进行区分。而且,注意到,处理器950(或专用的处理器)可被训练为检测一个或多个个体用户说话。
根据本发明的实施方式,处理器950还设置为处理由多个骨传导麦克风检测到的声音信号。
根据本发明的实施方式,移动通信设备(根据本发明的实施方式,特别是在其包装物中)包括处理器950,该移动通信设备还包括第一麦克风。这样的设备可以是例如蜂窝电话、蓝牙头戴耳机、有线头戴耳机,等等。
根据本发明的实施方式,系统900包括第一麦克风930、其设置为转换气载声音信号用于提供第一输入信号。
根据本发明的实施方式,系统900包括第三麦克风910,其设置为转换来自用户骨骼的骨载声音信号用于提供第三输入信号。
根据本发明的实施方式,处理器950还设置为确定环境噪音估计信号其中系统900还包括接口(未示出)用于向用户提供音频信号,该音频信号响应环境噪音估计信号被处理用于降低对用户的环境噪音干扰。也就是说,用户可接收其中已降低了环境噪音的干扰的(例如,用户的语音、另外一方的语音、mp3播放器,等等的)声音信号。这样的实现方式结合例如图1到图6被讨论。注意到,如果第二麦克风也是扬声器,相同的接口可用于向第二麦克风提供信号/从第二麦克风接收信号两种情况。
根据本发明的实施方式,处理器950还设置为处理音频信号以响应环境噪音估计信号,用于降低环境噪音对用户的干扰,其中音频信号的处理还响应于由系统的用户选择的消除级别。根据本发明的实施方式,消除级别可属于环境噪音的消除(例如,用户可能希望保留一些环境噪音)、用户说话的消除(例如,用户可能希望更多地接收他说话的回声),或者这两者。
根据本发明的实施方式,处理器950还设置为处理通过骨传导扬声器被提供给用户的音频信号,以响应环境噪音信号和响应至少一个骨传导性相关的参数。这样的实现方式结合例如图1到图6(且尤其是结合图5和图6)被讨论。
根据本发明的实施方式,处理器950还设置为更新自适应降噪滤波器W1(z),其被处理器950使用以处理被提供给用户的音频信号,以响应第二输入信号,其中自适应降噪滤波器W1(z)对应于用户耳孔内的声音的估计音频转换。这样的实现方式结合例如图1到图6(且尤其是结合图5和图6)被讨论。
图10示出了依照本发明的实施方式的用于处理声音的方法1000。注意到方法1000可由系统例如系统900(其可以是例如蜂窝电话)实现。即使未被明确地详述,系统900以及系统100、300、400、500和600的不同的实施方式可由方法1000的相应的实施方式实现。
方法1000可方便地以阶段1010、1020和1030开始,即,通过在检测时刻由第一麦克风检测第一输入信号(1010)、在检测时刻由第二麦克风检测第二输入信号(1020),以及在检测时刻由骨传导麦克风检测第三声音信号(1030)。参考在先前的图中阐明的例子,阶段1010可由第一麦克风930实现,阶段1020可由第二麦克风920实现,阶段1013可由骨传导麦克风910实现。
方法1000可方便地以由处理器接收第一、第二和第三输入信号的阶段1040开始。参考先前的图中所阐明的例子,阶段1040可由处理器例如处理器950(方便地,其是硬件处理器和/或DSP处理器)实现。
方法1000在阶段1050继续(或开始),在该阶段1050中处理由第一麦克风在检测时刻检测的第一输入信号、由第二麦克风在检测时刻检测的第二输入信号以及由骨传导麦克风在检测时刻检测的第三输入信号,以产生响应于第一、第二和第三输入信号的校正后的信号。参考先前的图中所阐明的例子,阶段1050可由处理器例如处理器950(方便地,其可以是硬件处理器和/或DSP处理器)实现。
在阶段1050后跟随向外部系统提供校正后的信号的阶段1060。参考先前的图中所阐明的例子,阶段1060可由通信接口例如通信接口970(方便地,其是硬件通信接口)实现。
根据本发明的实施方式,处理响应于由至少部分地置于用户耳内的第二麦克风检测到的第二输入信号。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,处理响应于由第二麦克风从在耳孔中被修改的声音信号转换的第二输入信号,以使得声音信号的较低频率在耳孔中被放大。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,处理响应于由被包括在耳塞中堵塞耳孔以防止环境声音进入的第二麦克风所检测到的第二输入信号。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,处理包括通过对卷积 求和来确定关于检测时刻n的校正后的信号其中M1(n)代表检测时刻的第一输入信号,M2(n)代表检测时刻的第二输入信号,M3(n)代表在检测时刻的第三输入信号,且h1(n)、h2(n)和h3(n)是校准函数。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,通过响应在检测时刻之前的一个过去时刻对输入信号的处理而更新至少一个校准函数的方式在之前执行处理。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,关于检测到用户说话的过去时刻,更新被选择性地实现。这样的实现方式结合例如图1到图6被讨论。
注意到,方法100还可包括检测用户说话。这可通过例如分析第一、第二和/或第三输入信号中的一个或多个的音量来实现。根据本发明的实施方式,方法1000还包括通过分析第一、第二和第三输入信号中的至少一个输入信号中说话的频谱来检测在过去时刻的用户说话。注意到,人说话通常可用独特的频谱(和/或节奏,或本领域中已知的其他参数)来表征,且这样的参数可用于确定人是否在说话。这还可用于在用户说话和其他的背景通话之间进行区分。而且注意到,检测可响应关于检测一个或多个个体用户说话的训练信息。
根据本发明的实施方式,更新响应于误差函数关于检测时刻n的该误差函数的值被确定,是H1(z)、H2(z)和H3(z)的和,其中Hi(z)是相应的校准函数hi(n)的Z变换。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,方法1000还包括向被用作第二麦克风的扬声器提供声音信号。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,方法1000还包括向被用作骨传导麦克风的骨传导扬声器提供可骨传导的声音信号。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,处理包括处理由多个骨传导麦克风检测的声音信号。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,处理由被包括在还包括第一麦克风的移动通信设备中的处理器实现。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,处理还包括确定环境噪音估计信号,且处理被提供给用户的音频信号以响应环境噪音估计信号,用于降低对用户的环境噪音干扰。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,被提供给用户用于降低环境噪音干扰的音频信号的处理还响应于由系统的用户选择的消除级别。消除级别可属于例如环境噪音的消除(例如,用户可能希望保留一些环境噪音)、用户说话的消除(例如,用户可能希望更多地接收他说话的回声),或者这两者。
根据本发明的实施方式,方法1000还包括处理通过骨传导扬声器被提供给用户的音频信号,以响应环境噪音估计信号并响应至少一个骨传导性相关的参数。这样的实现方式结合例如图1到图6被讨论。
根据本发明的实施方式,对被提供给用户用于降低环境噪音干扰的音频信号的处理包括更新与用户的耳孔内声音的估计音频转换对应的自适应降噪滤波器W1(z),以响应第二输入信号。这样的实现方式结合例如图1到图6被讨论。
图11示出了依照本发明的实施方式的用于处理声音的系统1100。注意到,系统1100的不同实施方式可实现系统700的不同实施方式,且系统1100的不同部件可实现系统700或其部件(类似部件中的任一个--例如代替750的处理器1150--或其他部件)的不同功能。而且注意到,根据本发明的若干实施方式,即使未被明确详述,系统1100可实现方法1200或本文中所公开的其他方法。
系统1100包括处理器1150,该处理器1150设置为处理由第一麦克风在检测时刻检测到的第一输入信号,和处理由至少部分地置于用户耳内的第二麦克风在检测时刻检测到的第二输入信号,以产生响应于第一和第二输入信号的校正后的信号。
注意到,方便地,检测时刻是短长度的。参考其中数字信号被处理的实施方式,注意到检测时刻可包括声音的若干样本,且还可包括仅一个来自每个麦克风的样本。
注意到,系统1100可包括或可不包括前述的麦克风,因为一个或多个麦克风可--通过有线连接或无线连接--连接到系统1100。例如,根据本发明的实施方式,第一麦克风可以是作为系统1100操作的蜂窝电话的常规麦克风,同时第二麦克风可以是插入到蜂窝电话的头戴耳机的扬声器。这样的实现方式结合例如图7被讨论。
麦克风被标示为第一麦克风1130以及第二“入耳”麦克风1120。但是,如前所述,不一定任何的麦克风都被包括在系统1100中,且特别地,一些麦克风方便地在处理器1150所存在的系统1100的包装物的外部。麦克风可通过一个或多个中间接口1140连接到处理器1150。中间接口可预处理或可不预处理由任何麦克风提供的任何信号。
注意到,根据本发明的不同实施方式,系统1100可以是合并到具有其他功能的系统(例如,蜂窝电话、PDA、计算机、车载系统、头盔,等等)中的独立系统,且可以是增强另一个系统的功能的附加系统。系统1100的部件和功能还可被分配在可彼此交互的两个或多个系统之间。
根据本发明的实施方式,系统1100还包括存储器1160、其可由处理器1150利用(例如,用于存储临时信息、可执行代码、校准值,等等)。
系统1100还包括通信接口1170,其设置为向外部系统提供校正后的信号。例如,外部系统可以是另一个蜂窝电话(或更精确地,是蜂窝网络接入设备)、步话机、基于计算机的电话软件、(例如专用的通信设备的)另一个芯片,等等。
方便地,第二输入信号由至少部分地置于用户耳内的第二麦克风检测。根据本发明的实施方式,第二输入信号响应于在耳孔内被修改的声音信号,以使得声音信号的较低频率在耳孔中被放大。这样的修改可由例如阻塞引起。这样的实现方式结合例如图7被讨论。
根据本发明的实施方式,所使用的至少一个第二麦克风中的一个或多个是关闭用户耳中的气孔的“入耳”麦克风(其还可能是扬声器),其产生了对用户说话声音的阻塞效应。因此,根据本发明的实施方式,耳蜗接收从骨骼直接到达的声音和(由于阻塞效应的)低频增强形式的声音叠加,其可以被轻微延迟。根据本发明的实施方式,检测时刻足够长以使被延迟的版本被检测到。可选地,根据本发明的实施方式,处理器还设置为处理由第二麦克风在被检测的时刻之前的一个时刻所检测的经过的第二信号,以用于产生校正后的信号。这样的实现方式结合例如图7被讨论。
根据本发明的实施方式,第二麦克风还是用于向用户提供声音(其可由系统1100或另一个系统提供)的(例如头戴耳机装置)扬声器。根据本发明的这种实施方式,由第二麦克风进行的检测和声音提供可至少部分地同时发生,或以交替的方式发生,这取决于例如所使用的麦克风/扬声器的类型。这样的实现方式结合例如图7被讨论。
根据本发明的实施方式,系统1100还包括连接到处理器1150的第二麦克风接口(其可以是接口1140的一部分,但不必一定是这样),用于从第二麦克风接收第二输入信号,其中第二麦克风接口还用于向被用作第二麦克风的扬声器提供声音信号。这样的实现方式结合例如图7被讨论。
系统1100包括通信接口1170,用于向外部系统提供校正后的信号。
根据本发明的实施方式,第一输入信号和第二输入信号两者反映响应于用户语音信号和环境噪音信号的信号的叠加,其中与第一声音信号相比,第二输入信号实质上较多地响应于用户语音信号且实质上较少地响应于环境噪音信号。这样的实现方式结合例如图7被讨论。
根据本发明的实施方式,处理器1150还设置为确定环境噪音估计信号,其中系统1100还包括用于向用户提供音频信号的接口,该音频信号被处理以响应环境噪音估计信号,用于降低对用户的环境噪音干扰。这样的实现方式结合例如图7被讨论。
图12示出了依照本发明的实施方式的用于处理声音的方法1200。注意到,方法1200可由系统例如系统1100(其可以是例如蜂窝电话)实现。即使未被明确详述,系统700和900的不同实施方式可由系统1000的相应实施方式实现。
方便地,方法1200可以开始于由第一麦克风在检测时刻检测第一输入信号;和/或由第二麦克风在检测时刻检测第二输入信号。参考先前的图中阐明的例子,检测可由第一或第二麦克风1130、1120中的至少一个麦克风实现。
方便地,方法1200可继续由处理器接收第一和第二输入信号。参考先前的图中阐明的例子,可由处理器例如处理器1150(方便地,其是硬件处理器和/或DSP处理器)来实现接收。
方法1200继续进行(或开始于)阶段1250,在该阶段1250中处理由第一麦克风在检测时刻检测的第一输入信号以及由至少部分地位于用户的耳内的第二麦克风在检测时刻检测第二输入信号,以产生响应于第一、第二和第三输入信号的校正后信号。参考先前的图中所阐明的例子,阶段1250可由处理器例如处理器1150(方便地,其可以是硬件处理器和/或DSP处理器)实现。
阶段1250后跟随向外部系统提供校正后的信号的阶段1260。参考先前图中阐明的例子,阶段1250可由通信接口例如通信接口1170(方便地,为硬件通信接口)实现。
根据本发明的实施方式,阶段1250包括处理第一输入信号和第二输入信号,其中第一输入信号和第二输入信号两者反映响应于用户语音信号和环境噪音信号的信号的叠加,其中与第一声音信号相比,第二输入信号实质上较多地响应于用户语音信号且实质上较少地响应于环境噪音信号。
根据本发明的实施方式,阶段1250还包括确定环境噪音估计信号,以及处理被提供给用户的声音信号以响应环境噪音估计信号,用于降低对用户的环境噪音干扰。
虽然本文示出并描述了本发明的某些特征,本领域技术人员现可作出很多的修改、替代、改变和等效形式。因此,应理解所附的权利要求意图覆盖落进本发明的真实精神范围内的所有这样的修改和改变。
Claims (44)
1.一种用于处理声音的系统,所述系统包括:
处理器,该处理器设置为处理由第一麦克风在检测时刻检测到的第一输入信号、由第二麦克风在所述检测时刻检测到的第二输入信号,以及由骨传导麦克风在所述检测时刻检测到的第三输入信号,以产生响应于所述第一输入信号、所述第二输入信号和所述第三输入信号的校正后的信号;以及
通信接口,该通信接口设置为向外部系统提供所述校正后的信号。
2.如权利要求1所述的系统,其中所述第二输入信号由至少部分地置于用户的耳内的所述第二麦克风检测。
3.如权利要求2所述的系统,其中所述第二输入信号响应于一声音信号,该声音信号在耳孔内被修改,使得所述声音信号的较低频率在所述耳孔内被放大。
4.如权利要求2所述的系统,其中所述第二麦克风被包括在耳塞内,该耳塞堵塞所述耳孔以防止环境声音进入。
6.如权利要求5所述的系统,其中所述处理器还设置为响应在所述检测时刻之前的一过去时刻对输入信号的处理而更新至少一个校准函数。
7.如权利要求6所述的系统,其中所述处理器还设置为对于检测到用户说话的至少一个过去时刻来选择性地更新所述至少一个校准函数。
8.如权利要求7所述的系统,其中所述处理器还设置为通过分析至少一个输入信号的说话的频谱的方式检测所述过去时刻的用户说话。
11.如权利要求1所述的系统,还包括耦合到所述处理器的第二麦克风接口,用于从所述第二麦克风接收所述第二输入信号,其中所述第二麦克风接口还用于向被用作所述第二麦克风的扬声器提供声音信号。
12.如权利要求1所述的系统,还包括耦合到所述处理器的骨传导麦克风接口,用于从所述第三麦克风接收所述第三输入信号,其中所述骨传导麦克风接口还用于向被用作所述骨传导麦克风的骨传导扬声器提供可骨传导的声音信号。
13.如权利要求1所述的系统,其中所述处理器还设置为处理由多个骨传导麦克风检测到的声音信号。
14.如权利要求1所述的系统,其中所述处理器被包括在一移动通信设备中,该移动通信设备还包括所述第一麦克风。
15.如权利要求1所述的系统,还包括所述第一麦克风,该第一麦克风设置为转换气载声音信号以提供所述第一输入信号。
16.如权利要求1所述的系统,还包括第三麦克风,该第三麦克风设置为转换来自用户骨骼的骨载声音信号以提供所述第三输入信号。
17.如权利要求1所述的系统,其中所述处理器还设置为确定环境噪音估计信号,其中所述系统还包括向用户提供音频信号的接口,所述音频信号响应于所述环境噪音估计信号而被处理,用于降低对所述用户的环境噪音干扰。
18.如权利要求17所述的系统,其中所述处理器还设置为处理通过骨传导扬声器被提供给所述用户的所述音频信号,以响应所述环境噪音估计信号以及响应至少一个骨传导性相关的参数。
19.如权利要求17所述的系统,其中所述处理器还设置为响应于所述第二输入信号而更新自适应降噪滤波器W1(z),该自适应降噪滤波器W1(z)被所述处理器用于处理被提供给所述用户的所述音频信号,其中所述自适应降噪滤波器W1(z)对应于所述用户的耳孔内的声音的估计的音频转换。
20.如权利要求17所述的系统,其中所述处理器还设置为处理音频信号,以响应所述环境噪音信号,用于降低对所述用户的环境噪音干扰,其中对所述音频信号的处理还响应于由所述系统的用户选择的消除级别。
21.一种用于处理声音的方法,所述方法包括:
处理由第一麦克风在检测时刻检测到的第一输入信号、由第二麦克风在所述检测时刻检测到的第二输入信号,以及由骨传导麦克风在所述检测时刻检测到的第三输入信号,以产生响应于所述第一输入信号、所述第二输入信号和所述第三输入信号的校正后的信号;以及
向外部系统提供所述校正后的信号。
22.如权利要求21所述的方法,其中所述处理响应于由至少部分地置于用户耳内的所述第二麦克风检测到的所述第二输入信号。
23.如权利要求22所述的方法,其中所述处理响应于由所述第二麦克风从一声音信号转换的所述第二输入信号,所述声音信号在所述耳孔内被修改,以使得所述声音信号的较低频率在所述耳孔内被放大。
24.如权利要求22所述的方法,其中所述处理响应于由被包括在耳塞内的所述第二麦克风检测到的所述第二输入信号,所述耳塞堵塞所述耳孔以防止环境声音进入。
26.如权利要求25所述的方法,其中所述处理后于通过响应在所述检测时刻之前的一个过去时刻对输入信号的处理而更新至少一个校准函数。
27.如权利要求26所述的方法,其中所述更新对于检测到用户说话的过去时刻被选择性地实现。
28.如权利要求27所述的方法,还包括通过分析至少一个输入信号的说话的频谱来检测所述过去时刻的用户说话。
31.如权利要求21所述的方法,还包括向被用作所述第二麦克风的扬声器提供声音信号。
32.如权利要求21所述的方法,还包括向被用作所述骨传导麦克风的骨传导扬声器提供可骨传导的声音信号。
33.如权利要求21所述的方法,其中所述处理包括处理通过多个骨传导麦克风检测到的声音信号。
34.如权利要求21所述的方法,其中所述处理由被包括在移动通信设备中的处理器实现,该移动通信设备还包括所述第一麦克风。
35.如权利要求21所述的方法,其中所述处理还包括确定环境噪音估计信号,以及处理被提供给所述用户的音频信号以响应所述环境噪音估计信号,用于降低对所述用户的环境噪音干扰。
36.如权利要求35所述的方法,还包括处理通过骨传导扬声器被提供给所述用户的音频信号,以响应所述环境噪音估计信号以及响应至少一个骨传导性相关的参数。
37.如权利要求35所述的方法,其中处理被提供给所述用户的音频信号用于降低环境噪音干扰的步骤包括响应于所述第二输入信号而更新自适应降噪滤波器W1(z),该自适应降噪滤波器W1(z)对应于所述用户的耳孔内的声音的估计的音频转换。
38.如权利要求35所述的方法,其中处理被提供给所述用户的音频信号用于降低环境噪音干扰的步骤还响应于由所述系统的用户选择的消除级别。
39.一种用于处理声音的系统,所述系统包括:
处理器,该处理器设置为处理由第一麦克风在检测时刻检测到的第一输入信号,以及由至少部分地置于用户的耳内的第二麦克风在所述检测时刻检测到的第二输入信号,以产生响应于所述第一输入信号和所述第二输入信号的校正后的信号;以及
通信接口,该通信接口用于向外部系统提供所述校正后的信号。
40.如权利要求39所述的系统,其中所述第一输入信号和所述第二输入信号两者反映响应于用户语音信号和环境噪音信号的信号的叠加,其中与所述第一声音信号相比,所述第二输入信号实质上较多地响应于所述用户语音信号且实质上较少地响应于所述环境噪音信号。
41.如权利要求39所述的系统,其中所述处理器还设置为确定环境噪音估计信号,其中所述系统还包括用于向所述用户提供音频信号的接口,所述音频信号响应所述环境噪音估计信号而被处理,用于降低对所述用户的环境噪音干扰。
42.一种用于处理声音的方法,所述方法包括:
处理由第一麦克风在检测时刻检测到的第一输入信号,以及由至少部分地置于用户的耳内的第二麦克风在所述检测时刻检测到的第二输入信号,以产生响应于所述第一输入信号和所述第二输入信号的校正后的信号;以及
向外部系统提供所述校正后的信号。
43.如权利要求42所述的方法,其中所述处理包括处理所述第一输入信号和所述第二输入信号,其中所述第一输入信号和所述第二输入信号两者反映响应于用户语音信号和环境噪音信号的信号的叠加,其中与所述第一声音信号相比,所述第二输入信号实质上较多地响应于所述用户语音信号且较少地响应于所述环境噪音信号。
44.如权利要求42所述的方法,其中所述处理还包括确定环境噪音估计信号,以及处理被提供给所述用户的音频信号,以响应所述环境噪音估计信号,用于降低对所述用户的环境噪音干扰。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US5517608P | 2008-05-22 | 2008-05-22 | |
US61/055,176 | 2008-05-22 | ||
PCT/IL2009/000513 WO2009141828A2 (en) | 2008-05-22 | 2009-05-24 | A method and a system for processing signals |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102084668A true CN102084668A (zh) | 2011-06-01 |
Family
ID=41340641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801214471A Pending CN102084668A (zh) | 2008-05-22 | 2009-05-24 | 处理信号的方法和系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8675884B2 (zh) |
EP (1) | EP2294835A4 (zh) |
JP (1) | JP5395895B2 (zh) |
CN (1) | CN102084668A (zh) |
WO (1) | WO2009141828A2 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103871419A (zh) * | 2012-12-11 | 2014-06-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN104349241A (zh) * | 2013-08-07 | 2015-02-11 | 联想(北京)有限公司 | 一种耳机及信息处理方法 |
WO2017059690A1 (zh) * | 2015-10-07 | 2017-04-13 | 深圳前海零距物联网科技有限公司 | 带麦克风的智能头盔 |
CN107071647A (zh) * | 2016-11-18 | 2017-08-18 | 北京金锐德路科技有限公司 | 一种声音采集方法、系统和装置 |
WO2018149075A1 (zh) * | 2017-02-14 | 2018-08-23 | 歌尔股份有限公司 | 降噪耳机以及电子设备 |
CN109195042A (zh) * | 2018-07-16 | 2019-01-11 | 恒玄科技(上海)有限公司 | 低功耗的高效降噪耳机及降噪系统 |
CN109240639A (zh) * | 2018-08-30 | 2019-01-18 | Oppo广东移动通信有限公司 | 音频数据的获取方法、装置、存储介质及终端 |
CN111464918A (zh) * | 2020-01-31 | 2020-07-28 | 美律电子(深圳)有限公司 | 耳机及耳机组 |
CN112992114A (zh) * | 2019-12-12 | 2021-06-18 | 深圳市韶音科技有限公司 | 噪声控制系统和方法 |
WO2022199405A1 (zh) * | 2021-03-24 | 2022-09-29 | 华为技术有限公司 | 一种语音控制方法和装置 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7148879B2 (en) | 2000-07-06 | 2006-12-12 | At&T Corp. | Bioacoustic control system, method and apparatus |
US20110181452A1 (en) * | 2010-01-28 | 2011-07-28 | Dsp Group, Ltd. | Usage of Speaker Microphone for Sound Enhancement |
US9275621B2 (en) | 2010-06-21 | 2016-03-01 | Nokia Technologies Oy | Apparatus, method and computer program for adjustable noise cancellation |
RU2605522C2 (ru) | 2010-11-24 | 2016-12-20 | Конинклейке Филипс Электроникс Н.В. | Устройство, содержащее множество аудиодатчиков, и способ его эксплуатации |
WO2012069020A1 (zh) * | 2010-11-25 | 2012-05-31 | 歌尔声学股份有限公司 | 语音增强方法、装置及头戴式降噪通信耳机 |
FR2974655B1 (fr) * | 2011-04-26 | 2013-12-20 | Parrot | Combine audio micro/casque comprenant des moyens de debruitage d'un signal de parole proche, notamment pour un systeme de telephonie "mains libres". |
US8908894B2 (en) | 2011-12-01 | 2014-12-09 | At&T Intellectual Property I, L.P. | Devices and methods for transferring data through a human body |
EP2820861A4 (en) * | 2012-03-01 | 2015-08-26 | Bone Tone Comm Israel Ltd | METHOD AND SYSTEM FOR IMPROVING VOICE COMMUNICATION EXPERIENCE IN MOBILE COMMUNICATION DEVICES |
US9660336B2 (en) * | 2013-02-07 | 2017-05-23 | Kevan ANDERSON | Systems, devices and methods for transmitting electrical signals through a faraday cage |
FR3006093B1 (fr) * | 2013-05-23 | 2016-04-01 | Elno | Dispositif acoustique apte a realiser une reduction active de bruit |
US10108984B2 (en) | 2013-10-29 | 2018-10-23 | At&T Intellectual Property I, L.P. | Detecting body language via bone conduction |
US9594433B2 (en) | 2013-11-05 | 2017-03-14 | At&T Intellectual Property I, L.P. | Gesture-based controls via bone conduction |
US10678322B2 (en) | 2013-11-18 | 2020-06-09 | At&T Intellectual Property I, L.P. | Pressure sensing via bone conduction |
US9349280B2 (en) | 2013-11-18 | 2016-05-24 | At&T Intellectual Property I, L.P. | Disrupting bone conduction signals |
US9715774B2 (en) | 2013-11-19 | 2017-07-25 | At&T Intellectual Property I, L.P. | Authenticating a user on behalf of another user based upon a unique body signature determined through bone conduction signals |
US9405892B2 (en) | 2013-11-26 | 2016-08-02 | At&T Intellectual Property I, L.P. | Preventing spoofing attacks for bone conduction applications |
US20150199950A1 (en) * | 2014-01-13 | 2015-07-16 | DSP Group | Use of microphones with vsensors for wearable devices |
US9510094B2 (en) * | 2014-04-09 | 2016-11-29 | Apple Inc. | Noise estimation in a mobile device using an external acoustic microphone signal |
US9589482B2 (en) | 2014-09-10 | 2017-03-07 | At&T Intellectual Property I, L.P. | Bone conduction tags |
US10045732B2 (en) | 2014-09-10 | 2018-08-14 | At&T Intellectual Property I, L.P. | Measuring muscle exertion using bone conduction |
US9582071B2 (en) | 2014-09-10 | 2017-02-28 | At&T Intellectual Property I, L.P. | Device hold determination using bone conduction |
US9882992B2 (en) | 2014-09-10 | 2018-01-30 | At&T Intellectual Property I, L.P. | Data session handoff using bone conduction |
US9600079B2 (en) | 2014-10-15 | 2017-03-21 | At&T Intellectual Property I, L.P. | Surface determination via bone conduction |
US9905216B2 (en) | 2015-03-13 | 2018-02-27 | Bose Corporation | Voice sensing using multiple microphones |
US10387569B2 (en) * | 2015-08-28 | 2019-08-20 | Freedom Solutions Group, Llc | Automated document analysis comprising a user interface based on content types |
US10726859B2 (en) | 2015-11-09 | 2020-07-28 | Invisio Communication A/S | Method of and system for noise suppression |
US10021475B2 (en) * | 2015-12-21 | 2018-07-10 | Panasonic Intellectual Property Management Co., Ltd. | Headset |
US10695663B2 (en) * | 2015-12-22 | 2020-06-30 | Intel Corporation | Ambient awareness in virtual reality |
DK3453189T3 (da) * | 2016-05-06 | 2021-07-26 | Eers Global Tech Inc | Anordning og fremgangsmåde til forbedring af kvaliteten af i- øret-mikrofonsignaler i støjende miljøer |
US10062373B2 (en) * | 2016-11-03 | 2018-08-28 | Bragi GmbH | Selective audio isolation from body generated sound system and method |
US10455324B2 (en) * | 2018-01-12 | 2019-10-22 | Intel Corporation | Apparatus and methods for bone conduction context detection |
US10685663B2 (en) | 2018-04-18 | 2020-06-16 | Nokia Technologies Oy | Enabling in-ear voice capture using deep learning |
US10831316B2 (en) | 2018-07-26 | 2020-11-10 | At&T Intellectual Property I, L.P. | Surface interface |
KR102565882B1 (ko) * | 2019-02-12 | 2023-08-10 | 삼성전자주식회사 | 복수의 마이크들을 포함하는 음향 출력 장치 및 복수의 마이크들을 이용한 음향 신호의 처리 방법 |
MX2022006246A (es) | 2019-12-12 | 2022-06-22 | Shenzhen Shokz Co Ltd | Sistemas y metodos para el control de ruido. |
US11521643B2 (en) | 2020-05-08 | 2022-12-06 | Bose Corporation | Wearable audio device with user own-voice recording |
US11335362B2 (en) | 2020-08-25 | 2022-05-17 | Bose Corporation | Wearable mixed sensor array for self-voice capture |
CN112511948B (zh) * | 2021-02-08 | 2021-06-11 | 江西联创宏声电子股份有限公司 | 耳机 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07312634A (ja) * | 1994-05-18 | 1995-11-28 | Nippon Telegr & Teleph Corp <Ntt> | 耳栓形変換器を用いる送受話装置 |
US5933506A (en) * | 1994-05-18 | 1999-08-03 | Nippon Telegraph And Telephone Corporation | Transmitter-receiver having ear-piece type acoustic transducing part |
JP3513935B2 (ja) * | 1994-09-08 | 2004-03-31 | ソニー株式会社 | 通信端末 |
US6175633B1 (en) * | 1997-04-09 | 2001-01-16 | Cavcom, Inc. | Radio communications apparatus with attenuating ear pieces for high noise environments |
US6396930B1 (en) * | 1998-02-20 | 2002-05-28 | Michael Allen Vaudrey | Active noise reduction for audiometry |
US20070127757A2 (en) * | 2005-07-18 | 2007-06-07 | Soundquest, Inc. | Behind-The-Ear-Auditory Device |
EP2011367B1 (en) * | 2006-03-22 | 2014-12-03 | Bone Tone Communications Ltd. | Method and system for bone conduction sound propagation |
JP4811094B2 (ja) * | 2006-04-04 | 2011-11-09 | 株式会社ケンウッド | イヤーモールド型送受話器及び無線通信装置 |
EP1981310B1 (en) * | 2007-04-11 | 2017-06-14 | Oticon A/S | Hearing instrument with linearized output stage |
US8184821B2 (en) * | 2008-01-28 | 2012-05-22 | Industrial Technology Research Institute | Acoustic transducer device |
-
2009
- 2009-05-24 WO PCT/IL2009/000513 patent/WO2009141828A2/en active Application Filing
- 2009-05-24 CN CN2009801214471A patent/CN102084668A/zh active Pending
- 2009-05-24 EP EP09750280A patent/EP2294835A4/en not_active Withdrawn
- 2009-05-24 JP JP2011510085A patent/JP5395895B2/ja not_active Expired - Fee Related
- 2009-05-24 US US12/990,647 patent/US8675884B2/en active Active
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103871419A (zh) * | 2012-12-11 | 2014-06-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN103871419B (zh) * | 2012-12-11 | 2017-05-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN104349241A (zh) * | 2013-08-07 | 2015-02-11 | 联想(北京)有限公司 | 一种耳机及信息处理方法 |
CN104349241B (zh) * | 2013-08-07 | 2019-04-23 | 联想(北京)有限公司 | 一种耳机及信息处理方法 |
WO2017059690A1 (zh) * | 2015-10-07 | 2017-04-13 | 深圳前海零距物联网科技有限公司 | 带麦克风的智能头盔 |
CN107071647A (zh) * | 2016-11-18 | 2017-08-18 | 北京金锐德路科技有限公司 | 一种声音采集方法、系统和装置 |
WO2018149075A1 (zh) * | 2017-02-14 | 2018-08-23 | 歌尔股份有限公司 | 降噪耳机以及电子设备 |
CN109195042A (zh) * | 2018-07-16 | 2019-01-11 | 恒玄科技(上海)有限公司 | 低功耗的高效降噪耳机及降噪系统 |
CN109240639A (zh) * | 2018-08-30 | 2019-01-18 | Oppo广东移动通信有限公司 | 音频数据的获取方法、装置、存储介质及终端 |
CN112992114A (zh) * | 2019-12-12 | 2021-06-18 | 深圳市韶音科技有限公司 | 噪声控制系统和方法 |
CN111464918A (zh) * | 2020-01-31 | 2020-07-28 | 美律电子(深圳)有限公司 | 耳机及耳机组 |
WO2022199405A1 (zh) * | 2021-03-24 | 2022-09-29 | 华为技术有限公司 | 一种语音控制方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5395895B2 (ja) | 2014-01-22 |
WO2009141828A2 (en) | 2009-11-26 |
US20110135106A1 (en) | 2011-06-09 |
US8675884B2 (en) | 2014-03-18 |
EP2294835A4 (en) | 2012-01-18 |
EP2294835A2 (en) | 2011-03-16 |
JP2011525724A (ja) | 2011-09-22 |
WO2009141828A3 (en) | 2010-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102084668A (zh) | 处理信号的方法和系统 | |
US11710473B2 (en) | Method and device for acute sound detection and reproduction | |
DK180471B1 (en) | Headset with active noise cancellation | |
EP1417679B1 (en) | Sound intelligibility enhancement using a psychoacoustic model and an oversampled filterbank | |
US9432766B2 (en) | Audio processing device comprising artifact reduction | |
US8442251B2 (en) | Adaptive feedback cancellation based on inserted and/or intrinsic characteristics and matched retrieval | |
CN104284278B (zh) | 具有回波抑制的通信装置 | |
EP1667416A2 (en) | Reverberation estimation and suppression system | |
EP2621198A2 (en) | Adaptive feedback cancellation based on inserted and/or intrinsic signal characteristics and matched retrieval | |
TW201621887A (zh) | 用於使用麥克風的數位訊號處理之設備及方法 | |
CN110896509A (zh) | 耳机佩戴状态确定方法、电子设备控制方法及电子设备 | |
WO2009136953A1 (en) | Method and device for acoustic management control of multiple microphones | |
EP3337190B1 (en) | A method of reducing noise in an audio processing device | |
WO2009006418A1 (en) | Method and device for background noise mitigation | |
AU2011200494A1 (en) | A speech intelligibility predictor and applications thereof | |
AU2010201268A1 (en) | Adaptive feedback cancellation based on inserted and/or intrinsic characteristics and matched retrieval | |
EP3213527B1 (en) | Self-voice occlusion mitigation in headsets | |
JP2015513854A (ja) | モバイル通信機器での音声通信エクスペリエンスを向上させるための方法およびシステム | |
CA2397084C (en) | Sound intelligibilty enhancement using a psychoacoustic model and an oversampled filterbank |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110601 |