CN104243732A - 振动传感器在回声消除中的使用 - Google Patents
振动传感器在回声消除中的使用 Download PDFInfo
- Publication number
- CN104243732A CN104243732A CN201410247268.5A CN201410247268A CN104243732A CN 104243732 A CN104243732 A CN 104243732A CN 201410247268 A CN201410247268 A CN 201410247268A CN 104243732 A CN104243732 A CN 104243732A
- Authority
- CN
- China
- Prior art keywords
- echo
- signal
- cancellation filter
- voice output
- composition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000009021 linear effect Effects 0.000 claims abstract description 40
- 230000001629 suppression Effects 0.000 claims abstract description 35
- 239000000203 mixture Substances 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 32
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims 11
- 238000001914 filtration Methods 0.000 abstract description 67
- 230000003044 adaptive effect Effects 0.000 description 40
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009022 nonlinear effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 3
- 230000003534 oscillatory effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011469 building brick Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/002—Devices for damping, suppressing, obstructing or conducting sound in acoustic devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
Abstract
本发明涉及振动传感器在回声消除中的使用。提供方法和系统，用于电子装置的声音的回声消除。回声消除可以包括：作为第一个步骤，将回声消除滤波应用到经由声音输入元件(例如，传声器)得到的声音输入；作为第二个步骤，将回声抑制应用到声音输入，其中回声抑制包括抑制声音输入中的残余的回声。回声消除滤波可以包括识别和/或滤出声音输入中的线性和非线性的回声成分两者，同时回声成分相应于由经由声音输出元件(例如，扬声器)输出的声音输出引起的回声信号。传感器信号由检测在电子装置中的振动的振动传感器产生，振动包括由声音输出的输出引起的振动，传感器在回声消除滤波和/或回声抑制中可以被用作参考信号。
Description
优先权利要求
本专利申请对于2013年6月5日所递交的美国临时专利申请第61/831,200号进行引用、要求优先权并要求其权益，该美国临时专利申请通过引用整体并入。
技术领域
本申请的各方面涉及音频处理。更具体地，本公开内容的某些实现涉及在回声消除中使用振动传感器的方法和系统。
背景技术
用于提供音频处理，特别是用于提供回声消除的现有方法和系统可能是低效和/或成本高昂的。通过将常规的和传统的方法与具有在本公开内容下文中根据附图所描述的本发明的方法和装置的一些方面的方法进行比较，对于本领域中的技术人员而言，常规的和传统的方法是有更多局限性和缺陷。
发明内容
提供了一种在回声消除中使用振动传感器的系统和/或方法，其实质上是如附图中的至少一个所示，和/或根据附图中的至少一个所述，并如在权利要求中被更加完整地所阐述。
本公开的内容的这些和其他的优势、方面和新颖的技术特征，及其所示实现方式的细节将根据以下说明书和附图被更加全面地理解。
附图说明
图1示出了可支持回声消除的电子设备的示例。
图2示出了可支持基于振荡反馈的回声消除的示例性的系统。
图3A-3C示出了在回声消除期间，与不同的输入和/或输出信号相关联的示例性频率特性，及其处理的图像。
图4A-4D示出了可被用于在音频系统中提供回声消除的回声消除滤波器的不同示例性的实现。
图5是示出了提供基于振荡反馈的回声消除的示例性处理过程的流程图。
具体实施方式
在用于电子设备(特别是用户支持的设备)中的非侵入式噪声消除的方法和系统中可能找到某些示例性实现。如本文中所使用的，术语“电路(circuits)”和“电路(circuitry)”指的是物理的电子组件(即硬件)以及可配置硬件的、由硬件执行的、和/或以其他方式与硬件相关联的任何软件和/或任何固件(“代码”)。如本文中所使用的，例如特定的处理和存储器可包括在执行第一多个代码行时的第一“电路”并且可包括在执行第二多个代码行时的第二“电路”。正如本文中所使用的，“和/或”意味着通过“和/或”所连接的列表内的项中的任何一个或多个。如一个示例，“x和/或y”意味着三元素集合{(x)，(y)，(x、y)}中的任何一个元素。如另一个示例，“x、y、和/或z”意味着七元素集合{(x)，(y)，(z)，(x、y)，(x、z)，(y、z)，(x、y、z)}中的任何一个元素。如本文中所使用的，术语“模块(block)”和“块(module)”指的是能够由一个或多个电路执行的功能。如本文中所使用的，术语“示例”意味着作为非限制性的示例、例子或说明。正如本文中所使用的，术语“例如(forexample)”和“例如(e.g.)”引入一个或多个非限制性的示例、例子或说明的列表。如本文中所使用的，只要电路包括执行功能的必要硬件和代码(如有必要)，而无论这些功能的执行是否通过一些用户可配置的设定被禁止或未被激活，则电路“可操作”以执行该功能。
图1示出了可支持回声消除的示例性的电子设备。参考图1，其示出了电子设备100。
电子设备100可包括用于实现本公开内容的各种方面的适当的电路。电子设备100例如可配置以执行或支持各种功能、操作、应用和/或服务。这些由电子设备100执行或支持的功能、操作、应用和/或服务可基于预设的指令和/或用户与设备的互动来执行或控制。
在一些例子中，电子设备(比如电子设备100)可支持数据通信，比如经由有线的连接和/或无线的连接，根据一种或多种得到支持的无线和/或有线的协议或标准的数据通信。
在一些例子中，电子设备(比如电子设备100)可以是移动的设备和/或手持的设备—即在设备使用的过程中要由用户(例如用户110)持有或者以其他方式支持，因此允许该设备在移动中和/或在不同位置使用。在这一方面，电子设备可被设计和/或配置成允许便捷移动，比如允许其方便移动而同时在用户移动时由用户持有，并且该电子设备可被配置成执行至少一些由设备支持的操作、功能、应用和/或服务，而同时该用户保持移动。
在一些例子中，电子设备可支持声音信号(例如音频)的输入和/或输出。例如，电子设备100可并入一个或多个声音输出组件(例如扬声器，比如喇叭、听筒、骨传导扬声器，等等)，一个或多个声音输入组件(例如麦克风、骨传导传感器，等等)，用于输出和/或输入(捕获)音频和/或其他声音内容，以及并入适当的电路用于驱动、控制和/或利用声音输入/输出组件(和/或处理由其输出或捕获的信号、和/或与之相关的数据)。
电子设备的示例可包括通信设备(例如有线或无线电话、移动电话(包括智能手机)、VoIP电话、卫星电话，等等)，手持式个人设备(例如平板电脑等等)，计算机(例如台式机、笔记本和服务器)，专用媒体设备(例如电视、音频或媒体播放器、摄像机、会议系统设备，等等)，以及类似设备。在一些例子中，电子设备可以是可穿戴设备—即可以由设备的用户穿戴而非由用户的手来持有。可穿戴电子设备的示例可包括数字手表和类似手表的设备(例如iWatch)，类似眼镜的设备(例如谷歌眼镜)，或者任何适当的可穿戴的监听和/或通信设备(例如蓝牙耳机)。然而，本公开内容并不限于任何特定类型的电子设备。
在工作时，电子设备100可以被用于执行各种操作，包括与声音(例如音频)相关的操作。例如，电子设备100可被用于输出声音信号(例如音频，其可包括语音和/或其他音频)。在这一方面，电子设备100可获取数据(例如使用通信连接从远程源获取数据，和/或从本地源，比如内部或外部的媒体存储设备获取数据)，可处理该数据以从中提取音频内容，并且可将该音频内容转换成适于输出的信号(例如被提供给用户110的音频输出120)，其比如是经由适当的输出组件(例如喇叭、听筒、骨传导扬声器，等等)的。
类似地，电子设备100可被用于输入声音信号(例如音频，其可包括语音和/或其他音频)。在这一方面，电子设备100可捕获声音信号(例如音频输入130，其可由用户110提供)，其比如是经由适当的输入组件(例如麦克风、骨传导传感器，等等)的。捕获的信号可随后被处理，以便生成相应的(音频)内容，其可能在电子设备100内消耗和/或可以被通信(例如到达另一个本地或远程的设备)。
由电子设备输出和/或被输入到电子设备的音频(或通常是声音信号)的质量可以受到各种因素的影响和/或依赖于各种因素。例如，音频质量可能依赖于所使用的源(换能器电路、发射器电路、接收器电路、网络，等等)和/或环境状况。音频质量例如可受到嘈杂环境的影响。在这一方面，嘈杂环境可能是由各种状况所导致的，比如风、周遭音频(例如在周围环境中说话的其他用户、音乐、交通环境，等等)，或者类似状况。所有这些状况的结合在后文中可被称为环境噪声(其例子在图1中示出，参考标记140，位于接收侧—即关于电子设备100)。
另一个特别是在输入操作期间可能影响音频质量的因素是回声。在这一方面，当声音(例如音频)信号，通常是语音在由系统(例如通过其喇叭)输出时，在通信系统中产生回声，并且由喇叭产生的信号由电子设备中存在的一个或多个麦克风拾取(显示为回声150)。因此，基于经由麦克风捕获的信号由电子设备生成的音频内容将包括与被拾取的回声150相应的不需要的成分。该回声150可能是通过近端设备的喇叭所播放原始信号(例如音频输出120)的被显著地延迟的、过滤的、和失真的版本。当音频内容通过一电子设备(“近端”设备)传送给另一个电子设备(“远端”设备)时，则在该处被播放的音频内容将被视为具有回声。存在回声是不期望出现的情况，因为如果不使用针对减轻回声(例如使用回声消除)的特定手段，则回声可能导致在两个设备之间的通信(特别是全双工语音)非常困难。此外，回声可能限制在许多设备中的音频和通话质量，并且更多地在特定的使用场合，比如当设备以“免提”方式使用时、当使用较高的音频放大以及在扬声器并未被持有紧贴用户的耳朵的情况下。
相应地，在本公开内容的各种实现中，在设备中的音频操作可被配置成并入自适应的回声消除，被特别配置成精确地识别和过滤出在所捕获的声音信号中的、可能是不需要的回声信号(或其成分)的部分。例如，在图1中所示的音频通信设置中，电子设备100可并入用于执行回声消除的手段和/或组件。回声消除例如能够分两个步骤来实现：回声消除过滤(识别和过滤回声成分)，以及回声抑制。此外，在本公开内容的一些实现中，特定的手段和/或组件可提供关于回声信号的详细信息，以便激活自适应地配置回声消除过滤和回声抑制—即更好地识别不需要的回声成分。示例性的实现在图2中以更多的细节来描述。
图2示出了可支持基于振荡反馈的回声消除的示例性的系统。参考图2，其中示出了系统200。
系统200可包括用于输出和/或输入音频，和/或用于提供与之相关的自适应增强(特别是基于反馈的回声消除)的适当的电路。反馈可基于感知的振荡(例如在包含系统200的设备的外壳和壳体中的振荡)来获取。例如，正如在图2中示出的示例性的实现所示，系统200可包括扬声器输出处理模块210、扬声器220、麦克风230、回声消除滤波器240、回声抑制模块250、以及振动传感器(VSensor)260。
扬声器输出处理模块210可包括用于生成声音信号(例如扬声器信号r(n)211)的适当的电路，其可被配置成用于经由特定的音频输出设备(例如扬声器220)来进行输出。扬声器输出处理模块210例如可被配置成应用各种信号处理功能，以便将原始的(数字)输入转换成基于模拟的声音的信号，其特别适用于在扬声器220中的输出操作。
回声消除滤波器240可包括用于执行回声消除过滤的适当的电路。回声消除过滤可能需要识别和/或过滤出由声音输入设备(例如麦克风230)生成的信号中不需要的部分。特别地，这些不需要的部分可能与通过在同一设备中的输出组件(例如扬声器220)的声音(例如音频)输出所得的回声相关联，或者是由该回声所导致的。
回声抑制模块250可包括用于执行回声抑制的适当的电路。回声抑制可能需要移除在输入信号中残余的被滤出的成分(例如残余回声)，其可能在回声消除滤波器240中的过滤完成之后仍然存在。在这一方面，回声抑制模块250可对残余的被滤出的(例如回声)成分进行精细的抑制，而同时保持被处理的输入信号中需要的成分不受影响。
在工作时，系统200可被用来输出和/或输入声音(例如音频)信号，并且在这样做时特别是回声消除时提供增强操作。例如，在声音输出操作期间，扬声器输出处理模块210可基于输入信号来生成扬声器信号r(n)211，其可被应用到扬声器220以便通过该扬声器播放，从而导致相应的可听见的扬声器输出221(通过扬声器220)。
在声音输入操作期间，麦克风230可被用来捕获输入，并且进行响应生成麦克风输出信号m(n)235。特别地，麦克风230可被用于捕获特别的有目的的(即需要的)输入，比如可听见的用户输入i(n)231(例如相应于用户语音)的目的。然而，有时候麦克风230可能不经意地捕获到其他可能不期望得到的(即不需要的)输入。例如，除了用户输入i(n)231之外，麦克风230还可能捕捉到噪声n(n)233，其可能包括环境噪声和/或任何由于设备的特定组件(例如模拟组件)引入系统200引起的噪声。此外，在扬声器220被用于输出信号而麦克风230被用于捕获输入信号的情况下，麦克风230还可接收回声信号x(n)223，其可以表示可听见版本的扬声器输出信号221。因此，由麦克风230拾取和/或生成的麦克风输出m(n)235可能源自和/或可能是以下三种输入的叠加：(需要的)用户输入i(n)231、(不需要的)噪声n(n)233、以及由扬声器造成的(不需要的)回声信号x(n)223。
除原始(预期的)声音信号以外，回声信号x(n)223可包括额外的成分(component)-例如，由于多个声音反射和由于外壳振动引起的回声和设备内的反射以及由于扬声器和接收信号的数模转换产生的失真。
相应地，音频输入通路中进行的处理可被配置为专门清除捕获的麦克风信号m(n)235，以除去信号中不想要的部分(例如，关于噪声n(n)233和/或回声信号x(n)223的成分)。就这点而言，清除噪声相关的部分可通过使用噪声消除(或减少)电路来实现(未显示)。然而，清除回声相关的部分可利用回声消除来完成。
就这点而言，回声消除可被用于消除和/或抑制由麦克风捕获的回声信号，尽可能地对(想要的)输入信号产生最小的影响。例如，回声消除可以按两个步骤完成：回声消除滤波和回声抑制。在第一步骤过程中，被处理信号中的对应于回声的回声的消除滤波部分(例如麦克风输出)可被识别并且被滤除。这可利用一个或多个自适应横截滤波器来完成，其可模拟在一个或多个参考信号和回声信号之间线性响应，并且可产生作为输出的残留误差信号。在第二步骤中，可利用许多回声抑制技术中的一些来应用回声抑制。回声抑制可被用于抑制可能留下的残留回声(例如，在回声消除滤波之后输出的误差信号中)。例如，可利用回声消除滤波器的输出信号连同一个或多个参考信号来对原始麦克风信号应用回声抑制。回声抑制可利用全部可利用的信号以估计残留回声，以产生输出信号。当双方同时展开会话时，回声抑制可能是特别关键的。在系统200中，回声消除可利用回声消除滤波器240和/或回声抑制块250来完成。
例如，扬声器信号r(n)211可被用作参考信号。因此，为了在系统200中应用回声消除，在声音输入操作过程中，回声消除滤波器240可利用扬声器信号r(n)211(即，由此在任何操作之前的扬声器的原始输入)将回声消除滤波应用到麦克风信号m(n)235(结合i(n)231、x(n)223和n(n)233)。然后回声消除滤波器240可模拟参考信号扬声器信号r(n)211和回声信号x(n)223之间的线性响应，并且作为响应产生作为输出的误差信号e(n)241。然后误差信号e(n)241与信号r(n)211和麦克风输出信号m(n)235可以一起被输入到回声抑制块250，并且回声抑制块250可抑制残留回声信号(成分)并且可输出信号o(n)251。
回声消除的质量可取决于误差信号e(n)241的产生等。就这点而言，误差信号e(n)的产生可受到线性效应和非线性效应两者的影响。线性效应可包括：从扬声器到麦克风的直接回声，由于主要的外壳振动和反射产生的线性回声，其中麦克风和扬声器被添加到相同的外壳，以及来自周围的附加的声音反射。非线性效应可包括：编译码器数模(D/A)转换和模数(A/D)转换的非线性、扬声器响应和麦克风响应的非线性、由于外壳振动效应产生的非线性，带有长的多条路径反射的声音传递函数的建模不匹配(under-modeling)，使用定点算法时的有限精度和有限截位，以及噪声。
因此，(仅)利用信号r(n)211作为参考信号(即，作为回声的代表)的回声消除滤波可能是非常有限的，因为信号r(n)211可能不能正确地表示回声信号x(n)223的全部频率成分。具体地，信号r(n)211不反映非线性效应，且因此其不包括或帮助识别非线性频率成分，所述非线性频率成分可构成回声信号x(n)的重要部分。因此，由于信号r(n)211不包括回声非线性成分，在线性自适应滤波过程中当信号被用作参考时这些成分不能被模拟，且因此，回声消除滤波的性能被限制。而且，虽然以那种方式(即，利用信号r(n)211作为唯一的参考)进行回声消除滤波可能不会使用户输入(语音)i(n)231直接失真，但是其可隐含地影响输入语音的质量，因为高的回声抑制可因为可能的弱的回声消除而被需要。
因此，当信号r(n)211被用作唯一的参考时，回声的估计可能是差的，并且为了提供可接受的抑制水平，用户输入(语音)也被抑制，或者可选地用户输入(语音)被保持，但是非线性回声成分依然存在。虽然可能使用麦克风信号m(n)235或误差信号e(n)241来估计回声的非线性成分(因为这些信号可能已经包括非线性)，但是这些信号还将仍然包括输入语音，这直接减少了这些信号的有用性，除非知道在哪发现非线性回声成分。
相应地，在不同的实施方案中，回声消除可被改进，诸如通过结合用于获得关于回声信号特别是关于其中的非线性成分的更好的信息的装置。例如，这可通过利用振动传感器260来完成。就这点而言，振动传感器260可被附接到与扬声器220相同的设备的外壳或者壳体，。因此，振动传感器260可检测外壳或壳体中的振动v(n)225，并且可基于检测产生传感器信号s(n)261。如果振动v(n)225由扬声器220的音频输出引起，则传感器信号s(n)261可包括扬声器信号(即，接收信号)r(n)211自身，因为由输出操作产生的全部其他成分包括例如(例如，由于扬声器、外壳振动和/或信号的数模转换产生的)回声信号的非线性。传感器信号s(n)261将几乎不包括对应于用户输入i(n)231和/或环境噪声n(n)233的成分(或者至多可以忽略的成分)，并且这样其将特别适合于用作回声消除中的参考。
在特定的示例性实施方案中，麦克风输出m(n)235和传感器信号s(n)261可作为输入被应用于回声消除滤波器240，然后所述回声消除滤波器240可为了回声消除而应用滤波。例如，回声消除滤波器240可估计由于存在于传感器信号s(n)261和m(n)235两个输入中的直接回声和反射产生的线性和非线性回声信号、或其成分。然后回声消除滤波器240可识别并且滤除信号中不想要的部分(例如，对应于回声信号的线性成分和/或非线性成分)，留下对应于想要的用户输入i(n)231的部分。回声消除滤波器240可产生输出信号、误差信号e(n)241，然后其可被应用到回声抑制块250。误差信号e(n)241可帮助识别麦克风输出信号m(n)235中的不想要的部分(例如，“回声误差”)。而且，反馈信号(即，回声消除滤波器240的输出信号、误差信号e(n)241)也可被用作对回声消除滤波器240的输入，由此以进一步优化所进行的滤波。
除误差信号e(n)241以外，麦克风输出m(n)235和传感器信号s(n)261也可被应用于回声抑制块250。利用误差信号e(n)中的信息，并且利用参考信号(例如,传感器信号s(n)261)中的信息，回声抑制块250可有效地除去残留回声误差信号。回声抑制块250可做出残留回声成分和非线性回声成分的精细抑制，同时保持用户输入i(n)231不受影响，产生可接受的并且成功的回声抑制。回声抑制块250可产生输出信号、输出信号o(n)251，对应于整体回声消除操作和抑制操作的结果。因此，来自回声抑制块250的输出信号o(n)251可被推测为具有零失真或最小失真的用户输入(例如，语音)i(n)231的良好表示。而且，反馈信号(即，回声抑制块250的输出信号，输出信号o(n)251)也可被用作对回声抑制块250的输入，由此以进一步优化所进行的滤波。
在一些情况下，扬声器信号r(n)211也可被应用于回声消除滤波器240和/或回声抑制块250以进一步帮助回声消除过程和/或回声抑制过程。在没有振动传感器260的情况下，回声消除过程和/或抑制过程必须唯一地取决于扬声器信号r(n)211，其作为参考不包括任何非线性回声信号。结果是回声消除滤波器240可能没有成功地除去全部回声成分且因此回声抑制趋向于更复杂，其结果是来自回声抑制块250的输出信号将是用户输入语音i(n)231的失真版本。
图3A-3C图示了在声音回声消除过程中与不同的输入信号和/或输出信号相关的示例性频率特征及其处理的图。
参照图3A，显示了频率图310、320、330和340，其可对应于在系统(诸如图2的系统200)的音频操作过程中可存在的(例如，使用、产生和/或捕获)不同的信号，特别是当声学回声消除完成时。例如，频率图310描绘了接收的输入信号(这是被馈送到系统扩音器中的信号)的示例性频率成分(3121和3122)，例如，图2中的信号r(n)211被馈送到扬声器220。
频率图320描绘了回声信号的示例性频率成分，所述回声信号对应于系统扩音器(例如，图2中的音频回声信号x(n)223，其被麦克风230捕获)。例如，回声信号的频率成分可包括接收信号自身的频率成分(即，扬声器信号r(n)的频率成分3121和3122)以及由于相关于接收信号的处理的操作可存在的其它频率成分(例如，频率成分3221、3222和3223)。例如，‘其它’频率成分可由于系统扬声器中和/或系统的其它部分(例如，系统箱/外壳自身)中的非线性效应以及某些处理步骤诸如数模(A/D)转换而在系统中产生。频率图320中显示的频率成分还可代表传感器信号(例如，传感器信号s(n)261，如通过V传感器260检测到的)的频率成分，其可对应于由系统扩音器的音频输出引起的系统特别是其箱/外壳中的振动(例如，振动信号v(n)225)。换句话说，振动传感器可检测接收的输入信号的频率成分(即，频率成分3121和3122)以及相关于接收信号的其它频率成分(例如，由于非线性和/或A/D转换产生的频率成分3221、3222和3223)。
频率图330描绘了用户输入(例如，用户语音)信号的示例性频率成分(3321、3322和3323)，诸如图2中的如被麦克风230捕获的信号i(n)231。频率图340描绘了麦克风输出信号的示例性频率成分(例如，在图2中的系统200的麦克风230的输出处麦克风信号m(n)235)。例如，麦克风输出信号可包括被捕获的回声信号中的频率成分(即，接收的输入信号的频率成分3121和3122，以及其它接收信号的相关频率3221、3222和3223)，加上用户输入信号的频率成分(频率成分3321、3322和3323)。
如频率图320中显示的传感器信号(s(n))的频率分量和如频率图340中显示的麦克风输出信号(m(n))的频率分量可代表对回声消除滤波操作的输入(例如，如在回声消除滤波器240中进行的)。就这点而言，振动传感器不检测用户输入。因此，传感器信号s(n)不包括用户输入语音的频率分量(即，频率分量3321、3322和3323)，并且这样可以适合于在回声消除滤波中用作参考信号。相应地，当尝试从麦克风输出信号m(n)中滤除回声信号的频率分量(由传感器信号s(n)的频率分量代表)时，回声消除滤波(240)可利用传感器信号s(n)，同时保留用户输入信号i(n)的频率分量。
因此，回声消除可依据麦克风输出信号m(n)的频率分量的操纵来表达。参照频率图340中显示的作为起始点的麦克风输出信号m(n)的示例性频率分量配置，如依据频率分量的操纵表达的不同的可能的回声消除的实例描绘于图3B和图3C中。
参照图3B，显示了频率图340以及频率图350、360和370，其可描绘根据回声消除过程的在音频输入路径中被处理的信号的频率分量配置(即，以麦克风输出信号m(n)起始，例如，如图340中描绘的)，在所述回声消除过程中仅仅将接收的输入信号r(n)用作参考信号(例如，在回声消除滤波器240中)-即，没有传感器信号s(n)作为输入(参考信号)。例如，在一些情况下，振动传感器是不存在的，并且这样传感器信号s(n)可能是无法得到的。因此，对回声消除滤波器240的输入可被限制为扬声器信号r(n)(例如，如在表310中所描绘的)和麦克风输出信号m(n)。
频率图350描绘了在这种情况下在回声消除滤波之后的输出信号的示例性频率分量(例如，误差信号e(n)241，其是回音消除滤波器240的输出)。就这点而言，回声消除滤波可被限制为利用参考信号r(n)来识别麦克风输出信号m(n)中的不想要的接收信号的复制(即，频率分量3121和3122)，并且尝试除去它们。相应地，回声消除滤波输出信号可包括“被滤波的”频率分量3521和3522，其对应于接收的输入信号r(n)的频率分量，但是幅度低很多。换句话说，在不具有提供对应于扬声器音频输出的额外的频率分量的信息的参考信号的情况下(除了原始扬声器输入信号的频率分量)，回声消除滤波可被限制为尝试滤除原始频率分量(3121和3122)，但是将不会滤除由扬声器音频输出引起的其它频率分量(例如，3221、3222和3223)，并且其还被捕获在麦克风输出m(n)(即，是其的部分)中。因此，然后剩下的回声频率分量(3221、3222和3223)可被错误地假设为是用户输入i(n)的部分。因此，不想要的频率分量3221、3222和3223仍然出现在回声消除滤波器输出中，如表350中所示的。
频率图360描绘了在这种情况下在回声消除滤波之后在回声抑制(例如，回声抑制块250的输出信号o(n)251)之后的输出信号的示例性频率分量。就这点而言，回声抑制还可降低被滤波的分量3521、3522，留下用户输入信号i(n)的频率分量(即，频率分量3321、3322和3323)，加上不想要的基于回声的频率分量3221、3222和3223。相应地，对应于麦克风捕获信号的音频输出可包含非线性分量，导致降级的输出信号。
在一些情况下，如果回声消除可以不被特定地配置为滤除基于非线性(回声)的效应，则为了寻址(addressing)(例如，识别和/或减轻)任何可能的非线性回声消除，额外的技术可被利用。例如，高水平的压缩可被用于进一步抑制可能的不想要的信号(例如，频率分量3221、3222和3223)。频率图370描绘了当利用高压缩时回声抑制输出信号(例如，输出信号o(n)251)的示例性频率分量。就这点而言，不想要的频率分量(3221、3222和3223)可因此被抑制，但是是以降低和退化想要的信号为代价，如由被压缩的用户的输入频率分量3721、3722和3723所代表的。
参照图3C，显示了频率图340以及频率图380和390，其可描绘根据回声消除过程的在音频输入路径中被处理的信号的频率分量曲线(即，以麦克风输出信号m(n)起始，例如，如表340中描绘的)，在所述回声消除过程中接收的输入信号r(n)和传感器信号s(n)均被用作参考信号(例如，在回声消除滤波器240中)。
频率图380描绘了在这种情况下在回声消除滤波之后的输出信号的示例性频率分量(例如，误差信号e(n)241，其是回音消除滤波器240的输出)。
就这点而言，在这种情况下回声消除滤波可利用接收信号(例如，扬声器信号r(n)，如在表310中所描绘的)和传感器信号(例如传感器信号s(n)，如表320中所描绘的)这两者作为参考信号，以帮助识别全部不想要的信号，包括起始信号的副本以及在麦克风输出信号m(n)中由其在输出路径中的使用产生的信号的副本这两者(即，频率分量3121、3122、3221、3222和3223)，并且尝试除去它们。相应地，回声消除滤波输出信号可包括“被滤波的”频率分量3821、3822、3841、3842和3843，其对应于回声信号中的频率分量(即，接收的输入信号r(n)的频率分量和基于非线性的频率分量)，但是在较低的振幅下。
频率图390描绘了在这种情况下在回声消除滤波之后在回声抑制(例如，回声抑制块250的输出信号o(n)251)之后的输出信号的示例性频率分量。在此，回音抑制还可降低被滤波的分量3821、3822、3841、3842和3843，留下仅仅用户输入信号i(n)的频率分量(即，频率分量3321、3322和3323)。因此，除起始扬声器信号r(n)之外，提供传感器信号s(n)作为参考信号(其可包括非线性回声信号分量)可导致抑制全部回声分量(即，基于起始的和非线性的)但是不抑制用户输入信号分量的能力。因此，因为在回声消除滤波之后全部回声信号分量处于降低的水平，回声抑制可被简化，并且用户输入可(大概)更加如实地以极小的失真或无失真的输出再生。
相应地，振动传感器的使用(以获得传感器信号s(n)，其提供关于回声信号非线性分量的信息)可导致与图3B中描绘的方案相比改善的性能(即，不使用振动传感器，且因此也不利用传感器信号作为参考)。换句话说，振动传感器(以及由此产生的传感器信号)的使用可导致优越的性能，因为非线性回声项(term)可以以振动传感器的输出代表，且因此可被识别并且在回声消除过程中被除去。此外，因为非线性回声项可在回声消除过程中被更容易地除去，所以对在回声抑制过程中大量的处理可存在降低的需求(和/或对使用特定技术(如图3B中所描述的)以解决非线性回声效应可存在降低的需求)，导致更简单的整体回声消除。
图4A-4D图示了回声消除滤波器的不同的示例性实施方案，所述回声消除滤波器可被用于在音频系统中提供声学回声消除。参照图4A-4D，显示了不同的回声消除滤波器410、420、430、440、450和460，其每一个可对应于图2的回声消除滤波器240。换句话说，回声消除滤波器410、420、430、440、450和460的每个可对应于图2的回声消除滤波器240的可能的示例性实施方案。
回声消除滤波器410、420、430、440、450和460中的每一个可以包括合适的电路，用于进行回声消除过滤，比如在声频输入路径内，在该声频输入路径内，来自声频输入装置(例如，传声器，比如图2中的系统200的传声器230)的输入被处理。关于这一点，如关于图2所描述的，回声消除滤波器240可以利用一个或多个输入参考信号，其可被用于过滤输入信号中与回声相关的成分，该输入信号为传声器输出信号m(n)。例如，输入参考信号可以包括原始扬声器馈送(即，扬声器信号r(n)211)，和/或由振动传感器输出s(n)261提供的传感器信号s(n)。进一步地，回馈信号(即，滤波器的输出信号，误差信号e(n)241)还可以被使用，以进一步优化所进行的过滤。
在各种实施中，回声消除滤波器可以被配置成根据自适应过滤起作用。关于这一点，归因于直接的回声信号及其反射(reflection)，自适应的回声消除过滤可以基于线性和非线性回声信号成分的评估，以便有效地识别和滤出回声信号(例如，回声信号x(n)223)，同时留下想要的信号(例如，用户输入信号i(n)231)。因此，在回声消除滤波器的各种实施中，比如对应于回信消除滤波器410、420、430、440、450和460的实施，回声消除滤波器可以包括一个或多个线性的自适应横向过滤块，该过滤块中的每一个可以模拟在参考信号(例如，扬声器信号r(n)，传感器信号s(n)，或其组合)和输入信号(例如，传声器信号m(n)，尤其是其相应于回声信号x(n)的部分)之间的线性响应，且可以产生残余误差信号(例如，误差信号e(n))作为输出。
在一些情况下，自适应过滤可以仅使用参考输入，例如振动传感器输出(即传感器信号s(n)261)，或原始信号(即，扬声器信号r(n)211))来完成。例如，如图4A所示的回声消除滤波器410和420中的每一个可以被配置，以基于单个参考信号应用通用类的自适应过滤方案，比如经由单个自适应过滤块。回声消除滤波器410可以包括例如单个自适应过滤块412，该过滤块可基于(仅)扬声器信号r(n)将回声过滤应用到扬声器输出信号m(n)，即，仅仅所接收的信号(扬声器输入)作为参考信号被应用，当试图滤出推测起来不想要的扬声器输出信号m(n)的成分(例如，回声信号的成分)。自适应过滤块412(及因此回声消除滤波器410)的输出是误差信号e(n)。
类似地，回声消除滤波器420可以包括单个自适应过滤块422，该过滤块可以基本上类似于自适应过滤块412，且该过滤块可基于(仅)传感器信号s(n)将回声过滤应用到传声器输出信号m(n)，即，仅振动传感器的输出被用作参考信号，当时试图滤出推测起来不想要的传声器输出信号m(n)的成分(例如，回声信号的成分)。自适应过滤块422(及因此回声消除滤波器420)的输出同样是误差信号e(n)。
然而，在其它实施中，回声消除滤波器可以被配置成基于两种参考，例如基于振动传感器输出(即，传感器信号s(n)261)和原始信号(即，扬声器信号r(n)211)两者，来应用自适应过滤。例如，如图4B所示的回声消除滤波器430和440中的每一个可以被配置成基于扬声器信号r(n)和传感器信号s(n)两者应用自适应过滤，比如通过使用两个自适应过滤块，所述过滤块被布置以在两个阶段中应用自适应过滤，同时每一个阶段是以两个参考输入中的一个为基础的。
回声消除滤波器430可以包括自适应过滤块432和434，过滤块中的每一个基本上类似于自适应过滤块412，分别相应于第一过滤阶段和第二过滤阶段。传声器输出信号m(n)可以作为输入被应用到自适应过滤块432(即，第一阶段)中，同时扬声器信号r(n)作为参考被应用到第一阶段。因此，第一阶段过滤可以使得能够滤出相应于扬声器输入(即，扬声器信号r(n))的不想要的部分，而没有影响想要的用户语音信号i(n)。自适应过滤块432(第一阶段)的输出然后被应用到自适应过滤块434(即，第二阶段)，同时传感器信号s(n)作为参考被应用到这个第二阶段。因此，第二阶段可以使得能够过滤非线性的不想要的信号(即，回声信号的非线性成分)。来自第二自适应滤波器阶段的输出是整体滤波器输出，即误差信号e(n)。通过在两个自适应滤波器阶段中部署回声消除过滤，可以增强线性和非线性的回声信号的过滤。
类似地，回声消除滤波器440可以包括自适应过滤块442和444，过滤块中的每一个基本上类似于自适应过滤块412，(还)分别相应于第一过滤阶段和第二过滤阶段。然而，在回声消除滤波器440中，在第一阶段(即，自适应过滤块442)中应用的参考是传感器信号s(n)，而在第二阶段(即，自适应过滤块444)中应用的参考是扬声器信号r(n)。无论如何，整体过滤基本上是相似的，即，一个阶段(在这种情况下，第一阶段)滤出非线性成分，而另一个阶段(在这种情况下，第二阶段)滤出线性成分。
如图4C所示的回声消除滤波器450还可以被配置成基于扬声器信号r(n)和传感器信号s(n)两者的多个阶段的自适应过滤。然而，回声消除滤波器450可以被配置，以使用自适应过滤的三个阶段来进行回声消除过滤。关于这一点，回声消除滤波器450可以包括自适应过滤块452、454和456，每一个过滤块基本上类似于自适应过滤块412。前两个过滤块(自适应过滤块452和454)可以被配置成平行地应用第一阶段和第二阶段的过滤。关于这一点，传声器输出信号m(n)可以作为输入被应用到自适应过滤块452和454两者上。而且，第一(阶段)的自适应过滤块452可以接收且应用扬声器信号r(n)作为参考；而第二(阶段)的自适应过滤块454可以接收且应用传感器信号s(n)作为参考。
来自自适应过滤块452和454中的每一个的输出然后可以作为输入被用于第三(阶段)的自适应滤波器过滤块456，过滤块456基本上类似于自适应过滤块412，且其输出回声消除滤波器450的整体输出信号(即，误差信号e(n))。因此，为了提供回声消除过滤，第一(阶段)的自适应过滤块452可以滤出不想要的线性回声成分(即，相应于原始声频输入的成分)，第二(阶段)自适应过滤块454可以滤出不想要的非线性回声成分，且两种过滤的输出(主要相应于想要的成分)然后还可以在第三(阶段)自适应过滤块456中被过滤，结果则是输出误差信号e(n)是非常准确的。
如图4D所示的回声消除滤波器460描述了另外的配置，该配置可以基于扬声器信号r(n)和传感器信号s(n)两者，使用单个自适应过滤阶段来应用自适应过滤方案。回声消除滤波器460可以包括倍增器462和464、混频器466和自适应过滤块468。在回声消除滤波器460中实施的过滤方案中，在作为组合的参考信号被应用到自适应过滤阶段(即，自适应过滤块468)之前，以关于彼此的各种比率来总计参考输入、扬声器信号r(n)和传感器信号。例如，输入扬声器信号r(n)可以被应用到倍增器462中，该倍增器通过倍增器信号a放大接收器信号r(n)。类似地，传感器信号s(n)可以被应用到倍增器464中，该倍增器通过倍增器信号b放大传感器信号s(n)。关于这一点，倍增器信号可以是可调节的，例如，可以基于参考输入的期望的组合来调节。
来自倍增器462和464的输出然后被应用到混频器466中，混频器466总计两个倍增器的输出。因此，混频器466的输出由接收器信号r(n)和传感器信号s(n)两者组成，以关于彼此的各种比率被总计(如通过倍增器信号a和b所定义的)。换言之，调节倍增器信号a和b使得能够调节两个参考信号中的每一个的有效贡献，比如根据通常的条件。例如，如果包括回声消除滤波器460的主系统被用于免提模式，则来自在总计的信号(即，来自混频器466的输出)中的传感器信号s(n)的输出的比率能够被调整得更占优势。相反，如果主系统靠近用户的头部或耳朵被使用，那么可能的情况是，输入扬声器信号r(n)被调整地向增频器466的输出贡献更多。
通过使用来自增频器466的组合的参考输入来滤出不想要的线性和非线性的回声成分，而不影响输入信号(即，用户输入)中的想要的成分，自适应过滤块468然后可以将自适应过滤应用到传声器信号m(n)中。
图5是阐述用于提供基于振动回馈的声学回声消除的示例性处理的流程图。参考图5，显示包括多个示例性步骤的流程图500，所述步骤可以在系统(例如，图2的系统200)中被执行，以提供声学回声消除，比如基于来自振动传感器的输入。
在步骤502中，在开始步骤(其中系统例如被通上电)之后，声频输入经由传声器被捕捉。所捕捉的声频输入可以包括期望的/想要的用户输入(例如，用户语音)，但还可以包括其它不想要的内容，比如环境噪音和/或相应于讲话者声频输出的回声(在相同的装置中)。在步骤504中，装置箱/包裹物中的振动可以被捕捉，比如经由振动传感器。所捕捉的振动可以包括由通过讲话者的音频输出引起的振动。
在步骤506中，可以确定所捕捉的音频输入中是否存在回声。在其中没有回声的情况下，程序可以跳到步骤512，在另外的方面(即，存在回声)，程序可以继续下去，到步骤508。然而，在一些实施中，回声消除和抑制通常可以被完成，且比如可以从程序中删除步骤506，而通常进行步骤508和512。这可以是属实的情况，因为可以假设根据本公开内容进行的信号处理可得到准确的回声减少，例如，通常存在于任何捕捉的输入中的回声的一些测量，且唯一的问题是存在多少回声；并且，即使没有回声，信号处理也可调解，例如，基于调节(过滤和/或抑制)，可能不存在回声，因为可能不存在与测量相关的回声。
在步骤508中，回声消除过滤可以以自适应方式被应用到传声器信号(例如，使用原始讲话者输入信号、振动传感器信号和/或过滤输出回馈的样本)。在步骤510中，回声抑制可以以自适应方式被应用到传声器信号(例如，使用原始讲话者输入信号、振动传感器信号和/或抑制输出回馈的样本)。
在步骤512中，可以产生相应于所捕捉的用户输入的输出信号。关于这一点，输出信号推测起来可以没有包括不想要的回声信号(或其成分)。而且，在一些情况下，输出信号的产生可以包括清理任何存在的环境噪音。
其它实施可以提供非瞬时的计算机可读介质和/或存储介质、和/或非瞬时的机器可读介质、和/或储存介质，所述计算机可读介质和/或存储介质具有储存在其上的机器代码和/或具有通过机器和/或计算机来执行的至少一个代码段的计算机程序，从而使机器和/或计算机进行如本文所述的步骤，用于非瞬时的噪音消除。
因此，本发明的方法和/或体系可以在硬件、软件或硬件和软件的组合中实现。本发明的方法和/或体系可以以集中的方式在至少一个计算机系统中，或以分布的方式来实现，在分布的方式中，不同的元件散布在若干个相互连接的计算机系统中。适合用于执行本文所描述的方法的任何类型的计算机系统或其它系统是合适的。硬件和软件的代表性组合可以是具有计算机程序的通用计算机系统，所述计算机程序当被装载且执行时，控制计算机系统，使得其执行本文所描述的方法。另外的代表性实施可以包括专用集成电路或芯片。
本发明的方法和/或系统还可以被嵌入到计算机程序产品中，所述计算机程序产品包括使得能够实施本文所描述的方法的所有特征，且在装载到计算机系统中时，所述计算机程序产品能够执行这些方法。在本文中的计算机程序指的是在一组指令的任何语言、代码或符号中的任意的表述，所述指令意图是使系统具有信息处理能力，以在以下步骤时或在以下步骤中的一个或两个之后执行特定的功能：a)转换成另外的语言、代码或符号；b)在不同材料形式中的再制。因此，一些实施可以包括在其上具有一个或多个代码行的非瞬时的机器可读的(例如，计算机可读的)介质(例如，FLASH装置、光盘、磁性储存盘或类似物)，所述代码行可通过机器来执行，从而使机器执行如本文所描述的程序。
尽管已经参考某些实施来描述了本发明的方法和/或系统，但是本领域的技术人员将理解的是，可以做出各种改变且可以用等同物来代替，而没有脱离本发明的方法和/或系统的范围。此外，在本公开内容的教导下，可以做出许多改进，以适应特定的情况或材料，而没有脱离其范围。因此，预期的是，本发明的方法和/或系统没有被限于所公开的特定实施，而是本发明的方法和/或系统将包括落在所附的权利要求的范围内的所有实施。
Claims (20)
1.一种用于电子装置的系统，所述电子装置具有声音输入元件和声音输出元件，所述系统包括：
一个或多个电路，所述一个或多个电路能够操作为：
将回声消除滤波应用到经由所述声音输入元件得到的声音输入，其中：
所述回声消除滤波包括识别和/或滤出所述声音输入中的回声成分，
所述回声成分相应于经由所述声音输出元件的声音输出引起的回声信号；
在所述声音输入中的所述回声成分包括线性成分和非线性成分；以及
所述回声消除滤波识别和/或滤出线性回声成分和非线性回声成分；以及
将回声抑制应用到所述声音输入，其中所述回声抑制包括抑制所述声音输入中的残余回声。
2.如权利要求1所述的系统，其中在经由所述声音输出元件产生所述声音输出的过程中，所述非线性回声成分中的至少一些被引入。
3.如权利要求1所述的系统，其中所述一个或多个电路能够操作为基于一个或多个参考信号应用所述回声消除滤波。
4.如权利要求3所述的系统，其中所述一个或多个参考信号包括：
原始输入信号，其被馈送到所述声音输出元件中，以实现所述声音输出的产生，
传感器信号，其可配置成识别非线性回声成分，和/或
回馈信号，其相应于所述回声消除滤波的输出。
5.如权利要求1所述的系统，其中所述电子装置包括振动传感器，所述振动传感器能够操作为产生相应于在所述电子装置中检测到的振动的传感器信号，所述振动归因于经由所述声音输出元件输出所述声音输出。
6.如权利要求1所述的系统，其中所述一个或多个电路能够操作为基于所述回声消除滤波的输出应用所述回声抑制。
7.如权利要求1所述的系统，其中所述一个或多个电路能够操作为基于一个或多个参考信号应用所述回声抑制。
8.如权利要求7所述的系统，其中所述一个或多个参考信号包括：
原始输入信号，其被馈送到所述声音输出元件中，以实现所述声音输出的产生，
传感器信号，其能够配置成识别非线性回声成分，和/或
回馈信号，其相应于所述回声抑制的输出。
9.一种方法，包括：
在包括声音输入元件和声音输出元件的电子装置中：
经由所述声音输入元件得到声音输入；
将回声消除滤波应用到所述回声输入，其中：
所述回声消除滤波包括识别和/或滤出所述声音输入中的回声成分，
所述回声成分相应于经由所述声音输出元件的声音输出引起的回声信号；
在所述声音输入中的所述回声成分包括线性成分和非线性成分，以及
所述回声消除滤波识别和/或滤出线性回声成分和非线性回声成分；以及
将回声抑制应用到所述声音输入，其中所述回声抑制包括抑制所述声音输入中的残余回声。
10.如权利要求9所述的方法，其中在经由所述声音输出元件产生所述声音输出的过程中，所述非线性回声成分中的至少一些被引入。
11.如权利要求9所述的方法，包括基于一个或多个参考信号应用所述回声消除滤波。
12.如权利要求11所述的方法，其中所述一个或多个参考信号包括：
原始输入信号，其被馈送到所述声音输出元件中，以实现所述声音输出的产生，
传感器信号，其能够配置成识别非线性回声成分，和/或
回馈信号，其相应于所述回声消除滤波的输出。
13.如权利要求9所述的方法，包括产生相应于在所述电子装置中检测到的振动的传感器信号，所述振动归因于经由所述声音输出元件输出所述声音输出。
14.如权利要求9所述的方法，包括基于所述回声消除滤波的输出应用所述回声抑制。
15.如权利要求9所述的方法，包括基于一个或多个参考信号应用所述回声抑制。
16.如权利要求15所述的方法，其中所述一个或多个参考信号包括：
原始输入信号，其被馈送到所述声音输出元件中，以实现所述声音输出的产生，
传感器信号，其可配置成识别非线性回声成分，和/或
回馈信号，其相应于所述回声抑制的输出。
17.一种电子装置，包括：
扬声器，其能够操作为输出声音信号；
传声器，其能够操作为捕捉声音输入信号；
振动传感器，其能够操作为检测振动；
回声消除滤波器电路，其能够操作为将回声消除滤波应用到经由所述传声器得到的声音输入，其中：
所述回声消除滤波包括识别和/或滤出所述声音输入中的回声成分，
所述回声成分相应于经由所述声音输出元件的声音输出引起的回声信号；
在所述声音输入中的所述回声成分包括线性成分和非线性成分，以及
所述回声消除滤波识别和/或滤出线性回声成分和非线性回声成分；以及
回声抑制电路，其能够操作为将回声抑制应用到所述声音输入，其中所述回声抑制包括抑制所述声音输入中的残余回声。
18.如权利要求17所述的电子装置，其中所述振动传感器能够操作为产生相应于在所述电子装置中检测到的振动的传感器信号，所述振动是由于经由所述扬声器输出所述声音输出而导致的，所述传感器信号在所述回声消除滤波和/或所述回声抑制中的一个或两者中被用作参考信号。
19.如权利要求17所述的电子装置，其中所述回声消除滤波器电路能够操作为基于一个或多个参考信号应用所述回声消除滤波。
20.如权利要求19所述的电子装置，其中所述一个或多个参考信号包括：
原始输入信号，其被馈送到所述声音输出元件，以实现所述声音输出的产生，
传感器信号，其能够配置成识别非线性回声成分，和/或
回馈信号，其相应于所述回声消除滤波的输出。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361831200P | 2013-06-05 | 2013-06-05 | |
| US61/831,200 | 2013-06-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104243732A true CN104243732A (zh) | 2014-12-24 |
Family
ID=50927950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410247268.5A Pending CN104243732A (zh) | 2013-06-05 | 2014-06-05 | 振动传感器在回声消除中的使用 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20140363008A1 (zh) |
| EP (1) | EP2811728A1 (zh) |
| CN (1) | CN104243732A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106686496A (zh) * | 2016-12-27 | 2017-05-17 | 广东小天才科技有限公司 | 一种可穿戴设备的播放模式控制方法及可穿戴设备 |
| CN108111704A (zh) * | 2016-11-24 | 2018-06-01 | 中国科学院声学研究所 | 一种非接触式自适应回声消除装置及回声消除方法 |
| CN108322859A (zh) * | 2018-02-05 | 2018-07-24 | 北京百度网讯科技有限公司 | 用于回声消除的设备、方法和计算机可读存储介质 |
| CN108650584A (zh) * | 2018-05-31 | 2018-10-12 | 联想(北京)有限公司 | 音频装置、信息处理系统和声音处理方法 |
| CN109862463A (zh) * | 2018-12-26 | 2019-06-07 | 广东思派康电子科技有限公司 | 耳机语音回放方法、耳机及其计算机可读存储介质 |
| CN110913310A (zh) * | 2018-09-14 | 2020-03-24 | 成都启英泰伦科技有限公司 | 一种播音失真纠正的回声消除方法 |
| CN111954143A (zh) * | 2020-08-29 | 2020-11-17 | 深圳市韶音科技有限公司 | 一种获取振动传递函数的方法和系统 |
| CN113362819A (zh) * | 2021-05-14 | 2021-09-07 | 歌尔股份有限公司 | 语音提取方法、装置、设备、系统及存储介质 |
| CN113475097A (zh) * | 2019-02-25 | 2021-10-01 | 高通股份有限公司 | 作为声音发射器的显示器的反馈控制 |
| US11508349B2 (en) | 2020-04-16 | 2022-11-22 | Beijing Baidu Netcom Science and Technology Co., Ltd | Noise reduction method and apparatus for on-board environment, electronic device and storage medium |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013173251A2 (en) | 2012-05-13 | 2013-11-21 | Invention Mine Llc | Wireless transmission with channel state perturbation |
| US10177896B2 (en) | 2013-05-13 | 2019-01-08 | Amir Keyvan Khandani | Methods for training of full-duplex wireless systems |
| WO2015190360A1 (ja) * | 2014-06-10 | 2015-12-17 | シャープ株式会社 | 表示機能付き音声伝達装置 |
| US11418874B2 (en) | 2015-02-27 | 2022-08-16 | Harman International Industries, Inc. | Techniques for sharing stereo sound between multiple users |
| US9565493B2 (en) | 2015-04-30 | 2017-02-07 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
| US9554207B2 (en) | 2015-04-30 | 2017-01-24 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
| EP3099047A1 (en) * | 2015-05-28 | 2016-11-30 | Nxp B.V. | Echo controller |
| DE102015225010A1 (de) * | 2015-12-11 | 2017-06-14 | Novero Gmbh | Vorrichtung und Verfahren zur Audiosignalübertragung in einem Fahrzeug |
| CN108781241B (zh) * | 2016-01-14 | 2019-11-08 | 美商楼氏电子有限公司 | 用于声学回声消除的装置和方法 |
| US10333593B2 (en) | 2016-05-02 | 2019-06-25 | Amir Keyvan Khandani | Systems and methods of antenna design for full-duplex line of sight transmission |
| US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
| US10700766B2 (en) | 2017-04-19 | 2020-06-30 | Amir Keyvan Khandani | Noise cancelling amplify-and-forward (in-band) relay with self-interference cancellation |
| JP6821126B2 (ja) * | 2017-05-19 | 2021-01-27 | 株式会社Ｊｖｃケンウッド | ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム |
| US10109292B1 (en) | 2017-06-03 | 2018-10-23 | Apple Inc. | Audio systems with active feedback acoustic echo cancellation |
| EP3652867B1 (en) * | 2017-07-14 | 2021-05-26 | Dolby Laboratories Licensing Corporation | Mitigation of inaccurate echo prediction |
| US11146395B2 (en) | 2017-10-04 | 2021-10-12 | Amir Keyvan Khandani | Methods for secure authentication |
| US10965366B2 (en) * | 2017-12-29 | 2021-03-30 | Hughes Network Systems, Llc | Adaptive channel symbol rate in a satellite system |
| US11012144B2 (en) * | 2018-01-16 | 2021-05-18 | Amir Keyvan Khandani | System and methods for in-band relaying |
| EP4224833A3 (en) | 2018-05-09 | 2023-10-11 | Nureva Inc. | Method and apparatus utilizing residual echo estimate information to derive secondary echo reduction parameters |
| CN112335261B (zh) | 2018-06-01 | 2023-07-18 | 舒尔获得控股公司 | 图案形成麦克风阵列 |
| US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
| WO2020061353A1 (en) | 2018-09-20 | 2020-03-26 | Shure Acquisition Holdings, Inc. | Adjustable lobe shape for array microphones |
| US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
| WO2020191380A1 (en) | 2019-03-21 | 2020-09-24 | Shure Acquisition Holdings,Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality |
| EP3942842A1 (en) | 2019-03-21 | 2022-01-26 | Shure Acquisition Holdings, Inc. | Housings and associated design features for ceiling array microphones |
| CN114051738A (zh) | 2019-05-23 | 2022-02-15 | 舒尔获得控股公司 | 可操纵扬声器阵列、系统及其方法 |
| JP2022535229A (ja) | 2019-05-31 | 2022-08-05 | シュアー アクイジッション ホールディングス インコーポレイテッド | 音声およびノイズアクティビティ検出と統合された低レイテンシオートミキサー |
| US11297426B2 (en) | 2019-08-23 | 2022-04-05 | Shure Acquisition Holdings, Inc. | One-dimensional array microphone with improved directivity |
| US10832650B1 (en) * | 2019-09-16 | 2020-11-10 | Crestron Electronics, Inc. | Speakerphone system that corrects for mechanical vibrations on an enclosure of the speakerphone using an output of a mechanical vibration sensor and an output of a microphone |
| US10834513B1 (en) * | 2019-09-16 | 2020-11-10 | Crestron Electronics, Inc. | Method for use of a calibration system for calibration of a speakerphone system utilizing a separate calibration device |
| US11158300B2 (en) * | 2019-09-16 | 2021-10-26 | Crestron Electronics, Inc. | Speakerphone system that corrects for mechanical vibrations on an enclosure of the speakerphone using an output of a mechanical vibration sensor and an output of a microphone generated by acoustic signals and mechanical vibrations |
| US10834512B1 (en) * | 2019-09-16 | 2020-11-10 | Crestron Electronics, Inc. | System for calibration of a speakerphone system utilizing a separate calibration device |
| US11006207B2 (en) * | 2019-09-16 | 2021-05-11 | Crestron Electronics, Inc. | Method for use with a speakerphone system that corrects for mechanical vibrations |
| CN111028855B (zh) * | 2019-12-17 | 2022-07-08 | 广州视源电子科技股份有限公司 | 回声抑制方法、装置、设备及存储介质 |
| US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
| CN112309412A (zh) * | 2020-02-26 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 用于处理待处理信号的方法、装置和信号处理系统 |
| WO2021243368A2 (en) | 2020-05-29 | 2021-12-02 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
| EP4285605A1 (en) | 2021-01-28 | 2023-12-06 | Shure Acquisition Holdings, Inc. | Hybrid audio beamforming system |
| CN113345458A (zh) * | 2021-06-16 | 2021-09-03 | 歌尔股份有限公司 | 回声消除方法、装置、设备及存储介质 |
| CN113555029A (zh) * | 2021-07-21 | 2021-10-26 | 歌尔科技有限公司 | 一种语音设备控制方法、系统、介质及语音设备 |
| KR102535449B1 (ko) * | 2022-11-29 | 2023-05-26 | 국방과학연구소 | 능동형 반사음 차폐 유닛 및 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6185300B1 (en) * | 1996-12-31 | 2001-02-06 | Ericsson Inc. | Echo canceler for use in communications system |
| WO2000014731A1 (en) * | 1998-09-09 | 2000-03-16 | Ericsson Inc. | Apparatus and method for transmitting an improved voice signal over a communications device located in a vehicle with adaptive vibration noise cancellation |
| US7813499B2 (en) * | 2005-03-31 | 2010-10-12 | Microsoft Corporation | System and process for regression-based residual acoustic echo suppression |
| WO2008155708A1 (en) * | 2007-06-21 | 2008-12-24 | Koninklijke Philips Electronics N.V. | A device for and a method of processing audio signals |
| EP2384023A1 (en) * | 2010-04-28 | 2011-11-02 | Nxp B.V. | Using a loudspeaker as a vibration sensor |
| JP2012231331A (ja) * | 2011-04-26 | 2012-11-22 | Kyocera Corp | 携帯通信機器 |
| JP2014003502A (ja) * | 2012-06-19 | 2014-01-09 | Toshiba Corp | 信号処理装置及び信号処理方法 |
-
2014
- 2014-05-19 US US14/281,214 patent/US20140363008A1/en not_active Abandoned
- 2014-06-05 CN CN201410247268.5A patent/CN104243732A/zh active Pending
- 2014-06-05 EP EP14171363.6A patent/EP2811728A1/en not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108111704A (zh) * | 2016-11-24 | 2018-06-01 | 中国科学院声学研究所 | 一种非接触式自适应回声消除装置及回声消除方法 |
| CN108111704B (zh) * | 2016-11-24 | 2019-12-24 | 中国科学院声学研究所 | 一种非接触式自适应回声消除装置及回声消除方法 |
| CN106686496A (zh) * | 2016-12-27 | 2017-05-17 | 广东小天才科技有限公司 | 一种可穿戴设备的播放模式控制方法及可穿戴设备 |
| CN106686496B (zh) * | 2016-12-27 | 2020-04-28 | 广东小天才科技有限公司 | 一种可穿戴设备的播放模式控制方法及可穿戴设备 |
| CN108322859A (zh) * | 2018-02-05 | 2018-07-24 | 北京百度网讯科技有限公司 | 用于回声消除的设备、方法和计算机可读存储介质 |
| CN108650584A (zh) * | 2018-05-31 | 2018-10-12 | 联想(北京)有限公司 | 音频装置、信息处理系统和声音处理方法 |
| CN110913310A (zh) * | 2018-09-14 | 2020-03-24 | 成都启英泰伦科技有限公司 | 一种播音失真纠正的回声消除方法 |
| CN109862463A (zh) * | 2018-12-26 | 2019-06-07 | 广东思派康电子科技有限公司 | 耳机语音回放方法、耳机及其计算机可读存储介质 |
| CN113475097A (zh) * | 2019-02-25 | 2021-10-01 | 高通股份有限公司 | 作为声音发射器的显示器的反馈控制 |
| CN113475097B (zh) * | 2019-02-25 | 2023-06-27 | 高通股份有限公司 | 作为声音发射器的显示器的反馈控制 |
| US11508349B2 (en) | 2020-04-16 | 2022-11-22 | Beijing Baidu Netcom Science and Technology Co., Ltd | Noise reduction method and apparatus for on-board environment, electronic device and storage medium |
| CN111954143A (zh) * | 2020-08-29 | 2020-11-17 | 深圳市韶音科技有限公司 | 一种获取振动传递函数的方法和系统 |
| CN111954143B (zh) * | 2020-08-29 | 2021-12-24 | 深圳市韶音科技有限公司 | 一种获取振动传递函数的方法和系统 |
| CN113362819A (zh) * | 2021-05-14 | 2021-09-07 | 歌尔股份有限公司 | 语音提取方法、装置、设备、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2811728A1 (en) | 2014-12-10 |
| US20140363008A1 (en) | 2014-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104243732A (zh) | 振动传感器在回声消除中的使用 | |
| US10531191B2 (en) | Controller for haptic feedback element | |
| EP3348047B1 (en) | Audio signal processing | |
| JP4913155B2 (ja) | 音響エコーキャンセラ | |
| US20080025523A1 (en) | System and method for noise canceling in a mobile phone headset accessory | |
| EP2987316B1 (en) | Echo cancellation | |
| CN107005763A (zh) | 用于非线性和时变回波消除的参考麦克风 | |
| KR20190026234A (ko) | 비선형 특성을 갖는 오디오 필터를 이용하여 오디오 신호를 처리하는 방법 및 장치 | |
| US9344050B2 (en) | Dynamic speaker management with echo cancellation | |
| CN102461205A (zh) | 声学多通道消除 | |
| KR20100053502A (ko) | 오디오 신호들을 처리하는 디바이스 및 방법 | |
| US10819305B2 (en) | Method and device for adjusting sound quality | |
| WO2016025211A1 (en) | Systems and methods for nonlinear echo cancellation | |
| US9769567B2 (en) | Audio system and method | |
| EP2982101A1 (en) | Noise reduction | |
| CN108028983A (zh) | 基于换能器阻抗的非线性声学回声消除 | |
| WO2015179914A1 (en) | Microphone mixing for wind noise reduction | |
| US20130287203A1 (en) | Reduction of Loudspeaker Distortion for Improved Acoustic Echo Cancellation | |
| US20120207327A1 (en) | Processing Audio Signals | |
| US10540984B1 (en) | System and method for echo control using adaptive polynomial filters in a sub-band domain | |
| US9961441B2 (en) | Near-end listening intelligibility enhancement | |
| JP2006222874A (ja) | 音響エコー消去方法、装置、プログラム、記録媒体 | |
| US20100166214A1 (en) | Electrical apparatus, audio-receiving circuit and method for filtering noise | |
| JP2015220482A (ja) | 送受話端末、エコー消去システム、エコー消去方法、プログラム | |
| CN109905811A (zh) | 一种经济型声反馈控制的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20141224 |