CN101253755A - 音频数据流同步 - Google Patents
音频数据流同步 Download PDFInfo
- Publication number
- CN101253755A CN101253755A CNA2006800316633A CN200680031663A CN101253755A CN 101253755 A CN101253755 A CN 101253755A CN A2006800316633 A CNA2006800316633 A CN A2006800316633A CN 200680031663 A CN200680031663 A CN 200680031663A CN 101253755 A CN101253755 A CN 101253755A
- Authority
- CN
- China
- Prior art keywords
- signal
- aec
- software
- echo
- synchronizing signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005070 sampling Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004891 communication Methods 0.000 claims abstract description 14
- 239000000872 buffer Substances 0.000 claims description 24
- 230000005236 sound signal Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims description 2
- 230000003139 buffering effect Effects 0.000 claims 2
- 239000007853 buffer solution Substances 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 abstract description 16
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 230000015654 memory Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 238000002407 reforming Methods 0.000 description 3
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
用于通过采用以同一时钟频率并在同一精确时间采样全双工通信期间的扬声器输出和话筒输入以提供时间同步样本信号的采样组件来同步输入信号和输出信号的系统和方法。软件声回波消除器(AEC)随后可提供其中不存在该扬声器信号的经重整的话筒信号的生成。该时间同步样本可由软件AEC处理，这一般没有可由操作系统(OS)所强加的实时约束。
Description
背景
声回波是例如音频会议系统和/或语音识别系统等全双工音频系统的常见问题。声回波源于本地音频环回，该环回是在诸如话筒的输入换能器拾取来自诸如扬声器的音频输出换能器的音频信号并将其发送回始发参与人时发生的。当该始发参与人讲话时，该参与人将听到该参与人自己声音的回波。取决于延迟，会在该始发参与人已停止讲话后一定时间内继续听到该回波。
例如，可考虑这样一种场景，其中在第一物理位置具有话筒和扬声器的第一参与人和在第二物理位置具有话筒和扬声器的第二参与人正在进行电话或会议。当该第一参与人在第一物理位置对话筒讲话时，第二参与人听到在第二物理位置的扬声器上播放的该第一参与人的声音。然而，第二物理位置的话筒将拾取该第一参与人的声音并将其发送回第一参与人的扬声器。由于往返传输时间，第一参与人将听到其自己的具有一延迟的回波。在第一参与人开始听到自己的回波之前的延迟以及在该第一参与人已停止讲话之后在多长时间内继续听到自己的回波取决于将该第一参与人的声音发送到第二参与人所花的时间、在第二参与人房间中发生多大的回响、以及将该第一参与人的声音发送回第一参与人的扬声器所花的时间。当使用因特网进行国际语音会议时，这种延迟可能是若干秒。
当使用了敏感的话筒时、以及当话筒和/或扬声器增益(音量)被调至较高水平时、和当话筒和扬声器被放置成话筒靠近扬声器中的一个或多个时，会导致声回波或使其恶化。除了令人不愉快之外，声回波会妨碍会议中参与人之间的正常会话。在没有声回波消除的全双工系统中，系统可能会陷入反馈循环，它产生过多的噪声从而使得系统不能使用。
常规地，使用防止音频输入换能器(例如，话筒)拾取音频输出信号的音频耳机来减少声回波。另外，可利用具有回波抑制特征的专用话筒。然而，由于这些话筒通常包含扫描传入的音频信号并检测和消除声回波的数字信号处理电子器件，所以它们通常价格不菲。一些话筒被设计成非常具有方向性，这也有助于减少声回波。
声回波还可通过使用数字的声回波消除(AEC)组件来减少。这种AEC组件可从信号中移除回波同时最小化该信号的可听失真。这种AEC组件必须能够访问音频输入和输出信号的数字样本。这些组件以将输入或捕捉样本中的回波减少至通常不可听的水平的方式在数字域中处理该输入和输出样本。
模拟波形通过被称为模数(A/D)转换的过程被转换为数字样本。执行该转换的器件被称为模数转换器或A/D转换器。数字样本通过被称为数模(D/A)转换的过程被转换为模拟波形。执行这种转换的器件被称为数模转换器或D/A转换器。大多数A/D和D/A转换是以恒定的采样率来执行的。
声回波消除组件通过从接收自输入设备的音频样本当中减去发送至输出设备的音频样本的经过滤的版本来工作。该过程假定输出和输入采样率是严格相同的。由于对于PC设备而言有各种输入和输出设备可用，所以即使在输入和输出设备不同时AEC也能工作是非常重要的。
数字信号被提供给处理器，并且在输入信号与输出信号路径之间可以是同步的，然而并不保证这种情形。为了执行声回波消除，输入音频流和输出音频流之间的时间关系通常必须是已知的。对于硬件方案，这可能很容易确定。然而对于软件声回波消除器，该关系是难以确定的。例如，会由于系统等待和处理输入和输出音频流时的可变等待而复杂化。
因此，需要克服与常规设备相关联的上述缺陷。
概要
以下内容给出了本发明的简化概要以提供对本发明的一个或多个方面的基本理解。该概要并非本发明的详尽概述。也无意标识本发明的重要或关键要素，也不刻画本主题发明的范围。本概要的唯一用途是以简化形式给出本发明的一些概念以作为此后给出的更加具体的描述的前序。
本主题发明提供了通过采用采样组件来同步输入和输出信号的系统和方法，该采样组件提供对全双工通信期间扬声器输出和话筒输入的采样并以同一时钟频率和在同一精确时间提供时间同步样本信号。这种时间同步信号可被缓冲并提供给软件声回波消除器(AEC)以产生其中不存在扬声器信号的经重整的话筒信号。相应地，该时间同步样本可由软件AEC来处理，一般而言这没有由操作系统(OS)所强加的实时约束。例如，从OS的角度来看，可移除高分辨率的定时约束，并且可减轻由于调用的时间和方式而对样本的调整。
在相关方面，一组换能器(例如，话筒、扬声器)可与包括本主题发明的采样组件的编码器/解码器处理系统(编解码器)接口。这种编解码器将数字信号转换成模拟信号，以及反之，其中采样组件可在采样话筒输入的同时提供对扬声器输出的重采样，以形成时间同步信号。编解码器可包括双通道模数(A/D)转换器，其中一个通道提供往与扬声器相关联的数模(D/A)转换器的输出的连接。相应地，可容易地向声回波消除软件标识输入音频流与输出音频流之间的时间关系从而有效移除远端扬声器信号。
根据一示例性方法，首先声回波路径可将来自输出扬声器的音频信号传送至包括本主题发明的采样组件的编解码器。同时，来自话筒的输入信号可被转发至该采样组件。接着，可以固定采样率(例如，全双工通信的8KHz、或16KHz等)对扬声器和话筒数据进行采样。该采样率对于每次会话是保持固定的，虽然可在一次会话与另一次会话之间变化。随后，该时间同步信号可被缓冲，并且可由回波消除系统和软件在方便的时间处理。还可根据本发明，结合同步的各方面利用人工智能方案。
为了实现上述和相关目的，本发明包括此后所全面描述的特征。以下描述和附图具体阐述了本发明的特定示例方面。然而，这些方面仅指示可采用本发明的原理的各种方式中的少部分。当结合附图考虑本发明的以下具体描述时，本发明的其它方面、优点和新颖特征将是显而易见的。为了方便阅读附图，部分附图在图与图之间或在一给定图内可能没有按照比例来绘制。
附图说明
图1示出了同步话筒输入和扬声器输出信号的采样组件的框图。
图2示出了作为编码器/解码器处理系统的一部分的采样组件。
图3示出了将由软件AEC处理的示例性同步信号。
图4示出了根据本主题发明的示例性方面捕捉同步数据的缓冲器。
图5示出了采用采样组件的软件AEC系统的一特定示意性框图。
图6示出了数据采样的一种示例性方法。
图7示出了可实现本主题发明的同步信号的示例性计算机环境。
图8示出了可采用本主题发明的采样组件的一特定主机单元的示意性框图。
具体描述
现在参照其中通篇使用相同标号表示相同要素的附图对本主题发明进行描述。在以下描述中，出于解释目的，阐述了许多特定细节以提供对本主题发明的透彻理解。然而显然的是，本主题也可在没有这些特定细节的情况下实践。在其它实例中，以框图形式示出了公知的结构和器件以便于描述本主题发明。
首先参照图1，示出了根据本主题发明的一方面的采样组件110。采样组件110通常可在全双工通信期间将连续信号转换成离散值(例如，数字信号)。如图所示，这种采样组件110可在同一精确时间以同一时钟频率取用扬声器111输出120和话筒115输入125。在这种情况下，在话筒115输入125被采样的时刻，扬声器输出与其同时地也被(再)采样。这种同步信号随后可由软件声回波消除器(AEC)130来处理。
软件AEC 130可减轻(或除去)作为捕捉到的音频输入当中来自从再现换能器(例如，扬声器)播放的声音的部分的回波。本主题发明的回波减小系统可被诸如视频会议系统和/或语音识别引擎等应用所采用以减小由于从再现换能器(未示出)到捕捉换能器(例如，话筒)(未示出)的声反馈引起的回波。软件AEC 130还可采用自适应滤波器(未示出)对房间/环境的冲激响应进行建模。一旦该自适应滤波器通过由差分组件(未示出)从音频输入信号当中减去该自适应滤波器的输出而收敛，则回波就被移除(消除)或减小。该自适应滤波器的收敛失败或丢失可导致终端用户感觉到回波或可听失真，并且通知组件(未示出)可通知应用这种未收敛。
图2示出了根据本主题发明的一方面的作为编码器/解码器处理系统(编解码器)220的部分的采样组件210。这种编解码器220将数字信号转换为模拟信号以及反之，其中采样组件210可提供来自话筒230的输入音频流和来自扬声器240的输出音频流的时间同步信号。编解码器220可包括双通道模数(A/D)转换器215，其中一个通道211提供对与扬声器240相关联的数模(D/A)转换器的输出217的连接。相应地，可向软件声回波消除容易地标识输入音频流与输出音频流之间的时间关系以有效地移除远端扬声器信号。
时间同步样本可被缓冲并提供给软件声回波消除器(AEC)以产生经重整的话筒信号，其中在该经重整的话筒信号中不存在扬声器信号。相应地，该时间同步信号可由软件AEC进行处理，这一般没有可能由操作系统(OS)所强加的实时约束。例如，从OS的角度来看，可移除高分辨率的定时约束并且可以减轻由于调用的时间和方式而对样本的调整。
图3示出了根据本主题发明的一方面的示例性同步信号。这种同步信号300随后可被传送至缓冲器310以供软件AEC处理。数据帧320表示时间实例上的话筒样本315和扬声器样本311，它们是时间同步样本的集合。扬声器和话筒数据的样本可以固定的采样率获得(例如，全双工通信的8KHz、或16KHz等)。这些采样率对于每次会话是保持固定的，虽然可能在一次会话与另一次会话之间是变化的。随后，这种时间同步样本可被缓冲并且在方便的时间由回波消除系统和软件进行处理。
图4示出了根据本主题发明的示例性方面的捕捉同步数据的缓冲器。捕捉缓冲器400可以是包括多个存储单元410的环形缓冲器。在从本主题发明的捕捉采样组件接收到信息之后，可以从最低存储单元到最高存储单元的顺序方式将信息存储在捕捉缓冲器400中。随着捕捉信息被存储在捕捉缓冲器400中，可增加(例如，递增)相关联的捕捉写入指针420。
此外，捕捉写入指针420可标识要存储的下一捕捉信息单元的位置(例如，在存储捕捉信息之后增加捕捉写入指针420)。或者，捕捉写入指针420可标识最近存储的捕捉信息单元的位置(例如，在存储捕捉信息之前增加写入指针)。
相应地，一旦捕捉缓冲器400的最高位置上的存储单元存储有捕捉信息，则捕捉信息就被存储在该最低位置中并且随后再次以从最低位置向最高位置的方向行进。因此，捕捉缓冲器400可被用作保存接收自采样组件的样本的环形缓冲器。捕捉缓冲器400可保存样本直至有足够的个数可供软件AEC组件430处理。另外，这种捕捉缓冲器400可被实现成软件AEC组件430可处理线性的样本块而无需知道环形缓冲器的边界。例如，这可以通过有一跟随该环形缓冲器并与其连续的额外存储器块来实现。无论何时只要数据被复制到该环形缓冲器的开端，则它同时也被复制到跟随该环形缓冲器的这样的额外空间中。
额外空间的量可由软件AEC组件430确定。软件AEC组件430可处理每会话预定数目的样本块。额外存储器块的大小可以等于软件AEC组件430所处理的这些样本块中包含的样本数目。软件AEC组件430可处理线性的样本块并且可以不知道捕捉缓冲器400事实上为环形这一事实。例如，软件AEC组件430所需的处于环形缓冲器的起始处的数据也可以以线性连续方式在该环形缓冲器的末端之后可用。
如先前所解释的，当捕捉缓冲器400中的捕捉信息被软件AEC组件430处理时，捕捉读取指针430增加(例如，递增)。捕捉读取指针435可标识要处理的下一捕捉信息单元的位置(例如，在处理捕捉信息后增加捕捉读取指针435)。此外，捕捉读取指针可被增加一个捕捉样本块的大小(例如，帧大小)。在另一实现中，捕捉读取指针435标识上一个被移除的捕捉信息单元的位置(例如，在移除捕捉信息之前增加捕捉读取指针435)。
一般而言，捕捉读取指针435与捕捉写入指针420之间的存储单元410可包括有效捕捉信息。换言之，当捕捉读取指针435小于捕捉写入指针420时，位置大于或等于捕捉读取指针435且小于捕捉写入指针420的存储单元包含有效的未处理捕捉样本。除非在捕捉写入指针420已经从环形缓冲器的末端环绕至开端而捕捉读取指针435还未环绕时，捕捉写入指针420通常领先于捕捉读取指针435。当捕捉读取指针435和捕捉写入指针420相等时，捕捉缓冲器被认为是空。
图5示出了根据本主题发明的一方面的采用采样组件515的软件AEC系统的特定示意性框图。这种采样组件515可在同一精确时间和以同一时钟频率取音频模拟信号和话筒输入。在这种情况下，在话筒输入被采样的时刻，该音频信号与其同时地也被采样。再现设备510具有以时钟信号所设的速率将数字音频样本值转换成模拟电波形的数模转换器(D/A)520。该模拟波形驱动将电波形转换成声压水平的再现换能器510。类似地，捕捉换能器将声压水平转换成模拟电波形。捕捉设备545具有以时钟信号所设的速率将来自捕捉换能器545的该模拟电波形转换成数字音频样本值的模数转换器(A/D)。
如图所示，也是由发送器510(例如，扩音器)播放的音频模拟信号是传送自数模(D/A)转换器520。在525处得到的模拟信号被提供给换能器510，信号在那里被转换成(例如，通过换能器)音频信号530。该音频信号可被听者听到、被环境结构吸收、和/或被环境535(例如，墙壁)反射。这种反射可再现出回波540，该回波可被同时正在接收所需信号和/或噪声的接收器545(例如，话筒)所接收。所接收到的信号通过作为采样组件515的一部分的模数(A/D)转换器555以一采样率被转换成数字信号。采样组件515可通过通道529连接至与扬声器510相关联的数模(D/A)转换器520的输出。这样，同步信号551随后可被传送至缓冲器和/或频域变换560，该同步信号在那里可从例如时域转换至频域。数据帧表示在时间实例上的话筒样本和扬声器样本，它们被配对在一起并同步。
这种同步信号可随后被传送至软件AEC系统565。音频信号X可通过频域变换从时域变换至频域。软件AEC算法可运行频域变换(例如，傅立叶变换(FFT)、有窗FFT、或调制复重叠变换(MCLT))。软件AEC算法随后可对频域信号操作以生成基本无回波的频域信号Z 580。可从该新颖方法中受益的应用的示例包括实时应用、网际协议上语音、语音识别和因特网游戏。
此外，当AEC算法已经收敛失败和/或在先前已收敛之后又丢失收敛时，软件AEC收敛检测器537可对应用进行警告。没有AEC的情况下，所捕捉到的音频输入可包括来自从扬声器播放的任何声音的回波。软件AEC算法可被诸如视频会议系统、网际协议上语音设备和/或语音识别引擎等应用用来减小由于从扬声器(未示出)到话筒(未示出)的声反馈而引起的回波。例如，软件AEC算法可使用自适应滤波器对房间的冲激响应进行建模。一旦该自适应滤波器收敛，就通过从该音频输入信号中减去(例如，由差分组件(未示出))该自适应滤波器的输出来移除(消除)或减小回波。自适应滤波器的失败或丢失会导致终端用户感觉到回波或可听失真。软件AEC收敛检测器537允许应用监视AEC算法的输出的质量并提供这种信息(例如，向终端用户)或自动改变该算法以改善音频体验的质量(例如，无需耳机)。相应地，应用可向终端用户警告该问题并提供最小化该问题的建议(例如，使用新的硬件或通过改变算法)。
由于外部条件，有时候AEC算法最初就不能收敛或在其先前已收敛之后丢失收敛。阻碍收敛或导致丢失收敛的问题的示例包括硬件问题、驱动程序问题和/或由于附近环境中某些物体的移动而导致的声路径的临时改变问题。这种收敛丢失可导致终端用户可感觉到回波或明显的音频失真。为了提供更高质量的收听体验，需要应用利用AEC来警告终端用户已经检测到质量问题和/或提供解决该问题的帮助。
(例如，与减轻和/去除回波相关联的)本主题发明可采用基于各种人工智能的方案来执行本发明的各方面。例如，用于当双工音频系统中的信号需要或应该重整时显式或隐式地学习的过程可通过自动分类系统和过程来促进。分类可采用基于概率和/或统计的分析(例如，分解为分析效用和成本)来预测或推断用户需要自动执行的动作。例如，可采用支持向量机(SVM)分类器。其它分类方法包括贝叶斯网络、决策树、以及提供可以采用不同的独立性模式的概率分类模型。如这里所用的分类还包括被用来发展优先级模型的统计回归。
如根据本主题发明所容易理解的，本主题发明可采用显式训练(例如，通过普通训练数据)以及隐式训练(例如，通过观测用户行为、接收外在信息)分类器，该分类器可用来根据预定准则自动确定向问题返回什么答案。例如，就众所周知的SVM而言，SVM通过学习或训练阶段被配置在分类器构造器和特征选择模块内。分类器是将输入属性向量x＝(x1，x2，x3，x4，xn)映射到该输入属于一个类的置信度的函数，即f(x)＝confidence(class)。
如在此所用的，术语“推断”一般是指根据通过事件和/或数据所捕捉到的一组观察提供对系统、环境、和/或用户的状态的推理或推断的过程。推断可被用于标识特定的上下文或行为、或可生成例如状态上的概率分布。推断可以是盖然性的，即基于对数据和事件的考虑来计算感兴趣的状态上的概率分布。推断也可指被用于从一组事件和/或数据构成更高级别事件的技术。这种推断导致从一组观察到的事件和/或存储的事件数据构造出新的事件或行为，无论这些事件在时间上是否密切相关，也无论这些事件和数据是来自一个还是多个事件和数据源。
图6示出了根据本主题发明的一方面的示例性方法。虽然该示例性方法被描绘和说明为表示各种事件和/或动作的一系列块，但本发明并不为所示这些块的次序所限制。例如根据本发明，除了在此所示次序，一些动作或事件可按不同次序和/或并发地与其它动作或事件发生。此外，示出的所有块、事件或动作并非都是实现根据本发明的方法所必要的。另外，应该认识到，根据本发明的该示例性方法和其它方法可与在此所示和描述的方法、以及与未在此所示和描述的其它系统和装置相关联地实现。开始在610，声回波路径可将来自输出扬声器的音频信号传送至包括本主题发明的采样组件的编解码器。同时在620，来自话筒的输入信号可被转发至这种采样组件。接着在630，可以固定的采样率(例如，全双工通信的8KHz、或16KHz等)提供扬声器和话筒数据的采样。这种样本速率对于每次会话保持固定，虽然可能在一次会话与另一次会话之间可能变化。随后在640，这些时间同步样本可被缓冲并在650由回波消除系统和软件来处理。相应地，时间同步样本可由软件AEC来处理，一般而言这没有可能由操作系统(OS)强加的实时约束。例如，从OS的角度来看，可移除高分辨率的定时约束，并可减轻由于调用的时间和方式而对样本的调整。随后同步信号可在660被提供给远端用户。
现在参照图7，示出了对可在其中实现本主题发明的各个方面的合适计算环境的简单而一般性的描述。以上虽然在一和/或多个计算机上运行的计算机程序的计算机可执行指令的一般性环境中对本发明进行了说明，然而本领域的技术人员将认识到本发明还可结合其它程序模块来实现。一般而言，程序模块包括执行特定任务和/或实现特定抽象数据类型的例程、程序、组件、数据结构等。此外，本领域的技术人员将认识到，本发明还可用其它计算机系统配置来实践，包括单处理器或多处理器计算机系统、小型计算机、大型计算机、以及个人计算机、手持式计算设备、基于微处理器和/或可编程的电子消费品等。如先前所述的，本发明的所示各方面还可在其中某些任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实践。然而，本发明的某些——即使不是所有——方面也可在独立的计算机上实践。在分布式计算环境中，程序模块可位于本地和/或远程存储器存储设备中。该示例性环境包括计算机720，其中包括处理单元721、系统存储器722、以及将包括系统存储器的各种系统组件耦合至处理单元721的系统总线723。处理单元721可以是各种商用处理器中的任意一种。双微处理器以及其它多处理器架构也可用做处理单元721。
系统总线可以是包括存储器总线或存储器控制器、外围总线或外部总线、和使用各种商用总线架构的局部总线在内的诸多类型的总线结构中的任意一种。系统存储器可包括只读存储器(ROM)724和随机存取存储器(RAM)725。含有用于在诸如启动期间在计算机720内的各要素之间传送信息的基本例程的基本输入/输出系统(BIOS)被存储在ROM 724中。
计算机720还包括例如对可移动盘729进行读写的硬盘驱动器727、磁盘驱动器728，以及例如对CD-ROM盘731进行读写或对其它光介质进行读写的光盘驱动器730。硬盘驱动器727、磁盘驱动器728、以及光盘驱动器730分别通过硬盘驱动器接口732、磁盘驱动器接口733、以及光学驱动器接口734连接至系统总线723。驱动器及其相关联的计算机可读介质提供对用于计算机720的数据、数据结构、计算机可执行指令等的非易失性存储。虽然以上计算机可读介质的描述是指硬盘、可移动磁盘和CD，但本领域的技术人员应该认识到，诸如磁带盒、闪存卡、数字视频盘、Bernoulli盒带等可由计算机读取的其它类型的介质也可用在该示例性操作环境中，并且任何这种介质可包含用于执行本主题发明的方法的计算机可执行指令。
许多程序模块可存储在驱动器和RAM 725中，包括操作系统735、一个或多个应用程序736、其它程序模块737、以及程序数据738。所述计算机中的操作系统735大体可以是任何商用操作系统。
用户通过键盘740和诸如鼠标742等定点设备将命令或信息输入到计算机720中。其它输入设备(未示出)可包括游戏杆、游戏垫、圆盘式卫星天线、扫描器等。这些和其它输入设备经由耦合至系统总线的串行端口接口746连接至处理单元721，但也可由诸如串行端口、游戏端口或通用串行总线(USB)等其它接口来连接。监视器747或其它类型的显示器设备也通过诸如视频接口748等接口连接至系统总线723，并且可采用如先前具体描述的本发明的各方面。除了监视器，计算机通常包括诸如扬声器和打印机等其它外围输出设备(未示出)。监视器的功率可通过燃料电池和/或与其相关联的电池来提供。
计算机720可在使用到诸如远程计算机749等一个或多个远程计算机的逻辑连接的联网环境中操作。远程计算机749可以是工作站、服务器计算机、路由器、对等设备或其它公共网络节点，并且虽然图7中仅示出了存储器存储设备750，但通常包括以上关于计算机720所描述的许多或所有要素。图7中绘制的逻辑连接包括局域网(LAN)751和广域网(WAN)752。这些联网环境在办公室、企业范围的计算机网络、内联网和因特网中是很普遍的。
当在LAN联网环境中使用时，计算机720通过网络接口或适配器753连接至局域网751。当在WAN联网环境中使用时，计算机720通常包括调制解调器754、和/或连接至该LAN上的通信服务器、和/或具有用于通过诸如因特网等广域网752建立通信的其它装置。可为内置或外置的调制解调器754可通过串行端口接口746连接至系统总线723。在联网环境中，关于计算机720所描述的程序模块或其部分，可存储在远程存储器存储设备中。应该认识到的是，示出的网络连接是示例性的，也可使用在计算机间建立通信链接的其它装置。
根据计算机编程领域内技术人员的实践，除非另有指示，参照由诸如计算机720等计算机执行的动作和操作的符号表示来描述本主题发明。这些动作和操作有时被称为计算机执行。应该认识到的是，这些动作和符号表示的操作包括由处理单元721操纵表示数据位的电信号以导致该电信号表示的作为结果的变换或缩减以及在存储器系统中的诸多存储器位置(包括系统存储器722、硬驱动器727、软盘728、以及CD-ROM 731)维护数据位由此重新配置或更改计算机系统的操作以及其它信号处理。维护这些数据位的存储器位置是具有对应于这些数据位的特定电、磁、或光属性的物理位置。
图8示出了用以执行在此公开的系统和/方法的手持终端800的示例。该手持终端800包括可用高强度塑料、金属、或任何其它合适材料构造的壳802。手持终端800包括显示器804。常规地，显示器804用于显示数据或与手持终端800和/或移动伴侣(未示出)的常规操作相关的其它信息。例如，在手持终端800和/或移动伴侣上运行的软件可提供用户请求的各种信息的显示。另外，显示器804可显示由手持终端800和/或一个或多个移动伴侣执行的各种功能。显示器804提供基于图形的文字数字信息，诸如用户所请求的项目的价格。显示器804还提供图形的显示，诸如表示特定菜单项的图标。显示器804还可以是可采用容性、阻性触摸、红外、表面声波、或接地声波技术的触摸屏。
手持终端800还包括用于允许用户输入信息和/或操作命令的用户输入键806。用户输入键806可包括全文字数字小键盘、功能键、输入键等。手持终端800还可包括磁条读取器808或其它数据捕捉机构(未示出)、以及话筒811。
手持终端800还可包括其中条形码读取器/条形码成像器能够读取呈现给手持终端800的条形码标签等的窗口810。手持终端800可包括被照明以反映该条形码是否已被正确或错误读取的发光二极管(LED)(未示出)。替换地或另外地，可从扬声器(未示出)发出声音以警告用户该条形码已经被成功成像或解码。手持终端800还包括用于与射频(RF)接入点无线通信的天线(未示出)；以及与IR接入点通信的红外(IR)收发器(未示出)。
虽然已经参照特定示出的方面显示和描述了本发明，但应认识到基于该说明书和附图的阅读和理解，等效更改和变形对于本领域的其它技术人员将是显而易见的。特别关于上述组件(组合件、器件、电路、系统等)执行的各种功能，除非另有指示，用于描述这些组件的术语(包括“装置”的引用)旨在对应于执行所述组件的指定功能(例如，功能等效)的任何组件，即使它们在结构上不等同于执行这里所述的本发明的示例性方面中的功能的公开的结构。
此外，尽管已经仅相对于若干实现之一揭示了本发明的特定特征，但按照任何给定或特定应用所需或者利益，该特征可与其它实现的一或多个其它特征相结合。而且，对于术语“包括(includes)”、“包括(including)”、“具有(has)”、“具有(having)”及其各种变体在详细说明或权利要求书中的使用，这些术语旨在与术语“包括(comprising)”相似的方式来包括。
Claims (20)
1.一种软件声回波消除器(AEC)系统，包括：
采样组件，其以同一时钟频率并在同一精确时间同步全双工通信期间的输入话筒信号和输出扬声器信号以形成经同步信号；以及
软件AEC组件，其处理所述经同步信号以将其重整。
2.如权利要求1所述的软件AEC系统，其特征在于，还包括与所述采样组件交互的编码器/解码器(编解码器)组件。
3.如权利要求2所述的软件AEC系统，其特征在于，所述编解码器包括具有两个通道的模数(A/D)转换器，所述两个通道中的一个提供至扬声器的数模转换器的输出的连接。
4.如权利要求1所述的软件AEC系统，其特征在于，还包括缓冲所述经同步信号以供所述软件AEC组件处理的缓冲系统。
5.如权利要求1所述的软件AEC系统，其特征在于，经重整信号是没有回波的。
6.如权利要求1所述的软件AEC系统，其特征在于，所述经同步信号包括所述扬声器输出的重采样。
7.如权利要求1所述的软件AEC系统，其特征在于，还包括建模环境冲激响应的自适应滤波器。
8.如权利要求7所述的软件AEC系统，其特征在于，还包括通过从音频输入减去所述自适应滤波器的输出来促进所述自适应滤波器收敛的差分组件。
9.如权利要求1所述的软件AEC系统，其特征在于，软件AEC算法运行频域变换并采用频域变换、傅立叶变换、以及已调制复重叠变换中的至少一个。
10.如权利要求1所述的软件AEC系统，其特征在于，还包括有助于从所述经同步信号中移除回波的人工智能组件。
11.一种有助于消除回波的方法，包括：
通过采样组件以同一时钟频率并在同一精确时间同步全双工通信期间的扬声器信号和话筒信号来形成经同步信号；以及
通过软件AEC处理所述经同步信号以将其重整。
12.如权利要求11所述的方法，其特征在于，还包括将来自输出扬声器的音频信号传送至与所述采样组件相关联的编解码器。
13.如权利要求12所述的方法，其特征在于，还包括并发地将来自话筒和扬声器的输入信号采样到缓冲器。
14.如权利要求13所述的方法，其特征在于，还包括以固定采样率采样所述音频信号和来自所述话筒的所述输入信号。
15.如权利要求13所述的方法，其特征在于，还包括缓冲所述经同步信号
16.如权利要求15所述的方法，其特征在于，还包括在会话与会话之间改变采样率。
17.如权利要求16所述的方法，其特征在于，还包括在与用于回波消除的系统相关联的操作系统不强加实时约束的情况下处理所述经同步信号。
18.如权利要求17所述的方法，其特征在于，还包括在回波消除过程期间移除所述操作系统的高分辨率定时约束。
19.如权利要求17所述的方法，其特征在于，还包括当AEC算法无法收敛时对应用作出警告。
20.一种软件声回波消除器(AEC)系统，包括：
用于以同一时钟频率并在同一精确时间同步全双工通信期间的信号以形成经同步信号的装置；以及
用于处理所述经同步信号以从其中移除回波的装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/171,788 | 2005-06-30 | ||
| US11/171,788 US20070019802A1 (en) | 2005-06-30 | 2005-06-30 | Audio data stream synchronization |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101253755A true CN101253755A (zh) | 2008-08-27 |
Family
ID=37604932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2006800316633A Pending CN101253755A (zh) | 2005-06-30 | 2006-06-13 | 音频数据流同步 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20070019802A1 (zh) |
| EP (1) | EP1905224A4 (zh) |
| CN (1) | CN101253755A (zh) |
| CA (1) | CA2613802A1 (zh) |
| WO (1) | WO2007005206A2 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102325230A (zh) * | 2011-09-07 | 2012-01-18 | 中兴通讯股份有限公司 | 消除回声的处理方法、系统及数字麦克风 |
| CN102568494A (zh) * | 2012-02-23 | 2012-07-11 | 贵阳朗玛信息技术股份有限公司 | 消除回声的优化方法、装置及系统 |
| CN103905928A (zh) * | 2012-12-25 | 2014-07-02 | 安科智慧城市技术（中国）有限公司 | 一种网络语音对讲方法、装置及系统 |
| CN102598644B (zh) * | 2009-11-06 | 2015-05-27 | 飞思卡尔半导体公司 | 会议电话系统以及方法 |
| CN108806677A (zh) * | 2018-02-14 | 2018-11-13 | 美律电子(深圳)有限公司 | 音频处理装置及音频处理方法 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2353689T5 (es) * | 2003-03-14 | 2014-08-18 | Depuy Spine, Inc. | Dispositivo hidráulico de inyección de cemento óseo en vertebroplastia percutánea |
| US8415407B2 (en) * | 2004-03-21 | 2013-04-09 | Depuy Spine, Inc. | Methods, materials, and apparatus for treating bone and other tissue |
| WO2005030034A2 (en) * | 2003-09-26 | 2005-04-07 | Depuy Spine, Inc. | Device for delivering viscous material |
| CN106963464B (zh) * | 2004-07-30 | 2019-11-05 | 德普伊新特斯产品有限责任公司 | 外科用具 |
| US8360629B2 (en) * | 2005-11-22 | 2013-01-29 | Depuy Spine, Inc. | Mixing apparatus having central and planetary mixing elements |
| US20070165837A1 (en) * | 2005-12-30 | 2007-07-19 | Microsoft Corporation | Synchronizing Input Streams for Acoustic Echo Cancellation |
| US8295475B2 (en) * | 2006-01-13 | 2012-10-23 | Microsoft Corporation | Selective glitch detection, clock drift compensation, and anti-clipping in audio echo cancellation |
| NO327377B1 (no) * | 2007-12-18 | 2009-06-22 | Tandberg Telecom As | Fremgangsmate og system for klokkedriftskompensering |
| US8380253B2 (en) | 2008-02-15 | 2013-02-19 | Microsoft Corporation | Voice switching for voice communication on computers |
| US8369251B2 (en) * | 2008-06-20 | 2013-02-05 | Microsoft Corporation | Timestamp quality assessment for assuring acoustic echo canceller operability |
| CN102484757B (zh) * | 2009-09-03 | 2017-04-26 | 罗伯特·博世有限公司 | 用于会议音频系统的延迟单元、用于延迟音频输入信号的方法、计算机程序以及会议音频系统 |
| JP2021532700A (ja) * | 2018-07-25 | 2021-11-25 | イーグル アコースティックス マニュファクチュアリング，エルエルシー | 音を生成し、並びにシンク及びソースの両方として同時に機能する、ように構成されたＢｌｕｅｔｏｏｔｈスピーカ |
| EP4232908A1 (en) * | 2020-10-21 | 2023-08-30 | Shure Acquisition Holdings, Inc. | Virtual universal serial bus interface |
| US11553028B1 (en) * | 2021-03-29 | 2023-01-10 | Fuze, Inc. | Proactively determining and managing potential loss of connectivity in an electronic collaborative communication |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5500892A (en) * | 1994-02-14 | 1996-03-19 | Brooktree Corporation | Echo canceller |
| US5526426A (en) * | 1994-11-08 | 1996-06-11 | Signalworks | System and method for an efficiently constrained frequency-domain adaptive filter |
| US6205124B1 (en) * | 1996-12-31 | 2001-03-20 | Compaq Computer Corporation | Multipoint digital simultaneous voice and data system |
| US6473409B1 (en) * | 1999-02-26 | 2002-10-29 | Microsoft Corp. | Adaptive filtering system and method for adaptively canceling echoes and reducing noise in digital signals |
| US6327249B1 (en) * | 1999-08-04 | 2001-12-04 | Ess Technology, Inc | Data communication device |
| US20020054685A1 (en) * | 2000-11-09 | 2002-05-09 | Carlos Avendano | System for suppressing acoustic echoes and interferences in multi-channel audio systems |
| US20020172352A1 (en) * | 2001-05-16 | 2002-11-21 | Ofir Mecayten | Non-embedded acoustic echo cancellation |
| US6747581B2 (en) * | 2002-02-01 | 2004-06-08 | Octiv, Inc. | Techniques for variable sample rate conversion |
| US7120259B1 (en) * | 2002-05-31 | 2006-10-10 | Microsoft Corporation | Adaptive estimation and compensation of clock drift in acoustic echo cancellers |
-
2005
- 2005-06-30 US US11/171,788 patent/US20070019802A1/en not_active Abandoned
-
2006
- 2006-06-13 CA CA002613802A patent/CA2613802A1/en not_active Abandoned
- 2006-06-13 WO PCT/US2006/022978 patent/WO2007005206A2/en active Application Filing
- 2006-06-13 CN CNA2006800316633A patent/CN101253755A/zh active Pending
- 2006-06-13 EP EP06773029A patent/EP1905224A4/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102598644B (zh) * | 2009-11-06 | 2015-05-27 | 飞思卡尔半导体公司 | 会议电话系统以及方法 |
| CN102325230A (zh) * | 2011-09-07 | 2012-01-18 | 中兴通讯股份有限公司 | 消除回声的处理方法、系统及数字麦克风 |
| CN102568494A (zh) * | 2012-02-23 | 2012-07-11 | 贵阳朗玛信息技术股份有限公司 | 消除回声的优化方法、装置及系统 |
| CN103905928A (zh) * | 2012-12-25 | 2014-07-02 | 安科智慧城市技术（中国）有限公司 | 一种网络语音对讲方法、装置及系统 |
| CN108806677A (zh) * | 2018-02-14 | 2018-11-13 | 美律电子(深圳)有限公司 | 音频处理装置及音频处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007005206A3 (en) | 2007-11-15 |
| EP1905224A4 (en) | 2010-12-29 |
| WO2007005206A2 (en) | 2007-01-11 |
| CA2613802A1 (en) | 2007-01-11 |
| EP1905224A2 (en) | 2008-04-02 |
| US20070019802A1 (en) | 2007-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101253755A (zh) | 音频数据流同步 | |
| EP2193653B1 (en) | Method and apparatus for mapping of conference call participants using positional presence | |
| CN108962240A (zh) | 一种基于耳机的语音控制方法及系统 | |
| US5444768A (en) | Portable computer device for audible processing of remotely stored messages | |
| US9542956B1 (en) | Systems and methods for responding to human spoken audio | |
| US20170316775A1 (en) | Dialog device with dialog support generated using a mixture of language models combined using a recurrent neural network | |
| CN103856598B (zh) | 移动终端以及接收入局呼叫的方法 | |
| US20130211826A1 (en) | Audio Signals as Buffered Streams of Audio Signals and Metadata | |
| US20090089055A1 (en) | Method and apparatus for identification of conference call participants | |
| CN109036396A (zh) | 一种第三方应用的交互方法及系统 | |
| CN107112014A (zh) | 在基于语音的系统中的应用焦点 | |
| CN105264485A (zh) | 在多个设备上提供内容 | |
| ITFI20010199A1 (it) | Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico | |
| MX2008016354A (es) | Deteccion de una maquina contestadora utilizando reconocimiento de dialogo. | |
| CN101310506A (zh) | 用于建立音频记录日志的方法、移动设备、系统和软件 | |
| CN101816195A (zh) | 经由移动设备的活动使用查找 | |
| US11574638B2 (en) | Automated audio-to-text transcription in multi-device teleconferences | |
| CN110012172A (zh) | 一种来电处理方法及终端设备 | |
| JP2001503236A (ja) | パーソナル音声メッセージプロセッサ及び方法 | |
| CN108540633A (zh) | 在设备处自动延迟留言的回放 | |
| KR102506604B1 (ko) | 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 | |
| KR20050083716A (ko) | 컴퓨터를 이용한 무선 오디오 통신 시스템 및 방법 | |
| CN110517682A (zh) | 语音识别方法、装置、设备及存储介质 | |
| Principi et al. | A speech-based system for in-home emergency detection and remote assistance | |
| CN109658930B (zh) | 语音信号处理方法、电子装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20080827 |