CN101682366A - 声音信号处理装置和用于设置延迟时间的方法 - Google Patents

Abstract

即使利用自适应滤波器的回声消除器在系统传输延迟不恒定的条件下，也可以在能够吸收该系统延迟的延迟电路中设置适当的延迟时间，从而在所有情况都产生明显的回声消除效果。获得直到被输入到延迟电路的再现声音信号作为自适应滤波系统的处理对象信号通过空间被从扬声器输入到麦克风的传输路径中为止的时间差，并且在延迟电路中设置与该时间差相对应的延迟时间。在扬声器和麦克风之间的距离被设置得较短并且延迟电路的延迟时间被设置为零时，所获得的时间差指示传输路径的系统传输延迟。即，在延迟电路中可以准确地设置与系统传输延迟相对应的延迟时间。

Description

声音信号处理装置和用于设置延迟时间的方法

技术领域

本发明涉及具有被称作回声消除(echo cancellation)的音频信号处理功能的音频信号处理装置，以及用于为音频信号处理装置中设置的信号延迟单元设置延迟时间的方法。

背景技术

一种声学系统已被投入实用并且被广泛使用，这种声学系统被配置来在位于远程地方或者远程位置的交谈者之间提供呼叫、交谈等，这是以音频会议系统、视频会议系统等中的音频发送/接收处理系统以及利用电话机的免提电话(也称作基于扬声器的电话等)的方式进行的。

在上述基于扬声器的电话系统中，例如根据能够某种通信方案来彼此通信的通信终端设备被放置在多个不同的地方。此外，在一个通信终端设备一方由麦克风采集的音频被从该一个通信终端设备发送到另一个通信终端设备，并且作为声音从已接收到该音频的另一个通信终端设备一侧的扬声器发出。这使得位于不同地方的谈话者能够进行交谈。

然而，在基于扬声器的电话系统中，从另一个通信终端设备一侧输出的音频被从一个通信终端设备一侧的扬声器发出，该音频再次被该一个通信终端设备一侧的麦克风采集，并且作为声音从该另一个通信终端设备一侧的扬声器发出。随后，这种操作被重复导致环回(循环)。这导致被称为回声的现象，在该现象中例如一方能听到象回声一样自己的讲话声，并且还能听到来自一个讲话者的混合的另一方的音频讲话。此外，就此而言，增大该回声的声音水平导致上述循环无限重复，从而导致被称作啸叫的现象。这样，基于扬声器的电话系统遇到了由于回声或啸叫导致呼叫音频质量降低和难以使用呼叫系统的问题。

因此，已知基于扬声器的电话系统具有被称作回声消除器的音频信号处理系统等。

已知采用自适应滤波系统作为这种回声消除器。

该自适应滤波系统获得在扬声器和麦克风之间发送声音(回声路径)的冲击响应，利用要从扬声器发送的声音作为输入信号，并且将上述冲击响应与该输入信号卷积来生成伪回声声音的信号分量作为输出信号。随后，该回声声音的信号分量被麦克风采集，并且被从要发送到另一方一侧的通信终端设备的音频信号中减去。在自适应滤波系统的操作的这种收敛状态中，消除了回声声音的音频被发送到另一方一侧的通信终端设备，从而在从扬声器发出的声音中移除(消除)了该一方讲话的声音的回声声音。

另外，在信号处理电路、传输路径等位于从回声消除器的输入到扬声器的信号路径和从麦克风到回声消除器的信号路径中的至少一条中的情形下，该信号处理电路或传输路径导致了传输延迟。取决于该传输延迟，在输入信号被输入到回声消除器的定时和由麦克风采集并获得的回声声音的信号分量被输入到该回声消除器的定时之间可能出现较大的时间差，并且可能阻碍执行适当的回声消除操作。

因此，专利文献1公开了一种配置，在该配置中延迟电路被插入到作为要从扬声器输出声音的接收呼叫信号被作为输入信号输入到回声消除器所沿的路径中，使得在该延迟电路中设置了与上述传输延迟相对应的延迟时间。利用这种配置，可以吸收上述时间差。

专利文献1：日本未实审专利申请公布No.8-274689。

然而，根据上述专利文献1中的内容，除了关于信号处理电路中或者位于从回声消除器的输入到扬声器的信号路径或从麦克风到回声消除器的信号路径中的传输延迟时间的前述知识外，还根据该传输延迟时间在延迟电路中设置延迟时间。随后，在后续处理中，设计了延迟电路来根据预先设置的固定延迟时间来进行操作。

即，在专利文献1中，在假设位于从回声消除器的输入到扬声器的信号路径或从麦克风到回声消除器的信号路径中的信号处理电路、传输路径等是已知的情况下，设置了延迟时间。然而，换言之，这意味着在不能指定要作为上述信号处理电路等连接的部分的情形中，传输延迟是未定的，因此不能在延迟电路中设置适当的延迟时间。在该情形中，存在不能实现有效的回声消除效果的问题。

发明内容

因此，本发明考虑到上述问题提供了一种如下配置的音频信号处理装置。

即，该音频信号处理装置被配置来包括：信号延迟装置，用于在接收到已经历了第一处理路径中的预定处理级的第一信号时，将所述第一信号延迟设置的延迟时间并输出所述第一信号，其中该第一处理路径用于执行直到从通信的另一方一侧发送的音频信号被接收到并从扬声器作为声音发出为止涉及的预定处理；消除处理装置，用于通过获得从所述信号延迟装置输出的信号作为输入信号，来执行从已经历了第二处理路径中的预定处理级的第二信号中移除作为消除目标的、由麦克风采集的、从所述扬声器发出的声音的信号分量的处理，其中该第二处理路径用于执行直到所述麦克风采集的声音被发送到通信的另一方一侧为止涉及的预定处理；时间差确定装置，用于确定直到所述第一信号被从所述扬声器发出、被所述麦克风采集、并作为形成所述第二信号的信号分量出现为止的时间差；以及延迟时间设置装置，用于基于所述时间差确定装置获取的时间差来设置所述信号延迟装置的延迟时间。

另外，本发明公开了一种用于音频信号处理装置的延迟时间设置方法，该音频信号处理装置包括信号延迟单元和消除处理单元，该信号延迟单元接收已经历了第一处理路径中的预定处理级的第一信号，将所述第一信号延迟设置的延迟时间并输出所述第一信号，其中该第一处理路径用于执行直到从通信的另一方一侧发送的音频信号被接收到并从扬声器作为声音发出为止涉及的预定处理，该消除处理单元通过获得从所述信号延迟单元输出的信号作为输入信号，来执行从已经历了第二处理路径中的预定处理级的第二信号中移除作为消除目标的、由麦克风采集的、从所述扬声器发出的声音的信号分量的处理，其中该第二处理路径用于执行直到所述麦克风采集的声音被发送到通信的另一方一侧为止涉及的预定处理，该方法特征在于被配置来执行：在所述扬声器和所述麦克风被放置为使得从所述扬声器发出的声音被所述麦克风采集所沿的路径的物理距离尽可能短的状态下，时间差确定过程，用于确定直到所述第一信号被从所述扬声器发出、被所述麦克风采集、并作为形成所述第二信号的信号分量出现为止的时间差；以及延迟时间设置过程，用于基于在所述时间差确定过程中获取的时间差来设置所述信号延迟单元的延迟时间。

上述配置中的每个都是基于这样的假设：存在用于执行直到从通信的另一方一侧发送的音频信号被接收到并从扬声器作为声音发出为止涉及的预定处理的第一处理路径、以及用于执行直到所述麦克风采集的声音被发送到通信的另一方一侧为止涉及的预定处理的第二处理路径。即，假设了基于扬声器的电话的系统。此外，还执行用于从已经历了第二处理路径中的预定处理级的第二信号中移除通过由麦克风采集从扬声器发出的声音而获得的声音的信号分量的处理。即，采用了被称作回声消除器的基本配置。

随后，在该回声消除器中，接收到被信号延迟装置延迟了的第一信号的延迟版本。信号延迟装置的该延迟时间是通过确定直到第一信号被从扬声器发出、被麦克风采集、并作为形成第二信号的信号分量出现为止导致的时间差，并基于该时间差设置的。

即，在所要求的发明中，为回声消除器的输入信号设置的延迟时间被可变地设置为适应直到第一信号被从扬声器发出、被麦克风采集、并作为形成第二信号的信号分量出现为止的传输路径的时间差。在这里，为了简化说明，如果考虑到在上述路径中麦克风和扬声器之间的空间距离的最小值理想情况下为0，则上述时间差等价于直到第一信号被从扬声器发出的处理路径的传输延迟和直到被麦克风采集的声音作为第二信号被获得的处理系统路径的延迟的和。如果这样，则在所要求的发明中，与位于直到第一信号被从扬声器发出的处理路径中的信号处理电路(和发送电路)以及位于直到由麦克风采集的声音作为第二信号被获得的处理系统路径中的信号处理电路(和发送电路)的传输延迟相对应的延迟时间被自适应地设置。这意味着即使位于直到第一信号被从扬声器发出的处理路径中的信号处理电路和位于直到由麦克风采集的声音作为第二信号被获得的处理路径中的信号处理电路未定，也可以为回声消除器的输入信号设置适当的延迟时间，从而总是可获得适当的回声消除操作。

如上所述，所要求的本发明在基于扬声器的电话系统中的回声消除时可实现适当的回声消除效果，而不管位于直到第一信号被从扬声器发出的处理路径中的信号处理电路和位于直到由麦克风采集的声音作为第二信号被获得的处理系统路径中的信号处理电路如何。另外，因此在使用基于所要求的发明的回声消除器时，也可以提供能被连接到作为上述信号处理电路使用的任何电路的高度灵活的基于扬声器的电话系统。

附图说明

图1是示出了与根据本发明的实施例相对应的视频会议系统中的音频发送/接收系统的示例配置的框图。

图2是示出了该实施例的音频通信终端设备的示例内部配置的框图。

图3是示出了适于音频通信终端设备中的音频信号处理单元的示例配置的图。

图4是示出了延迟时间未定的系统(电路)位于要经回声消除的路径中的情形中的一个特定示例的图。

图5是示出了用作该实施例中的第一示例的音频信号处理单元的示例配置的框图。

图6是示出了用作该实施例中的第二示例的音频信号处理单元的示例配置的框图。

图7是示出了在作为一个实施例用作第一示例的音频信号处理单元被用在立体声声道兼容的音频通信终端设备中的情形中的示例配置的框图。

图8是示出了在作为一个实施例用作第二示例的音频信号处理单元被用在立体声声道兼容的音频通信终端设备中的情形中的示例配置的框图。

标号说明

1(1-1、1-2)…音频通信终端设备

2(2-1、2-2)…麦克风

3(3-1、3-2)…扬声器

11…A/D转换器

12…D/A转换器

13...音频信号处理单元

14…编解码器单元

15…编码器

16…解码器

17…通信单元

18…控制单元

19…操作单元

20…自适应滤波系统

21…自适应滤波器

23…延迟电路

24…测试信号生成电路

25…开关单元

26…延迟时间设置单元

具体实施方式

在用于实施要求保护的发明的最佳模式(下文称作实施例)中，要求保护的本发明被应用到电视会议系统(视频会议系统)的音频发送/接收系统中。

该视频会议系统被配置为通信终端设备被安装在不同地方的各个会议室中，用来将由相机设备拍摄的图像和由麦克风采集的音频发送给另一个通信终端设备，并且接收从另一个通信终端设备发送来的图像和音频并将它们分别从显示设备和扬声器输出。即，该视频会议系统具有互相发送和接收图像的视频发送/接收系统以及互相发送和接收音频的音频发送/接收系统。随后，在本实施例中，上述音频发送/接收系统由用于发送和接收音频的通信终端设备(音频通信终端设备)实现。

图1示出了视频会议系统中的音频发送/接收系统的示例系统配置。

在该情形中，假设彼此远离的两个地点A和B为会议室，并且构成音频发送/接收系统的音频通信终端设备1-1和1-2分别被安装在地点A和B中。这些音频通信终端设备1-1经由与预定通信方案兼容的通信线路彼此连接，并且被设计为能彼此通信。另外，麦克风2-1和2-2以及扬声器3-1和3-2也被分别安装在地点A和B中。麦克风2-1和2-2分别用于采集位于地点A和B的会议参与者的话音，并且被设置在各个地点中的适当位置。扬声器3-1和3-2用于收听其他地点的会议参与者的话音，并且也被设置在各个地点中的适当位置。注意，在下面的说明中，音频通信终端设备、麦克风和扬声器被表示为音频通信终端设备1、麦克风2和扬声器3等等，除非需要专门区分位于不同地点的同一类型的设备。

首先，在地点A中，由麦克风2-1采集并获得的音频信号被输入到音频通信终端设备1-1。音频通信终端设备1-1通过通信线路将该输入音频信号发送到音频通信终端设备1-2。音频通信终端设备1-2接收以上述方式发送的音频信号，将其从扬声器3-2输出。这允许地点B中的会议参与者收听地点A中的会议参与者的话音。

另外，类似地，在地点B中，由麦克风2-2采集并获得的音频被音频通信终端设备1-2发送到音频通信终端设备1-1。在音频通信终端设备1-1中，从扬声器3-1输出接收到的音频信号。

这样，在视频会议系统中的音频发送/接收系统中执行了基于话音的双向通信。这允许例如在一个地点的会议参与者和在另一个地点的会议参与者执行彼此之间的谈话。另外，在这种视频会议系统的情形中，假设在每个地点存在多个会议参与者，并且为此目的扬声器3被提供为使得在每个地点的所有会议参与者都能收听在其他地点的会议参与者的话音。这样，利用扬声器执行双向语音交换的系统也被称作基于扬声器的电话等。

图2示出了音频通信终端设备1的示例配置。为了确认而进行下述描述，图1中所示的音频通信终端设备1-1和1-2被设计为都具有图2所示的配置。

如图所示，音频通信终端设备1被配置为例如包括A/D转换器(ADC)11、D/A转换器(DAC)12、音频信号处理单元13、编解码器单元14、通信单元17、控制单元18和操作单元19。

A/D转换器11接收由麦克风2采集并获得的模拟音频信号，将该模拟音频信号转换成数字信号，并将该数字信号输出到音频信号处理单元13。注意，在下面假定由麦克风2以上述方式采集并获得的、要被发送并输出到音频通信终端设备的音频信号被称作发送(传输)音频信号。

如前所述，基于扬声器的电话系统在被使用时导致了诸如回声或啸叫之类的现象。即，如图2所示，从扬声器3发出到空中的声音作为直接声音和间接声音通过空间传播路径(回声路径)S到达麦克风2。即，从通信的另一方一侧的音频通信终端设备发送并且从扬声器3发出的呼叫的另一方的话音被麦克风2采集，并被再次发送到通信的另一方一侧的音频通信终端设备。另外，同样在通信的另一方一侧，从扬声器发出的声音又被麦克风采集并发送到另一端的音频通信终端设备。即，在基于扬声器的电话系统中，声音在空间中一旦被发出，就会以在音频通信终端设备之间环回的方式被发送和接收。因此，从扬声器发出的声音包括现正讲话的人的语音的类回声版本，且该人能够在一定延迟时间后听到该版本。这就是回声。如果循环被重复了一定次数或者更多次，就导致了啸叫。

因此，基于扬声器的电话系统一般具有回声消除器，回声消除器避免或降低这种回声现象的发生。音频信号处理单元13被配置为具有用作这种回声消除器的信号处理功能。注意，该音频信号处理单元13实际上例如被配置为DSP(数字信号处理器)。另外，下面将描述利用音频信号处理单元13来进行回声消除的配置。

已经过音频信号处理单元13的回声消除处理的发送音频信号被输入到编解码器单元14中的编码器15。编码器15对该输入音频信号根据预定方案执行信号处理(例如音频压缩编码)，并将结果输出到通信单元17。通信单元17被设计来根据预定通信方案通过通信线路将输入发送音频信号输出到另一个音频通信终端设备。

另外，通信单元17接收从另一个音频通信终端设备发送来的发送音频信号，恢复预定压缩编码格式的音频信号，并将所得到的音频信号输出到编解码器单元14中的解码器16。注意，假设通信单元17以此方式接收并解调、并且最终要从扬声器3输出的音频信号被称作再现音频信号。

解码器16执行用于对输入再现音频信号的压缩编码的解调处理，来将再现音频信号转换成预定PCM格式的数字音频信号，并将该数字音频信号输出到音频信号处理单元13。已通过音频信号处理单元13的再现音频信号被D/A转换器12转换成模拟信号，并且此后被输出。该输出再现音频信号最终被从扬声器3输出。

控制单元18被配置为包括例如由CPU、ROM、RAM等配置成的微处理器或微计算机，并且执行音频通信终端设备1中的各种控制过程。

操作单元19总地指示在音频通信终端设备1的主体上提供的各种处理器、以及将与对那些处理器的操作相对应的操作信号输出到控制单元18的操作信号输出单元。注意，该操作单元19可以包括遥控器和被设计来接收从该遥控器发送来的命令信号并将命令信号作为操作信号输出到控制单元18的配置。

接下来，将利用图3来说明在当前情形中可适当地考虑为用作回声消除器的音频信号处理单元13的示例配置。注意在该图中，与音频信号处理单元13一起示出了A/D转换器11、D/A转换器12和编解码器单元14(编码器15和解码器16)。

图3中所示的音频信号处理单元13包括自适应滤波系统20和延迟电路23。自适应滤波系统20包括自适应滤波器21和减法器22。

到自适应滤波系统20的系统输入信号被设计为输入到自适应滤波器21的输入端，并且在该情形中具有从延迟电路23输出的信号被输入的形式。延迟电路23被设计为接收处于从解码器16输出、并向D/A转换器12输入的阶段中的再现音频信号。注意，下面将描述在延迟电路23中设置的延迟时间。

另外，减法器22被提供来使得从处于从A/D转换器11输入到编码器15阶段中的发送音频信号减去自适应滤波器21的输出信号(消除信号)。因此，在自适应滤波系统20中，要输入到减法器22作为处理目标(因为其包括要被消除的信号分量)的信号(期望信号)成为处于从A/D转换器11输出并被输入到编码器15的阶段中的发送音频信号。另外，在从减法器22输出自适应滤波系统20的输出信号的同时，从减法器22输出的要输入到自适应滤波器21的信号被称作误差信号或残余信号。

在该配置中，自适应滤波系统20的自适应滤波器21捕获处于从解码器16输出、并向D/A转换器12输入的阶段中的再现音频信号作为系统输入信号，尽管其已通过了延迟电路23。

尽管未参考附图对自适应滤波器21的内部进行说明，但是自适应滤波器21包括上述系统输入信号经过的要求阶数的FIR(有限冲击响应)数字滤波器，以及能够可变地设置该数字滤波器的系数(滤波器系数)的系数设置电路。自适应滤波器21的输出信号(消除信号)被从上述数字滤波器输出。

随后，自适应滤波器21被设计为利用该系数设置电路来修改和设置要求阶数阶段的系数乘法器的滤波器系数，这是以总是可获得使由上述误差信号指示的残余量最小化的输出信号(消除信号)的方式执行的。

结果，自适应滤波器21的系数向量(对应于根据阶数阶段的系数序列)形成了一冲击响应，该冲击响应表达直到处于被输入到D/A转换器12的阶段中的再现音频信号(第一音频信号)被从扬声器3输出、然后通过空间传播路径S被麦克风2采集、再通过A/D转换器11被输入到自适应滤波系统20的减法器22作为处理目标信号(期望信号：第二信号)为止的传输路径(下面也称作消除声音传输路径)的伪传输函数。也就是说，该操作是根据处理目标信号的当前状态的状态来自适应地消除通过上述消除声音传输路径而获得的声音的信号分量的操作。

随后，从通过了上述传输路径的声音也通过了作为回声路径的空间传播路径S这一事实可见，该声音是基于再现音频信号的回声声音的分量。因此，自适应滤波器21的输出信号(消除信号)可看作再现音频信号的伪回声。在自适应滤波系统20中，减法器22从发送音频信号中减去该再现音频信号的伪回声声音。这样，音频信号处理单元13被设计来执行从发送音频信号中自适应地移除回声声音的分量的操作。随后，音频通信终端设备1被设计来将已移除了回声声音的该分量的音频信号发送到通信的另一方一侧的音频通信终端设备。因此，也从通过发出了通信的另一方一侧的音频通信终端设备接收到的音频信号的扬声器听到的声音中移除了回声。从而，产生了回声消除效果。

另外，音频信号处理单元13以上述方式移除的目标是通过上述消除声音传输路径的声音。首先，如图所示，A/D转换器11作为信号处理部件位于直到由麦克风2采集的声音作为处理目标信号被自适应滤波系统20的减法器22获得为止的路径(第一路径)中。另外，尽管图中未示出，但是除A/D转换器11之外的某一信号处理部件也可能位于该第一路径中。随后，取决于这些信号处理单元执行的信号处理，通过该路径的信号发生了根据该处理时间的传输延迟。在该图中，该传输延迟时间被表示为dlt1。

类似地，还示出了一种状态，在该状态中至少D/A转换器12作为信号处理部件位于直到作为系统输入信号通过延迟电路23输入到自适应滤波系统20的再现音频信号到达扬声器3为止的路径(第二路径)中。此外，除D/A转换器12之外的某一信号处理部件也可以位于该第二路径中。因此，通过第二路径的该信号也发生了根据该处理时间的传输延迟。在该图中，该传输延迟时间被表示为dlt2。

因此，在该情形中，延迟电路23被设计为使得设置了由dlt1+dlt2表示的延迟时间，该延迟时间是通过将上述传输延迟时间dlt1和dlt2相加给出的。

因此，作为系统输入信号，从解码器16输出并将被输入到D/A转换器12一侧的信号被延迟了由dlt1+dlt2表示的时间，并被输入到自适应滤波系统20。结果，仅要求自适应滤波系统20生成仅用于传播经过消除声音传输路径中的空间传播路径S的声音的消除信号。

例如，如果假定从图3所示的音频信号处理单元13的配置中省略了延迟电路23，则要由自适应滤波系统20相应生成的消除信号将是沿上述消除声音传输路径传输的声音，并且因此消除信号应当具有反映传输延迟时间dlt1+dlt2的特性。从该信号处理延迟产生的这种传输延迟时间就回声消除处理而言导致了相当大量的延迟。因此，可能误差难以降低并收敛在一定范围内，并且可能不能实现充分的回声消除性能。另外，可能需要根据传输延迟时间来增大例如由FIR滤波器配置的自适应滤波器21的级数(抽头数)，这例如涉及增大系数计算量，导致需要确保例如大量的资源。这带来了处理负担、成本、电路大小等的增大。

相反，如上所述，利用图3所示的配置，自适应滤波系统20仅对通过消除声音传输路径中的空间传播路径S的声音执行处理，从而可以预期良好的回声消除效果。另外，仅要求自适应滤波器21必需的少量抽头等和简单的计算处理，这对于成本或电路大小来说也是有益的。

然而，在图3所示的配置中，在延迟电路23中设置的延迟时间是固定的，一旦设置了延迟时间就不允许改变它。因此，为了获得适当的回声消除效果，必须预先研究第一路径的传输延迟时间dlt1和第二路径的传输延迟时间dlt2，并基于研究的传输延迟时间dlt1和dlt2来设置延迟电路23的延迟时间。即，必须知道第一路径的传输延迟时间dlt1和第二路径的传输延迟时间dlt2。

然而，在实际中，存在不知道上述传输延迟时间dlt1和dlt2中的至少一个的情形，或者甚至存在上述传输延迟时间dlt1和dlt2中的至少一个随使用环境而改变的情形。

作为一个特定示例，例如在视频会议系统的情形中，可以考虑下述情形。

在视频会议系统中，在会议进行的每个地点，必须显示已从通信的另一方一侧发送来的视频，并且从扬声器发出已从通信的另一方一侧发送来的音频。为了显示视频并从扬声器发出音频，通常使用电视接收机、具有扬声器的显示器等。

即，例如在图4所示的方式中，单个显示器30被设计为使得输入已从通信的另一方一侧发送来并被这里未示出的视频通信终端设备接收并获取的视频信号，并且输入已从与上述相同的通信的另一方一侧发送来并被音频通信终端设备1接收并获取的音频信号。在实践中，可例如通过利用线缆来将显示器30中提供的视频输入端子连接到该视频通信终端设备一侧的视频输出端子、并且类似地将显示器30中提供的音频输入端子连接到该音频通信终端设备1的(模拟)音频输出端子来输入这些信号。

随后，在显示器30中，输入视频信号经历视频输出电路31的用于显示的预定信号处理并被显示单元32显示为图像。另外，音频输出电路33对输入音频信号执行所要求的信号处理、放大等，并且扬声器3被驱动来从扬声器3发出所得到的音频信号作为声音。

在当前情形中，一般来说，电视接收机或诸如显示器之类的显示设备通过执行数字信号处理来执行图像处理。这种数字图像信号处理要求一定量或者更多的处理时间。该处理时间随信号处理过程、方案等而不同，并且因此毫无疑问例如随制造商而不同，并且甚至对于同一制造商可能随型号而不同。另一方面，与数字图像信号处理相比，音频输出处理需要较短的处理时间。然而，必须与视频同步地再现和输出音频(也称作嘴唇同步)。为此，在音频输出处理中，仅将音频信号的定时延迟要求的时间量，以便实现与视频的同步。

随后，例如也在图4所示的显示器30中，视频输出电路31以上述方式执行数字图像信号处理，并且因此在音频输出电路33中，为了嘴唇同步为音频信号设置了一定量的延迟时间并输出该一定量的延迟时间，从而在图示的方式中允许音频输出电路33具有与上述延迟时间的设置相对应的传输延迟时间dlt3。从前面的说明也可理解，该传输延迟时间dlt3随显示器30的制造商、型号等而不同。即，在视频会议系统中使用的显示器或电视接收机未定的情况下，上述传输延迟时间dlt3也是未知的并且是未定的。由于该传输延迟时间dlt3被包括在第二路径中，所以最终第二路径的传输延迟时间dlt2也未定。

这样，在图3的配置中，在第一和第二路径的传输延迟时间dlt1和dlt2中的至少一个未定的情形中，取决于要连接的显示器或电视接收机，延迟电路23中设置的延迟时间必然不合适，这导致不能实现良好的回声消除效果。

因此，作为本实施例，以上述方式音频信号处理单元13被配置为支持即使在传输延迟时间dlt1和dlt2中的至少一个未定的情形中也总是可以获得合适的回声消除操作。作为一个具体的优点，这使得例如不管用于视频/音频输出的显示器或电视接收机的制造商或型号如何，总是可实现良好的回声消除效果。

图5示出了作为根据本实施例的音频信号处理单元13的配置的第一示例。注意，在该图中，与图3中的部分相同的部分用相同的标号标注，并省略了对它们的说明。

与该第一示例相对应的音频信号处理单元13包括图3的配置，并且还包括测试信号生成电路24、开关单元25和延迟时间设置单元26。另外，在该情形中，延迟电路23被设计为具有在外部控制下可变的延迟时间。

在提供了该配置的情况下，在传输延迟时间dlt1和dlt2都未定的环境中，以下面说明的方式执行等价于指定实际传输延迟时间dlt1和dlt2的操作，从而在延迟电路23中设置由dlt1+dlt2表示的适当延迟时间。

当在延迟电路23中设置延迟时间之前，首先，用户放置与音频通信终端设备1一起使用的麦克风2和扬声器3，使得它们面对面以尽可能彼此接近。这是要将消除声音传输路径中的空间传播路径S的路径间隔中的传输延迟尽可能降低到零。理想情况下，传输延迟为0的空间传播路径S会允许消除声音传输路径中的传输延迟仅由通过诸如信号处理电路之类的电路的延迟(称作系统延迟)等形成。

接下来，用户对操作单元19执行预定操作来开始在延迟电路23中设置延迟时间的操作(延迟时间设置模式操作)。根据该操作，首先，控制单元18使开关单元25将端子t2连接到端子t1，从而允许形成其中测试信号生成电路24的输出信号被提供到再现音频信号的路径的状态。此外，控制单元18使测试信号生成电路24开始输出测试信号。

注意，白噪声可用作从该测试信号生成电路24输出的这种测试信号。白噪声在所有频带上具有一致的强度，尤其适于冲击响应测量。然而，测试信号并不仅限于白噪声，并且另外例如可以适当地采用TSP(时间伸展脉冲)信号等，因为这种信号在所有频带上也具有一致的强度。

另外，控制单元18将延迟电路23的延迟时间设置为0。即，系统输入信号在未被延迟的情况下被输入到自适应滤波系统20的自适应滤波器21。这可以省略延迟电路23，并且可以实现与自适应滤波系统20直接接收测试信号的电路形式相同的电路形式。注意，也可以设想这样的配置，在该配置中，利用例如开关等在延迟电路23的输入级中的信号沿着通过延迟电路23的路径和该信号沿着绕过延迟电路23的路径之间执行切换，并且在延迟时间设置模式操作的时刻，利用允许信号绕过延迟电路23的路径将该信号输入到自适应滤波器21。

随后，在此条件下，控制单元18被设计为激活自适应滤波系统20、A/D转换器11和D/A转换器12。

另外，为了确认而进行下述描述，如参考图4所示，在某一音频再现电路位于音频通信终端设备1和扬声器3之间的情形中，该音频再现电路也被激活。

在上述操作状态下，从测试信号生成电路24输出的测试信号经由开关单元25被输入到D/A转换器12。这允许该测试信号作为声音从扬声器3发出，再被麦克风2采集，然后经由A/D转换器11被输入到自适应滤波系统20的减法器22。

另外，该测试信号被输入到D/A转换器12，并且被分支并被从延迟电路23输入到自适应滤波系统20(自适应滤波器21)。此时，自适应滤波系统20设置自适应滤波器21的系数向量作为减法器22的输出信号(误差信号)，该系数向量使测试信号分量最小化。

可变地设置自适应滤波器21中的系数向量的操作可看作等价于测量与直到输入到自适应滤波器21的信号出现在减法器22中为止的路径(消除声音传输路径)的传输函数相对应的冲击响应。这样，该设置的系数向量对应于冲击响应的该出现时间。即，如果该冲击响应的出现时间较早，则在接近输入的前向侧中的级(抽头)中获得该系数向量中的能量峰值。相反，如果该冲击响应的出现时间较晚，则在远离输入的后向侧中的级中获得该系数向量中的能量峰值。因此，该冲击响应的出现时间段基本对应于直到该信号出现在消除声音传输路径中为止的路径中的传输延迟。因此，随着在消除声音传输路径中获得的传输延迟降低，该系数向量中的能量峰值驻留在前向级中，而随着传输延迟增大，能量峰值驻留在后向级中。

即，此时获得的系数向量可看作代表了下述路径(消除声音传输路径)中的时间差(传播时间差)，该路径是直到在作为该消除声音传输路径的起点的D/A转换器12的输入级处的信号(第一信号)被从扬声器发出、被麦克风采集、再作为形成输入到作为终点的减法器22的处理目标信号(第二信号)的信号分量而出现为止的路径。

此外，在该延迟时间设置操作模式中，如前所述由于麦克风2和扬声器3被放置为彼此尽可能接近，因此空间传播路径S的传输延迟(传输函数)可以忽略，因此消除声音传输路径中的传输延迟仅仅是系统延迟。另外，在该操作模式中，输入到自适应滤波器21的系统输入信号的路径具有与绕过延迟电路23的电路形式等价的电路形式。

如果这样，在自适应滤波系统20在延迟时间设置操作模式中收敛的状态中的自适应滤波器21的系数向量具有仅与消除声音传输路径中的系统延迟时间相对应的能量的峰值位置。即，由当前系数向量所指示的消除声音传输路径的起点和终点之间的传播时间差对应于系统延迟时间。因此，在该情形中，延迟时间设置单元26被设计为从自适应滤波器21获取以此方式获得的系数向量的内容，并且基于由该系数向量所指示的能量的峰值位置来利用预定函数执行例如计算等，以确定与该系数向量相对应的传输延迟时间。也就是说，以此方式获得的传输延迟时间是由dlt1+dlt2表示的系统延迟时间。随后，延迟时间设置单元26被设计为在延迟电路23中设置与所确定的系统延迟时间相对应的延迟时间。

这允许在延迟电路23中设置由dlt1+dlt2表示的延迟时间。然而，在该情形中，例如参考图4所述，延迟时间dlt1+dlt2可能包含未定的传输延迟时间dlt3。即，取决于本实施例的延迟时间设置操作，即使在传输延迟时间未知的电路(传输路径)位于消除声音传输路径中时，也可适当地确定包括该电路(传输路径)的传输延迟时间在内的消除声音传输路径中的系统延迟时间，并且可以在延迟电路23中设置相应的延迟时间。

注意，为了确认而进行下述描述，取决于本实施例的延迟时间设置操作，如图4中所示，在未定的传输延迟时间dlt3被包括在从D/A转换器12输入到扬声器3的传输路径的dlt2中的情形中，以及在未定的传输延迟时间dlt3被包括在从麦克风2到减法器22的输入的传输路径的传输延迟时间dlt1的情形中，都可以仅指定消除声音传输路径中的系统延迟时间。此外，即使在传输延迟时间dlt2和dlt3二者都包括未定的传输延迟时间的情形中，也可以以类似的方式仅指定消除声音传输路径中的系统延迟时间。

随后，以上述方式在延迟电路23中设置延迟时间，从而结束该延迟时间设置操作模式。在该模式结束时，控制单元18将开关单元25切换到端子t3被连接到端子t1的状态，使得进入来自解码器16的再现音频信号可被输入到延迟电路23和D/A转换器12的状态中。另外，控制单元18停止来自测试信号生成电路24的测试信号的输出操作。另外，同样在后续处理中，在延迟电路23中连续设置在该当前延迟时间设置操作中设置的延迟时间。

随后，在后续处理中，用户根据用于会议的环境来重新将麦克风2和扬声器3布置到适当的位置，并且以常用方式利用本实施例的音频通信终端设备1来进行会议等。此时，延迟电路23将延迟了在上述延迟时间设置操作中设置的延迟时间的再现音频信号作为系统输入信号输出。此时，自适应滤波系统20仅对根据麦克风2和扬声器3的实际布置位置的空间传播路径(回声路径)S的传输函数执行用于回声消除的自适应处理。

随后，将参考图6说明作为根据本实施例的音频信号处理单元13的配置的第二示例。注意在该图中，与图5中的部分相同的部分用相同的标号标注，并且省略了对它们的说明。

在该第二示例中，替代输入指示来自自适应滤波器21的系数向量的信息，要被输入到减法器22的发送音频信号和到延迟电路23的输入信号(再现音频信号)中的每个被分支并被输入到延迟时间设置单元26中。

在该第二示例中，例如，在根据用户操作设置延迟时间设置操作模式时，首先，以与第一示例类似的方式，麦克风2和扬声器扬声器3被面对面放置以尽可能彼此接近，另外，开关单元25的端子t1和t2被彼此连接，以输出来自测试信号生成电路24的测试信号。然而，从下面的说明可理解，在第二示例的延迟时间设置操作模式中，没必要使自适应滤波器21工作。另外，与此有关，也无需专门将延迟电路23的延迟时间设置到0。

在如上述延迟时间设置操作模式的电路形式中，从测试信号生成电路24输出的测试信号被输入到D/A转换器12，并且在同一定时被输入到延迟时间设置单元26。在这里该输入信号被称作第一参考输入信号。另外，来自测试信号生成电路24的测试信号被沿后续再现音频信号路径传输，通过D/A转换器12从扬声器3作为声音发出，再被麦克风2采集。该测试信号被沿发送音频信号路径传输，并经A/D转换器11被输入到减法器22。在同一定时，该测试信号被输入到延迟时间设置单元26。该测试信号被称作第二参考输入信号。

第一和第二参考输入信号以上述方式被输入到延迟时间设置单元26。这意味着输入了在消除声音传输路径的起点处获得的信号和在终点处获得的信号。因此，延迟时间设置单元26被设计来确定形成为第一参考输入信号的预定波形的测试信号被输入的定时和同一测试信号的波形被作为第二参考输入信号输入的定时之间的时间差。第一参考输入信号是被分支并输入到延迟电路23和D/A转换器12的信号，而第二参考输入信号是从A/D转换器11输出并被输入到减法器22的信号。因此，也就是说，上述时间差是系统传输延迟时间。因此，延迟时间设置单元26被设计为在延迟电路23中设置与该确定的时间差相对应的延迟时间。

注意，第二示例中的延迟时间设置单元26被配置为以上述方式确定第一参考输入信号被延迟并作为第二参考输入信号出现的情形中的时间差。因此，可以利用一无周期性的信号(例如白噪声)来作为测试信号以生成下面的互相关函数，并且使其输出最大化的τ(＝τxy)可用作延迟时间：

φxy(τ)＝∑x(n)*y(n+τ)，(n＝0，...，N-1)

或者，也可以利用例如具有与脉冲声音等相对应的波形的音频信号作为测试信号来更简单地测量延迟时间。

在以上述方式在延迟电路23中设置了延迟时间后，控制单元18确定延迟时间设置操作模式。此时，以与第一示例类似的方式，开关单元25被切换到端子t1和t3彼此连接的状态，以使得停止来自测试信号生成电路24的测试信号的的输出。随后，同样在后续处理中，在延迟电路23中连续设置在该当前延迟时间设置操作中设置的延迟时间。

同样在第二示例中，这允许自适应滤波系统20仅对根据麦克风2和扬声器3的实际布置位置的空间传播路径(回声路径)S的传输函数执行用于回声消除的自适应处理。

另外，在前述实施例中，在假设发送和接收非立体声声道音频的最基本配置被用作音频声道配置的情况下进行了说明。然而，在实践中，还知道在视频会议系统等中发送和接收L(左)和R(右)立体声声道音频。

因此，作为另一个实施例，将说明作为本实施例的音频信号处理单元13被应用在配置来执行立体声声道发送和接收的音频通信终端设备1的示例配置。首先，将说明采用作为第一示例的音频信号处理单元13的配置的情形。

图7示出了在立体声声道兼容音频通信终端设备1中采用上述第一示例的音频信号处理单元13的示例配置。注意在该图中，与图5中相同的部分用相同的标号标注，并且省略了对它们的说明。另外，在该图中，省略了对控制单元18和从该控制单元18到自适应滤波器21、延迟电路23、测试信号生成电路24、开关单元25和延迟时间设置单元26等的控制信号(在图5中用虚线示为箭头)。

同样如图7所示，在立体声声道视频会议系统中，提供了分别与L和R声道相对应的两个麦克风2L和2R，并且相应地还提供了分别与L和R声道相对应的两个扬声器3L和3R作为扬声器。

这样，音频通信终端设备1首先包括与上述两个麦克风2L和2R相对应的两个A/D转换器11L和11R。A/D转换器11L将麦克风2L采集并获得的音频信号转换成数字信号并输出该数字信号，A/D转换器11R将麦克风2R采集并获得的音频信号转换成数字信号并输出该数字信号。

在该情形中，音频信号处理单元13具有四个自适应滤波系统20LL、20RL、20LR和20RR。注意，假设形成那些自适应滤波系统20LL、20RL、20LR和20RR的自适应滤波器21LL、21RL、21LR和21RR，减法器22LL、22RL、22LR和22RR，以及在自适应滤波器21LL、21RL、21LR和21RR的输入端子之前提供的延迟电路23LL、23RL、23LR和23RR的连接形式与图5和6的类似。

从与L声道相对应的A/D转换器11L输出的发送音频信号被分支并输入到自适应滤波系统20LL和20RL中的减法器22LL和22RL。另外，从减法器22LL和22RL输出的信号被加法器27L相加并合并，并且所得到的信号被输入到编码器15L作为L声道的发送音频信号。

另外，从与R声道相对应的A/D转换器11R输出的发送音频信号被分支并输入到自适应滤波系统20LR和20RR中的减法器22LR和22RR。另外，从减法器22LR和22RR输出的信号被加法器27R相加并合并，并且所得到的信号被输入到编码器15R作为R声道的发送音频信号。

在该情形中，编码器15执行立体声声道兼容音频压缩编码处理。即，编码器15对L和R声道的输入音频信号进行压缩和编码，来生成预定立体声格式的、单个经压缩编码的音频信号，并将该音频信号输出到通信单元17。

另外，在该情形中，解码器16接收立体声格式的经压缩编码的音频信号，该音频信号是从另一方一侧的音频通信终端设备发送来并且通过通信单元17的接收和解调而获得的，该解码器16执行解码过程，并输出例如预定PCM信号格式的L和R声道的再现音频信号。

L声道的再现音频信号被输出到与L声道相对应的D/A转换器12L。另外，与其一起，该L声道的再现音频信号还被输出到开关单元25的端子t3。在开关单元25中的端子t3连接到端子t1的情形中，L声道的再现音频信号通过该开关单元25被输入到延迟电路23LL。另外，该L声道的再现音频信号还被输出到与自适应滤波系统20LR相对应的延迟电路23LR。

另外，R声道的再现音频信号被输出到与R声道相对应的D/A转换器D/A转换器12R，并且还被输出到与自适应滤波系统20RL相对应的延迟电路23RL和与自适应滤波系统20RR相对应的延迟电路23RR。

在图7所示的该立体声声道兼容基于扬声器的电话系统的配置中，作为空间传播路径S，存在从L声道的扬声器3L到达L声道的麦克风2L的空间传播路径Sll、从R声道的扬声器3R到达L声道的麦克风2L的空间传播路径Srl、从L声道的扬声器3L到达R声道的麦克风2R的空间传播路径Slr、以及从R声道的扬声器3R到达R声道的麦克风2R的空间传播路径Srr。

这样，包括自适应滤波系统20LL和延迟电路23LL的电路单元、包括自适应滤波系统20RL和延迟电路23RL的电路单元、包括自适应滤波系统20LR和延迟电路23LR的电路单元、以及包括自适应滤波系统20RR和延迟电路23RR的电路单元被设计来分别用于消除通过空间传播路径Sll、Srl、Slr和Srr产生的回声声音。

即，包括自适应滤波系统20LL和延迟电路23LL的电路单元被设计来捕获作为系统输入信号的L声道的再现音频信号，并将作为处理目标信号的L声道的发送音频信号输入到减法器22LL，从而消除沿空间传播路径Sll传播的回声声音的分量。

另外，包括自适应滤波系统20RL和延迟电路23RL的电路单元被设计来捕获作为系统输入信号的R声道的再现音频信号，并将作为处理目标信号的L声道的发送音频信号输入到减法器22RL，从而消除沿空间传播路径Srl传播的回声声音的分量。

随后，从上述电路单元的减法器22LL和22LR输出的音频信号被加法器27L相加并合并，从而从加法器27L输出已移除了沿空间传播路径Sll和Srl传播的回声声音的分量的发送音频信号。

另外，包括自适应滤波系统20LR和延迟电路23LR的电路单元被设计来捕获作为系统输入信号的L声道的再现音频信号，并将作为处理目标信号的R声道的发送音频信号输入到减法器22LR，从而消除沿空间传播路径Slr传播的回声声音的分量。

另外，包括自适应滤波系统20RR和延迟电路23RR的电路单元被设计来捕获作为系统输入信号的R声道的再现音频信号，并将作为处理目标信号的R声道的发送音频信号输入到减法器22RR，从而消除沿空间传播路径Srr传播的回声声音的分量。

随后，从上述单电路元的减法器22LR和22RR输出的音频信号被加法器27R相加并合并，从而从加法器27R输出已移除了沿空间传播路径Slr和Srr传播的回声声音的分量的发送音频信号。

除此之外，在图7所示的该配置中，还提供了与图5中类似的一组测试信号生成电路24、开关单元25和延迟时间设置单元26。

在该情形中，延迟时间设置单元26被提供来捕获有关四个自适应滤波系统20LL、20RL、20LR和20RR中的自适应滤波系统20LL的自适应滤波器21LL中设置的系数向量的信息。与此相对应，开关单元25被设计为将端子t1连接到延迟电路23LL，并将端子t3连接到L声道的再现音频信号线。端子t2被连接到例如测试信号生成电路24的测试信号输出。除此之外，在该情形中，延迟时间设置单元26被配置为将用于设置延迟时间的控制信号分支，并输出到延迟电路23LL以及其他三个延迟电路23RL、23LR和23RR。

例如，在考虑立体声兼容单元作为图4所示的音频输出电路33位于其中的情形中，可以认为该音频输出电路33中的传输延迟时间dlt3在L和R声道之间相同。其原因在于：例如就音频输出定时被与视频输出电路31一侧的视频输出定时同步以进行嘴唇同步的含义而言(即，给定延迟时间)，必须对L声道音频和R声道音频给出相同的延迟时间。另外，可以认为A/D转换器11L和11R中的每个的传输延迟时间以及D/A转换器12L和12R中的每个的传输延迟时间彼此相同。注意下述事实，如果与L和R声道之一相对应地指定了系统延迟时间，即，仅对于包括空间传播路径Sll、Srl、Slr和Srr之一的消除声音传输路径，可以认为该系统延迟时间也以类似的方式存在于其他三条消除声音传输路径中。即，这隐含着如果确定了与一条消除声音传输路径中的延迟系统相对应的延迟电路的延迟时间，则可在这四个延迟电路23LL、23RL、23LR和23RR中的每一个中共同设置该延迟时间。

因此，图7的配置被设计为使得针对包括空间传播路径Sll的消除声音传输路径确定与系统延迟时间相对应的系数向量，并且在四个延迟电路23LL、23RL、23LR和23RR中共同设置基于该系数向量而获得的延迟时间。另外，在以此方式设置了延迟时间的音频通信终端设备1中，可以正确地执行后续的回声消除操作。

并且，这种配置不再需要包括与这四个自适应滤波系统20中的每个相对应地提供的测试信号生成电路24、开关单元25和用于设置延迟时间的延迟时间设置单元26的电路单元。

注意，为了确认而进行下述描述，为了允许图7的配置中的音频通信终端设备1执行对延迟时间的设置，用户将L声道的麦克风2L和扬声器3L布置为彼此尽可能接近。

图8是示出了先前图6中所示的第二示例被应用到立体声声道兼容音频通信终端设备1中的音频信号处理单元13的示例配置的框图。注意在该图中，与图6和7中的部分相同的部分用相同的标号标注，并且省略了对它们的说明。

在该图中，包括自适应滤波系统20LL和延迟电路23LL的电路单元具有与第二示例中的配置相对应的、用于设置延迟时间的电路单元(测试信号生成电路24、开关单元25和延迟时间设置单元26)。

随后，在该情形中，延迟时间设置单元26被设计来确定作为与L声道相对应的再现音频信号的第一参考输入信号与作为L声道的发送音频信号的第二参考输入信号之间的时间差。该时间差是包括空间传播路径Sll的消除声音传输路径中的系统延迟时间，根据前面的描述，该时间差也是其他三条消除声音传输路径中的系统延迟时间。随后，延迟时间设置单元26被设计为在延迟电路23LL、23RL、23LR和23RR中的每一个中共同设置与所确定的时间差相对应的延迟时间。同样在以此方式设置了延迟时间的音频通信终端设备1中，可以正确执行后续回声消除操作。

注意，例如，作为用作自适应滤波器21(21LL、21RL、21LR、21RR)的自适应算法以及迄今已知的及将来的自适应算法，可以选择现在提出的技术之一，这都是合适的。

另外，在前面的实施例中，已说明了作为回声消除器的音频信号处理单元13执行数字信号处理的情形。例如，要求保护的本发明还可应用在类似回声消除操作的至少一部分由模拟电路配置的情形中。

另外，尽管对前面的实施例的说明是基于两个音频通信终端设备1-1和1-2在视频会议系统中以一对一的关系彼此通信的假设的，但是这是考虑到说明简单的情况下作为视频会议系统的最简单的示例。因此，在实践中，也可以设想由三个或更多个允许一对多通信的音频通信终端设备建立的视频会议系统。甚至在这种系统配置中，也可以将基于所要求的本发明的配置应用到独立的音频通信终端设备。

另外，在音频通信终端设备1中对发送音频信号和再现音频信号的处理主要是基于数字信号处理的。然而，被执行数字信号处理的发送音频信号和再现音频信号的格式并不受到具体限定。例如，在输出再现音频信号的情形中，根据该情形也可以想到通过D类放大来再现Δ∑调制的比特流格式的音频信号的配置。

另外，一个实施例提供了用于视频会议系统中的音频发送/接收的音频通信终端设备作为示例，但是也可被应用到能被认为是基于扬声器的电话系统的其他装置中，例如音频会议系统或电话设备中的免提电话功能。

权利要求书(按照条约第19条的修改)

1.一种音频信号处理装置，特征在于包括：

信号延迟装置，用于在接收到已经历了第一处理路径中的预定处理级的第一信号时，将所述第一信号延迟设置的延迟时间并输出所述第一信号，其中该第一处理路径用于执行直到从通信的另一方一侧发送的音频信号被接收到并从扬声器作为声音发出为止涉及的预定处理；

消除处理装置，用于通过获得从所述信号延迟装置输出的信号作为输入信号，来执行从已经历了第二处理路径中的预定处理级的第二信号中移除作为消除目标的、由麦克风采集的、从所述扬声器发出的声音的信号分量的处理，其中该第二处理路径用于执行直到所述麦克风采集的声音被发送到通信的另一方一侧为止涉及的预定处理；

时间差确定装置，用于确定直到所述第一信号被从所述扬声器发出、被所述麦克风采集、并作为形成所述第二信号的信号分量出现为止的时间差；以及

延迟时间设置装置，用于基于所述时间差确定装置获取的时间差来设置所述信号延迟装置的延迟时间，

其中所述信号延迟装置设置与某一处理时间相对应的延迟时间，该处理时间是与从所述通信的另一方一侧发送的所述音频信号同时发送的图像信号的信号处理所要求的处理时间。

2.如权利要求1所述的音频信号处理装置，特征在于所述消除处理装置被配置为包括自适应滤波器，该自适应滤波器工作来基于所述输入信号和残余信号使包括在所述第二信号中的、作为所述消除目标的所述声音的信号分量最小化，并且

所述时间差确定装置被配置来获得当所述消除处理装置捕获被设计来绕过所述信号延迟装置的输入信号时在所述自适应滤波器中设置的系数向量，作为有关所述时间差的信息。

3.如权利要求1所述的音频信号处理装置，特征在于所述时间差确定装置被配置来直接接收所述第一信号和所述第二信号，并且获得所述第一信号的输入定时和所述第二信号的输入定时之间的时间差作为要确定的时间差。

4.一种用于音频信号处理装置的延迟时间设置方法，该音频信号处理装置包括信号延迟单元和消除处理单元，该信号延迟单元接收已经历了第一处理路径中的预定处理级的第一信号，将所述第一信号延迟设置的延迟时间并输出所述第一信号，其中该第一处理路径用于执行直到从通信的另一方一侧发送的音频信号被接收到并从扬声器作为声音发出为止涉及的预定处理，该消除处理单元通过获得从所述信号延迟单元输出的信号作为输入信号，来执行从已经历了第二处理路径中的预定处理级的第二信号中移除作为消除目标的、由麦克风采集的、从所述扬声器发出的声音的信号分量的处理，其中该第二处理路径用于执行直到所述麦克风采集的声音被发送到通信的另一方一侧为止涉及的预定处理，该方法特征在于被配置来在所述扬声器和所述麦克风被放置为使得从所述扬声器发出的声音被所述麦克风采集所沿的路径的物理距离尽可能短的状态下执行以下过程：

时间差确定过程，用于确定直到所述第一信号被从所述扬声器发出、被所述麦克风采集、并作为形成所述第二信号的信号分量出现为止的时间差；以及

延迟时间设置过程，用于基于在所述时间差确定过程中获取的时间差来设置所述信号延迟单元的延迟时间。

5.如权利要求4所述的延迟时间设置方法，特征在于

所述消除处理单元包括自适应滤波器，该自适应滤波器工作来基于所述输入信号和残余信号使包括在所述第二信号中的、作为所述消除目标的所述声音的信号分量最小化，并且

所述时间差确定过程被被配置来获得当所述消除处理装置捕获被设计来绕过所述信号延迟装置的输入信号时在所述自适应滤波器中设置的系数向量，作为有关所述时间差的信息。

6.如权利要求4所述的延迟时间设置方法，特征在于

所述时间差确定过程被配置来直接接收所述第一信号和所述第二信号，并且获得所述第一信号的输入定时和所述第二信号的输入定时之间的时间差作为要确定的时间差。

Claims (4)

1.一种音频信号处理装置，特征在于包括：

信号延迟装置，用于在接收到已经历了第一处理路径中的预定处理级的第一信号时，将所述第一信号延迟设置的延迟时间并输出所述第一信号，其中该第一处理路径用于执行直到从通信的另一方一侧发送的音频信号被接收到并从扬声器作为声音发出为止涉及的预定处理；

消除处理装置，用于通过获得从所述信号延迟装置输出的信号作为输入信号，来执行从已经历了第二处理路径中的预定处理级的第二信号中移除作为消除目标的、由麦克风采集的、从所述扬声器发出的声音的信号分量的处理，其中该第二处理路径用于执行直到所述麦克风采集的声音被发送到通信的另一方一侧为止涉及的预定处理；

时间差确定装置，用于确定直到所述第一信号被从所述扬声器发出、被所述麦克风采集、并作为形成所述第二信号的信号分量出现为止的时间差；以及

延迟时间设置装置，用于基于所述时间差确定装置获取的时间差来设置所述信号延迟装置的延迟时间。

2.如权利要求1所述的音频信号处理装置，特征在于所述消除处理装置被配置为包括自适应滤波器，该自适应滤波器工作来基于所述输入信号和残余信号使包括在所述第二信号中的、作为所述消除目标的所述声音的信号分量最小化，并且

所述时间差确定装置被配置来获得当所述消除处理装置捕获被设计来绕过所述信号延迟装置的输入信号时在所述自适应滤波器中设置的系数向量，作为有关所述时间差的信息。

3.如权利要求1所述的音频信号处理装置，特征在于所述时间差确定装置被配置来直接接收所述第一信号和所述第二信号，并且获得所述第一信号的输入定时和所述第二信号的输入定时之间的时间差作为要确定的时间差。

4.一种用于音频信号处理装置的延迟时间设置方法，该音频信号处理装置包括信号延迟单元和消除处理单元，该信号延迟单元接收已经历了第一处理路径中的预定处理级的第一信号，将所述第一信号延迟设置的延迟时间并输出所述第一信号，其中该第一处理路径用于执行直到从通信的另一方一侧发送的音频信号被接收到并从扬声器作为声音发出为止涉及的预定处理，该消除处理单元通过获得从所述信号延迟单元输出的信号作为输入信号，来执行从已经历了第二处理路径中的预定处理级的第二信号中移除作为消除目标的、由麦克风采集的、从所述扬声器发出的声音的信号分量的处理，其中该第二处理路径用于执行直到所述麦克风采集的声音被发送到通信的另一方一侧为止涉及的预定处理，该方法特征在于被配置来在所述扬声器和所述麦克风被放置为使得从所述扬声器发出的声音被所述麦克风采集所沿的路径的物理距离尽可能短的状态下执行以下过程：

时间差确定过程，用于确定直到所述第一信号被从所述扬声器发出、被所述麦克风采集、并作为形成所述第二信号的信号分量出现为止的时间差；以及

延迟时间设置过程，用于基于在所述时间差确定过程中获取的时间差来设置所述信号延迟单元的延迟时间。

Images