CN1224187C - 回声处理装置 - Google Patents

回声处理装置 Download PDF

Info

Publication number
CN1224187C
CN1224187C CN02142858.1A CN02142858A CN1224187C CN 1224187 C CN1224187 C CN 1224187C CN 02142858 A CN02142858 A CN 02142858A CN 1224187 C CN1224187 C CN 1224187C
Authority
CN
China
Prior art keywords
noise
spectrum
amplitude
echo
frequency spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN02142858.1A
Other languages
English (en)
Other versions
CN1405991A (zh
Inventor
古田训
高桥真哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1405991A publication Critical patent/CN1405991A/zh
Application granted granted Critical
Publication of CN1224187C publication Critical patent/CN1224187C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B3/00—Line transmission systems
    • H04B3/02—Details
    • H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

获得一种回声处理装置，可根据要发送的输入信号的频谱生成自然性高的虚拟背景噪音。回声处理装置包括回声抑制量计算部4、时间·频率变换部5、噪音频谱估计部7、混合部9和频率·时间变换部11。回声抑制量计算部4比较混入了回声信号的要发送的发送输入信号和接收的接收输入信号的状态，根据该比较计算回声抑制量。时间·频率变换部5FFT处理发送输入信号，生成振幅频谱和相位频谱。噪音频谱估计部7从振幅频谱估计噪音频谱。混合部9对应回声抑制量在振幅频谱中混合噪音频谱。频率·时间变换部11根据混合了噪音频谱的振幅频谱和相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号。

Description

回声处理装置
技术领域
本发明涉及在声音通信系统和电视会议装置(televisionconference system)等中降低通信线路和扬声器与麦克风之间的反射线路产生的包含在发送声音信号中的回声的回声处理装置。
背景技术
一般地，为了电视会议装置和汽车车内的免提通话或为了删除通信线路中产生的声响·线路回声而使用回声处理装置(回声删除器)。该回声删除器具有消除回声成分的自适应滤波器和抑制残余回声成分的回声抑制器，通过自适应滤波器消除回声成分后，由回声抑制器抑制处理未消除的回声成分(残余回声成分)的振幅。但是，回声抑制器还抑制了残余回声成分以外的声响的背景噪音信号，因此通话信号中的背景噪音产生断续感，产生通话品质的恶化。这里通过生成虚拟背景噪音并重叠在输出信号上来减轻断续感。
该回声处理装置的一例，例如在特开2000-224081号公报″回声删除器装置″中公开。
图12是表示上述特开2000-224081号公报公开的已有回声处理装置结构的框图。图12中，100是自适应滤波器，120是虚拟背景噪音发生器，131是AFB(分析滤波器组)，132是第一抑制部，133是加法器，134是SFB(合成滤波器组)，135是第二抑制部，136是第一电平估计部，137是第二电平估计部，138是检测部。
接着说明动作。
自适应滤波器100从混入了回声信号的输入信号S[t]中部分消除回声，输出回声消除后的信号U[t]。但是，自适应滤波器100不能完全消除回声，因此该回声消除后的输入信号U[t]包含残余回声信号。
AFB131通过频带分割包含残余回声信号的输入信号U[t]来生成各频带的输入信号U[t，j]，将其提供给第一抑制部132和虚拟背景噪音发生器120。这里，j表示各频带的序号。对于各频带的残余回声，第一抑制部132对残余回声信号施加损耗(Loss1)使其衰减来抑制并消除回声信号。损耗Loss1的计算方法如下。
首先，比较远端说话人声音信号Rin的平均功率Pow(Rin)和输入信号U[t，j]的平均功率Pow(S[j])，如果前者大于后者，则根据式(1)从现有的损耗Loss1减去μ。
Loss1[j]＝Loss1[j]-μ    .............(1)
这里，μ是抑制量的节距值，是常数。
另一方面，平均功率Pow(Rin)如果小于平均功率Pow(S[j])，则根据式(2)向现有的损耗Loss1加上μ。
Loss1[j]＝Loss1[j]+μ    .............(2)
但是，任一情况下，为落入式(3)所示范围，都调整损耗Loss1。
Loss(max)≤Loss1[j]≤0(dB)    .............(3)
这里，Loss(max)是第一抑制部132可提供的最大损耗量。
通过反复以上比较和调整，使损耗Loss1收敛的同时，可根据残余回声的电平控制损耗Loss1。
该过程中，残余回声信号由第一抑制部132抑制并消除大部分的回声信号，但也抑制了重叠在回声信号上的声响的背景噪音信号，这也是通话产生断续感的原因。
另一方面，虚拟背景噪音发生器120估计由AFB131频带分割的信号U[t，j]的背景噪音的电平，生成和背景噪音电平相同电平的虚拟背景噪音N[t，j]。生成的虚拟背景噪音N[t，j]提供给加法器133，由该加法器133把虚拟背景噪音N[t，j]加到由第一抑制部132将回声降低的信号上。此时，相加后的背景噪音电平与虚拟背景噪音电平相同。
加法器133的输出信号O[t，j]按每个频带分离，将其提供给SFB134，由SFB134合成并作为输出信号O[t]输出，还输入到第二抑制部135。
加法器133输出的各频带的输出信号O[t，j]的瞬时电平由第二电平估计部137测定。另外，虚拟背景噪音发生器120输出的各频带的虚拟背景噪音N[t，j]的瞬时电平由第一电平估计部136测定。通过电平估计部136，137二者的测定结果相比，可判断近端说话人声音实际是否存在。
二者的电平估计部136，137的测定结果提供给检测部138，基于此检测部138进行每个频带的有声、无声检测(判断是否实际存在近端说话人的声音)。另外，合成各频带的有声、无声结果，在1个以上的频带检测出有声时，输出表示有声的数字信号[1]，全部的频带检测出无声时，将表示无声的数字信号[0]输出。
检测部138的输出结果输入到第二抑制部135，基于此第二抑制部135决定如下抑制量Loss2，向信号O[t]提供损耗Loss2并使之衰减。
首先，检测部138的检测结果是0(无声)时，根据式(4)向现有的损耗Loss2上加上μ’。
Loss2＝Loss2+μ’    .............(4)
这里，μ’是抑制量的节距值，是绝对值非常小的正常数(例如0.1-0.01dB)。
另一方面，检测部138的检测结果是1(有声)时，根据式(5)使损耗Loss2为0。
Loss2＝0(dB)    .............(5)
从式(4)可知，无声的情况下，可分级增加抑制量并仅抑制背景噪音。相反，在有声的情况下，从式(5)可知，瞬时将抑制量(Loss2)设定为0(dB)来防止声音信号的抑制。
如上所述的已有回声处理装置通过分频滤波器将回声消除后的输入信号分割为各个频带的时间信号，估计背景噪音的各频带的电平，生成具有和背景噪音相同振幅频谱的虚拟背景噪音信号，对通过NLP(非线性处理)处理抑制的信号重叠处理虚拟背景噪音信号，从而减轻背景噪音的断续感。
发明内容
但是，已有的回声处理装置为上述结构，后面混入的虚拟背景噪音通过对每个小频带估计输入信号的背景噪音电平得到和输入信号的背景噪音相同的振幅频谱，但其相位频谱和输入信号的相位频谱不同，具有混合了虚拟背景噪音的最终的输出信号依然导致不自然感和不和谐感等的问题。
本发明目的是可根据要发送的输入信号的频谱生成自然性高的虚拟背景噪音的回声处理装置。
本发明的回声处理装置包括：比较混入了回声信号的要发送的发送输入信号和接收的接收输入信号的状态，根据该比较计算回声抑制量的回声抑制量计算部；将发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；从振幅频谱估计噪音频谱的噪音频谱估计部；对应回声抑制量在振幅频谱中混合噪音频谱的混合部；根据通过混合部混合了噪音频谱的振幅频谱和相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号并输出发送输出信号的频率·时间变换部。
本发明的回声处理装置中，混合部具有对应回声抑制量调整振幅频谱的频谱振幅的振幅调整部。
本发明的回声处理装置具有频谱减法部，从振幅频谱减去噪音频谱乘以频谱减算率的频谱，生成去除噪音振幅频谱，将去除噪音振幅频谱作为振幅频谱提供给混合部。
本发明的回声处理装置包括：比较混入了回声信号的要发送的发送输入信号和接收的接收输入信号的状态，根据该比较计算回声抑制量的回声抑制量计算部；将发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；从振幅频谱估计噪音频谱的噪音频谱估计部；在振幅频谱中混合噪音频谱的混合部；对应回声抑制量扰乱(随机化)相位频谱的相位的相位随机化部；根据通过混合部混合了噪音频谱的振幅频谱和相位随机化部扰乱了相位的相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号并输出发送输出信号的频率·时间变换部。
本发明的回声处理装置中，在回声抑制量计算部算出的回声抑制量比规定值小的情况下，相位随机化部扰乱要发送的发送输入信号的相位频谱中高频区域的相位，随着回声抑制量增大，相位随机化部不仅扰乱高频区域，还扰乱低频区域的相位。
本发明的回声处理装置包括：比较混入了回声信号的要发送的发送输入信号和接收的接收输入信号的状态，根据该比较计算回声抑制量的回声抑制量计算部；将发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；从振幅频谱估计噪音频谱的噪音频谱估计部；在振幅频谱中混合噪音频谱的混合部；对应回声抑制量扰乱振幅频谱的振幅的振幅随机化部；根据通过振幅随机化部扰乱了振幅并且由混合部混合了噪音频谱的振幅频谱和相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号并输出发送输出信号的频率·时间变换部。
本发明的回声处理装置中，在回声抑制量计算部算出的回声抑制量比规定值小的情况下，振幅随机化部扰乱要发送的发送输入信号的振幅频谱中高频区域的振幅，随着回声抑制量增大，振幅随机化部不仅扰乱高频区域，还扰乱低频区域的振幅。
本发明的回声处理装置包括：将混入了回声信号的要发送的发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；从振幅频谱估计噪音频谱的噪音频谱估计部；对应发送输入信号的背景噪音电平扰乱噪音频谱的振幅的噪音振幅随机化部；将噪音振幅随机化部扰乱了振幅的噪音频谱在振幅频谱中混合的混合部；根据通过混合部混合了噪音频谱的振幅频谱和相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号并输出发送输出信号的频率·时间变换部。
本发明的回声处理装置中，在要发送的发送输入信号的背景噪音电平比规定值小的情况下，噪音振幅随机化部扰乱噪音振幅频谱中高频区域的振幅，随着背景噪音电平增大，噪音振幅随机化部不仅扰乱高频区域的振幅，还扰乱低频区域的振幅。
本发明的回声处理装置中，在回声抑制量计算部算出的回声抑制量比规定值大的情况下，混合部向振幅频谱中混合大比例的噪音频谱，在回声抑制量比规定值小的情况下，混合部向振幅频谱中混合小比例的噪音频谱。
本发明的回声处理装置中，在回声抑制量计算部算出的回声抑制量比规定值大的情况下，替代混合部向振幅频谱中混合噪音频谱，而用噪音频谱置换振幅频谱。
本发明的回声处理装置具有：根据接收的接收输入信号和通信路径传输特性或麦克风与扬声器之间的声音传输特性、估计滤波器系数、生成虚拟回声信号的自适应滤波器；通过从混入了回声信号的要发送的发送输入信号减去虚拟回声信号来去除回声信号的减法部，在自适应滤波器的滤波器系数收敛之前的时间里，替代混合部向振幅频谱混合比其他情况大的比例的噪音频谱或向振幅频谱混合噪音频谱，而用噪音频谱置换振幅频谱。
本发明的回声处理装置中，混合部向要发送的发送输入信号的振幅频谱中低频区域的振幅频谱成分中混合大比例的噪音频谱成分，随着变为高频区域，向振幅频谱成分中混合小比例的噪音频谱成分。
本发明的回声处理装置还包括随机选择部，噪音频谱估计部算出多个估计噪音频谱，随机选择部随机选择其中某一估计噪音频谱，作为噪音频谱输出。
本发明的回声处理装置还包括随机选择部，噪音频谱估计部使用慢的更新速度算出第一估计噪音频谱，使用快的更新速度算出第二估计噪音频谱，随机选择部随机选择其中某一估计噪音频谱，作为噪音频谱输出。
本发明的回声处理装置还包括加权加法器，噪音频谱估计部算出多个估计噪音频谱，加权加法器将进行这些多个估计噪音频谱的加权相加得到的加权平均噪音频谱作为噪音频谱输出。
本发明的回声处理装置还包括加权加法器，噪音频谱估计部使用慢的更新速度算出第一估计噪音频谱，使用快的更新速度算出第二估计噪音频谱，加权加法器将进行这些多个估计噪音频谱的加权相加得到的加权平均噪音频谱作为噪音频谱输出。
本发明的回声处理装置中，加权加法器对噪音频谱的每个频谱成分在一定范围内随机设定加权加法器的加权相加中使用的加权系数。
附图说明
图1是表示本发明的实施例1的回声处理装置的结构的框图；
图2是表示图1所示的回声处理装置的混合部的细节的框图；
图3是表示图2所示的混合部的第一振幅调整部使用的第一频率加权系数W1[f]与频率的相关关系的图；
图4是表示图2所示的混合部的第二振幅调整部使用的第二频率加权系数W2[f]与频率的相关关系的图；
图5是为说明图1所示的回声处理装置的平滑部使用的三角波形状的窗口函数Wines[t]而参照的图；
图6是表示图1所示的回声处理装置的发送信号和接收信号的状态与基于此生成的残余回声抑制量以及基于残余回声抑制量的该装置的虚拟背景噪音生成部的动作的定时图；
图7是表示本发明的实施例2的回声处理装置的结构的框图；
图8是表示本发明的实施例4的回声处理装置的结构的框图；
图9是表示本发明的实施例5的回声处理装置的结构的框图；
图10是表示本发明的实施例6的回声处理装置的结构的框图；
图11是表示本发明的实施例7的回声处理装置的结构的框图；
图12是表示已有的回声处理装置的结构的框图。
具体实施方式
下面说明本发明的实施例。
实施例1
图1是表示本发明的实施例1的回声处理装置的结构的框图。图1中，1是回声消除部，2是自适应滤波器，3是减法器(减算部)，4是回声抑制量计算部，5是时间·频率变换部，6是声音·噪音判定部，7是噪音频谱估计部，8是噪音振幅随机化部，9是混合部，10是相位随机化部，11是频率·时间变换部，12是平滑部，30是虚拟背景噪音生成部，40是麦克风，41是扬声器，42是发送电路，43是接收电路，44是分割部。如图1所示，回声处理装置具有回声消除部1、虚拟背景噪音生成部30、回声抑制量计算部4、麦克风40、扬声器41、发送电路42和接收电路43。
图2是表示图1所示的混合部9的内部结构的框图，13是第一振幅调整部，14是第二振幅调整部，15是加法器，16是选择部，17是标准化部。
接着说明动作。
麦克风40根据包含近端说话人声音和背景噪音以及回声的周围声音产生发送输入信号Sd[t]，将其提供给回声消除部1。
接收电路43接收远端说话人声音引起的远端说话人声音信号Rin，基于此生成接收输入信号Rd[t]。接收输入信号Rd[t]提供给扬声器41，基于此扬声器41发声。接收输入信号Rd[t]还提供给回声消除部1和回声抑制量计算部4。
回声消除部1具有自适应滤波器2、减法器3和分割部44。向回声消除部1的减法器3提供发送输入信号Sd[t]。减法器3从发送输入信号Sd[t]减去虚拟回声SE[t]，生成部分消除回声的回声消除后发送输入信号U[t]并将其输出。
该回声消除后发送输入信号U[t]提供给自适应滤波器2。回声消除后发送输入信号U[t]由分割部44分割为具有恒定长度的帧长(例如20ms)的帧，分割的帧提供给虚拟背景噪音生成部30和回声抑制量计算部4。
如上所述，向自适应滤波器2提供回声消除后发送输入信号U[t]和与远端说话人声音关于的接收输入信号Rd[t]。自适应滤波器2使用接收输入信号Rd[t]和回声消除后发送输入信号U[t]估计扬声器41和麦克风40之间的声响回响特性或通信线路回响特性，逐一求出滤波器系数h[n]，同时通过接收输入信号Rd[t]和滤波器系数h[n]生成虚拟回声SE[t]。其中，上述滤波器系数h[n]的估计不收敛的初始状态下，自适应滤波器2不生成虚拟回声SE[t]，接通滤波器初始状态标记EC_init，将其输出到混合部9。初始状态结束后，自适应滤波器2断开滤波器初始状态标记EC_init。
回声消除后发送输入信号U[t]中混入回声中未消除的成分(残余回声)。回声抑制量计算部4求出作为帧分割的回声消除后发送输入信号U[t]和接收输入信号Rd[t]的电平，将其与某阈值分别比较，计算出残余回声抑制量eg(dB)并将其输出。但是，在初始状态下，回声抑制量计算部4不计算残余回声抑制量eg，而输出比24dB大的残余回声抑制量eg。
残余回声抑制量eg是用于抑制回声消除后发送输入信号U[t]中的残余回声信号的振幅的信息，其越高，意味着排除残余回声的性能越高。回声抑制量计算部4输出的残余回声抑制量eg例如像表1所示根据情况(场合)不同。
                         表1
回声消除后发送输入信号U[t]的电平 接收输入信号Rd[t]的电平 残余回声抑制量eg(dB)
电平大(仅近端说话人声音或近端说话人声音和回声) 电平大(有远端说话人声音) 情况1：eg＝6dB(前言不搭后语的话(doubletalk))
电平小(无远端说话人声音) 情况2：eg＝0dB
电平小(没有近端说话人声音或仅回声) 电平大(有远端说话人声音) 情况3：12dB＜eg≤24dB
电平小(无远端说话人声音) 情况4：eg＝0dB(无输入状态)
如表1的情况下，回声消除后发送输入信号U[t]和接收输入信号Rd[t]二者的电平高(超出某阈值)时，是近端说话人和远端说话人二者都说话的前言不搭后语状态。此时(情况1)，近端说话人的装置的残余回声的存在对远端说话人不怎么有影响，因此回声抑制量计算部4不使残余回声抑制量eg为0，而确定为不怎么高的6dB。
另一当面，像情况2那样，回声消除后发送输入信号U[t]增高而接收输入信号Rd[t]降低时，是仅近端说话人说话的状态。此时，残余回声的存在几乎不对远端说话人产生影响，因此回声抑制量计算部4将残余回声抑制量eg确定为0dB。
像情况4那样，回声消除后发送输入信号U[t]和接收输入信号Rd[t]都低时，是近端说话人和远端说话人都不说话的状态。此时，残余回声的存在不对会话造成障碍，因此回声抑制量计算部4将残余回声抑制量eg确定为0dB。
但是，如表1的情况3那样，在回声消除后发送输入信号U[t]低而接收输入信号Rd[t]高时，是仅远端说话人说话的状态，麦克风40检测到远端说话人说话声音的回声，进入远端说话人的耳朵中的可能性高。这种情况下，回声抑制量计算部4对应背景噪音的电平在大于12dB小于24dB的范围内决定残余回声抑制量eg。即，背景噪音的电平高时(SN比低)，减小残余回声抑制量eg，随着背景噪音的电平降低，增大残余回声抑制量eg的值。这是由于随着背景噪音的电平降低，发送输入信号中的残余回声更显著而需要增大振幅抑制量。相反，背景噪音的电平高时，残余回声由背景噪音遮住而变得不明显，因此不需要增大抑制量。
上述的背景噪音电平的计算可仅用回声抑制量计算部4执行。例如，回声抑制量计算部4接收回声消除后发送输入信号U[t]的各帧，并且计测其功率，保存当前帧以前的过去50帧的功率计测结果。并且，将过去的帧中的最低的功率电平作为背景噪音电平。
分割为帧的回声消除后发送输入信号U[t]也提供给虚拟背景噪音生成部30的时间·频率变换部5。时间·频率变换部5对回声消除后发送输入信号U[t]的各帧进行例如256点的FFT(快速傅立叶变换)处理，将回声消除后发送输入信号U[t]变换为振幅频谱S[f]和相位频谱P[f]。振幅频谱S[f]提供给声音·噪音判定部6和混合部9，另一方面，相位频谱P[f]提供给相位随机化部10。
声音·噪音判定部6根据振幅频谱S[f]和相位频谱P[f]判定当前帧的回声消除后发送输入信号U[t]是由有声(有近端说话人的声音)引起还是几乎都由背景噪音引起。生成表示该判定结果的声音·噪音判定信息VAD，将其提供给噪音频谱估计部7。作为该声音·噪音判定部6的最佳实施例，例如可举出在特开2000-347688号公报(噪音抑制装置)中公开的噪音度判定装置的噪音度电平(LEVELnoise)如表2所示可与声音·噪音判定信息VAD对应。
下面说明该声音·噪音判定部6(噪音度判定装置)的动作。上述公报中提供的低通剩余信号的自相关函数最大值RACmax和低通剩余功率POWres以及帧功率POWfr使用与各个系数对应的规定阈值TH_RACmax.h、TH-RACmax.1、TH_POWres、TH_POWfr如下求出LEVELnoise成分L1、L2、L3。
首先成分L1对应自相关函数最大值RACmax的值如下求出。RACmax＞TH_RACmax.h时，L1为2。TH_RACmax.h≥RACmax＞TH-RACmax.1时，L1为1。TH-RACmax.1≥RACmax时，L1为0。
成分L2对应低通剩余功率POWres的值如下求出。POWres＞TH_POWres时，L2为1。此外的情况下，L2为0。
成分L3对应帧功率POWfr的值如下求出。POWfr＞TH_POWfr时，L3为1。此外的情况下，L3为0。
LEVELnoise是这些成分L1、L2、L3的总和。即，LEVELnoise＝L1+L2+L3。这3个系数的计算方法参考上述公报，说明从略。
                      表2
    LEVELnoise     声音·噪音判定信息VAD     噪音度
    01     判定为噪音(输出VAD＝0)     噪音度大↑↓噪音度小
    234     判定为声音(输出VAD＝1)
声音·噪音判定部6根据表2对应LEVELnoise输出声音·噪音判定信息VAD。向噪音频谱估计部7提供声音·噪音判定部6输出的声音·噪音判定信息VAD时，提供振幅频谱S[f]。声音·噪音判定信息VAD为0(几乎是噪音)时，噪音频谱估计部7根据式(6)估计作为存在于输入信号中的背景噪音的平均频谱的噪音频谱N[f]。
N[f]＝(1-C)·S[f]+C·Nold[f]    ......(6)
这里，Nold[f]是从过去判定为噪音的帧估计的噪音频谱的平均，存储在噪音频谱估计部7的内部存储器中。C是适当确定的常数(例如0.9)，是决定噪音频谱N[f]的更新速度的系数。
另一方面，声音·噪音判定信息VAD为1(有声)的情况下，噪音频谱估计部7根据式(7)估计作为存在于输入信号中的背景噪音的平均频谱的噪音频谱N[f]。即，将过去的噪音频谱Nold[f]原样视为当前的噪音频谱N[f]。
N[f]＝Nold[f]       ......(7)
并且，噪音频谱估计部7如式(8)所示将存储在内部存储器上的过去的噪音频谱Nold[f]的内容置换(更新)为估计的当前帧的噪音频谱N[f]。
Nold[f]＝N[f]        ......(8)
这样得到的噪音频谱N[f]提供给声音·噪音判定部6和噪音振幅随机化部8。
声音·噪音判定部6如式(8)所示将存储在内部存储器上的过去的噪音频谱Nold[f]的内容置换(更新)为估计的当前帧的噪音频谱N[f]。
噪音振幅随机化部8对虚拟背景噪音添加了与时间有关的随机性，因此根据式(9)向噪音频谱估计部7输出的噪音频谱N[f]的各频谱成分上乘以规定小振幅的随机增益rand[f]，对应各帧得到形状稍有不同的振幅扰乱了的噪音频谱Nr[f]，将其提供给混合部9。
Nr[f]＝rand[f]·N[f]   ......(9)
该计算针对噪音频谱N[f]的各频谱成分进行。即，向从频率0到fc的各频谱成分乘以随机增益。fc是该回声处理装置处理的奈奎斯特频率。
向混合部9提供时间·频率变换部5输出的振幅频谱S[f]、噪音振幅随机化部8输出的振幅扰乱了的噪音频谱Nr[f]、残余回声抑制量eg和滤波器初始状态标记EC_init。混合部9如后述那样进行各种处理，同时将基于残余回声抑制量eg和滤波器初始状态标记EC_init的振幅频谱SNo[f]提供给·频率时间变换部11。以后使用图2详细说明混合部9的动作。
图2的第一振幅调整部13中提供时间·频率变换部5输出的振幅频谱S[f]、回声抑制量计算部4输出的残余回声抑制量eg，基于此，第一振幅调整部13进行振幅频谱S[f]的频谱成分的振幅调整，尤其是残余回声的振幅抑制。
具体说，第一振幅调整部13首先根据式(10)对残余回声抑制量eg使用第一频率加权系数W1[f](dB)，进行对应频率的加权，计算出第一残余回声抑制量g1[f]。关于第一频率加权系数W1[f]后面说明。
g1[f]＝eg+W1[f](dB)          ............(10)
接着，第一振幅调整部13使用式(10)得到的第一残余回声抑制量g1[f]根据式(11)进行振幅频谱S[f]的振幅调整，输出振幅调整了的振幅频谱Ss[f]。
Ss[f]＝10g1[f]/20·S[f]    ............(11)
这些计算针对振幅频谱S[f]的各频谱成分进行。即，向从频率0到fc的各频谱成分采用式(10)和式(11)。
频率与第一频率加权系数W1[f]的相关关系示于图3。如图3所示，振幅频谱S[f]在低频区域加权大(增强振幅抑制)，在高频区域加权小(减弱振幅抑制)。残余回声信号的成分主要是声音信号，低频区域中残余回声信号的功率偏移，因此低频区域中增大振幅抑制，高频区域中减小振幅抑制可不增加高频区域的抑制感，而有效地抑制残余回声信号的振幅。
返回图2，向混合部9的第二振幅调整部14提供噪音振幅随机化部8输出的振幅扰乱了的噪音频谱Nr[f]和回声抑制量计算部4输出的残余回声抑制量eg，基于此，第二振幅调整部14进行振幅扰乱了的噪音频谱Nr[f]的频谱成分的振幅调整。
具体说，第二振幅调整部14首先根据式(12)对残余回声抑制量eg使用第二频率加权系数W2[f](dB)，进行对应频率的加权，计算出第二残余回声抑制量g2[f]。关于第二频率加权系数W2[f]后面说明。
g2[f]＝eg+W2[f](dB)       ............(12)
接着，第二振幅调整部14使用式(12)得到的第二残余回声抑制量g2[f]，根据式(13)进行振幅扰乱了的噪音频谱Nr[f]的振幅调整，输出振幅调整了的噪音频谱Ns[f]。
Ns[f]＝10g2[f]/20·Nr[f]   ............(13)
第一振幅调整部13输出的振幅频率Ss[f]和第二振幅调整部14输出的振幅调整了的噪音频谱Ns[f]提供给加法器15。加法器15根据式(14)进行振幅调整了的振幅频率Ss[f]和振幅调整了的噪音频谱Ns[f]的相加，输出混合了噪音的振幅频谱SN[f]。
SN[f]＝Ss[f]+Ns[f]       .........(14)
频率与第二频率加权系数W2[f]的相关关系示于图4。如图4所示，噪音频谱Ns[f]在低频区域加权小(减弱噪音频谱的振幅抑制强度)，在高频区域加权大(增强噪音频谱的振幅抑制强度)，增大低频区域的虚拟背景噪音的混入量，减小高频区域中虚拟背景噪音的混入量。因此，由虚拟背景噪音大大地遮住了低频区域中很多的残余回声成分，可减轻残余回声感。
图2所示的混合部9的选择部16中提供残余回声抑制量eg的电平和滤波器初始状态标记EC_init。根据这些条件，选择部16如表3所示从根据情况的端子输出根据情况的振幅频谱SNo[f]。
                         表3
    端子     输出信号     条件
    16A     SNo[f]＝SN[f]     12dB＜eg≤24dB(近端：无声音或仅回声)
    16B     SNo[f]＝Nr[f]     EC_init＝接通(滤波器初始状态)
    16C     SNo[f]＝Ss[f]     Eg＝6dB(前言不搭后语的话(doubletalk)状态)
图2的选择部16具有3个端子16A、16B、16C，对应上述条件从端子16A、16B、16C中选择输出信号的端子，向选择的端子连接于开关16D。
具体说，如表3所示，选择端子16A时，是发送输入信号Sd[t]中没有近端说话人声音仅有回声的状况(与上述的表1的情况3相当)，将混合了背景噪音的振幅频谱SN[f]作为振幅频谱SNo[f]由选择部16输出。
选择端子16B的情况是滤波器初始状态标记EC_init接通的状况，即初始状态的情况，自适应滤波器2的滤波器系数h[n]不收敛，因此不输出混合了振幅调整了的噪音频谱Ns[f]的振幅频谱SN[f]，选择部16将振幅扰乱了的噪音频谱Nr[f]作为振幅频谱SNo[f]输出。该处理相当于用振幅扰乱了的噪音频谱Nr[f]置换振幅频谱SN[f]。
选择端子16C的情况是残余回声抑制量eg为规定值(6dB)的状况。根据表1，这是发送输入信号Sd[t]中有近端说话人声音，并且接收输入信号Rd[t]中有远端说话人声音的状态(表1的情况1，即前言不搭后语的话(doubletalk)状态)。此时，选择部16不进行噪音混入，将通过第一振幅调整部13的振幅调整抑制残余回声的振幅的振幅频谱Ss[f]作为振幅频谱SNo[f]输出。
其中残余回声抑制量eg为0dB的情况下，选择部16不选择端子16A、16B、16C中的某一个，不输出振幅频谱SNo[f]。这是发送输入信号Sd[t]中有近端说话人声音，而且接收输入信号Rd[t]中没有远端说话人声音的状态(表1的情况2)或二者都没有声音的状况(表1的情况4，即无输入状态)。
标准化部17提供输入混合部9的原来的振幅频谱S[f]，选择部16输出振幅频谱SNo[f]时，振幅频谱SNo[f]也提供给标准化部17。选择部16不输出振幅频谱SNo[f]时(残余回声抑制量eg为0dB的情况下)，标准化部17将输入混合部9的原来的振幅频谱S[f]原样作为振幅频谱SNo[f]输出。
另一方面，选择部16输出振幅频谱SNo[f]时，标准化部17进行标准化，使应从混合部9输出的振幅频谱SNo[f]的功率与输入混合部9的原来的振幅频谱S[f]的功率相同。
如上所述，混合部9在发送输入信号Sd[t]中没有近端说话人声音仅有回声的情况下，输出混合了背景噪音的振幅频谱。另一方面，在初始状态下，输出振幅扰乱了的噪音频谱。在前言不搭后语的话(doubletalk)状态下，输出未混入背景噪音的振幅调整了的振幅频谱。另外，在仅有近端说话人说话的状态或无输入状态下，输出没有混入背景噪音并且也没有进行振幅调整的振幅频谱。
返回图1，相位随机化部10中提供时间·频率变换部5输出的相位频谱P[f]、回声抑制量计算部4输出的残余回声抑制量eg。相位随机化部10根据式(15)到式(17)之一对应残余回声抑制量eg大小进行各帧的相位频谱P[f]的相位扰乱，输出相位扰乱了的相位频谱Pr[f]。
其中，残余回声抑制量eg在规定值(12dB)以下时，即，在前言不搭后语的话(doubletalk)时或无输入状态或者仅有近端说话人声音的情况下(与表1的情况1，2，4相当)，不进行相位扰乱。即，Pr[f]＝P[f]。这是由于在无声音输入状态下没有扰乱相位的意思，因为在至少有近端说话人声音的情况下，扰乱相位会带来使远端说话人产生不和谐感的结果。
结果，相位随机化部10扰乱相位是在表1未示出的初始状态的情况下或表1的情况3的情况下，即无近端说话人声音而有远端说话人的声音的情况下。相位随机化部10对应残余回声抑制量eg大小根据式(15)到式(17)之一求出相位扰乱了的相位频谱Pr[f]。如上所述，在初始状态下，残余回声抑制量eg大于24dB。此时，采用式(15)。
Pr[f]＝P[f]·sin(π/4*RND(x))    ............(15)
这里，RND(x)是产生-1.0≤RND(x)＜1.0的范围内的相同随机数的函数。该计算针对相位频谱P[f]的各个频谱成分进行。具体说，从频率fc/2到fc的各个频谱成分中采用式(15)。fc是该回声处理装置处理的奈奎斯特频率。
情况3中，来自回声抑制量计算部4的残余回声抑制量eg大于12dB小于24dB。在18db＜eg≤24dB的情况下，采用式(16)。
Pr[f]＝P[f]·sin(π/8*RND(x))    ............(16)
该计算针对相位频谱P[f]的fc/4到fc各个频谱成分进行。
另一方面，在12db＜eg≤18dB的情况下，采用式(17)。
Pr[f]＝P[f]·sin(π/16*RND(x))    ............(17)
该计算针对相位频谱P[f]的fc/8到fc各个频谱成分进行。
分别使用式(15)到(17)的阈值不限于24，28，12dB，根据回声处理装置的使用环境和其他条件可设定为任意值。
从与表1相关的上述说明可知，残余回声抑制量eg大就是说应抑制的回声的电平相对背景噪音大，其结果是相位频谱P[f]的成分中占了大部分的回声信号。相反，残余回声抑制量eg小，则相位频谱P[f]的成分中背景噪音占了大部分。相位频谱中混入大量残余回声信号成分损坏虚拟背景噪音的自然性，因此根据式(15)到(17)对应残余回声抑制量eg大小进行相位频谱的相位扰乱，进行虚拟背景噪音的随机化调整。其结果是残余回声抑制量eg大时，使虚拟背景噪音的相位频谱中混入的残余回声成分白色化，从而听觉上减轻残余回声。
另一方面残余回声抑制量eg小时，相位随机化部10不进行相位频谱P[f]的相位扰乱而维持发送输入信号的相位，从而保持虚拟背景噪音的自然性。
如上所述，针对发送输入信号的振幅频谱S[f]，估计噪音频谱N[f]，向振幅频谱S[f]中混入噪音频谱N[f]，但对相位频谱P[f]不进行噪音混合处理，而原样输出。因此，发送输入信号的相位频谱维持，可生成自然性高的虚拟背景噪音。
频率·时间变换部11中提供混合部9输出的(根据情况混入虚拟背景噪音)的振幅频谱SNo[f]和相位随机化部10输出的相位扰乱了的相位频谱Pr[f]。并且，频率·时间变换部11将其从频率区域的表现形式的频谱变换为时间区域的表现形式的发送输出信号So[t]，并将其输出。
平滑部12为减轻频率·时间变换部11输出的发送输出信号So[t]的帧之间的不连续感，使用式(18)和图5所示的三角波形状的窗口函数Wines[t]进行发送输出信号So[t]的帧之间的平滑，输出结果得到的输出信号Sout[t]。
Sout[t]＝Wines[t]·Soold[t]
+Wines[N-t]·So[t]    ...............(18)
这里，Soold[t]是之前的帧的发送输出信号So[t]，N是与帧长相当的采样时间t的最大值。即，采样时间从0到N。
图6是表示要从近端发送的发送信号和从远端接收的接收信号的状态以及虚拟背景噪音生成部30相对残余回声抑制量eg的变化的定时图。从图6容易理解与上述动作相关的说明。发送信号中仅有回声的情况下，进行振幅抑制和噪音混合处理，发送信号中包含近端说话人声音和回声的情况下(前言不搭后语的话(doubletalk)时)仅进行振幅抑制。滤波器初始状态(滤波器初始状态标记EC_init为接通时)下，进行噪音置换处理。
该实施例中，仅在滤波器初始状态标记EC_init为接通时如表3所示选择端子16B，从选择部16输出的振幅频谱SNo[f]为Nr[f]，即成为振幅扰乱了但振幅未调整的噪音频谱Nr[f]，其他情况下，也可选择端子16B。例如，残余回声抑制量eg大于规定值(例如20dB)时，选择端子16B进行噪音置换处理。如上所述，残余回声抑制量eg大时，由于背景噪音电平低，发送输入信号中残余回声明显，因此希望增大振幅抑制量。残余回声抑制量eg大时，即使有远端说话人的声音没有近端说话人的声音，也不会对会话造成障碍。
可排除端子16B，替代未作振幅调整的噪音频谱Nr[f]而从选择部16输出振幅调整了的噪音频谱Ns[f]。具体说，在滤波器初始状态标记EC_init为接通时(即初始状态下)或残余回声抑制量eg大于规定值(例如20dB)时，从式(12)计算的第二残余回声抑制量g2减去某值(近一步减弱噪音频谱的振幅抑制)，再增加噪音频谱的混合比例，可更大地混合虚拟背景噪音。
本实施例的回声处理装置包含回声消除部1，但可构成为没有回声消除部1，将发送输入信号Sd[t]直接输入时间·频率变换部5中。此时，关于滤波器初始状态标记EC_init的处理不由选择部16进行。
如上所述，根据本实施例1，对于发送输入信号的振幅频谱S[f]，估计噪音频谱N[f]，向振幅频谱S[f]中混合噪音频谱N[f]，但对于相位频谱P[f]不进行噪音混合处理而原样输出。因此，发送输入信号的相位频谱维持，可生成自然性高的虚拟背景噪音，得到可提供听觉上良好的回声处理装置等的效果。
声音·噪音判定部6进行发送输入信号的声音·噪音判定，噪音频谱估计部7从判断为噪音的帧估计噪音频谱，通过噪音振幅随机化部8进行平均化，可生成与时间·频率相关地稳定的噪音频谱。因此，可根据情况生成适当的自然性高的虚拟背景噪音，可提供听觉上良好的回声处理装置。
另外，随着残余回声抑制量eg增大，发送输入信号的相位频谱的随机化程度增大，而且由于相位扰乱的频率区域涉及到低频区域，发送输出信号So[t]接近白色噪音。其结果是发送输入信号中残余的回声信号被随机化接近背景噪音，从而听觉上的效果是难以听见回声。另一方面，残余回声抑制量eg小时，不进行相位频谱的相位扰乱，维持发送输入信号的相位，可保持虚拟背景噪音的自然性。
残余回声抑制量eg大于规定的阈值时，替代大量混合噪音频谱或混入噪音频谱而将振幅频谱用噪音频谱置换，因此回声消除量不充分的情况下也可消除残余回声成分并插入虚拟背景噪音，从而可提供听觉上良好的回声处理装置。
在自适应滤波器系数收敛之前的时间里，自适应滤波器强制地进行噪音置换处理为输出滤波器初始状态标记EC_init，虚拟背景噪音生成部30进行噪音频谱置换处理，因此替代自适应滤波器2，或除此之外消除残余回声并插入虚拟背景噪音，从而可提供听觉上良好的回声处理装置。
将向混合部9的发送输入信号的振幅频谱中混合噪音频谱的比例调整为在残余回声抑制量eg大时也增大，在残余回声抑制量eg小时也减小，因此可混入对应残余回声电平和发送·接收输入信号的状态的虚拟背景噪音，从而可提供听觉上良好的回声处理装置。
由于增大低频区域的虚拟背景噪音的混入量并减小低频区域的虚拟背景噪音的混入量，从而不增加高频区域的噪音感，可有效抑制低频区域中功率偏移的残余回声信号，可提供听觉上良好的回声处理装置。
实施例2
上述实施例1中，由相位随机化部10随机化发送输入信号的相位频谱。但是，替代其，像下面说明的本发明的实施例2一样，进行发送输入信号的振幅频谱的振幅随机化也可实现同样效果。
图7是表示本发明的实施例2的回声处理装置的结构的框图。图中，18表示振幅随机化部。与图1的结构不同的是在该回声处理装置中没有相位随机化部10而设置振幅随机化部18。其他结构与图1相同，不作详细说明。
接着说明动作。
与实施例1不同，时间·频率变换部5输出的振幅频谱S[f]并非直接提供给混合部9，而提供给振幅随机化部18。向振幅随机化部18提供回声抑制量计算部4输出的残余回声抑制量eg。振幅随机化部18根据式(19)到式(21)之一对应残余回声抑制量eg大小向各帧的振幅频谱S[f]的振幅成分施加扰乱，输出振幅扰乱了的振幅频谱Sr[f]。
但是，在残余回声抑制量eg在规定值(12dB)以下时，即，在前言不搭后语的话(doubletalk)时或无输入状态或者仅有近端说话人声音的情况下(与表1的情况1，2，4相当)，不进行振幅扰乱。即，Sr[f]＝S[f]。这是由于在无声音输入状态下没有扰乱振幅的意思，因为在至少有近端说话人声音的情况下，扰乱振幅会带来使远端说话人产生不和谐感的结果。
结果，振幅随机化部18扰乱振幅是在表1未示出的初始状态的情况下或表1的情况3的情况下，即无近端说话人声音而有远端说话人的声音的情况下。振幅随机化部18对应残余回声抑制量eg大小根据式(19)到式(21)之一求出振幅扰乱了的振幅频谱Sr[f]。如上所述，在初始状态下，残余回声抑制量eg大于24dB。此时，采用式(19)。
Sr[f]＝S[f]·gr1[f]
＝S[f]·(1.0+0.25·RND(x))    ............(19)
这里，gr1[f]是随机增益，RND(x)是产生-1.0≤RND(x)＜1.0的范围内的相同随机数的函数。该计算针对振幅频谱S[f]的各个频谱成分进行。具体说，从频率fc/2到fc的各个频谱成分中采用式(19)。fc是该回声处理装置处理的奈奎斯特频率。
表1的情况3中，来自回声抑制量计算部4的残余回声抑制量eg大于12dB小于24dB。在18db＜eg≤24dB的情况下，采用式(20)。
Sr[f]＝S[f]·gr2[f]
＝S[f]·(1.0+0.125·RND(x))    ............(20)
该计算针对振幅频谱S[f]的fc·(3/4)到fc各个频谱成分进行。
另一方面，在12db＜eg≤18dB的情况下，采用式(21)。
Sr[f]＝S[f]·gr3[f]
＝S[f]·(1.0+0.0625·RND(x))    .............(21)
该计算针对振幅频谱S[f]的fc·(7/8)到fc各个频谱成分进行。
从式(19)到(21)可知，残余回声抑制量eg小于18dB时，仅随机化高频区域的频谱成分，其随机化程度小。另一方面，残余回声抑制量eg大于18dB时，随机化程度大，随机化到低频区域的频率范围。
分别使用式(19)到(21)的阈值不限于24，28，12dB，根据回声处理装置的使用环境和其他条件可设定为任意值。
从与表1相关的上述说明可知，残余回声抑制量eg大就是说应抑制的回声的电平相对背景噪音大，其结果是振幅频谱S[f]的成分中占了大部分的回声信号成分。相反，残余回声抑制量eg小，则振幅频谱S[f]的成分中背景噪音占了大部分。振幅频谱中混入大量残余回声信号成分损坏虚拟背景噪音的自然性，因此根据式(19)到(21)对应残余回声抑制量eg大小进行振幅频谱的振幅扰乱，进行虚拟背景噪音的随机化调整。其结果是残余回声抑制量eg大时，使虚拟背景噪音的振幅频谱中混入的残余回声成分白色化，从而听觉上减轻残余回声。
另一方面残余回声抑制量eg小时，振幅随机化部18不进行振幅频谱S[f]的振幅扰乱而维持发送输入信号的振幅，从而保持虚拟背景噪音的自然性。
向混合部9提供这样进行振幅扰乱了的振幅频谱S[f]。混合部9中提供从噪音振幅相结合部8输出的噪音频谱Nr[f]和从自适应滤波器2输出的滤波器初始状态标记EC_init以及从回声抑制量计算部4输出的残余回声抑制量eg。混合部9的结构和功能与实施例1的混合部9的结构和功能实质相同。换句话说，关于实施例1的混合部9的说明中，将振幅频谱S[f]替换为振幅扰乱了的振幅频谱Sr[f]，则可理解实施例2的混合部9的结构和功能。
因此，在混合部9中，发送输入信号Sd[t]中没有近端说话人声音仅有回声的情况下，选择部16选择端子16A(参考图2)，将混合了背景噪音的振幅频谱SN[f]作为振幅频谱SNo[f]输出。另一方面，在初始状态下，选择部16选择端子16B，将振幅扰乱了的噪音频谱Nr[f]作为振幅频谱SNo[f]输出。在前言不搭后语的话(doubletalk)状态下，选择部16选择端子16C，将未混入背景噪音的振幅调整了的振幅频谱Ss[f]作为振幅频谱SNo[f]输出。另外，在仅有近端说话人说话的状态或无输入状态下，将没有混入背景噪音并且也没有进行振幅调整的振幅扰乱了的振幅频谱Sr[f]作为振幅频谱SNo[f]输出。
这样从混合部9根据情况向频率·时间变换部11提供混合了噪音的振幅频谱SNo[f]。与实施例1不同，本实施例2中，不设置相位随机化部10(参考图1)而将时间·频率变换部5输出的相位频谱P[f]原样提供给频率·时间变换部11。并且，频率·时间变换部11将其从频率区域的表现形式的频谱变换为时间区域的表现形式的发送输出信号So[t]，并将其输出。
其他结构要素的动作与实施例1相同。
如上所述，根据本实施例2，对于发送输入信号的振幅频谱S[f]，估计噪音频谱N[f]，向振幅频谱S[f]中混合噪音频谱N[f]，但对于相位频谱P[f]不进行噪音混合处理而原样输出。因此，发送输入信号的相位频谱维持，可生成自然性高的虚拟背景噪音，得到可提供听觉上良好的回声处理装置等的效果。
声音·噪音判定部6进行发送输入信号的声音·噪音判定，噪音频谱估计部7从判断为噪音的帧估计噪音频谱，通过噪音振幅随机化部8进行平均化，可生成与时间·频率相关地稳定的噪音频谱。因此，可根据情况生成适当的自然性高的虚拟背景噪音，可提供听觉上良好的回声处理装置。
另外，随着残余回声抑制量eg增大，发送输入信号的振幅频谱Sr[f]的随机化程度增大，而且由于相位扰乱的频率区域涉及到低频区域，发送输出信号So[t]接近白色噪音。其结果是发送输入信号中残余的回声信号被随机化接近背景噪音，从而听觉上的效果是难以听见回声。另一方面，残余回声抑制量eg小时，不进行振幅频谱S[f]的振幅扰乱，可保持虚拟背景噪音的自然性。
实施例3
上述实施例1和2中，图2的第一振幅调整部13的振幅频谱S[f]或振幅扰乱了的振幅频谱Sf[f]的振幅抑制以及图2的第二振幅调整部14的噪音频谱N[f]的振幅抑制在全频带上进行，但是，作为对其实施变形的本发明的实施例3，例如可对仅在3kHz以下的中低频成分中进行振幅抑制等部分频带进行振幅抑制。
通过在发送输入信号中的中低频区域成分中进行振幅抑制可不损坏高频区域的背景噪音的自然性，有效地振幅抑制由于声音而在低频区域中功率偏移了的残余回声，可提供良好的回声处理装置。
实施例4
作为实施例1-3的另外的形式，用噪音振幅随机化部8输出的相同的随机数进行振幅扰乱的噪音频谱Nr[f]中可提供对应背景噪音电平的大小的振幅扰乱。
图8是表示本发明的实施例4的回声处理装置的结构的框图。图中19表示第二噪音振幅随机化部。与图1的结构相比，作为新的要素，设置了第二噪音振幅随机化部19。其他结构与图1相同，说明从略。
接着说明动作。
噪音振幅随机化部8输出的振幅扰乱了的噪音频谱Nr[f]提供给第二噪音振幅随机化部19。第二噪音振幅随机化部19首先计测提供的振幅扰乱了的噪音频谱Nr[f]的功率Npow(dB)。或者，由于回声抑制量计算部4计算出背景噪音电平，而把计测了各帧的功率的计测结果提供给第二噪音振幅随机化部19。
第二噪音振幅随机化部19根据功率Npow使用式(22)到式(24)之一扰乱噪音振幅随机化部8输出的用相同随机数进行了振幅扰乱的噪音频谱Nr[f]中的某频率区域的振幅，生成噪音频谱Nr2[f]。功率Npow小于60dB时，采用式(22)。
Nr2[f]＝Nr[f]·gr11[f]
＝Nr[f]·(1.0+0.25·RND(x))    ............(22)
这里，gr11[f]是随机增益，RND(x)是产生-1.0≤RND(x)＜1.0的范围内的相同随机数的函数。该计算针对振幅频谱S[f]的各个频谱成分进行。具体说，从频率fc/2到fc的各个频谱成分中采用式(22)。fc是该回声处理装置处理的奈奎斯特频率。
功率Npow大于40dB小于60dB时，采用式(23)。
Nr2[f]＝Nr[f]·gr12[f]
＝Nr[f]·(1.0+0.125·RND(x))    ............(23)
该计算针对振幅频谱S[f]的fc·(3/4)到fc各个频谱成分进行。
另一方面，在功率Npow大于30dB小于40dB的情况下，采用式(24)。
Nr2[f]＝Nr[f]·gr13[f]
＝Nr[f]·(1.0+0.0625·RND(x))    …………(24)
该计算从振幅频谱S[f]的fc·(7/8)到fc各个频谱成分进行。
从式(22)到(24)可知，噪音频谱的功率Npow小时，仅随机化高频区域的频谱成分，其随机化程度小。另一方面，噪音频谱的功率Npow大时，随机化程度大，随机化到低频区域的频率范围。分别使用式(22)到(24)的阈值不限于30，40，60dB，根据回声处理装置的使用环境和其他条件可设定为任意值。
随着背景噪音电平，即噪音频谱的功率增大，发送输入信号的SN比减小，结果，声音·噪音判定部6的声音·噪音判定恶化(声音误判定为噪音的比例增高)。但是，如该实施例那样，随着背景噪音电平增大，噪音频谱的振幅的随机化程度和随机化的频率范围增大，从而背景噪音接近白色噪音。因此，例如由于声音·噪音判定部6的误判定而在噪音频谱中混入残余回声成分的情况下，可使残余回声成分白色化。
这样，从第二噪音振幅随机化部19向混合部9提供振幅随机化的噪音频谱Nr2[f]。
如上所述，根据本实施例4，对应背景噪音电平，调整噪音频谱的振幅的随机化程度和随机化的频率范围，例如在背景噪音大的情况下使背景噪音接近白色噪音，在噪音频谱中误混入残余回声成分的情况下也得到把残余回声成分白色化等的效果。
实施例5
图9是表示本发明的实施例5的回声处理装置的结构的框图。图中20表示随机选择部。与图1的结构相比，该回声处理装置中替代噪音振幅随机化部8而设置随机选择部20。其他结构与图1相同，说明从略。
接着说明动作。
该实施例中，噪音频谱估计部7输出2种的噪音频谱N1[f]和N2[f]。
噪音频谱估计部7中提供声音·噪音判定部6输出的声音·噪音判定信息VAD和振幅频谱S[f]，声音·噪音判定信息VAD为0(几乎为噪音)时，噪音频谱估计部7根据式(25)估计输入信号中存在的作为背景噪音的平均频谱的第一噪音频谱N1[f]。
N1[f]＝(1-C1)·S[f]+C1·N1old[f]    ......(25)
这里，N1old[f]是从过去判定为噪音的帧估计的第一噪音频谱的平均，存储在噪音频谱估计部7的内部存储器中。C1是适当确定的常数(例如0.9)，是决定第一噪音频谱N1[f]的更新速度的系数。
另一方面，声音·噪音判定信息VAD为1(有声)的情况下，噪音频谱估计部7根据式(26)估计第一噪音频谱N1[f]。即，将过去的第一噪音频谱N1old[f]原样视为当前的第一噪音频谱N1[f]。
N1[f]＝N1old[f]    ......(26)
并且，噪音频谱估计部7如式(27)所示将存储在内部存储器上的过去的第一噪音频谱N1old[f]的内容置换(更新)为估计的当前帧的第一噪音频谱N1[f]。
N1old[f]＝N1[f]  ......(27)
这样得到的第一噪音频谱N1[f]提供给声音·噪音判定部6和随机选择部20。
声音·噪音判定部6如式(27)所示将存储在内部存储器上的过去的第一噪音频谱N1old[f]的内容置换(更新)为估计的当前帧的第一噪音频谱N1[f]。
噪音频谱估计部7除第一噪音频谱N1[f]外还输出第二噪音频谱N2[f]。具体说，声音·噪音判定信息VAD为0(几乎为噪音)时，噪音频谱估计部7根据式(28)估计第二噪音频谱N2[f]。
N2[f]＝(1-C2)·S[f]+C2·N2old[f]    ......(28)
这里，N2old[f]是从过去判定为噪音的帧估计的第二噪音频谱的平均，存储在噪音频谱估计部7的内部存储器中。C2是适当确定的常数(例如0.8)，是决定第二噪音频谱N2[f]的更新速度的系数。因此，与第一噪音频谱N1[f]相比，第二噪音频谱N2[f]的更新速度快。另外，第二噪音频谱N2[f]的振幅与第一噪音频谱N1[f]是不同的。
另一方面，声音·噪音判定信息VAD为1(有声)的情况下，噪音频谱估计部7根据式(29)估计第二噪音频谱N21[f]。即，将过去的第二噪音频谱N2old[f]原样视为当前的第二噪音频谱N2[f]。
N2[f]＝N2old[f]    ......(29)
并且，噪音频谱估计部7如式(30)所示将存储在内部存储器上的过去的第二噪音频谱N21old[f]的内容置换(更新)为估计的当前帧的第二噪音频谱N2[f]。
N2old[f]＝N2[f]  ......(30)
这样得到的第二噪音频谱N2[f]提供给随机选择部20。
随机选择部20根据噪音频谱估计部7输出的第一噪音频谱N1[f]和第二噪音频谱N2[f]对每帧决定频谱形状不同的(振幅扰乱了的)噪音频谱Nr[f]并输出。随机选择部20具有运算输出1的概率为x(％)的随机函数Prob(x)的功能，每次决定噪音频谱Nr[f]时，随机选择部20执行输出1的概率为50％的随机函数Prob(50)，利用其执行结果。
具体说，如果随机函数Prob(50)执行结果为1，则随机选择部20输出第一噪音频谱N1[f]。其他情况下随机选择部20输出第二噪音频谱N2[f]。这样振幅扰乱了的噪音频谱Nr[f]提供给混合部9。
其他结构要素的动作与实施例1相同。
如上所述，根据本实施例5，随机从对每帧用多个不同更新速度估计的噪音频谱N1[f]和N2[f]选择一个，可求出振幅扰乱了的噪音频谱Nr[f]，可维持噪音频谱的自然性，还提高与混入振幅频谱中的噪音频谱的时间相关的随机性，从而提高虚拟背景噪音的自然性，得到可提供听觉上良好的回声处理装置等的效果。
实施例6
图10是表示本发明的实施例6的回声处理装置的结构的框图。该实施例6是图9所示的实施例5的改良。图中，21是加权相加部。与图9的结构不同，该回声处理装置中，没有随机选择部20，但设置了加权相加部21。其他结构与实施例9相同，说明从略。
加权相加部21中提供噪音频谱估计部7输出的第一噪音频谱N1[f]和第二噪音频谱N2[f]。如关于实施例5说明的那样，与第一噪音频谱N1[f]相比，第二噪音频谱N2[f]具有高的估计速度。加权相加部21对这些噪音频谱N1[f]和N2[f]加权计算，其结果是将振幅扰乱了的噪音频谱Nr[f]输出。加权相加部21具有运算输出1的概率为x(％)的随机函数Prob(x)的功能，每次决定噪音频谱Nr[f]时，加权相加部21执行输出1的概率为50％的随机函数Prob(50)，利用其执行结果。
具体说，如果随机函数Prob(50)执行结果为1，则在从0到奈奎斯特频率fc的频率区域中采用式(31)。
Nr[f]＝C3·N1[f]+(1-C3)·N2[f]    ............(31)
其中，C3是加权系数，是通过式(32)求出的随机变量。
C3＝0.7+0.1*RND(x)    ............(32)
这里，RND(x)是产生-1.0≤RND(x)＜1.0的范围内的相同随机数的函数。从式(32)可知，加权系数C3在0.6以上0.8以下的范围内变化。其中，第一项的0.7可用其他常数置换。
另一方面，如果随机函数Prob(50)执行结果不为1，则在从0到奈奎斯特频率fc的频率区域中采用式(33)。
Nr[f]＝(1-C3)·N1[f]+C3·N2[f]    ............(33)
这样，加权相加部21输出对每个帧频谱形状不同的(振幅扰乱了的)噪音频谱，即加权平均噪音频谱Nr[f]。这样扰乱了振幅的噪音频谱Nr[f]提供给混合部9。
其他结构要素的动作与实施例5相同。
如上所述，根据本实施例6，通过多个不同更新速度的噪音频谱N1[f]和N2[f]的加权计算，计算振幅频谱S[f]中混入的噪音频谱Nr[f]，因此保持噪音频谱Nr[f]的频率特性(频谱形状)，还与时间相关地可随机化噪音频谱Nr[f]的振幅，从而可得到能提供听觉上良好的回声处理装置等的效果。
另外，通过噪音频谱N1[f]和N2[f]的加权计算，计算振幅频谱S[f]中混入的噪音频谱Nr[f]，保持噪音频谱Nr[f]的频率特性(频谱形状)，与时间相关地将频谱的振幅随机化。提高虚拟背景噪声的自然性，提供听觉上良好的回声处理装置等的效果。
实施例7
图11是表示本发明的实施例7的回声处理装置的结构的框图。该实施例7是图1所示的实施例1的改良。图中，22是频谱减法部，31是噪音抑制部。与图1的结构相比，作为新要素，该回声处理装置中，设置频谱减法部22。噪音抑制部31具有声音·噪音判定部6和噪音频谱估计部7以及频谱减法部22。其他结构与实施例1相同，说明从略。
该实施例7中，用频率·时间变换部5将回声消除后的输入信号U[t]变换为振幅频谱S[f]后，频谱减法部22使用公知的频谱相减法对振幅频谱S[f]进行噪音抑制处理。
接着说明动作。
回声消除部1中消除回声的发送输入信号U[t]输入到频率·时间变换部5，由频率·时间变换部5变换为振幅频谱S[f]和相位频谱P[f]。声音·噪音判定部6使用例如上述实施例1的方法判定当前帧的输入信号是由声音引起还是几乎有背景噪音引起，噪音频谱估计部7使用其结果来估计噪音频谱N[f]。
频谱减法部22中提供频率·时间变换部5输出的振幅频谱S[f]和噪音频谱估计部7输出的噪音频谱N[f]。该频谱减法部22中预先输入某频谱减算率α(如1.2)和某常数A[f]。常数A小于1。频谱减法部22根据振幅频谱S[f]和噪音频谱N[f]以及频谱减算率α并根据式(34)计算噪音去除振幅频谱，即频谱减法结果S’[f]。
S’[f]＝S[f]-α·N[f]    .........(34)
这样，从振幅频谱S[f]减去乘以减算率α的噪音频谱N[f]进行噪音抑制。其中，根据式(34)的频谱减法结果S’[f]为0以下时，废弃频谱减法结果S’[f]，再根据式(35)算出频谱减法结果S’[f]。
S’[f]＝A[f]·S[f]    .........(35)
这样得到的频谱减法结果S’[f]由频谱减法部22提供给混合部9。混合部9中提供从噪音振幅随机化部8输出的噪音频谱Nr[f]和从自适应滤波器2输出的滤波器初始状态标记EC_init以及从回声抑制量计算部4输出的残余回声抑制量eg。混合部9的结构和功能与实施例1的混合部9的结构和功能实质相同。换句话说，关于实施例1的混合部9的说明中，将振幅频谱S[f]替换为频谱减法结果S’[f]，则可理解实施例7的混合部9的结构和功能。
其他结构要素的动作与实施例1相同。
本实施例的回声处理装置包含回声消除部1，但可构成为没有回声消除部1，将发送输入信号Sd[t]直接输入时间·频率变换部5中。此时，关于滤波器初始状态标记EC_init的处理不由选择部16进行。
如上所述，根据本实施例7，与频谱相减法共用该回声处理装置的一部分要素，可得到可用简单结构实现噪音抑制和虚拟背景噪音生成等的效果。
实施例7中，噪音抑制中使用频谱相减法，但本发明并不打算限制于此。可利用其他适当的噪音抑制方法。其形式也在本发明的范围中。例如，噪音抑制部31可执行上述的特开2000-347688号公报″噪音抑制装置″中使用的组合了频谱减法和频谱振幅抑制的噪音抑制方法。
以上参考本发明的最佳的多个实施例详细图示并说明了本发明，但本领域容易可理解在权利要求记载的本发明的宗旨和范围内，可对形式和细节作各种变更。该变更、替代、修改都包含在本发明的范围内。例如，上述多个实施例可相互组合，这样的组合也位于本发明的范围内。
发明效果
如以上所述，根据本发明，由于构成为包括：比较混入了回声信号的要发送的发送输入信号和接收的接收输入信号的状态，根据该比较计算回声抑制量的回声抑制量计算部；将发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；从振幅频谱估计噪音频谱的噪音频谱估计部；对应回声抑制量在振幅频谱中混合噪音频谱的混合部；根据通过混合部混合了噪音频谱的振幅频谱和相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号并输出发送输出信号的频率·时间变换部，虽然向振幅频谱中混合了噪音频谱，但对于相位频谱，不进行噪音混合处理而输出。因此，发送输入信号的相位频谱维持，可生成自然性高的虚拟背景噪音。混合部根据发送输入信号和接收输入信号的比较并对应回声抑制量计算部计算的回声抑制量混合噪音频谱，因此根据情况可生成适当的自然性高的虚拟背景噪音，可提供听觉上良好的回声处理装置。
根据本发明，由于构成为混合部具有对应回声抑制量调整振幅频谱的频谱振幅的振幅调整部，具有有效抑制发送输入信号中的回声成分的等的效果。而且，与直接校正时间区域的表现形式的信号的情况相比，具有可提高最终发送信号的自然性的效果。
根据本发明，由于构成为具有频谱减法部，从振幅频谱减去噪音频谱乘以频谱减算率的频谱，生成去除噪音振幅频谱，将去除噪音振幅频谱作为振幅频谱提供给混合部，因此抑制发送输入信号中的噪音成分后，具有可混合背景噪音等的效果。而且，由频谱减法部利用作为噪音频谱估计部的估计结果的噪音频谱，从而具有可将构成要素的数目增加抑制到最小限度等的效果。
根据本发明，由于构成为包括：比较混入了回声信号的要发送的发送输入信号和接收的接收输入信号的状态，根据该比较计算回声抑制量的回声抑制量计算部；将发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；从振幅频谱估计噪音频谱的噪音频谱估计部；在振幅频谱中混合噪音频谱的混合部；对应回声抑制量扰乱(随机化)相位频谱的相位的相位随机化部；根据通过混合部混合了噪音频谱的振幅频谱和相位随机化部扰乱了相位的相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号并输出发送输出信号的频率·时间变换部，因此具有在回声抑制量高时，增大相位频谱的相位扰乱程度，难以听见回声，在回声抑制量低时，减小相位频谱的相位扰乱程度，可维持声音的自然性等的效果。
根据本发明，由于构成为在回声抑制量计算部算出的回声抑制量比规定值小的情况下，相位随机化部扰乱要发送的发送输入信号的相位频谱中高频区域的相位，随着回声抑制量增大，相位随机化部不仅扰乱高频区域，还扰乱低频区域的相位，因此具有在需要时可有效地抑制远端说话人的声音引起的低频区域的回声等的效果。
根据本发明，由于构成为包括：比较混入了回声信号的要发送的发送输入信号和接收的接收输入信号的状态，根据该比较计算回声抑制量的回声抑制量计算部；将发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；从振幅频谱估计噪音频谱的噪音频谱估计部；在振幅频谱中混合噪音频谱的混合部；对应回声抑制量扰乱振幅频谱的振幅的振幅随机化部；根据通过振幅随机化部扰乱了振幅并且由混合部混合了噪音频谱的振幅频谱和相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号并输出发送输出信号的频率·时间变换部，因此具有在回声抑制量高时，增大振幅频谱的振幅扰乱程度，难以听见回声，在回声抑制量低时，减小振幅频谱的振幅扰乱程度，可维持声音的自然性等的效果。
根据本发明，由于构成为在回声抑制量计算部算出的回声抑制量比规定值小的情况下，振幅随机化部扰乱要发送的发送输入信号的振幅频谱中高频区域的振幅，随着回声抑制量增大，振幅随机化部不仅扰乱高频区域，还扰乱低频区域的振幅，因此具有在需要时可有效地抑制远端说话人的声音引起的低频区域的回声等的效果。
根据本发明，由于构成为包括：将混入了回声信号的要发送的发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；从振幅频谱估计噪音频谱的噪音频谱估计部；对应发送输入信号的背景噪音电平扰乱噪音频谱的振幅的噪音振幅随机化部；将噪音振幅随机化部扰乱了振幅的噪音频谱在振幅频谱中混合的混合部；根据通过混合部混合了噪音频谱的振幅频谱和相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号并输出发送输出信号的频率·时间变换部，因此在背景噪音电平比规定值大的情况下，噪音频谱的振幅的随机化程度增大，即便是假设在噪音频谱中混入回声成分的情况下，也有可将回声成分白色化等的效果。
根据本发明，由于构成为在要发送的发送输入信号的背景噪音电平比规定值小的情况下，噪音振幅随机化部扰乱噪音振幅频谱中高频区域的振幅，随着背景噪音电平增大，噪音振幅随机化部不仅扰乱高频区域，还扰乱低频区域的振幅，因此在背景噪音电平比规定值大的情况下，随机化的频率范围到达低频区域并接近白色噪音，从而即便是假设在噪音频谱中混入残余回声成分的情况下，也有可将残余回声成分白色化等的效果。
根据本发明，由于构成为在回声抑制量计算部算出的回声抑制量比规定值大的情况下，混合部向振幅频谱中混合大比例的噪音频谱，在回声抑制量比规定值小的情况下，混合部向振幅频谱中混合小比例的噪音频谱，因此可混入对应残余回声电平和发送输入信号以及接收输入信号的状态的虚拟背景噪音，具有可提供听觉上良好的回声处理装置等的效果。
根据本发明，由于构成为在回声抑制量计算部算出的回声抑制量比规定值大的情况下，替代混合部向振幅频谱中混合噪音频谱，而用噪音频谱置换振幅频谱，因此即便残余回声大的情况下也可删除残余回声成分并插入虚拟背景噪音，从而具有可提供听觉上良好的回声处理装置等的效果。
根据本发明，由于构成为具有：根据接收的接收输入信号和通信路径传输特性或麦克风与扬声器之间的声音传输特性、估计滤波器系数、生成虚拟回声信号的自适应滤波器；通过从混入了回声信号的要发送的发送输入信号减去虚拟回声信号来去除回声信号的减法部，在自适应滤波器的滤波器系数收敛之前的时间里，替代混合部向振幅频谱混合比其他情况大的比例的噪音频谱或向振幅频谱混合噪音频谱，而用噪音频谱置换振幅频谱，因此滤波器系数首先之前的时间里，替代自适应滤波器，混合部可删除残余回声成分并插入虚拟背景噪音，从而具有可提供听觉上良好的回声处理装置等的效果。
根据本发明，由于构成为混合部向要发送的发送输入信号的振幅频谱中低频区域的振幅频谱成分中混合大比例的噪音频谱成分，随着变为高频区域，向振幅频谱成分中混合小比例的噪音频谱成分，因此可不增加高频区域的噪音感而在低频区域抑制功率偏移了的残余回声信号，从而具有可提供听觉上良好的回声处理装置等的效果。
根据本发明，由于构成为还包括随机选择部，噪音频谱估计部算出多个估计噪音频谱，随机选择部随机选择其中某一估计噪音频谱，作为噪音频谱输出，因此可维持噪音频谱的自然性，还提高与混入振幅频谱中的噪音频谱的时间相关的随机性，从而提高虚拟背景噪音的自然性，具有可提供听觉上良好的回声处理装置等的效果。
根据本发明，由于构成为还包括随机选择部，噪音频谱估计部使用慢的更新速度算出第一估计噪音频谱，使用快的更新速度算出第二估计噪音频谱，随机选择部随机选择其中某一估计噪音频谱，作为噪音频谱输出，因此可维持噪音频谱的自然性，还提高与混入振幅频谱中的噪音频谱的时间相关的随机性，从而提高虚拟背景噪音的自然性，具有可提供听觉上良好的回声处理装置等的效果。
根据本发明，由于构成为还包括加权加法器，噪音频谱估计部算出多个估计噪音频谱，加权加法器将进行这些多个估计噪音频谱的加权相加得到的加权平均噪音频谱作为噪音频谱输出，因此可维持输出的噪音频谱的频率特性(频谱形状)的大概形状，还可与时间相关地将噪音频谱的振幅随机化，从而具有可提供听觉上良好的回声处理装置等的效果。
根据本发明，由于构成为还包括加权加法器，噪音频谱估计部使用慢的更新速度算出第一估计噪音频谱，使用快的更新速度算出第二估计噪音频谱，加权加法器将进行这些多个估计噪音频谱的加权相加得到的加权平均噪音频谱作为噪音频谱输出，因此可维持输出的噪音频谱的频率特性(频谱形状)的大概形状，还可与时间相关地将噪音频谱的振幅随机化，从而提高虚拟背景噪音的自然性，具有可提供听觉上良好的回声处理装置等的效果。
本发明的回声处理装置中，加权加法器对噪音频谱的每个频谱成分在一定范围内随机设定加权加法器的加权相加中使用的加权系数，因此可保持噪音频谱的频率特性(频谱形状)的大概形状，还与频率相关地随机化振幅，从而提高虚拟背景噪音的自然性，具有可提供听觉上良好的回声处理装置等的效果。

Claims (18)

1.一种回声处理装置，包括：
比较混入了回声信号的要发送的发送输入信号和接收的接收输入信号的状态，根据该比较计算回声抑制量的回声抑制量计算部；
将上述发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；
从上述振幅频谱估计噪音频谱的噪音频谱估计部；
对应上述回声抑制量在上述振幅频谱中混合上述噪音频谱的混合部；
根据通过上述混合部混合了上述噪音频谱的振幅频谱和上述相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号并输出上述发送输出信号的频率·时间变换部。
2.根据权利要求1所述的回声处理装置，其特征在于混合部具有对应回声抑制量调整振幅频谱的频谱振幅的振幅调整部。
3.根据权利要求1所述的回声处理装置，其特征在于具有频谱减法部，从振幅频谱减去噪音频谱乘以频谱减算率的频谱，生成去除噪音振幅频谱，将上述去除噪音振幅频谱作为振幅频谱提供给混合部。
4.一种回声处理装置，包括：
比较混入了回声信号的要发送的发送输入信号和接收的接收输入信号的状态，根据该比较计算回声抑制量的回声抑制量计算部；
将上述发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；
从上述振幅频谱估计噪音频谱的噪音频谱估计部；
在上述振幅频谱中混合上述噪音频谱的混合部；
对应上述回声抑制量扰乱上述相位频谱的相位的相位随机化部；
根据通过上述混合部混合了上述噪音频谱的振幅频谱和通过上述相位随机化部根据扰乱了相位的上述相位频谱，生成混合了时间区域的表现形式的噪音的发送输出信号并输出上述发送输出信号的频率·时间变换部。
5.根据权利要求4所述的回声处理装置，其特征在于在回声抑制量计算部算出的回声抑制量比规定值小的情况下，相位随机化部扰乱要发送的发送输入信号的相位频谱中高频区域的相位，随着上述回声抑制量增大，相位随机化部不仅扰乱高频区域，还扰乱低频区域的相位。
6.一种回声处理装置，包括：
比较混入了回声信号的要发送的发送输入信号和接收的接收输入信号的状态，根据该比较计算回声抑制量的回声抑制量计算部；
将上述发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；
从上述振幅频谱估计噪音频谱的噪音频谱估计部；
在上述振幅频谱中混合上述噪音频谱的混合部；
对应上述回声抑制量扰乱上述振幅频谱的振幅的振幅随机化部；
根据通过上述振幅随机化部扰乱了振幅并且由上述混合部混合了上述噪音频谱的振幅频谱，并根据上述相位频谱，生成混合了时间区域的表现形式的噪音的发送输出信号并输出上述发送输出信号的频率·时间变换部。
7.根据权利要求6所述的回声处理装置，其特征在于在回声抑制量计算部算出的回声抑制量比规定值小的情况下，振幅随机化部扰乱要发送的发送输入信号的振幅频谱中高频区域的振幅，随着上述回声抑制量增大，振幅随机化部不仅扰乱高频区域，还扰乱低频区域的振幅。
8.一种回声处理装置，包括：
将混入了回声信号的要发送的发送输入信号从时间区域的表现形式变换为频率区域的表现形式并生成振幅频谱和相位频谱的时间·频率变换部；
从上述振幅频谱估计噪音频谱的噪音频谱估计部；
对应上述发送输入信号的背景噪音电平扰乱上述噪音频谱的振幅的噪音振幅随机化部；
将上述噪音振幅随机化部扰乱了振幅的上述噪音频谱在上述振幅频谱中混合的混合部；
根据通过上述混合部混合了上述噪音频谱的振幅频谱和上述相位频谱生成混合了时间区域的表现形式的噪音的发送输出信号并输出上述发送输出信号的频率·时间变换部。
9.根据权利要求8所述的回声处理装置，其特征在于在要发送的发送输入信号的背景噪音电平比规定值小的情况下，噪音振幅随机化部扰乱噪音振幅频谱中高频区域的振幅，随着上述背景噪音电平增大，噪音振幅随机化部不仅扰乱高频区域，还扰乱低频区域的振幅。
10.根据权利要求1到9之一所述的回声处理装置，其特征在于在回声抑制量计算部算出的回声抑制量比规定值大的情况下，混合部向振幅频谱中混合大比例的噪音频谱，在上述回声抑制量比规定值小的情况下，混合部向振幅频谱中混合小比例的噪音频谱。
11.根据权利要求1到9之一所述的回声处理装置，其特征在于在回声抑制量计算部算出的回声抑制量比规定值大的情况下，替代混合部向振幅频谱中混合噪音频谱，而用噪音频谱置换振幅频谱。
12.根据权利要求1到9之一所述的回声处理装置，其特征在于具有：
根据接收的接收输入信号和通信路径传输特性或麦克风与扬声器之间的声音传输特性、估计滤波器系数、生成虚拟回声信号的自适应滤波器；
通过从混入了回声信号的要发送的发送输入信号减去上述虚拟回声信号来去除回声信号的减法部，
在上述自适应滤波器的滤波器系数收敛之前的时间里，混合部向振幅频谱混合比其他情况大的比例的噪音频谱或不向振幅频谱混合噪音频谱，而用噪音频谱置换振幅频谱。
13.根据权利要求1到9之一所述的回声处理装置，其特征在于混合部向要发送的发送输入信号的振幅频谱中低频区域的振幅频谱成分中混合大比例的噪音频谱成分，随着变为高频区域，向振幅频谱成分中混合小比例的噪音频谱成分。
14.根据权利要求1到9之一所述的回声处理装置，其特征在于还包括随机选择部，噪音频谱估计部算出多个估计噪音频谱，上述随机选择部随机选择其中某一估计噪音频谱，作为噪音频谱输出。
15.根据权利要求1到9之一所述的回声处理装置，其特征在于还包括随机选择部，噪音频谱估计部使用慢的更新速度算出第一估计噪音频谱，使用快的更新速度算出第二估计噪音频谱，上述随机选择部随机选择其中某一估计噪音频谱，作为噪音频谱输出。
16.根据权利要求1到9之一所述的回声处理装置，其特征在于还包括加权加法器，噪音频谱估计部算出多个估计噪音频谱，上述加权加法器将进行这些多个估计噪音频谱的加权相加得到的加权平均噪音频谱作为噪音频谱输出。
17.根据权利要求16所述的回声处理装置，其特征在于还包括加权加法器，噪音频谱估计部使用慢的更新速度算出第一估计噪音频谱，使用快的更新速度算出第二估计噪音频谱，上述加权加法器将进行这些多个估计噪音频谱的加权相加得到的加权平均噪音频谱作为噪音频谱输出。
18.根据权利要求16所述的回声处理装置，其特征在于上述加权加法器对噪音频谱的每个频谱成分在一定范围内随机设定加权加法器的加权相加中使用的加权系数。
CN02142858.1A 2001-09-20 2002-09-19 回声处理装置 Expired - Fee Related CN1224187C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP287438/2001 2001-09-20
JP287438/01 2001-09-20
JP2001287438A JP3568922B2 (ja) 2001-09-20 2001-09-20 エコー処理装置

Publications (2)

Publication Number Publication Date
CN1405991A CN1405991A (zh) 2003-03-26
CN1224187C true CN1224187C (zh) 2005-10-19

Family

ID=19110249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN02142858.1A Expired - Fee Related CN1224187C (zh) 2001-09-20 2002-09-19 回声处理装置

Country Status (5)

Country Link
US (1) US7092516B2 (zh)
EP (1) EP1298815B1 (zh)
JP (1) JP3568922B2 (zh)
CN (1) CN1224187C (zh)
DE (1) DE60234746D1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050132406A1 (en) * 2003-12-12 2005-06-16 Yuriy Nesterov Echo channel for home entertainment systems
US7760887B2 (en) * 2004-10-15 2010-07-20 Lifesize Communications, Inc. Updating modeling information based on online data gathering
US8761385B2 (en) 2004-11-08 2014-06-24 Nec Corporation Signal processing method, signal processing device, and signal processing program
JP4568733B2 (ja) * 2004-12-28 2010-10-27 パイオニア株式会社 雑音抑圧装置、雑音抑圧方法、雑音抑圧プログラムおよびコンピュータに読み取り可能な記録媒体
US8457614B2 (en) 2005-04-07 2013-06-04 Clearone Communications, Inc. Wireless multi-unit conference phone
JP4696776B2 (ja) * 2005-08-17 2011-06-08 ソニー株式会社 音声処理装置及びマイク装置
US8073147B2 (en) * 2005-11-15 2011-12-06 Nec Corporation Dereverberation method, apparatus, and program for dereverberation
CN101322183B (zh) * 2006-02-16 2011-09-28 日本电信电话株式会社 信号失真消除装置、方法
JP4569618B2 (ja) * 2006-11-10 2010-10-27 ソニー株式会社 エコーキャンセラ及び通話音声処理装置
US8369511B2 (en) * 2006-12-26 2013-02-05 Huawei Technologies Co., Ltd. Robust method of echo suppressor
US8406415B1 (en) 2007-03-14 2013-03-26 Clearone Communications, Inc. Privacy modes in an open-air multi-port conferencing device
US7912211B1 (en) 2007-03-14 2011-03-22 Clearone Communications, Inc. Portable speakerphone device and subsystem
US8654955B1 (en) 2007-03-14 2014-02-18 Clearone Communications, Inc. Portable conferencing device with videoconferencing option
US8077857B1 (en) * 2007-03-14 2011-12-13 Clearone Communications, Inc. Portable speakerphone device with selective mixing
JP4916394B2 (ja) * 2007-07-03 2012-04-11 富士通株式会社 エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム
US8199927B1 (en) 2007-10-31 2012-06-12 ClearOnce Communications, Inc. Conferencing system implementing echo cancellation and push-to-talk microphone detection using two-stage frequency filter
JP2009207021A (ja) * 2008-02-29 2009-09-10 Yamaha Corp 音響エコーキャンセラ
JP2009290825A (ja) * 2008-06-02 2009-12-10 Yamaha Corp 音響エコーキャンセラ
JP5292931B2 (ja) * 2008-06-10 2013-09-18 ヤマハ株式会社 音響エコーキャンセラおよびエコーキャンセル装置
JP5472643B2 (ja) 2008-09-26 2014-04-16 日本電気株式会社 信号処理方法、信号処理装置、および信号処理プログラム
EP2346032B1 (en) * 2008-10-24 2014-05-07 Mitsubishi Electric Corporation Noise suppressor and voice decoder
JP5640393B2 (ja) * 2010-02-22 2014-12-17 沖電気工業株式会社 エコー除去装置、方法及びプログラム
RU2011103938A (ru) * 2011-02-03 2012-08-10 ЭлЭсАй Корпорейшн (US) Управление акустическими эхо-сигналами на основе временной области
JPWO2012157785A1 (ja) * 2011-05-19 2014-07-31 日本電気株式会社 音声処理装置、音声処理方法及び音声処理プログラムを記録した記録媒体
FR2976111B1 (fr) * 2011-06-01 2013-07-05 Parrot Equipement audio comprenant des moyens de debruitage d'un signal de parole par filtrage a delai fractionnaire, notamment pour un systeme de telephonie "mains libres"
CN103489452B (zh) * 2013-09-24 2017-02-08 小米科技有限责任公司 一种通话噪声消除方法、装置及终端设备
CN107005268B (zh) * 2014-12-15 2020-06-16 三菱电机株式会社 回波消除装置和回波消除方法
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
CN106849976A (zh) * 2016-12-28 2017-06-13 深圳天珑无线科技有限公司 一种免提通话时回声消除方法及通信终端
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10192567B1 (en) * 2017-10-18 2019-01-29 Motorola Mobility Llc Echo cancellation and suppression in electronic device
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11310596B2 (en) 2018-09-20 2022-04-19 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
EP3667662B1 (en) * 2018-12-12 2022-08-10 Panasonic Intellectual Property Corporation of America Acoustic echo cancellation device, acoustic echo cancellation method and acoustic echo cancellation program
CN109788399A (zh) * 2019-01-30 2019-05-21 珠海迈科智能科技股份有限公司 一种音箱的回声消除方法及系统
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
US11303981B2 (en) 2019-03-21 2022-04-12 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11438691B2 (en) 2019-03-21 2022-09-06 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
WO2020237206A1 (en) 2019-05-23 2020-11-26 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
WO2020243471A1 (en) 2019-05-31 2020-12-03 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
EP4018680A1 (en) 2019-08-23 2022-06-29 Shure Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
CN110648679B (zh) * 2019-09-25 2023-07-14 腾讯科技（深圳）有限公司 回声抑制参数的确定方法和装置、存储介质及电子装置
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
JP2024505068A (ja) 2021-01-28 2024-02-02 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム
US11902757B2 (en) * 2022-06-14 2024-02-13 Tencent America LLC Techniques for unified acoustic echo suppression using a recurrent neural network
CN115218252B (zh) * 2022-07-11 2023-03-21 朴瑞(北京)企业管理有限公司 用于城市节能供热的智能高效换热系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5561668A (en) * 1995-07-06 1996-10-01 Coherent Communications Systems Corp. Echo canceler with subband attenuation and noise injection control
US5920834A (en) * 1997-01-31 1999-07-06 Qualcomm Incorporated Echo canceller with talk state determination to control speech processor functional elements in a digital telephone system
DE19729521B4 (de) 1997-07-10 2004-04-01 Deutsche Telekom Ag Verfahren und Vorrichtung zur Störgeräusch- und Echounterdrückung
EP1041539A4 (en) 1997-12-08 2001-09-19 Mitsubishi Electric Corp METHOD AND DEVICE FOR PROCESSING THE SOUND SIGNAL
US6163608A (en) 1998-01-09 2000-12-19 Ericsson Inc. Methods and apparatus for providing comfort noise in communications systems
US6658107B1 (en) 1998-10-23 2003-12-02 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for providing echo suppression using frequency domain nonlinear processing
JP2000224081A (ja) 1999-02-04 2000-08-11 Nec Corp エコーキャンセラ装置
US7062039B1 (en) * 1999-05-27 2006-06-13 Telefonaktiebolaget Lm Ericsson Methods and apparatus for improving adaptive filter performance by inclusion of inaudible information
JP3454190B2 (ja) 1999-06-09 2003-10-06 三菱電機株式会社 雑音抑圧装置および方法
DE19935808A1 (de) 1999-07-29 2001-02-08 Ericsson Telefon Ab L M Echounterdrückungseinrichtung zum Unterdrücken von Echos in einer Sender/Empfänger-Einheit
CA2390200A1 (en) * 1999-11-03 2001-05-10 Charles W. K. Gritton Integrated voice processing system for packet networks

Also Published As

Publication number Publication date
JP2003101445A (ja) 2003-04-04
JP3568922B2 (ja) 2004-09-22
DE60234746D1 (de) 2010-01-28
EP1298815A2 (en) 2003-04-02
EP1298815B1 (en) 2009-12-16
EP1298815A3 (en) 2004-07-28
US7092516B2 (en) 2006-08-15
CN1405991A (zh) 2003-03-26
US20030076947A1 (en) 2003-04-24

Similar Documents

Publication Publication Date Title
CN1224187C (zh) 回声处理装置
CN1303585C (zh) 噪声抑制
CN1139241C (zh) 回声消除设备及其方法
CN1192358C (zh) 声音信号加工方法和声音信号加工装置
CN1308914C (zh) 噪声抑制装置和方法
CN1868137A (zh) 回波消除器
CN1184745C (zh) 回波消除器装置
CN1684143A (zh) 一种语音增强的方法
CN1451225A (zh) 用于消除收发信机单元中回波的回波消除设备
CN1367602A (zh) 回声信号抑制设备
CN1192360C (zh) 噪声抑制装置
CN1041374C (zh) 通信网回波抵消器
CN1672341A (zh) 通信系统及其方法
CN1250045C (zh) 车载音响重现装置
CN1741686A (zh) 拾音器装置和回声消除处理方法
CN1398054A (zh) 啸叫检测和抑制设备、方法和计算机程序产品
CN1185799C (zh) 双方对话检测装置、回波消除器和回波抑制器
CN1284309C (zh) 回波消除器学习方法
CN101048649A (zh) 可扩展解码装置及可扩展编码装置
CN1294814A (zh) 在通信系统中控制回声抑制的方法和设备
CN1606382A (zh) 通信装置
CN1874386A (zh) 具有改进性能的电话机及在其中处理音频信号的方法
CN85108662A (zh) 数字式扩音电话
CN1717720A (zh) 声处理系统、声处理装置、声处理方法、声处理程序及存储媒体
CN1922660A (zh) 通信装置和信号编码/解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051019

Termination date: 20170919

CF01 Termination of patent right due to non-payment of annual fee