CN110741563B - 语音信号处理装置、方法及其存储介质 - Google Patents

语音信号处理装置、方法及其存储介质 Download PDF

Info

Publication number
CN110741563B
CN110741563B CN201880038882.7A CN201880038882A CN110741563B CN 110741563 B CN110741563 B CN 110741563B CN 201880038882 A CN201880038882 A CN 201880038882A CN 110741563 B CN110741563 B CN 110741563B
Authority
CN
China
Prior art keywords
signal
individual
echo
cancellation
microphones
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880038882.7A
Other languages
English (en)
Other versions
CN110741563A (zh
Inventor
鬼冢一浩
相川彻
菊原靖仁
实方友里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audio Technica KK
Original Assignee
Audio Technica KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audio Technica KK filed Critical Audio Technica KK
Publication of CN110741563A publication Critical patent/CN110741563A/zh
Application granted granted Critical
Publication of CN110741563B publication Critical patent/CN110741563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B3/00—Line transmission systems
    • H04B3/02—Details
    • H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供一种语音信号处理装置、方法及其存储介质，其能够通过简单的电路结构消除来自多个麦克风的输入信号中所包含的回声信号。本装置具有：输出部，其输出受话信号；输入部，其对从多个麦克风分别输入的信号进行合成而生成送话信号，该多个麦克风对受话信号的回声成分和发言者的语音进行集音，生成与回声成分相应的回声信号和与发言者的语音相应的语音信号；消除信号生成部，其根据滤波系数生成用于消除送话信号中所包含的回声信号的消除信号；控制部，其算出滤波系数；以及消除部，其根据送话信号和消除信号，生成回声消除信号，控制部算出多个麦克风所分别对应的个别滤波系数，并对个别滤波系数进行合成而算出滤波系数。

Description

语音信号处理装置、方法及其存储介质
技术领域
本发明涉及一种语音信号处理装置、语音信号处理方法和存储有语音信号处理程序的存储介质。
背景技术
近年来，经由互联网等通信线路的通信会议系统，例如电话会议系统或电视会议系统等，时常会应用于物理性分隔开来的地点间召开的会议。利用此类通信会议系统，根据从其中一个地点接收的语音信号(以下简称“受话信号”)由另一地点的扬声器输出语音并由该另一地点的麦克风对该语音进行集音，会导致发生回声。
回声一般会通过通信会议系统所具备的回声消除器进行抑制和消除。普通的回声消除器具备自适应滤波器，该自适应滤波器根据受话信号以及与回音相应的回声信号生成用于消除回声信号的消除信号。该回声消除器通过或加或减消除信号和回声信号，消除回声信号。
关于上述回声消除器，已知有对来自多个麦克风的回声信号进行抑制或消除的、与多通道对应的回声消除器(例如，参照专利文献1)。
现有技术文献
专利文献：
专利文献1：日本专利特开2002－252577公报
发明内容
发明要解决的问题
专利文献1所公开的回声消除器具备多个麦克风所分别对应的多个回声消除部。通过由各回声消除部消除来自所对应的麦克风的输入信号中所包含的回声信号，该回声消除器可与多通道对应。意即，专利文献1所公开的回声消除器需要具备数量与麦克风相同的回声消除部。因此，电路结构和信号处理比较复杂。
本发明即为解决上述现有技术的问题而做，其目的在于，提供一种通过简单的电路结构即可消除分别来自多个麦克风的输入信号中所包含的回声信号的语音信号处理装置、语音信号处理方法和语音信号处理程序。
用于解决问题的方案
本发明的语音信号处理装置的特征在于，具有：输出部，其输出受话信号；输入部，其对从多个麦克风分别输入的信号进行合成而生成送话信号，该多个麦克风对受话信号的回声成分和发言者的语音进行集音，生成与回声成分相应的回声信号和与发言者的语音相应的语音信号；消除信号生成部，其根据滤波系数生成用于消除送话信号中所包含的回声信号的消除信号；控制部，其算出滤波系数；以及消除部，其根据送话信号和消除信号，生成回声消除信号，控制部算出多个麦克风所分别对应的个别滤波系数，并对个别滤波系数进行合成而算出滤波系数。
发明的效果
根据本发明，能够通过简单的电路结构，消除分别来自多个麦克风的输入信号中所包含的回声信号。
附图说明
图1是示出本发明的语音信号处理装置的实施方式的功能框图。
图2是示出本发明的语音信号处理方法的实施方式的流程图。
图3是图2的语音信号处理方法中所包含的初始化处理的流程图。
图4是图2的语音信号处理方法中所包含的初始学习处理的流程图。
图5是示出图4的初始学习处理中的信号流的功能框图。
图6是图2的语音信号处理方法中所包含的回声信号消除处理的流程图。
图7是示出图6的回声信号消除处理中的信号流的功能框图。
图8是图6的信号处理中所包含的确定处理的流程图。
图9是示出图8的确定处理中的信号流的功能框图。
图10是图8的信号处理中所包含的更新处理的流程图。
图11是示出图10的更新处理中的信号流的功能框图。
图12是示出本发明的另一实施方式的功能框图。
附图标记说明
1 语音信号处理装置
1A 语音信号处理装置
20 第1输出部(输出部)
30 第2输入部(输入部)
40 切换部
50 控制部
60 存储部
70 消除信号生成部
70A 第1消除信号生成部
70B 第2消除信号生成部
80 消除部
80A 第1消除部
80B 第2消除部
s1 语音信号
s2 受话信号
s3 基准信号
s4 送话信号
s40 个别送话信号
s5 消除信号
s50 个别消除信号
s6 回声消除信号
s60 个别回声消除信号
es 回声信号
res 残留回声信号
res10 个别残留回声信号
F 滤波系数
k 个别滤波系数
具体实施方式
以下参照附图，对本发明的语音信号处理装置、语音信号处理方法和语音信号处理程序的实施方式进行说明。
·语音信号处理装置·
首先，对本发明的语音信号处理装置(以下简称“本装置”)的实施方式进行说明。
·语音信号处理装置的结构
图1是示出本装置的实施方式的功能框图。
本装置1对来自麦克风3等设备的信号(输入信号)进行混合、分配、平衡调节等的处理。该麦克风3将语音或乐音转换为电信号。本装置1为例如混频器。
在以下的说明中，例如，本装置1应用于第1地点的发言者和与第1地点物理性分离的第2地点的发言者间召开的电视会议中。本装置1设置于第1地点。此外，本装置1与配置于第1地点的1 个扬声器2以及6个麦克风3a、3b、3c、3d、3e、3f(所谓“6通道”) 连接。第1地点与第2地点是例如会议室等房间。
从扬声器2输出至第1地点的室内空间的、来自第2地点的语音(声音)的一部分，经由该室内空间被麦克风3集音。此时，麦克风3生成与从扬声器2输出的语音(声音)的一部分(以下简称“回声成分”)相应的信号(以下简称“回声信号”)es，并进行输出。麦克风3在第1地点的发言者发言时，生成与该发言者的语音相应的信号(以下简称“语音信号”)s1，并进行输出。意即，在第1地点的发言者和第2地点的发言者发言时，从麦克风3输出的信号包含语音信号s1和回声信号es。另一方面，在仅有第2地点的发言者发言时，从麦克风3输出的信号包含回声信号es。
本装置1具有：第1输入部10、第1输出部20、第2输入部30、切换部40、控制部50、存储部60、消除信号生成部70、消除部80、第2输出部90。
本装置1通过个人计算机等实施。本装置1中，本发明的信息处理程序(以下简称“本程序”)与本装置1的硬件资源联动，执行后述的本发明的语音信号处理方法(以下简称“本方法”)。
而且，通过使计算机(未图示)执行本程序，能够使该计算机具有等同于本装置的功能，从而使该计算机执行本方法。
第1输入部10经由通信电缆等通信线路5与第2地点的通信装置4连接，接收来自第2地点的语音信号(以下简称“受话信号”)s2。第1输入部10由例如连接器或端子等通讯接口(I/F)、放大器等构成。来自第1输入部10的受话信号s2被输入至第1输出部20、控制部50、消除信号生成部70。
第1输出部20将来自第1输入部10的受话信号s2和来自控制部50的基准信号s3输出至扬声器2。第1输出部20由例如I/F、放大器等构成。第1输出部20是本发明中的输出部。“基准信号s3”是本装置1执行后述的本方法时经由扬声器2播放的基准音(例如，白噪声)所对应的信号。基准信号s3由控制部50生成。
第2输入部30与各麦克风3a－3f连接，分别接收来自该麦克风 3a－3f的信号。第2输入部30由例如I/F、放大器、模数转换器、可变电阻等构成。第2输入部30是本发明中的输入部。第2输入部 30生成对所接收的各信号的增益进行了调节的信号(以下简称“个别送话信号”)s41、s42、s43、s44、s45、s46，并生成对各个别送话信号s41－s46进行了合成的信号(以下简称“送话信号”)s4。意即，第2输入部30对各个别送话信号s41－s46，换言之，对分别来自各麦克风3a－3f的信号进行合成，生成送话信号s4。第2输入部30 具备送话信号s4以及各个别送话信号s41－s46所分别对应的7条传输路径(未图示)。所生成的送话信号s4与各个别送话信号s41－ s46被输入至切换部40。以下，不区分个别送话信号s41－s46而进行总称时，将各个别送话信号s41－s46表述为“个别送话信号s40”。
各信号的增益的调节采用公知的增益共享算法执行。“增益共享”算法是指：对来自各麦克风3a－3f的输入和各输入的和进行比较(例如，对仅有来自麦克风3a的信号输入时和有来自麦克风3a －3f的信号输入时进行比较)，为确保总增益值G达到一定的值而调节设定于来自各麦克风3a－3f的信号的传输路径(放大器)的增益值g1、g2、g3、g4、g5、g6的算法。换言之，增益共享是指：为确保各传输路径的总增益值G达到一定的值而调节各麦克风3a－3f 所对应的增益值g1－g6的算法。设定于各传输路径的增益值g1－g6 被存储在存储部60中。以下，不区分各增益值g1－g6而进行总称时，将各增益值g1－g6表述为“增益值g”。
如前所述，送话信号s4与个别送话信号s41－s46根据分别来自各麦克风3a－3f的信号生成。意即，送话信号s4与个别送话信号s41 －s46在第1地点的发言者发言时包含语音信号s1和回声信号es，在第1地点的发言者未发言时包含回声信号es。
切换部40根据来自控制部50的切换信号，切换第2输入部30 的传输路径，据此切换从第2输入部30输入至控制部50或消除部 80的信号。意即，切换部40对6个麦克风3a－3f所分别对应的个别送话信号s40或送话信号s4中的、输入至控制部50或消除部80 的信号进行切换。切换部40由例如旋转开关或滑动开关等构成。关于切换部40的动作，参见后文内容。
本装置1要执行后述的本方法所必需的系数的计算、语音信号 s1或受话信号s2的检测、回波损耗的测定等由控制部50执行。控制部50由例如CPU(中央处理器)、MPU(微处理单元)、DSP(数字信号处理器)等处理器，或是ASIC(专用集成电路)、FPGA(现场可编程门阵列)等集成电路构成。关于控制部50的动作和回波损耗，参见后文内容。
本装置1要执行后述的本方法所必需的信息由存储部60存储。存储部60由例如HDD(硬碟机)、SSD(固态硬盘)等存储装置，或是RAM(随机存取存储器)、闪存等半导体存储器元件等构成。关于存储部60中存储的信息，参见后文内容。
消除信号生成部70根据受话信号s2和滤波系数F生成消除信号s5。消除信号生成部70是例如公知的FIR(有限冲激响应)滤波器。“消除信号s5”是消除(抑制)送话信号s4中所包含的回声信号es的信号。意即，例如，消除信号s5是与送话信号s4中所包含的回声信号es相同相位(或无限接近相同相位)的信号。关于由消除信号生成部70生成消除信号s5，参见后文内容。
“滤波系数F”是用于由消除信号生成部70对受话信号s2执行 FIR处理而生成消除信号s5的系数。意即，消除信号生成部70根据滤波系数F，对受话信号s2执行FIR处理，生成消除信号s5。如前所述，滤波系数F由控制部50算出。关于由控制部50算出滤波系数F，参见后文内容。
消除部80根据送话信号s4和消除信号s5，消除送话信号s4中所包含的回声信号es，生成回声消除信号s6。消除部80是例如减法电路或加法电路等运算电路。关于由消除部80生成回声消除信号s6，参见后文内容。
如前所述，“回声消除信号s6”是从送话信号s4消除(抑制) 了回声信号es的信号。回声消除信号s6在第1地点的发言者发言时包含语音信号s1和残留回声信号res。在第1地点的发言者未发言时包含残留回声信号res。“残留回声信号res”是回声信号es与消除信号s5的差异信号。意即，例如，消除信号s5完全消除了回声信号 es时(回声信号es与消除信号s5的相位是相同相位时)，两信号相减而生成的残留回声信号res的信号电平是“0”。回声消除信号s6 被输入至控制部50和第2输出部90。
第2输出部90与通信线路5连接，向该通信线路5输出回声消除信号s6。第2输出部90由例如I/F、放大器等构成。来自第2 输出部90的回声消除信号s6经由通信线路5，被输入至第2地点的通信装置4。
·语音信号处理方法·
下面，对本方法进行说明。
图2是示出本方法的实施方式的流程图。
在本方法中，本装置1执行：初始化处理(ST1)、初始学习处理(ST2)、回声信号消除处理(ST3)、后述的确定处理(ST4) (参照图8)、后述的更新处理(ST5)(参照图10)。在本方法中，本装置1执行各处理(ST1－ST5)，据此以通用的1个FIR滤波器 (消除信号生成部70)与6个麦克风3(6通道)对应，且如后所述实现了与环境变化自动对应的回音消除。
本装置1在本装置1开机后执行初始化处理(ST1)。
·初始化处理
图3是初始化处理(ST1)的流程图。
“初始化处理(ST1)”是执行参数的初始化或环境测定等的处理。
首先，本装置1进行参数的初始化(ST101)。“参数”是设定于用来算出后述的个别滤波系数k的算法(自适应算法)的值。
接着，本装置1利用控制部50，对设置有本装置1、扬声器2 和麦克风3的第1地点执行环境测定(ST102)。“环境测定”是对从设置有本装置1、扬声器2和麦克风3的第1地点的扬声器2到麦克风3的回声成分的传输路径(环境)相关的项目(例如，混响时间、延迟时间、最大回声量、背景噪声)的测定。本装置1经由扬声器2，将基准音向第1地点内输出，经由麦克风3对该基准音的回声成分进行集音。控制部50对混响时间、延迟时间、最大回声量、背景噪声进行测定。针对麦克风3a－3f中的每个麦克风执行环境测定。
“混响时间”是指：基准音被输出(发出)至第1地点内后，从该基准音的输出停止到该音的混响音的能量密度衰减至60dB所需要的时间。“延迟时间”是指：麦克风3对从扬声器2输出的基准音进行集音所需的时间。“最大回声量”是指：在第1地点内由麦克风3所集音的回声成分的最大量。“背景噪声”是指：第1地点内的噪声(空调声或室外车辆声等)的声压等级。
接着，本装置1将麦克风3a－3f所分别对应的环境测定的测定结果存储在存储部60中(ST103)。
接着，本装置1根据麦克风3a－3f所分别对应的环境测定的测定结果确定参数(ST104)。根据环境测定的测定结果，通过从新算出来确定参数。或者，根据环境测定的测定结果，通过从预先存储在存储部60中的多个参数群中选择1个参数群来确定参数。
·初始学习处理
图4是初始学习处理(ST2)的流程图。
图5是示出初始学习处理(ST2)中的信号流的功能框图。
该图以箭头示出初始学习处理(ST2)中的信号流里的主要流向。
“初始学习处理(ST2)”是本装置1开机后本装置1首次算出 (学习)滤波系数F的处理。
首先，本装置1利用切换部40和控制部50，将第2输入部30 的传输路径切换为来自麦克风3a的传输路径(ST201)。切换部40 根据来自控制部50的切换信号进行传输路径的切换。
接着，本装置1利用第2输入部30生成麦克风3a所对应的个别送话信号s41(ST202)。在处理(ST202)中，控制部50生成基准信号s3，将基准信号s3输入至第1输出部20。本装置1从扬声器 2输出基准音，通过在前述的处理(ST201)中切换的传输路径所对应的麦克风3(麦克风3a)对该基准音的回声成分进行集音。第2 输入部30根据从麦克风3a输入的信号，生成麦克风3a所对应的个别送话信号s41。该个别送话信号s41包含与基准音的回声成分相应的回声信号es。个别送话信号s41从第2输入部30经由切换部40 被输入至消除部80。
接着，本装置1利用控制部50和消除信号生成部70生成个别消除信号s51(ST203)。“个别消除信号s51”是指：消除个别送话信号s41所含的回声信号(以下简称“个别回声信号”)es1的信号。以下，在不区分个别消除信号s51－s56而进行总称时，将个别消除信号s51－s56表述为“个别消除信号s50”。
处理(ST203)中，控制部50从存储部60读取麦克风3a所对应的个别滤波系数k1的初始值，将其输入至(设定于)消除信号生成部70。消除信号生成部70根据基准信号s3和个别滤波系数k1，算出个别消除信号s51。个别消除信号s51被输入至消除部80。
“个别滤波系数k1”是指：从扬声器2到麦克风3a的音响传输路径的传递函数。意即，个别滤波系数k1是用于由消除信号生成部 70对参照信号执行FIR处理而生成个别消除信号s51的系数。“参照信号”是指：消除信号生成部70根据个别滤波系数k1生成个别消除信号s51所参照的信号(参照信号在初始学习处理(ST2)中是基准信号s3，在回声信号消除处理(ST3)、确定处理(ST4)和更新处理(ST5)中是受话信号s2)。
接着，本装置1利用消除部80，消除个别送话信号s41中所包含的个别回声信号es1，并生成个别回声消除信号s61(ST204)。处理(ST204)中，消除部80根据个别送话信号s41和个别消除信号s51生成个别回声消除信号s61。个别回声消除信号s61从消除部 80被输入至控制部50和第2输出部90。此时，第2输出部90使个别回声消除信号s61静音。这样，个别回声消除信号s61不会被发送至第2地点。
而且，第2输出部既可以使个别回声消除信号衰减，也可以在使个别回声消除信号静音后将虚拟噪声(粉红噪声)发送至第2地点。
“个别回声消除信号s61”是指：从个别送话信号s41消除(抑制)了个别回声信号es1的信号。个别回声消除信号s61包含个别残留回声信号res11。以下，在不区分个别回声消除信号s61－s66而进行总称时，将个别回声消除信号s61－s66表述为“个别回声消除信号s60”。“个别残留回声信号res11”是指：个别回声信号es1与个别消除信号s51的差异信号。消除部80从个别送话信号s41减去个别消除信号s51，生成个别回声消除信号s61。以下，在不区分个别残留回声信号res11－res16而进行总称时，将个别残留回声信号 res11－res16表述为“个别残留回声信号res10”。
接着，本装置1利用控制部50，算出麦克风3a所对应的个别滤波系数k1(ST205)。处理(ST205)中，控制部50从存储部60读取设定于来自麦克风3a的信号的传输路径的(麦克风3a所对应的) 增益值g1。接着，控制部50根据所读取的增益值g1、基准信号s3、个别回声消除信号s61(意即，个别回声消除信号s61中所包含的个别残留回声信号res11)，利用公知的自适应算法，算出麦克风3a 所对应的个别滤波系数k1。
所算出的个别滤波系数k1被存储在存储部60中(ST206)。这样，被存储在存储部60中的个别滤波系数k1从初始值更新为算出值。
本装置1在算出所有的麦克风3a－3f所对应的个别滤波系数k1 －k6之前(ST207的“否”)，反复进行处理(ST201－ST206)。此处，如前所述，根据麦克风3所分别对应的环境测定的测定结果确定自适应算法的参数。换言之，控制部50根据麦克风3所分别对应的环境测定的测定结果，算出麦克风3所分别对应的个别滤波系数k。
算出了所有的麦克风3a－3f所对应的个别滤波系数k1－k6时 (ST207的“是”)，本装置1利用控制部50算出滤波系数F(ST208)。处理(ST208)中，控制部50从存储部60读取来自各麦克风3a－3f 的信号的传输路径的增益值g1－g6和各个别滤波系数k1－k6，根据增益值g1－g6和个别滤波系数k1－k6算出滤波系数F。滤波系数F 通过对各个别滤波系数k1－k6进行合成而算出。以下，在不区分个别滤波系数k1－k6而进行总称时，将个别滤波系数k1－k6表述为“个别滤波系数k”。
针对各麦克风3a－3f所对应的个别滤波系数k1－k6中的每一个别滤波系数，在个别滤波系数k上乘以增益值g，并将其结果相加，据此进行各个别滤波系数k1－k6的合成。意即，通过将麦克风3a 所对应的个别滤波系数k1乘以增益值g1所得的值、麦克风3b所对应的个别滤波系数k2乘以增益值g2所得的值、麦克风3c所对应的个别滤波系数k3乘以增益值g3所得的值、麦克风3d所对应的个别滤波系数k4乘以增益值g4所得的值、麦克风3e所对应的个别滤波系数k5乘以增益值g5所得的值、以及麦克风3f所对应的个别滤波系数k6乘以增益值g6所得的值相加，来算出滤波系数F。
所算出的滤波系数F被存储在存储部60中，并被输入至(设定于)消除信号生成部70(ST209)。这样，消除信号生成部70能够根据滤波系数F生成消除信号s5。
如上所述，本方法通过算出各麦克风3a－3f所对应的个别滤波系数k1－k6并进行合成，算出滤波系数F。因此，本装置1不同于每个麦克风均具备回声消除部的现有技术装置，能够通过1个回声消除部(相当于：控制部50+消除信号生成部70+消除部80)来消除来自各麦克风3a－3f的信号中所包含的回声信号es。意即，本装置1针对来自6个麦克风3a－3f的输入，通过通用的1个FIR滤波器(消除信号生成部70)执行回音消除。意即，本装置1与现有技术的装置比较，能够以简单的电路结构消除来自各麦克风3a－3f的信号中所包含的回声信号es。
·回声信号消除处理
图6是回声信号消除处理(ST3)的流程图。
图7是示出回声信号消除处理(ST3)中的信号流的功能框图。
该图以箭头示出回声信号消除处理(ST3)中的信号流里的主要流向。
“回声信号消除处理(ST3)”是指：从送话信号s4消除受话信号s2所对应的回声信号es的处理。回声信号消除处理(ST3)是在例如第1地点与第2地点之间召开的会议中当第1输入部10所接收的信号包含受话信号s2时所执行的处理。如前所述，来自第1输入部10的信号(受话信号s2)被输入至第1输出部20、控制部50、消除信号生成部70。
首先，本装置1利用控制部50，对来自第1输入部10的信号中是否包含受话信号s2意即有无受话信号s2进行检测(ST301)。处理(ST301)中，控制部50通过例如将来自第1输入部10的信号(信号电平)与规定的阈值V1进行比较，来检测有无受话信号s2。当有受话信号s2时，送话信号s4包含受话信号s2所对应的回声信号es。
“阈值V1”是指：用于由控制部50检测来自第1输入部10的信号中是否包含受话信号s2的阈值。阈值V1被存储在存储部60中。
来自第1输入部10的信号(信号电平)小于阈值V1(无受话信号s2)时(ST301的“否”)，本装置1反复检测有无受话信号 s2。
另一方面，来自第1输入部10的信号大于等于阈值V1(有受话信号)时(ST301的“是”)，本装置1利用切换部40和控制部 50，将第2输入部30的传输路径切换为送话信号s4的传输路径 (ST302)。
接着，本装置1利用第2输入部30生成送话信号s4(ST303)。送话信号s4经由切换部40从第2输入部30被输入至控制部50和消除部80。
接着，本装置1利用控制部50和消除信号生成部70，生成消除信号s5(ST304)。处理(ST304)中，控制部50从存储部60读取滤波系数F，并将其输入至(设定于)消除信号生成部70。消除信号生成部70根据从控制部50输入的滤波系数F，从受话信号s2生成消除信号s5。滤波系数F是在初始学习处理(ST2)中算出的滤波系数F，或是在后述的更新处理(ST5)中算出并更新的滤波系数F。
接着，本装置1利用消除部80消除送话信号s4中所包含的回声信号es，并生成回声消除信号s6(ST305)。处理(ST305)中，消除部80根据送话信号s4和消除信号s5，生成回声消除信号s6。回声消除信号s6被输入至控制部50和第2输出部90。
接着，本装置1利用控制部50测定回波损耗(Echo Return Loss： ERL)(ST306)。
“ERL”是指：送话信号s4与回声消除信号s6的电平差，意即，回声消除信号s6中所包含的残留回声信号res的大小(信号电平)。 ERL会受到例如麦克风3的设置场所的变更、扬声器2的输出电平的变动等的影响。意即，例如，ERL会在发言者移动了麦克风3的位置、回声成分的传输路径发生了变化(环境变化)时恶化。控制部50根据送话信号s4的信号电平和回声消除信号s6的信号电平来测定ERL。意即，控制部50通过从送话信号s4的信号电平减去回声消除信号s6的信号电平来测定ERL。
接着，本装置1利用控制部50，将所测定的ERL与规定的阈值 V2进行比较(ST307)。“阈值V2”是指：显示本装置1所进行的回声信号es的消除是否充分(残留回声信号res的信号电平是否较大)的阈值。意即，本装置1所进行的回声信号es的消除不够充分时，ERL大于等于阈值V2(恶化)。另一方面，本装置1所进行的回声信号es的消除足够充分时，ERL小于阈值V2。阈值V2是本发明中的基准值。阈值V2被存储在存储部60中。
ERL小于阈值V2时(ST307的“否”)，本装置1利用第2输出部90，将回声消除信号s6输出至第2地点的通信装置4(ST308)。然后，本装置1的处理回到处理(ST301)。
另一方面，ERL大于等于阈值V2时(ST307的“是”)，本装置1利用控制部50，对送话信号s4中是否包含语音信号s1(有无语音信号s1)进行检测(ST309)。处理(ST309)中，控制部50通过例如将来自第2输入部30的送话信号s4(信号电平)与规定的阈值V3进行比较，来检测有无语音信号s1。
“阈值V3”是指：用于由控制部50对来自第2输入部30的送话信号s4中是否包含语音信号s1进行检测的阈值。阈值V3被存储在存储部60中。
送话信号s4的信号电平大于等于阈值V3(有语音信号s1)时 (ST309的“是”)，本装置1利用第2输出部90，将回声消除信号s6输出至第2地点的通信装置4(ST308)。然后，本装置1的处理回到处理(ST301)。
另一方面，送话信号s4的信号电平小于阈值V3(无语音信号 s1)时(ST309的“否”)，本装置1利用第2输出部90，将回声消除信号s6输出至第2地点的通信装置4(ST310)，执行确定处理 (ST4)。
如上所述，本装置1在ERL大于等于阈值V2时，并且在有受话信号s2且无语音信号s1时，执行确定处理(ST4)。意即，本装置1根据ERL与阈值V2的比较结果，在送话信号s4中包含回声信号es且送话信号s4中不包含语音信号s1时，执行确定处理(ST4)。换言之，本装置1在回声信号消除处理(ST3)的执行过程中检测到环境变化后，执行确定处理(ST4)。
而且，ERL的值被测定为负值时，阈值V2为负值。此时，本装置也可反向进行前述的处理(ST307)中的ERL与阈值V2的大小的比较。意即，例如，作为负值的ERL小于等于阈值V2时，本装置也可利用控制部对送话信号中是否包含语音信号(有无语音信号) 进行检测。
·确定处理
图8是确定处理(ST4)的流程图。
图9是示出确定处理(ST4)中的信号流的功能框图。
该图以箭头示出确定处理(ST4)中的信号流里的主要流向。为便于说明，该图仅示出来自麦克风3a－3f中的麦克风3a的信号所对应的各信号。
“确定处理(ST4)”是指：将麦克风3确定为特定麦克风或非特定麦克风的处理。“特定麦克风”是指：对应的个别滤波系数k 不适当(偏离)的麦克风3。意即，特定麦克风是成为个别滤波系数 k的更新对象的麦克风3。ERL的恶化起因于滤波系数F偏离回声信号es。意即，ERL的恶化起因于各个别滤波系数k1－k6偏离各个别回声信号es1－es6。因此，应将特定麦克风所对应的个别滤波系数k 更新为适当的值。“非特定麦克风”是指：对应的个别滤波系数k 适当(未偏离)的麦克风3，意即，不属于个别滤波系数k的更新对象的麦克风3。
首先，本装置1利用控制部50，对送话信号s4中是否包含语音信号s1(有无语音信号s1)进行检测(ST401)。对有无语音信号 s1的检测(ST401)的处理，与回声信号消除处理(ST3)中的对有无语音信号s1的检测(ST309)相同。
送话信号s4中不包含语音信号s1(无语音信号s1)时(ST401 的“否”)，本装置1利用切换部40和控制部50，将第2输入部 30的传输路径切换为来自麦克风3a的信号的传输路径(ST402)。
接着，本装置1利用第2输入部30，根据来自麦克风3a的信号，生成个别送话信号s41(ST403)。个别送话信号s41经由切换部40 被输入至消除部80。
接着，本装置1利用控制部50和消除信号生成部70，生成个别消除信号(特定消除信号)s51(ST404)。处理(ST404)中，控制部50从存储部60读取麦克风3a所对应的个别滤波系数k1，并将其输入至消除信号生成部70。消除信号生成部70根据受话信号s2和个别滤波系数k1，生成个别消除信号s51。个别消除信号s51被输入至消除部80。
接着，本装置1利用消除部80消除个别送话信号s41中所包含的个别回声信号es1，生成个别回声消除信号s61(ST405)。处理 (ST405)中，消除部80根据个别送话信号s41和个别消除信号s51，生成个别回声消除信号s61。个别回声消除信号s61从消除部80被输入至控制部50和第2输出部90。
接着，本装置1利用控制部50，测定个别ERL(ST406)。
“个别ERL”是指：个别送话信号s41与个别回声消除信号s61 的电平差。意即，个别ERL是个别回声消除信号s61中所包含的个别残留回声信号res11的大小(信号电平)。控制部50根据个别送话信号s41的信号电平和个别回声消除信号s61的信号电平，测定个别ERL。意即，控制部50通过从个别送话信号s41的信号电平减去个别回声消除信号s61的信号电平，测定个别ERL。
接着，本装置1利用控制部50，将所测定的个别ERL与规定的阈值V4进行比较(ST407)。
“阈值V4”是指：显示本装置1所进行的个别回声信号es1的消除是否充分(个别残留回声信号res11的信号电平是否较大)的阈值。意即，本装置1所进行的个别回声信号es1的消除不够充分时，个别ERL大于等于阈值V4(恶化)。另一方面，本装置1所进行的个别回声信号es1的消除足够充分时，个别ERL小于阈值V4。阈值 V4是本发明中的个别基准值。阈值V4被存储在存储部60中。
个别ERL小于阈值V4时(ST407的“否”)，本装置1将麦克风3a确定为非特定麦克风(ST408)。另一方面，个别ERL大于等于阈值V4时(ST407的“是”)，本装置1将麦克风3a确定为特定麦克风(ST409)。确定结果被存储在存储部60中(ST410)。此时，个别回声消除信号s61从第2输出部90被输出。
本装置1在将所有的麦克风3a－3f确定为特定麦克风或是非特定麦克风之前，反复对来自剩余的麦克风3b－3f的信号进行处理 (ST401－ST410)(ST411的“否”)。意即，本装置1利用切换部40，对剩余的麦克风3b－3f所分别对应的个别送话信号s42－s46 进行切换的同时，将其输入至消除部80，将各麦克风3a－3f确定为特定麦克风或是非特定麦克风。
本装置1将各麦克风3a－3f确定为特定麦克风或是非特定麦克风时(ST411的“是”)，执行更新处理(ST5)。此时，麦克风3 由特定麦克风和非特定麦克风构成。
送话信号s4中包含语音信号s1(有语音信号s1)时(ST401的“是”)，本装置1结束(中断)确定处理(ST4)，执行回声信号消除处理(ST3)。意即，确定处理(ST4)结束前控制部50检测到语音信号s1时，本装置1中断确定处理(ST4)，执行回声信号消除处理(ST3)。中断确定处理(ST4)后在回声信号消除处理(ST3) 中判定送话信号s4中不包含语音信号s1时，本装置1从中断的处理 (针对来自未被确定为特定麦克风或非特定麦克风的麦克风3的信号的处理)执行(重新开始)确定处理(ST4)。意即，例如，在执行针对各麦克风3a－3f中的麦克风3a－3d的确定处理(ST4)时中断了的，本装置1从针对麦克风3e的确定处理(ST4)重新开始。
而且，中断了确定处理时，本装置也可从头开始执行确定处理，意即，针对所有的麦克风执行确定处理。
此外，个别ERL的值被测定为负值时，阈值V4为负值。此时，本装置也可以反向进行前述的处理(ST407)中的个别ERL和阈值 V4的大小的比较。意即，例如，作为负值的个别ERL小于等于阈值 V4时，本装置也可以将该个别ERL所对应的麦克风3确定为特定麦克风。
如上所述，本装置1根据个别ERL与个别基准值(阈值V4)的比较结果，从多个麦克风3a－3f之中确定成为个别滤波系数k的更新对象的特定麦克风和不属于个别滤波系数k的更新对象的非特定麦克风。意即，本装置1在ERL恶化时，并且在送话信号s4中包含回声信号es且送话信号s4中不包含语音信号s1时，确定特定麦克风。因此，本装置1能够限定需要更新个别滤波系数k的麦克风3，缩短更新个别滤波系数k和更新滤波系数F所需的时间，减轻处理负担。
·更新处理
图10是更新处理(ST5)的流程图。
图11是示出更新处理(ST5)中的信号流的功能框图。
该图以箭头示出更新处理(ST5)中的信号流里的主要流向。该图仅示出来自麦克风3c的信号所对应的各信号。
“更新处理(ST5)”是指：通过更新被确定为特定麦克风的麦克风3所对应的个别滤波系数k来更新滤波系数F的处理。意即，例如，麦克风3a被确定为特定麦克风时，本装置1通过更新麦克风 3a所对应的个别滤波系数k1来更新滤波系数F。此外，麦克风3e、 3f被确定为特定麦克风时，本装置1通过更新麦克风3e、3f所对应的个别滤波系数k5、k6来更新滤波系数F。以下，以麦克风3c被确定为特定麦克风为例，进行说明。
首先，本装置1利用控制部50，对送话信号s4(或个别送话信号s43)中是否包含语音信号s1(有无语音信号s1)进行检测(ST501)。对有无语音信号s1的检测(ST501)的处理，与回声信号消除处理(ST3)中的对有无语音信号s1的检测(ST309)相同。
首先，本装置1利用切换部40和控制部50，将第2输入部30 的传输路径切换为来自特定麦克风(麦克风3c)的信号的传输路径 (ST502)。
接着，本装置1根据来自特定麦克风(麦克风3c)的信号，生成个别送话信号s43(ST503)。
接着，本装置1利用控制部50和消除信号生成部70，生成个别消除信号s53(ST504)。处理(ST504)中，控制部50从存储部60 读取特定麦克风所对应的个别滤波系数k3，并将其输入至消除信号生成部70。消除信号生成部70根据受话信号s2和个别滤波系数k3，生成个别消除信号s53。个别消除信号s53是本发明中的特定消除信号。个别消除信号s53被输入至消除部80。
接着，本装置1利用消除部80消除个别送话信号s43中所包含的个别回声信号es3，并生成个别回声消除信号s63(ST505)。个别回声消除信号s63是本发明中的特定回声消除信号。个别回声消除信号s63被输入至控制部50和第2输出部90。
接着，本装置1利用控制部50测定个别回波损耗(个别ERL) (ST506)。
接着，本装置1利用控制部50，将所测定的个别ERL与规定的阈值V4进行比较(ST507)。
个别ERL大于等于阈值V4时(ST507的“是”)，本装置1 利用控制部50算出个别滤波系数k3(ST508)。处理(ST508)中，控制部50从存储部60读取设定于来自特定麦克风的信号的传输路径的增益值g3。控制部50根据所读取的增益值g3、个别回声消除信号s63(意即，个别(特定)回声消除信号s63中所包含的个别残留回声信号res13)、受话信号s2、环境测定结果，算出个别滤波系数k3。
接着，本装置1将所算出的个别滤波系数k3存储在存储部60 中。意即，本装置1对存储在存储部60中的个别滤波系数k3进行更新(ST509)。然后，本装置1的处理回到处理(ST504)。
另一方面，个别ERL小于阈值V4时(ST507的“否”)，本装置1利用控制部50对存储在存储部60中的滤波系数F进行更新 (ST510)。处理(ST510)中，控制部50从存储部60读取更新了的特定麦克风所对应的个别滤波系数k3、非特定麦克风所对应的个别滤波系数k1、k2、k4－k6、设定于各传输路径的增益值g1－g6，算出滤波系数F。滤波系数F按照与初始学习处理(ST2)的处理 (ST208)同样的方法算出。
接着，本装置1将所算出的滤波系数F存储在存储部60中。意即，本装置1对存储在存储部60中的滤波系数F进行更新(ST511)。然后，本装置1的处理回到回声信号消除处理(ST3)。
如上所述，本装置1在确定处理(ST4)中将个别ERL恶化了的麦克风3确定为特定麦克风，仅针对特定麦克风执行更新处理 (ST5)。这样，能够减轻更新滤波系数F所需的处理负担，并缩短该处理所需的时间。
此外，本装置1在回声信号消除处理(ST3)中一直将ERL与阈值V2进行比较(意即，监视ERL)。ERL大于等于阈值V2时，本装置1在送话信号s4中包含回声信号es且不包含语音信号s1时，执行确定处理(ST4)和更新处理(ST5)。确定处理(ST4)中，本装置1针对每个麦克风3均对比个别ERL和阈值V4。个别ERL 大于等于阈值V4时，本装置1确定成为个别滤波系数k的更新对象的特定麦克风。更新处理(ST5)中，本装置1根据受话信号s2、个别回声消除信号(特定回声消除信号)s60中所包含的个别残留回声信号res10，算出特定麦克风所对应的个别滤波系数k。本装置1根据特定麦克风所对应的个别滤波系数k和非特定麦克风所对应的个别滤波系数k，算出及更新滤波系数F。
·总结
根据以上说明的实施方式，控制部50算出多个麦克风3a－3f 所分别对应的个别滤波系数k1－k6，对各个别滤波系数k1－k6进行合成，算出滤波系数F。消除信号生成部70根据所算出的滤波系数 F，生成消除信号s5。消除部80根据送话信号s4和消除信号s5，消除送话信号s4中所包含的回声信号es(生成回声消除信号s6)。因此，本装置1不同于具备多个麦克风所分别对应的回声消除部的现有技术的装置，能够通过通用的1个FIR滤波器(消除信号生成部 70)消除来自多个麦克风3(多通道)的信号中所包含的回声信号 es。意即，本装置1与现有技术的装置比较，能够实现简单的电路结构。意即，本装置1能够通过利用1个通用的FIR滤波器这一简单的电路结构，消除来自多个麦克风3的信号中所包含的回声信号es。
此外，根据以上说明的实施方式，控制部50在送话信号s4中不包含语音信号s1且送话信号s4中包含回声信号es时(有受话信号s2时)，算出(更新)滤波系数F。因此，本装置1与一直算出 (更新)滤波系数的现有技术的装置比较，能够减轻算出(更新) 滤波系数F所需的处理负担。
而且，根据以上说明的实施方式，切换部40在送话信号s4中不包含语音信号s1且送话信号s4中包含回声信号es时(有受话信号s2时)，在切换各个别送话信号s41－s46的同时，将其输入至控制部50。控制部50根据分别来自多个麦克风3a－3f的信号，算出各麦克风3a－3f所对应的个别滤波系数k1－k6。意即，本装置1在通过切换部40切换个别送话信号s41－s46的同时，算出个别滤波系数k1－k6。因此，本装置1能够通过通用的1个FIR滤波器(消除信号生成部70)算出6个麦克风3a－3f所对应的个别滤波系数k1 －k6。意即，本装置1通过简单的电路结构算出多个麦克风3所对应的个别滤波系数k，根据该个别滤波系数k算出滤波系数F。这样，本装置1能够通过简单的电路结构，消除来自多个麦克风3的信号中所包含的回声信号es。
而且，除此以外，根据以上说明的实施方式，控制部50根据受话信号s2和个别回声消除信号s60中所包含的个别残留回声信号 res10，算出个别滤波系数k。意即，本装置1通过以使个别残留回声信号res10无限接近“0”的方式反复算出个别滤波系数k，来提高滤波系数F的精度，切实从送话信号s4消除(抑制)回声信号es。
而且，除此以外，根据以上说明的实施方式，控制部50根据多个麦克风3a－3f所分别对应的增益值g1－g6，对个别滤波系数k1 －k6进行更新。因此，本装置1能够按照各麦克风3a－3f对回声成分进行集音时的增益值g1－g6，算出个别滤波系数k1－k6。这样，本装置1能够提高滤波系数F的精度，切实从送话信号s4消除(抑制)回声信号es。
而且，除此以外，根据以上说明的实施方式，控制部50在回声信号消除处理(ST3)中一直测定ERL。然后，控制部50在ERL大于等于基准值(阈值V2)，并且送话信号s4中不包含语音信号s1 时，对存储在存储部60中的滤波系数F进行更新。意即，本装置1 在ERL恶化了时检测到环境变化，对滤波系数F进行更新。意即，本装置1与一直算出(更新)滤波系数F的现有技术的装置比较，能够减轻算出(更新)滤波系数F所需的处理负担。
而且，除此以外，根据以上说明的实施方式，控制部50根据ERL 与基准值(阈值V2)的比较结果，测定个别ERL。这样，本装置1 能够在ERL恶化了时，根据各麦克风3a－3f所对应的ERL的测定结果，检测到滤波系数F的偏离(回声信号es的消除或抑制效果的恶化)。
而且，除此以外，根据以上说明的实施方式，控制部50根据个别ERL与个别基准值(阈值V4)的比较结果，从多个麦克风3a－ 3f之中确定成为个别滤波系数k的更新对象的特定麦克风。意即，本装置1在ERL恶化了时，能够通过确定特定麦克风，缩短更新个别滤波系数k、更新滤波系数F所需的时间，减轻处理负担。
而且，除此以外，根据以上说明的实施方式，控制部50算出特定麦克风的个别滤波系数k。然后，控制部50根据所算出的特定麦克风的个别滤波系数k和非特定麦克风的个别滤波系数k，对存储在存储部60中的滤波系数F进行更新。因此，本装置1通过仅算出(更新)特定麦克风的个别滤波系数k，对滤波系数F进行更新。意即，本装置1能够缩短更新个别滤波系数k和更新滤波系数F所需的时间，减轻处理负担。
而且，除此以外，根据以上说明的实施方式，控制部50针对每一个麦克风3执行环境测定，并根据该环境测定的测定结果，算出个别滤波系数k。因此，本装置1能够根据设置了本装置1的房间(空间)的环境，算出滤波系数F。
如上所述，根据以上说明的实施方式，本装置1根据初始化处理(ST1)和初始学习处理(ST2)算出滤波系数F，根据该滤波系数F执行回音消除(执行回声信号消除处理(ST3))。本装置1在回声信号消除处理(ST3)的执行过程中检测到环境变化后，通过执行确定处理(ST4)和更新处理(ST5)，实现滤波系数F的自动调节。这样，本装置1能够通过通用的1个滤波器执行多通道的回音消除，并能自动追随环境变化执行回音消除。
而且，与第2输入部连接的麦克风的数量只要是多个即可，不限于“6”个。
此外，在以上说明的实施方式中，本装置1具备1套消除信号生成部70和消除部80。因此，消除信号生成部70在确定处理(ST4) 和更新处理(ST5)中，专用于生成个别消除信号s50。这样，本装置1不同时执行回声信号消除处理(ST3)、确定处理(ST4)和更新处理(ST5)。
代替方案为，本装置也可具备用于回声信号消除处理的1套消除信号生成部和消除部，以及用于确定处理和更新处理的1套消除信号生成部和消除部。意即，也可具备2套消除信号生成部和消除部。
图12是示出本装置的另一实施方式的功能框图。
该图示出了：本装置1A为具有第1消除信号生成部70A、第2 消除信号生成部70B、第1消除部80A、第2消除部80B的语音信号处理装置。第1消除信号生成部70A和第1消除部80A执行确定处理(ST4)和更新处理(ST5)。第2消除信号生成部70B和第2 消除部80B执行回声信号消除处理(ST3)。
根据该结构，本装置1A能够同时执行回声信号消除处理(ST3)、确定处理(ST4)和更新处理(ST5)。因此，本装置1A通过具备2 个回声消除器部的简单的电路结构，能够消除(抑制)来自2个以上的麦克风3的信号中所包含的回声信号es。

Claims (18)

1.一种语音信号处理装置，其特征在于，
该语音信号处理装置具有：
输出部，其输出受话信号；
输入部，其对从多个麦克风分别输入的信号进行合成而生成送话信号，该多个麦克风对所述受话信号的回声成分和发言者的语音进行集音，生成与所述回声成分相应的回声信号和与所述发言者的语音相应的语音信号；
消除信号生成部，其根据滤波系数生成用于消除所述送话信号中所包含的所述回声信号的消除信号；
控制部，其算出所述滤波系数；以及
消除部，其根据所述送话信号和所述消除信号，生成回声消除信号，
所述控制部算出所述多个麦克风所分别对应的个别滤波系数，
所述控制部将所述多个麦克风所分别对应的所述个别滤波系数与所述多个麦克风所分别对应的增益值相乘，
所述控制部将针对所述多个麦克风的每一个麦克风相乘得到的值相加而算出所述滤波系数。
2.根据权利要求1所述的语音信号处理装置，其特征在于，
在所述送话信号中不包含所述语音信号时，所述控制部算出所述滤波系数。
3.根据权利要求2所述的语音信号处理装置，其特征在于，
在所述送话信号中包含所述回声信号时，所述控制部算出所述滤波系数。
4.根据权利要求1所述的语音信号处理装置，其特征在于，
所述消除信号生成部根据所述受话信号和所述滤波系数，生成所述消除信号。
5.根据权利要求1所述的语音信号处理装置，其特征在于，
所述输入部根据从所述多个麦克风分别输入的信号，生成所述多个麦克风所分别对应的个别送话信号，并对所述个别送话信号进行合成而生成所述送话信号，
具备切换部，该切换部对所述多个麦克风所分别对应的所述个别送话信号中的、被输入至所述消除部的信号进行切换，
在所述送话信号中不包含所述语音信号时，所述切换部对所述多个麦克风所分别对应的所述个别送话信号进行切换，同时将其输入至所述消除部。
6.根据权利要求5所述的语音信号处理装置，其特征在于，
在所述送话信号中包含所述回声信号时，所述切换部对所述多个麦克风所分别对应的所述个别送话信号进行切换，同时将其输入至所述消除部。
7.根据权利要求5所述的语音信号处理装置，其特征在于，
所述消除信号生成部生成用于消除所述个别送话信号中所包含的所述回声信号的个别消除信号，
所述消除部根据所述个别送话信号和所述个别消除信号，生成个别回声消除信号，
所述控制部根据所述受话信号和所述个别回声消除信号中所包含的个别残留回声信号，算出所述个别滤波系数。
8.根据权利要求1所述的语音信号处理装置，其特征在于，
具备存储所述滤波系数的存储部，
在所述送话信号中不包含所述语音信号时，所述控制部更新所述存储部中存储的所述滤波系数。
9.根据权利要求8所述的语音信号处理装置，其特征在于，
所述存储部存储基准值，
所述控制部根据所述送话信号的信号电平和所述回声消除信号的信号电平，测定回波损耗，并根据所述回波损耗与所述基准值的比较结果，更新所述滤波系数。
10.根据权利要求9所述的语音信号处理装置，其特征在于，
所述控制部根据所述比较结果，测定所述多个麦克风所分别对应的个别回波损耗。
11.根据权利要求10所述的语音信号处理装置，其特征在于，
所述存储部存储个别基准值，
所述控制部针对所述多个麦克风中的每个麦克风，比较所述个别回波损耗与所述个别基准值，并根据所述个别回波损耗与所述个别基准值的比较结果，从所述多个麦克风中确定成为所述个别滤波系数的更新对象的特定麦克风。
12.根据权利要求11所述的语音信号处理装置，其特征在于，
所述多个麦克风由所述特定麦克风以及不同于所述特定麦克风的非特定麦克风构成，
所述消除信号生成部根据所述特定麦克风所对应的所述个别滤波系数，生成用于消除来自所述特定麦克风的信号中所包含的所述回声信号的特定消除信号，
所述消除部根据来自所述特定麦克风的信号和所述特定消除信号，生成特定回声消除信号，
所述控制部根据所述受话信号以及所述特定回声消除信号中所包含的个别残留回声信号，算出所述特定麦克风所对应的所述个别滤波系数，并根据所述非特定麦克风所对应的所述个别滤波系数和所述特定麦克风所对应的所述个别滤波系数，更新所述存储部中存储的所述滤波系数。
13.根据权利要求1所述的语音信号处理装置，其特征在于，
所述控制部针对所述多个麦克风中的每个麦克风执行环境测定，并根据所述多个麦克风所分别对应的所述环境测定的结果，算出所述个别滤波系数。
14.一种存储有语音信号处理程序的存储介质，其特征在于，
所述存储介质使计算机作为权利要求1至13中的任一项所述的语音信号处理装置发挥功能。
15.一种语音信号处理方法，其通过语音信号处理装置执行，该语音信号处理装置具备：
输出部，其输出受话信号；
输入部，其对从多个麦克风分别输入的信号进行合成而生成送话信号，该多个麦克风对所述受话信号的回声成分和发言者的语音进行集音，生成与所述回声成分相应的回声信号和与所述发言者的语音相应的语音信号；
消除信号生成部，其根据滤波系数生成用于消除所述送话信号中所包含的所述回声信号的消除信号；
控制部，其算出所述滤波系数；以及
消除部，其根据所述送话信号和所述消除信号，生成回声消除信号，
该语音信号处理方法的特征在于，
所述控制部算出所述多个麦克风所分别对应的个别滤波系数，
所述控制部将所述多个麦克风所分别对应的所述个别滤波系数与所述多个麦克风所分别对应的增益值相乘，
所述控制部将针对所述多个麦克风的每一个麦克风相乘得到的值相加而算出所述滤波系数。
16.根据权利要求15所述的语音信号处理方法，其特征在于，
在所述送话信号中包含所述回声信号且不包含所述语音信号时，所述控制部算出所述个别滤波系数。
17.根据权利要求15所述的语音信号处理方法，其特征在于，
所述语音信号处理装置具备存储所述滤波系数的存储部，
在所述送话信号中不包含所述语音信号时，所述控制部更新所述存储部中存储的所述滤波系数。
18.根据权利要求17所述的语音信号处理方法，其特征在于，
所述存储部存储基准值和个别基准值，
所述控制部针对所述多个麦克风中的每个麦克风，根据所述送话信号的信号电平和所述回声消除信号的信号电平，测定回波损耗；根据所述回波损耗与所述基准值的比较结果，测定所述多个麦克风所分别对应的个别回波损耗；根据所述个别回波损耗与所述个别基准值的比较结果，从所述多个麦克风中确定成为所述个别滤波系数的更新对象的特定麦克风；更新所述滤波系数。
CN201880038882.7A 2017-06-12 2018-03-15 语音信号处理装置、方法及其存储介质 Active CN110741563B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-114908 2017-06-12
JP2017114908 2017-06-12
PCT/JP2018/010330 WO2018230062A1 (ja) 2017-06-12 2018-03-15 音声信号処理装置と音声信号処理方法と音声信号処理プログラム

Publications (2)

Publication Number Publication Date
CN110741563A CN110741563A (zh) 2020-01-31
CN110741563B true CN110741563B (zh) 2021-11-23

Family

ID=64660460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880038882.7A Active CN110741563B (zh) 2017-06-12 2018-03-15 语音信号处理装置、方法及其存储介质

Country Status (5)

Country Link
US (1) US11227618B2 (zh)
EP (1) EP3641141A4 (zh)
JP (2) JP7122756B2 (zh)
CN (1) CN110741563B (zh)
WO (1) WO2018230062A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11502723B2 (en) * 2018-02-28 2022-11-15 Maxlinear, Inc. Full-duplex cable modem calibration
CN112885365B (zh) * 2021-01-08 2024-04-30 上海锐承通讯技术有限公司 回音消除装置及车载智能终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6412648A (en) * 1987-07-06 1989-01-17 Nippon Telegraph & Telephone Echo canceller
JP2002252577A (ja) * 2001-02-26 2002-09-06 Nippon Telegr & Teleph Corp <Ntt> 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体
CN1750573A (zh) * 2004-09-03 2006-03-22 哈曼贝克自动系统股份有限公司 采用组合的噪声减少和回波补偿的语音信号处理
CN101192411A (zh) * 2007-12-27 2008-06-04 北京中星微电子有限公司 大距离麦克风阵列噪声消除的方法和噪声消除系统
CN101471694A (zh) * 2007-12-24 2009-07-01 瑞昱半导体股份有限公司 干扰消除装置及其方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410595A (en) * 1992-11-12 1995-04-25 Motorola, Inc. Apparatus and method for noise reduction for a full-duplex speakerphone or the like
US5323458A (en) * 1993-10-25 1994-06-21 Motorola Inc. Echo cancellation in a full-duplex speakerphone
JPH07334175A (ja) * 1994-06-07 1995-12-22 Matsushita Electric Ind Co Ltd 車載用音場補正装置
JP2001251224A (ja) * 2000-03-06 2001-09-14 Nippon Telegr & Teleph Corp <Ntt> 反響消去方法および反響消去装置
JP2007522705A (ja) * 2004-01-07 2007-08-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声歪み圧縮システム及びそのフィルター装置
JP3972921B2 (ja) * 2004-05-11 2007-09-05 ソニー株式会社 音声集音装置とエコーキャンセル処理方法
JP3863538B2 (ja) 2004-06-01 2006-12-27 Ｎｅｃエレクトロニクス株式会社 衛星放送用コンバータのスイッチ回路
JP4247158B2 (ja) * 2004-06-01 2009-04-02 日本電信電話株式会社 多チャネル音響エコー消去方法、多チャネル音響エコー消去装置、多チャネル音響エコー消去プログラム、記録媒体
DE102008039330A1 (de) * 2008-01-31 2009-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung
JP5510288B2 (ja) 2010-11-24 2014-06-04 沖電気工業株式会社 適応フィルタ次数制御装置及びプログラム、並びに、エコーキャンセラ
US9286881B2 (en) * 2011-05-10 2016-03-15 Mitsubishi Electric Corporation Echo canceler and echo detector
US8526599B2 (en) * 2011-09-22 2013-09-03 Panasonic Corporation Input/output apparatus and communication terminal
EP3917161B1 (en) * 2012-11-12 2024-01-31 Yamaha Corporation Signal processing system and signal processing method
JP6349899B2 (ja) * 2014-04-14 2018-07-04 ヤマハ株式会社 放収音装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6412648A (en) * 1987-07-06 1989-01-17 Nippon Telegraph & Telephone Echo canceller
JP2002252577A (ja) * 2001-02-26 2002-09-06 Nippon Telegr & Teleph Corp <Ntt> 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体
CN1750573A (zh) * 2004-09-03 2006-03-22 哈曼贝克自动系统股份有限公司 采用组合的噪声减少和回波补偿的语音信号处理
CN101471694A (zh) * 2007-12-24 2009-07-01 瑞昱半导体股份有限公司 干扰消除装置及其方法
CN101192411A (zh) * 2007-12-27 2008-06-04 北京中星微电子有限公司 大距离麦克风阵列噪声消除的方法和噪声消除系统

Also Published As

Publication number Publication date
JP7122756B2 (ja) 2022-08-22
EP3641141A4 (en) 2021-02-17
WO2018230062A1 (ja) 2018-12-20
JPWO2018230062A1 (ja) 2020-05-21
US20200105289A1 (en) 2020-04-02
JP2022125069A (ja) 2022-08-26
JP7323959B2 (ja) 2023-08-09
US11227618B2 (en) 2022-01-18
EP3641141A1 (en) 2020-04-22
CN110741563A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
JP7127032B2 (ja) ミキシング後音響エコーキャンセルシステム及び方法
US8842851B2 (en) Audio source localization system and method
US8644517B2 (en) System and method for automatic disabling and enabling of an acoustic beamformer
KR101573121B1 (ko) 후부 잔향 성분들의 모델링을 포함하는 에코 억제 장치 및 방법
US9336767B1 (en) Detecting device proximities
JP7323959B2 (ja) 音声信号処理装置と音声信号処理方法
US20130136274A1 (en) Processing Signals
US20080031469A1 (en) Multi-channel echo compensation system
US9813808B1 (en) Adaptive directional audio enhancement and selection
RU2180984C2 (ru) Измерение сходимости адаптивных фильтров
JP6690309B2 (ja) エコー低減装置、及び音声通信装置
JP6903884B2 (ja) 信号処理装置、プログラム及び方法、並びに、通話装置
JP2011166484A (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置、多チャネルエコー消去プログラム及びその記録媒体
CN113424558A (zh) 智能个人助理
JP3403473B2 (ja) ステレオエコーキャンセラ
JPH07264102A (ja) ステレオエコーキャンセラ
JP4709714B2 (ja) エコー消去装置、その方法、そのプログラム、およびその記録媒体
JP3583998B2 (ja) 多チャネルエコー消去方法、その装置及びプログラム記録媒体
JP7434845B2 (ja) エコーキャンセル装置、エコーキャンセル方法およびプログラム
JPS62120734A (ja) 反響消去装置
JP6356087B2 (ja) エコー消去装置、その方法及びプログラム
JP3724726B2 (ja) 反響消去装置、反響消去方法、および反響消去プログラム
JP2006173871A (ja) 音響エコーキャンセラとそれを用いたハンズフリー電話及び音響エコーキャンセル方法
JPH0422212A (ja) 音響エコーキャンセラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant