CN111128210A - 具有声学回声消除的音频信号处理 - Google Patents
具有声学回声消除的音频信号处理 Download PDFInfo
- Publication number
- CN111128210A CN111128210A CN201911010501.7A CN201911010501A CN111128210A CN 111128210 A CN111128210 A CN 111128210A CN 201911010501 A CN201911010501 A CN 201911010501A CN 111128210 A CN111128210 A CN 111128210A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- signal
- stereo audio
- mix
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 216
- 238000012545 processing Methods 0.000 title claims abstract description 33
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 55
- 230000003044 adaptive effect Effects 0.000 claims description 27
- 230000006978 adaptation Effects 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 28
- 238000012546 transfer Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000002592 echocardiography Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/02—Details
- H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
- H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M19/00—Current supply arrangements for telephone systems
- H04M19/08—Current supply arrangements for telephone systems with current supply sources at the substations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/009—Signal processing in [PA] systems to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Otolaryngology (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- General Physics & Mathematics (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Abstract
多通道音频信号处理包括从第一通道接收左立体声音频信号和从第二通道接收右立体声音频信号；将左立体声音频信号与右立体声音频信号进行上混合以生成第三通道的上混合音频信号；以及将上混合音频信号与左立体声音频信号和右立体声音频信号去相关以生成经去相关的上混合音频信号。音频信号处理还包括将左立体声音频信号提供到第一扬声器以生成第一声音信号，将右立体声音频信号提供到第二扬声器以生成第二声音信号，和将经去相关的上混合音频信号提供到第三扬声器以生成第三声音信号。音频信号处理还包括使用麦克风拾取第一声音信号、第二声音信号和第三声音信号以生成麦克风输出信号；及使用声学回声消除器基于左立体声音频信号、右立体声音频信号和经去相关的上混合音频信号自适应地对麦克风输出信号进行滤波以生成经回声补偿的麦克风信号。
Description
技术领域
本公开涉及一种用于声学回声消除的方法，以及一种声学回声消除控制器。
背景技术
声学回声消除去除当麦克风附近的扬声器同时播放声音时由麦克风捕获的回声。在回声消除中，可使用复杂的算法过程来计算语音回声模型。这涉及从原始语音的反射回声产生总和，然后从麦克风拾取的任何信号中减去所述总和。结果就是说话的人的纯化语音。这种回声预测的格式由回声消除器在称为自适应的过程中学习。
多通道声学回声消除解决了多个回声，所述多个回声例如在采用多个扬声器与一个麦克风组合或多个扬声器与多个麦克风组合时发生。当在提供给扬声器的一些或所有信号之间存在相互关联时，多通道声学回声消除表现出一些缺点。当各个通道相关时，自适应滤波器可能无法收敛到实际房间传递函数(也称为房间脉冲响应(RIR))，因为由一个扬声器广播的信号部分可由处理不同扬声器的输出的滤波器补偿。需要能够收敛到实际RIR的具有声学回声消除的多通道音频处理。
发明内容
一种用于多通道音频信号处理的示例性方法包括：从第一通道接收左立体声音频信号，并且从第二通道接收右立体声音频信号；将所述左立体声音频信号与所述右立体声音频信号进行上混合，以生成第三通道的上混合音频信号；以及将所述上混合音频信号与所述左立体声音频信号和所述右立体声音频信号去相关，以生成经去相关的上混合音频信号。所述方法还包括：将所述左立体声音频信号提供到第一扬声器以生成第一声音信号，将所述右立体声音频信号提供到第二扬声器以生成第二声音信号，并且将所述经去相关的上混合音频信号提供到第三扬声器以生成第三声音信号。所述方法还包括：使用麦克风拾取所述第一声音信号、所述第二声音信号和所述第三声音信号以生成麦克风输出信号；以及使用声学回声消除器基于所述左立体声音频信号、所述右立体声音频信号和所述经去相关的上混合音频信号自适应地对所述麦克风输出信号进行滤波，以生成经回声补偿的麦克风信号。
一种用于多通道音频处理的示例性系统包括：上混合器，所述上混合器被配置为将来自第一通道的左立体声音频信号与来自第二通道的右立体声音频信号进行上混合，以生成第三通道的上混合音频信号；和去相关器，所述去相关器被配置为将所述上混合音频信号与所述左立体声音频信号和所述右立体声音频信号去相关，以生成经去相关的上混合音频信号。所述系统还包括自适应声学回声消除器，所述自适应声学回声消除器被配置为基于所述左立体声音频信号、所述右立体声音频信号和所述经去相关的上混合音频信号来对麦克风输出信号进行回声补偿。
通过研究以下详细描述和附图，其他系统、方法、特征和优点对于本领域技术人员将是或将变得显而易见。所有此类另外的系统、方法、特征和优点都意图包括在本说明书内。
附图说明
参考以下附图和描述，可更好地理解所述系统。附图中的部件不一定按比例绘制，而是重点放在说明本发明的原理上。此外，在附图中，相同的附图标记在所有不同视图中表示对应部分。
图1是说明具有声学回声补偿的示例性多通道音频信号处理布置的示意图。
图2是说明适用于图1所示的信号处理布置的具有三个通道的示例性多通道声学回声消除滤波器的示意图。
图3是说明适用于图1所示的信号处理布置的在时域中操作的示例性去相关处理器的示意图。
图4是说明适用于图1所示的信号处理布置的在频域中操作的示例性去相关处理器的示意图。
图5是说明适用于图1所示的信号处理布置的示例性回声抑制过程的流程图。
图6是说明适用于图1所示的信号处理布置的示例性参数计算过程的流程图。
图7是说明带有一些修改的图1所示的多通道音频信号处理布置的示意图。
具体实施方式
参考图1，示例性多通道音频信号处理布置100从立体声源101接收包括左(L)音频信号xL(n)和右(R)信号xR(n)的立体声音频信号。n＝2个音频信号xL(n)和xR(n)经由通道上混合器102变换成m≥1个另外的音频信号。例如，n＝2个音频信号xL(n)和xR(n)可被上混合成m＝4个另外的(例如，环绕声)音频信号，所述音频信号总共对应于n+m＝6个相应通道(例如，根据5.1标准)，称为左前(FL)通道、右前(FR)通道、中心(C)通道、低频效应(LF)通道、环绕左(SL)通道和环绕右(SR)通道。已知的上混合算法为例如Dolby Pro 
或HarmanLogic 
为简单起见，在图1所示的实例中，假设m＝1使得除了两个原始音频信号xL(n)、xR(n)之外，生成另外的中心(C)音频信号xC(n)，其可对应于5.1环绕声系统的C通道。
已发现，本文中由音频信号xL(n)和xR(n)表示的立体声输入信号主要彼此充分地去相关。然而，另外的中心音频信号xC(n)与原始音频信号xL(n)和xR(n)中的任一者表现出一些相当大的相关性。因此，可能出现所谓的模糊问题。例如，完全相同并因此表现出全相关的两个输入信号将使用于估计两个实际传递函数(其描述两个扬声器中的每一个与一个麦克风之间的声学路径)的两个自适应滤波器中的每一个收敛到两个实际传递函数的平均值。为了实现每个自适应滤波器仅对实际传递函数中的一个建模，使用(理想情况下是完全)去相关的输入信号是很重要的。否则，所估计的传递函数将反映实际传递函数的混合，其中混合等级直接取决于输入信号的去相关等级。
示例性多通道音频布置100还包括去相关器例如去相关处理器103和任选的去相关控制器104，所述去相关器与通道上混合器102耦接以接收例如中心音频信号xC(n)，所述任选的去相关控制器104与通道上混合器102和立体声音频信号源101耦接以接收中心音频信号xC(n)和两个原始信号xL(n)、xR(n)。控制器104连接到去相关处理器103或以任何其他方式与之操作性地耦接，并且可经由时变控制信号dcs(n)来控制去相关处理器103的各种功能。除了形成立体声通道的两个原始信号xL(n)、xR(n)之外，多通道音频布置100还可包括多于一个通道。去相关处理器103基于中心音频信号xC(n)来生成去相关的信号，例如，中心音频信号xCd(n)。在另一实例中，去相关处理器103可以固定参数操作，使得可省略去相关控制器104及其信号路径。在另一实例中，去相关处理器103可包括或实现时变全通滤波器。
去相关的中心音频信号xCd(n)以及原始信号xL(n)和xR(n)被(视情况需要经由滤波器、放大器、有线和无线连接等)提供到将电信号转换成声音的诸如扬声器的换能器。在图1所示的实例中，扬声器105被提供左信号xL(n)，扬声器106被提供右信号xR(n)，并且扬声器107被提供去相关的中心音频信号xCd(n)。原始信号xL(n)和xR(n)可沿着它们通向扬声器105和106的信号路径被延迟或相位补偿，以补偿可能由通道上混合器102和去相关处理器103中的至少一者施加在去相关的中心音频信号xCd(n)上的一个或多个延迟。扬声器105、106和107以及将声音转换成电信号的换能器、麦克风108是扬声器-房间-麦克风(LRM)系统109的部分。扬声器105和106基于自身去相关的原始音频信号xL(n)和xR(n)广播声音，而扬声器107基于在通过去相关处理器103与两个立体声音频信号xL(n)和xR(n)去相关之后的去相关中心音频信号xCd(n)(即，基于去相关的中心音频信号xCd(n))广播声音。麦克风108拾取经由通过传递函数h1(n)、h2(n)和h3(n)描述的声学路径从扬声器105、106和107传递的声音，以提供麦克风输出信号y(n)。第一通道和第二通道可以是立体声通道，或者可以是多通道系统的单独通道。扬声器105、106和107可由各自包括多于一个扬声器的扬声器组替换。麦克风109可从房间中的人(称为说话者110)获取“期望”语音信号，并且还可从扬声器105、106和107获取“不期望”信号，例如，回声。
接收原始音频信号xL(n)和xR(n)、去相关的中心音频信号xCd(n)以及麦克风信号y(n)的三通道声学回声消除器111可包括三个自适应滤波器112、113和114，其对LRM系统109的传递函数h1(n)、h2(n)和h3(n)进行估计(建模)并且调整所估计的传递函数
和
三个自适应滤波器112、113和114输出信号d1(n)、d2(n)、d3(n)，其表示在通过相应的所估计传递函数
和
进行滤波之后的原始音频信号xL(n)、xR(n)以及去相关的中心音频信号xCd(n)。这意指，自适应滤波器112根据传递函数
对左音频信号xL(n)进行滤波，自适应滤波器113根据传递函数
对右音频信号xR(n)进行滤波，并且自适应滤波器114根据传递函数
对去相关的中心音频信号xCd(n)进行滤波。加法器115将由自适应滤波器112、113和114输出的信号d1(n)、d2(n)、d3(n)相加，以提供估计的回声信号d(n)，所述估计的回声信号表示在没有说话者110活动或不存在任何背景噪音的情况下对来自麦克风108的信号y(n)的估计。在减法器116中将所估计回声信号d(n)从麦克风输出信号y(n)减去，以提供误差信号e(n)，所述误差信号可被提供到去相关控制器104并且形成表示由说话者110生成的纯净无回声声音的输出信号out(n)。延迟元件117和118(另选地，相位补偿元件(诸如全通))可插入扬声器105、106下游的路径中以及将原始音频信号xL(n)和xR(n)传递到扬声器105和106的路径中的节点下游(在所述节点处原始音频信号xL(n)和xR(n)被选取用于通道上混合器102)，以部分地或完全地补偿由通道上混合器102和去相关器103中的至少一者导致的一个或多个上混合信号的延迟。
自适应滤波器112、113和114的传递函数(即，所估计传递函数
和
)可单独地针对每个通道进行动态调整。这可改进麦克风输出信号y(n)的质量，并且可改进由麦克风108检测到的语音信号的可理解性。去相关处理器103可任选地基于自适应滤波器112、113和114的性能或自适应状态将中心音频信号xC(n)去相关。如果与声学回声消除器111操作性地耦接的任选控制器104确定自适应滤波器112、113和114并不充分自适应，则控制器104可控制去相关处理器103将中心音频信号xC(n)去相关。如果控制器104确定自适应滤波器112、113和114充分自适应，则控制器104可控制去相关处理器120保持或降低去相关程度。
控制器104可分析原始音频信号xL(n)和xR(n)以及另外的中心音频信号xC(n)以确定这些信号之间的相关性。如果相关性低于预定阈值，则控制器104可越过、禁止或停用去相关处理器103。如果去相关处理器103被越过、禁止或停用(即，不活动)，则去相关的中心音频信号xCd(n)与“未处理的”中心音频信号xC(n)完全相同，这意指，去相关处理器103的输出信号与其输入信号完全相同或是其输入信号的延迟副本。如果相关性超过预定阈值，则去相关处理器103可开始、继续或恢复中心音频信号xC(n)的去相关。
任选控制器104还可接收表示自适应滤波器112、113和114的自适应状态的信号q1(n)、q2(n)、q3(n)，并且还可接收误差信号e(n)。控制器104可确定自适应滤波器112、113(114)的自适应性能，以基于自适应滤波器112、113和114的自适应性能来控制由去相关处理器103提供的去相关程度。中心音频信号xC(n)与左立体声音频信号xL(n)之间以及中心音频信号xC(n)与右立体声音频信号xR(n)之间的相关程度可使用短时相关算法来计算。相关程度还可基于信号的短时相干性来确定。如果短时相关性或短时相干性或者它们的相应平均值超过预定阈值，则可执行去相关。此类值可在例如介于约0.96与约0.99之间的范围内。
平均短时相干性可通过根据以下方程在子带μ中执行离散傅里叶变换之后对频率和时间求平均来计算：
其中
其中第μ个子带的傅里叶光谱X1,2(Ωμ,n)具有离散时间点(采样时刻n)的中心频率Ωμ。符号<>指示时间平滑化，例如通过一阶无限脉冲响应滤波器，并且星号指示复共轭。离散傅里叶变换(DFT)光谱的节点或采样点的数目由NDFT给出，并且λ可以是任意时间常数。任意归一化时间常数可在介于约0.0与约0.99之间的范围内。短时相干性的值可以是用于控制去相关的量的合适的量度或控制参数。
图2示出具有三个通道的示例性多通道声学回声消除滤波器200，其适用于作为图1所示的多通道音频布置100中的三通道声学回声消除器111。三个通道通过左音频信号xL(n)和右音频信号xR(n)以及去相关的中心音频信号xCd(n)表示。三通道声学回声消除器111包括三个更新控制器201、202、203和三个对应的可控滤波器204、205、206以形成三个自适应滤波器112、113、114。三通道声学回声消除器111经由其三个传递函数
和
对LRM系统109的“实际”传递函数h1(n)、h2(n)和h3(n)进行估计(建模)。可控滤波器204、205、206可以是有限脉冲响应(FIR)滤波器，其滤波器系数或滤波器权重由对应的更新控制器201、202、203通过将误差信号e(n)与两个音频信号xL(n)、xR(n)以及去相关的中心音频信号xCd(n)相关以预定步长来更新。通过在相应的可控滤波器204、205、206中将两个音频信号xL(n)和xR(n)以及中心音频信号xCd(n)与相应的传递函数
和
进行卷积，声学回声消除器111估计通过由可控滤波器204、205、206输出的所估计回声信号d1(n)、d2(n)、d3(n)指示的未知声学回声。声学回声的这些估计结果(即所估计回声信号d1(n)、d2(n)、d3(n))由加法器115相加以形成由图1所示的减法器116从麦克风信号y(n)减去的信号d(n)。任选信号q1(n)、q2(n)、q3(n)可指示相应的自适应及因此估计结果的准确/不准许程度。
图3示出适用于作为图1所示的信号处理布置中的去相关处理器103的示例性去相关处理器300。单通道去相关处理器300包括时变滤波器301，并且还可任选地包括非线性处理单元302，诸如半波整流器。时变滤波器301可包括可具有多个(固定或可控)参数(例如，滤波器系数)的一个或多个全通滤波器，例如，一个或多个有限脉冲响应延迟滤波器。控制器104可经由任选控制信号dcs(n)任选地控制时变滤波器301中的全通滤波器的滤波器系数β(n)的计算。滤波器系数β(n)可例如基于自适应滤波器112、113和114的性能来控制。非线性处理单元302从时变滤波器301的输出端接收经滤波信号xCf(n)。加法器303将来自时变滤波器301的输出端的经滤波信号xCf(n)与通过系数元件304乘以因数α或α(n)的非线性处理单元302的输出信号组合(相加)，以提供第一通道去相关输出信号xCd(n)。
经滤波信号xCf(n)可由非线性处理单元302根据以下方程来处理：
其中α可以是表示由控制器104控制的非线性程度的任意参数。在一些应用中，在起始由时变滤波器301中的全通滤波器和非线性处理单元302进行的去相关之后，α的值可在预定时间段之后(例如，在约几秒钟之后)减小。这可降低可能由去相关导致的可感知的音频伪迹。
时变滤波器301可提供信号路径中的延迟。非线性处理单元302可根据以下方程提供中心音频信号xC(n)的信号路径中的非线性：
其中α可以是表示非线性程度的任意参数。
就收敛而言，去相关的中心音频信号xCd(n)可以是鲁棒的。时变滤波可根据以下方程由(一阶、递归)全通滤波来执行：
xcf(n)＝-β(n)xC(n)+xC(n-1)+β(n)xcf(n-1)
其中β是时变参数，n是离散时间索引，xC(n)是一个通道(中心通道)的音频信号(中心音频信号)，并且xCf(n)表示经滤波中心音频信号。如果利用多于一个另外的通道，则参数β或β(n)对于每个通道可以是不同值，并且可在时间上缓慢变化，其中β∈[-0.1,0.1]。另选地，可利用其他阶和/或非递归滤波器(诸如有限脉冲响应滤波器)。
图3所示的去相关处理器300及因此其一个或多个全通滤波器在时域中操作。作为在时域中操作的全通滤波器的替代方案，可利用在频域中操作的示例性去相关处理器400，如图4所示。去相关处理器400包括时域到频域变换器，诸如分析滤波器组401(如图所示)或快速傅里叶变换(FFT)单元或其衍生物(未示出)，用于将中心音频信号xC(n)从时域变换到由多个频域信号XCμ表示的频域或子带域，其中每个信号指示中心音频信号xC(n)的离散光谱的特定子带μ。每个频域信号XCμ通过多个乘法器402与由可控信号发生器403生成且任选地可由信号dcs(n)控制的调制信号
相乘。频域信号XCμ在与调制信号M相乘之后，由诸如合成滤波器组404(如图所示)或快速傅里叶逆变换(IFFT)单元或其衍生物(未示出)的频域到时域变换器变换回到时域。在图4所示的去相关处理器400中，输出信号之间的时变相位差由调制器函数
产生，所述调制器函数对于每个子带μ被不同地缩放。由于相位调制，引入了频率调制，其频移与相位调制函数的时间导数成比例的。因此，为了避免输出信号的可感知的频率调制，可选择平滑调制函数，诸如相对低调制频率的正弦波，或足够平滑的随机函数。
在图5所描绘的示例性回声降低过程500中，麦克风108获取由若干扬声器105、106、107产生的信号，其中每个扬声器105、106、107广播对应于一个通道的信号。当检测到信号时，激活回声补偿处理(过程501)。声学回声消除器111的滤波器系数可由任选控制器104来调整或可以是固定的(预定的)以降低声学回声(过程502)。从源101接收的立体声音频信号xL(n)和xR(n)的下一采样时刻或信号帧(过程503)由扬声器105和106转换成声音，并且被上混合到中心音频信号xC(n)(过程504)。信号xC(n)由扬声器107广播。通过根据以下方程对频率和时间求平均来计算中心音频信号xC(n)的平均短时相干性(过程505)：
其中
并且第μ个子带的傅里叶光谱XL,R,C(Ωμ,n)具有离散时间点(采样时刻n)的中心频率Ωμ。符号<>指示时间平滑化，例如通过一阶无限脉冲响应滤波器，并且星号指示复共轭。离散傅里叶变换(DFT)光谱的节点或采样点的数目可由NDFT给出。项C(Ωμ,n)可由交叉周期图的均方根(即复短时交叉功率密度谱的均方根)与自动周期图的乘积的比给出。时间常数λ可在约0.9至约99的范围内。
如果信号之间的相关量不超过预定阈值(过程506)，则可停用去相关处理器103或可降低去相关的程度(过程507)。参数β(n)可在多个采样周期内保持基本上恒定。例如，β(n)可在约一秒的周期内为约0.1。参数β(n)可通过线性插值在约200个采样周期内采用约-0.1的值。这种建模可在第一通道扬声器输出信号和第二通道扬声器输出信号中产生不可感知的伪迹。
去相关的量可得到增加。时变滤波可通过对经滤波信号xCf(n)的非线性处理来补充。对于第一回声补偿滤波器和第二回声补偿滤波器的总体自适应，先前的全通滤波可能已获得最小收敛速度。非线性处理可根据以下方程来执行：
非线性处理和/或全通处理(过程508)可初始地使用参数α约0.7的值来执行。可调适非线性的参数(程度)α。系统距离D(n)可根据以下方程来周期性地计算(过程509)：
其中NT是采样时间的预定数目，并且
和
是脉冲响应，即自适应滤波器112、113、114的相应(时域)滤波器系数。
使用非线性处理和/或时变滤波参数β进行的去相关的强度或量可任选地取决于回声补偿滤波器的自适应状态或性能。系统距离可度量自适应滤波器112、113、114的性能。通过基于系统距离D(n)来控制参数α(n)，可使所处理音频信号中的伪迹最小化。系统距离D(n)到非线性处理的参数α(n)的值的映射可使用表、计算或其他结构来执行。在参数β已变化约一秒钟之后，可重新计算系统距离D(n)。非线性处理(例如，半波整流)的参数α(n)可根据以下标准进行设定：
如果D(n)超过预定值，则控制器104可控制去相关处理器103以鉴于立体声音频信号xL(n)和xR(n)将声学输入信号xC(n)最小程度地去相关。另选地，控制器104可停用去相关电路103。所测量距离D(n)可由于LRM系统109的变化而下降到低于预定值，并且控制器104可重新激活去相关处理器103。系统距离D(n)和时变滤波器301的滤波器系数可不针对每个采样时刻进行计算，并且可例如大约每秒计算一次。
去相关的量可在预定时间段之后变化。可降低非线性以避免产生可听伪迹。如果LRM系统109改变，则参数α(n)的值可作为响应而修改，从而提供足够的回声补偿。如果由于说话者110的突然移动而使回声补偿无法充分地增强麦克风信号y(n)的质量，则可重新激活或强制执行去相关。也可对非线性参数进行调整(任选过程510)。如果有另外的样本可用(过程511)，则可处理下一样本。
图6示出用于计算非线性处理参数α(n)的示例性过程600。如果D(n)大于-15dB(过程601)，则可将参数α(n)的值设定为约0.7(过程602)。如果D(n)大于-20dB、但小于或等于约-15dB(过程603)，则可将参数α(n)的值设定为约0.5(过程604)。如果D(n)大于约-25dB、但小于或等于约-20dB(过程605)，则可将参数α(n)的值设定为约0.3(过程606)。如果D(n)大于约-30dB、但小于或等于约-25dB(过程607)，则可将参数α(n)的值设定为约0.2(过程608)。如果D(n)不大于约-30dB(过程609)，则可将α(n)的值设定为约0.1(过程610)。
图1所示且以上结合图1描述的多通道音频布置100可以多种方式进行修改。每个修改可自身地或者与结合图7所示的多通道音频布置700描述的任何其他一个或多个修改来实现。其他修改包括通道上混合器102中的上混合除了两个立体声通道之外递送不仅一个而是R≥1的多个通道。因此，多通道音频布置100的去相关器103由多通道去相关器703替换，并且三通道声学回声消除器111被扩展为K通道声学回声消除器711(K＞3)，所述K个通道由自适应滤波器712、713和714及其传递函数
和
表示。
在另一修改中，L个数目的另外的扬声器707或扬声器组可包括多于一个另外的扬声器107或扬声器组，使得L≥1并且总数为L+2。类似地，在另一修改中，M个数目的麦克风707或麦克风组可包括多于一个麦克风108或麦克风组，使得M≥1。在多于一个另外的扬声器或扬声器组和/或多于一个麦克风或麦克风组的情况下，所述数目的传递函数增加到由h1M(n)、h2M(n)和hRM(n)指示的K＝(L+2)×M个传递函数。减法器116可由称为多通道减法器716的多个减法器替换，以便处理所述多个输入信号。
在其他修改中，连接在去相关器703下游且在声学回声消除器711与波束形成器724(及因此扬声器707)之间的节点上游的(多通道)源均衡器721，和连接在此节点下游且在扬声器707上游的(多通道)房间均衡器722中的至少一者可任选地包括在波束形成器824中。(多通道)源均衡器721可由用户经由用户接口723控制。
在另一修改中，具有R个输入信号和L个输出信号(R＝L或R≠L)的波束形成器724可插入到去相关器703与一个或多个扬声器707之间的信号路径中的任何位置。波束形成器724可通过转向控件725转向，所述转向控件725可从用户接口723接收表示波束形成器724的凝视角的控制信号并且将转向信息提供给波束形成器724和声学回声消除器711以进一步调整其中的自适应滤波器，例如，参考滤波器系数集的更新和处理。在另一修改中，可将波束形成器724的可能波束转向角的数目限制到最少，并且另选地或另外，不同的参考滤波器系数集可以是建立的、收集的和重复使用的中的至少一者，对应于不同的操作模式，即，对应于不同的转向角θ、方向性(全向或定向)和/或回放模式(诸如单声道、立体声或多声道)。在另一修改中，任选控制器104可被设计用于独立操作，即，它不接收诸如xL(n)、xR(n)、xC(n)、qL(n)、qR(n)、qC(n)和e(n)的输入信号，并且可控制去相关器703(103)的截止频率(或质量)(例如，其一个或多个全通滤波器的截止频率(或质量))，以随时间推移以诸如连续、随机或其他改变类型的特定方式改变。
在另一修改(未示出)中，经回声补偿的信号e(n)的总体质量可通过使用一个或多个定向麦克风以提供多个麦克风信号来增强。可另选地或另外使用任选的波束形成结构，以通过利用例如对各个麦克风信号的延迟补偿和相加来为麦克风阵列提供方向性。
以上描述的结构、电路系统和处理可作为由处理器执行的指令编码于计算机可读介质中，所述计算机可读介质诸如CD ROM、盘、快闪存储器、RAM或ROM、电磁信号或其他机器可读介质。另选地或另外，可利用任何类型的逻辑并且可通过以下方式将其实现为模拟或数字逻辑：使用硬件，诸如一个或多个集成电路(包括放大器、加法器、延时器和滤波器)，或执行放大、相加、延迟和滤波指令的一个或多个处理器；或使用软件：应用程序编程接口(API)或动态链接库(DLL)、共享存储器中可用或定义为本地或远程过程调用的函数；或使用硬件和软件的组合。
所述方法可通过存储在计算机可读介质、机器可读介质、传播信号介质和/或信号承载介质上或中的软件和/或固件实现。所述介质可包括包含、存储、传达、传播或传输由指令可执行系统、设备或装置使用或结合其使用的可执行指令的任何装置。机器可读介质可选择性地为但不限于电子、磁、光、电磁或红外信号或半导体系统、设备、装置或传播介质。机器可读介质的实例的非详尽列表包括：磁盘或光盘、易失性存储器诸如随机存取存储器“RAM”、只读存储器“ROM”、可擦除可编程只读存储器(即EPROM)或快闪存储器、或光纤。机器可读介质还可包括可执行指令印刷在其上的有形介质，因为逻辑可作为图像或另一格式(例如，通过光学扫描)以电子方式存储，然后进行编译和/或解释或以其他方式处理。然后可将经处理介质存储在计算机和/或机器存储器中。
所述系统可包括另外的或不同的逻辑，并且可以许多不同方式实现。控制器可实现为微处理器、微控制器、专用集成电路(ASIC)、离散逻辑或这些和/或其他类型的电路或逻辑的组合。类似地，存储器可以是DRAM、SRAM、闪存、或其他类型的存储器。参数(例如，条件和阈值)和其他数据结构可分开存储和管理，可并入单个存储器或数据库中，或可以许多不同方式在逻辑上和物理上进行组织。程序和指令集可以是单个程序的部分、单独的程序，或者分布在若干存储器和处理器上。系统可包括在各种电子装置中，包括蜂窝电话、头戴式耳机、免提套装、扬声电话、通信接口或信息娱乐系统。
已经出于说明和描述的目的呈现对实施方案的描述。对实施方案的合适修改和变更可根据以上描述来执行或者可在实践所述方法的过程中获得。例如，除非另外指出，所描述方法中的一种或多种可由合适的装置和/或装置的组合来执行。所描述的方法和相关联动作还可以除了在本申请中描述的顺序之外的各种顺序、并行和/或同时执行。所描述的系统本质上是示例性的，并且可包括另外的元件和/或省略元件。
如本申请中所用，以单数叙述并且前面有单词“一个”或“一种”的元件或步骤应理解为不排除多个所述元件或步骤，除非指出这种排除情况。此外，对本公开的“一个实施方案”或“一个实例”的参考并不意图解释为排除也结合了所叙述特征的另外的实施方案的存在。术语“第一”、“第二”和“第三”等仅用作标签，并不意图对其对象施加数字要求或特定位置顺序。
虽然已经描述了本发明的各种实施方案，但对于本领域普通技术人员将显而易见的是，在本发明的范围内可有更多实施方案和实现方式。特别地，本领域技术人员将认识到来自不同实施方案的各种特征的互换性。尽管这些技术和系统已经在某些实施方案和实例的上下文中公开，但应理解，这些技术和系统可超出具体公开的实施方案而扩展到其他实施方案和/或其使用和明显修改。
Claims (27)
1.一种用于多通道音频信号处理的方法，其包括：
从第一通道接收左立体声音频信号，并且从第二通道接收右立体声音频信号；
将所述左立体声音频信号与所述右立体声音频信号进行上混合，以生成第三通道的上混合音频信号；
将所述上混合音频信号与所述左立体声音频信号和所述右立体声音频信号去相关，以生成经去相关的上混合音频信号；
将所述左立体声音频信号提供到第一扬声器以生成第一声音信号，将所述右立体声音频信号提供到第二扬声器以生成第二声音信号，并且将所述经去相关的上混合音频信号提供到第三扬声器以生成第三声音信号；
使用麦克风拾取所述第一声音信号、所述第二声音信号和所述第三声音信号以生成麦克风输出信号；以及
使用声学回声消除器基于所述左立体声音频信号、所述右立体声音频信号和所述经去相关的上混合音频信号自适应地对所述麦克风输出信号进行滤波，以生成经回声补偿的麦克风信号。
2.如权利要求1所述的方法，其中所述上混合音频信号的去相关包括：通过将时变全通滤波应用于所述上混合音频信号来生成所述经去相关的上混合音频信号，所述时变全通滤波是基于至少一个时变参数。
3.如权利要求2所述的方法，其中所述至少一个时变参数是预定的或可控的。
4.如权利要求1所述的方法，其中所述上混合音频信号的去相关包括：将所述上混合音频信号从时域变换到频域以生成多个子带信号，将所述子带信号中的每一个与对应的受控调制信号相乘以生成经调制的子带信号，并且将所述经调制的子带信号从所述频域变换到所述时域以提供所述经去相关的上混合音频信号。
5.如权利要求1至4中任一项所述的方法，其还包括：
确定所述上混合音频信号与所述左立体声音频信号和所述右立体声音频信号中的任一者之间的相关性；以及
基于所述上混合音频信号与所述左立体声音频信号和所述右立体声音频信号中的任一者之间的所确定的相关性来控制去相关。
6.如权利要求5所述的方法，其中相关性是通过计算所述上混合音频信号的短时相关值或短时相干值来确定。
7.如权利要求1至6中任一项所述的方法，其还包括：基于所述声学回声消除器中的所述自适应滤波的自适应状态来控制所述去相关。
8.如权利要求7所述的方法，其中所述声学回声消除器的所述自适应状态是基于由所述声学回声消除器生成的回声补偿信号来确定。
9.如权利要求7所述的方法，其中所述声学回声消除器的所述自适应状态是基于所述声学回声消除器的滤波器系数来确定。
10.如权利要求1至9中任一项所述的方法，其还包括：使所述左立体声音频信号和所述右立体声音频信号延迟一延迟时间或相位值，所述延迟时间或相位值等于通过去相关和上混合中的至少一者引入所述上混合信号中的延迟时间或相位值。
11.如权利要求1至10中任一项所述的方法，其还包括：在将所述左立体声音频信号提供到所述第一扬声器之前，基于所述上混合音频信号对所述左立体声音频信号和所述右立体声音频信号进行波束形成，以将经波束形成的音频信号提供到所述第一扬声器、所述第二扬声器和所述第三扬声器。
12.如权利要求1至11中任一项所述的方法，其还包括：
使用至少一个另外的麦克风来检测所广播的左立体声音频信号、所广播的右立体声音频信号和所广播的上混合音频信号；以及
使用所述声学回声消除器基于所述左立体声音频信号、所述右立体声音频信号和所述经去相关的上混合音频信号来自适应地对所述至少一个另外的麦克风输出信号进行滤波，以生成至少一个另外的经回声补偿的麦克风信号。
13.如权利要求1至11中任一项所述的方法，其还包括：
将所述左立体声音频信号与所述右立体声音频信号进行上混合，以生成至少一个另外的上混合音频信号；
将所述至少一个另外的上混合音频信号与所述左立体声音频信号、所述右立体声音频信号和剩余的上混合音频信号去相关，以生成至少一个经去相关的上混合音频信号；以及
将至少一个经去相关的上混合音频信号提供到至少一个另外的扬声器以生成至少一个另外的声音信号。
14.一种用于多通道音频处理的系统，其包括：
上混合器，所述上混合器被配置为将来自第一通道的左立体声音频信号与来自第二通道的右立体声音频信号进行上混合，以生成第三通道的上混合音频信号；
去相关器，所述去相关器被配置为将所述上混合音频信号与所述左立体声音频信号和所述右立体声音频信号去相关，以生成经去相关的上混合音频信号；以及
自适应声学回声消除器，所述自适应声学回声消除器被配置为基于所述左立体声音频信号、所述右立体声音频信号和所述经去相关的上混合音频信号来对麦克风输出信号进行回声补偿。
15.如权利要求14所述的系统，其中所述去相关器还被配置为通过将时变全通滤波应用于所述上混合音频信号来生成所述经去相关的上混合音频信号，所述时变全通滤波是基于至少一个时变参数。
16.如权利要求15所述的系统，其中所述至少一个时变参数是预定的或可控的。
17.如权利要求14所述的系统，其中所述去相关器还被配置为：
将所述上混合音频信号从时域变换到频域，以生成多个子带信号；
将所述子带信号中的每一个与对应的受控调制信号相乘，以生成经调制的子带信号；并且
将所述经调制的子带信号从所述频域变换到所述时域，以提供所述经去相关的上混合音频信号。
18.如权利要求14至17中任一项所述的系统，其中所述控制器还被配置为：
确定所述上混合音频信号与所述左立体声音频信号和所述右立体声音频信号中的任一者之间的相关性；并且
基于所述上混合音频信号与所述左立体声音频信号和所述右立体声音频信号中的任一者之间的所确定的相关性来控制去相关。
19.如权利要求18所述的系统，其中所述控制器还被配置为通过计算所述上混合音频信号的短时相关值或短时相干值来确定相关性。
20.如权利要求14至19中任一项所述的系统，其还包括：基于所述声学回声消除器中的所述自适应滤波的自适应状态来控制所述去相关。
21.如权利要求20所述的系统，其中所述控制器还被配置为基于由所述声学回声消除器生成的回声补偿信号来确定所述声学回声消除器的所述自适应状态。
22.如权利要求20所述的系统，其中所述控制器还被配置为基于所述声学回声消除器的滤波器系数来确定所述声学回声消除器的所述自适应状态。
23.如权利要求14至22中任一项所述的系统，其中所述控制器还被配置为将所述左立体声音频信号和所述右立体声音频信号延迟一延迟时间或相位值，所述延迟时间或相位值等于通过去相关器和所述上混合器中的至少一者引入所述上混合信号中的延迟时间或相位值。
24.如权利要求14至23中任一项所述的系统，其还包括与所述去相关器以及所述第一扬声器、所述第二扬声器和所述第三扬声器操作性地耦接的波束形成器，所述波束形成器被配置为基于所述上混合音频信号提供所述左立体声音频信号和所述右立体声音频信号，以将经波束形成的音频信号提供到所述第一扬声器、所述第二扬声器和所述第三扬声器。
25.如权利要求14至24中任一项所述的系统，其还包括至少一个另外的麦克风，所述至少一个另外的麦克风被配置为检测所广播的左立体声音频信号、所广播的右立体声音频信号和所广播的上混合音频信号；其中所述声学回声消除器还被配置为使用所述声学回声消除器基于所述左立体声音频信号、所述右立体声音频信号和所述经去相关的上混合音频信号自适应地对所述至少一个另外的麦克风输出信号进行滤波，以生成至少一个另外的经回声补偿的麦克风信号。
26.如权利要求14至25中任一项所述的系统，其中：
所述上混合器还被配置为将所述左立体声音频信号与所述右立体声音频信号进行上混合，以生成至少一个另外的上混合音频信号；以及
所述去相关器还被配置为将所述至少一个另外的上混合音频信号与所述左立体声音频信号、所述右立体声音频信号和剩余的上混合音频信号去相关，以生成至少一个经去相关的上混合音频信号；并且将至少一个经去相关的上混合音频信号提供到至少一个另外的扬声器以生成至少一个另外的声音信号。
27.一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令致使所述计算机执行权利要求1至13中任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018127071.2 | 2018-10-30 | ||
| DE102018127071.2A DE102018127071B3 (de) | 2018-10-30 | 2018-10-30 | Audiosignalverarbeitung mit akustischer Echounterdrückung |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111128210A true CN111128210A (zh) | 2020-05-08 |
| CN111128210B CN111128210B (zh) | 2024-04-23 |
Family
ID=68943980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911010501.7A Active CN111128210B (zh) | 2018-10-30 | 2019-10-23 | 具有声学回声消除的音频信号处理的方法和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10979100B2 (zh) |
| KR (1) | KR20200049521A (zh) |
| CN (1) | CN111128210B (zh) |
| DE (1) | DE102018127071B3 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112584300A (zh) * | 2020-12-28 | 2021-03-30 | 科大讯飞(苏州)科技有限公司 | 音频上混方法、装置、电子设备和存储介质 |
| CN113096681A (zh) * | 2021-04-08 | 2021-07-09 | 海信视像科技股份有限公司 | 显示设备、多声道回声消除电路及多声道回声消除方法 |
| CN114365509A (zh) * | 2021-12-03 | 2022-04-15 | 北京小米移动软件有限公司 | 一种立体声音频信号处理方法及设备/存储介质/装置 |
| TWI797850B (zh) * | 2021-11-01 | 2023-04-01 | 聯發科技股份有限公司 | 音訊設備以及相關方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10984815B1 (en) * | 2019-09-27 | 2021-04-20 | Cypress Semiconductor Corporation | Techniques for removing non-linear echo in acoustic echo cancellers |
| US11624804B2 (en) * | 2020-10-08 | 2023-04-11 | Nokia Technologies Oy | System and method for location determination utilizing direct path information |
| US20220284893A1 (en) * | 2021-03-05 | 2022-09-08 | Abl Ip Holding Llc | Wireless lighting control systems for intelligent luminaires |
| CN113542982B (zh) * | 2021-06-28 | 2023-07-18 | 瑞芯微电子股份有限公司 | 一种混音方法及存储介质 |
| CN114422933B (zh) * | 2021-12-31 | 2024-04-26 | 歌尔科技有限公司 | 一种电子设备及其的声场处理方法以及声场处理设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6895093B1 (en) * | 1998-03-03 | 2005-05-17 | Texas Instruments Incorporated | Acoustic echo-cancellation system |
| US20050157866A1 (en) * | 2003-12-23 | 2005-07-21 | Tandberg Telecom As | System and method for enhanced stereo audio |
| EP1718103A1 (en) * | 2005-04-29 | 2006-11-02 | Harman Becker Automotive Systems GmbH | Compensation of reverberation and feedback |
| US20080031469A1 (en) * | 2006-05-10 | 2008-02-07 | Tim Haulick | Multi-channel echo compensation system |
| US20090304198A1 (en) * | 2006-04-13 | 2009-12-10 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio signal decorrelator, multi channel audio signal processor, audio signal processor, method for deriving an output audio signal from an input audio signal and computer program |
| EP2420050A1 (en) * | 2009-04-15 | 2012-02-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multichannel echo canceller |
| US20140169568A1 (en) * | 2012-12-17 | 2014-06-19 | Microsoft Corporation | Correlation based filter adaptation |
| US20140307882A1 (en) * | 2013-04-11 | 2014-10-16 | Broadcom Corporation | Acoustic echo cancellation with internal upmixing |
| US20150030172A1 (en) * | 2013-07-24 | 2015-01-29 | Mh Acoustics, Llc | Inter-Channel Coherence Reduction for Stereophonic and Multichannel Acoustic Echo Cancellation |
| US9554210B1 (en) * | 2015-06-25 | 2017-01-24 | Amazon Technologies, Inc. | Multichannel acoustic echo cancellation with unique individual channel estimations |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US808947A (en) * | 1903-10-26 | 1906-01-02 | James B Clow & Son S | Combined water-heater and pressure-reservoir. |
| US7394903B2 (en) * | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
| US7508947B2 (en) * | 2004-08-03 | 2009-03-24 | Dolby Laboratories Licensing Corporation | Method for combining audio signals using auditory scene analysis |
| SE0402652D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
| US8374355B2 (en) * | 2007-04-05 | 2013-02-12 | Creative Technology Ltd. | Robust and efficient frequency-domain decorrelation method |
| EP2154911A1 (en) * | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a spatial output multi-channel audio signal |
| CN102461205B (zh) * | 2009-06-02 | 2014-12-24 | 皇家飞利浦电子股份有限公司 | 多通道声学回声消除器装置和多通道声学回声消除的方法 |
-
2018
- 2018-10-30 DE DE102018127071.2A patent/DE102018127071B3/de active Active
-
2019
- 2019-10-07 KR KR1020190123514A patent/KR20200049521A/ko not_active Application Discontinuation
- 2019-10-23 CN CN201911010501.7A patent/CN111128210B/zh active Active
- 2019-10-24 US US16/662,904 patent/US10979100B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6895093B1 (en) * | 1998-03-03 | 2005-05-17 | Texas Instruments Incorporated | Acoustic echo-cancellation system |
| US20050157866A1 (en) * | 2003-12-23 | 2005-07-21 | Tandberg Telecom As | System and method for enhanced stereo audio |
| EP1718103A1 (en) * | 2005-04-29 | 2006-11-02 | Harman Becker Automotive Systems GmbH | Compensation of reverberation and feedback |
| US20090304198A1 (en) * | 2006-04-13 | 2009-12-10 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio signal decorrelator, multi channel audio signal processor, audio signal processor, method for deriving an output audio signal from an input audio signal and computer program |
| US20080031469A1 (en) * | 2006-05-10 | 2008-02-07 | Tim Haulick | Multi-channel echo compensation system |
| EP2420050A1 (en) * | 2009-04-15 | 2012-02-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multichannel echo canceller |
| US20140169568A1 (en) * | 2012-12-17 | 2014-06-19 | Microsoft Corporation | Correlation based filter adaptation |
| US20140307882A1 (en) * | 2013-04-11 | 2014-10-16 | Broadcom Corporation | Acoustic echo cancellation with internal upmixing |
| US20150030172A1 (en) * | 2013-07-24 | 2015-01-29 | Mh Acoustics, Llc | Inter-Channel Coherence Reduction for Stereophonic and Multichannel Acoustic Echo Cancellation |
| US9554210B1 (en) * | 2015-06-25 | 2017-01-24 | Amazon Technologies, Inc. | Multichannel acoustic echo cancellation with unique individual channel estimations |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112584300A (zh) * | 2020-12-28 | 2021-03-30 | 科大讯飞(苏州)科技有限公司 | 音频上混方法、装置、电子设备和存储介质 |
| CN113096681A (zh) * | 2021-04-08 | 2021-07-09 | 海信视像科技股份有限公司 | 显示设备、多声道回声消除电路及多声道回声消除方法 |
| TWI797850B (zh) * | 2021-11-01 | 2023-04-01 | 聯發科技股份有限公司 | 音訊設備以及相關方法 |
| US11863710B2 (en) | 2021-11-01 | 2024-01-02 | Mediatek Inc. | Audio device and method for detecting device status of audio device in audio/video conference |
| CN114365509A (zh) * | 2021-12-03 | 2022-04-15 | 北京小米移动软件有限公司 | 一种立体声音频信号处理方法及设备/存储介质/装置 |
| WO2023097686A1 (zh) * | 2021-12-03 | 2023-06-08 | 北京小米移动软件有限公司 | 一种立体声音频信号处理方法及设备/存储介质/装置 |
| CN114365509B (zh) * | 2021-12-03 | 2024-03-01 | 北京小米移动软件有限公司 | 一种立体声音频信号处理方法及设备/存储介质/装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200136675A1 (en) | 2020-04-30 |
| US10979100B2 (en) | 2021-04-13 |
| DE102018127071B3 (de) | 2020-01-09 |
| CN111128210B (zh) | 2024-04-23 |
| KR20200049521A (ko) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111128210B (zh) | 具有声学回声消除的音频信号处理的方法和系统 | |
| US20200273442A1 (en) | Single-channel, binaural and multi-channel dereverberation | |
| JP5762956B2 (ja) | ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法 | |
| CN109417676B (zh) | 提供各个声音区的装置和方法 | |
| EP2936830B1 (en) | Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates | |
| EP3542547B1 (en) | Adaptive beamforming | |
| EP2207168B1 (en) | Robust two microphone noise suppression system | |
| CA2819393C (en) | Apparatus and method for spatially selective sound acquisition by acoustic triangulation | |
| US8682006B1 (en) | Noise suppression based on null coherence | |
| KR101834913B1 (ko) | 복수의 입력 오디오 신호를 잔향제거하기 위한 신호 처리 장치, 방법 및 컴퓨터가 판독 가능한 저장매체 | |
| KR102573843B1 (ko) | 음성 제어를 갖는 낮은 복잡도의 다중 채널 스마트 라우드스피커 | |
| US8761410B1 (en) | Systems and methods for multi-channel dereverberation | |
| EP2878138B1 (en) | Apparatus and method for providing a loudspeaker-enclosure-microphone system description | |
| WO2012099518A1 (en) | Method and device for microphone selection | |
| WO2003017718A1 (en) | Post-processing scheme for adaptive directional microphone system with noise/interference suppression | |
| US11205437B1 (en) | Acoustic echo cancellation control | |
| CN109326297B (zh) | 自适应后滤波 | |
| TWI465121B (zh) | 利用全方向麥克風改善通話的系統及方法 | |
| WO2021055413A1 (en) | Enhancement of audio from remote audio sources | |
| EP3225037B1 (en) | Method and apparatus for generating a directional sound signal from first and second sound signals | |
| CN109308907B (zh) | 单信道降噪 | |
| US11765504B2 (en) | Input signal decorrelation | |
| WO2023214571A1 (ja) | ビームフォーミング方法、ビームフォーミングシステム | |
| Geiser et al. | A differential microphone array with input level alignment, directional equalization and fast notch adaptation for handsfree communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |