DE102012025381B4

DE102012025381B4 - Echo and Noise Reduction for full duplex communication in hands-free devices

Info

Publication number: DE102012025381B4
Application number: DE201210025381
Authority: DE
Inventors: Karim Helwani; Herbert Buchner
Original assignee: Technische Universitaet Berlin; Deutsche Telekom AG
Current assignee: Technische Universitaet Berlin; Deutsche Telekom AG
Priority date: 2012-12-27
Filing date: 2012-12-27
Publication date: 2014-11-13
Anticipated expiration: 2032-12-28
Also published as: DE102012025381A1

Abstract

Verfahren zur Echounterdrückung in der Vollduplexkommunikation zwischen einem fernen Ende und einem nahen Ende, mit den Schritten Durchführen eine Frequenzanalyse eines vom fernen Ende übermittelten Lautsprechersignals und des am nahen Ende durch ein Mikrofon empfangenen Signals durch Kurzzeit-Fourier-Transformation; Bestimmen einer Initiallösung des bereinigten Nutzsignals am nahen Ende aus den frequenzanalysierten Signalen, wobei der akustische Pfad des Echosignals im frequenzanalysierten Mikrofonsignal als multiplikativer Faktor beschrieben wird; Durchführen einer Nachbearbeitung des bereinigten Nutzsignals der Initiallösung im Frequenzbereich durch ein FIR Filter zum Schätzen eines verzerrungsfreies Signal des nahen Endes; und Rücktransformation des geschätzten verzerrungsfreien Signals in den Zeitbereich.A method for echo cancellation in full duplex communication between a far end and a near end, comprising the steps of performing a frequency analysis of a loudspeaker signal transmitted from the far end and the signal received at the near end by a microphone by means of short-term Fourier transformation; Determining an initial solution of the cleaned useful signal at the near end from the frequency-analyzed signals, the acoustic path of the echo signal being described as a multiplicative factor in the frequency-analyzed microphone signal; Performing postprocessing of the cleaned useful signal of the initial solution in the frequency domain by an FIR filter for estimating a distortion-free signal of the near end; and transforming the estimated distortion-free signal back into the time domain.

Description

Die Erfindung betrifft die akustische Echokompensation für die Vollduplexkommunikation, insbesondere die integrierte verzerrungsfreie Echo- und Rauschunterdrückung in FreisprecheinrichtungenThe invention relates to the acoustic echo cancellation for full-duplex communication, in particular the integrated distortion-free echo and noise reduction in hands-free devices

In Freisprecheinrichtungen, wie beispielsweise Telekonferenzsystemen, wird von einem fernen Senderaum ein mehrkanaliges Audiosignal mittels einem Lautsprecherkanal in einen lokalen Konferenzraum („Naher Raum”) übertragen und von einem Lautsprecher im lokalen Konferenzraum ausgegeben. Gleichzeitig wird im nahen Raum mittels eines Mikrofons sowohl die Ausgabesignale von den Lautsprechern als auch die von den lokalen Sprechern erzeugten Signale aufgenommen.In hands-free devices, such as teleconferencing systems, a multichannel audio signal is transmitted from a remote broadcasting room via a loudspeaker channel to a local conference room ("near room") and output from a loudspeaker in the local conference room. At the same time, both the output signals from the loudspeakers and the signals generated by the local speakers are recorded in the near room by means of a microphone.

Um nun bei Vollduplexkommunikation eine Rückkopplung der aus dem fernen Raum kommenden Lautsprechersignale über die Mikrofone zurück zum fernen Senderaum oder beispielsweise zu einem automatischen Spracherkennungssystem zu verhindern, wird eine akustische Echokompensation benötigt. Die 1 zeigt beispielhaft einen Aufbau eines konventionellen Echokompensators, wobei das aus dem fernen Raum übertragene Audiosignal durch x und das aufgenommene Mikrofonsignal mit y bezeichnet ist. Zur Vermeidung von Rückkopplungen wird durch den akustischen Echokompensator der akustische Signalpfad des nahen Raums mittels eines adaptiven Filters nachgebildet, und das nachgebildete Echo wird sodann von dem Mikrofonsignal subtrahiert. Üblicherweise wird bei derartigen adaptiven Systemen von Impulsantworten mit endlicher zeitlicher Ausdehnung ausgegangen (FIR, engl. Finite Impulse Response), da bei diesen während der Adaption Stabilität gewährleistet ist.In order to prevent feedback of the far-room loudspeaker signals via the microphones back to the far-end broadcasting room or, for example, to an automatic speech recognition system in full-duplex communication, acoustic echo cancellation is required. The 1 shows an example of a construction of a conventional echo canceller, wherein the audio signal transmitted from the far-room is denoted by x and the recorded microphone signal by y. To avoid feedback, the acoustic echo canceller simulates the near-field acoustic signal path by means of an adaptive filter, and the simulated echo is then subtracted from the microphone signal. Usually, such adaptive systems use finite-duration impulse responses (FIR), since stability is ensured during adaptation.

Bei einer derartigen adaptiven Filterung gibt es zwei wesentliche bekannte Probleme: Einerseits die relativ hohe Rechenkomplexität aufgrund der Systemstruktur (es müssen die Signalpfade mittels üblicherweise jeweils mehrerer hundert Filterkoeffizienten adaptiv nachgebildet werden), andererseits ist die Adaption bei stark autokorrelierten Eingangssignalen des adaptiven Filters in vielen Anwendungsfällen aus numerischen Gründen problematisch. Bei einer Koeffizientenoptimierung durch Minimierung der quadratischen Fehlerleistungen (sog. Least-Squares Problem) weist daher die sich ergebende sog. Normalgleichung eine schlecht konditionierte Korrelationsmatrix auf, so dass zu deren iterativer Lösung im allgemeinen sehr rechenintensive Algorithmen benötigt werden, wie z. B. der Recursive Least-Squares (RLS)-Algorithmus, der beispielsweise im Kapitel 13 des Buchs von S. Haykin, „Adaptive filter theory”, 4^th Edition, Prentice Hall, 2002 beschrieben wird.In such an adaptive filtering, there are two major known problems: first, the relatively high computational complexity due to the system structure (the signal paths have to be adaptively modeled by usually several hundred filter coefficients), on the other hand, the adaptation to strongly autocorrelated input signals of the adaptive filter in many applications problematic for numerical reasons. In the case of coefficient optimization by minimizing the squared error powers (so-called least-squares problem), therefore, the resulting so-called normal equation has a poorly-conditioned correlation matrix, so that algorithms which are very computationally intensive are generally required for their iterative solution. For example, the Recursive Least Squares (RLS) algorithm described, for example, in Chapter 13 of S. Haykin's book, "Adaptive Filter Theory," 4 ^th Edition, Prentice Hall, 2002.

Um diese Probleme teilweise zu umgehen, wurde der Einsatz von adaptiver Filterung in geeigneten Signaltransformationsbereichen vorgeschlagen. Bisherige, in der Literatur beschriebene adaptive Ansätze in Transformationsbereichen basieren hauptsächlich auf zeitlichen Transformationen auf den individuellen Signalkanälen, beispielsweise im „Frequency-Domain Adaptive Filtering” (FDAF), welches in H. Buchner, J. Benesty und W. Kellermann, „Multichannel frequency-domain adaptive filtering with application to acoustic echo cancellation,” in J. Benesty et al., (Hrsg.), Adaptive signal Processing: Application to real-world problems, Springer-Verlag, Berlin/Heidelberg, 2003 für den allgemeineren Mehrkanalfall zusammenfassend dargestellt wurde. Hierbei wird im Wesentlichen die FIR-Struktur der einzelnen Teilsysteme ausgenutzt, so dass mit bekannten, zeitlich konstanten Transformationen, insbesondere der Diskreten Fourier-Transformation (DFT) gearbeitet werden kann. Dies bewirkt sowohl einen Komplexitätsgewinn bei den Filteroperationen der einkanaligen Teilsysteme, als auch eine Verbesserung der numerischen Eigenschaften bei der Adaption.To partially overcome these problems, the use of adaptive filtering in suitable signal transformation regions has been proposed. Previous adaptive approaches in transformation domains described in the literature are mainly based on temporal transformations on the individual signal channels, for example in Frequency Domain Adaptive Filtering (FDAF), which is described in H. Buchner, J. Benesty and W. Kellermann, "Multichannel frequency Beneview et al. (Ed.), Adaptive Signal Processing: Application to Real-World Problems, Springer-Verlag, Berlin / Heidelberg, 2003 for the more general multichannel case in summary was presented. In this case, essentially the FIR structure of the individual subsystems is utilized, so that it is possible to work with known, temporally constant transformations, in particular the discrete Fourier transformation (DFT). This results in both a gain in complexity in the filter operations of the single-channel subsystems, as well as an improvement of the numerical properties in the adaptation.

Eine effiziente Alternative zur traditionellen Echounterdrückung durch eine Systemidentifikation stellt die sogenannte Acoustic Echo Supression (AES) Methode dar, die beispielsweise in C. Faller und C. Tournery, ”Estimating the delay and coloration effect of the acoustic echo path for low complexity echo suppression,” in Proc. Int. Workshop on Acoustic, Echo and Noise Control (IWAENC), 2005 oder der Patentanmeldung EP 1 715 669 A1 beschrieben ist. Diese Methode geht von einem vereinfachten Echopfad aus. Das Kanalmodell wird als eine Kombination einer reinen Zeitverzögerung mit einem Färbungsfilter angenommen.An efficient alternative to traditional echo suppression by a system identification is the so-called Acoustic Echo Suppression (AES) method, which is described, for example, in C. Faller and C. Tournery, "Estimating the Delay and Coloration Effect of the Acoustic Pathway for Low-complexity Echo Suppression". "In Proc. Int. Workshop on Acoustic, Echo and Noise Control (IWAENC), 2005 or the patent application EP 1 715 669 A1 is described. This method is based on a simplified echo path. The channel model is assumed to be a combination of a pure time delay with a color filter.

Es wird hierbei in einem ersten Schritt die durch Ausbreitung im Raum verursachte Verzögerung des Lautsprechersignals durch einfache Korrelation geschätzt. Danach wird ein Färbungsfilter im Frequenzbereich mittels Wiener Schätztheorie berechnet, welches die Färbung des Lautsprechersignals durch den akustischen Pfad nachbildet. Hierbei werden nur die Amplituden der Signale berücksichtigt, alle Informationen über die Phase werden vernachlässigt. Abhängig von dem Färbungsfilter wird ein Unterdrückungsfilter bestimmt, das zum Färbungsfilter orthogonal ist.In this case, in a first step, the delay of the loudspeaker signal caused by propagation in space is estimated by simple correlation. Thereafter, a coloring filter in the frequency domain is calculated using Viennese estimation theory, which simulates the coloring of the loudspeaker signal through the acoustic path. Only the amplitudes of the signals are considered, all information about the phase is neglected. Depending on the coloring filter, a suppression filter which is orthogonal to the staining filter is determined.

Das Verfahren setzt ein System zur sehr präzisen Detektion von Gegensprechaktivitäten (Double-Talk Detector) voraus. Es wird also der Fall detektiert, dass nichtstationäre Quellen im nahen Raum aktiv sind. AES nach dem gegenwärtigen Stand der Technik fügt in manchen Fällen starke Verzerrungen zum Signal des nahen Endes hinzu.The method requires a system for very precise detection of double talk detectors. Thus, the case is detected that non-stationary sources are active in the near room. AES in the current art sometimes adds strong distortions to the near-end signal.

Die DE 101 38 179 A1 beschreibt ein Verfahren und eine Anordnung zur Echo- und Störgeräuschunterdrückung, wobei bei einem Telekommunikationsgerät, insbesondere einem mit einer Freisprecheinrichtung ausgestattetem Telefon, das Mikrofonsignal über ein im abgehenden Signalkanal angeordnetes Spektralsubstraktionsfilter geleitet wird, das neben dem geschätzten Leistungsdichtespektrum des Störgeräuschsignals auch das vom fouriertransformierten Signal des ankommenden Signalkanals abgeleitete Leistungsdichtespektrum berücksichtigt.The DE 101 38 179 A1 describes a method and an arrangement for echo and noise suppression, wherein in a telecommunication device, in particular a telephone equipped with a handsfree telephone, the microphone signal is routed via a spectral subtraction filter arranged in the outgoing signal channel, which in addition to the estimated power density spectrum of the noise signal also from the Fourier transform signal of Incoming signal channel derived power density spectrum considered.

In der WO 2006/111370 A1 wird ein Verfahren und eine Vorrichtung zur Echoentfernung in einem Multikanal-Audiosignal offenbart.In the WO 2006/111370 A1 A method and apparatus for echo cancellation in a multi-channel audio signal is disclosed.

Somit besteht ein Bedarf an einem verbesserten Verfahren und einer Vorrichtung zur Echounterdrückung zur Verwendung in der Vollduplexkommunikation. Das Verfahren und die Vorrichtung gemäß der vorliegenden Erfindung soll weiterhin eine möglichst verzerrungs- und rauschfreie Übertragung des Signals der nahen Endes erlauben.Thus, there is a need for an improved method and apparatus for echo cancellation for use in full-duplex communication. The method and the device according to the present invention should further allow a possible distortion-free and noise-free transmission of the signal of the near end.

Die Erfindung stellt ein Verfahren gemäß Patentanspruch 1 bereit, durch das eine integrierte verzerrungsfreie Echo- und Rauschunterdrückung für Vollduplexkommunikation in Freisprecheinrichtungen ermöglicht wird.The invention provides a method according to claim 1, which enables integrated distortion-free echo and noise cancellation for full duplex communication in hands-free devices.

Sowohl das vom fernen Ende übermittelte Lautsprechersignal und das am nahen Ende durch ein Mikrofon empfangene Signal wird einer Frequenzanalyse durch Kurzzeit-Fourier-Transformation unterzogen. Auf der Basis dieser beiden Frequenz-analysierten Signale wird zunächst eine Initiallösung zur Bestimmung des bereinigten Signals am nahen Ende, also des lokalen Nutzsignals berechnet. Dies geschieht unter der Annahme, dass das Nutzsignal am nahen Ende statistisch unabhängig vom Lautsprechersignal des fernen Endes ist. Weiterhin wird bei der Berechnung der akustische Pfad des Echosignals im Frequenzbereich als multiplikativer Faktor angenähert.Both the far end transmitted loudspeaker signal and the near end signal received through a microphone are subjected to frequency analysis by short time Fourier transform. On the basis of these two frequency-analyzed signals, an initial solution for determining the adjusted signal at the near end, ie the local useful signal, is first of all calculated. This is done assuming that the near end payload is statistically independent of the far end loudspeaker signal. Furthermore, in the calculation, the acoustic path of the echo signal in the frequency domain is approximated as a multiplicative factor.

Zur Nachbereitung des geschätzten lokalen Nutzsignals im Frequenzbereich wird durch ein FIR-Filter, vorzugsweise über mehrere Blöcke durchgeführt, mit dem Ziel, ein verzerrungsfreies Signal des nahen Endes zu schätzen, das zum Signal des fernen Endes orthogonal ist. Anschließend erfolgt die Rücktransformation des geschätzten verzerrungsfreien Signals in den Zeitbereich, welches dann in den fernen Raum übertragen werden kann.To post-process the estimated local payload in the frequency domain is performed by a FIR filter, preferably over several blocks, with the aim of estimating a near-end distortion-free signal that is orthogonal to the far-end signal. Subsequently, the inverse transformation of the estimated distortion-free signal into the time domain takes place, which can then be transmitted to the remote area.

Die Erfindung stellt weiterhin eine Vorrichtung zur Echokompensation und eine Freisprechungseinrichtung bereit.The invention further provides a device for echo cancellation and a hands-free device.

Die Erfindung wird im Folgenden unter Bezugnahme auf die Figuren näher beschrieben, wobeiThe invention will be described in more detail below with reference to the figures, wherein

1 schematisch einen konventionellen Echokompensator zeigt, 1 schematically shows a conventional echo canceller,

2 schematisch eine bevorzugte Ausführungsform des erfindungsgemäßen Systems für die Anwendung bei einer einkanaligen akustischen Echounterdrückung zeigt, 2 schematically shows a preferred embodiment of the system according to the invention for use in a single-channel acoustic echo cancellation,

3 die Performanz des Verfahrens anhand der Echo-Return Loss Enhancement zeigt und 3 shows the performance of the method based on the Echo-Return Loss Enhancement and

4 und 5 die Verzerrung des geschätzten Signals des nahen Endes darstellt. 4 and 5 represents the distortion of the near-end estimated signal.

In einem konventionellen Signalmodel, in dem ein akustisches Echo durch die Kopplung zwischen einem Lautsprecher und einem Mikrofon erzeugt wird, kann das Mikrofonsignal zu einer Zeit t folgendermaßen beschrieben werden: d(t) = g(t)*x(t) + u(t) = y(t) + u(t) (1) In a conventional signal model in which an acoustic echo is generated by the coupling between a loudspeaker and a microphone, the microphone signal at a time t can be described as follows: d (t) = g (t) * x (t) + u (t) = y (t) + u (t) (1)

Hier beschreibt x(t) das Lautsprechersignal, das vom fernen Ende übertragen wird, g(t) ist die Impulsantwort vom Lautsprecher zum Mikrofon, u(t) ist das Signal am nahen Ende, also das Nutzsignal, und y(t) ist das Echosignal. Gemäß der Erfindung soll angenommen werden, dass y(t) und u(t) nicht korreliert sind.Here, x (t) describes the loudspeaker signal transmitted from the far end, g (t) is the impulse response from the loudspeaker to the microphone, u (t) is the near end signal, that is, the useful signal, and y (t) is echo signal. According to the invention, it should be assumed that y (t) and u (t) are uncorrelated.

Es stellt sich also die Aufgabe, das Echo y(t) zu bestimmen, wobei das Lautsprechersignal x(t) und das Mikrofon d(t) bekannt sind. Wenn dieses Echo korrekt abgeschätzt wird, kann es von dem Ausgangssignal abgezogen werden, um eine Abschätzung des Nutzsignals am nahen Ende abzuschätzen. Dieses Signal kann dann in den fernen Raum übertragen werden. It is therefore the task of determining the echo y (t), the loudspeaker signal x (t) and the microphone d (t) being known. If this echo is correctly estimated, it can be subtracted from the output to estimate an estimate of the near end payload. This signal can then be transmitted to the distant room.

Durch eine Kurzzeit-Fourier-Transformation ergibt sich eine entsprechende Gleichung im Frequenzbereich als D(k, n) = Y(k, n) + U(k, n) (2) wobei D(k, n), Y(k, n) und U(k, n) jeweils die Kurzzeit-Fourier-Transformierten von d(t), y(t) und u(t) bei dem Frequenz-Bin k und dem Zeitrahmen n sind. Weiterhin wird als Näherung für das Echosignal Y(k, n) = G(k)X(k, n) (3) verwendet, wobei G(k) und X(k, n) die Kurzzeit-Fourier-Transformierten von g(t) und x(t) sind.A short-term Fourier transform results in a corresponding equation in the frequency domain as D (k, n) = Y (k, n) + U (k, n) (2) where D (k, n), Y (k, n) and U (k, n) respectively represent the short-term Fourier transforms of d (t), y (t) and u (t) at the frequency bin k and the time frame is n. Furthermore, as an approximation for the echo signal Y (k, n) = G (k) X (k, n) (3) where G (k) and X (k, n) are the short-term Fourier transforms of g (t) and x (t).

Es wird weiterhin angenommen, dass das Signal des nahen Endes vom Signal des fernen Endes statistisch unabhängig sind, dass also Ɛ ^{U(k, n)X*(k, n)} = 0 (5) gilt, wobei Ɛ ^{·} eine Abschätzung der mathematischen Erwartung bezeichnet.It is further assumed that the near-end signal is statistically independent of the far-end signal, that is Ɛ ^ {U (k, n) X * (k, n)} = 0 (5) where Ɛ ^ {·} denotes an estimate of the mathematical expectation.

Zur gleichzeitigen Bestimmung von G(k) und des Nutzsignals am nahen Ende U(k, n), kann das folgende Gleichungssystem verwendet werden:

For the simultaneous determination of G (k) and the useful signal at the near end U (k, n), the following equation system can be used:

Hier hängt die Matrix auf der rechten Seite ausschließlich vom Lautsprechersignal X ab, während die linke Seite ausschließlich vom Mikrofonsignal D abhängt.Here, the matrix on the right side depends solely on the loudspeaker signal X, while the left side depends exclusively on the microphone signal D.

Die Nachverarbeitung des geschätzten lokalen Nutzsignals geschieht gemäß der Gleichung

Post-processing of the estimated local payload is done according to the equation

Hierbei ist δ eine Regularisierungskonstante.Here δ is a regularization constant.

Die Matrix Γ wird durch die Gleichungen

The matrix Γ is determined by the equations

Berechnet, wobei ϕ_U(k, n) := Ɛ ^{U(k, n)U*(k, n)}. (10) Calculated, where φ _U (k, n): = Ɛ ^ {U (k, n) U * (k, n)}. (10)

Zur Bestimmung von γ_u wird die durch (5) gewonnene Initiallösung verwendet. Die Nachverarbeitung geschieht also im Frequenzbereich über mehrere Blöcke durch ein FIR-Filter mit dem Ziel, ein verzerrungsfreies Signal des nahen Endes zu schätzen, das zum Signal des fernen Endes orthogonal ist. Die zweite Bedingung (9) erhöht die Robustheit bei der Schätzung des echofreien Signals am nahen Ende und kann als optional angesehen werden. Wenn auf diese Bedingung verzichtet wird, ist γ ein Zeilenvektor und bei Gleichung (6) fällt der Vektor [ 1 / 0] weg.For the determination of γ _u , the initial solution obtained by (5) is used. The post-processing thus occurs in the frequency domain over several blocks through an FIR filter with the aim of estimating a near-end distortion-free signal that is orthogonal to the far-end signal. The second condition (9) increases the robustness in estimating the echo-free signal at the near end and can be considered optional. If this condition is omitted, γ is a row vector and in equation (6) the vector is dropped [1/0] path.

Für den Spezialfall, dass

= I gilt, ergibt sich für das erwünschte Nachverarbeitungsfilter

For the special case, that

= I, results for the desired post-processing filter

Eine Rücktransformation des geschätzten verzerrungsfreien Signals in den Zeitbereich schließt das Verfahren ab.An inverse transformation of the estimated distortion-free signal into the time domain completes the method.

Die erfindungsgemäße Vorrichtung zum Durchführen dieses Verfahrens ist schematisch in der 2 gezeigt, wobei im Block „initial guess” die in den Blöcken STFT gebildeten Fourier-transformierten Signale zur Bestimmung der Initiallösung verwendet werden, die Nachverarbeitung in dem FIR-Filter geschieht und die Rücktransformation zur Bestimmung des in den fernen Raum zu übertragenen Signals in einen weiteren Kurzzeit-Fourier-Transformationsblock STFT durchgeführt wird.The inventive device for carrying out this method is schematically in the 2 in the block "initial guess", the Fourier-transformed signals formed in the blocks STFT are used to determine the initial solution, the post-processing in the FIR filter is done, and the inverse transformation to determine the signal to be transmitted into the remote space Short-term Fourier transform block STFT is performed.

Zusammenfassend basiert die vorliegende Erfindung also auf folgendem Grundgedanken:
Der akustische Pfad vom Lautsprecher zum Mikrofon im nahen Raum kann als ein multiplikativer Faktor approximiert werden, wie dies durch Gleichung 3 ausgedrückt wird.In summary, the present invention is based on the following basic idea:
The acoustic path from the speaker to the microphone in the near space can be approximated as a multiplicative factor, as expressed by Equation 3.

Das Signal des nahen Endes, also das Nutzsignal im nahen Raum, ist vom Signal des fernen Endes statistisch unabhängig (siehe Gleichung 4).The near-end signal, that is, the useful signal in near-space, is statistically independent of the signal from the far end (see Equation 4).

Es ist wünschenswert, das blockweise verarbeitete Signal des nahen Endes verzerrungsfrei zu übertragen.It is desirable to transmit the near-end block-processed signal without distortion.

Stationäres Rauschen in typischen Vollduplexkommunikationszenarien korrespondiert zu den vergleichsweise kleinen Eigenwerten der Matrix

(siehe beispielsweise Gleichungen 6 und 10).Stationary noise in typical full-duplex communication scenarios corresponds to the comparatively small eigenvalues of the matrix

(see, for example, equations 6 and 10).

Ein Regularisierungsverfahren für die Inversion von

bei der Bestimmung des verzerrungsfreien Filters gemäß Gleichung 6, das kleine Eigenwerte auf 0 setzt und bei der Inversion nicht berücksichtigt, wie es bei der Berechnung der pseudoinversen Matrix der Fall ist, führt zu einer Rauschunterdrückung beim aufgenommenen Signal.A regularization method for the inversion of

in the determination of the distortion-free filter according to Equation 6, which sets small eigenvalues to 0 and does not take into account in the inversion, as is the case with the calculation of the pseudoinverse matrix, leads to a noise suppression in the recorded signal.

Zur Evaluierung des vorgestellten Verfahrens im einkanaligen Fall wurde ein Sprachdialog simuliert. Der Dialog bestand aus drei Abschnitten. Im ersten Abschnitt ist nur der Sprecher im fernen Raum aktiv. Das nahe Ende wurde simuliert mit Hilfe einer gemessenen Impulsantwort eines Raums mit einer Nachhallzeit T₆₀ von circa 300 ms. Dem Mikrofonsignal am nahen Ende wurde weißes Rauschen hinzugefügt, sodass das resultierende SNR 35 dB betrug. Die Performanz des Algorithmus im Single-Talk-Abschnitt wurde gemessen anhand der sogenannten Echo-Return Loss Enhancement (ERLE) (3). Diese Größe wurde berechnet mit

wobei ϕ_Y analog zu (10) definiert ist. To evaluate the presented method in a single-channel case, a speech dialogue was simulated. The dialogue consisted of three sections. In the first section, only the speaker is active in the distant space. The near end was simulated by means of a measured impulse response of a room with a reverberation time T ₆₀ of about 300 ms. White noise was added to the near end microphone signal so that the resulting SNR was 35 dB. The performance of the algorithm in the single-talk section was measured using the so-called Echo-Return Loss Enhancement (ERLE) ( 3 ). This size was calculated with

where φ _Y is defined analogously to (10).

Im zweiten Abschnitt sprechen beide Teilnehmer sowohl am fernen als auch am nahen Ende und im dritten Abschnitt spricht nur der Teilnehmer am nahen Ende. In diesen beiden Abschnitten wurde das Verfahren anhand der erzielten Verzerrung des extrahierten Signals am nahen Ende evaluiert (4 und 5). Das Verzerrungsmaß ist gegeben durch

In the second section, both participants speak both at the far end and at the near end and in the third section only the participant speaks at the near end. In these two sections, the method was evaluated on the basis of the obtained distortion of the extracted signal at the near end ( 4 and 5 ). The distortion measure is given by

Die beschriebene Erfindung kann auch verwendet werden um den Mehrkanalfall zu behandeln. Dazu müssen folgende formale Änderungen vorgenommen werden: Ein mehrkanaliges Vollduplex-Kommunikationssystem („Multiple-input multiple-Output”, kurz MIMO) mit P Lautsprechen und Q Mikrofonen kann in Q parallele multiple-input single-output (MISO) Systeme zerlegt werden. Deswegen werden wir zur Illustration der Anwendung der beschriebenen Erfindung auf den Mehrkanalfall den speziellen MISO-Fall verwenden (Q = 1).The described invention can also be used to handle the multichannel case. The following formal changes have to be made: A multi-channel full-duplex communication system ("MIMO") with P speakers and Q microphones can be decomposed into Q parallel multiple-input single-output (MISO) systems. Therefore, to illustrate the application of the described invention to the multi-channel case, we will use the special MISO case (Q = 1).

Das Echosignal im MISO-Fall nach der Durchführung einer Kurzzeit Fourier Transformation kann approximiert werden als

The echo signal in the MISO case after performing a short-time Fourier transform can be approximated as

Zusammen mit der Annahme über die Unabhängigkeit der einzelnen Lautsprechersignale vom Signal am nahen Ende schreiben wir im Analogon zu (5)

Together with the assumption about the independence of the individual loudspeaker signals from the signal at the near end we write in analogy to (5)

Mit χ'(k, n) := [X(k, n), ..., X(k, n – M₂ + 1)]^T (14) d(k, n) := [D(k, n), D(k, n – 1), ..., D(k, n – M₂ + 1)]^T, (15) χ(k, n) := [X(k, n), ..., X(k, n – M₁ + 1)]^T, (16)

u ^₀(k, n) := [U ^₀(k, n), ..., U ^₀(k, n – M₂ + 1)]^T, (18)

With

χ '(k, n): = [X (k, n), ..., X (k, n - M ₂ + 1)] ^T (14)

d (k, n): = [D (k, n), D (k, n-1), ..., D (k, n-M ₂ + 1)] ^T , (15)

χ (k, n): = [X (k, n), ..., X (k, n - M ₁ + 1)] ^T , (16)

u ^ ₀ (k, n): = [U ^ ₀ (k, n), ..., U ^ ₀ (k, n - M ₂ + 1)] ^T , (18)

Diese ist eine Schätzung von u(k, n) := [U(k, n), ..., U(k, n – M₂ + 1)]^T. (19) This is an estimate of u (k, n): = [U (k, n), ..., U (k, n - M ₂ + 1)] ^T. (19)

Das Gleichungssystem (13) kann unter Verwendung der Pseudoinversen gelöst werden.The equation system (13) can be solved using the pseudoinverse.

Eine Komplexitätsreduktion kann durch eine Transformation der Lautsprecher-Signale erzielt werden. Die Basis der Transformation kann aus einer Hauptkomponentenanalyse der Autokorrelationsmatrix gewonnen werden. Die Autokorrelationsmatrix kann iterativ geschätzt werden mit der folgenden Rechenvorschrift R_xx(k, n) := αR_xx(k, n – 1) + X(k, n)X^H(k, n), (20) α ist hierbei der Vergessensfaktor.A reduction in complexity can be achieved by a transformation of the loudspeaker signals. The basis of the transformation can be obtained from a principal component analysis of the autocorrelation matrix. The autocorrelation matrix can be iteratively estimated using the following calculation rule R _xx (k, n): = αR _xx (k, n-1) + X (k, n) X ^H (k, n), (20) α is the forgetting factor.

Eine Eigenwertzerlegung der Autokorrelationsmatrix liefert R_xx(k, n) = T'(k, n)R ~_xx(k, n)T'^H(k, n), (21) An eigenvalue decomposition of the autocorrelation matrix yields _Rxx (k, n) = T '(k, n) _Rxxx (k, n) ^T'H (k, n), (21)

Wobei R ~_xx(k, n) eine diagonale Matrix ist. T'(k, n) ist eine unitäre Matrix und enthält die Eigenvektoren als Zeilenvektoren.Where R ~ _xx (k, n) is a diagonal matrix. T '(k, n) is a unitary matrix and contains the eigenvectors as row vectors.

Eine Transformationsmatrix für eine Komplexitätsreduktion soll vorzugsweise die R Eigenvektoren von R_xx(k, n) enthalten, die zu nichtverschwindenden Eigenwerten korrespondieren.A transformation matrix for complexity reduction should preferably contain the R eigenvectors of R _xx (k, n) which correspond to non-vanishing eigenvalues.

Die transformierten Größen sind dann gegeben durchThe transformed quantities are then given by

Für eine Schätzung des Signals am nahen Ende durch transformierte Größen müssen im System (12) folgende Änderungen vorgenommen werden:

For an estimate of the near-end signal by transformed quantities, the following changes must be made in system (12):

Wobei χ ~ und χ ~' analog zu den Definitionen (13) und (15) aufgebaut sind.Wherein χ ~ and χ ~ 'are constructed analogously to the definitions (13) and (15).

Desweiteren werden

durch

und G ^*(k) durch

ersetzt.Furthermore will be

by

and G ^ * (k)

replaced.

Um die Verzerrung des extrahierten Signals des nahen Endes zu minimieren wenden wir analog zum einkanaligen Fall das MVDR Prinzip an und erhalten den folgenden Ausdruck zur Bestimmung der MVDR-Filterkoeffizienten:

wobei wir hier nur die Verzerrungsfreiheit des Signals am nahen Ende (7) als Nebenbedingung berücksichtigt haben.To minimize the distortion of the near-end extracted signal, we apply the MVDR principle analogous to the single-channel case and obtain the following expression to determine the MVDR filter coefficients:

where we have taken into account only the freedom of distortion of the signal at the near end (7) as a constraint.

Obwohl die Erfindung mittels der Figuren und der zugehörigen Beschreibung dargestellt und detailliert beschrieben ist, sind diese Darstellung und diese detaillierte Beschreibung illustrativ und beispielhaft zu verstehen und nicht als die Erfindung einschränkend. Es versteht sich, dass Fachleute Änderungen und Abwandlungen machen können, ohne den Umfang der folgenden Ansprüche zu verlassen. Insbesondere umfasst die Erfindung ebenfalls Ausführungsformen mit jeglicher Kombination von Merkmalen, die vorstehend zu verschiedenen Aspekten und/oder Ausführungsformen genannt oder gezeigt sind.While the invention has been illustrated and described in detail by the figures and the accompanying description, this description and detailed description are to be considered illustrative and exemplary and not limiting as to the invention. It is understood that those skilled in the art can make changes and modifications without departing from the scope of the following claims. In particular, the invention also includes embodiments with any combination of features that are mentioned or shown above in various aspects and / or embodiments.

Die Erfindung umfasst ebenfalls einzelne Merkmale in den Figuren, auch wenn sie dort im Zusammenhang mit anderen Merkmalen gezeigt sind und/oder vorstehend nicht genannt sind.The invention also includes individual features in the figures, even if they are shown there in connection with other features and / or not mentioned above.

Im Weiteren schließt der Ausdruck „umfassen” und Ableitungen davon andere Elemente oder Schritte nicht aus. Ebenfalls schließt der unbestimmte Artikel „ein” bzw. „eine” und Ableitungen davon eine Vielzahl nicht aus. Die Funktionen mehrerer in den Ansprüchen aufgeführter Merkmale können durch eine Einheit erfüllt sein. Die Begriffe „im Wesentlichen”, „etwa”, „ungefähr” und dergleichen in Verbindung mit einer Eigenschaft beziehungsweise einem Wert definieren insbesondere auch genau die Eigenschaft beziehungsweise genau den Wert. Alle Bezugszeichen in den Ansprüchen sind nicht als den Umfang der Ansprüche einschränkend zu verstehenFurthermore, the term "comprising" and derivatives thereof does not exclude other elements or steps. Also, the indefinite article "a" and "derivatives" and derivatives thereof do not exclude a variety. The functions of several features listed in the claims may be fulfilled by one unit. The terms "substantially", "approximately", "approximately" and the like in connection with a property or a value in particular also define precisely the property or exactly the value. All reference signs in the claims are not to be understood as limiting the scope of the claims

Claims

A method of echo cancellation in full duplex communication between a far end and a near end, with the steps Performing a frequency analysis of a far end transmitted loudspeaker signal and the near end received signal through a microphone by short time Fourier transform; Determining an initial solution of the adjusted near-end useful signal from the frequency-analyzed signals, wherein the acoustic path of the echo signal in the frequency-analyzed microphone signal is described as a multiplicative factor; Performing post-processing of the adjusted payload of the initial solution in the frequency domain by an FIR filter to estimate a near-end distortion-free signal; and Inverse transformation of the estimated distortion-free signal into the time domain.

The method of claim 1, wherein the estimated signal to the far-end signal is orthogonal.

A method according to claim 1 or 2, wherein the near-end signal is determined in a transformation range given by a principal component analysis of the loudspeaker signal.

The method of any one of the preceding claims, further comprising the step of transmitting the re-transformed, distortion-free signal to the far-end room.

A method according to any one of the preceding claims, wherein the full-duplex communication is multichannel full-duplex communication with a plurality of loudspeaker signals and signals received by a plurality of microphones, decomposition into a plurality of parallel systems having a plurality of loudspeaker signals and a signal respectively picked up by a microphone.

Device for echo cancellation in full-duplex communication between a far end and a near end, with at least one short-term Fourier transform block for frequency analysis of a far end transmitted loudspeaker signal and the near end received signal through a microphone; a computing device for determining an initial solution of the adjusted useful signal at the near end from the frequency-analyzed signals, the acoustic path of the echo signal in the frequency-analyzed microphone signal being described as a multiplicative factor; and at least one FIR filter for post-processing the adjusted useful signal of the initial solution in the frequency domain by an FIR filter to estimate a near-end distortion-free signal; wherein the short-term Fourier transform block is further arranged to perform a back transformation of the estimated distortion-free signal into the time domain.

The apparatus of claim 6, wherein the estimated signal to the far-end signal is orthogonal.

Apparatus according to claim 6 or 7, wherein the apparatus comprises two short-term Fourier transform blocks each arranged to perform the frequency analysis of the far end transmitted loudspeaker signal and the near end received signal through the microphone.

Apparatus according to claim 6, 7 or 8, further comprising a further fast-time Fourier transform block for inverse transforming the estimated distortion-free signal into the time domain.

Apparatus according to any one of claims 6 to 9, wherein the full-duplex communication is multichannel full-duplex communication having a plurality of loudspeaker signals and signals received by a plurality of microphones, wherein decomposition is made into a plurality of parallel systems having a plurality of loudspeaker signals and a signal respectively picked up by a microphone.

Handsfree with one or more microphones in a nearby room, one or more speakers in a distant room and A device for echo cancellation according to one of claims 6 to 10.