DE102013104841A1

DE102013104841A1 - Verfahren zum Verarbeiten von Audiosignalen und Schaltungsanordnung dafür

Info

Publication number: DE102013104841A1
Application number: DE201310104841
Authority: DE
Inventors: Christelle Yemdji; Nicholas Evans; Christophe Beaugeant; Ludovick Lepauloux
Original assignee: Intel Mobile Communications GmbH
Current assignee: Intel Deutschland GmbH
Priority date: 2012-05-11
Filing date: 2013-05-10
Publication date: 2013-11-14

Abstract

Ein Verfahren zum Verarbeiten von Radiosignalen wird bereitgestellt, umfassend ein Ausgeben eines Audiosignals, Empfangen des ausgegebenen Audiosignals mittels eines ersten Empfangspfades als ein erstes empfangenes Audiosignal, Empfangen des ausgegebenen Audiosignals mittels eines zweiten Empfangspfades als ein zweites empfangenes Audiosignal, Ermitteln einer Echo-Unterdrückungsverstärkung basierend auf dem ersten empfangenen Audiosignal und dem zweiten empfangenen Audiosignal, und Filtern der Echounterdrückung des Audiosignals basierend auf dem ersten empfangenen Audiosignal und der Echo-Unterdrückungsverstärkung.

Description

Die Erfindung betrifft Verfahren zum Verarbeiten von Audiosignalen und Schaltungsanordnungen zum Verarbeiten von Audiosignalen.
In der Physik kann ein Echo als eine Replik bzw. Nachbildung definiert werden, die durch Reflexion einer Welle an ihrer umgebenden Umwelt erzeugt wird. Solch ein Phänomen kann in der Sprach-Telekommunikation auftreten. In einem Fernsprechgerät bzw. Telefon gibt es ein akustisches Echo aufgrund der Kopplung zwischen dem Lautsprecher und dem Mikrofon des Gerätes. Als eine Konsequenz erfasst das Mikrofon des Telefons nicht nur das nützliche Sprachsignal sondern auch ein Echo. Wenn keine Verarbeitung im Mikrofonpfad durchgeführt wird, wird das Echosignal als auch das Sprachsignal vom nahen Ende (near-end) an den Sprecher am fernen Endes (far-end) übertragen und der Sprecher am fernen Ende hört eine verzögerte Version seiner/ihrer eigenen Stimme. Die Störung aufgrund des Hörens seiner/ihrer eigenen Stimme nimmt zu, wenn der Pegel des Echosignals hoch ist und wenn die Verzögerung zwischen dem Original und seinem Echo hoch ist.
Um eine gute Sprachqualität zu garantieren, kann in dem Mikrofonpfad, bevor eine Übertragung stattfindet, eine Verarbeitung implementiert sein. Akustische Echo-Unterdrückungsalgorithmen wurden in den jüngsten Jahren reichlich untersucht. Methoden zur akustischen Echounterdrückung können ein adaptives Filter aufweisen, dem ein Echo-Nachfilter nachgeschaltet ist. Das adaptive Filter erzeugt eine Replik bzw. Nachbildung des akustischen Pfades. Diese Echo-Pfad-Abschätzung wird dann verwendet, um das Echosignal abzuschätzen, das von dem Mikrofon aufgenommen wird. In der Praxis bleiben aufgrund der Fehlanpassung zwischen dem Echopfad und seiner Abschätzung typischerweise einige Restechos am Ausgang des adaptiven Filters bestehen. Ein Nachfilter wird oft verwendet, um ein Echo unhörbar zu machen. Echo-Nachfilter können eine Dämpfung aufweisen, deren Verstärkung auf das Fehlersignal der adaptiven Echo-Unterdrückung angewendet wird. Für besseres Nebensprech- bzw. Doppelsprech-Verhalten kann die Dämpfung in dem Subband oder in der Frequenzdomäne berechnet werden. Trotzdem ist die Leistung bzw. das Verhalten von Einkanal-Echounterdrückung immer noch begrenzt, da diese typischerweise ein Kompromiss ist, und zwar zwischen Echounterdrückung während reinen Echo-Perioden bzw. Nur-Echo-Perioden (echo-only periods) und geringen Störungen von Sprache am nahen Ende bzw. Nahend-Sprache während Doppelsprech- bzw. Nebensprech-Perioden ist.
Mobile Endgeräte wurden historisch mit einem (einzelnen) Mikrofon entwickelt. Somit wurden Echo-Nachfilterungs-Lösungen, die in mobilen Endgeräten verwendet werden, auf der Basis von Einzel-Mikrofon-Überwachung entwickelt und optimiert. Außerdem können diese Lösungen eine begrenzte Leistung im Fall von geringen Nahend-Signal-Echo-Verhältnis (d. h. starkes Echo im Vergleich zu Nahend-Sprache) aufweisen. Aus dieser begrenzten Leistung können starke Störungen des verarbeiteten Nahend-Sprachsignals während Doppelsprech- bzw. Nebensprech-Perioden resultieren und deshalb eine schlechte Kommunikationsqualität.
Darüber hinaus wurde das Einzelkanal-Echo-Nachfilter-Problem jetzt seit Jahrzehnten angegangen und es zeigt sich, dass es keinen Raum für bedeutende Verbesserungen bezüglich Lösungen für den Echo-Nachfilter gibt, besonders für mobile Endgeräte, deren Datenverarbeitungskomplexität irgendwie begrenzt ist (zum Beispiel im Vergleich mit Videokonferenzgeräten).
Somit sind effiziente Verfahren zur Echo-Nachfilterung oder Echounterdrückung wünschenswert.
In den Zeichnungen bezeichnen gleiche Bezugszeichen allgemein die gleichen Teile in den unterschiedlichen Ansichten. Die Zeichnungen sind nicht notwendigerweise maßstabsgerecht, stattdessen liegt im Allgemeinen die Betonung auf der Veranschaulichung der Prinzipien der Erfindung.
Ausführungsbeispiele der Erfindung sind in den Figuren dargestellt und werden im Folgenden näher erläutert.
Es zeigen
1 ein Flussdiagramm, welches ein Verfahren zum Verarbeiten von Audiosignalen veranschaulicht;
2 ein Flussdiagramm, welches ein Verfahren zum Verarbeiten von Audiosignalen veranschaulicht;
3 eine Schaltungsanordnung zum Verarbeiten von Audiosignalen;
4 eine Schaltungsanordnung zum Verarbeiten von Audiosignalen;
5 ein beispielhaftes System zum Experimentieren mit Zweikanal-Echo;
6 ein Signalmodell, welches mit den physikalischen Wechselwirkungen zwischen den akustischen Quellen und den Wandlern übereinstimmt;
7(a) ein Beispiel einer Frequenzantwort des akustischen Pfades zwischen den Lautsprecher und dem Mikrofonen;
7(b) ein Beispiel einer Frequenzantwort zwischen dem Mund eines künstlichen Kopfes und den Mikrofonen;
8 eine Schaltung zum Verarbeiten von Audiosignalen mit Echounterdrückung;
9 eine Schaltung zum Verarbeiten von Audiosignalen mit Echounterdrückung unter Verwendung eines adaptiven Filters;
10 eine Schaltung, die eine Vorrichtung für Echo-Nachfilterung und ein System mit Wandlern aufweist;
11 eine Schaltung, die eine alternative Vorrichtung für Echo-Nachfilterung und ein System mit Wandlern aufweist;
12(a) den Abschätzfehler der spektralen Leistungsdichte (PSD) des Restechos während Nur-Echo- und Doppelsprech-Perioden;
12(b) die Echo-Fehlerdämpfung-Verbesserung(ERLE)Kurven und Sprachdämpfung(SA)Kurven.
12(c) das Maß des Cepstrum-Abstandes während Doppelsprechens.
In der folgenden ausführlichen Beschreibung wird auf die beigefügten Zeichnungen Bezug genommen, die Teil dieser bilden und in denen zur Veranschaulichung spezifische Ausführungsformen gezeigt sind, in denen die Erfindung ausgeübt werden kann. In dieser Hinsicht wird Richtungsterminologie wie etwa „oben”, „unten”, „vorne”, „hinten”, „vorderes”, „hinteres”, usw. mit Bezug auf die Orientierung der beschriebenen Figur(en) verwendet. Da Komponenten von Ausführungsformen in einer Anzahl verschiedener Orientierungen positioniert werden können, dient die Richtungsterminologie zur Veranschaulichung und ist auf keinerlei Weise einschränkend. Es versteht sich, dass andere Ausführungsformen, benutzt und strukturelle oder logische Änderungen vorgenommen werden können, ohne von dem Schutzumfang der vorliegenden Erfindung abzuweichen. Es versteht sich, dass die Merkmale der hierin beschriebenen verschiedenen beispielhaften Ausführungsformen miteinander kombiniert werden können, sofern nicht spezifisch anders angegeben. Die folgende ausführliche Beschreibung ist deshalb nicht in einschränkendem Sinne aufzufassen, und der Schutzumfang der vorliegenden Erfindung wird durch die angefügten Ansprüche definiert.
Im Rahmen dieser Beschreibung werden die Begriffe ”verbunden”, ”angeschlossen” sowie ”gekoppelt” verwendet zum Beschreiben sowohl einer direkten als auch einer indirekten Verbindung, eines direkten oder indirekten Anschlusses sowie einer direkten oder indirekten Kopplung. In den Figuren werden identische oder ähnliche Elemente mit identischen Bezugszeichen versehen, soweit dies zweckmäßig ist.
Lösungswege zum Verbessern der Sprachqualität von mobilen Endgeräten können die Verwendung von Multimikrofon- bzw. Mehrfachmikrofon-Endgeräten aufweisen. Multimikrofon-Endgeräte können vorteilhaft räumliche Informationen der akustischen Nahend-Umgebung zur Verfügung stellen.
In einigen der folgenden Beispiele, wird das Zweikanal-Mikrofonecho-Problem besonders adressiert. Das adaptive Echounterdrückung-Problem kann immer noch mit klassischen (oder Standard) adaptiven Filtern gelöst werden, zum Beispiel, den normalised least mean squares (NLMS) Filtern, insbesondere können zwei adaptive Filtern (d. h. eines für jeden Mikrofonpfad) verwendet werden.
Zweikanal-Echo-Nachfilterung kann vorgesehen sein.
Der Nachfilter kann dafür Mehrkanal-Information verwenden, um die spektrale Leistungsdichte (PSD) und die Echo-Unterdrückungsverstärkung zu berechnen, die auf eines der Fehlersignale angewendet wird, um eine Restecho-Unterdrückung zu erzielen. In verschiedenen Ausführungsformen muss die Mehrkanal-Architektur nicht notwendigerweise ein Beamforming (Strahlformen) erfordern und kann eine moderate Datenverarbeitungskomplexität beibehalten, verglichen mit klassischer (oder Standard) Einkanal-Echo-Nachfilterung, während sich die Echo-Unterdrückung-Performance verbessert.
Jedes Beamforming(Strahlformen)-Verfahren kann verwendet werden, um die räumliche Information zu verbessern.
Der Zweikanal-Nachfilter kann erweitert werden, um mit einem adaptiven Filter verwendet zu werden, anstatt von zweien. Das adaptive Filter kann in dem Mikrofonpfad angeordnet sein, in dem die Echo-Nachfilterung stattfindet. Das kann die Datenverarbeitungskomplexität des Echoverarbeitungsschemas reduzieren, während man den Vorteil der Zweikanal-Architektur erlangt.
Im Allgemeinen wird ein Verfahren zum Verarbeiten von Audiosignalen zur Verfügung gestellt, wie in 1 dargestellt.
1 zeigt ein Flussdiagramm 100.
Das Flussdiagramm 100 zeigt ein Verfahren zum Verarbeiten von Audiosignalen.
In 101 wird ein Audiosignal ausgegeben. Zum Beispiel kann ein Audiosignal mittels Lautsprechers ausgegeben werden.
In 102 wird das ausgegebene Audiosignal mittels eines ersten Empfangspfades als ein erstes empfangenes Audiosignal empfangen. Das Audiosignal kann zum Beispiel mittels eines ersten Mikrofons empfangen werden.
In 103 wird das ausgegebene Audiosignales mittels eines zweiten Empfangspfades als ein zweites Audiosignal empfangen. Das Audiosignal kann zum Beispiel mittels eines zweiten Mikrofons empfangen werden.
In 104 wird eine Echo-Unterdrückungsverstärkung ermittelt, basierend auf dem ersten empfangenen Audiosignal und dem zweiten empfangenen Audiosignal.
In 105 wird die Echounterdrückung des Audiosignals gefiltert, basierend auf dem ersten empfangenen Audiosignal und der Echo-Unterdrückungsverstärkung.
In diesem Kontext kann sich der Ausdruck „ignoriert” auf ein Nicht-berücksichtigt beziehen. Der Ausdruck „ermittelt” kann sich zum Beispiel auf berechnet oder geschätzt oder gemessen beziehen.
Mit anderen Worten wird ein Verfahren zum Verarbeiten von Audiosignalen und insbesondere zur Durchführung von Echokompensation und Echounterdrückung zur Verfügung gestellt. Das Verfahren kann ein Ausgangssignal von einem Wandler bzw. Transducer aufweisen, zum Beispiel einen Lautsprecher, der eine Schallwelle erzeugt, die dann auf das Gerät zurück reflektiert wird und dadurch Echos erzeugt, die dann zusammen mit einem gewünschten Signal durch Mikrofone aufgefangen werden können, um in die getrennten Pfade zur Verarbeitung eingegeben zu werden. Das kombinierte Signal (welches eine Kombination aus dem gewünschten Signal, dem Ausgabe-Signal und Rauschen sein kann) in einem der separaten Pfade kann verwendet werden, um einen Wert zu ermitteln oder zu erhalten, der mit dem kombinierten Signal in einem anderen Pfad verwendet wird, so dass ein resultierendes Signal erhalten werden kann. Das resultierende Signal kann Echos haben (von dem Ausgabe-Signal), die unterdrückt werden, und kann dem gewünschten Signal ähnlich sein.
Echo-Unterdrückungsverstärkung, die basierend auf dem ersten Audiosignal ermittelt wird, kann ein Echo des ersten Audiosignales aufweisen, welches gefiltert wird, um ein erstes Echo-Fehlersignal zu erzeugen, die Echo-Unterdrückungsverstärkung wird basierend auf dem ersten Echo-Fehlersignal ermittelt und Echounterdrückung des Audiosignals wird gefiltert, basierend auf dem ersten Echo-Fehlersignal.
Die Echo-Unterdrückungsverstärkung kann zum Beispiel basierend auf einer Abschätzung der spektralen Leistungsdichte des Restechos des ersten empfangenen Signals (z. B. an dem ersten Mikrofon) und einer Abschätzung des Signal-zu-Echo-Verhältnisses des ersten empfangenen Signals ermittelt werden.
Echo-Unterdrückungsverstärkung, die basierend auf dem zweiten Audiosignal ermittelt wird, kann ein Echo des zweiten Audiosignales aufweisen, welches gefiltert wird, um ein zweites Echo-Fehlersignal zu erzeugen, und die Echo-Unterdrückungsverstärkung wird basierend auf dem zweiten Echo-Fehlersignal ermittelt.
Die spektrale Leistungsdichte (PSD) des Restechos des ersten empfangenen Signals und das Signal-zu-Echo-Verhältnis des ersten empfangenen Signals werden zum Beispiel basierend auf einer Abschätzung einer relativen Transferfunktion ermittelt, die die Abhängigkeit des zweiten Echo-Fehlersignals von dem Audiosignal, das ausgegeben wurde, in Relation zu der Abhängigkeit des ersten Echo-Fehlersignals von dem Audiosignal, das ausgegeben wurde, charakterisiert (z. B. in der Frequenzdomäne).
Die spektrale Leistungsdichte des Restechos des ersten empfangenen Signals und das Signal-zu-Echo-Verhältnis des ersten empfangenen Signals kann zum Beispiel weiterhin basierend auf einer Abschätzung einer relativen Transferfunktion ermittelt werden, die die Abhängigkeit des zweiten Echo-Fehlersignals von einen Sprachsignal zu der Abhängigkeit des ersten Echo-Fehlersignals von dem Sprachsignal charakterisiert.
Das Filtern des Echos kann eine adaptive Echofilterung aufweisen. Zum Beispiel wird das erste Echo-Fehlersignal durch Subtraktion einer ersten Abschätzung des Echos, das in dem ersten empfangenen Audiosignal vorliegt, von dem ersten empfangenen Audiosignal ermittelt. Ähnlich wird zum Beispiel das zweite Echo-Fehlersignal durch Subtraktion einer zweiten Abschätzung des Echos, das in dem zweiten empfangenen Audiosignal vorliegt, von dem zweiten empfangenen Audiosignal ermittelt.
Das Filtern der Echounterdrückung des Audiosignales kann ein Ignorieren des zweiten empfangenen Audiosignales aufweisen.
Das Ausgeben eines Audiosignals kann das Ausgeben eines Audiosignals mittels eines Lautsprechers aufweisen.
Das Empfangen des Audiosignals mittels eines ersten Empfangspfads als ein erstes Audiosignal kann zum Beispiel das Empfangen des Audiosignals mittels eines ersten Mikrofons aufweisen und das Empfangen des ausgegebenen Audiosignals mittels eines zweiten Empfangspfades als ein zweites empfangenes Audiosignal kann zum Beispiel das Empfangen des ausgegebenen Audiosignals mittels eines zweiten Mikrofons aufweisen.
Das Verfahren kann ferner eine Restecholeistung aufweisen, die basierend auf dem ersten empfangenen Audiosignal und dem zweiten empfangenden Audiosignales ermittelt wird. Die Echo-Unterdrückungsverstärkung kann basierend auf der Restecholeistung ermittelt werden.
Die Mehrkanal-Audiosignalinformation weist zum Beispiel Mehrkanal-Echofilterungsinformation des empfangenen Audiosignals auf.
Die Filterung des Echos weist zum Beispiel eine adaptive Echofilterung auf.
Das Ausgeben eines Audiosignals kann das Ausgeben eines Audiosignals mittels eines Lautsprechers aufweisen.
Die empfangenen Audiosignale werden zum Beispiel mittels wenigstens eines ersten Mikrofons und eines zweiten Mikrofons empfangen.
Das Verfahren, das im Flussdiagramm 100 von 1 gezeigt ist, kann ferner wenigstens ein Audiosignal und dieses Audiosignal nach Echounterdrückung aufweisen, welche Beamforming (Strahlformen) unterworfen wurden.
In diesem Kontext können sich die Ausdrücke „beamformed” („strahlgeformt”) oder „beamforming” („Strahlformen”) im Allgemeinen auf eine Signalverarbeitungstechnik beziehen, die für gerichtete Signalübertragung oder -empfang verwendet wird.
2 zeigt ein Flussdiagramm 200.
Das Flussdiagramm 200 veranschaulicht ein Verfahren zum Verarbeiten von Audiosignalen.
In 201 kann ein Audiosignal ausgegeben werden. Zum Beispiel kann ein Audiosignal mittels eines Lautsprechers ausgegeben werden.
In 202 kann eine Echo-Unterdrückungsverstärkung basierend auf einer Mehrkanal-Audiosignalinfoimation, die die empfangenen Audiosignale darstellt, die mittels unterschiedlicher Empfangsfade empfangen wurden. Zum Beispiel können die empfangenen Audiosignale mittels eines ersten Mikrofons und eines zweiten Mikrofons empfangen werden.
In 203 kann eine Echounterdrückung des Audiosignals gefiltert werden, basierend auf der ermittelten Echo-Unterdrückungsverstärkung und auf einer Einkanal-Audiosignalinformation, die das empfangene Audiosignal, das mittels eines einzelnen Empfangspfades empfangen wurde, darstellt. Die ermittelte Echounterdrückung kann basierend auf der Mehrkanal-Audiosignalinformation ermittelt werden.
Die Mehrkanal-Audiosignalinformation kann Echofilterungsinformation der empfangenen Audiosignale oder Mehrkanal-Echofilterungsinformation der empfangenen Audiosignale aufweisen. Das Filtern des Echos kann eine adaptive Echofilterung aufweisen.
Das Verfahren, das in dem Flussdiagramm 200 von 2 gezeigt ist, kann ferner wenigstens eines der Audiosignale und dieses Audiosignal nach Echounterdrückung aufweisen, welches Beamforming unterworfen wurde.
Allgemein wird eine Schaltungsanordnung zum Verarbeiten von Audiosignalen, wie in 3 veranschaulicht, bereitgestellt.
3 zeigt eine Schaltungsanordnung 300 zum Verarbeiten von Audiosignalen.
Die Schaltungsanordnung zum Verarbeiten von Audiosignalen 300 weist einen Audiosignalausgang 301 zum Ausgeben eines Audiosignals, einen ersten Empfangspfad 302, eingerichtet zum Empfangen des ausgegebenen Audiosignals 301 als ein erstes empfangenes Audiosignal, einen zweiten Empfangspfad 303, eingerichtet zum Empfangen des ausgegebenen Audiosignals 301 als ein zweites empfangenes Audiosignal, einen Ermittler 304, eingerichtet zum Ermitteln einer Echo-Unterdrückungsverstärkung basierend auf dem ersten empfangenen Audiosignal und dem zweiten empfangenen Audiosignal, und ein Echo-Unterdrückungsfilter 305 auf, das mit dem ersten Empfangspfad 302 und dem Ermittler 304 verbunden ist und zum Filtern von Echounterdrückung des Audiosignals basierend auf dem ersten empfangenden Audiosignal und der Echo-Unterdrückungsverstärkung eingerichtet ist.
Zum Beispiel kann der Echo-Unterdrückungsfilter 305 eingerichtet sein, um das zweite empfangene Audiosignal zu ignorieren, wenn das Audiosignal, basierend auf dem ersten Echo-Fehlersignal, gefiltert wird. Die Ausdrücke „ignorieren” und „ermitteln” können ähnlich definiert werden wie oben die Ausdrücke „ignoriert” bzw. „ermittelt”.
Die Schaltungsanordnung 300 kann zum Beispiel ein Verfahren, das in 1 veranschaulicht ist, ausführen.
Die Schaltungsanordnung zum Verarbeiten von Audiosignalen 300 kann ferner wenigstens ein Echofilter aufweisen, z. B. wenigstens ein adaptives Echofilter, das zum Filtern des ersten empfangenen Audiosignals eingerichtet ist, um ein erstes Echo-Fehlersignal zu erzeugen. Der Ermittler 304 kann eingerichtet sein, um die Echo-Unterdrückungsverstärkung basierend auf dem erstere Echo-Fehlersignals zu ermitteln, und der Echo-Unterdrückungsfilter 305 kann eingerichtet sein, um die Echounterdrückung des Audiosignals basierend auf dem ersten Echo-Fehlersignal zu filtern.
Die Schaltungsanordnung 300 kann ferner wenigstens ein Echofilter aufweisen, eingerichtet zum Filtern des zweiten Audiosignals, um ein zweites Echo-Fehlersignal zu erzeugen. Der Ermittler 304 kann eingerichtet sein, um die Echo-Unterdrückungsverstärkung basierend auf dem zweiten Echo-Fehlersignal zu ermitteln.
Zum Beispiel kann das wenigstens eine Echofilter ein adaptives Echofilter aufweisen.
Die Schaltungsanordnung 300 kann ferner einen Lautsprecher, der mit dem Audiosignalausgang 301 verbunden ist, aufweisen.
Die Schaltungsanordnung 300 kann ferner ein erstes Mikrofon aufweisen, dass mit dem ersten Empfangspfad 102 verbunden ist, und ein zweites Mikrofon, das mit dem zweiten Empfangspfad 303 verbunden ist.
Die Schaltungsanordnung 300 kann ferner einen zweiten Ermittler aufweisen, der eingerichtet ist, ein Restecho basierend auf dem ersten empfangenen Audiosignal und dem zweiten empfangenen Audiosignal zu ermitteln. Der zweite Ermittler kann eingerichtet sein, um eine zweite Echo-Unterdrückungsverstärkung basierend auf dem zweiten empfangenen Audiosignal zu ermitteln. Der zweite Ermittler kann das erste empfangene Audiosignal und das zweite empfangene Audiosignal verwenden, um die zweite Echo-Unterdrückungsverstärkung zu ermitteln. Die zwei Ermittler können Audiosignale verwenden, die mittels verschiedener Mikrofone empfangen wurden. Weiterhin kann die Ausgabe bzw. der Ausgang des Ermittlers und des zweiten Ermittlers an einer Beamforming-Schaltung bereitgestellt bzw. angelegt werden
Die Schaltungsanordnung 300 kann ferner einen Beamformer aufweisen, der eingerichtet ist, um ein Beamforming der Audiosignale und/oder der echounterdrückten gefilterten Audiosignale durchzuführen. Zum Beispiel kann der Beamformer verwendet werden, um ein Beamforming aller empfangener Mehrkanalsignale durchzuführen.
4 zeigt eine Schaltungsanordnung zum Verarbeiten von Audiosignalen 400.
Die Schaltungsanordnung 400 zum Verarbeiten von Audiosignalen kann einen Audiosignalausgang 401 zum Ausgeben eines Audiosignals, eine Mehrzahl von Empfangspfade 402, die mit dem Audiosignalausgang 401 verbunden sind, einen Ermittler 403, der mit der Mehrzahl der Empfangspfade 402 verbunden ist und eingerichtet ist, um eine Echo-Unterdrückungsverstärkung basierend auf Mehrkanal-Audiosignalinformationen, die eine Mehrzahl von empfangenen Audiosignalen, die mittels der Empfangsfade 402 empfangen wurden, darstellt, zu ermitteln, und ein Echo-Unterdrückungsfilter 404, aufweisen, das mit wenigstens einem der Mehrzahl der Empfangsfade 402 und dem Ermittler 403 verbunden ist und eingerichtet ist, um das Audiosignal zu filtern, basierend auf Einkanal-Audiosignalinformationen, die ein empfangenes Audiosignal, das mittels eines einzelnen Empfangspfades empfangen wurde, darstellen, und der Echo-Unterdrückungsverstärkung.
Die Schaltungsanordnung 400 führt zum Beispiel ein Verfahren, das in 2 veranschaulicht ist, aus.
Die Mehrkanal-Audiosignalinformation kann zum Beispiel Echofilterungsinformationen der Mehrzahl der Audiosignale oder Mehrkanal-Echofilterungsinformationen der Mehrzahl der Audiosignales aufweisen.
Das Echofilter kann ein adaptives Echofilter aufweisen.
Die Schaltungsanordnung 400 kann ferner einen Lautsprecher, der mit dem Audiosignalausgang 401 verbunden ist, aufweisen.
Die Schaltungsanordnung 400 kann ferner ein erstes Mikrofon, das mit einem Empfangspfad der Mehrzahl von Empfangspfaden 402 verbunden ist, aufweisen und ein zweites Mikrofon, das mit einem anderen Empfangspfad der Mehrzahl von Empfangspfaden 402 verbunden ist.
Die Schaltungsanordnung 400 kann ferner einen Beamformer aufweisen, der eingerichtet ist, um ein Beamforming des Audiosignals und/oder des echounterdrückten, gefilterten Audiosignals durchzuführen.
Es sollte beachtet werden, dass Aspekte und Merkmale die im Kontext des in 1 veranschaulichten Verfahrens beschrieben sind, auch für das in 3 veranschaulichte Verfahren sowie Schaltungen, die in den 2 und 4 gezeigt sind, sinngemäß gültig sind und umgekehrt.
Es können Berechnungsregeln für das Echo und die Verstärkung vorgesehen sein. Auch eine Software-Implementierung oder eine Hybrid-Implementierung (teilweise in Hardware und teilweise in Software) zur Ermittlung des Echos und der Verstärkung können vorgesehen sein.
Beispiele für das Verfahren sind in dem Flussdiagramm 100 veranschaulicht und die Schaltungsanordnung 300 wird im Folgenden detaillierter beschrieben.
Ein beispielhaftes System zum Experimentieren mit Zweikanal-Echos ist nachfolgend beschrieben.
5 zeigt eine schematische Darstellung des Systems.
Ein Beispiel für ein Endgerät 50, dass mit einem Lautsprecher 501 und zwei Mikrofonen 502, 503 ausgestattet ist, ist in 5 veranschaulicht. Eine der Mikrofonbeobachtungen kann als die primäre Überwachung bzw. Beobachtung angesehen werden und die andere als die sekundäre Überwachung bzw. Beobachtung. Wie in 5 gezeigt, wird die Stimme des Sprechers am fernen Ende durch den Lautsprecher 501 am nahen Ende des Sprechers 504 ausgegeben. Ein Teil dieser Lautsprechersignale kann von der Umgebung 505 am nahen Ende reflektiert werden und kann später von beiden Mikrofonen 502, 503 als ein Echo 506 aufgefangen werden. Die Kopplung zwischen dem Lautsprecher 501 und jeden Mikrofon kann einen akustischen Pfad definieren: zwei akustische Pfade für die zwei Mikrofone 502, 503.
Die Mikrofone 502, 503 können des Sprechers Stimm- oder Sprachsignale 507 am nahen Ende und eventuelles Hintergrundrauschen 508 aufnehmen. Die Stimme 507 des Sprechers am nahen Ende kann auch von der Umgebung 505 reflektiert werden bevor sie durch die Mikrofone 502, 503 aufgefangen wird. Weil beide Mikrofone 502, 503 nicht notwendigerweise an der gleichen Position platziert werden müssen, kann der akustische Pfad zwischen dem Sprecher am nahen Ende und jedem Mikrofon modelliert sein. Es sollte beachtet werden, dass 5 kein einschränkendes Beispiel für die Mikrofonpositionen darstellt und die Mikrofone 502, 503 können an dem Endgerät 500 anders angebracht sein.
Die Mikrofone 502, 503 können als ein Beispiel an Eckbereichen des Endgerätes 500 angeordnet sein. Der Lautsprecher 501 kann zu dem einen Mikrofon 502 etwas dichter angeordnet sein, verglichen mit dem anderen Mikrofon 503. Dadurch kann man davon ausgehen, dass das Mikrofon 502 ein sekundäres Mikrofonsignal (oder Überwachung) bereitstellt und das andere Mikrofon 503 ein primäres Mikrofonsignal (oder Überwachung) bereitstellt.
In einigen Beispielen kann das Endgerät 500 ein Telekommunikations-Endgerät sein, das mit einem Lautsprecher und zwei oder mehr Mikrofonen ausgestattet ist.
Es sollte beachtet werden, dass das Endgerät 500 nicht nur auf ein Telekommunikationsendgerät beschränkt ist und dass das Endgerät 500 zu einen Laptop oder einen Tablet erweitert werden kann, welches auch Echounterdrückung erfahren kann. Das Endgerät 500 kann auch ein mobiles Freisprechendgerät sein.
Das Signalmodell des Zweikanal(DC)-Echoproblems ist schematisch in 6 gezeigt.
6 zeigt eine schematische Darstellung eines Signalmodells, das die physikalische Wechselwirkung zwischen den akustischen Quellen und den Transducern bzw. Wandlern des Systems, das in 5 beschrieben ist, wiedergibt und veranschaulicht, wie die primären und sekundären Mikrofonsignale ermittelt werden.
Das primäre und das sekundäre Mikrofonsignal 600, 601 werden von den Mikrofonen 502, 503 bereitgestellt und werden als y_p(n) bzw. y_s(n) bezeichnet. Die Signale d_p(n) 602 und d_s(n) 603 stellen das Echosignal dar, das von dem primären bzw. dem sekundären Mikrofon 502, 503 aufgefangen wird. Beide werden durch das Lautsprechersignal x(n) 604 des Lautsprechers 501 erzeugt, wobei h_p|s(n) Faltungsblöcke 605, 606 darstellen, die den akustischen Pfad zwischen den Lautsprechern 501 und den entsprechenden Mikrofonen 502, 503 beisteuern.
Die Signale s_p(n) 607 und s_s(n) 608 stellen das Sprachsignal am nahen Ende dar, das durch das primäre bzw. das sekundäre Mikrofon 502, 503 aufgefangen wird. Beide werden durch das Sprachsignal s(n) 609 (oder 507) am nahen Ende erzeugt, wobei g_p|s(n) Faltungsblöcke 610, 611 darstellen, die den akustischen Pfad zwischen dem Sprecher 504 am nahen Ende und dem primären oder dem sekundären Mikrofon 502, 503 beisteuern.
Das primäre Mikrofonsignal y_p(n) 600 ist durch die Summe von s_p(n) 607 und d_p(n) 602 gegeben, die durch den Summenblock 612 bereitgestellt wird. Das sekundäre Mikrofonsignal y_s(n) 601 ist durch die Summe von s_s(n) 608 und d_s(n) 603 gegeben, die durch den Summenblock 613 bereitgestellt wird.
Mit Bezug auf das Signalmodell in 6 können die folgenden Gleichungen abgeleitet werden: y_p(n) = g_p(n)*s(n) + h_p(n)*x(n) Gl. (1) y_s(n) = g_s(n)*s(n) + h_s(n)*x(n) Gl. (2) wobei:

x(n): das Lautsprechersignal 604 ist,
y_p|s(n): das primäre bzw. das sekundäre Mikrofonsignal 600, 601 darstellen,
h_p|s(n): 605, 606 den akustischen Pfad zwischen dem Lautsprecher 501 und dem primären oder dem sekundären Mikrofon 502, 503 darstellen,
s(n): 609 das Sprachsignal am nahen Ende ist,
g_p|s(n): 610, 611 den akustischen Pfad zwischen dem Sprecher 504 am nahen Ende und den primären oder dem sekundären Mikrofon 502, 503 darstellen,
*: stellt die Faltungsoperation dar.

Um das Signalmodell von 6 zu validieren, können Messungen der Impulsantworten mit einem Modell (einer Nachbildung) eines Telefons in unterschiedlichen akustischen Umgebungen durchgeführt werden. Ein künstlicher Kopf (HEAD Acoustics HMS II.3) mit Mundsimulator kann verwendet werden, um den Sprecher am nahen Ende zu simulieren. Zwei unterschiedliche Positionen für das Telefon können verwendet werden: eine, bei der das Telefon etwa 30 cm gerade vor dem Mund des künstlichen Kopfes platziert werden kann, und eine andere, bei der das Telefon auf einen Tisch platziert werden kann. Aufnahmen können mit dem Telefon gemacht werden, das so platziert ist, dass der Abstand der zwei Mikrofone des Telefons im gleichen Abstand zu dem künstlichen Mund sein kann. Es ist zu beachten, dass das obige auf unterschiedliche akustische Umgebungen (Büro, Kabine, Straße, etc. ...) angewendet werden kann und auf jedes andere Kommunikationsgerät, z. B. in einem Freisprechmodus als auch in einem Hörermodus.
7(a) zeigt ein Beispiel von Frequenzantworten der akustischen Pfade zwischen dem Lautsprecher und den Mikrofonen. 7(a) zeigt, dass das Lautsprechersignal, das durch die Mikrofone empfangen wird, durch die akustische Umgebung für jedes Mikrofon nicht gleichermaßen gedämpft wird. Dies kann die Notwendigkeit zeigen, diesen Unterschieden durch Berücksichtigung von zwei akustischen Echopfaden (d. h. dem akustischen Echopfad des primären Mikrofons 700 und dem akustischen Echopfad des sekundären Mikrofons 701) in dem Signalmodell von 6 zu begegnen.
7(b) zeigt ein Beispiel von Frequenzantworten zwischen dem Mund des künstlichen Kopfes und den Mikrofonen. 7(b) zeigt, dass beide Impulsantworten (d. h. der akustische Echopfad des primären Mikrofons 702 und der akustische Echopfad des sekundären Mikrofons 703) sehr ähnlich sind. Diese Ähnlichkeiten können durch die Position der Mikrofone verglichen mit dem Mund des künstlichen Kopfes erklärt werden. Aus diesem Grund kann davon ausgegangen werden, das g_p(n) = g_s(n). Obwohl die vorherige Annahme hilft, die Berechnungskomplexität zu reduzieren, ist zu beachten, dass diese Annahme nicht notwendig ist. Implementierungen können ohne diese Annahme ausgeführt sein.
Zum Erzielen von Einkanal(SC)-Echounterdrückung, kann eine betrachtete Echounterdrückungsschaltung einen adaptiven Filterteil aufweisen, welcher zwei adaptive Filter 801, 802 aufweist, dem ein Echo-Nachfilter 803 folgt, wie in 8 gezeigt.
Eine „Schaltung” kann als jede Art einer Logik implementierenden Einheit verstanden werden, welche eine Schaltung für einen speziellen Zweck oder ein Prozessor, der eine in einem Speicher gespeicherte Software ausführt, Firmware, oder jede Kombination davon sein kann. Folglich kann eine „Schaltung” eine verdrahtete Logikschaltung oder eine programmierbare Logikschaltung, wie ein programmierbarer Prozessor, z. B. ein Mikroprozessor (z. B. ein Complex Instruction Set Computer (Komplexer Instruktionssatz Computer) (CISC) Prozessor oder ein Reduced Instruction Set Computer (Reduzierter Instruktionssatz Computer) (RISC) Prozessor) sein. Eine Schaltung kann auch ein Prozessor sein, der eine Software ausführt, z. B. jede Art von Computerprogramm, z. B. ein Computerprogramm, das einen virtuellen Maschinencode wie z. B. Java ausführt. Andere Arten von Implementierungen der entsprechenden Funktionen, welche beschrieben sind, können auch als „Schaltung” verstanden werden. Zum Beispiel können verschiedene Komponenten der Schaltungsanordnung wie der Ermittler durch eine Schaltung implementiert sein, wie oben beschrieben.
8 zeigt die Schaltung 800 zum Verarbeiten von Audiosignalen mit Echounterdrückung. Die Schaltung 800 kann ein System 804 von akustischen Quellen (d. h. Sprache 805 am nahen Ende, Lautsprechersignal 808, das ein Echo 806 verursacht, und Geräusch 807) und Transducer bzw. Wandler (d. h. Lautsprecher 808 und zwei Mikrofone 809, 810) aufweisen. Das System 804 kann sich auf das System 500 von 5 beziehen und kann durch das in 6 veranschaulichte Signalmodell repräsentiert sein.
Für jedes Mikrofon 809, 810 kann der Effekt des Echos als der gleiche wie bei einer SC-Echounterdrückung betrachtet werden. Deshalb kann man für jedes Mikrofonsignal Y_p|s(n) 811, 812 eine Abschätzung des Echosignals 813, 814 durch das Verwenden eines adaptiven Filters 801, 802 erhalten, wie in dem SC-Fall.
Obwohl im Allgemeinen jedes adaptive Echounterdrückungsverfahren angewendet werden kann, zum Beispiel jeder der bekannten adaptiven Echounterdrückungsalgorithmen, kann der Standard NLMS-Algorithmus zur Abschätzung der Echosignale verwendet werden.
Aus den gleichen Gründen wie in dem SC-Fall, können einige Restechos in den Fehlersignalen e_p|s(n) 815, 816 an dem Ausgang der akustischen Echounterdrückung (AECs) vorhanden sein. Das Fehlersignal e_p|s(n) 815, 816 kann aus der Differenz, die durch die entsprechenden Summenblöcke 817, 818 bereitgestellt wird, zwischen den Mikrofonsignalen y_p|s(n) 811, 812 und den entsprechenden Abschätzungen der Echosignale 813, 814 erhalten werden. Der Nachfilter 803 kann verwendet werden, um eine weitere Echounterdrückung zu erzielen. Der Nachfilter 803 kann einen Filter-Aktualisierungsblock 819 und einen Echo-Nachfilterungsblock 820 aufweisen. Der Filter-Aktualisierungsblock erzeugt eine Ausgabe 821, die auf e_p|s(n) 815, 816 und dem Lautsprechersignal x(n) 822 des Lautsprechers 808 basiert. Zum Beispiel werden in 8 diese Ausgabe 821 und e_p(n) 815 in den Echo-Nachfilterungsblock 820 eingegeben, um ein echounterdrückten Signal ŝ(n) 823 zu erzeugen.
Die Schaltung 800 kann sich auf die Schaltungsanordnung 300 von 3 beziehen. Das Lautsprechersignal x(n) 822 des Lautsprechers 808 kann sich auf das Audiosignal-Ausgabe 301 beziehen, y_p(n) 811 kann sich auf dem ersten Empfangspfad 302 beziehen, y_s(n) 812 kann sich auf dem zweiten Empfangspfad 303 beziehen, der Filter-Aktualisierungsblock 819 kann sich auf dem Ermittler 304 beziehen, und der Echo-Nachfilterungsblock 820 kann sich auf den Echounterdrückungsfilter 305 beziehen.
Auf ähnliche Art und Weise kann sich die Schaltung 800 auf die Schaltungsanordnung 400 von 4 beziehen. Das Lautsprechersignal x(n) 822 des Lautsprechers 802 kann sich auf die Audiosignal-Ausgabe 401 beziehen, y_p|s(n) 811, 812 kann sich auf die Mehrzahl von Empfangsfaden 402 beziehen, der Filter-Aktualisierungsblock 819 kann sich auf den Ermittler 403 beziehen, und der Echo-Nachfilterungsblock 820 kann sich auf das Echo-Unterdrückungsfilter 404 beziehen.
9 zeigt eine Echounterdrückungsschaltung 900, die ein adaptives Filterteil aufweist, dass ein adaptives Filter 901, dem ein Echo-Nachfilter 902 folgt, aufweist.
9 zeigt die Schaltung 900 zum Verarbeiten von Audiosignalen mit Echounterdrückung, welche nur ein (einziges) adaptives Echofilter aufweist. Die Schaltung 900 kann ein System 903 von akustischen Quellen (d. h. Nahend-Sprache 904, Lautsprechersignal 907 und Rauschen oder Geräusch 906) und Wandler (d. h. Lautsprecher 907 und zwei Mikrofone 908, 909) aufweisen. Das System 903 kann sich auf das System 500 von 5 beziehen und kann durch das in 6 veranschaulichte Signalmodell repräsentiert werden.
In 9 kann das Fehlersignal e¹(n) 910 durch die Differenz, die durch den Summenblock 911 bereitgestellt wird, zwischen dem primären Mikrofonsignal y¹(n) 913 und einer Abschätzung des Echosignals 912 erhalten werden. Die Abschätzung des Echosignals 912 kann durch ein Lautsprechersignal x(n) 914, welches durch ein adaptives Filter 901 geht, erhalten werden. Das Nachfilter 902 kann verwendet werden, um weitere Echounterdrückung zu erzielen. Das Nachfilter 902 kann eine spektrale Leistungsdichte (PSD) des Echos und einen Verstärkung-Aktualisierungsblock 915 und ein Echo-Nachfilterungsblock 916 aufweisen. Die Echo-PSD und der Verstärkung-Aktualisierungsblock 915 erzeugen eine Ausgabe 917 die auf e¹(n) 910, dem sekundären Mikrofonsignal y²(n) 918 und dem Lautsprechersignal x(n) 914 des Lautsprechers 907 basiert. Zum Beispiel werden in 7 diese Ausgabe 917 und e¹(n) 910 in den Echo-Nachfilterungsblock 916 eingegeben, um ein echounterdrücktes Signal ŝ(n) 919 zu erzeugen, welches auch als eine Abschätzung des Sprachsignals s(n) 904 aufgefasst werden kann. Es ist zu beachten, dass die spektrale Leistungsdichte PSB und der Verstärkung-Aktualisierungsblock 915 gleichwertig zu dem Filter-Aktualisierungsblock 819, der in 8 gezeigt ist, sein kann.
Auf ähnliche Art und Weise kann sich die Schaltung 900 auf die Schaltungsanordnung 400 von 4 beziehen. Das Lautsprechersignal x(n) 914 des Lautsprechers 907 kann sich auf die Audiosignal-Ausgabe 401 beziehen, y1|2(n) 913, 918 kann sich auf die Mehrzahl der Empfangspfade 402 beziehen, die Echo-PSD und der Verstärkung-Aktualisierungsblock 915 können, sich auf den Ermittler 403 beziehen, und der Echo-Nachfilterungsblock 916 kann sich auf das Echo-Unterdrückung Filter 404 beziehen.
Im Allgemeinen kann die Schaltung 900 auf ähnliche Art und Weise wie die Schaltung 800 von 8 funktionieren, mit der Ausnahme, dass nur ein (einziges) adaptives Filter 901 in der Schaltung 900 verwendet wird. Die Verwendung nur eines adaptiven Filters 901 kann die Berechnungskomplexität des Mehrkanal-Echo-Nachfilters reduzieren. Die Verwendung eines adaptiven. Filters 901 kann auch vorteilhaft sein, weil die Berechnung der spektralen Verstärkung von der hohen Korrelation zwischen dem Lautsprechersignal x(n) 914 und den anderen Mikrofonsignalen (y²(n) 918 für das Beispiel von 9) profitieren, obwohl die Echounterdrückung selbst auf ein Signal mit reduziertem Echo (e¹(n) 910 für das Beispiel von 9) angewendet wird.
Die Schaltungen 800, 900 können auf m Mehrfachkanäle erweitert werden. Bei Mehrfachkanälen, die eine Mehrzahl von Empfangspfaden aufweisen, zum Beispiel die Mehrzahl von Empfangspfaden 402 von 4, ist x(n) das Lautsprechersignal, y^m(n) stellt das m-te Mikrofonsignal mit m im Bereich von 1 bis M, der Anzahl der Mikrofone des Endgerätes. Jedes Mikrofonsignal enthält Echos d^m(n) und Nahend-Sprachsignale s^m(n), h^m(n) ist der akustische Pfad zwischen dem Lautsprecher und dem m-ten Mikrofon, so dass d^m(n) = h^m(n)*x(n), ĥ^m(n) ist die Abschätzung von h^m(n), e^m(n) = y^m(n) – d ^^m(n) ist das Fehlersignal von der adaptiven Filterung für das m-te Mikrofonsignal. Wenn nur ein adaptiver Filter wie in 9 verwendet wird, ist e^m(n) = y^m(n) für m ≥ 2. g^m(n) der akustische Pfad zwischen dem Sprecher am nahen Ende und den m-ten Mikrofon, so dass s^m(n) = g^m(n)*s(n), ŝ(n) ist die Ausgabe des Nachfilter, welche eine Abschätzung der Nahend-Sprache s(n) ist.
Zum Beispiel kann die Echounterdrückung dennoch nur auf dem primären Mikrofonpfad angewendet werden. Das bedeutet, dass existierende SC-Echo-Unterdrückungsverstärkungsregeln immer noch verwendet werden können. Die Berechnung einer Verstärkungsregel kann im Allgemeinen Abschätzungen des Restecho-PSD und der Nahend-PSD erfordern. Zum Beispiel können die folgenden Verstärkungsregeln verwendet werden:
W₂(k, i) = SER(k, i) / 1 + SER(k, i) GL. (4) wobei
die PSD der Nahend-Sprache ist,
die PSD des Restechos am primären Mikrofon ist, und
das Signal-zu-Echo-Verhältnis (SER) am primären Mikrofon ist.
Allerdings ist zu beachten, dass jede Art von Verstärkungsregel verwendet werden kann, die eine Abschätzung von Nahend-Sprache-PSD und/oder Restecho-PSD verwendet oder erfordert.
Es sollte berücksichtigt und verstanden werden, dass die Berechnung eines Subband-Echo-Nachfilters die Abschätzung der Restecho-PSD und/oder der Sprachsignal-PSD am nahen Ende erfordert. Ein Verfahren zum Abschätzen der Restecho- und Sprach-PSD am nahen Ende des Echo-Nachfilterungsproblem im DC- oder Mehrkanal-Fall kann vorgestellt werden.
Neue Abschätzungen der Restecho- und Nahend-PSD sind unten beschrieben. Für Zweikanal- oder Mehrkanal-Echo-Nachfilterung erfordert die Berechnung dieser PSDs die Kenntnis der relativen Transferfunktion (RTF).
Eine Restecho- und Nahend-PSD Abschätzung kann zur Verfügung gestellt werden.
Der Unterschied für die Berechnung der Restecho- und Nahend-PSD liegt in der Verwendung von wenigstens zwei Mikrofonsignalen anstatt von einem. In dem folgenden Beispiel wird die Abschätzung dieser PSDs für den Zweikanal-Fall diskutiert.
Signalgleichungen des Nachfilters in dem Fall von zwei adaptiven Filtern:
(a) Fehlersignal-Gleichungen in der Zeitdomäne

e_p(n) = y_p(n) – d ^_p(n) = y_p(n) – ĥ_p(n)*x(n) = g_p(n)*s(n) + d ~_p(n) = g_p(n)*s(n) + h ~_p(n)*x(n) GL. (4)
e_s(n) = y_s(n) – d ^_s(n) = y_s(n) – ĥ_s(n)*x(n) = g_s(n)*s(n) + d ~_s(n) = g_s(n)*s(n) + h ~_s(n)*x(n) Gl. (5)
wobei h ~_p|s(n) = h_p|s(n) – ĥ_p|s(n) den Echopfad-Fehlausrichtungsvektor darstellt.

(b) Fehlersignale in der Frequenzdomäne

E_p(k, i) = G_p(k, i)·S(k, i) + H ~_p(k, i)·X(k, i) Gl. (6)
E_s(k, i) = G_s(k, i)·S(k, i) + H ~s(k, i)·X(k, i) Gl. (7) wobei:
• E_p(k, i) und E_s(k, i) Fouriertransformierte der Fehlersignale des primären bzw. sekundären Mikrofons sind;
• k und i stellen die Rahmen- und Frequenz-(bin)Index dar.

Nachfolgend werden die Rahmen- und Frequenzindexes aus Klarheitsgründen weggelassen und werden nur verwendet, wenn es notwendig ist.
(c) Restechosignale und Auto- und Kreuz-PSDs (cross-PSD)
Voraussetzend, dass das Lautsprechersignal und das Nahend-Sprachsignal unkorreliert sind (d. h. ihre Kreuz-PSD ist null Φ^xs = 0) kann das Folgende geschrieben werden:
wobei:

•
und
die Auto-PSD darstellt und
die Kreuz-PSD des Fehlersignals darstellt
• Φ^SS und Φ^XX stellen das Nahend-Sprachsignal bzw. das Lautsprecher Auto-PSDs dar.

Zwei RTFs Γ und Θ kann wie folgt definiert werden:
Durch Umschreiben der Gleihchungen (8) bis (10) mit der obigen Notation kann das Folgende erhalten werden:
Aus den Gleichungen (12) bis (14) können neue Abschätzungen des Restechos und der Nahend-PSDs wie folgt hergeleitet werden:
Ein weiterer Satz von PSDs-Abschätzungen kann durch Berücksichtigung der Fehlersignale-Kreuz-PSD
abgeleitet werden:
Zwei Sätze von PSD-Abschätzungen können verwendet werden, um die Echo-Nachfilterverstärkungen im Fall von DC-Echoverarbeitung zu berechnen. In beiden Fällen (d. h. der Satz von Gleichungen (15) und (16) oder der Satz von Gleichungen (17) und (18)) erfordert die Berechnung von
und
die Kenntnis der RTFs Γ und Θ, welche im realen Zeitsystem unbekannt sind und deshalb abgeschätzt werden müssen. Es sollte verstanden und berücksichtigt werden, dass der Satz von Gleichungen (17) und (18) den Modulus (Absolutwert) und Phase der unterschiedlichen RTFs erfordert, während der Satz von Gleichungen (15) und (16) nur den Modulus (Absolutwert) der unterschiedlichen RTFs erfordert.
Phasenmodifikationen sollten in der Sprachverarbeitung mit Sorgfalt gehandhabt werden, da diese leicht Störungen einfügen können. Aus diesem Grund wird die Verwendung des Satzes von Gleichungen (15) und (16) für DC-Echo-Nachfilterung insgesamt vermieden.
Die RTFs müssen möglicherweise abgeschätzt werden. Verfahren zum Abschätzen von RTF können ein Kreuzspektral(cross-spectral)-Verfahren, Minimierung der mittleren Fehlerquadrate (mean square error minimization) oder Minimierung der kleinsten Fehlerquadrate (least square error minimization) aufweisen.
(a) Nahend-Sprache akustische Pfade RTF-Abschätzung
Nahend-Sprache akustische Pfad Θ ist definiert als:
Θ Kann auch als Verstärkung interpretiert werden, so dass: S_s = Θ·S_p Gl. (20)
Bei Berücksichtigung von nur Sprachaktivitätsperioden am nahen Ende (d. h. E_p = S_p = G_p·S and E_s = S_s = G_s·S), kann eine Abschätzung Θ ^ von Θ durch Minimierung der mittleren Fehlerquadrate (MSE) oder Minimierung der kleinsten Fehlerquadrate (LSE) erhalten werden.
Das Minimum MSE Kriterium (MMSE), das für die Ableitung der MMSE Abschätzung von Θ ^ verwendet wird, ist:
Die MMSE Abschätzung von Θ ^ ist dann gegeben durch
Eine weitere Abschätzung in der Form eines adaptiven Filters kann unten aus Gleichung (23) hergeleitet werden. In diesem Fall hat man viele Möglichkeiten für das adaptive Filter, zum Beispiel LMS, NLMS oder FBLMS. Es sollte verstanden werden, dass das Minimierungskriterium (Gleichung (23)) in der Frequenzdomäne ist, und die Verwendung von LMS oder NLMS kann zu einer Abschätzung in der Frequenzdomäne führen. Die NLMS-Lösung, welche bewiesen hat, relativ stabil und robust zu sein, ist wie folgt:
wobei

• e ~(k, i) = E_s(k, i) – Ê_s(k, i) = E_s(k, i) – Θ ^_NMLS(k, i)E_s(k, i) das Fehlersignal ist;
• μ die Schrittweite, welche aus Vereinfachungszwecken auf einen festen Wert gesetzt werden kann, ist.

Die LSE-Minimierung kann auch verwendet werden, um die Nahend-RTF Θ ^ abzuschätzen.
Die LSE Abschätzung von Θ drückt sich wie folgt aus:
wobei
einen Satz von K Messungen von β entlang der Zeit angibt.
Details über die Ableitung von Θ ^_LSE sind später dargestellt. In jeden der Fälle (Θ ^_MMSEΘ ^NLMS Θ ^_LSE) kann die Aktualisierung während Nur-Aktivitätsperioden am nahen Ende durchgeführt werden.
Eine Aktivitätsermittlung an dem Lautsprecher kann Nur-Aktivitätsperioden am nahen Ende ermitteln. Die Aktivitätsermittlung kann zum Beispiel durch Anwenden eines Schwellenwertes für die Lautsprecherenergie und die Mikrofonsignalenergien erzielt werden. Der Schwellenwert für die Lautsprecher-Energie kann eine Anpassung während Aktivitätsperioden am fernen Ende vermeiden, während der Schwellenwert für die Mikrofonsignale eine Anpassung während Ruheperioden am nahen Ende oder bei einem Mikrofonsignal mit geringer Amplitude vermeiden kann.
(b) Echopfad RTF Abschätzung z
Γ ist durch das Verhältnis zwischen primären und sekundären Restechopfaden definiert:
Ähnlich zu Θ in Gleichung (19) und Gleichung (20), definiert Γ die Verbindung zwischen dem Restecho des primären und sekundären Mikrofons auf folgende Weise: D ~_s = Γ·D ~p. Gl. (26)
Durch Einführung der Gleichung (26) in Gleichungen (6) bzw. (7), wird das Folgende erhalten: E_p = G_p·S + H ~_p·X = S_p + D ~_p Gl. (27) E_s = G_s·S + H ~_s·X = S_s + Γ·D ~_s Gl. (28)
Unter Verwendung der Tatsache, dass D ~_S und D ~_P beide durch das Lautsprechersignal x(n) erzeugt werden, kann Γ durch eine Kreuzkorrelation abgeschätzt werden. Unter der Annahme der Unabhängigkeit von Lautsprecher und Sprachsignal (d. h. Θ^xs = 0) am nahen Ende, drückt sich der Kreuzkorrelation-Abschätzer von Γ wie folgt aus:
wobei
und
die Kreuzkorrelation zwischen dem Lautsprecher und Fehlersignalen des primären bzw. sekundären Mikrofons sind und sich wie folgt ausdrücken:
Die Minimierung der kleinsten Fehlerquadrate kann auch verwendet werden, um eine Abschätzung von Echo-RTF Γ herzuleiten. In diesem Fall schreibt sich das Minimierungskriterium wie folgt:
Die LS Abschätzung von Γ drückt sich wie folgt aus:
Die Herleitung der LS-Abschätzung von Γ ist unten dargestellt. Es ist zu beachten, dass T ^_LS und Γ ^_CC übereinstimmen, wenn nur ein Rahmen für das Kriterium der Minimierung der kleinsten Fehlerquadrate betrachtet wird. Jedes Mikrofon nimmt das Echosignal, das durch den Lautsprecher erzeugt wird, und das Sprachsignal am Nahen Ende auf. Das Signal von dem m-ten Mikrofonsignal kann wie folgt geschrieben werden: y_m(n) = g_m(n)*s(n) + h_m(n)*x(n) Gl. (33)

• y_m(n) ist das Signal das als m^th Mikrofonsignal aufgefangen wird;
• h_m(n) ist der akustische Pfad zwischen dem Lautsprecher und dem m^th Mikrofonsignal;
• g_m(n) ist der akustische Pfad zwischen dem Sprecher am nahen Ende und dem m^th Mikrofonsignal.

Wie für den Zweikanal-Fall oben diskutiert, kann ein adaptives Filter verwendet werden, um das Echosignal abzuschätzen, das durch das m-te Mikrofon aufgefangen wird. Deshalb kann der Mehrkanal-Nachfilter das Lautsprechersignal und das Mikrofonsignal und/oder Fehlersignale für Mikrofonpfade unter Verwendung eines adaptiven Filters als Eingangssignale aufnehmen. Außerdem kann die Mehrkanal-Information nur für die Berechnung der Echounterdrückung verwendet werden, während die Echounterdrückung selbst in dem m-ten Mikrofonpfad stattfindet, der ein adaptives Filter aufweist.
10 zeigt eine Schaltung 1000, die eine Einrichtung 1001 für Echo-Nachfilterung aufweist, und ein System 1002, das Wandler bzw. Transducer (d. h. einen Lautsprecher 1003 und Mehrkanal-Mikrofone, zum Beispiel zwei Mikrofone 1004, 1005) aufweist, welche zum Berechnen der Echo-PSD Abschätzung 1006, 1007 des m-ten Mikrofonpfades verwendet werden. Die Punkte 1008, 1009 bei den entsprechenden Mikrofonen 1004, 1005 können als Präsenz des adaptiven Filters (nicht in 10 gezeigt) angesehen werden, welcher möglicherweise vor der Echo-Nachfilter Einrichtung 1001 verwendet wird. Das Fehlersignal 1006, 1007 kann verwendet werden, um die Echo-Unterdrückungsverstärkung zu berechnen, die auf das m-te Mikrofonsignal angewendet wird, zum Beispiel y^1|2(n) 1010, 1011, um eine Abschätzung von Nahend-Sprache zu erhalten, die von den entsprechenden Mikrofonen 1004, 1005 empfangen wird. Eine Abschätzung der Nahend-Sprache ŝ(n) 1012 kann durch einen Beamformer (Strahlformer) 1013 synthetisiert werden.
Die Einrichtung 1001 kann für jeden Empfangspfad einen Echo-PSD- und Verstärkung-Aktualisierungsblock 1014, 1015 und einen Echo-Nachfilterungsblock 1016, 1017 vor dem Beamformer (Strahlformmer) 1013 aufweisen.
Das Lautsprechersignal x(n) 1018 des Lautsprechers 1003 kann sich auf die Audiosignalausgabe 301 beziehen, y¹(n) 1010 kann sich auf den ersten Empfangspfad 302 beziehen, y2(n) 1011 kann sich auf den zweiten Empfangspfad 303 beziehen, die Echo-PSD- und Verstärkung-Aktualisierungsblöcke 1014, 1015 können sich auf den Ermittler 304 beziehen, und die Echo-Nachfilterungsblöcke 1016, 1017 können sich auf den Echounterdrückungsfilter 305 beziehen.
Das Lautsprechersignal x(in) 1018 des Lautsprechers 1003 kann sich auf den Audiosignalausgang 401 beziehen, y^1|2(n) 1010, 1011 können sich auf die Mehrzahl der Empfangsfade 402 beziehen, die Echo-PSD- und Verstärkung-Aktualisierungsblöcke 1014, 1015 können sich auf den Ermittler 403 beziehen, und die Echo-Nachfilterungsblöcke 1016, 1017 können sich auf den Echo-Unterdrückungsfilter 404 beziehen.
Eine weitere Einrichtung 1100 für Mehrkanal-Echonachfilterung kann wie in 11 veranschaulicht bereitgestellt werden.
11 zeigt eine Schaltung 1101, die eine Einrichtung 1100 aufweist. Auf die Schaltung 1101 kann sich ähnlich bezogen werden, wie auf die Schaltung 1000 von 10.
Die Punkte 1102, 1103 in den Mikrofonpfad 1104, 1105 können für als Präsenz eines adaptiven Filters (nicht in 11 gezeigt) angesehen werden, welcher möglicherweise vor der Echo-Nachfilterungseinrichtung 1100 verwendet wird.
Im Vergleich zu der Einrichtung 1001 von 10, kann die Einrichtung 1100 von 11 die Beamforming (1) 1106 aufweisen, die verwendet werden kann, um die Eingangssignale in Richtung des Echosignals zu steuern. Das bedeutet, dass das Signal an dem Ausgang dieses Blockes nur aus Echo zusammengesetzt ist. Da Beamformer (Strahlformer) allerdings eine begrenzte Leistungsfähigkeit aufweisen, kann ein Teil des Nahend-Sprachsignals an dem Ausgang der Beamforming (1) 1106 vorliegen. Das Beamforming (2) 1107 kann den gleichen Zweck wie das Beamforming (1) 1106 aufweisen, abgesehen davon, dass es die Multikanal-Signale in Richtung der Nahend-Signale steuert. Aus demselben Grund wie für das Beamforming (1) 1106, kann etwas Echo an dem Ausgang des Beamforming(2)-Block 1107 vorliegen. Ein Zweikanal-Nachfilterungsblock 1108 kann einen Echo-PSD- und einen Verstärkung-Aktualisierungsblock 1109 und einen Echo-Nachfilterungsblock 1110 aufweisen. Der Zweikanal-Nachfilter 1108 kann verwendet werden, um das Echo, das an dem Ausgang des Beamforming(2)-Block 1107 vorliegt, weiter zu reduzieren.
11 kann basierend auf der Tatsache betrachtet werden, dass jede Mehrkanal-Echounterdrückung zu einer Zweikanal-Echounterdrückungslösung reduziert werden kann. Wenn solch ein Schema für ein Endgerät mit M Mikrofonen verwendet wird, dann sind die M Mikrofonsignale als Eingang zu den zwei Beamformern 1103, 1104 gegeben, welche verwendet werden, um das Echo oder die Nahend-Signale abzuschätzen. Diese Beamforming-Ausgänge können dann als Eingang zu den Echo-PSD- und Verstärkung-Aktualisierungsblock 1105 verwendet werden.
Für das Schema, das in den 10 und 11 veranschaulicht ist, und ähnlich für die PSD-Abschätzungen, die für die 8 und 9 hergeleitet wurden (welche den Zwei-Mikrofonfall darstellen), können Echo und Nahend-PSDs für den m-ten Mikrofonpfad wie folgt abgeschätzt werden:
wobei:

•
die Auto-PSD von Z^m(n) darstellt, welche entweder gleich zu e^m(n) ist, wenn ein adaptives Filter für das m^th Mikrofon verwendet wird, oder zu y^m(n) ist, wenn kein adaptives Filter verwendet wird,
• Γ m,k / i(n) und Θ m,k / i(n) sind die relativen Transferfunktionen von (Rest)Echo und Nahend-Sprache für das k^th Mikrofon, wenn PSDs-Abschätzung für das m^th Mikrofon, berechnet wird,
•
ist das (Rest)Echo-PSD an dem m-ten Mikrofon und ist erforderlich für die Berechnung der Echo-Unterdrückungsverstärkung des m-ten Mikrofons,
•
ist das Nahend-Sprachsignal PSD an dem m-ten Mikrofon.

Die relative Transferfunktion kann wie folgt definiert werden:
Mit H ^ m / i(n) gleich zu 0 für den Fall, wenn kein adaptives Filter in dem m-ten Mikrofonpfad verwendet wird.
Die Funktion des Nachfilters kann wie folgt ausgedrückt werden:
W = SER / 1 + SER. Gl. (38)
Die vorherigen Gleichungen (Gl. (37) und (38)) zeigen, dass die Berechnung des Nachfilters eine Abschätzung des Echo-PSD an dem m-ten Mikrofon
und/oder Nahend-PSD an dem m-ten Mikrofon
erfordert. Allerdings kann jeder Art von Verstärkungsregel verwendet werden, die eine Abschätzung von Nahend-Sprach-PSD und von der Restecho-PSD erfordert.
In der folgenden Herleitung der Multikanal-PSDs Abschätzung wird kein adaptives Filter für die Verwendung in den Mikrofonfaden angenommen (es ist zu beachten, dass diese Annahme nicht einschränkend ist und nur aus Gründen der Vereinfachung für die Erklärung gemacht wird). Das impliziert, dass die Eingangs-Mikrofonsignale y^m(n) sind. Nimmt man die Mikrofonüberwachung y^m(n), kann seine Fouriertransformierte wie folgt geschrieben werden: Y_m = G_m·S + H_m·X Gl. (39)
In dem obigen Beispiel sind zwei unterschiedliche Abschätzungen für das Restecho und Nahend PSD für Zweikanal Endgeräte wie in Gleichung (17) und (18) diskutiert. Obwohl die Verwendung der Abschätzungen in den Gleichungen (17) und (18) Phaseninformation erforderlich macht, welche in der Sprachverarbeitung heikel zu handhaben ist, werden Mehrkanal-Echo und Nahend-PSD Abschätzungen, welche für beide Formalismen passen (der Satz von Gleichungen (15) und (16) und der Satz von Gleichungen (17) und (18)), nachfolgend dargestellt.
PSD Abschätzungen erfüllen die Gleichungen (15) und (16) für M = 2. Unter der Annahme, dass das Lautsprechersignal und das Nahend-Sprachsignal unkorreliert sind (d. h. deren Kreuz-PSD ist 0, Θ^XS = 0), drückt sich die l-te Mikrofon Auto-PSD wie folgt aus:
wobei l der Mikrofonkanalindex ist, mit l = l bis M.
Durch Einführung der RTF von Gleichung (41)
in die Gleichung (40), wird das Folgende erhalten:
Gleichung (42) zeigt, dass das l-te Mikrofon Auto-PSD als Funktion des Echosignals und Nahend-Signal PSDs des m-ten Mikrofons geschrieben werden kann, d. h.
und
sind abzuschätzen.
Bei Berücksichtigung aller M Mikrofonsignale kann die Gleichung (42) äquivalent in Matrixform wie folgt geschrieben werden:
Mit den folgenden Notationen
welche die PSDs darstellen, die für die Berechnung der Echo-Unterdrückungsverstärkung für den m-ten Mikrofonpfad erforderlich sind.
Aus Gleichung (44) kann eine Abschätzung von V hergeleitet werden als: V ^ = (A^HA)^–1A^HZ. Gl. (45)
Die Auflösung der Gleichung (45) führt zu den folgenden Echo und Nahend-PSD Abschätzungen:
PSD Abschätzungen erfüllen Gleichungen (17) und (18) für M = 2.
Durch Einführung der RTFs, die in Gleichung (41) und Gleichung (39) definiert sind, kann das folgende geschrieben werden: Y_l = Γ^m,l·H_m·X + Θ^m,l·G_m·S = Γ^m,l·D_m + Θ^m,l·S_m Gl. (48)
Gleichung (48) zeigt, dass das l-te Mikrofonsignal als eine Funktion des Echosignals und Nahend-Signals, die durch den m-ten Mikrofonkanal empfangen werden, geschrieben werden kann.
Unter Berücksichtigung aller M Mikrofon-Überwachungen, kann Gleichung (48) äquivalent im Matrixform geschrieben werden wie folgt
Aus Gleichung (49) kann die Mikrofon-PSD-Matrix wie folgt berechnet werden: Φ^YY = AΦ^VVA^H Gl. (51) wobei Φ^YY = Y·Y^H eine Abschätzung der Mikrofon-Leistungsspektrum-Matrix ist
enthält die PSDs von Interesse
und
Eine Abschätzung von Θ^vv ist gegeben durch Φ ^^VV = (A^HA)^–1A^HΦ^YYA(A^HA)^–1 Gl. (52)
Die Auflösung der Gleichung (52) führt zu den folgenden Echo und Nahend-PSD Abschätzungen:
Die PSD Abschätzungen können die Kenntnis von den Mikrofonsignalen-Auto-PSD erfordern. Bei einer Echtzeit-Implementierung kann eine Abschätzung der Mikrofonsignale durch Auto-regressive Glättung (auto-regressive smoothing) erhalten werden.
Die PSD Abschätzungen können für den Fall gültig sein, bei dem keine der Mikrofonsignale durch ein adaptives Filter verarbeitet wird, bevor ein Nachfilter verwendet wird.
In einem anderen Beispiel kann das adaptive Filter in einigen oder in allen der Mikrofonpfade vor dem Nachfilter angeordnet sein. Die Verwendung eines adaptiven Filters in den m-ten Mikrofonpfad bedeutet, dass in den obigen Gleichungen y_m(n) zu e_m(n) wird, mit e_m(n) = g_m(n)*s(n) + h ~_m(n)*x(n) Gl. (55)
Eine RTF-Abschätzung kann vorgesehen sein. Zum Beispiel kann eine Abschätzung nach kleinstem quadratischen Fehler der Nahend-RTF verwendet werden. Bei Berücksichtigung von Nur-Aktivitätsperioden am nahen Ende und dem vorliegen von etwas lokalen Geräusch in der akustischen Umgebung am nahen Ende, kann das l-te Mikrofonsignal wie folgt geschrieben werden: y_l(n) = g_l(n)*s(n) + b_l(n), Gl. (56) oder äquivalent in der Frequenzdomäne: Y_l = H_l·X + B_l Gl. (57) wobei b_l(n) das Umgebungsgeräusch darstellt, das von dem l-ten Mikrofon empfangen wird, und B_l ist seine Fouriertransformierte.
Durch Einfügen der Nahend-RTF Definition, wie in Gleichung (41) definiert, in die Gleichung (57) erhält man folgendes: Y_l = Θ^m,l·Y_m + B_l – Θ^m,l·B_m = Θ^m,l·Y_m + B ~_l Gl. (58)
Die Abschätzung nach kleinstem quadratischen Fehler der Nahend-RTF kann wie folgt hergeleitet werden:
wobei
einen Satz von R Messungen ββ entlang der Zeit angibt.
Eine Abschätzung nach kleinstem quadratischen Fehler der Echo-RTF kann vorgesehen sein. Bei Berücksichtigung von Nur-Aktivitätsperioden am fernen Ende und dem Vorliegen von etwas lokalen Geräusch in der akustischen Umgebung am nahen Ende, kann das l-te Mikrofonsignal wie folgt geschrieben werden: Y_l(n) = h_l(n)·x(n) + b_l(n), Gl. (60) oder äquivalent in der Frequenzdomäne: Y_l = H_l·X + B_l Gl. (61) durch Einfüngen der Echo-RTF Definition, wie in Gleichung (60) definiert, in Gleichung (61) kann man das Folgende erhalten: Y_l = Γ^m,l·Y_m + B_l – Γ^m,l·B_m = Γ^m,l·Y_m + B ~_l Gl. (62)
Der Vektor [X Y_l Y_M]^T und ein Überwachungsfenster, welches in R Rahmen in der Zeitdomäne unterteilt sein kann, können berücksichtigt werden. Bei Berücksichtigung, dass die Echo-RTF im Überwachungsfenster stationär ist, können Nicht-Stationäritäten bzw. ortsveränderliche des Sprachsignals von einem Rahmen zu einem anderen ausgewertet werden. Fr jeden Rahmen r des Überwachungsintervalls kann die folgende PSD geschrieben werden:
B ~_l ist definiert als das Umgebungsgeräusch der akustischen Umgebung am nahen Ende, weshalb angenommen werden kann, dass es statistisch unabhängig von dem Lautsprecher (d. h.
ist. Die Quantitäten
und Φ XX / (r) können von Überwachungssignalen abgeschätzt werden, zum Beispiel durch autoregressive Glättung (autoregressive smoothing). Berücksichtigt man das Überwachungsintervall von R Rahmen, kann Gleichung (63) in Matrixform wie folgt geschrieben werden:
Z = A·V Gl.(65)
Dann ist die LS-Abschätzung des Echo-RTF wie folgt definiert:
und drückt sich wie folgt aus:
wobei
einen Satz von R Messungen von β entlang der Zeit angibt.
Die Performanz der Zweimikrofon Restecho-PSD Abschätzung, die oben beschrieben ist, kann mit einer existierenden Abschätzung bewertet und verglichen werden.
Zum Beispiel können die Daten, welche, wie zuvor diskutiert, mit einem Modell-Telefon aufgenommen wurden, verwendet werden, um eine Testdatenbank von Sprachsignalen zu generieren. Die Mikrofonsignale können Nur-Echo- und Doppelsprech-Perioden enthalten. Das Signal-zu Echo-Verhältnis (SER) kann für ein primäres Mikrofon eingestellt und gemessen werden, und das sekundäre Mikrofon, kann entsprechend berechnet werden. Das SER kann einen Bereich von –5 dB bis 10 dB aufweisen. Das Zweikanal(DC)-Echounterdrückungsverfahren, zum Beispiel die verfahren in den 1 und 2, können mit einem existierenden Einkanal(SC)-Echoverarbeitungsverfahren (d. h. SC adaptives Filter, gefolgt von einem Nachfilter) verglichen werden. Das SC-Echoverarbeitungsverfahren kann nur für das primäre Mikrofon verwendet werden. Das betrachtete adaptive Filter kann ein Normalized Least Mean Square adaptives Filter mit variabler Schrittweite sein. Für die betrachteten DC- und SC-Echo-Nachfilter kann die Subband-Verstärkung mit einer Wiener-Regel mit einem SER, dass mit einem entscheidungsgerichteten Ansatz (decision directed approach) abgeschätzt wurde, berechnet werden. Die DC- und SC-Nachfilter können sich durch den Restecho-PSD-Abschätzer unterscheiden.
Die Bewertung des Nachfilters für das Zweikanal(DC)-Echoverarbeitungsverfahren kann in zwei Schritten durchgeführt werden. Auf der einen Seite kann der PSD-Abschätzer für Zweikanal(DC)-Echoverarbeitungsverfahren in Form eines symmetrischen segmentären logarithmischen Fehlers beurteilt werden, der sich wie folgt ausdrückt:
wobei K die Anzahl der Rahmen darstellt
Auf der anderen Seite kann der DC-Nachfilter mit dem SC-Nachfilter in Form von Echo-Fehlerdämpfung-Verbesserung (ERLE), von Sprachdämpfung (SA), von Cepstrum-Abstand (CD) und von informellen Hörtests verglichen werden. Die ERLE kann den Betrag von Echounterdrückung darstellen, der insgesamt durch das adaptive Filter und das Nachfilter erzielt wird, und kann während Nur-Echo-Perioden gemessen werden. Die SA kann verwendet werden, um den Betrag von Sprachdämpfung, der durch das Nachfilter an das Sprachsignal am nahen Ende während Doppelsprech-Perioden eingeleitet bzw. verursacht wird, zu messen. Für das primäre Mikrofon kann die SA als die Abschwächung zwischen klarer Sprache S_p(n) 607 und gewichteten Sprachsignal s _p(n) wie folgt gemessen werden:
wobei L die Länge der Rahmen ist, in denen die segmentäre SA berechnet wird, und
stellt die Anzahl der Rahmen dar, die während Doppelsprechen auftreten.
Das gewichtete Sprachsignal s _p(n) kann mit einem geeigneten existierenden Verfahren erhalten werden. Wenn ein degradiertes Sprachsignal verarbeitet wird, können die aktualisierten spektralen Verstärkungen gespeichert werden. Diese Verstärkungen können auf die klare Nahend-Sprache S_p(n) in der Subband-Domäne angewendet werden, um das gewichtete Sprachsignal s _p(n) zu erhalten. Der Cepstrum-Abstand kann ähnlich zwischen S_P(n) und s _p(n) gemessen werden. Es sollte beachtet werden, dass es keine Notwendigkeit gibt, den adaptiven Filterteil separat zu bewerten, da das gleiche adaptive Filter für DC- und SC-Echounterdrückung verwendet werden kann.
zum Beispiel kann die Anzahl der Subbänder M auf 256 gesetzt werden und die Subband-Berechnung bzw. -Umformung kann durch eine Kurzzeit-Fourier-Transformation (short term fourier transformation) mit Segmentierter Faltung (overlap add) durchgeführt werden.
Eine Bewertung der Restecho-PSD-Abschätzung kann durchgeführt werden. 12(a) zeigt den Abschätzfehler des Restecho-PSD während Nur-Echo- und Doppelsprech-Perioden. 12(a) zeigt, dass während Nur-Echo-Perioden die DC-Abschätzungen 1200, 1202 die SC-Abschätzung 1201 leicht übertreffen. Für die DC-Abschätzungen 1200, 1202 und die SC-Abschätzungen 1201, 1203 nimmt der Fehler ab, so wie das SER abnimmt, obwohl beobachtet werden kann, dass diese Abnahme graduell und sehr langsam ist.
12(a) zeigt weiterhin, dass während Doppelsprech-Perioden der Fehler mit dem SER zunimmt. Das kann durch die Anwesenheit von Sprachsignal am nahen Ende erklärt werden, welches die PSD-Abschätzung stört. Darüber hinaus können hohe SERs hohe Nahend-Sprachsignale, verglichen zum Echo (und folglich zum Restecho), implizieren und folglich mehr Störungen des Restecho-Abschätzer. Aus 12(a) kann man auch sehen, dass die DC-Abschätzung eine bessere Performance erzielt als die SC-Abschätzung für geringe SERs. Umgekehrt bei hohen SER (SER > 0 dB), kann die SC-Abschätzung den DC-Abschätzer übertreffen. Der Performanceverlust der DC kann durch die Tatsache gerechtfertigt werden, dass während Doppelsprechen die Präsenz des nahen Ende die Abschätzung der RTF Γ stören kann, weil die Kreuz-PSDs, die für ihre Berechnung verwendet werden, in der Praxis eine Komponente enthalten, die vom Sprachsignal am nahen Ende abhängt.
Restecho-Unterdrückung kann vorgesehen sein.
12(b) zeigt die ERLE-Kurven 1204, 1205 und die SA-Kurven 1206, 1207. Die ERLE-Kurven 1204, 1205 zeigen, dass der DC-Echonachfilter 1204 mehr Echounterdrückung erzielt als der SC-Nachfilter 1205. Das kann eine direkte Konsequenz der Genauigkeit der PSDs-Abschätzer während Nur-Echoperioden sein. Die SA-Kurven 1206, 1107 zeigen, dass die SA für den DC-Fall 1206 mit dem SER zunimmt, während sie für den SC-Fall 1207 abnimmt. Solch eine Zunahme der SA kann ein unerwünschter Effekt sein. Dennoch kann der DC-Nachfilter weniger Dämpfung (bis zu 5 dB) auf die Nahend-Sprache ausüben bzw. einleiten, im Vergleich mit dem SC-Nachfilter, welches einen sehr signifikanten Unterschied ausmacht, wenn man es mit Echounterdrückung zu tun hat.
12(c) zeigt das Maß der Cepstrum-Abstände während Doppelsprechen. 12(c) zeigt bei niedrigen SERs, dass der DC-Nachfilter 1208 weniger Störungen einleitet als der SC-Nachfilter 1209. Bei höheren SERs leitet der SC-Nachfilter 1209 weniger Störungen ein. Das Maß des Cepstrum-Abstandes kann eine Folge des PSD-Abschätzungsfehlers sein.
Darüber hinaus kann der DC-Nachfilter 1208 weniger Nahend-Sprachdämpfung während Doppelsprechen einleiten als der SC-Nachfilter 1209. In dem DC-Fall 1208 nimmt die Sprachdämpfung mit dem SER zu, während sie für den SC-Fall 1209 abnimmt. Das unterschiedliche Verhalten in der Sprachdämpfung kann direkt auf den Cepstrum-Abstand zurückwirken und kann seine Zunahme für den DC-Fall 1208 erklären. Informelle Hörtests können zeigen, dass der DC-Nachfilter 1208 eine leicht bessere Verständlichkeit im Vergleich zu dem SC-Nachfilter 1209 während Doppelsprech-Perioden gewährt. Die SA, die durch den SC-Nachfilter 1109 eingeleitet wird, kann wahrnehmbar sein und kann manchmal zu einer kompletten Unterdrückung der Sprache führen.
Während die Erfindung insbesondere mit Bezug zu spezifischen Aspekten dargestellt und beschrieben ist, sollte von Fachleuten verstanden werden, dass verschiedene Änderungen in Form und Detail vorgenommen werden können, ohne vom Geist und Umfang der Erfindung abzuweichen, wie sie durch die beigefügten Ansprüche definiert ist. Der Umfang der Erfindung wird daher durch die beigefügten Ansprüche und alle Änderungen, die innerhalb der Bedeutung und des Bereichs der Äquivalenz der Ansprüche fallen, sollen daher als angegeben angenommen werden.

Claims

Verfahren zum Verarbeiten von Audiosignalen, wobei das Verfahren aufweist: Ausgeben eines Audiosignals (101), Empfangen des ausgegebenen Audiosignals mittels eines ersten Empfangspfades als ein erstes empfangenes Audiosignal (102), Empfangen des ausgegebenen Audiosignals mittels eines zweiten Empfangspfades als ein zweites empfangenes Audiosignal (103), Ermitteln einer Echo-Unterdrückungsverstärkung basierend auf dem ersten empfangenen Audiosignal und dem zweiten empfangenen Audiosignal (104), und Filtern von Echounterdrückung des Audiosignals basierend auf dem ersten empfangenen Audiosignal und der Echo-Unterdrückungsverstärkung (105).
Verfahren gemäß Anspruch 1, wobei die Bestimmung einer Echo-Unterdrückungsverstärkung, die auf dem ersten Audiosignal basiert, aufweist: Echo-Filtern des ersten Audiosignals, um ein erstes Echo-Fehlersignal zu erzeugen, Ermitteln der Echo-Unterdrückungsverstärkung basierend auf dem ersten Echo-Fehlersignal, und Filtern von Echounterdrückung des Audiosignals basierend auf dem ersten Echo-Fehlersignal.
Verfahren gemäß Anspruch 1 oder 2, wobei die Ermittlung der Echo-Unterdrückung, basierend auf dem zweiten Audiosignal, aufweist: Echo-Filtern des zweiten Audiosignals um ein zweites Echo-Fehlersignal zu erzeugen, und Ermitteln der Echo-Unterdrückungsverstärkung basierend auf dem zweiten Echo-Fehlersignal.
Verfahren gemäß Anspruch 2 oder 3, wobei das Filtern des Echos ein adaptives Echofiltern aufweist.
Verfahren gemäß einem der Ansprüche 1 bis 4, wobei das Filtern von Echounterdrückung des Audiosignals ein Ignorieren des zweiten Audiosignales aufweist.
Verfahren gemäß einem der Ansprüche 1 bis 5, wobei das Ausgeben des Audiosignals ein Ausgeben des Audiosignals mittels eines Lautsprechers aufweist.
Verfahren gemäß einem der Ansprüche 1 bis 6, wobei das Empfangen des Audiosignals mittels eines ersten Empfangspfades als ein erstes Audiosignal das Empfangen des Audiosignals mittels eines ersten Mikrofons aufweist, und wobei das Empfangen des Audiosignals mittels eines zweiten Empfangspfades als ein zweites Audiosignal das Empfangen des Audiosignals mittels eines zweiten Mikrofons aufweist.
Verfahren gemäß einem der Ansprüche 1 bis 7, ferner aufweisend: Ermitteln einer Restecholeistung basierend auf dem ersten Audiosignal und dem zweiten Audiosignal, wobei die Bestimmung der Echo-Unterdrückungsverstärkung auf der Restecholeistung basiert.
Verfahren gemäß einem der Ansprüche 1 bis 8, ferner aufweisend: Beamforming wenigstens eines Audiosignals und dem Audiosignal nach der Echounterdrückung.
Verfahren zum Verarbeiten von Audiosignalen, wobei das Verfahren aufweist: Ausgeben eines Audiosignals, Ermitteln einer Echo-Unterdrückung basierend auf Mehrkanal-Audiosignalinformationen, die die empfangenen Audiosignale, welche über unterschiedliche Empfangspfade empfangen wurden, darstellen.
Verfahren gemäß Anspruch 10, wobei die Mehrkanal-Audiosiqnalinformation Echofilterungsinformation des empfangenen Audiosignals aufweist.
Verfahren gemäß Anspruch 10 oder 11, wobei die Mehrkanal-Audiosignalinformation Mehrkanal-Echofilterinformation des empfangenen Audiosignals aufweist.
Verfahren gemäß einem der Ansprüche 10 bis 12, wobei ein Filtern des Echos eine adaptive Echofilterung aufweist.
Verfahren gemäß einem der Ansprüche 10 bis 13, wobei das Ausgeben eines Audiosignals das Ausgeben mittels eines Lautsprechers aufweist.
Verfahren gemäß einem der Ansprüche 10 bis 14, wobei das empfangene Audiosignal mittels eines ersten Mikrofons und eines zweiten Mikrofons empfangen wird.
Verfahren gemäß einem der Ansprüche 10 bis 15, ferner aufweisend: Beamforming wenigstens eines Audiosignals und des Audiosignals nach der Echounterdrückung.
Schaltungsanordnung zum Verarbeiten von Audiosignalen, aufweisend: einen Audiosignalausgang zum Ausgeben eines Audiosignals, einen ersten Empfangspfad, eingerichtet zum Empfangen des ausgegebenen Audiosignals als ein erstes empfangenes Audiosignal, einen zweiten Empfangspfad, eingerichtet zum Empfangen des empfangenen Audiosignales als ein zweites empfangenes Audiosignal, einen Ermittler, eingerichtet zum Ermitteln einer Echo-Unterdrückungsverstärkung basierend auf dem ersten empfangenen Audiosignal und dem zweiten empfangenen Audiosignal, und ein Echo-Unterdrückungsfilter, das an dem ersten Empfangspfad gekoppelt ist, eingerichtet zum Unterdrücken des Echos des Audiosignals basierend auf dem ersten empfangenen Audiosignal und der Echo-Unterdrückungsverstärkung.
Schaltungsanordnung gemäß Anspruch 17, ferner aufweisend: wenigstens ein Echofilter, eingerichtet zum Filtern des ersten empfangenen Audiosignals um ein erstes Echo-Fehlersignal zu erzeugen, einen Ermittler, eingerichtet zum Ermitteln der Echo-Unterdrückungsverstärkung basierend auf dem ersten Echo-Fehlersignal, und das Echo-Unterdrückungsfilter, eingerichtet zum Durchführen der Echounterdrückung des Audiosignals basierend auf dem ersten Echo-Fehlersignal.
Schaltungsanordnung gemäß Anspruch 18, ferner aufweisend: wenigstens ein Echofilter, eingerichtet zum Filtern des zweiten Audiosignals um ein zweites Echo-Fehlersignal zu erzeugen, einen Ermittler, eingerichtet zum Ermitteln der Echo-Unterdrückungsverstärkung basierend auf dem zweiten Echo-Fehlersignal.
Schaltungsanordnung gemäß Anspruch 18 oder 19, wobei das wenigstens eine Echofilter ein adaptives Echofilter aufweist.
Schaltungsanordnung gemäß einem der Ansprüche 17 bis 20, wobei das Echounterdrückungsfilter eingerichtet ist, das zweite empfangene Audiosignal zu ignorieren, wenn das Audiosignal, basierend auf dem ersten Echo-Fehlersignal, gefiltert wird.
Schaltungsanordnung gemäß einem der Ansprüche 17 bis 21, ferner aufweisend: einen Lautsprecher, der mit dem Audiosignalausgang verbunden ist.
Schaltungsanordnung gemäß einem der Ansprüche 17 bis 22, ferner aufweisend: ein erstes Mikrofon, das mit dem ersten Empfangspfad verbunden ist, und ein zweites Mikrofon, das mit dem zweiten Empfangspfad verbunden ist.
Schaltungsanordnung gemäß einem der Ansprüche 17 bis 23, ferner aufweisend: einen zweiten Ermittler, eingerichtet zum Ermitteln einer Restecholeistung basierend auf dem ersten empfangenen Audiosignal und dem zweiten empfangenen Audiosignal, und eingerichtet, um die Echo-Unterdrückungsverstärkung zu ermitteln.
Schaltungsanordnung gemäß einem der Ansprüche 17 bis 24, ferner aufweisend: Einen Beamformer, eingerichtet zum Beamformen der Audiosignale und/oder der echounterdrückten, gefilterten Audiosignale.
Schaltungsanordnung zum Verarbeiten von Audiosignalen, wobei die Schaltungsanordnung aufweist: einen Audiosignalausgang zum Ausgeben eines Audiosignals, eine Mehrzahl von Empfangsfaden, die mit dem Audiosignalausgang verbunden sind, einen Ermittler, der mit der Mehrzahl der Empfangsfade verbunden und eingerichtet ist, um eine Echo-Unterdrückungsverstärkung basierend auf Mehrkanal-Audiosignalinformationen, die eine Mehrzahl von empfangenen Audiosignalen, die mittels der Empfangsfade empfangen wurden, darstellen, zu ermitteln, und ein Echo-Unterdrückungsfilter, verbunden mit wenigstens einem der Mehrzahl der Empfangsfade und dem Ermittler, und eingerichtet zum Filtern des Audiosignals basierend auf Einzelkanal-Audiosignalinformationen, die das empfangene Audiosignal, das mittels eines einzelnen Empfangsfade empfangen wurde, darstellen, und der Echo-Unterdrückungsverstärkung.
Schaltungsanordnung gemäß Anspruch 26, wobei die Multikanal-Audiosignalinformation Echo-Filterungsinformation der Mehrzahl der Audiosignale aufweisen.
Schaltungsanordnung gemäß Anspruch 26 oder 27, wobei die Mehrkanal-Audiosignalinformation Mehrkanal-Echo-Filterungsinformation der Mehrzahl der Audiosignale aufweisen.
Schaltungsanordnung gemäß einem der Ansprüche 26 bis 28, wobei das wenigstens eine Echofilter ein adaptives Echofilter aufweist.
Schaltungsanordnung gemäß einem der Ansprüche 26 bis 29, ferner aufweisend: einen Lautsprecher, der mit dem Audiosignalausgang verbunden ist.
Schaltungsanordnung gemäß einem der Ansprüche 26 bis 30, ferner aufweisend: ein erstes Mikrofon, das mit einem Empfangspfad der Mehrzahl der Empfangsfade verbunden ist, und ein zweites Mikrofon, das mit einem anderen Empfangspfad der Mehrzahl der Empfangsfade verbunden ist.
Schaltungsanordnung gemäß einem der Ansprüche 26 bis 31, ferner aufweisend; einen Beamformer, eingerichtet zum Beamformen der Audiosignale oder der echounterdrückten, gefilterten Audiosignale oder beides.