DE112015004785B4 - Verfahren zum Umwandeln eines verrauschten Signals in ein verbessertes Audiosignal - Google Patents

Abstract

Verfahren zum Umwandeln eines verrauschten Audiosignals (112, 412) in ein verbessertes Audiosignal (190, 490), umfassend die Schritte: Erfassen des verrauschten Audiosignals (112, 412) aus einer Umgebung (102, 402);Verarbeiten des verrauschten Audiosignals (112, 412) durch ein Verbesserungsnetzwerk (150, 450) aufweisend Netzwerkparameter (140, 440) zum gemeinsamen Herstellen einer Größenmaske (160, 460) und einer Phasenschätzung;Verwenden der Größenmaske (160, 460) und der Phasenschätzung zum Erhalten des verbesserten Audiosignals (190, 490), wobei die Schritte in einem Prozessor (100, 400) durchgeführt werden.

Description

• [Technisches Gebiet]
• Die Erfindung betrifft eine Audiosignalverarbeitung und insbesondere ein Verbessern von verrauschten Audiosprachsignalen unter Verwenden von Phasen der Signale.
• [Technischer Hintergrund]
• Bei Sprachverbesserung ist das Ziel, „verbesserte Sprache“ zu erhalten, welche eine verarbeitete Version der verrauschten Sprache ist, die in einem gewissem Sinn näher an der zu Grunde liegenden wahren „sauberen Sprache“ oder „Zielsprache“ liegt.
• Man beachte, dass von sauberer Sprache angenommen wird, dass diese nur während eines Trainings verfügbar ist, und nicht während der realen Verwendung des Systems. Für ein Training kann saubere Sprache mit einem nahen Sprechmikrofon erhalten werden, während die zur gleichen Zeit aufgenommene verrauschte Sprache mit einem entfernten Feldmikrofon erhalten wird. Oder, wenn getrennte saubere Sprachsignale und Rauschsignale gegeben sind, kann man die Signale zusammenaddieren, um verrauschte Sprachsignale zu erhalten, wobei die sauberen und verrauschten Paare zusammen zum Training verwendet werden können.
• Sprachverbesserung und Spracherkennung können als unterschiedliche, aber verwandte Probleme betrachtet werden. Ein gutes Sprachverbesserungssystem kann sicherlich als ein Eingabemodul in ein Spracherkennungssystem verwendet werden. Umgekehrt könnte Spracherkennung verwendet werden, um Sprachverbesserung zu verbessern, da die Erkennung zusätzliche Information enthält. Es ist jedoch nicht klar, wie ein Multi-Task rekurrentes neuronales Netzwerksystem gemeinsam für beides, die Verbesserungs- und Erkennungsaufgaben aufzubauen ist.
• In diesem Dokument beziehen wir uns auf Sprachverbesserung als das Problem des Erhaltens von „verbesserter Sprache“ aus „verrauschter Sprache“. Auf der anderen Seite bezieht sich der Begriff Sprachtrennung auf ein Trennen von „Zielsprache“ aus Hintergrundsignalen, wo das Hintergrundsignal irgendein anderes Nicht-Sprachaudiosignal oder selbst ein anderes Nicht-Zielsprachsignal sein kann, welche nicht interessieren. Unsere Verwendung des Begriffs Sprachverbesserung umfasst auch Sprachtrennung, da wir die Kombination aller Hintergrundsignale als Rauschen berücksichtigen.
• Bei Sprachtrennung und Sprachverbesserungsanwendungen geschieht ein Verarbeiten üblicherweise in einem Kurzzeit-Fouriertransformations (STFT, Short-Time Fourier Transform) Bereich. Die STFT erhält eine komplexe spektrotemporale (oder Zeit-Frequenz) Bereichsdarstellung des Signals. Die STFT des beobachteten verrauschten Signals kann als die Summe der STFT von dem Zielsprachsignal und der STFT des Rauschsignals geschrieben werden. Die STFT von Signalen ist komplex und die Aufsummierung liegt in dem komplexen Bereich. Bei herkömmlichen Verfahren wird die Phase jedoch ignoriert und es wird angenommen, dass die Größe der STFT des beobachteten Signals der Summe der Größen der STFT der Audioziel- und der Rauschsignale gleicht, was eine grobe Annahme ist. Deswegen lag der Blickpunkt im bekannten Stand der Technik auf der Größenvorhersage der „Zielsprache“ bei gegebenem verrauschten Sprachsignal als Eingabe. Während einer Wiederherstellung des Zeit-Bereichverbesserten Signals aus seiner STFT wird die Phase des verrauschten Signals als die geschätzte Phase von der STFT der verbesserten Sprache verwendet. Dies ist üblicherweise gerechtfertigt durch Angeben, dass der minimale mittlere quadratische Fehler (MMSE, Minimum Mean Square Error), der aus der Phase der verbesserten Sprache geschätzt wird, die Phase des verrauschten Signals ist. In dem Dokument „Single-channel speech separation with memory-enhanced recurrent neural networks“, Weninger, Felix; Eyben, Florian; Schuller, Björn, 2014 IEEE International Conference on Acoustics, Speech and Signal Processing, 2014, 3709-3713, wird die Nutzung eines Lang-Kurzzeitgedächtnis-Rekurrenten-Neuronalen-Netzwerks zur Sprachverbesserung vorgeschlagen, welche eine verbesserte Rauschreduzierung bei niedrigen Signal-Rausch-Verhältnissen ermöglicht und Erzeugung sehr weniger Artefakte bei höheren Signal-Rausch-Verhältnissen.
• Die US 5 878 389 A beschreibt ein Verfahren und System zur Erzeugung einer Schätzung eines sauberen Sprachsignals, welches Zeittrajektorien von Kurzzeitparametern aus einem verrauschten Sprachsignal extrahiert, um eine Vielzahl von Frequenzkomponenten zu erhalten, die jeweils ein Betragsspektrum und ein Phasenspektrum aufweisen. Das Betragsspektrum wird dann komprimiert, gefiltert und anschließend dekomprimiert, um ein modifiziertes Betragsspektrum zu erhalten. [Zusammenfassung der Erfindung]
• Die Ausführungsformen der Erfindung stellen ein Verfahren zum Umwandeln eines verrauschten Sprachsignals in verbesserte Sprachsignale bereit.
• Die verrauschte Sprache wird von einem automatischen Spracherkennungs (ASR, Automatic Speech Recognition) System verarbeitet, um ASR-Merkmale herzustellen. Die ASR-Merkmale werden mit spektralen Merkmalen verrauschter Sprache kombiniert und an ein tiefenrekurrentes neuronales Netzwerk (DRNN, Deep Recurrent Neural Network) unter Verwenden von Netzwerkparametern weitergegeben, die während eines Trainingsprozesses erlernt werden, um eine Maske herzustellen, die zum Herstellen der verbesserten Sparache auf die verrauschte Sprache angewendet wird.
• Die Sprache wird in einem Kurzzeit-Fouriertransformations (STFT, Short-Time Fourier Transform) Bereich verarbeitet. Obwohl es verschiedenste Verfahren zum Berechnen der Größe einer STFT der verbesserten bzw. verbesserten Sprache aus der verrauschten Sprache gibt, konzentrieren wir uns auf tiefenrekurrente neuronale Netzwerk (DRNN, Deep Recurrent Neural Network) basierte Ansätze. Diese Ansätze nutzen Merkmale, die aus einer STFT verrauschter Sprachsignale als einer Eingabe erhalten werden, um die Größe einer STFT des verbesserten Sprachsignals als die Ausgabe zu erhalten. Diese Signalmerkmale verrauschter Sprache können Größenspektrum, Leistungsspektrum oder deren Logarithmen sein, log-mel Filterbankmerkmale, die von einer STFT des verrauschten Signals erhalten werden, oder es können andere ähnliche spektrotemporale Merkmale verwendet werden.
• In unserem rekurrenten neuronalen netzwerkbasierten System sagt das rekurrenten neuronale Netzwerk eine „Maske“ oder einen „Filter“ voraus, welcher eine STFT des verrauschten Sprachsignals direkt multipliziert, um eine STFT des verbesserten Signals zu erhalten. Die „Maske“ weist Werte zwischen Null und einem für jede Zeitfrequenzlinie (time-frequency bin) auf und ist idealerweise das Verhältnis von Sprachgröße dividiert durch die Summe der Größen von Sprach- und Rauschkomponenten. Diese „ideale Maske“ wird als die ideale Verhältnismaske bezeichnet, welche während einer realen Verwendung des Systems unbekannt ist, aber während eines Trainings erhältlich ist. Da die reellwertige Maske eine STFT des verrauschten Signals multipliziert, endet die verbesserte Sprache standardmäßig unter Verwenden der Phase einer STFT des verrauschten Signals. Wenn wir die Maske auf den Größenteil einer STFT des verrauschten Signals anwenden, nennen wir die Maske „Größenmaske“, um anzugeben, dass sie nur auf den Größenteil der Rauscheingabe angewendet wird.
• Das neuronale Netzwerktraining wird durch Minimieren einer Zielfunktion durchgeführt, welche den Unterschied zwischen dem sauberen Sprachziel und der verbesserten Sprache quantifiziert, die unter Verwenden von Netzwerkparametern von dem Netzwerk erhalten wird. Die Trainingsprozedur zielt darauf ab, die Netzwerkparameter zu bestimmen, welche die Ausgabe des neuronalen Netzwerks ausmachen, die den sauberen Sprachzielen am nächsten kommt. Das Netzwerktraining wird typischerweise unter Verwenden des Rückwärtspropagierung durch Zeit (BPTT, BackPropagation Through Time) Algorithmus durchgeführt, welcher eine Berechnung des Gradienten der Zielfunktion hinsichtlich der Parameter des Netzwerks bei jeder Iteration erfordert.
• Wir verwenden das tiefenrekurrente neuronale Netzwerk (DRNN, Deep Recurrent Neural Network), um Sprachverbesserungen durchzuführen. Das DRNN kann ein Lang-Kurzzeitspeicher (LSTM, Long Short-Term Memory) Netzwerk für Niederlatenz (online) Anwendung oder ein bidirektionales Lang-Kurzzeitspeichernetzwerk (BLSTM, Bidirectional Long Short-Term Memory) DRNN sein, wenn Latenz keine Rolle spielt. Das tiefenrekurrente neuronale Netzwerk kann auch aus anderen modernen RNN-Arten wie gegattertem (gated) RNN oder Uhrwerk (clockwork) RNN bestehen.
• In einer anderen Ausführungsform werden die Größe und Phase des Audiosignals während des Schätzungsprozesses berücksichtigt. Eine phasenbeachtende Verarbeitung schließt einige wenige unterschiedliche Aspekte ein:
• Verwenden von Phaseninformation in einer Zielfunktion beim Vorhersagen nur der Zielgröße in einer sogenannten phasensensitiven Signalannäherungs (PSA, Phase-sensitive Signal Approximation) Technik;
• Vorhersagen von beidem, der Größe und der Phase des verbesserten Signals unter Verwenden von tiefenrekurrenten neuronalen Netzwerken, Anwenden geeigneter Zielfunktionen, die eine bessere Vorhersage von beidem, der Größe und der Phase, ermöglichen;
• Verwenden aller Größen und Phasen von Mehrkanal(multi-channel)-Audiosignalen wie Mikrofonfeldern in einem tiefenrekurrenten neuronalen Netzwerk.
• Es sollte beachtet werden, dass die Idee auf eine Verbesserung anderer Arten von Audiosignalen angewendet werden kann. Zum Beispiel können die Audiosignale Musiksignale einschließen, wo die Erkennungsaufgabe Musiktranskription ist, oder Tiergeräusche, wo die Erkennungsaufgabe sein könnte, Tiergeräusche in unterschiedliche Kategorien zu klassifizieren, und Umweltgeräusche, wo die Erkennungsaufgaben sein könnte, bestimmte geräuschabgebende Ereignisse und/oder Objekte zu erkennen und zu unterscheiden.
• Figurenliste
• [1] 1 ist der Flussdiagramm eines Verfahrens zum Umwandeln verrauschter Sprachsignale in verbesserte Sprachsignale unter Verwenden von ASR-Merkmalen;
• [2] 2 ist Diagramm eines Flussdiagramms eines Trainingsprozesses des Verfahrens von 1;
• [3] 3 ist ein Flussdiagramm eines gemeinsamen Spracherkennungs- und Verbesserungsverfahrens;
• [4] 4 ist ein Flussdiagramm eines Verfahrens zum Umwandeln verrauschter Audiosignale in verbesserter Audiosignale durch Vorhersagen von Phaseninformation und Verwenden einer Größenmaske; und
• [5] 5 ist ein Flussdiagramm eines Trainingsprozesses des Verfahrens von 4.
• [Beschreibung von Ausführungsformen]
• 1 zeigt ein Verfahren zum Umwandeln eines verrauschten Sprachsignals 112 in ein verbessertes Sprachsignal 190. Das bedeutet, dass die Umwandlung die verrauschte Sprache verbessert. Alle hier beschriebenen Sprach- und Audiosignale können einzelne oder Mehrfachkanäle sein, die von einem einzigen oder mehreren Mikrofon 101 aus einer Umgebung 102 erfasst werden, wobei die Umgebung zum Beispiel Audioeingaben von Quellen wie einer oder mehrerer Personen, Tieren, Musikinstrumenten und dergleichen aufweisen kann. Für unser Problem ist eine der Quellen unser „Audioziel“ (meist „Zielsprache“), wobei die anderen Audioquellen als Hintergrund berücksichtigt werden.
• In dem Fall, in dem das Audiosignal Sprache ist, wird die verrauschte Sprache von einem automatischen Spracherkennungs (ASR, Automatic Speech Recognition) System 170 verarbeitet, um ASR-Merkmale 180 herzustellen, zum Beispiel in Form eines Ausrichtungsinformationsektors (alignment information vector). Die ASR kann von herkömmlicher Art sein. Die ASR-Merkmale, die mit Merkmalen einer STFT verrauschter Sprache kombiniert werden, werden von einem tiefenrekurrenten neuronalen Netzwerk (DRNN, Deep Recurrent Neural Network) 150 unter Verwenden von Netzwerkparametern 140 verarbeitet. Die Parameter können unter Verwenden eines nachstehend beschriebenen Trainingsprozesses erlernt werden.
• Die DRNN stellt eine Maske 160 her. Dann wird die Maske während der Sprachschätzung 165 auf die verrauschte Sprache angewendet, um die verbesserte Sprache 191 herzustellen. Wie nachstehend beschrieben ist es möglich, die Verbesserungs- und Erkennungsschritte zu iterieren. Das bedeutet, das nachdem die verbesserte Sprache erhalten wird, die verbesserte Sprache verwendet werden kann, um ein besseres ASR-Ergebnis zu erzielen, welches wiederum als eine neue Eingabe während einer folgenden Iteration verwendet werden kann. Die Iteration kann fortgesetzt werden, bis eine Beendigungsbedingung erreicht wird, zum Beispiel eine vorherbestimmter Anzahl von Iterationen, oder bis ein Unterschied zwischen der aktuellen verbesserten Sprache und der verbesserten Sprache von der vorhergehenden Iteration kleiner als ein vorherbestimmter Schwellenwert ist.
• Das Verfahren kann in einem Prozessor 100 durchgeführt werden, der über Busse mit einem Speicher und Eingabe/Ausgabe-Schnittstellen wie aus dem Stand der Technik bekannt verbunden ist.
• 2 zeigt die Elemente des Trainingsprozesses. Hier werden die verrauschte Sprache und die dementsprechende saubere Sprache 111 in einer Datenbank 110 gespeichert. Es wird eine Zielfunktion (manchmal als „Kostenfunktion“ oder „Fehlerfunktion“ bezeichnet) bestimmt 120. Die Zielfunktion quantifiziert den Unterschied zwischen der verbesserten Sprache und der sauberen Sprache. Durch Minimieren der Zielfunktion während eines Trainings lernt das Netzwerk verbesserte Signale herzustellen, die den sauberen Signalen ähnlich sind. Die Zielfunktion zum Durchführen eines DRNN-Trainings 130 verwendet, um die Netzwerkparameter 140 zu bestimmen.
• 3 zeigt die Elemente eines Verfahrens, das eine gemeinsame Erkennung und Verbesserung durchführt. Hier misst die gemeinsame Zielfunktion 320 den Unterschied zwischen den sauberen Sprachsignalen 111 und verbesserten Sprachsignalen 190 und Referenztext 113, das heißt erkannter Sprache, und dem hergestellten Erkennungsergebnis 355. In diesem Fall stellt das gemeinsame Erkennungs- und Verbesserungsnetzwerk 350 auch ein Erkennungsergebnis 355 her, welches auch bei dem Bestimmen 320 der gemeinsamen Zielfunktion verwendet wird. Das Erkennungsergebnis kann in der Form eines ASR-Zustands, Phonems oder Wortsequenzen und der gleichen vorliegen.
• Die gemeinsame Zielfunktion ist eine gewichtete Summe von Verbesserungs- und Erkennungsaufgabenzielfunktionen. Die Verbesserungsaufgabe betreffend kann die Zielfunktion eine Maskenannäherung (MA, Mask Approximation), Größenspektrumsannäherung (MSA, Magnitude Spectrum Approximation) oder phasensensitive Spektrumsannäherung (PSA, Phase-sensitive Spectrum Approximation) sein. Die Erkennungsaufgabe betreffend kann die Zielfunktion einfach eine Kreuzentropiekostenfunktion sein, die Zustände oder Sprachlaute als die Zielklassen verwendet, oder möglicherweise eine Sequenzdiskriminierende Zielfunktion wie ein Minimalsprachlautfehler (MPE, Minimum Phone Error), erhöhte maximale gegenseitige Information (BMMI, Boosted Maximum Mutual Information), die unter Verwenden eines Hypothesengitters berechnet werden.
• Wie durch gestrichelte Linien gezeigt können das Erkennungsergebnis 355 und die verbesserte Sprache 190 alternativ als zusätzliche Eingaben zu dem gemeinsamen Erkennungs- und Verbesserungsmodul 350 zurückgeführt werden.
• 4 zeigt ein Verfahren, das ein Verbesserungsnetzwerk (DRNN, Deep Recurrent Neural Network) 150 verwendet, welches die geschätzte Phase 455 des verbesserten Audiosignals und eine Größenmaske 460 ausgibt, wobei es verrauschte Audiosignalmerkmale als Eingabe nimmt, die von beiden, seiner Größe und Phase 412 abgeleitet sind, und die vorhergesagte Phase 455 und die Größenmaske 460 verwendet, um das verbesserte Audiosignal 490 zu erhalten 465. Das verrauschte Audiosignal wird durch eines oder mehrere Mikrofone 401 aus einer Umgebung 402 erfasst. Das verbesserte Audiosignal 490 wird dann aus der Phase und der Größenmaske erhalten 465.
• 5 zeigt den vergleichbaren Trainingsprozesses. In diesem Fall verwendet das Verbesserungsnetzwerk 450 eine phasensensitive Zielfunktion. Alle Audiosignale werden unter Verwenden der Größe und Phase der Signale verarbeitet, und die Zielfunktion 420 ist auch phasensensitiv, das heißt, die Zielfunktion verwendet komplexe Bereichsunterschiede. Die Phasenvorhersage und phasensensitive Zielfunktion verbessern das Signal-zu-Rausch-Verhältnis (SNR, signal-to-noise ratio) in dem verbesserten Audiosignal 490.
• Einzelheiten
• Sprachmodelle wurden in modellbasierte Sprachtrennungssysteme integriert. Vorwärtszuführende (feed forward) neuronale Netzwerke unterstützen im Gegensatz zu wahrscheinlichkeitstheoretischen Modellen einen Informationsfluss nur in eine Richtung, von Eingabe zu Ausgabe.
• Die Erfindung basiert teilweise auf einer Erkennung dahingehend, dass einem Sprachverbesserungsnetzwerk Zustandssequenzen zugute kommen, und das Erkennungssystem Vorteile aus der Ausgabe des Sprachverbesserungssystem ziehen kann. Bei der Abwesenheit eines vollintegrierten Systems kann man sich ein System vorstellen, das zwischen Verbesserung und Erkennung wechselt, um Vorteile aus beiden Aufgaben zu erzielen.
• Deshalb nutzen wir einen rauschrobusten Erkenner, der auf verrauschte Sprache während eines ersten Durchlaufs trainiert ist. Die erkannten Zustandssequenzen werden mit verrauschten Sprachmerkmalen kombiniert und als Eingabe in das rekurrente neuronale Netzwerk genutzt, das darauf trainiert ist, verbesserte Sprache wiederherzustellen.
• Moderne Spracherkennungssysteme nutzen linguistische Information auf unterschiedlichen Stufen. Sprachmodelle finden die Wahrscheinlichkeit von Wortsequenzen. Wörter werden auf Phonemsequenzen unter Verwenden von handgemachten oder erlernten Lexikonnachschlagtabellen abgebildet. Phoneme werden als Dreizustand links-nach-rechts versteckte Marco-Modelle (HMMs, Hidden Markov Models) modelliert, wo jede Zustandsverteilung üblicherweise auf dem Kontext beruht, hauptsächlich darauf, welche Phoneme in dem linken und rechten Kontextfenster des Phonems existieren.
• Die HMM-Zustände können über unterschiedliche Phone und Kontexte hinweg gebunden werden. Dies kann unter Verwenden eines Kontext-Abhängigkeitsbaums erreicht werden. Einbeziehung der Erkennungsausgabeinformation auf der Rahmenstufe kann unter Verwenden unterschiedlicher Stufen von linguistischer Einheitsausrichtung auf den interessierenden Rahmen getätigt werden.
• Deshalb integrieren wir Spracherkennungs- und Verbesserungsprobleme. Eine Architektur nutzt Rahmenstufen ausgerichtete Statussequenzen- oder Rahmenstufen ausgerichtete Phonemsequenzeninformation, die von einem Spracherkenner für jeden Eingaberahmen empfangen wird, der zu verbessern ist. Die Ausrichtungsinformation können auch Wortstufenausrichtungen sein.
• Die Ausrichtungsinformation wird als ein extra Merkmal bereitgestellt, das der Eingabe des LSTM-Netzwerks bereitgestellt wird. Wir können unterschiedliche Merkmalsarten der Ausrichtungsinformation nutzen. Zum Beispiel können wir eine 1-hot- Darstellung verwenden, um den Rahmenstufenzustand oder das Phonem anzugeben. Wenn dies für die kontextabhängigen Zustände getan wird, ergibt dies einen großen Vektor, welcher einer Erlernung Schwierigkeiten bereiten könnte. Wir können auch fortlaufende Merkmale verwenden, die von einer Mittelung spektraler Merkmale abgeleitet sind, berechnet aus den Trainingsdaten für jeden Status oder jedes Phonem. Dies ergibt eine kürzere Eingabedarstellung und stellt eine Art Ähnlichkeitserhaltungskodierung für jeden Zustand zur Verfügung. Wenn die Information in dem gleichen Bereich wie die verrauschte spektrale Eingabe liegt, dann kann dies für das Netzwerk beim Auffinden der Sprachverbesserungsmaske einfacher zu nutzen sein.
• Ein anderer Aspekt der Erfindung besteht darin, eine Rückkopplung von zwei Systemen als eine Eingabe in die nächste Stufe zu haben. Diese Rückkopplung kann durch eine „interaktive Art und Weise“ durchgeführt werden, um die Leistungen weiter zu verbessern.
• Beim Erlernen einer Mehrfach-Aufgabe besteht das Ziel darin, Strukturen aufzubauen, die zur gleichen Zeit nebenläufig „gute“ Merkmale für unterschiedliche Ziele lernen. Das Ziel besteht darin, eine Leistung getrennter Aufgaben durch Erlernen der Ziele zu verbessern.
• Phasensensitive Zielfunktion zur Größenvorhersage
• Wir beschreiben Verbesserungen von einer Zielfunktionen, die von dem BLSTM-DRNN 450 genutzt wird. Im Allgemeinen schätzt in dem Stand der Technik das Netzwerk einen Filter- oder Frequenzbereich, der auf das verrauschte Audiospektrum angewendet wird, um eine Schätzung des sauberen Sprachspektrums herzustellen. Die Zielfunktion bestimmt einen Fehler in dem Amplitudenspektrumsbereich zwischen der Audioschätzung und dem sauberen Audioziel. Die wiederhergestellte Audioschätzung behält die Phase des verrauschten Audiosignals.
• Wenn jedoch eine verrauschte Phase verwendet wird, interagiert der Phasenfehler mit der Amplitude, und die beste Wiederherstellung im Sinne des SNR wird mit Amplituden erzielt, die sich von den sauberen Audioamplituden unterscheiden. Hier erwägen wir direkt unter Verwenden einer phasensensitiven Zielfunktion basierend auf dem Fehler in dem komplexen Spektrum, welches beides, Amplitude und Phasenfehler, enthält. Dies erlaubt es den geschätzten Amplituden, die Verwendung der verrauschten Phasen zu kompensieren.
• Trennung mit Zeit-Frequenz-Masken
• Zeit-Frequenz-Filterverfahren schätzen eine Filter- oder Maskenfunktion zum Multiplizieren mit einer Frequenzbereichsmerkmalsdarstellung des verrauschten Audios, um eine Schätzung des sauberen Audiosignals zu bilden. Wir definieren ein komplexes Kurzzeitspektrum des verrauchten Audios y_f,t, des Rauschens n_f,t und des Audios s_f,t erhalten über eine diskrete Fouriertransformation von Fensterrahmen des Zeit-Bereich-Signals. Nachstehend vemeiden wir die Indizierung von f, t und berücksichtigen eine einzige Zeitfrequenzlinie (time frequency bin).
• Unter der Annahme einer geschätzten Maskenfunktion α̂ wird das saubere Audio auf ŝ = ây geschätzt. Während eines Trainings werden die sauberen und verrauschten Audiosignale bereitgestellt, und eine Schätzung â = g(y|θ) für die Maskenfunktion wird mit Hilfe einer Verzerrungsmaßnahme trainiert, θ̂ = argmin_θD(â), bei welcher θ die Phase darstellt.
• Es können mannigfaltige Zilefunktionen verwendet werden, beispielsweise Maskenschätzung (MA, Mask Approximation) und Signalschätzung (SA, Signal Approximation). Die MA-Zielfunktionen berechnen eine Zielmaske unter Verwenden von y und s, und messen dann den Fehler zwischen der geschätzten Maske und der Zielmaske als $$D_{\text{ma}}\left(\widehat{a}\right)=D_{\text{ma}}\left(a^{\ast }\left|\right|\widehat{a}\right).$$

  
• Die SA-Zielfunktionen messen den Fehler zwischen dem gefilterten Signal und das saubere Audioziel als $$D_{\text{sa}}\left(\widehat{a}\right)=D_{\text{ma}}\left(s\left|\right|\widehat{a}y\right).$$

  
• Mannigfaltige „ideale“ Masken wurden in MA-Ansätzen für α* verwendet. Die Übelichsten sind die sogenannte „ideale Binärmaske“ (IBM, Ideal Binary Mask) und die „ideale Verhältnismaske“ (IRM, Ideal Ratio Mask).
• Mannigfaltigste Maskierungsfunktionen α zum Berechnen einer Audioschätzung ŝ = ay, deren Gleichung im Sinne von α, und Optimierungsbedingungen sind wie folgt. In der IBM ist δ(x) 1, wenn der Ausdruck x wahr ist und anderenfalls 0. Tabelle 2

  Zielmaske/Filter	Gleichung	Optimierungsprinzip
  IBM:	αibm = δ(|s| > |n|),	max SNR α ∈ {0, 1}
  IRM:	$a^{\text{irm}}=\frac{\left|s\right|}{\left|s\right|+\left|n\right|},$	max SNR θs = θn,
  „Wiener-ähnlich“	$a^{\text{wf}}=\frac{{\left|s\right|}^2}{{\left|s\right|}^2+{\left|n\right|}^2},$	max SNR, erwartete Leistung
  Idealamplitude	αiaf = |s|/|y|,	exaktes |ŝ|, max SNR θs = θy
  Phasensensitiver Filter	αpsf = |s|/|y|cos(θ),	max SNR, gegeben α ∈ ℝ
  Idealer komplexer Filter	αicf = s/y,	max SNR, gegeben α ∈ ℂ

• Phasenvorhersage zur Quellentrennung und Verbesserung
• Hier beschreiben wir Verfahren zum Vorhersagen der Phase zusammen mit der Größe bei Audioquellen Trennung und Audioquellen Verbesserungs Anwendungen. Der Aufbau schließt ein Verwenden eines neuronalen Netzwerks W zum durchführen der Vorhersage von Größe und Phase des Zielsignals ein. Wir nehmen ein (einen Satz von) gemischtes(n) (oder verrauschten) Signal(en) γ(τ) an, welches eine Summe des Zielsignals (oder Quelle) s*(τ) und anderer Hintergrundsignale aus unterschiedlichen Quellen ist. Wir gewinnen s*(τ) aus γ(τ). Gesetzt γ_t,f und $s_{t,f}^{\ast }$

  

  bezeichnen die jeweiligen Kurzzeit-Fouriertransformationen von γ(τ) und s*(τ).
• Naiver Ansatz
• Bei einem naiven Ansatz ist ${\left|{\widehat{s}}_{t,f}-s_{t,f}^{\ast }\right|}^2,$

  

  wobei $s_{t,f}^{\ast }$

  

  das saubere Audiosignal ist, welches während eines Trainings bekannt ist, und ŝ_t,f die Vorhersage des Netzwerks aus der größeren Phase des verrauschten Signals y = [y_t,f]_t,f∈B, das heißt $${\left[{\widehat{s}}_{t,f}\right]}_{t,f\in B}=f_W\left(y\right),$$

  

  wobei W die Gewichte des Netzwerks sind, und B i der Ersatz aller Zeit-Frequenzin Indizes. Das Netzwerk kann ŝ_t,_f in polarer Notatio als $\left|{\widehat{s}}_{t,f}\right|e^{j{\theta }_{t,f}}=r_{t,f}{e}^{j{\theta }_{t,f}}$

  

  oder in komplexer Notation darstellen als $$\text{Re}\left({\widehat{s}}_{t,f}\right)+j\text{Im}\left({\widehat{s}}_{t,f}\right)=u_{t,f}+j{v}_{t,f},$$

  

  wobei Re und Im die reellen und imaginären Anteile sind.
• Komplexer Filteransatz
• Oft kann es besser sein, einen Filter zum Anwenden auf das verrauschte Audiosignal zu schätzen, da dann, wenn das Signal sauber ist, der Filter Eins (unity) werden kann, so dass das Eingabesignal die Schätzung des Ausgabesignals ist $${\left|a_{t,f}{e}^{j{\theta }_{t,f}}{y}_{t,f}-s_{t,f}^{\ast }\right|}^2,$$

  

  wobei α_t,f eine reelle Zahl ist, die von dem Netzwerk geschätzt wird, die das Verhältnis zwischen den Amplituden des sauberen und verrauschten Signals darstellt. Wir schließen $e^{j{\theta }_{t,f}}$

  

  ein, wobei Φ_t,f eine Schätzung von einem Unterschied zwischen Phasen des sauberen und verrauschten Signals ist. Wir können dies auch als einen komplexen Filter $h_{t,f}=a_{t,f}{e}^{j{\theta }_{t,f}}$

  

  schreiben. Wenn die Eingabe annähernd sauber ist, dann ist α_t,f nahe an Eins (unity), und Φ_t,f ist nahe an Null, so dass der komplexe Filter h_t,f nahe an Eins (unity) liegt.
• Kombinierender Ansatz
• Der komplexe Filteransatz arbeitet am besten, wenn das Signal nahezu sauber ist, wenn das Signal aber sehr verrauscht ist, muss das System den Unterschied zwischen den verrauschten und den sauberen Signalen schätzen. In diesem Fall kann es besser sein, das saubere Signal direkt zu schätzen. Begründet dadurch können wir das Netzwerk mittels eines Soft-Gatters α_t,f entscheiden lassen, welches Verfahren verwendet wird, welches eine andere Ausgabe des Netzwerks ist und Werte zwischen Null und Eins annimmt, und verwendet wird, um Linealkombinationen des naiven und komplexen Filteransatzes für jede Zeit-Frequenz-Ausgabe auszuwählen $${\left|\left({\alpha }_{t,f}{a}_{t,f}{e}^{j{\theta }_{t,f}}{y}_{t,f}+\left(1-{\alpha }_{t,f}\right)r_{t,f}{e}^{j{\theta }_{t,f}}\right)-s_{t,f}^{\ast }\right|}^2,$$

  

  wobei α_t,f allgemein auf Einheit gesetzt wird, wenn das verrauschte Signal annähernd gleich dem sauberen Signal ist, und r_t,f, θ_t,f die beste Schätzung der Amplitude und Phase des sauberen Signals des Netzwerks darstellt. In diesem Fall ist eine Ausgabe des Netzwerks $${\left[{\alpha }_{t,f},a_{t,f},{\varphi }_{t,f},r_{t,f},{\theta }_{t,f}\right]}_{t,f\in B}=f_W\left(y\right),$$

  

  wobei W die Gewichte in dem Netzwerk sind.
• Vereinfachter kombinierender Ansatz
• Der kombinierende Ansatz kann zu viele Parameter aufweisen, welche nicht gewünscht sein können. Wir können den kombinierenden Ansatz wie folgt vereinfachen. Bei α_t,f = 1 gibt das Netzwerk die Eingabe direkt an die Ausgabe direkt weiter, so dass wir die Maske nicht schätzen müssen. Darum setzen wir die Maske auf Eins (unity), wenn α_t,f = 1 ist, und vermeiden die Maskenparameter $${\left|\left({\alpha }_{t,f}{y}_{t,f}+\left(1-{\alpha }_{t,f}\right)r_{t,f}{e}^{j{\theta }_{t,f}}\right)-s_{t,f}^{\ast }\right|}^2,$$

  

  wobei wieder α_t,f im Allgemeinen auf Eins (unity) gesetzt wird, wenn das verrauschte Signal annähernd gleich dem sauberen Signal ist, und wenn es nicht Eins (unity) ist, bestimmen wir $$\left(1-{\alpha }_{t,f}\right)r_{t,f}{\theta }_{t,f},$$

  

  was eine beste Schätzung des Netzwerks von dem Unterschied zwischen α_t,fy_t,f und $s_{t,f}^{\ast }$

  

  ist. In diesem Fall ist die Ausgabe des Netzwerks $${\left[{\alpha }_{t,f},r_{t,f},{\theta }_{t,f}\right]}_{t,f\in B}=f_W\left(y\right),$$

  

  wobei W die Gewichte in dem Netzwerk sind. Man beachte, dass beide, der kombinierende Ansatz und der vereinfachte kombinierende Ansatz redundante Darstellungen sind, und es einen mehrfachen Parametersatz geben kann, der die gleiche Schätzung erzielt.

Claims (5)

1. Verfahren zum Umwandeln eines verrauschten Audiosignals (112, 412) in ein verbessertes Audiosignal (190, 490), umfassend die Schritte:  Erfassen des verrauschten Audiosignals (112, 412) aus einer Umgebung (102, 402); Verarbeiten des verrauschten Audiosignals (112, 412) durch ein Verbesserungsnetzwerk (150, 450) aufweisend Netzwerkparameter (140, 440) zum gemeinsamen Herstellen einer Größenmaske (160, 460) und einer Phasenschätzung; Verwenden der Größenmaske (160, 460) und der Phasenschätzung zum Erhalten des verbesserten Audiosignals (190, 490), wobei die Schritte in einem Prozessor (100, 400) durchgeführt werden.
2. Verfahren nach Anspruch 1, bei welchem das Verbesserungsnetzwerk (150) ein tiefenrekurrentes neuronales Netzwerk (DRNN) mit bidirektionalem Lang Kurzzeit Speicher (BLSTM) ist.
3. Verfahren nach Anspruch 1, bei welchem das Verbesserungsnetzwerk (450) eine phasensensitive Zielfunktion (420) basierend auf einem Fehler in einem komplexen Spektrum verwendet, das einen Fehler in Amplitude und Phase des verrauschten Audiosignals (412) enthält.
4. Verfahren nach Anspruch 1, bei welchem die Phasenschätzung (455) direkt von dem Verbesserungsnetzwerk (450) erhalten wird.
5. Verfahren nach Anspruch 1, bei welchem die Phasenschätzung (455) gemeinsam mit einer Amplitude des verrauschten Audiosignals (412) unter Verwenden einer komplexwertigen Maske (460) erhalten wird.

Images