DE60034026T2

DE60034026T2 - Sprachverbesserung mit durch sprachaktivität gesteuerte begrenzungen des gewinnfaktors

Info

Publication number: DE60034026T2
Application number: DE60034026T
Authority: DE
Inventors: Richard Vandervoort New Providence COX; Ranier Martin
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1999-02-09
Filing date: 2000-02-09
Publication date: 2007-12-13
Anticipated expiration: 2020-02-10
Also published as: WO2000048171A1; CA2476248A1; KR100752529B1; JP4173641B2; US20020029141A1; CA2476248C; KR20060110377A; WO2000048171A8; EP1724758A3; EP1157377A1; HK1098241A1; DE60034026D1; CA2362584C; EP1157377B1; DK1157377T3; US6542864B2; KR20010102017A; ATE357724T1; WO2000048171A9; EP1724758A2

Description

Erfindungsgebiet
Diese Erfindung betrifft die Verbesserungs-Verarbeitung für Sprachcodierungssysteme (d.h. Sprachkomprimierungssysteme), die Sprachcodierungssysteme mit niedriger Bitrate, wie beispielsweise MELP, einschließen.
Hintergrund der Erfindung
Niedrigbitraten-Sprachcodierer, wie beispielsweise parametrische Sprachcodierer, sind in den letzten Jahren bedeutend verbessert worden. Jedoch leiden die Niedrigbitraten-Codierer immer noch an fehlender Robustheit in harten akustischen Umgebungen. Zum Beispiel können von parametrischen Niedrigbitratencodierern unter Bedingungen mittleren und geringen Rauschabstands (signal-to-noise ratio, SNR) eingeführte Artefakte die Verständlichkeit der codierten Sprache beeinträchtigen.
Tests zeigen, dass bedeutende Verbesserungen der codierten Sprache vorgenommen werden können, wenn ein Niedrigbitraten-Sprachcodierer mit einem Sprachverbesserungs-Vorprozessor kombiniert wird. Diese Verbesserungs-Vorprozessoren haben typischerweise drei Hauptbestandteile: ein Spektralanalyse-/Synthesesystem (normalerweise durch eine auf einen bestimmten Bereich begrenzte schnelle Fourier-Transformation/inverse schnelle Fourier-Transformation (FFT/IFFT verwirklicht), ein Störschätzverfahren und eine Spektrums-Verstärkungsberechnung. Das Störschätzverfahren beinhaltet typischerweise irgendeine Art von Sprachaktivitätserkennung oder spektraler Mindestführungstechnik. Die berechnete Spektrums-Verstärkung wird nur an die Fourier-Größen eines jeden Datenrahmens (d.h.
Segment) eines Sprachsignals angelegt. Ein Beispiel für einen Sprachverbesserungs-Vorprozessor wird in Y. Ephraim u. a., „Speech Enhancement Using a Minimum Mean-Square Error Log-Spectral Amplitude Estimator", IEEE Trans. Acoustics, Speech and Signal Processing, Band 33., S. 443-445, April 1985, hiermit durch die Bezugnahme in seiner Vollständigkeit eingeschlossen, bereitgestellt. Wie es herkömmlicherweise der Fall ist, umfasst die Spektrums-Verstärkung einzelne Verstärkungswerte, die auf die vom FFT-Verfahren ausgegebenen einzelnen Teilbänder angewandt werden müssen.
Ein Sprachsignal kann so betrachtet werden, dass es Perioden artikulierter Sprache (d.h. Perioden einer „Sprachaktivität") und Sprechpausen darstellt. Eine Pause in der artikulierten Sprache führt dazu, dass das Sprachsignal nur ein Hintergrundgeräusch darstellt, während eine Periode der Sprachaktivität dazu führt, dass das Sprachsignal sowohl artikulierte Sprache als auch Hintergrundgeräusche darstellt. Verbesserungs-Vorprozessoren arbeiten, indem sie in den Perioden der Sprechpausen eine relativ geringe Verstärkung anlegen (da es wünschenswert ist, das Rauschen zu dämpfen), und indem sie während der Sprachperioden eine höhere Verstärkung anlegen (um die Dämpfung dessen, was gesprochen wurde, zu reduzieren). Jedoch kann das Schalten von einem niedrigen zu einem hohen Verstärkungswert, um z.B. das Einsetzen der Sprachaktivität nach einer Pause und umgekehrt widerzuspiegeln, zu strukturierten „musikalischen" (bzw. „tonalen") Geräuschartefakten führen, die für den Zuhörer unangenehm sind. Zusätzlich können Verbesserungs-Vorprozessoren ihrerseits, wie auch Sprachcodierer, die im Zusammenhang mit solchen Vorprozessoren verwendet werden, zu Verschlechterungen der Sprachverständlichkeit führen.
Um dem Problem des strukturierten musikalischen Geräuschs zu begegnen, begrenzen einige Verbesserungs-Vorprozessoren einheitlich die auf alle Datenrahmen des Sprachsignals angewandten Verstärkungswerte. Typischerweise wird dies getan, indem ein „A priori"-Rauschabstand (SNR) begrenzt wird, der eine Funktionseingabe in die Berechnung der Verstärkung ist. Diese Begrenzung der Verstärkung verhindert, dass die in bestimmten Datenrahmen (wie beispielsweise Datenrahmen, die Sprechpausen entsprechen) angewandte Verstärkung zu tief fällt und zu bedeutenden Änderungen der Verstärkung zwischen den Datenrahmen (und somit zu einem strukturierten musikalischen Rauschen) beiträgt. Jedoch verbessert diese Beschränkung der Verstärkung nicht angemessen das Verständlichkeitsproblem, das vom Verbesserungs-Vorprozessor oder dem Sprachcodierer verursacht wird. Beispiele für solche Lösungen aus dem Stand der Technik sind in den Schriften US-5,839,101 und US-5,012,519 offenbart.
Zusammenfassung der Erfindung
Die vorliegende Erfindung überwindet die Probleme aus dem Stand der Technik sowohl bezüglich des Einschränkens des strukturierten musikalischen Geräuschs als auch des Erhöhens der Sprachverständlichkeit. Im Zusammenhang mit einem Verbesserungs-Vorprozessor führt eine exemplarische Ausführungsform der Erfindung eine Bestimmung darüber durch, ob das zu verarbeitende Sprachsignal eine artikulierte Sprache oder eine Sprechpause darstellt, und bildet eine spezifische Verstärkung, die an das Sprachsignal angelegt werden muss. Die Verstärkung ist in diesem Zusammenhang spezifisch, da der niedrigste Wert, den die Verstärkung haben kann (d.h. ihre untere Grenze) auf der Grundlage bestimmt wird, ob das Sprachsignal als artikulierte Sprache darstellend bekannt ist oder nicht. In Übereinstimmung mit dieser Ausführungsform muss die untere Grenze der Verstärkung während der Sprechpausen-Zeiträume höher liegen als die untere Grenze der Verstärkung in Perioden von Sprachaktivität.
Im Zusammenhang dieser Ausführungsform wird die Verstärkung, die auf einen Datenrahmen des Sprachsignals angewandt wird, auf der Grundlage begrenzter A-priori-SNR-Werte adaptiv eingeschränkt. Diese A-priori-SNR-Werte werden auf der Grundlage eingeschränkt, ob (a) eine artikulierte Sprache im Rahmen erfasst wird, und auf der Grundlage (b) eines langfristigen SNR für Rahmen, die Sprache darstellen. Ein Stimmaktivitäts-Detektor kann verwendet werden, um zwischen Rahmen zu unterscheiden, die artikulierte Sprache enthalten, und Rahmen, die Sprechpausen enthalten. Solchermaßen kann die untere Grenze von A-priori-SNR-Werten so berechnet werden, dass sie ein erster Wert für einen Rahmen ist, der artikulierte Sprache darstellt, und für einen Rahmen, der eine Sprechpause darstellt, ein anderer zweiter Wert ist, der größer ist als der erste Wert. Das Glätten der unteren Grenze der A-priori-SNR-Werte wird mittels Verwendung eines rekursiven Systems erster Ordnung durchgeführt, um für glatte Übergänge zwischen aktiven Sprach- und Sprechpausensegmenten des Signals zu sorgen.
Eine Ausführungsform der Erfindung kann auch für reduzierte Verzögerung der codierten Sprachdaten sorgen, die durch den Verbesserungs-Vorprozessor in Kombination mit einem Sprachcodierer vorgenommen werden kann. Die Verzögerung des Verbesserungs-Vorprozessors und des Codierers kann eingedämmt werden, indem der Codierer, zumindest teilweise, mit unvollständigen Datenproben arbeiten muss, um wenigstens einige Codiererparameter zu extrahieren. Die gesamte Verzögerung, die durch den Vorprozessor und den Codierer verursacht wird, ist normalerweise gleich der Summe aus der Verzögerung des Codierers und der Länge sich überlagernder Rahmenabschnitte im Verbesserungs-Vorprozessor. Jedoch bezieht die Erfindung einen Vorteil aus der Tatsache, dass einige Codierer „Vorausschau"-Datenproben in einem Eingabepuffer speichern und diese Proben verwenden, um Codiererparameter zu extrahieren. Die Vorausschau-Proben haben typischerweise weniger Einfluss auf die Qualität der codierten Sprache als andere Proben im Eingabepuffer. So braucht der Codierer in einigen Fällen nicht auf einen vollständig verarbeiteten (d.h. abgeschlossenen) Datenrahmen vom Vorprozessor zu warten, sondern kann Codiererparameter aus unvollständigen Datenproben im Eingabepuffer extrahieren. Indem mit unvollständigen Datenproben gearbeitet wird, kann die Verzögerung des Verbesserungs-Vorprozessors und des Codierers reduziert werden, ohne die Qualität der codierten Daten signifikant zu beeinträchtigen.
Zum Beispiel kann eine Verzögerung in einer Sprach-Vorprozessor- und Sprachcodierer-Kombination reduziert werden, indem ein Eingaberahmen mit einem Analysefenster multipliziert und der Rahmen im Verbesserungs-Vorprozessor verbessert wird. Nachdem der Rahmen verbessert wurde, wird die linke Hälfte des Rahmens mit einem Synthese-Fenster multipliziert und die rechte Hälfte mit einem Invers-Analyse-Fenster multipliziert. Das Synthese-Fenster kann sich vom Analyse-Fenster unterscheiden, ist aber vorzugsweise identisch mit dem Analyse-Fenster. Der Rahmen wird dann zum Sprachcodierer-Eingabepuffer addiert, und die Codiererparameter werden mittels Verwendung des Rahmens extrahiert. Nachdem die Codiererparameter extrahiert wurden, wird die rechte Hälfte des Rahmens im Sprachcodierer-Eingabepuffer mit dem Analyse- und dem Synthese-Fenster multipliziert und der Rahmen im Eingabepuffer verschoben, bevor der nächste Rahmen eingegeben wird. Die Analyse-Fenster und das Synthese-Fenster, die verwendet werden, um den Rahmen im Codierer-Eingabepuffer zu verarbeiten, können dieselben sein wie die Analyse- und Synthese-Fenster, die im Verbesserungs-Vorprozessor verwendet werden, oder sie können etwas anders sein, z.B. die Quadratwurzel des im Vorprozessor verwendeten Analyse-Fensters. Solchermaßen kann die vom Vorprozessor verursachte Verzögerung auf ein sehr geringes Niveau, z.B. 1-2 Millisekunden, reduziert werden.
Diese und weitere Aspekte der Erfindung werden angesichts der folgenden Beschreibung der Erfindung erkannt werden und/oder offensichtlich sein.
Das Ziel und die Aufgaben dieser Erfindung werden durch die Verfahren und Systeme gemäß den unabhängigen Ansprüchen 1, 3, 7, 9, 13 und 15 erreicht. Weitere Details sind in den übrigen Unteransprüchen zu finden.
Kurze Beschreibung der Zeichnungen
Die Erfindung wird in Verbindung mit den folgenden Zeichnungen beschrieben, in denen die Bezugszeichen auf die gleichen Elemente deuten und in denen:
1 ein schematisches Blockdiagramm einer exemplarischen Ausführungsform der Erfindung ist.
2 ein Flussdiagramm der Schritte für ein Verfahren zum Verarbeiten von Sprache und anderen Signalen in Übereinstimmung mit der Ausführungsform in 1 ist.
3 ein Flussdiagramm der Schritte für ein Verfahren zum Verbessern von Sprachsignalen in Übereinstimmung mit der Ausführungsform in 1 ist.
4 ein Flussdiagramm der Schritte für ein Verfahren zum adaptiven Einstellen eines A-priori-SNR-Wertes in Übereinstimmung mit der Ausführungsform in 1 ist.
5 ein Flussdiagramm der Schritte für ein Verfahren zur Anwendung eines Grenzwerts auf den A-priori-Rauschabstand zur Verwendung in einer Verstärkungsberechnung ist.
Detaillierte Beschreibung
A. Einführung in exemplarische Ausführungsformen
Wie es auf dem Gebiet der Sprachcodierung gebräuchlich ist, wird die exemplarische Ausführungsform der vorliegenden Erfindung als einzelne Funktionsblöcke (oder „Module") umfassend dargestellt. Die Funktionen, die diese Blöcke darstellen, können mittels Verwendung entweder einer gemeinsamen oder einer dedizierten Hardware bereitgestellt werden, einschließlich, aber nicht beschränkt auf Hardware, die in der Lage ist, Software auszuführen. Zum Beispiel können die in 1 gezeigten Funktionen der Blöcke 1-5 von einem einzigen gemeinsamen Prozessor bereitgestellt werden. (Die Verwendung des Begriffs „Prozessor" sollte nicht so aufgefasst werden, als betreffe er ausschließlich Hardware, die in der Lage ist, Software auszuführen.)
Exemplarische Ausführungsformen können mit Digitalsignalprozessoren (DSP) oder einer Allzweck-Personalcomputer-(PC-)Hardware, die von einer Reihe von Herstellern erhältlich ist, einem Nur-Lese-Speicher (read-only memory, ROM) zum Speichern der Software, die die unten erörterten Operationen durchführt, und einem Direktzugriffsspeicher (random access memory, RAM) zum Speichern der DSP/PC-Ergebnisse realisiert werden. Ausführungsformen mit Höchstintegrations-(very large scale integration-, VLSI-) Hardware, ebenso wie kundenspezifische VLSI-Schaltungen in Verbindung mit einer Allzweck-DSP/PC-Schaltung, können ebenfalls bereitgestellt werden.
Exemplarische Software zum Durchführen der in 1 dargestellten Funktionen wird im Software-Anhang hierzu bereitgestellt.
B. Die exemplarische Ausführungsform
1 zeigt ein schematisches Blockdiagramm einer exemplarischen Ausführungsform 8 der Erfindung. Wie in 1 gezeigt, verarbeitet die exemplarische Ausführungsform verschiedene Signale, die die Sprachinformation darstellen. Diese Signale schließen ein Sprachsignal ein (das eine reine Sprachkomponente s(k) und eine Hintergrundrauschen-Komponente n (k) einschließt), Datenrahmen davon, Spektralamplituden, spektrale Phasen und codierte Sprache. In diesem Beispiel wird das Sprachsignal durch einen Sprachverbesserungs-Vorprozessor 8 verbessert und dann von einem Codierer 7 codiert. Der Codierer 7 in dieser exemplarischen Ausführungsform ist ein 2400-bps-MIL Standard MELP-Codierer, wie beispielsweise derjenige, der in A. McCree u. a., „A 2.4 KBIT/S MELP Coder Candidate for the New U.S. Federal Standard," Proc., IEEE Intl. Conf. Acoustics, Speech, Signal Processing (ICASSP), S. 200-203, 1996, hiermit durch Bezugnahme vollständig eingeschlossen, beschrieben ist. Die 2, 3, 4 und 5 zeigen Flussdiagramme der Verfahren, die durch die in 1 gezeigten Module durchgeführt werden.
1. Das Segmentierungsmodul
Das Sprachsignal, s(k) + n(k), wird in ein Segmentierungsmodul 1 eingegeben. Das Segmentierungsmodul 1 segmentiert das Sprachsignal in Rahmen von 256 Proben von Sprach- und Geräuschdaten (siehe Schritt 100 in 2; der Datenrahmen kann jede gewünschte Größe, wie beispielsweise die exemplarischen 256 Proben, haben) und legt ein Analyse-Fenster an die Rahmen an, bevor die Rahmen in die Frequenzdomäne umgewandelt werden (siehe Schritt 200 in 2). Wie gut bekannt ist, beeinflusst das Anlegen des Analyse-Fensters an den Rahmen die Spektraldarstellung des Sprachsignals.
Das Analyse-Fenster ist an beiden Enden verjüngt, um das Nebensprechen zwischen Teilbändern im Rahmen zu reduzieren. Das Bereitstellen einer langen Verjüngung für das Analyse-Fenster reduziert das Nebensprechen beträchtlich, kann aber zu einer größeren Verzögerung der Vorprozessor- und Codierer-Kombination 10 führen. Die den Vorverarbeitungs- und Codierungs-Operationen innewohnende Verzögerung kann klein gehalten werden, wenn die Rahmenfortschaltung (oder ein Vielfaches davon) des Verbesserungs-Vorprozessors 8 mit der Rahmenfortschaltung des Codierers 7 übereinstimmt. Wenn jedoch die Verschiebung zwischen den später synthetisierten Rahmen im Verbesserungs-Vorprozessor 8 von der typischen Halb-Überdeckung (z.B. 128 Proben) auf die typische Rahmenverschiebung des Codierers 7 (z.B. 180 Proben) anwächst, werden die Übergänge zwischen benachbarten Rahmen des verbesserten Sprachsignals s(k) weniger reibungslos. Diese Unregelmäßigkeiten entstehen, da das Analyse-Fenster das Eingabesignal am meisten an den Rändern eines jeden Rahmens dämpft und die Schätzfehler innerhalb eines jeden Rahmens dazu neigen, sich gleichmäßig über den gesamten Rahmen auszubreiten. Dies führt zu größeren relativen Fehlern an den Rahmengrenzen, und die entstehenden Unregelmäßigkeiten, die sich bei Bedingungen mit niedrigem SNR am deutlichsten bemerkbar machen, können z.B. zu Tonhöhen-Schätzfehlern führen.
Unregelmäßigkeiten können stark reduziert werden, wenn im Verbesserungs-Vorprozessor 8 sowohl ein Analyse- als auch ein Synthese-Fenster verwendet wird. Zum Beispiel ergibt die Quadratwurzel des Tukey-Fensters
eine gute Leistung, wenn sie sowohl als Analyse- als auch als Synthese-Fenster verwendet wird. M ist die Rahmengröße in Proben und M_o die Länge der Überdeckungsabschnitte benachbarter Syntheserahmen.
Auf einen bestimmten Bereich begrenzte Rahmen von Sprachdaten werden als Nächstes verbessert. Auf diesen Verbesserungsschritt wird allgemein als Schritt 300 in 2 und im Speziellen als Sequenz der Schritte in den 3, 4 und 5 Bezug genommen.
2. Das Transformationsmodul
Die auf einen bestimmten Bereich begrenzten Rahmen des Sprachsignals werden an ein Transformationsmodul 2 ausgegeben, das eine gewöhnliche schnelle Fourier-Transformation (FFT) auf den Rahmen anwendet (siehe Schritt 310 in 3). Vom Transformationsmodul 2 ausgegebene Spektralamplituden werden von einem Störschätzmodul 3 verwendet, um den Störgrad im Rahmen zu schätzen.
3. Das Störschätzmodul
Das Störschätzmodul 3 empfängt als Eingabe die vom Transformationsmodul 2 ausgegebenen Spektralamplituden und erzeugt einen Störschätzwert zur Ausgabe an das Verstärkungsfunktionsmodul 4 (siehe Schritt 320 in 3). Der Störschätzwert schließt normal berechnete A-priori- und A-posteriori-SNRs ein. Das Störschätzmodul 3 kann mit jeder herkömmlichen Störschätztechnik verwirklicht werden, und es kann in Übereinstimmung mit der Störschätztechnik verwirklicht werden, die in der oben erwähnten vorläufigen U.S.-Anmeldung Nr. 60/119,279, eingereicht am 9. Februar 1999, erläutert wird.
4. Der Verstärkungsfunktionsmodul
Um musikalische Verzerrungen zu verhindern und die Verzerrung der gesamten spektralen Form der Sprachklänge zu vermeiden (und solchermaßen die Störung der Schätzung der spektralen Parameter zu vermeiden), muss die untere Grenze der Verstärkung G für Rahmen, die nur Hintergrundrauschen (eine Sprechpause) darstellen, auf einen ersten Wert gesetzt und für Rahmen, die aktive Sprache darstellen, auf einen zweiten niedrigeren Wert gesetzt werden. Diese Grenzen und die Verstärkung werden exemplarisch wie folgt bestimmt.
4.1 Einschränken des A-priori-SNR
Die Verstärkungsfunktion G, die vom Modul 4 bestimmt wird, ist eine Funktion eines A-priori-SNR-Wertes ξk und eines A-posteriori-SNR-Wertes γk (oben erwähnt). Der A-priori-SNR-Wert ξk wird auf der Grundlage, ob der aktuelle Rahmen Sprache und Geräusch oder nur Geräusch enthält, und auf der Grundlage eines geschätzten langfristigen SNR für die Sprachdaten durch das Verstärkungsfunktionsmodul 4 adaptiv begrenzt. Wenn der aktuelle Rahmen nur Geräusch enthält (siehe Schritt 331 in 4), wird für den A-priori-SNR-Wert ξk vorzugsweise eine vorläufige untere Grenze ξ_min1(λ) = 0,12 gesetzt (siehe Schritt 332 in 4). Wenn der aktuelle Rahmen Sprache und Geräusch (d.h. aktive Sprache) enthält, wird die vorläufige untere Grenze ξ_min1(λ) gesetzt auf ξmin1(λ) = 0.12 exp(–5)(0.5 + SNRLT(λ))0,65 (3)worin SNR_LT das langfristige SNR für die Sprachdaten und λ der Rahmenindex für den aktuellen Rahmen (siehe Schritt 333 in 4) ist. Jedoch wird ξ_min1 so eingestellt, dass es nicht größer ist als 0,25 (siehe Schritte 334 und 335 in 4). Das langfristige SNR_LT wird bestimmt, indem über mehrere Rahmen das Verhältnis der durchschnittlichen Stärke des Sprachsignals zu der durchschnittlichen Stärke des Geräuschs berechnet und 1 vom berechneten Verhältnis subtrahiert wird. Vorzugsweise werden der Mittelwert des Sprachsignals und des Geräuschs über mehrere Rahmen erstellt, die 1-2 Sekunden des Signals darstellen. Wenn das SNR_LT kleiner als 0 ist, wird es gleich 0 gesetzt.
Die eigentliche untere Grenze für das A-priori-SNR wird durch einen rekursiven Filter erster Ordnung bestimmt: ξmin(λ) = 0.9ξmin(λ – 1) + 0.1ξmin1(λ) (4)
Der Filter sorgt für einen glatten Übergang zwischen den vorläufigen Werten für Sprachrahmen und Nur-Geräusch-Rahmen (siehe Schritt 336 in 4). Die geglättete untere Grenze ξ_min(λ) wird dann in der unten erörterten Verstärkungsberechnung als untere Grenze für den A-priori-SNR-Wert ξ_k(λ) verwendet.
4.2 Bestimmung der Verstärkung mit einem begrenzten A-priori-SNR
Wie im Fachgebiet bekannt ist, ist die Verstärkung G, die in Sprachverbesserungs-Vorprozessoren verwendet wird, eine Funktion des A-priori-Rauschabstands ξ und des A-posteriori-SNR-Wertes γ. Das heißt: G_k = f(ξ_k(λ),_γk(λ)), worin λ der Rahmenindex und k der Teilbandindex ist. In Übereinstimmung mit einer Ausführungsform dieser Erfindung wird die untere Grenze des A-priori-SNR, ξ_min(λ), auf den A-priori-SNR (der durch das Störschätzmodul 3 bestimmt wird) wie folgt angewandt: ξk(λ) = ξk(λ) if ξk(λ) > ξmin(λ) ξk(λ) = ξmin(λ) if ξk(λ) ≤ ξmin(λ)(siehe Schritte 510 und 520 in 5).
Auf der Grundlage der vom Störschätzmodul 3 aufgestellten A-posteriori-SNR-Schätzung und des begrenzten A-priori-SNR, die oben erörtert sind, bestimmt das Verstärkungsfunktionsmodul 4 eine Verstärkungsfunktion G (siehe Schritt 530, 5). Eine geeignete Verstärkungsfunktion zur Verwendung bei der Verwirklichung dieser Ausführungsform ist ein gewöhnlicher statistischer logarithmischer Mindest-Gesamtfehler-Spektralamplituden-Schätzwert (Minimum Mean Square Error Log Spectral Amplitude Estimator, MMSE LSA) wie beispielsweise derjenige, der in Y. Ephraim u. a., „Speech Enhancement Using a Minimum Mean-Square Error Log-Spectral Amplitude Estimator," IEEE Trans. Acoustics, Speech and Signal Processing, Band 33, S. 443-445, April 1985, hiermit durch Bezugnahme als ob vollständig geschildert eingeschlossen, beschrieben wird. Eine weitere Verbesserung kann erzielt werden, indem ein multiplikativ modifizierter MMSE LSA-Schätzwert wie z.B. jener verwendet wird, der in D. Malah u. a., „Tracking Speech Presence Uncertainty to Improve Speech Enhancement in Non-Stationary Noise Environments," Proc. ICASSP, 1999, beschrieben wird, um die Wahrscheinlichkeit der Sprachpräsenz zu erklären. Dieser Verweis ist durch die Bezugnahme so eingeschlossen, als wäre er hierin vollständig dargestellt.
5. Anwenden der Verstärkungsfunktion
Die Verstärkung G wird an die Rausch-Spektralamplituden des Datenrahmens angelegt, die vom Transformationsmodul 2 ausgegeben werden. Dies wird auf herkömmliche Weise durchgeführt, indem die Rausch-Spektralamplituden mit der Verstärkung multipliziert werden, wie in 1 gezeigt (siehe Schritt 340 in 3).
6. Das Invers-Transformationsmodul
Eine herkömmliche inverse FFT wird durch das Invers-Transformationsmodul 5, das einen Rahmen verbesserter Sprache an ein Überdeckungs-/Hinzufügungsmodul 6 ausgibt, auf die verbesserten Spektralamplituden angewandt (siehe Schritt 350 in 3).
7. Überdeckungs-/Hinzufügungsmodul; Verzögerungsabnahme
Das Überdeckungs-/Hinzufügungsmodul 6 synthetisiert die Ausgabe des Invers-Transformationsmoduls 5 und gibt das verbesserte Sprachsignal s(k) an den Codierer 7 aus. Vorzugsweise reduziert das Überdeckungs-/Hinzufügungsmodul 6 die durch den Verbesserungs-Vorprozessor 8 verursachte Verzögerung, indem die linke „Hälfte" (z.B. die weniger aktuellen 180 Proben) im Rahmen mit einem Synthese-Fenster multipliziert und die rechte Hälfte (z.B. die aktuelleren 76 Proben) im Rahmen mit einem Invers-Analyse-Fenster multipliziert werden (siehe Schritt 400 in 2). Das Synthese-Fenster kann sich vom Analyse-Fenster unterscheiden, ist aber vorzugsweise mit dem Analysefenster identisch (zusätzlich sind diese Fenster vorzugsweise identisch mit dem Analyse-Fenster, auf das im Schritt 200 in 2 verwiesen wird). Die Probengrößen der linken und rechten „Hälften" des Rahmens werden auf der Grundlage des Ausmaßes der Datenumschaltung, die, wie unten erörtert (siehe die Abhandlung, die den Schritt 800, unten, betrifft) im Eingabepuffer des Codierers 7 erfolgt, variieren. In diesem Fall werden die Daten im Eingabepuffer des Codierers 7 um 180 Proben verschoben. So schließt die linke Hälfte des Rahmens 180 Proben ein. Da die Analyse-/Synthese-Fenster an den Rahmenrändern eine starke Dämpfung haben, wird das Multiplizieren des Rahmens mit dem Invers-Analyse-Filter Schätzungsfehler an den Rahmengrenzen erheblich verstärken. Daher wird vorzugsweise eine kleine Verzögerung von 2-3 ms bereitgestellt, so dass der Invers-Analyse-Filter nicht mit den letzten 16-24 Proben des Rahmens multipliziert wird.
Sobald der Rahmen mittels des Synthese- und Invers-Analyse-Fensters eingestellt wurde, wird er dem Eingabepuffer (nicht gezeigt) des Codierers 7 zur Verfügung gestellt (siehe Schritt 500 in 2). Der linke Abschnitt des aktuellen Rahmens wird durch die rechte Hälfte des vorhergehenden Rahmens, der bereits in den Eingabepuffer geladen wurde, überdeckt. Der rechte Abschnitt des aktuellen Rahmens wird jedoch durch keinen Rahmen oder Abschnitt eines Rahmens im Eingabepuffer überdeckt. Der Codierer 7 verwendet dann die Daten im Eingabepuffer einschließlich des neu eingegebenen Rahmens und der unvollständigen Daten der rechten Hälfte, um Codierungsparameter zu extrahieren (siehe Schritt 600 in 2). Zum Beispiel extrahiert ein gewöhnlicher MELP-Codierer 10 Koeffizienten linearer Prädiktion, 2 Verstärkungsfaktoren, 1 Tonhöhenwert, 5 Bandpass-Sprachstärkenwerte, 10 Fourier-Magnituden und ein aperiodisches Flag aus Daten in seinem Eingabepuffer. Jedoch kann jede gewünschte Information aus dem Rahmen extrahiert werden. Da der MELP-Codierer 7 die letzten 60 Proben im Eingabepuffer nicht für die LPC-Analyse oder Berechnung des ersten Verstärkungsfaktors verwendet, haben eventuelle Verbesserungsfehler in diesen Proben einen geringen Einfluss auf die Gesamtleistung des Codierers 7.
Nachdem der Codierer 7 die Codierungsparameter extrahiert hat, wird die rechte Hälfte des letzten Eingaberahmens (z.B. die aktuelleren 76 Proben) mit den Analyse- und Synthese-Fenstern multipliziert (siehe Schritt 700 in 2). Diese Analyse- und Synthese-Fenster sind vorzugsweise dieselben wie jene, auf die im Schritt 200 oben verwiesen wird (sie könnten jedoch anders sein, wie beispielsweise die Quadratwurzel des Analyse-Fensters in Schritt 200).
Als Nächstes werden die Daten im Eingabepuffer als Vorbereitung auf die Eingabe des nächsten Rahmens verschoben; z.B. werden die Daten um 180 Proben verschoben (siehe Schritt 800 in 2). Wie oben erörtert, können die Analyse- und Synthese-Fenster identisch mit dem im Verbesserungs-Vorprozessor 8 verwendeten Analyse-Fenster sein, oder sie können sich vom Analyse-Fenster unterscheiden, z.B. die Quadratwurzel des Analyse-Fensters sein. Durch das Verschieben des letzten Teils der Überdeckungs-/Hinzufügungs-Operationen in den Eingabepuffer des Codierers 7 kann die Verzögerung der Verbesserungs-Vorprozessor 8-/Codierer 7-Kombination auf 2-3 Millisekunden reduziert werden, ohne dass das auf Kosten der spektralen Auflösung oder der Nebensprechreduzierung im Verbesserungs-Vorprozessor 8 geht.
C. Erörterung
Obwohl die Erfindung in Verbindung mit ihren spezifischen Ausführungsformen beschrieben wurde, ist es deutlich, dass für den Fachmann auf dem Gebiet viele Alternativen, Modifikationen und Variationen offensichtlich sein werden. Entsprechend sind die bevorzugten Ausführungsformen der Erfindung, wie hierin geschildert, als illustrativ und nicht als einschränkend gedacht. Verschiedene Änderungen können vorgenommen werden, ohne sich vom Geist und vom Schutzumfang der Erfindung zu lösen.
Obwohl z.B. die exemplarische Ausführungsform der vorliegenden Erfindung als in Verbindung mit einem gewöhnlichen MELP-Sprachcodierer arbeitend dargestellt wird, können in Verbindung mit der Erfindung andere Sprachcodierer verwendet werden.
Die exemplarische Ausführungsform der vorliegenden Erfindung benutzt eine FFT und IFFT; jedoch können andere Transformationen bei der Realisierung der vorliegenden Erfindung verwendet werden, wie beispielsweise eine diskrete Fourier-Transformation (DFT) und inverse DFT.
Obwohl die Störschätztechnik in der erwähnten vorläufigen Patentanmeldung für das Störschätzmodul 3 geeignet ist, können auch andere Algorithmen, wie z.B. jene verwendet werden, denen eine Sprachaktivitätserfassung oder ein spektraler Mindest-Verfolgungs-Lösungsweg (spectral minimum tracking) zugrundeliegt, wie er beispielsweise in D. Malah u. a., „Tracking Speech Presence Uncertainty to Improve Speech Enhancement in Non-Stationary Noise Environments", Proc. IEEE Intl. Conf. Acoustics, Speech, Signal Processing (ICASSP), 1999; oder R. Martin, „Spectral Subtraction Based on Minimum Statistics", Proc. European Signal Processing Conference, Band 1, 1994, beschrieben wird, die hiermit durch Bezugnahme in ihrer Gesamtheit eingeschlossen sind.
Obwohl die vorläufige untere Grenze ξ_min1(λ) = 0,12 vorzugsweise für den A-priori-SNR-Wert ξ_k eingestellt wird, wenn ein Rahmen eine Sprechpause darstellt (nur Hintergrundrauschen), könnte diese vorläufige untere Grenze ξ_min1 auch auf andere Werte gesetzt werden.
Das Verfahren zum Einschränken des A-priori-SNR ist nur ein möglicher Mechanismus zur Begrenzung der Verstärkungswerte, die an die Rausch-Spektralamplituden angelegt werden. Jedoch könnten andere Verfahren zur Begrenzung der Verstärkungswerte benutzt werden. Es ist vorteilhaft, dass die untere Grenze der Verstärkungswerte für Rahmen, die eine Sprachaktivität darstellen, niedriger ist als die untere Grenze der Verstärkungswerte für Rahmen, die nur Hintergrundrauschen darstellen. Jedoch könnte dieser Vorteil anders erzielt werden, z.B. durch die direkte Begrenzung der Verstärkungswerte (anstatt der Begrenzung eines Funktions-Vorläufers der Verstärkung, wie z.B. eines A-priori-SNR).
Obwohl die vom Invers-Transformationsmodul 5 des Verbesserungs-Vorprozessors 8 ausgegebenen Rahmen vorzugsweise wie oben beschrieben verarbeitet werden, um die vom Verbesserungs-Vorprozessor 8 verursachte Verzögerung zu reduzieren, ist diese Verzögerungsreduktions-Verarbeitung nicht erforderlich, um die Verbesserung zu erreichen. Daher könnte der Verbesserungs-Vorprozessor 8 arbeiten, um, wie oben illustrativ erörtert (z.B. durch das adaptive Begrenzen des A-priori-SNR-Wertes ξ_k), das Sprachsignal durch Verstärkungsbegrenzung zu verbessern. Ähnlich erfordert die Verzögerungsreduktion, wie oben illustrativ erörtert, keine Anwendung des Verstärkungsbegrenzungsverfahrens.
Die Verzögerung in anderen Datenverarbeitungs-Operationen kann reduziert werden, indem ein erstes Verfahren auf einen ersten Abschnitt eines Datenrahmens, d.h. eine beliebige Datengruppe, angewandt und ein zweites Verfahren auf einen zweiten Abschnitt des Datenrahmens angewandt wird. Das erste und das zweite Verfahren könnten jede gewünschte Verarbeitung einschließlich der Verbesserungsverarbeitung beinhalten. Als Nächstes wird der Rahmen mit anderen Daten kombiniert, so dass der erste Abschnitt des Rahmens mit anderen Daten kombiniert wird. Informationen, wie beispielsweise Codierungsparameter, werden aus dem Rahmen extrahiert, der die kombinierten Daten einschließt. Nachdem die Informationen extrahiert wurden, wird als Vorbereitung auf die Kombination mit Daten in einem anderen Rahmen ein drittes Verfahren auf den zweiten Abschnitt des Rahmens angewandt.
ÜBERSETZUNG DES SOFTWARELISTINGS DER SEITEN 17 bis 66

Claims

Ein Verfahren zur Verbesserung eines Sprachsignals zur Verwendung in der Sprachcodierung, wobei das Sprachsignal Hintergrundrauschen und Perioden artikulierter Sprache darstellt, wobei das Sprachsignal in eine Vielzahl von Datenrahmen unterteilt ist, wobei das Verfahren folgende Schritte umfasst: Anwendung einer Teilband-Dekomprimierung auf das Sprachsignal eines Datenrahmens, um eine Vielzahl von Teilband-Sprachsignalen zu erzeugen; Durchführung einer Bestimmung, ob das Sprachsignal, das dem Datenrahmen entspricht, artikulierte Sprache darstellt; Anwendung einzelner Verstärkungswerte auf einzelne Teilband-Sprachsignale, worin der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als artikulierte Sprache darstellend bestimmt wurde, niedriger ist als der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als nur Hintergrundrauschen darstellend bestimmt wurde; und Anwendung einer Teilband-Synthese auf die Vielzahl von Teilband-Sprachsignalen.
Das Verfahren von Anspruch 1, das weiter den Schritt der Bestimmung der einzelnen Verstärkungswerte umfasst und worin der niedrigste zulässige Verstärkungswert eine Funktion eines niedrigsten zulässigen A-priori-Rauschabstands ist.
Ein Verfahren zur Verbesserung eines Signals zur Verwendung in der Sprachverarbeitung, wobei das Signal in Datenrahmen unterteilt ist und Hintergrundrauschen-Informationen und Informationen für Perioden artikulierter Sprache darstellt, wobei das Verfahren folgende Schritte umfasst: Umwandeln des Sprachsignals eines Datenrahmens in Spektralamplituden; Durchführung einer Bestimmung, ob das Signal eines Daten rahmens Informationen für artikulierte Sprache darstellt, und Anwendung eines Verstärkungswerts auf die Spektralamplituden des Signals, worin der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als artikulierte Sprache darstellend bestimmt wurde, niedriger ist als der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als nur Hintergrundrauschen darstellend bestimmt wurde.
Das Verfahren von Anspruch 3, das weiter den Schritt der Bestimmung des Verstärkungswerts umfasst und worin der niedrigste zulässige Verstärkungswert eine Funktion eines niedrigsten zulässigen A-priori-Rauschabstands ist.
Das Verfahren von Anspruch 4, worin der niedrigste zulässige A-priori-Rauschabstand für einen Datenrahmen bestimmt wird unter Verwendung eines rekursiven Filters erster Ordnung, der einen niedrigsten zulässigen A-priori-Rauschabstand, welcher für einen vorhergehenden Datenrahmen bestimmt wurde, und eine vorläufige Untergrenze für den A-priori-Rauschabstand des Datenrahmens kombiniert.
Das Verfahren von Anspruch 2, worin der niedrigste zulässige A-priori-Rauschabstand für einen Datenrahmen bestimmt wird unter Verwendung eines rekursiven Filters erster Ordnung, welcher einen niedrigsten zulässigen A-priori-Rauschabstand, der für einen vorhergehenden Datenrahmen bestimmt wurde, und eine vorläufige Untergrenze für den A-priori-Rauschabstand des Datenrahmens kombiniert.
Ein System zur Verbesserung eines Sprachsignals zur Verwendung in der Sprachcodierung, wobei das Sprachsignal Hintergrundrauschen und Perioden artikulierter Sprache darstellt, wobei das Sprachsignal in eine Vielzahl von Datenrahmen unterteilt ist, wobei das System folgendes umfasst: ein Modul, ausgebildet, um das Sprachsignal eines Datenrahmens zu zerlegen, um eine Vielzahl von Teilband-Sprach signalen zu erzeugen; ein Modul, ausgebildet, um eine Bestimmung durchzuführen, ob das Sprachsignal, das dem Datenrahmen entspricht, artikulierte Sprache darstellt; ein Modul, ausgebildet, um einzelne Verstärkungswerte auf einzelne Teilband-Sprachsignale anzuwenden, worin der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als artikulierte Sprache darstellend bestimmt wurde, niedriger ist als der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als nur Hintergrundrauschen darstellend bestimmt wurde; und ein Modul, ausgebildet, um eine Teilband-Synthese auf die Vielzahl von Teilband-Sprachsignalen anzuwenden.
Das System von Anspruch 7, das weiter ein Modul umfasst, welches ausgebildet ist, um die einzelnen Verstärkungswerte zu bestimmen, und worin der niedrigste zulässige Verstärkungswert eine Funktion eines niedrigsten zulässigen A-priori-Rauschabstands ist.
Ein System zur Verbesserung eines Signals zur Verwendung in der Sprachverarbeitung, wobei das Signal in Datenrahmen unterteilt ist und Hintergrundrauschen-Informationen und Informationen für Perioden artikulierter Sprache darstellt, wobei das System folgendes umfasst: ein Modul, ausgebildet, um das Sprachsignal eines Datenrahmens in Spektralamplituden umzuwandeln; ein Modul, ausgebildet, um eine Bestimmung durchzuführen, ob das Signal eines Datenrahmens Informationen für artikulierte Sprache darstellt, und ein Modul, ausgebildet, um einen Verstärkungswert auf die Spektralamplituden des Signals anzuwenden, worin der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als artikulierte Sprache darstellend bestimmt wurde, niedriger ist als der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als nur Hintergrundrauschen darstellend bestimmt wurde.
Das System von Anspruch 9, das weiter ein Modul umfasst, ausgebildet, um den Verstärkungswert zu bestimmen, und worin der niedrigste zulässige Verstärkungswert eine Funktion eines niedrigsten zulässigen A-priori-Rauschabstands ist.
Das System von Anspruch 10, worin der niedrigste zulässige A-priori-Rauschabstand für einen Datenrahmen bestimmt wird unter Verwendung eines rekursiven Filters erster Ordnung, der einen niedrigsten zulässigen A-priori-Rauschabstand, welcher für einen vorhergehenden Datenrahmen bestimmt wurde, und eine vorläufige Untergrenze für den A-priori-Rauschabstand des Datenrahmens kombiniert.
Das System von Anspruch 8, worin der niedrigste zulässige A-priori-Rauschabstand für einen Datenrahmen unter Verwendung eines rekursiven Filters erster Ordnung bestimmt wird, welcher einen niedrigsten zulässigen A-priori-Rauschabstand, der für einen vorhergehenden Datenrahmen bestimmt wurde, und eine vorläufige Untergrenze für den A-priori-Rauschabstand des Datenrahmens kombiniert.
Ein computerlesbares Medium, das Anweisungen zur Steuerung einer Rechenvorrichtung zur Verbesserung eines Sprachsignals zur Verwendung in der Sprachcodierung speichert, wobei das Sprachsignal Hintergrundrauschen und Perioden artikulierter Sprache darstellt, wobei das Sprachsignal in eine Vielzahl von Datenrahmen unterteilt ist; wobei die Anweisungen veranlassen, wenn sie ausgeführt werden, dass die Rechenvorrichtung die folgenden Schritte durchführt: Anwendung einer Teilband-Dekomprimierung auf das Sprachsignal eines Datenrahmens, um eine Vielzahl von Teilband-Sprachsignalen zu erzeugen; Durchführung einer Bestimmung, ob das Sprachsignal, das dem Datenrahmen entspricht, artikulierte Sprache darstellt; Anwendung einzelner Verstärkungswerte auf einzelne Teil band-Sprachsignale, worin der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als artikulierte Sprache darstellend bestimmt wurde, niedriger ist als der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als nur Hintergrundrauschen darstellend bestimmt wurde; und Anwendung einer Teilband-Synthese auf die Vielzahl von Teilband-Sprachsignalen.
Das computerlesbare Medium von Anspruch 13, worin die Anweisungen weiter die Bestimmung der einzelnen Verstärkungswerte umfassen und worin der niedrigste zulässige Verstärkungswert eine Funktion eines niedrigsten zulässigen A-priori-Rauschabstands ist.
Ein computerlesbares Medium, das Anweisungen zur Steuerung einer Rechenvorrichtung zur Verbesserung eines Signals zur Verwendung in der Sprachverarbeitung speichert, wobei das Signal in Datenrahmen unterteilt ist und Hintergrundrauschen-Informationen und Informationen für Perioden artikulierter Sprache darstellt; wobei die Anweisungen veranlassen, wenn sie ausgeführt werden, dass die Rechenvorrichtung die folgenden Schritte durchführt: Umwandeln des Sprachsignals eines Datenrahmens in Spektralamplituden; Durchführung einer Bestimmung, ob das Signal eines Datenrahmens Informationen über artikulierte Sprache darstellt; und Anwendung eines Verstärkungswerts auf die Spektralamplituden des Signals, worin der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als artikulierte Sprache darstellend bestimmt wurde, niedriger ist als der niedrigste zulässige Verstärkungswert, der für einen Datenrahmen angewandt werden kann, welcher als nur Hintergrundrauschen darstellend bestimmt wurde.
Das computerlesbare Medium von Anspruch 15, wobei die Anweisungen weiter die Bestimmung des Verstärkungswerts umfassen und worin der niedrigste zulässige Verstärkungswert eine Funktion eines niedrigsten zulässigen A-priori-Rauschabstands ist.
Das computerlesbare Medium von Anspruch 16, worin der niedrigste zulässige A-priori-Rauschabstand für einen Datenrahmen unter Verwendung eines rekursiven Filters erster Ordnung bestimmt wird, der einen niedrigsten zulässigen A-priori-Rauschabstand, welcher für einen vorhergehenden Datenrahmen bestimmt wurde, und eine vorläufige Untergrenze für den A-priori-Rauschabstand des Datenrahmens kombiniert.
Das computerlesbare Medium von Anspruch 17, worin der niedrigste zulässige A-priori-Rauschabstand für einen Datenrahmen bestimmt wird unter Verwendung eines rekursiven Filters erster Ordnung, der einen niedrigsten zulässigen A-priori-Rauschabstand, welcher für einen vorhergehenden Datenrahmen bestimmt wurde, und eine vorläufige Untergrenze für den A-priori-Rauschabstand des Datenrahmens kombiniert.