DE60316704T2

DE60316704T2 - Mehrkanalige spracherkennung in ungünstigen umgebungen

Info

Publication number: DE60316704T2
Application number: DE60316704T
Authority: DE
Inventors: Radu Victor Levittown BALAN; Justinian Princeton Junction ROSCA; Christophe Beaugeant
Original assignee: Siemens Corporate Research Inc
Current assignee: Siemens Corp
Priority date: 2002-08-30
Filing date: 2003-07-21
Publication date: 2008-07-17
Anticipated expiration: 2023-07-22
Also published as: WO2004021333A1; US20040042626A1; EP1547061B1; EP1547061A1; US7146315B2; DE60316704D1; CN100476949C; CN1679083A

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die Erfindung betrifft allgemein Digitalsignalverarbeitungssysteme und insbesondere ein System und ein Verfahren zur Stimmenaktivitätsermittlung in ungünstigen Umgebungen, z. B. lauten Umgebungen.
2. Beschreibung des verwandten Standes der Technik
Die Ermittlung der Aktivität einer Stimme (und genauer gesagt einer akustischen Quelle) (voice activity detection, VAD) ist ein Eckpfeiler bei der Signalverarbeitungspraxis und hat oft einen stärkeren Einfluss auf die Gesamtleistung eines Systems als jede andere Komponente. Sprachencodierung, Multimediakommunikation (Stimme und Daten), Sprachenverstärkung unter lauten Bedingungen und Sprachenerkennung sind wichtige Anwendungen, bei denen ein gutes VAD-Verfahren oder -System die Leistung des jeweiligen Systems erheblich verbessern kann. Die Rolle eines VAD-Verfahrens besteht grundsätzlich in dem Extrahieren von Merkmalen eines akustischen Signals, die Unterschiede zwischen Sprache und Rauschen verstärken, und in ihrer anschließenden Klassifizieren, so dass eine endgültige VAD-Entscheidung getroffen wird. Die Vielfalt und variable Natur von Sprache und Hintergrundgeräuschen macht das VAD-Problem zu einer Herausforderung.
Üblicherweise verwenden VAD-Verfahren Energiekriterien, wie eine Abschätzung des SNR (Signal-Rauschen-Verhältnis) auf Basis einer Langzeitgeräuschbewertung, wie in K. Srinivasan und A. Gersho, Voice activity detection for cellular networks, in Proc. of the IEEE Speech Coding Workshop, Okt. 1993, S. 85–86 beschrieben. Verbesserungen schlugen die Verwendung eines statistischen Modells des Audiosignals und Ableitung des Wahrscheinlichkeitsverhältnisses vor, wie in Y. D. Cho, K. Al-Naimi und A. Kondoz, Improved voice activity detection based an a smoothed statistical likelihood ratio, in Proceedings ICASSP 2001, IEEE Press beschrieben, oder die Berechnung der Kurtose, wie in R. Goubran, E. Nemer und S. Mahmoud, Snr estimation of speech signals using subbands and fourth-order statistics, IEEE Signal Processing Letters, Bd. 6, Nr. 7, S. 171–174, Juli 1999. Ersatzweise versuchen andere VAD-Verfahren die Extraktion robuster Merkmale (z. B. das Vorliegen einer Abweichung in der Stimmhöhe, die Formantenform oder das Cepstrum), die dann mit einem Sprachenmodell verglichen werden- Vor kurzem hat man Mehrkanal- (z. B. mit mehreren Mikrophonen oder Sensoren) VAD-Algorithmen untersucht, um die von den zusätzlichen Sensoren gelieferte Extrainformation zu nutzen.
EP 0 081 985 offenbart ein Geräuschverringerungssystem, das arbeitet, wenn Sprache ermittelt wird. Das Geräuschverringerungssystem verarbeitet Signale von mehreren Mikrophonen unter Verwendung schneller Fourier-Transformationen und adaptiver Filter, so dass eine gefiltertes Signal erhalten wird, und unter Aufsummieren des Signals.
Balan R. et al.: "Microphone array speech enhancement by Bayesian estimation of spectral amplitude and Phase", SAM 2002, 4. August 2002, 209–213, XP010635740 rosslyv, VA, USA, offenbart eine Signalverarbeitung für Mikrophonreihen, die sich zur Abschätzung von Signalmerkmalen eignet.
ZUSAMMENFASSUNG DER ERFINDUNG
Die Ermittlung, wann Stimmen vorhanden sind oder nicht, ist ein herausragendes Problem bei der Sprachenübertragung, -verstärkung und -erkennung. Hier wird ein neues Mehrkanal-Quellenaktivitätsermittlungssystem, z. B. ein Stimmenaktivitätsermittlung-(VAD-)System bereitgestellt, das die räumliche Position einer Zielaudioquelle nutzt. Das VAD-System verwendet eine Reihensignalverarbeitungstechnik zur Maximierung des Signal-Störungs-Verhältnisses für die Zielquelle, wodurch die Aktivitätsermittlungsfehlerrate kleiner wird. Das System nutzt Ausgaben von mindestens zwei Mikrophonen, die in einer lauten Umgebung, z. B. einem Auto, platziert sind. Es gibt ein binäres Signal (0/1) aus, das dem Fehlen (0) bzw. Vorhandensein (1) der Stimmensignale eines Fahrers und/oder Passagiers entspricht. Die VAD-Ausgabe kann von anderen Signalverarbeitungskomponenten verwendet werden, damit zum Beispiel das Stimmensignal verstärkt wird.
Die Erfindung ist in den unabhängigen Ansprüchen definiert, auf die jetzt verwiesen werden soll. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen dargelegt.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorstehenden und weitere Aufgaben, Merkmale und Vorteile der Erfindung werden angesichts der folgenden eingehenden Beschreibung zusammen mit den beigefügten Zeichnungen deutlicher. Es zeigt/zeigen:
1A und 1B schematisch zwei Szenarien zur Implementierung des erfindungsgemäßen Systems und des erfindungsgemäßen Verfahrens. 1A veranschaulicht ein Szenario unter Verwendung von zwei festen Mikrophonen im Auto. 1B veranschaulicht das Szenario, bei dem ein festes Mikrophon und ein zweites Mikrophon in einem Mobiltelefon verwendet werden;
2 ein Blockdiagramm von einem Stimmenaktivitätsermittlungs-(VAD-)System und -Verfahren nach einer ersten Ausführungsform der Erfindung;
3 eine Tabelle mit den Fehlertypen, die bei der Bewertung von VAD-Verfahren berücksichtigt werden;
4 ein Diagramm der Rahmenfehlerhäufigkeiten, bezogen auf den Fehlertyp, und des Gesamtfehlers für ein Szenario mit mittlerem Lärm und fernem Mikrophon;
5 ein Diagramm der Rahmenfehlerhäufigkeiten, bezogen auf den Fehlertyp, und des Gesamtfehlers für ein Szenario mit hohem Lärm und fernem Mikrophon; und
6 ein Blockdiagramm, das ein Stimmenaktivitätsermittlungs-(VAD-)System und -Verfahren nach einer zweiten Ausführungsform der Erfindung verdeutlicht.
EINGEHENDE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Im Folgenden werden bevorzugte Ausführungsformen der Erfindung anhand der beigefügten Zeichnungen beschrieben. In der folgenden Beschreibung sind bekannte Funktionen oder Konstruktionen nicht im Einzelnen beschrieben, damit sich die Erfindung nicht unnötig im Detail verliert.
Bereitgestellt wird ein Mehrkanal-VAD-(voice acitivity detection, Stimmenaktivitätsermittlungs-)System und -Verfahren, mit dem bestimmt wird, ob in einem Signal Sprache vorhanden ist oder nicht. Die räumliche Lokalisierung ist der Schlüssel der Erfindung und kann für Stimmen- als auch für Nicht-Stimmensignale von Interesse gleichermaßen verwendet werden. Zur Veranschaulichung der Erfindung wird folgendes Szenario angenommen: Die Zielquelle (beispielsweise ein sprechende Person) befindet sich in einer lauten Umgebung. Zwei oder mehr Mikrophone zeichnen ein Audiogemisch auf. Siehe zum Beispiel 1A und 1B: In einem Auto werden zwei Signale von zwei Mikrophonen gemessen, wobei ein Mikrophon 102 im Auto befestigt ist und das andere Mikrophon entweder fest im Auto installiert 104 oder sich in einem Mobiltelefon 106 befinden kann. Im Auto gibt es nur einen Sprecher. Sind mehrere Personen zugegen, spricht jeweils nur eine. Man nehme an, dass d die Anzahl an Benutzern ist. Von dem Geräusch wird angenommen, dass es verteilt, aber nicht notwendigerweise gleichmäßig ist, d. h. die Quellen des Geräuschs sind räumlich nicht gut lokalisiert, und die räumliche Kohärenzmatrix kann zeitvariabel sein. In diesem Szenario identifizierten das erfindungsgemäße System und Verfahren blind ein Mischmodell und gibt ein Signal aus, das einer räumlichen Signatur mit dem größtmöglichen Signal-Störungs-Verhältnis (SIR) ist, dass mit linearem Filtern erhal ten werden kann. Das Ausgabesignal enthält zwar große Artefakte und ist zur Signalabschätzung ungeeignet, aber es ist ideal für die Signalaktivitätsermittlung.
Für das Verständnis der verschiedenen Merkmale und Vorteile der Erfindung wird jetzt eine eingehende Beschreibung einer beispielhaften Implementierung gegeben. Im Abschnitt 1 werden das Mischmodell und hauptsächliche statistische Annahmen dargelegt. Abschnitt 2 zeigt die Filterableitungen und stellt die Gesamt-VAD-Architektur dar. Abschnitt 3 widmet sich dem Problem der blinden Modellidentifikation. Abschnitt 4 erläutert die verwendeten Bewertungskriterien und Abschnitt 5 Punkte zur Implementierung und experimentelle Ergebnisse an wirklichen Daten.
1. MISCHMODELL UND STATISCHE ANNAHMEN
Das Zeitdomänen-Mischmodell setzt D Mikrophonsignale x₁(t), ..., x_D(t) voraus, die eine Quelle s(t) sowie Geräuschsignale n₁(t), ..., n_D(t) aufzeichnen:
Dabei sind (aⁱ _k, τⁱ _k) die Abschwächung und Verzögerung auf dem k. Pfad zum Mikrophon i, und L_i ist die Gesamtanzahl der Pfade zum Mikrophon i.
In der Frequenzdomäne werden Konvolutionen zu Multiplikationen. Daher wird die Quelle neu definiert, so dass die Transferfunktion für den ersten Kanal, K, einheitlich wird:
Dabei ist k der Rahmenindex und w der Frequenzindex. Kürzer kann dieses Modell geschrieben werden als X = KS + N (3)wobei X, K, N komplexe Vektoren sind. Der Vektor K ist der Transferfunktionsquotientenvektor und eine Darstellung der räumlichen Signatur der Quelle s.
Folgende Annahmen werden gemacht: (1) Das Quellensignal s(t) ist für alle ṙ statistisch unabhängig von den Geräuschsignalen n_i(t); (2) Der Vektor K(ω) ist entweder zeitunveränderlich oder langsam zeitveränderlich; (3) S(w) ist ein stochastischer Prozess mit Mittelwert Null und der Spektralleistung R_s(w) = E⎣|S|²⎦; und (4) (N₁, N₂, ..., N_D) ist ein stochastisches Signal mit Mittelwert Null mit der Geräusch-Spektralleistungsmatrix R_n(w).
2. FILTERABLEITUNGEN UND VAD-ARCHITEKTUR
In diesem Abschnitt wird ein Filter mit optimaler Verstärkung abgleitet und in der Gesamtsystemarchitektur des VAD-Systems implementiert.
Ein auf X angewendeter linearer Filter A erzeugt: Z = AX = AKS + AN
Es ist der Filter erwünscht, der das SNR (SIR) maximiert. Das durch A erzielte Ausgabe-SNR (oSNR) ist:
Das Maximieren von oSNR über A führt zu einem generalisierten Eigenwertproblem: AR_n = λ AKK*, dessen Maximieren auf Basis der Rayleigh-Quotienten-Theorie erhalten werden kann, wie im Stand der Technik bekannt ist: A = μ K*Rwobei μ ein willkürlicher Skalar ungleich Null ist. Dieses Ausdruck legt nahe, dass man die Ausgabe Z durch einen Energiedetektor mit einer energieabhängigen Schwelle laufen lässt für die Entscheidung, ob das Quellensignal im derzeitigen Datenrahmen vorhanden ist oder nicht. Die Stimmenaktivitätsermittlungs-(VAD-)Entscheidung wird zu:
wobei eine Schwelle τ gleich B|X|² ist und B > 0 ein konstanter Boost-Faktor. Weil einerseits A bis zu einer multiplikativen Konstante bestimmt wird und andererseits die maximierte Ausgabeenergie gewünscht ist, ist das Signal vorhanden, wird festgelegt, dass μ = R_s, die geschätzte Signalspektralleistung. Der Filter wird zu: A = RsK*Rn –1(6)
Auf Basis des Vorstehenden ist die Gesamtarchitektur der erfindungsgemäßen VAD in 2 dargestellt. Die VAD-Entscheidung basiert auf den Gleichungen 5 und 6. K, R_s, R_n werden aus Daten ermittelt, wie im folgenden beschrieben wird.
Siehe 2: Die Signale x₁ und x_D werden von den Mikrophonen 102 und 104 auf den Kanälen 106 bzw. 108 eingegeben. Die Signale x₁ und x_D sind Zeitdomänensignale. Sie werden mit dem schnellen Fourier-Transformator 110 in Frequenzdomänensignale X₁ bzw. X_D transformiert und auf den Kanälen 112 und 114 an den Filter A 120 ausgegeben. Der Filter 120 verarbeitet die Signale X₁, X_D auf Basis der oben beschriebenen Gleichung (6) und erzeugt die Ausgabe Z, die einer anderen räumlichen Signatur für die jeweiligen transformierten Signale entspricht. Die Variablen R_s, R_n und K, die an den Filter 120 geliefert werden, sind im folgenden eingehend beschrieben. Die Ausgabe Z wird verarbeitet und im Summierer 122 über einen Bereich von Frequenzen summiert, wodurch eine Summe |Z|² erhalten wird, d. h. ein quadrierter Absolutwert des gefilterten Signals. Die Summe |Z|² wird dann in einem Komparator 124 mit einer Schwelle τ vergleichen, wodurch ermittelt wird, ob eine Stimme vorhanden ist oder nicht. Ist die Summe großer als oder gleich der Schwelle τ, dann wird festgestellt, dass eine Stimme vorhanden ist, und der Komparator 124 gibt das VAD-Signal 1 aus. Ist die Summe kleiner als die Schwelle τ, wird festgestellt, dass keine Stimme vorhanden ist, und der Komparator gibt das VAD-Signal 0 aus.
Zur Ermittlung der Schwelle werden die Frequenzdomänensignale X₁, X_D in einen zweiten Summierer 116 eingegeben, in dem ein quadrierter Absolutwert der Signale X₁, X_D über die Anzahl an Mikrophonen D summiert wird. Diese Summe wird dann über einen Bereich von Frequenzen summiert, wobei die Summe |X|² erhalten wird. Diese wird dann mithilfe des Multiplikators 118 mit dem Boost-Faktor B multipliziert, so dass die Schwelle τ ermittelt wird.
3. MISCHMODELL-IDENTIFIZIERUNG
Im folgenden werden die Estimatoren für den Transferfunktionsquotienten-Vektor K und die Spektralleistungsdichten R_s und R_n dargelegt.
3.1 AUF EINEM ADAPTIVEN MODELL BASIERENDER ESTIMATOR VON K
Siehe weiterhin 2: Der adaptive Estimator 130 schätzt einen Wert für K, den Transferfunktionsquotienten-Vektor, der als räumliche Signatur des Benutzers interpretiert werden kann, der ein Direktpfad-Mischmodell zur Verringerung der Anzahl an Parametern verwendet:
Die Parameter (a_l, δ_l), die am besten passen in
werden unter Verwendung der Frobenius-Norm gewählt, wie im Stand der Technik bekannt ist, wobei R_x eine Messsignal-Spektral-Kovarianzmatrix ist. So sollte Folgendes minimiert werden: I(a2, ..., aD, δ2, ..., δD) = ΣSpur{(Rx – Rn – RsKK*)2} (9)
Die obige Summierung erfolgt über Frequenzen, weil die gleichen Parameter (a_l, δ_l)2 < I < D alle Frequenzen erklären sollten. Der an der derzeitigen Abschätzung (a_l, δ_l)2 < I < D bestimmte Gradient von l ist:
wobei E = R_x – R_n – R_sKK* und v_l der D-Vektor von Nullen an jeder Stelle, ausgenommen dem l. Eintrag, bei dem er ist: e^|W∝| v_l = [0 ... 0 e^|W∝ 0 ... 0]T. Dann wird die Aktualisierungsregel gegeben durch:
mit 0 ≤ δ ≤ 1 als Lernrate.
3.2 ABSCHÄTZUNG DER SPEKTRALLEISTUNGSDICHTEN
Die Rauschen-Spektralleistungsmatrix R_n wird zu Beginn über ein erstes Lernmodul 132 gemessen. Danach erfolgt die Abschätzung von R_n auf Basis des neuesten verfügbaren VAD-Signals, das vom Komparator 124 erzeugt wird, einfach durch folgende Gleichung:
wobei β eine bodenabhängige Konstante ist. Ist R_n mittels Gleichung (14) ermittelt worden, wird das Ergebnis zur Aktualisierung an den Filter 120 gesendet.
Die Signal-Spektralleistung R_s wird mittels spektraler Subtraktion bestimmt. Die Messsignal-Spektral-Kovarianzmatrix R_x wird durch ein zweites Lernmodul 126 auf Basis der Frequenzdomänen-Eingabesignale X₁, X_D ermittelt und in den spektralen Subtraktor 128 zusammen mit R_n eingegeben, das von dem ersten Lernmodul 132 erzeugt wird. R_s wird dann durch Folgendes ermittelt:
wobei β_ss > 1 eine bodenabhängige Konstante ist. Nach der Ermittlung von R_s mittels Gleichung (15) wird das Ergebnis zur Aktualisierung an den Filter 20 gesendet.
4. VAD-LEISTUNGSKRITERIEN
Zur Bewertung der Leistung des erfindungsgemäßen VAD-Systems müssen die möglichen Fehler identifiziert werden, die beim Vergleich des VAD-Signals mit dem wirklichen vorhandenen Quellensignals auftreten können. Die Fehler ziehen den Kontext der VAD-Vorhersage, d. h. den wirklichen VAD-Zustand (gewünschtes Signal ist vorhanden oder fehlt), vor und nach dem Zustand des derzeitigen Datenrahmens wie folgt in Betracht (siehe 3): (1) Geräusch als brauchbares Signal (z. B. Sprache) ermittelt; (2) Geräusch vor dem tatsächlichen Start des wirklichen Signals als Signal ermittelt; (3) Signal als Geräusch in einem wirklichen Geräuschkontext ermittelt; (4) Signalermittlung zu Beginn des Signals verzögert; (5) Geräusch nach Abklingen des eigentlichen Signals als Signal ermittelt; (6) Geräusch zwischen Rahmen mit vorhandenem Signal als Signal ermittelt; (7) Signal am Ende des aktiven Signalabschnitts als Geräusch ermittelt und (8) Signal während der Signalaktivität als Geräusch ermittelt.
Die Literatur des Standes der Technik betrifft größtenteils vier Fehlertypen, die zeigen, dass Sprache als Geräusch falsch klassifiziert wird (die obigen Typen 3, 4, 7, 8). Einige berücksichtigen nur die Fehler 1, 4, 5, 8: Man bezeichnet sie als: "Geräusch als Sprache ermittelt" (1), "Abschneiden des Anfangs" (2), "Geräusch als Sprache interpretiert beim Übergang von Sprache zu Geräusch" (5) sowie "Abschneiden in der Mitte des Gesprächs" (8), wie in F. Beritelli, S. Casale und G. Ruggieri, "Performance evaluation and comparison of itu-t/etsi voice activity detectors" in Proceedings ICASSP 2001, IEEE Press beschrieben.
Die erfindungsgemäße Bewertung zielt auf die Untersuchung des VAD-Systems und -Verfahrens in drei Problembereichen: (1) Sprachenübertragung/-codierung, wobei die Fehlertypen 3, 4, 7 und 8 so klein wie möglich sein sollten, so dass Sprache selten oder überhaupt nicht abgeschnitten wird und alle Daten von Interesse (Stimme, aber nicht Rauschen) übermittelt werden; (2) Sprachenverstärkung, wobei die Fehlertypen 3, 4, 7 und 8 so klein wie möglich sein sollten und trotzdem die Fehler 1, 2, 5 und 6 zudem gewichtet werden, je nachdem, wie laut ein nicht-stationäres Geräusch in üblichen Umgebungen von Interesse ist; und (3) Sprachenerkennung (speech recognition, SR), wobei alle Fehler in Betracht gezogen werden. Insbesondere die Fehlertypen 1, 2, 5 und 6 sind für unbeschränkte SR wichtig. Bei einer guten Klassifizierung des Hintergrundrauschens als Nicht-Sprache kann SR bei allen Rahmen von Interesse effizient arbeiten.
5. EXPERIMENTELLE ERGEBNISSE
Es wurden drei VAD-Algorithmen verglichen: (1–2) Implementierung von zwei herkömmlichen adaptiven Mehrfachraten-(AMR-)Algorithmen, AMR-1 und AMR-2, die auf eine nicht stetige Übermittlung einer Stimme abzielen; und (3) ein Zweikanal-(TwoCh-)VAD-System gemäß dem erfindungsgemäßen Ansatz unter Verwendung von D = 2 Mikrophonen. Diese Algorithmen wurden an echten Daten untersucht, die in einer Autoumgebung in zwei Versuchsanordnungen aufgezeichnet wurden, wobei zwei Sensoren, d. h. Mikrophone, entweder nahe beieinander oder entfernt voneinander waren. In jedem Auto wurde das Autogeräusch beim Fahren getrennt aufgezeichnet und additiv auf Autogeräuschaufzeichnungen aus statischen Situationen überlagert. Das durchschnittliche Eingabe-SNR bei dem Testfall mit "mittlerem Geräusch" betrug Null dB im Nah-Fall und –3 dB im Fern-Fall. In beiden Fällen wurde auch der zweite Testfall "lautes Geräusch" berücksichtigt, wobei das Eingabe-SNR um weitere 3 dB fiel.
5.1 IMPLEMENTATION DER ALGORITHMEN
Die Implementation der AMR1- und AMR2-Algorithmen basiert auf dem herkömmlichen GSM-AMR-Sprachencodierer Version 7.3.0. Die VAD-Algorithmen verwenden Ergebnisse, die von dem Codierer berechnet werden und vom Codierer-Eingabemodus abhängen können. Deshalb wurde hier der feste Modus MRDTX verwendet. Die Algorithmen geben an, ob jeder 20-ms-Rahmen (Rahmenlänge von 160 Abtastungen bei 8 kHz) Signale enthält, die übertragen werden sollten, d. h. Sprache, Musik oder Informationstöne. Die Ausgabe des VAD-Algorithmus ist ein Boolesches Kennzeichen, das das Vorhandensein solcher Signale anzeigt.
Bei der TwoCh-VAD auf Basis des MaxSNR-Filters, des auf einem adaptiven Modell basierenden K-Estimators und der Spektralleistungsdichte-Estimatoren, wie vorstehend erläutert, wurden die folgenden Parameter verwendet: Boost-Faktor B = 100, die Lernraten β = 0,01 (bei der K-Abschätzung), β = 0,2 (für R_n) und β_ss = 1,1 (bei der spektralen Subtraktion). Die Verarbeitung erfolgte blockweise mit einer Rahmengröße von 256 Abtastungen und einer Zeitabstufung von 160 Abtastungen.
5.2 ERGEBNISSE
Mit nur einem einfachen Leistungshöhen-Stimmendetektor wurde eine ideale VAD-Markierung an den Auto-Stimmendaten erhalten. Dann wurden die Gesamt-VAD-Fehler mit den drei untersuchten Algorithmen erhoben. Die Fehler stehen für die durchschnittlichen Prozent der Rahmen mit einer anderen Entscheidung als die ideale VAD, bezogen auf die Gesamtanzahl an verarbeiteten Rahmen.
Die 4 und 5 zeigen die einzelnen und die Gesamt-Fehler, die mit den drei Algorithmen in den Szenarien mit mittlerem und lautem Geräusch erhalten wurden. Tabelle 1 fasst die durchschnittlichen Ergebnisse zusammen, die beim Vergleich der TwoCh-VAD mit AMR2 erhalten wurden. Man beachte, dass die Mono-AMR-Algorithmen bei den beschriebenen Tests den besten der beiden Kanäle (mit dem höchsten SNR) verwendeten (der per Hand gewählt wurde).

Daten mittl. Geräusch lautes Geräusch

bestes Mikro (nahe) 54,5 25

schlechtestes Mikro (nahe) 56,5 29

bestes Mikro (fern) 65,5 50

schlechtestes Mikro (fern) 68,7 54

Tabelle 1: Prozentuale Verbesserung der Gesamt-Fehlerrate gegenüber AMR2 bei der Zweikanal-VAD über zwei Daten- und Mikrophonkonfigurationen
Die TwoCh-VAD ist den anderen Ansätzen überlegen, vergleicht man die Fehlertypen 1, 4, 5 und 8. Nur bei den Fehlertypen 3, 4, 7 und 8 ist die AMR2 leicht besser als die TwoCh-VAD-Lösung, die in Wirklichkeit kein spezielles Logik- oder Hangover-Schema zur Verbesserung der Ergebnisse verwendet. Bei unterschiedlichen Einstellung der Parameter (insbesondere des Boost-Faktors) liegt jedoch die TwoCh-VAD bei dieser Untergruppe von Fehlern gleichauf mit der AMR2. Trotzdem war angesichts der Gesamt-Fehlerraten die TwoCh-VAD den anderen Ansätzen deutlich überlegen.
Siehe 6: Das Blockdiagramm veranschaulicht ein Stimmenaktivitätsermittlungs-(VAD-)System und -Verfahren nach einer zweiten Ausführungsform der Erfindung. Bei der zweiten Ausführungsform ermitteln das System und das Verfahren nicht nur, ob eine Stimme vorhanden ist oder nicht, sondern auch, welcher Sprecher die Äußerung macht, wenn die VAD-Entscheidung positiv ausfällt.
Selbstverständlich haben mehrere Elemente in 6 die gleiche Struktur und die gleichen Funktionen wie anhand von 2 beschrieben. Daher sind sie mit den gleichen Bezugszahlen belegt und werden in Zusammenhang mit 6 nicht mehr im Einzelnen beschrieben. Diese Ausführungsform wird zwar für ein System mit zwei Mikrophonen erläutert, aber für einen Durchschnittsfachmann sollte die Ausweitung auf mehr als 2 Mikrophone offensichtlich sein.
Bei dieser Ausführungsform wird der Funktionsquotienten-Vektortransfer K nicht abgeschätzt, sondern in einer anfänglichen Kalibrierungsphase für jeden Sprecher von insgesamt d Sprechern von einem Kalibrator 650 ermittelt. Jeder Sprecher hat immer dann ein anderes K, wenn es genügend räumlichen Unterschied zwischen den Sprechern und den Mikrophonen gibt, z. B. in einem Auto, wenn die Sprecher in Bezug auf die Mikrophone nicht symmetrisch sitzen.
In der Kalibrierungsphase spricht in Abwesenheit von (oder bei leisem) Geräusch jeder der Benutzer d getrennt einen Satz. Auf Basis der beiden sauberen Aufzeichnungen x₁(t) und x₂(t), die von den Mikrophonen 602 und 604 empfangen werden, wird der Quotienten-Transferfunktionsquotienten-Vektor K(ω) für einen Benutzer abgeschätzt durch:
wobei X₁ ^c(l, ω), X₂ ^c(l, ω) für die Fourier-Transformation bei diskretem Fenster bei der Frequenz ω und dem Zeitrahmenindex l der sauberen Signale x₁, x₂ steht. So wird ein Satz von Quotienten der Kanaltransferfunktionen K_l(ω), 1 ≤ l ≤ d, erhalten, und zwar jeweils einer pro Sprecher. Trotz der anscheinend einfacheren Form der Quotienten-Kanaltransferfunktion, wie
wäre ein Kalibrator 650, der direkt auf dieser einfacheren Form basiert, nicht robust. Somit minimiert der Kalibrator 650 auf Basis der Gleichung (16) ein Problem der kleinsten Fehlerquadrate und ist somit robuster gegenüber Nicht-Linearitäten und Geräuschen.
Ist K für jeden Sprecher bestimmt worden, wird die VAD-Entscheidung ähnlich durchgeführt, wie oben in Bezug auf 2 beschrieben. Die zweite Ausführungsform der Erfindung ermittelt jedoch, ob eine Stimme von einem der d Sprecher vorhanden ist. Ist dies der Fall, untersucht sie, wer spricht, und aktualisiert die Rauschenspektralleistungsmatrix R_n sowie die Schwelle τ. Die Ausführungsform in 6 verwendet zwar ein Verfahren und ein System auf Basis von zwei Sprechern, aber selbstverständlich ist die Erfindung nicht auf zwei Sprecher beschränkt und kann einer Umgebung mit mehreren Sprechern umfassen.
Nach der anfänglichen Kalibrierungsphase werden die Signale x₁ und x₂ von den Mikrophonen 602 und 604 auf den Kanälen 606 bzw. 608 eingegeben. Die Signale x₁ und x₂ sind Zeitdomänensignale. Sie werden von dem schnellen Fourier-Transformator 610 in die Frequenzdomänensignale X₁ bzw. X₂ transformiert und an eine Mehrzahl an Filtern 620-1, 620-2 auf den Kanälen 612 und 614 ausgegeben. Bei dieser Ausführungsform steht ein Filter für jeden Sprecher in Wechselwirkung mit dem System. Daher wird für jeden der d Sprecher, 1 ≤ l ≤ d, die Berechnung der Filter zu: [Al Bl] = Rs⎣1 K l⎦Rn –1 (17)und Folgendes wird von jedem Filter 620-1, 620-2 ausgegeben: Sl = AlX1 + BlX2 (18)
Die Spektralleistungsdichten R_s und R_n, die den Filtern zugeführt werden müssen, werden berechnet, wie oben in Bezug auf die erste Ausführungsform beschrieben, über das erste Lernmodul 626, das zweite Lernmodul 632 und den spektralen Subtraktor 628. Das in der Kalibrierungsphase bestimmte K von jedem Sprecher wird von der Kalibrierungseinheit 650 an die Filter eingegeben.
Die Ausgabe S_l von jedem Filter wird in den Summierern 622-1 und 622-2 über einen Bereich von Frequenzen summiert, wodurch eine Summe E_l, ein quadrierter Absolutwert des gefilterten Signals, erzeugt wird, wie im folgenden dargestellt:
Aus 6 ist ersichtlich, dass es einen Summierer für jeden Filter gibt. Es kann angenommen werden, dass es für jeden Sprecher in dem System 600 eine Filter/Summierer-Kombination gibt.
Die Summen E_l werden zum Prozessor 623 gesendet, in dem ein Maximalwert aller eingegebenen Summen (E₁, ..., E_d) ermittelt wird, zum Beispiel E_s, mit 1 ≤ s ≤ d. Die maximale Summe E_s wird dann im Komparator 624 mit einer Schwelle τ verglichen, wobei ermittelt wird, ob eine Stimme vorhanden ist oder nicht. Ist die Summe größer als oder gleich der Schwelle τ, wird festgestellt, dass eine Stimme vorhanden ist, der Komparator 624 gibt das VAD-Signal 1 aus, und es wird ermittelt, dass der Benutzer s aktiv ist. Ist die Summe kleiner als die Schwelle τ, wird festgestellt, dass keine Stimme vorhanden ist, und der Komparator gibt das VAD-Signal 0 aus. Die Schwelle τ wird genauso, wie bei der ersten Ausführungsform beschrieben, über den Summierer 616 und den Multiplikator 618 ermittelt.
Selbstverständlich kann die Erfindung in unterschiedlichen Formen von Hardware, Software, Firmware, Spezialprozessoren oder deren Kombination implementiert werden. Bei einer Ausführungsform kann die Erfindung in Software als Anwendungsprogramm implementiert werden, das greifbar in einer Programmspeichervorrichtung enthalten ist. Das Anwendungsprogramm kann auf eine Maschine hochgeladen werden, die eine beliebige geeignete Architektur besitzt, und von dieser ausgeführt werden. Die Maschine wird vorzugsweise auf einer Computerplattform implementiert mit Hardware, wie einer oder mehr zentralen Verarbeitungseinheiten (CPU), einem Speicher mit wahlfreiem Zugriff (RAM) und (einer) Eingabe/Ausgabe-(I/O-)Schnittstelle. Die Computerplattform enthält zudem ein Betriebssystem und einen Mikro-Instruktionscode. Die verschiedenen hier beschriebenen Verfahren und Funktionen können Teil des Mikro-Instruktionscodes oder Teil des Anwendungsprogramms (oder eine Kombination davon) sein, das über das Betriebssystem ausgeführt wird. Zudem können verschiedene weitere periphere Geräte mit der Computerplattform verbunden werden, wie eine zusätzliche Datenspeichervorrichtung und eine Druckvorrichtung.
Weil einige der in den beigefügten Figuren dargestellten Bestandteile des Systems in Software implementiert werden können, können selbstverständlich die tat sächlichen Verbindungen zwischen den Systemkomponenten (oder Verfahrensschritten) je nach der Art und Weise, wie die Erfindung programmiert worden ist, anders sein. Anhand der hier dargelegten Lehren der Erfindung ist der Durchschnittsfachmann auf diesem Gebiet in der Lage, sich diese erfindungsgemäßen Implementationen oder Konfigurationen und ähnliche zu überlegen.
Die Erfindung stellt einen Mehrkanal-Stimmenaktivitätsdetektor bereit, der die räumliche Lokalisierung einer Zielaudioquelle nutzt. Der implementierte Detektor maximiert das Signal-Störungs-Verhältnis für die Zielquelle und verwendet Zweikanal-Eingabedaten. Die Zweikanal-VAD wurde mit AMR-VAD-Algorithmen an echten Daten verglichen, die in einer lauten Autoumgebung aufgezeichnet wurden. Der Zweikanal-Algorithmus zeigt verglichen mit dem adaptiven Mehrfachraten-Algorithmus AMR2 des Standes der Technik, der bei Stimmenübertragungstechnologie des Standes der Technik verwendet wird, eine 55–70%ige Verbesserung der Fehlerraten.
Die Erfindung ist zwar anhand bestimmter bevorzugter Ausführungsformen dargelegt und beschrieben worden, aber für den Fachmann ist selbstverständlich, dass verschiedene Veränderungen in Form und Detail daran vorgenommen werden können, ohne von Umfang der Erfindung, wie durch die beigefügten Ansprüche definiert, abzuweichen.

Claims

Verfahren zum Bestimmen, ob eine Stimme in einem gemischten Tonsignal vorhanden ist, wobei das Verfahren die folgenden Schritte umfasst: Empfangen des gemischten Tonsignals über mindestens zwei Mikrophone (102, 104); schnelle Fourier-Transformation (110) von jedem empfangenen gemischten Tonsignal in die Frequenzdomäne (112, 114); Estimieren einer Rauschen-Spektralleistungsmatrix (Rn), einer Signal-Spektralleistung (Rs) und eines Kanalfunktionsquotienten-Vektors (K); Filtern (120) der transformierten Signale, so dass ein gefiltertes Signal ausgegeben wird, wobei der Filterungsschritt das Multiplizieren der transformierten Signale mit einem Kehrwert einer Rauschen-Spektralleistungsmatrix, einem Transferfunktionsquotienten-Vektor und einer Ursprungssignal-Spektralleistung beinhaltet; Summieren (122) von einem quadrierten Absolutwert von dem gefilterten Signal über einen zuvor festgelegten Bereich von Frequenzen; und Vergleichen der Summe mit einer Schwelle (124), wodurch bestimmt wird, ob eine Stimme vorhanden ist, wobei die Stimme vorhanden ist, ist die Summe größer als die oder gleich der Schwelle, und die Stimme nicht vorhanden ist, ist die Summe kleiner als die Schwelle.
Verfahren nach Anspruch 1 zum Bestimmen, ob eine Stimme in einem gemischten Tonsignal vorhanden ist, wobei: der Filterungsschritt der transformierten Signale zum Ausgeben von Signalen, die einer räumlichen Signatur entsprechen, für jeden einer zuvor festgelegten Anzahl von Benutzern erfolgt; der Schritt der getrennten Summierung von einem quadrierten Absolutwert der gefilterten Signale über einen zuvor festgelegten Frequenzbereich für jeden der Benutzer erfolgt; das zudem den folgenden Schritt umfasst: Bestimmen eines Maximums der Summen; und wobei der Schritt des Vergleichens der Summe mit einer Schwelle, wodurch bestimmt wird, ob eine Stimme vorhanden ist, in dem Vergleichen der maximalen Summe mit der Schwelle besteht.
Verfahren nach Anspruch 2, wobei ein spezifischer Benutzer, der mit der maximalen Summe in Zusammenhang steht, als aktiver Sprecher bestimmt wird, ist eine Stimme vorhanden.
Verfahren nach Anspruch 1 oder 2, das zudem den Schritt des Bestimmens der Schwelle umfasst, wobei der Schritt des Bestimmens der Schwelle Folgendes umfasst: Summieren von einem quadrierten Absolutwert der transformierten Signale über die mindestens zwei Mikrophone (116); Summieren der summierten transformierten Signale über einen zuvor festgelegten Frequenzbereich, wodurch eine zweite Summe erhalten wird; und Multiplizieren der zweiten Summe mit einem Verstärkungsfaktor (118).
Verfahren nach Anspruch 1 oder 2, wobei der Filterungsschritt für jeden der zuvor festgelegten Anzahl an Benutzern durchgeführt wird und der Transferfunktionsquotienten-Vektor für jeden Benutzer während einer Kalibrierung gemessen wird.
Verfahren nach Anspruch 5, wobei der Transferfunktionsquotienten-Vektor durch ein Direktpfad-Mischmodell bestimmt wird.
Verfahren nach Anspruch 5, wobei die Ursprungssignal-Spektralleistung bestimmt wird, indem die Rauschen-Spektralleistungsmatrix von einer Messsignal-Spektral-Kovarianzmatrix spektral subtrahiert wird (128).
Stimmenaktivitätsdetektor zum Bestimmen, ob eine Stimme in einem gemischten Tonsignal vorhanden ist, umfassend: mindestens zwei Mikrophone (102, 104) zum Empfangen des gemischten Tonsignals; einen schnellen Fourier-Transformator (110) zum Transformieren von jedem empfangenen gemischten Tonsignal in die Frequenzdomäne (112, 114); Vorrichtungen zum Estimieren einer Rauschen-Spektralleistungsmatrix (Rn), einer Signal-Spektralleistung (Rs) und eines Kanalfunktionsquotienten-Vektors (K); ein Filter (120) zum Filtern der transformierten Signale, so dass ein gefiltertes Signal ausgegeben wird, wobei das mindestens eine Filter einen Multiplikator umfasst zum Multiplizieren der transformierten Signale mit einem Kehrwert einer Rauschen-Spektralleistungsmatrix, einem Transferfunktionsquotienten-Vektor und einer Ursprungssignal-Spektralleistung, wodurch das Signal bestimmt wird, das einer räumlichen Signatur entspricht; einen ersten Summierer (122) zum Summieren von einem quadrierten Absolutwert der gefilterten Signale über einen zuvor festgelegten Bereich von Frequenzen; und einen Komparator (124) zum Vergleichen der Summe mit einer Schwelle, wodurch bestimmt wird, ob eine Stimme vorhanden ist, wobei die Stimme vorhanden ist, ist die Summe größer als die oder gleich der Schwelle, und die Stimme nicht vorhanden ist, ist die Summe kleiner als die Schwelle.
Stimmenaktivitätsdetektor nach Anspruch 8, wobei: jedes der transformierten Signale für einen von einer zuvor festgelegten Anzahl an Benutzern ist und der erste Summierer dazu dient, für jeden der Benutzer einen quadrierten Absolutwert der gefilterten Signale über einen zuvor festgelegten Bereich von Frequenzen getrennt zu summieren, zudem umfassend: einen Prozessor zum Bestimmen eines Maximums der Summen; und wobei der Komparator zum Vergleichen der maximalen Summe mit einer Schwelle dient.
Stimmenaktivitätsdetektor nach Anspruch 9, wobei aktiver Sprecher ein spezifischer Benutzer bestimmt wird, der mit der maximalen Summe in Zusammenhang steht, ist eine Stimme vorhanden.
Stimmenaktivitätsdetektor nach Anspruch 8 oder 9, der zudem Folgendes umfasst: einen zweiten Summierer (116) zum Summieren von einem quadrierten Absolutwert der transformierten Signale über die mindestens zwei Mikrophone und zum Summieren der summierten transformierten Signale über einen zuvor festgelegten Bereich von Frequenzen, wodurch eine zweite Summe erhalten wird; und einen Multiplikator (118) zum Multiplizieren der zweiten Summe mit einem Verstärkungsfaktor, wodurch die Schwelle bestimmt wird.
Stimmenaktivitätsdetektor nach Anspruch 8, der zudem eine Kalibrierungseinrichtung umfasst zum Bestimmen des Kanaltransferfunktionsquotienten-Vektors für jeden Benutzer während einer Kalibrierung.
Stimmenaktivitätsdetektor nach Anspruch 8, der zudem einen spektralen Subtraktor (128) enthält zum spektralen Subtrahieren der Rauschen-Spektralleistungsmatrix von einer Messsignal-Spektral-Kovarianzmatrix, wodurch die Signal-Spektralleistung bestimmt wird.
Programmspeichervorrichtung, die von einer Maschine gelesen werden kann und konkret ein Programm von Instruktionen verkörpert, das von der Maschine ausgeführt werden kann, so dass Verfahrensschritte durchgeführt werden zum Bestimmen, ob eine Stimme in einem gemischten Tonsignal vorhanden ist, wobei die Verfahrensschritte Folgendes umfassen: Empfangen des gemischten Tonsignals über mindestens zwei Mikrophone (102, 104); schnelle Fourier-Transformation (110) von jedem empfangenen gemischten Tonsignal in die Frequenzdomäne (112, 114); Estimieren einer Rauschen-Spektralleistungsmatrix (Rn), einer Signal-Spektralleistung (Rs) und eines Kanalfunktionsquotienten-Vektors (K); Filtern (120) der transformierten Signale, so dass ein gefiltertes Signal ausgegeben wird, wobei der Filterungsschritt das Multiplizieren der transformierten Signale mit einem Kehrwert einer Rauschen-Spektralleistungsmatrix, einem Transferfunktionsquotienten-Vektor und einer Ursprungssignal-Spektralleistung beinhaltet; Summieren (122) von einem quadrierten Absolutwert des gefilterten Signals über einen zuvor festgelegten Bereich von Frequenzen; und Vergleichen der Summe mit einer Schwelle (124), wodurch bestimmt wird, ob eine Stimme vorhanden ist, wobei die Stimme vorhanden ist, ist die Summe größer als die oder gleich der Schwelle, und die Stimme nicht vorhanden ist, ist die Summe kleiner als die Schwelle.