DE60213595T2

DE60213595T2 - Hintergrundlernen von sprecherstimmen

Info

Publication number: DE60213595T2
Application number: DE60213595T
Authority: DE
Inventors: Chao-Shih Huang; Internationaal Octrooibureau B.V. Ya-Cherng CHU; Internationaal Octrooibureau B.V. Wei-Ho TSAI; Internationaal Octrooibureau B.V. Jyh-Min CHENG
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-05-10
Filing date: 2002-04-25
Publication date: 2007-08-09
Anticipated expiration: 2022-04-26
Also published as: US20030088414A1; EP1395803A1; CN1236423C; WO2002090915A1; CN1462366A; EP1395803B1; JP4369132B2; DE60213595D1; ATE335195T1; US7171360B2; JP2004528595A

Description

Die Erfindung bezieht sich die automatische Identifizierung von Sprechern durch Empfangen einer Testäußerung, Bestimmen eines Sprechermodells mit der höchsten Wahrscheinlichkeit aus einer Vielzahl von Sprechermodellen für die Testäußerung und Identifizieren des dem Sprachmodell mit der höchsten Wahrscheinlichkeit zugeordneten Sprechers als den Sprecher der Testäußerung.
Die Sprecheridentifizierung gewinnt immer mehr an Bedeutung. Üblicherweise wird die Sprecheridentifizierung zu Sicherheitszwecken eingesetzt, beispielsweise um die Identität eines Sprechers basierend auf Stimmmerkmalen zu überprüfen. Da immer mehr Anwendungen der Sprachsteuerung für Ausrüstungen der Nachrichtenelektronik entwickelt werden, kann die Sprecheridentifizierung auch eine wichtige Rolle bei der weiteren Vereinfachung der Interaktion mit Ausrüstungen der Nachrichtenelektronik spielen.
Bei herkömmlichen Aufgaben der Sprecheridentifizierung (Sprecher-ID) werden Modelle für spezifische Sprecher mit Hilfe von Registrierungsdaten von Nutzern trainiert. Normalerweise werden Hidden-Markov-Modelle (HMM) verwendet, um Teilworteinheiten wie Phoneme oder Diphone zu modellieren. Zur Erzielung einer guten Leistung benötigt ein zuverlässiges System eine große Menge von Registrierungsdaten, um die Stimmen der Sprecher zu charakterisieren. Es sind insbesondere Daten von einer Anzahl verschiedener Sitzungen wünschenswert, da sich die Stimmmerkmale der Sprecher von Sitzung zu Sitzung erheblich verändern. Jeder Sprecher trainiert sein eigenes Modell. Der Sprecher muss als solcher im System registriert sein, bevor das tatsächliche Training stattfindet.
Sind die Modelle einmal trainiert, wird eine Äußerung eines zu identifizierenden oder zu überprüfenden Sprechers mit allen Sprechermodellen verglichen. Die Identität des Sprechers wird durch das Auffinden des Modells mit der höchsten Wahrscheinlichkeit für die Äußerung und das Abrufen der Identität des dem Modell zugeordneten Sprechers bestimmt.
Da es für Benutzer lästig ist, viel Zeit damit zu verbringen, das System zu trainieren, besteht ein Bedarf daran, die Anforderungen an den Sprecher und die Menge der Trainingsdaten zu minimieren. An sich wurden verschiedene Lösungsansätze vorgeschlagen, die darauf abzielen, bessere Parameterschätzwerte der Sprechermodellierung zu erzeugen, wenn nur wenige Registrierungsdaten zur Verfügung stehen. Diese Systeme erfordern es jedoch nach wie vor, dass sich der Benutzer registriert und das System trainiert. Bei Systemen der Nachrichtenelektronik kann dies jedoch immer noch eine zu hohe Hürde für die Benutzer darstellen und die Akzeptanz des Systems beeinträchtigen. Außerdem ist das System dadurch für gelegentliche Benutzer, die mit der Registrierung nicht vertraut sind, schwer zu bedienen.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und ein System zu schaffen, die in der Lage sind, Sprecher automatisch zu identifizieren, ohne dass die Sprecher sich registrieren müssen, indem sie das System explizit trainieren.
Zur Lösung der Aufgabe der Erfindung wird eine Vielzahl von Sprechermodellen im Hintergrund erzeugt, indem

– Trainingsäußerungen von einer Vielzahl von Sprechern im Hintergrund empfangen werden, ohne dass die Sprecher, die die entsprechenden Trainingsäußerungen sprachen, vorher bekannt waren,
– blindes Zusammenfassen in Gruppen (engl. clustering) der Trainingsäußerungen auf der Grundlage eines vorher festgelegten Kriteriums und
– Trainieren für jedes der Cluster eines entsprechenden Sprechermodells, wobei jedes der Modelle einen Sprecher darstellt.

Bei dem erfindungsgemäßen Lösungsansatz können sprecherspezifische Modelle trainiert werden, ohne dass auf die Registrierungsdaten zurückgegriffen werden muss, sondern stattdessen offline ermittelte Sprache von Sprechern eingesetzt wird. Um dies zu erreichen ist das System mit der Fähigkeit versehen, verschiedene Sprecherstimmen automatisch ohne menschliches Eingreifen zu ermitteln, zu klassifizieren und zu lernen. Da das Lernen ein im Hintergrund ablaufender oder verborgener Vorgang ist, wird es als Hintergrundlernen bezeichnet. In der Beschreibung wird sich das Hintergrundlernen auf das Stapellernen (engl. batch learning) konzentrieren. Das Stapellernen wird zu einem Zeitpunkt durchgeführt, an dem genug Sprachdaten von allen zu identifizierenden Sprechern im Hintergrund ermittelt wurden. Das Hintergrundlernen wird vorteilhaft in einem Sprachsteuersystem eingesetzt. Die meisten sprecherunabhängigen Sprachsteuersysteme nach dem Stand der Technik können von einem Benutzer eingesetzt werden, ohne dass er das System zuerst trainieren muss. Während der Benutzer das Sprachsteuersystem einsetzt, werden die von dem Benutzer geäußerten Befehle aufgezeichnet und für das erfindungsgemäße Hintergrundlernen genutzt. Bei gewissen anderen Anwendungen kann es sogar möglich sein, dass in dem Falle, dass der Benutzer ein neues System erhält, das mit dem erfindungsgemäßen Hintergrundlernen ausgerüstet ist, das System automatisch beginnt, Äußerungen von Benutzern zu ermitteln, indem es beispielsweise jegliche Sprache, die über ein Mikrofon empfangen wird, aufzeichnet. Zu diesem Zweck kann das System mit Software ausgerüstet sein, die zwischen Sprache und anderen Lauten unterscheidet. Das System kann die Aufzeichnung ohne Eingreifen des Benutzers starten oder nachdem es von einem Benutzer aktiviert wurde. In beiden Fällen verfügt das System anfangs nicht über Informationen darüber, wer gerade die Äußerungen spricht. Für die Erfindung ist es ferner nicht erforderlich, dass die Benutzer vorher festgelegte Phrasen, beispielsweise Passwörter sprechen. Es wird angenommen, dass jede der ermittelten Äußerungen Sprachsegmente von einem einzigen Sprecher enthält. Mit anderen Worten: Attribute jeder Äußerung können ausschließlich als von nur einem Sprecher stammend beurteilt werden.
Hat das System einmal genug Daten gemäß einem vorher festgelegten Kriterium ermittelt, beinhaltet das Stapellernen das blinde Zusammenfassen in Clustern der Sprachdaten gemäß Sprechermerkmalen, die von einem vorher festgelegten Kriterium definiert werden. Danach folgt als Option das Trainieren sprecherspezifischer Modelle mit Hilfe selbst gekennzeichneter Daten. Dieses Stapellernverfahren wird eingesetzt, wenn ein System ohne Überwachung initiiert werden muss. Als Alternative kann das erfindungsgemäße Hintergrundlernen in Form eines „inkrementalen Lernens" eingesetzt werden. Dies ist verbunden mit dem Hinzufügen neuer Benutzer zu dem aktuellen System oder dem Ermitteln neuer Sprachdaten zum Anpassen früherer Sprechermodelle. Das System führt vorher eine Überprüfung durch um zu ermitteln, ob die neuen ermittelten Daten von bereits identifizierten Sprechern stammen. Ist dies der Fall, werden die Daten als Option dazu verwendet, frühere Sprechermodelle anzupassen. Sonst werden die Daten blind in Clustern zusammengefasst und dadurch neue Sprechermodelle erzeugt.
Auf diese Weise wird das schwierige Problem der Genauigkeit bzw. der Registrierung umgangen, und es werden somit die Anforderungen an den Benutzer reduziert.
Es ist anzumerken, dass in dem Dokument US 5.862.519 ein Verfahren zum blinden Zusammenfassen in Clustern von Sprache für ein System zur Sprecheridentifizierungs-/-überprüfung beschrieben wird. In diesem System wird das blinde Zusammenfassen in Clustern dazu verwendet, Äußerungen, typischerweise Passworte, automatisch in Teilworteinheiten zu segmentieren. Bei dem bekannten System wird die blinde Segmentierung dazu verwendet, eine unbekannte Passwortphrase basierend auf einer Homogenitätseigenschaft, bei der die Segmentgrenzen nicht bekannt sind, in Teilworteinheiten zu segmentieren. Die Passwortphrase kommt von einem angemeldeten Sprecher. Das bedeutet, dass der Sprecher dem System bekannt ist und das System momentan trainiert. In dem erfindungsgemäßen System wird die blinde Zusammenfassung in Clustern dazu verwendet, Äußerungen von demselben Sprecher zusammenzufassen, wobei die Äußerungen Teil einer Sammlung von Äußerungen mehrerer Sprecher sind. Eine Sammlung von Äußerungen wird blind in mehrere Sprechern zugeordnete Cluster unterteilt. Während der Zusammenfassung in Clustern existiert keine vorherige Kenntnis der Sprecher.
Gemäß der Maßnahme des abhängigen Anspruchs 2 wird ein Modell jeder im Hintergrund empfangenen Äußerung erstellt. Jede der Äußerungen wird ferner mit allen derartigen Modellen verglichen. Daraus ergibt sich für jede Äußerung ein Vektor der Wahrscheinlichkeiten. Die Unterscheidung wird verbessert, indem die Wahrscheinlichkeiten durch ein Ranking auf der Basis der Wahrscheinlichkeiten ersetzt werden. Der Abstand zwischen den Rankingvektoren bildet das allgemeine Kriterium für die Unterscheidung zwischen Äußerungen verschiedener Sprecher, da es sich herausgestellt hat, dass der Abstand zwischen Rankingvektoren geringer ist, wenn die Rankingvektoren zu Äußerungen desselben Sprechers gehören, als wenn die Rankingvektoren zu Äußerungen von verschiedenen Sprechern gehören. Auf der Grundlage dieses Kriteriums werden die Äußerungen in Clustern zusammengefasst. Für jedes der Cluster wird ein Modell erstellt. Von diesem Modell wird angenommen, dass es spezifisch für einen Sprecher ist. Es ist offensichtlich, dass, wenn das Ranking so aufgebaut ist, dass eine hohe Wahrscheinlichkeit einen hohen Wert in dem Ranking ergibt, Äußerungen desselben Sprechers sich als minimaler Abstand zwischen den Rankingvektoren darstellen. Ein geeignetes Ranking der Elemente des Wahrscheinlichkeitsvektors ergibt ein gutes Leistungsvermögen bezüglich der Unterscheidung.
Gemäß der Maßnahme in dem abhängigen Anspruch 3 wird in dem Ranking ein Schwellenwert basierend auf der erwarteten Anzahl von Äußerungen pro Cluster eingesetzt. Dies unterstützt den Vorgang des Zusammenfassens in Clustern.
Gemäß der Maßnahme des abhängigen Anspruchs 5 kann sich der Benutzer anhand seiner Stimme registrieren. Es wird automatisch das Modell mit der höchsten Wahr scheinlichkeit bestimmt und die Identität des Benutzers für dieses Modell gespeichert, wodurch die Registrierung schnell und einfach wird.
Gemäß der Maßnahme des abhängigen Anspruchs 6 wird während der Registrierung geprüft, ob das Modell bereits ausreichend trainiert wurde. Falls nicht, werden einige weitere Äußerungen empfangen und das teilweise erstellte Modell an die neuen Äußerungen angepasst. Auf dieses Weise ist die Registrierung auch schnell im Vergleich zu einem Anfang bei Null.
Gemäß der Maßnahme des abhängigen Anspruchs 7 wird die blinde Zusammenfassung in Clustern gestoppt, wenn ein Modell ausreichend dahingehend trainiert ist, dass ein Sprecher mit ausreichender Sicherheit identifiziert werden kann.
Gemäß der Maßnahme des abhängigen Anspruchs 8 wird der Sprecher, wenn ein Modell erst einmal ausreichend trainiert wurde, automatisch aufgefordert, seine Identität anzugeben, so dass der Sprecher von dem Moment an automatisch identifiziert werden kann. Auf diese Weise braucht der Sprecher sich nicht einmal mehr zu registrieren.
Wie in der Maßnahme des abhängigen Anspruchs 9 definiert, zieht die Identifizierung eines Sprechers das automatische Abrufen eines Personenprofils für die Interaktion mit einer Vorrichtung der Nachrichtenelektronik nach sich. Dies ermöglicht die personalisierte Nutzung von Ausrüstungen der Nachrichtenelektronik auf sehr benutzerfreundliche Weise.
Diese und weitere Aspekte der Erfindung sind in den Zeichnungen dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 ein Blockschaltbild des erfindungsgemäßen Systems zur Sprecheridentifizierung,
2 die Unterscheidungsleistung der Wahrscheinlichkeitsvektoren,
3 ein Blockschaltbild der blinden Zusammenfassung in Clustern,
4 die Wirksamkeit der Zusammenfassung von Äußerungen in Clustern,
5 die Sprecheridentifizierungsleistung des Systems und
6 den Einsatz der Sprecheridentifizierung in einem Sprachsteuerungssystem.
1 zeigt ein Blockschaltbild des erfindungsgemäßen Systems zur Sprecheridentifizierung. Das System umfasst drei Hauptblöcke, die zeitlich sequentiell funktionieren: das Hintergrundlernen 110, die Sprecherregistrierung 120 und die Sprecheridentifi zierung 130. Das Hintergrundlernen umfasst die Ermittlung von Sprachdaten 112, gefolgt von der blinden Zusammenfassung in Clustern 114 von Sprachäußerungen basierend auf Sprechermerkmalen. Das blinde Zusammenfassen in Clustern von Äußerungen zielt darauf ab, unbekannte Äußerungen zu gruppieren, wenn keine Vorabinformationen bezüglich der Sprecheridentitäten oder sogar der Sprecherpopulationsgröße zur Verfügung stehen. Einzelheiten dieser Komponente werden unten beschrieben. Sind die Cluster einmal zusammengefasst, stellt die Sprechermodellierung 116 sicher, dass Äußerungen in jeder dieser Cluster dazu verwendet werden, ein entsprechendes Modell betreffend einen möglichen Sprecher zu trainieren. Die Modelle werden vorzugsweise mit Hilfe des üblichen Verfahrens der Gauß'schen Mischmodellierung (engl. Gaussian mixture modeling, GMM) trainiert, bei der ein Satz von M Clustern durch GMMs {λc1 , λc2 , ... λcM } dargestellt wird. Dem Fachkundigen ist ersichtlich, dass auch andere, im Bereich der Sprachverarbeitung allgemein bekannte Modelle eingesetzt werden können. Es werden keine Einzelheiten spezifischer Modelle gegeben, da derartige Modelle allgemein bekannt sind. Die zur Durchführung der Erfindung verwendete Hardware an sich ist herkömmlicher Art, beispielsweise kann ein Mikroprozessor oder ein DSP (engl. digital signal processor) mit der geeigneten geladenen Software und als Option ein A/D-Wandler und ein Mikrofon zum Empfangen der Sprache eingesetzt werden. Die Software kann in einem Festwertspeicher eingebettet, d. h. gespeichert, sein oder von einem Hintergrundspeicher, beispielsweise einer Festplatte oder einer CD-ROM, oder über ein Netzwerk, beispielsweise das Internet, geladen werden.
Da das Hintergrundlernen unüberwacht erfolgt, liegen anfangs keine Informationen dazu vor, welches Modell welchem Sprecher zugeordnet ist. Zur Durchführung der anschließenden Sprecheridentifizierung, die den tatsächlichen Sprecher wirklich identifiziert, ist es erwünscht, jedes der Modelle mit seiner entsprechenden Sprecheridentität zu kennzeichnen, wie es in Block 122 dargestellt ist. Dies kann erfolgen, wenn der Sprecher eine formelle Registrierung durchführt. In dieser Phase fordert das System jeden der Sprecher auf, ein paar Registrierungsdaten, beispielsweise nur eine willkürliche Äußerung y, zu liefern. Das System teilt dem Sprecher auf der Grundlage dieser Registrierungsäußerung das am besten geeignete Modell zu. In anderen Worten, der Sprecher „nimmt" eines der Sprechermodelle mittels seiner Stimme „an". Zu diesem Zweck wird vorzugsweise eine Maximum-Likelihood-Entscheidungsregel verwendet, durch die das Sprechermodell mit der höchsten Wahrscheinlichkeit ausgewählt wird. Das System entscheidet zugunsten des Modells für den Sprecher S_i, das Folgendes erfüllt:
Es ist offensichtlich, dass es bei gewissen Anwendungen nicht erforderlich ist, die genaue Identität eines Sprechers zu kennen. Es kann ausreichen, dass das System in der Lage ist, zwischen Sprechern zu unterscheiden. Als solcher ist der Block 120 eine Option. Hat keine Registrierung stattgefunden, kann ein Sprecher einfach durch eine Nummer identifiziert werden, die jedem entsprechenden Sprechermodell zugeordnet ist.
Während der in Block 130 dargestellten Identifizierung nimmt das System im Block 132 als Eingabe eine unbekannte Testäußerung, sagen wir z, und erzeugt als Ausgabe die Identität des hypothetischen Sprechers, die Folgendes erfüllt:
wobei Q die Anzahl der Benutzer ist. Dies bedeutet, dass die Identität des dem Sprechermodell mit der höchsten Wahrscheinlichkeit zugeordneten Sprechers abgerufen wird.
Die Hinweise zur Zusammenfassung von Äußerungen in Clustern
Ein Satz von N Sprachäußerungen von P umgebenden Sprechern {S₁, S₂, ..., S_P} sei bezeichnet mit {x₁, x₂, ..., x_N}, wobei N > P und P vorher unbekannt sein kann. Das Ziel der Zusammenfassung der Äußerungen in Clustern besteht darin, eine Aufteilung der Äußerungen in einen Satz mit M Clustern zu erzeugen, so dass alle Äußerungen in einem Cluster vorzugsweise von nur einem Sprecher stammen. Idealerweise ist M = P, so dass alle Äußerungen von einem spezifischen Sprecher in einem einzigen Cluster gruppiert werden können. Zu diesem Zweck ist es eine Voraussetzung, relevante Aspekte von Sprechermerkmalen zu identifizieren, die jeder der Äußerungen innewohnen, und dadurch einige Messungen mit kleinem Unterschied zwischen den Äußerungen desselben Sprechers und mit größerem Unterschied zwischen den Äußerungen verschiedener Sprecher zu erzeugen. In Übereinstimmung mit dem Erfolg des Gauß'schen Mischklassifizierers in der textunabhängigen Sprecheridentifizierung haben die Erfinder erkannt, dass ein aus einer Äußerung gebildetes Gauß'sches Mischmodell (GMM) auch dazu verwendet werden kann, akustischen Raum, der einer Sprecheridentität entspricht, anstelle einer gesprochenen Nachricht zu charakterisieren. Zu diesem Zweck werden Sprachäußerungen zuerst von ihren digitalen Signalformdarstellungen in Ströme von Merkmalsvektoren umgewandelt und jede dieser Äußerungen wiederum durch eine Gauß'sche Mischdichte modelliert. Eine derartige Modellierung ist wohlbekannt und wird hier nicht ausführlich beschrieben. Der Parametersatz von aus den N Äußerungen gebildeten GMMs sei bezeichnet mit {λU1 , λU2 , ... λUN }. Anschließend wird die Wahrscheinlichkeit jeder Äußerung x_i für jedes Modell λUj berechnet als Lij = log p(xi|λUj ), 1 ≤ i, j ≤ N. Experimente haben gezeigt, dass die Wahrscheinlichkeiten im Allgemeinen hoch sind, wenn Äußerungen und Testmodelle demselben Sprecher zugeordnet sind, und sonst gering sind, d. h. Lij > Lik, wenn S(xi) = S(xj) und S(xi) ≠ S(xk) (3)wobei S(x_i) das Sprecherattribut von x_i ist. Dieses Kriterium ist jedoch nicht immer gültig. Zur Erzielung eines zuverlässigeren Hinweises bei der Aufteilung von Sprachäußerungen wird es vorgezogen, einen Rankingmechanismus zu verwenden, wie er weiter unten definiert wird.
L_i = [L_i1 L_i2 ... L_iN]^T sei ein N-dimensionaler Vektor. Es hat sich herausgestellt, dass L_i und L_j in gewissem Sinne wesentlich „ähnlicher" sind, wenn x_i und x_j vom selben Sprecher stammen und ansonsten „unähnlich" sind. Um dies zu verdeutlichen, ist in 2 eine Graustufendarstellung der Modellwahrscheinlichkeiten gezeigt, wobei neun Äußerungen von drei Sprechern (drei Äußerungen pro Sprecher) analysiert wurden. Die neun Äußerungen sind vertikal und die neun Modelle horizontal dargestellt. Der schwarze Bereich stellt eine höhere Wahrscheinlichkeit und der weiße Bereich eine geringere Wahrscheinlichkeit dar. Es ist zu sehen, dass die Äußerungen von demselben Sprecher ein ähnlicheres „Wahrscheinlichkeitsmuster" als diejenigen der Äußerungen von verschiedenen Sprechern aufweisen. Ein Maß der „Unähnlichkeit" zwischen den Wahrscheinlichkeitsvektoren kann als solches als Kriterium während der Zusammenfassung in Clustern verwendet werden. Wenn das stochastische Modell λ die wichtigsten charakteristischen Merkmale von Sprecherstimmen erfassen kann, ist der Wert von L_ij idealerweise groß, wenn x_i und λ_i demselben Sprecher zugeordnet sind, und ansonsten klein. In der Praxis ist es jedoch schwierig sicherzustellen, dass L_ij > L_ik für alle Sprecher(x_i) = Sprecher(x_j) und Sprecher(x_i) ≠ Sprecher(x_k). Als Beispiel in 2 dargestellt werden x₁ und x₂ von demselben Sprecher erzeugt, während x₈ von einem anderen Sprecher stammt; unglücklicherweise ist in diesem Fall L₁₈ > L₁₂. Daher ist es nicht zuverlässig einfach auf der Grundlage einer einzigen Modellwahrscheinlichkeit zu bestimmen, ob zwei Äußerungen von demselben Sprecher stammen. Zur Lösung dieses Problems wird die Ähnlichkeit von zwei Äußerungen gemessen, indem anstelle einer einzigen Modellwahrscheinlichkeit Äußerungen berücksichtigt wer den, die nicht zum Paar gehören. Das Grundprinzip basiert auf der visuellen Untersuchung des Wahrscheinlichkeitsmusters.
Wie in 2 dargestellt besteht eine allgemeine Eigenschaft, dass zwei Vektoren L_i und L_j viel ähnlicher in einem Sinne sind, wenn die Äußerungen x_i und x_j von derselben gesprochenen Sprache und ansonsten „unähnlich" sind. Es stellt sich jedoch die Frage, wie eine derartige visuelle Eigenschaft charakterisiert werden kann. Aufgrund der Tatsache, dass der dynamische Wahrscheinlichkeitsbereich ziemlich groß ist, ist es ungeeignet, den Abstand von Äußerungspaaren direkt mit Hilfe des euklidischen Abstands von zwei L-Vektoren zu messen. Es sei beispielsweise angenommen, dass die Äußerungen y₁ und y₂ von demselben Sprecher erzeugt werden und y₃ von einem anderen Sprecher erzeugt wird. Die resultierenden L-Vektoren sind wahrscheinlich wie folgt (beim Einsatz einer logarithmischen Wahrscheinlichkeit): L1 =[L11L12L13]T = [–1000 –1111 –3222]T L2 = [L21L22L23 T] = [–5111 –4000 –8222]T L3 = [L31L32L33]T = [–900 –800 –300]T
Obwohl L₁₂ > L₁₃ und L₂₁ > L₂₃, ∥ L₁ – L₂∥ > ∥ L₁ – L₃∥.
Der bevorzugte, weiter unten ausführlicher beschriebene Lösungsansatz zum Zusammenfassen von Sprachäußerungen in Clustern beseitigt diese Probleme.
Der Vorgang des Zusammenfassens von Äußerungen in Clustern
Als erstes werden für jede Äußerung x_i ihre Modellwahrscheinlichkeiten L_ij, 1 ≤ j ≤ N gemäß der Regel sortiert, dass ein höherer Rankingwert für eine höhere Priorität zugewiesen wird. Das Ranking der Wahrscheinlichkeiten L_ij bezieht sich auf die Wahrscheinlichkeiten der anderen Elemente des Wahrscheinlichkeitsvektors L_i. Der Wahrscheinlichkeitsvektor L_i an sich für die Trainingsäußerung x_i ergibt einen entsprechenden Rankingvektor F_i. Bei einem bevorzugten Ausführungsbeispiel wird ein dazwischen liegender Rankingvektor R_i berechnet, wobei die Vektorelementwerte R_ij aus den Ganzzahlen 1 bis N in Abhängigkeit von der Wahrscheinlichkeit L_ij mit Bezug auf die Wahrscheinlichkeiten der anderen Elemente des Wahrscheinlichkeitsvektors L_i gewählt werden. Bei dem bevorzugten Ausführungsbeispiel ist R_ik = 1, wenn k = arg max L_ij, und R_ik = N wenn k = arg min L_ij.
Jeder Rankingwert wird normalerweise nur einmal verwendet und von 1 bis N zugewiesen. Auf der Grundlage dieses dazwischen liegenden Rankingvektors wird der tatsächliche Rankingvektor F_i =[F_i1, F_i2 ..., F_iN]^T für jede Äußerung x_i definiert als F_ij = 1/R_ij.
Eine weitere Verbesserung wird erzielt, indem die Unterscheidung erhöht wird:
wobei η eine Ganzzahl ist, die die erwartete Anzahl von Äußerungen pro Cluster darstellt. Durch diese Vorgehensweise kann ein allgemeines Kriterium zum Unterscheiden der Äußerungen unterschiedlicher Sprecher abgeleitet werden, D(Fi, Fj) < D(Fi, Fk), wenn S(xj) = S(xj), und S(xi) ≠ S(xk) (5)wobei D(F_i, F_j) ein geeignetes Abstandsmaß für F_i und F_j ist.
Mit Bezug auf das obige Beispiel sind die entsprechenden Rankingvektoren: F1 =[1 1/2 1/3]T F2 = [1/2 1 1/3]T F3 = [1/3 1/2 1]T
In diesem Beispiel ist η = 3. Daraus ergibt sich ∥F₁ – F₂∥ = 0,5, ∥F₁ – F₃∥ = 0,89 und ∥F₂ – F₃∥ = 0,72. Offensichtlich ist y₁ und y₂ das am nächsten zusammen liegende Paar.
Der Einsatz der Schwellenwertbildung verdeutlicht die Tatsache, dass nur größere Modellwahrscheinlichkeiten nützlich dafür sind, die Beziehung zwischen einer Äußerung und ihren Begleitern mit denselben wahren Sprecheridentitäten zu verdeutlichen. Zur Verdeutlichung wird das in 2 dargestellte Beispiel verwendet. Die Zwischenrankingmatrix R_ij für dieses Beispiel ist Folgende:
Bei der Erstellung der Rankingmatrix F_ij (η = 3) ergibt sich:
Bei der Berechnung der paarweisen Abstände ∥F_i – F_j∥ ergibt sich:
Die Eigenschaft, dass ∥F_i – F_j∥ < ∥F_i – F_k∥, wenn Sprecher(x_i) = Sprecher(x_j) und Sprecher(x_i) ≠ Sprecher(x_k), wird erneut klar demonstriert. Der tatsächliche Wert für η kann in Abhängigkeit von der ermittelten Datenmenge empirisch ermittelt werden.
Auf der Grundlage des Kriteriums des Abstands zwischen den Rankingvektoren kann das blinde Zusammenfassen in Clustern von Äußerungen pro Sprecher als ein Problem des herkömmlichen Zusammenfassens von Vektoren in Clustern formuliert werden. Fachkundige können jeglichen geeigneten Clusteringalgorithmus einsetzen. Zur Lösung des Problems kann beispielsweise der gut entwickelte k-Means-Clustering-Algorithmus verwendet werden. Zur Vermeidung des Problems der fehlenden Aufteilung, wie sie eventuell bei dieser Anwendung auftritt, wird es jedoch vorgezogen, den folgendermaßen veränderten k-Means-Algorithmus einzusetzen:
Schritt 1: Initialisierung Anzahl der Cluster auf k = 2 einstellen. Willkürlich einen Vektor, beispielsweise F_i, als Vertreter des Clusters C₁ auswählen. Dann den Vektor, der am weitesten von F_i entfernt ist (bezüglich des gewählten Abstandsmaßes, beispielsweise des Euklidischen Abstands), als Vertreter des Clusters C₂ auswählen.
Schritt 2: Suche nach dem nächsten Nachbarn. Für jeden Vektor F_j einen der Vertreter in jedem der Cluster auswählen, der sich am nächsten zu F_j befindet, und dann F_j dem entsprechenden Cluster zuweisen, das zu dem am nächsten gelegenen Vertreter gehört.
Schritt 3: Aufteilung. Für alle Cluster den Vektor finden, der am weitesten von dem Vertreter entfernt ist, der zu seinem aktuellen Cluster gehört. Der Vektor wird dann Vertreter eines neuen Clusters. k = k + 1 einstellen.
Schritt 4: Schritte 2 und 3 wiederholen, bis k = M.
3 zeigt ein Blockschaltbild des erfindungsgemäßen blinden Zusammenfassens von Äußerungen in Clustern. In den Blöcken 310, 312, ..., 318 wird für jede der Äußerungen x_i ein entsprechendes Modell λUi erzeugt. In Block 320 werden für jede der Äußerungen x_i die Wahrscheinlichkeiten der Äußerungen für jedes der Modelle berechnet. Daraus ergibt sich für jede der Äußerungen einen Wahrscheinlichkeitsvektor L_i = [L_i1 L₁₂ ... L_iN]^T. In Block 332 bis 338 wird für jede der Äußerungen x_i ein entsprechender Rankingvektor F_i = [F_i1, F_i2, ..., F_iN]^T berechnet auf der Grundlage der relativen Wahrscheinlichkeit der Elemente ihres Wahrscheinlichkeitsvektors L_i. In Block 340 werden die Äußerungen x_i auf der Grundlage eines Abstandskriteriums zwischen den Rankingvektoren der Äußerungen in Clustern zusammengefasst.
VERSUCHSERGEBNISSE
Sprachdatenbank
Die zum Testen des erfindungsgemäßen Systems verwendete Datenbank bestand aus 5000 Äußerungen, die von 100 Sprechern (50 männlichen und 50 weiblichen) stammten. Jeder Sprecher gab 50 Äußerungen von sich, die in drei Sitzungen aufgezeichnet wurden. Die Dauer dieser Äußerungen betrug zwischen 2 und 5 Sekunden. Alle 100 Sprecher fungierten als Nutzer, d. h. P = Q = 100. Die Datenbank wurde ferner in drei Teilgruppen eingeteilt, die entsprechend als DB-1, DB-2 und DB-3 bezeichnet wurden. Die erste Teilgruppe DB-1 bestand aus 20 Äußerungen pro Sprecher (was ungefähr einer Gesamtdauer von 80 Sekunden entsprach) und diente als offline ermittelte Daten. Die zweite Teilgruppe DB-2 bestand aus 10 verschiedenen Äußerungen, die nicht die Sprachsegmente in DB-1 enthielten. Jede der Äußerungen in DB-2 wurde als Registrierungsdaten von Nutzern verwendet. Die dritte Teilgruppe DB-3 bestand aus den restlichen 20 Äußerungen und diente als Testgruppe für Experimente zur Sprecheridentität. Alle Äußerungen wurden in einer relativ ruhigen Umgebung aufgezeichnet und mit einer Genauigkeit von 16 Bits bei 22,05 kHz abgetastet. Sprachmerkmale, die 21 MFCCs enthielten (der 0-te Koeffizient wird nicht verwendet), wurden dann für jeden der Hanning-Fensterfunktion unterzogenen 20-ms-Frame mit 10-ms-Frameverschiebungen extrahiert.
Clusterauswertung
Da die Effektivität des Systems der Sprecheridentifizierung (ID) ganz wesentlich davon abhängt, wie gut die offline ermittelten Äußerungen in Clustern zusammengefasst werden, ist es erforderlich, die Effizienz des Verfahrens des Zusammenfassens der Äußerungen in Clustern auszuwerten, bevor Experimente zur Sprecheridentifizierung durchgeführt werden. Die Qualität der Aufteilung wurde mit Hilfe der Clusterreinheit gemessen. Die Reinheit ist eine Menge, die das Ausmaß beschreibt, in dem alle Äußerungen in einem Cluster von demselben Sprecher stammen. Für das Cluster m ist die Reinheit definiert als
wobei n_m die Anzahl von Äußerungen in dem Cluster m und n_mk die Anzahl von Äußerungen in dem Cluster m ist, die von dem Sprecher S_k gesprochen wurden. Die Berechnung dieser Messung erfordert die Kenntnis des wahren Attributs jeder Äußerung. Die Gesamtef fizienz des Verfahrens des Zusammenfassens in. Clustern wird als durchschnittliche Reinheit ausgewertet:
Computersimulationen wurden an dDB-1 durchgeführt, um die blinde Zusammenfassung von Äußerungen in Clustern zu untersuchen. Die Anzahl der Gauß'schen Mischungen pro Äußerung variierte zwischen 2 und 8 pro Durchlauf, und der Parameter η wurde in allen Experimenten auf (N/M) eingestellt. 4 zeigt die durchschnittliche Reinheit gegenüber der Anzahl von verwendeten Clustern. Ist die Anzahl der Cluster gleich der Sprecherpopulationsgröße (M = P = 100), wird eine durchschnittliche Reinheit von 0,86 erzielt. Mit zunehmender Anzahl von Clustern nimmt die Reinheit zu. Die Äußerungen von verschiedenen Sprechern konnten perfekt getrennt werden, wenn 700 Cluster verwendet wurden. Die Ergebnisse zeigen auch, dass die Zusammenfassung in Clustern nicht von der Anzahl der verwendeten Mischungen pro Äußerung abhing. Im Folgenden wurden die von 4 Mischungen/Äußerung erzielten Clusteringergebnisse verwendet, um Experimente zur Sprecheridentifizierung durchzuführen.
Experimente zur Sprecheridentifizierung
Als erstes wurde ein grundlegendes System, das auf herkömmliche überwachte Weise funktioniert, zum Leistungsvergleich ausgewertet. Hierbei wurden zwei Gruppen von Experimenten durchgeführt, um die Systemleistung hinsichtlich unterschiedlicher Mengen von Trainingsdaten zu untersuchen. In der ersten Gruppe von Experimenten wurden Modelle für bestimmte Sprecher unter Verwendung von 20 Äußerungen/Sprecher in DB-1 zusammen mit wahren Sprecherattributen trainiert. Danach wurden wiederum 20 Äußerungen/Sprecher in DB-3 dazu verwendet, das System zu testen, und die Genauigkeit der Sprecheridentifizierung wurde dann als der Prozentsatz korrekt identifizierter Äußerungen von allen Testäußerungen berechnet. Die Genauigkeit der Sprecheridentifizierung wurde auch hinsichtlich der unterschiedlichen Anzahl von Gauß'schen Mischdichten pro Sprechermodell gemessen, die von 2 bis 32 variierte. In der zweiten Gruppe von Experimenten wurde jedes Sprechermodell unter Verwendung einer aus DB-2 ausgewählten Äußerung trainiert.
Diese experimentelle Einstellung kann als die Verwendung von wenigen Daten im Training von Sprechermodellen betrachtet werden. Zur Erzielung statistisch signi fikanter Ergebnisse wurde zusätzlich jede einzelne Äußerung aus DB-2 einmal gewählt, und es wurden ähnliche Experimente für zehn Versuche durchgeführt. Schließlich wurde die durchschnittliche Genauigkeit der Sprecheridentifizierung berechnet. Die folgende Tabelle gibt die Genauigkeit der Sprecheridentifizierung unter Verwendung der Ergebnisse der beiden Gruppen von Experimenten wieder. Es ist zu sehen, dass das herkömmliche System zur Sprecheridentifizierung auf der Grundlage eines überwachten Trainings von GMMs sehr gut funktioniert, wenn eine große Menge von Registrierungsdaten verwendet wurde, während die Leistung drastisch abfällt, wenn nur wenige Registrierungsdaten verwendet wurden. Die Tabellendaten zeigen auch eine obere und eine untere Grenze der Leistung der Sprecheridentifizierung auf der Grundlage unseres vorgeschlagenen nicht überwachten Lernvorgangs.
Anschließend wurden Experimente durchgeführt, um die Gültigkeit des erfindungsgemäßen Systems zur Sprecheridentifizierung zu testen. Die Bestimmung einer angemessenen Anzahl von zur Darstellung verschiedener Sprecher benötigten Cluster ist der erste Schritt bei der Anwendung von Hintergrundlernen auf das Problem der Sprecheridentifizierung. Wie bereits erwähnt kann je größer die Anzahl von eingesetzten Clustern ist, eine umso höhere Reinheit erzielt werden. Bei einer großen Menge von Clustern besteht jedoch die Gefahr, dass wenige Daten für das Training von Sprechermodellen verwendet werden. Aus diesem Grund wurden die folgenden Experimente durchgeführt, um die Auswirkung der Sprecheridentifizierungsleistung hinsichtlich der Anzahl von Clustern und der Anzahl von verwendeten Mischungen pro Sprechermodell zu untersuchen. Zur Erzielung statistisch signifikanter Ergebnisse wurden zusätzlich zehn Versuche mit verschiedenen, aus DB-2 ausgewählten Registrierungsäußerungen pro Sprecher durchgeführt und dann die durchschnittliche Genauigkeit der Sprecheridentifizierung berechnet. 5 fasst die Ergebnisse der Sprecheridentifizierung zusammen. Die beste Genauigkeit der Sprecheridentifizierung von 95,6% wurde erzielt, indem 150 Cluster zusammen mit 4 Mischungen pro Sprechermodell eingesetzt wurden. Bei zunehmender Anzahl von Clustern nimmt die Genauigkeit der Sprecheridentifizierung nach und nach ab. Die Ergebnisse lassen vermuten, dass die angemes sene Anzahl von Clustern so gewählt werden kann, dass sie etwas größer als die Sprecherpopulationsgröße ist (wenn sie vorher bekannt ist). Es wird vorgezogen, dass Äußerungen von demselben Sprecher in mehr als einem Cluster vorliegen, anstelle Äußerungen von verschiedenen Sprechern in denselben Clustern zu gruppieren. Im Vergleich zu den Ergebnissen in der obigen Tabelle ist es offensichtlich, dass die Leistung der Sprecheridentifizierung mit Hilfe von wenigen Registrierungsdaten durch das Hintergrundlernen der Sprecherstimmen stark verbessert werden kann. Die Ergebnisse zeigen auch, dass das vorgeschlagene nicht überwachte Lernschema bezüglich der Sprecheridentifizierung mit dem herkömmlichen überwachten System konkurrieren kann.
Das Verfahren des Hintergrundlernens erleichtert den Einsatz der Sprecheridentifizierung und macht als solches den Weg für den Einsatz der Sprecheridentifizierung in mehr Systemen der Nachrichtenelektronik frei. Im Gegensatz zur herkömmlichen Sprecheridentifizierung baut das erfindungsgemäße Verfahren des Hintergrundlernens nicht darauf, dass sich ein Benutzer explizit registriert und das System trainiert, um sprecherspezifische Modelle zu erstellen, sondern versucht stattdessen, Sprecherstimmen über das Zusammenfassen in Clustern und die parametrische Modellierung von offline ermittelten Sprachsignal auf unüberwachte Weise zu lernen. Dadurch wird ein Registrieren einer großen Menge von Sprachdaten von Benutzern überflüssig. Wie oben beschrieben sind zur Vorbereitung eines Systems für den Einsatz die folgenden beiden Schritte erforderlich: Das blinde Zusammenfassen in Clustern für Offline-Sprachäußerungen wird gemäß dem beschriebenen Algorithmus durchgeführt.
Die Kennzeichnung von Sprechern wird wie oben für Block 122 in 1 beschrieben durchgeführt. In den nachfolgenden Beispielen wird der Benutzer persönlich angesprochen. Als solches sind persönliche Informationen über den Benutzer, beispielsweise der Name des Benutzers, erforderlich. Für gewisse Anwendungen kann es ausreichen, zwischen verschiedenen Benutzern zu unterscheiden, wodurch das Hinzufügen persönlicher Informationen unnötig wird.
Abgesehen von der herkömmlichen Registrierung für die Sprechererkennung ermöglicht das erfindungsgemäße System zwei neue Arten der Registrierung in Abhängigkeit von der Menge der ermittelten Sprecherdaten. Die erste ist ein von dem System erzeugter automatischer Registrierungsvorgang. Er kann als „Registrierung durch Begrüßen eines alten Freundes" bezeichnet werden. Das Szenario ist folgendes:
Während das System eine Zeit lang aktiv ist (in der es beispielsweise eine sprecherunabhängige Sprachsteuerung nutzt oder lediglich Sprecherdaten im Hintergrund ermittelt), ermittelt das System automatisch Äußerungen des Benutzers und erstellt Sprechermodelle anhand des beschriebenen Verfahrens des Hintergrundlernens.
Wenn einer der Sprecher zu einem gewissen Zeitpunkt das Konfidenzmaß erreicht (d. h. die Wahrscheinlichkeit einer Äußerung (beispielsweise ein Sprachbefehl zur Steuerung des Systems) hat verglichen mit einem der Modelle einen vorher festgelegten Schwellenwert überschritten), führt das System eine automatische Registrierung durch. Dies kann wie das Begrüßen eines alten Freundes ablaufen, bei dem das System unter Verwendung von vorher aufgezeichneten Meldungen oder von Sprachsynthese eventuell sagt:
„Hallo mein Freund. Ich höre wieder einen bekannten Klang von dir, kannst du mir deinen Namen mitteilen?"
Nach der Registrierung kann das System den Sprecher durch seine Stimme identifizieren.
Das System kann die persönlichen Informationen in jeglicher geeigneten Form zusammen mit dem für den Sprecher identifizierten Sprachmodell speichern. Der Sprecher kann beispielsweise persönliche Informationen geliefert haben, indem er seinen Namen sagt. Das System kann diesen Namen in einer Form speichern, die die Sprache darstellt. Beim nächsten Mal, wenn derselbe Sprecher mit dem System spricht, kann das System die aufgezeichnete Sprache wenn gewünscht mit Hilfe von Sprachsyntheseverfahren erneut erzeugen, damit der aufgezeichnete Name so klingt, wie es für das System normal ist. Das System kann auch den Namen erkennen, indem es Spracherkennungsverfahren einsetzt, und eine erkannte Darstellung, beispielsweise einen Text, speichern. Das System kann den Benutzer auch auffordern, den Namen einzugeben und diese Textdarstellung speichern.
Eine zweite Art der Registrierung wird durchgeführt, wenn zu dem Zeitpunkt, an dem zum ersten Mal eine Sprecheridentifizierung erforderlich ist, nicht genug Trainingsdaten zur Verfügung stehen. Das System wird den Benutzer auffordern, mehr Äußerungen von sich zu geben. Die Anzahl der erforderlichen eingegebenen Äußerungen hängt von den Daten ab, die bereits ermittelt wurden. Wenn einmal ein ausreichendes Konfidenzmaß erreicht ist, wird die Sprechermodellanpassung mit Hilfe jegliches geeigneten Modellanpassungsalgorithmus durchgeführ. Diese Form der Registrierung kann als eine „einfache Registrierung durch Anpassung" angesehen werden. Der Benutzer braucht nur ein paar Anpassungsdaten zu sprechen, um ein Sprechermodell zu erstellen. Verglichen mit herkömmlichen Lösungsansätzen erfordert diese Form der Registrierung weniger Zeit.
Personalisiertes und interaktives sprachgesteuertes System
Bei herkömmlichen sprachgesteuerten Systemen sind personalisierte und interaktive Funktionen nicht gut in die Sprachsteuerung integriert. Normalerweise können Benutzer die Vorrichtung über die Stimme steuern, und die Person kann sich gleichzeitig mit anderen Dingen befassen. Beispielsweise kann der Fernseher mit Hilfe eines Sprachbefehls „EIN" aktiviert werden. Bei herkömmlichen Sprachsteuerungssystemen gibt es keine Möglichkeit, den Fernseher beim Einschalten automatisch auf ein persönliches Standardprogramm einzustellen oder andere persönliche Einstellungen vorzunehmen. Für eine wirksame persönliche Benutzerschnittstelle ist es wünschenswert, dass der Sprecher automatisch identifiziert wird. Die erfindungsgemäße Technik der Sprecheridentifizierung kann zu diesem Zweck wirksam eingesetzt werden und ermöglicht als solches neue Funktionen für sprachgesteuerte Systeme. Wenn beispielsweise der Vater David den Fernseher einschaltet, wird standardmäßig der Kanal „Sport" eingestellt, der seinem Profil gemäß der bevorzugte Kanal ist. Wenn ein zweijähriges Kind Tom den Fernseher über einen Sprachbefehl einschaltet, kann automatisch der Disney-Kanal ausgewählt werden. Dadurch werden die Vorrichtungen benutzerfreundlicher. Speziell sehr kleine Kinder können somit die Vorrichtung ohne Unterstützung bedienen. Die Eltern können vorzugsweise das Profil des Kindes beeinflussen. Durch den Einbau der Technik der Sprecheridentifizierung können sprachgesteuerte Systeme bei verschiedenen Benutzern unterschiedlich reagieren. Ein Blockschaltbild eines kombinierten Sprach-/Sprechererkennungssystems ist in 6 dargestellt. Die Spracheingabe 610 wird an eine Spracherkennungseinheit 620, die so optimiert sein kann, dass sie Sprachbefehle erkennt, und eine Sprechererkennungseinheit 630 gesendet. Die Erkennungseinheiten arbeiten vorzugsweise parallel, ein sequentieller Betrieb kann jedoch auch akzeptabel sein. Die Erkennungseinheiten erzeugen als Ausgabe 640 den erkannten Inhalt (beispielsweise einen Sprachbefehl) und die Identität des Sprechers. Erfindungsgemäß wird dieselbe Äußerung zur Erkennung eines Sprachbefehls und zur Identifizierung des Sprechers verwendet. Der erkannte Befehl wird dann sprecherabhängig ausgeführt.
Die Sprecheridentifizierung kann ebenfalls vorteilhaft dazu verwendet werden zu überprüfen, ob eine Person die Erlaubnis hat, eine Vorrichtung (beispielsweise ein Handy) zu bedienen oder gewisse Funktionen durchzuführen, zum Beispiel einen Sender für Erwachsene anzuschauen. Bei personalisierten und interaktiven sprachgesteuerten Systemen können persönliche Profile und Inhalte automatisch erstellt werden, indem die Programmaufzeichnungen von sprachgesteuerten Vorrichtungen analysiert werden. Das Profil stellt die Gewohnheiten des Benutzers für das sprachgesteuerte System dar. Das System kann das Profil nutzen, um Programme bzw. Einstellungen des Benutzers standardmäßig aufzurufen oder dem Benutzer wie ein Freund, der dessen Gewohnheiten kennt, Vorschläge zu machen.
Die Anwendungen der Sprecheridentifizierung wie oben beschrieben können zusammen mit dem erfindungsgemäßen Hintergrundtraining des Identifizierungssystems eingesetzt werden, wodurch das System benutzerfreundlicher wird. Es ist offensichtlich, dass die gleichen Anwendungen auch verwendet werden können, wenn das Identifizierungssystem auf eine andere Art trainiert wird.
Text in den Figuren
1

Background learning – Hintergrundlernen
Speech data collection – Sprachdatenermittlung
Blind utterance clustering – Blindes Zusammenfassen der Äußerungen in Clustern
peaker modeling – Sprechermodellierung
Client registration – Nutzerregistrierung
Speaker model tagging – Sprechermodellkennzeichnung
Enrollment utterances – Registrierungsäußerungen
Speaker ID – Sprecher-ID
Maximum likelihood decision – Maximum-Likelihood-Entscheidung
Test utterances – Testäußerungen

2

Speaker – Sprecher

3

Gaussian mixture modelling – Gauß'sche Mischmodellierung
Likelihood computation – Wahrscheinlichkeitsberechnung
Likelihood pattern characterization – Charakterisierung des Wahrscheinlichkeitsmusters
Vector clustering – Zusammenfassen von Vektoren in Clustern
Cluster – cluster

4

Average purity – durchschnittliche Reinheit
Mixtures/utterance – Mischungen/Äußerung
Number of clusters – Anzahl der Cluster

5

Speaker-ID accuracy – Genauigkeit der Sprecher-ID

6

Speech input – Spracheingabe
Speech recognizer – Spracherkennungseinheit
Speaker recognizer – Sprechererkennungseinheit
Recognized content and identity – Erkannter Inhalt und Identität

Claims

Verfahren der automatischen Identifizierung eines Sprechers, wobei das Verfahren Folgendes umfasst: Identifizieren eines Sprechers durch: Empfangen einer Testäußerung von dem Sprecher, Bestimmen eines Sprechermodells mit der höchsten Wahrscheinlichkeit aus einer Vielzahl von Sprechermodellen für die Testäußerung und Identifizieren des dem Sprechermodell mit der höchsten Wahrscheinlichkeit zugeordneten Sprechers als den Sprecher der Testäußerung, wobei das Verfahren die Erstellung der Vielzahl von Sprechermodellen im Hintergrund umfasst durch Empfangen von Trainingsäußerungen von einer Vielzahl von Sprechern im Hintergrund, ohne dass die Sprecher, die die entsprechenden Trainingsäußerungen sprachen, vorher bekannt waren, blindes Zusammenfassen der Trainingsäußerungen in Clustern auf der Grundlage eines vorher festgelegten Kriteriums und Trainieren für jedes der Cluster eines entsprechenden Sprechermodells, wobei jedes der Modelle einen Sprecher darstellt.
Verfahren nach Anspruch 1, wobei der Schritt des blinden Zusammenfassens der Trainingsäußerungen x_i, i < N, in Clustern auf der Grundlage des vorher festgelegten Kriteriums Folgendes umfasst: Modellieren jeder entsprechenden der Trainingsäußerungen x_i durch ein entsprechendes Modell λ_i, Berechnen für jede Trainingsäußerung x_i eines entsprechenden Wahrscheinlichkeitsvektors L_i, wobei jedes Vektorelement L_ij, 1 ≤ j ≤ N, eine Wahrscheinlichkeit der Trainingsäußerung x_i hinsichtlich eines entsprechenden der Modelle λ_i darstellt, Bestimmen für jede Trainingsäußerung x_i eines entsprechenden Rankingvektors F_i, wobei jedem Element F_ij des Rankingvektors ein Rankingwert zugeordnet wird, der ein Ranking der entsprechenden Wahrscheinlichkeit L_ij verglichen mit den anderen Elementen des Wahrscheinlichkeitsvektors L_i darstellt, so dass ein höherer Wahrscheinlichkeitswert L_ij durch einen höheren Rankingwert von F_ij wiedergegeben wird, Zusammenfassen der Trainingsäußerungen x_i in Clustern auf der Grundlage eines Kriteriums, dass ein Minimum in einem Abstandsmaß zwischen F_i und F_j anzeigt, dass die Trainingsäußerungen x_i und x_j von demselben Sprecher stammen.
Verfahren nach Anspruch 2, wobei das Ranking so aussieht, dass η niedrigste Wahrscheinlichkeitswerte der Elemente L_ij des Wahrscheinlichkeitsvektors L_i durch verschiedene Werte der entsprechenden Elemente F_ij des Rankingvektors F_i dargestellt werden, und dass die restlichen N – η Elemente L_ij des Wahrscheinlichkeitsvektors L_i durch denselben vorher festgelegten Rankingwert der entsprechenden Elemente F_ij des Rankingvektors F_i dargestellt werden, wobei η eine erwartete Anzahl von Trainingsäußerungen pro Cluster darstellt und der vorher festgelegte Rankingwert niedriger als jegliche der η verschiedenen Rankingwerte ist.
Verfahren nach Anspruch 1, wobei das Verfahren Folgendes umfasst: Empfangen einer Trainingsäußerung von einem Sprecher, Bestimmen eines Sprechermodells mit der höchsten Wahrscheinlichkeit aus einer Vielzahl von Sprechermodellen für die Trainingsäußerung, Empfangen von Identifizierungsinformationen von dem Benutzer und Speichern der Identifizierungsinformationen zusammen mit dem Sprechermodell mit der höchsten Wahrscheinlichkeit.
Verfahren nach Anspruch 4, wobei das Verfahren Folgendes umfasst: Überprüfen, ob eine Wahrscheinlichkeit des Sprechermodells mit der höchsten Wahrscheinlichkeit über einem vorher festgelegten Schwellenwert liegt und, falls die Wahrscheinlichkeit unter dem vorher festgelegten Schwellenwert liegt, Anfordern einer weiteren Äußerung von dem Sprecher und iterativ Empfangen der weiteren Äußerung, Anpassen des Sprechermodells mit der höchsten Wahrscheinlichkeit anhand der weiteren Äußerung und Bestimmen der Wahrscheinlichkeit des angepassten Sprechermodells, bis die Wahrscheinlichkeit über dem vorher festgelegten Schwellenwert liegt.
Verfahren nach Anspruch 1, wobei die Schritte des Aufzeichnens von Trainingsäußerungen, des blinden Zusammenfassens der Äußerungen in Clustern und des Trainierens der Sprechermodelle iterativ durchgeführt werden, bis ein vorher festgelegtes Konfidenzmaß erzielt wurde.
Verfahren nach Anspruch 6, wobei als Reaktion auf das Erzielen des vorher festgelegten Konfidenzmaßes der Sprecher automatisch aufgefordert wird, Informationen zu liefern, die den Sprecher identifizieren, gefolgt von dem Empfangen der Identifizierungsinformationen und Speichern der Identifizierungsinformationen zusammen mit dem Sprechermodell mit der höchsten Wahrscheinlichkeit.
Verfahren nach Anspruch 1, wobei das Verfahren als Reaktion auf die Identifizierung des Sprechers das automatische Abrufen eines persönlichen Profils zur Interaktion mit einer Vorrichtung der Nachrichtenelektronik umfasst.
Verfahren nach Anspruch 1, wobei das Verfahren das Erkennen der zum Identifizieren des Sprechers verwendeten Testäußerung als einen Sprachbefehl und das sprecherabhängige Ausführen des erkannten Sprachbefehls umfasst.
Computerprogrammprodukt, das so funktioniert, dass es einen Prozessor veranlasst, das Verfahren nach Anspruch 1 durchzuführen.
System zum automatischen Identifizieren eines Sprechers, wobei das System Folgendes umfasst: eine Sprecheridentifizierungseinheit (130), die so funktioniert, dass sie einen Sprecher identifiziert durch: Empfangen einer Testäußerung von dem Sprecher, Bestimmen eines Sprechermodells mit der höchsten Wahrscheinlichkeit aus einer Vielzahl von Sprechermodellen für die Testäußerung und Identifizieren des dem Sprechermodell mit der höchsten Wahrscheinlichkeit zugeordneten Sprechers als den Sprecher der Testäußerung, und einen Sprechermodellgenerator (110), der so funktioniert, dass er die Vielzahl von Sprechermodellen erstellt. wobei der Sprechermodellgenerator so funktioniert, dass er die Vielzahl von Sprechermodellen im Hintergrund erstellt durch: Empfangen von Trainingsäußerungen (112) von der Vielzahl von Sprechern im Hintergrund, ohne dass die Sprecher, die die entsprechenden Trainingsäußerungen sprachen, vorher bekannt waren, blindes Zusammenfassen der Trainingsäußerungen in Clustern (114) auf der Grundlage eines vorher festgelegten Kriteriums und Trainieren für jedes der Cluster eines entsprechenden Sprechermodells (116), wobei jedes der Modelle einen Sprecher darstellt.