Aufgabe
der Erfindung ist es, eine Lösung
für eine
verbesserte Spracherkennung zu schaffen, welche insbesondere, im
Hinblick auf den Einsatz in sprachgesteuerten Systemen beziehungsweise
Dialogsystemen, eine flexible und komfortable Sprachsteuerung mit
hoher Erkennungsrate ermöglicht.
Die
Erfindung wird durch ein Verfahren mit den Merkmalen des Hauptanspruchs
gelöst.
Ein die Aufgabe lösendes
System wird durch den ersten vorrichtungsbezogenen Patentanspruch
charakterisiert. Vorteilhafte Ausbeziehungsweise Weiterbildungen der
Erfindung sind durch die jeweiligen Unteransprüche gegeben.
Zur
Spracherkennung, das heißt
zur Erkennung des Bedeutungsinhalts sprachlicher Äußerungen
einer Person wird das Sprachsignal dem Spracherkenner eines Spracherkennungssystems
zugeführt
und in bekannter Weise auf der Grundlage hinterlegter Sprachmodelle
sprachlich analysiert. Erfindungsgemäß erfolgt jedoch neben der
rein sprachlichen Analyse des Sprachsignals in einem Emotionserkenner
dessen Analyse im Hinblick auf die Ermittlung eines emotionalen
Zustands der betreffenden Person. In Abhängigkeit des Ergebnisses dieser emotionalen
Analyse, welches in Form eines diskreten Wertes den jeweiligen Erregungszustand
der Person beschreibt, werden erfindungsgemäß durch den Spracherkenner
unterschiedliche Sprachmodelle für
die sprachliche Analyse verwendet. An dieser Stelle sei bemerkt,
dass die Sprachanalyse auf der Grundlage entsprechender Sprachmodelle
als solches, ebenso wie die dazu eingesetzten soft- und hardwarebasierten
Mittel bekannt und daher nicht Gegenstand der vorliegenden Erfindung
ist. Gleiches gilt für
die Möglichkeit,
aus einem Sprachsignal Aussagen über
den emotionalen Zustand einer jeweils sprechenden Person abzuleiten.
Der Erfindung liegt vielmehr die Idee zugrunde, die beiden vorgenannten Möglichkeiten,
also die Interpretation des Bedeutungsinhalts eines Sprachsignals
auf der Grundlage sprachlicher Modelle mit der Erkennung von emotionalen
Zuständen
anhand des Sprachsignals, miteinander in Beziehung zu bringen. Und
zwar in der Weise, dass je nach bei der emotionalen Analyse festgestelltem
Erregungszustand einer Person unterschiedliche Sprachmodelle für die Erkennung
von ihr getätigter
sprachlicher Äußerungen
zum Einsatz gelangen. Deren Auswahl erfolgt dadurch, dass als Abbild
des jeweils festgestellten Erregungszustands von der oder den zur
Emotionsanalyse eingesetzten Einheiten ein diskreter Wert (Emotionsindikator)
als Element einer begrenzten Menge zur Abbildung von Emotionszuständen dienender
Werte zurückgegeben
und, bezogen den Ablauf der Spracherkennung in dem hierfür ausgebildeten
System, quasi eine Verzweigung entsprechend dem jeweiligen Emotionsindikator
erfolgt, in deren Ergebnis für
die sprachliche Analyse ein in dem jeweiligen Ablaufzweig vorgesehenes
Sprachmodell herangezogen wird, welches sich von den in anderen
Ablaufzweigen zur Anwendung gelangenden Sprachmodellen unterscheidet. Auf
diese Weise wird die Genauigkeit der Spracherkennung gegenüber einer
Erkennung mittels nur eines, vom Erregungszustand völlig unabhängigen Sprachmodells
deutlich verbessert.
Bei
einer praxisgerechten Umsetzung des erfindungsgemäßen Verfahrens
erfolgt die sprachliche Analyse durch den Spracherkenner, in wiederum bekannter
Weise, auf der Grundlage einer Analyse des Sprechklangs der sprachlichen Äußerungen
mit Hilfe im System abgebildeter akustischer Modelle und eines Vergleichs
dieser Äußerungen
mit einer im System hinterlegten Grammatik. Dabei definiert die Grammatik
einen durch das System interpretierbaren Sprachraum, in Bezug auf
welchen die sprachlichen Äußerungen
auf Übereinstimmungen
geprüft
werden. Zur Verwirklichung des erfindungsgemäßen Verfahren sind jedoch mehrere
akustische Modelle sowie mehrere Grammatiken in dem Spracherkenner hinterlegt.
Sowohl das für
die Sprachanalyse verwendete akustische Modell als auch die Grammatik
werden dabei in Abhängigkeit
des Ergebnisses der emotionalen Analyse eines Sprachsignals der
selben Person ausgewählt.
Entsprechend
einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens
ist das Verfahrensregime so gestaltet, dass die emotionale Analyse
des Sprachsignals seiner sprachlichen Analyse vorausgeht. Hierdurch
ist gewährleistet,
dass für
die sprachliche Analyse durch den Spracherkenner ein Sprachmodell
verwendet wird, welches unmittelbar mit dem, zur Beschreibung des
Erregungszustands der Person, aus demselben Sprachsignal abgeleiteten
diskreten Wert (Emotionsindikator) korrespondiert.
Zur
Generierung beziehungsweise Implementierung der verschiedenen Sprachmodelle
im System sind unterschiedliche Vorgehensweisen denkbar. So können diese
beispielsweise auf bestimmte Personen zugeschnitten beziehungsweise an
diese gebunden sein und im Zuge einer Anlernphase des Systems im
Spracherkenner des Systems hinterlegt werden. Eine solche Vorgehensweise
ist beispielsweise von Spracherkennungssoftware, welche im Office-Bereich
eingesetzt wird, grundsätzlich bekannt.
Allerdings setzt dies voraus, dass die betreffende Person dass System
auch in unterschiedlichen Erregungszuständen, also beispielsweise auch, wenn
sie verärgert
ist, anlernt. Im Hinblick auf Sprachportale beziehungsweise Plattformen
kommt aber vorzugsweise die Möglichkeit
in Betracht, die akustischen Modelle aus transkribierten Mitschnitten von
Sprachportalen abzuleiten. Hinsichtlich der Grammatik kann dabei
auf einen allgemeinen Erfahrungsschatz zurückgegriffen werden, um beispielsweise
eine Grammatik zu hinterlegen, welche ein für den Zustand der Verärgerung
typisches Vokabular umfasst. Die emotionale Analyse erfolgt vorzugsweise
durch eine prosodische Bewertung der sprachlichen Äußerungen.
Ein
zur Umsetzung des Verfahrens geeignetes Spracherkennungssystem weist
als wesentliche Bestandteile Mittel zur Spracheingabe sowie einen software-
und hardwarebasierten Spracherkenner zur Analyse der über die
Mittel zur Spracheingabe eingegebenen Sprachsignale auf. Erfindungsgemäß verfügt das System
jedoch, abweichend vom Stand der Technik, nicht nur über einen
Spracherkenner, sondern außerdem über einen
auf prosodischer Grundlage arbeitenden Emotionserkenner, welcher mit
dem Spracherkenner in einer Wirkverbindung steht. In dem Spracherkenner
sind mehrere akustische Modelle und mehrere Grammatiken zur sprachlichen
Analyse eingehender Sprachsignale hinterlegt. Die Wirkverbindung
mit dem Emotionserkenner ist dergestalt, dass durch eine Steuereinheit,
welche unmittelbarer Teil des Spracherkenners oder diesem zumindest
zugeordnet ist, das zur Analyse eines Sprachsignal jeweils herangezogene
akustische Modell sowie die hierzu verwendete Grammatik auf der Grundlage
eines vom Emotionserkenner an die Steuereinheit übertragenen Emotionsindikators
ausgewählt
werden. Bei dem an die Steuereinheit übertragenen Emotionsindikator
handelt es sich, wie bereits zum Verfahren ausgeführt, um
einen den Erregungszustand der sprechenden Person beschreibenden diskreten
Wert.
Entsprechend
einer Ausgestaltung ist das erfindungsgemäße Spracherkennungssystem Teil
einer Client-Server-Architektur, bei der Sprachkommandos, mittels
des als Teil des Clients realisierten Spracherkenners in zeichenbasierte
Kommandos umgesetzt und die Kommandos an einen Applikationsserver
zur Steuerung darauf gehaltener Anwendungen übertragen werden. Der Client
ist beispielsweise als ein VoiceXML-Browser ausgebildet. Um den
VoiceXML-Standard nicht verändern
zu müssen beziehungsweise
eine Nutzung der Erfindung auch mit nach dem bestehenden Standard
arbeitenden VoiceXML-Browsern zu ermöglichen, kann der Emotionserkenner
auf dem Applikationsserver installiert sein. Er erhält dann
die Sprachsignale vom Client via HTTP-multipart POST-request und
gibt das Ergebnis der emotionalen Analyse in Form in einem VoiceXML-Dokument
enthaltener Instruktionen an diesen zurück. Auf der Grundlage dieser
Instruktionen wird das Sprachmodul für die sprachliche Analyse ausgewählt. Allerdings
wirkt sich hierbei das Ergebnis der emotionalen Analyse erst auf
den jeweils nachfolgenden Sprachanalysevorgang aus.
Entsprechend
einer vorteilhaften Möglichkeit ist
daher der Emotionserkenner als ein dem Spracherkenner vorgeschalteter
Teil des Clients realisiert. Dies bedingt jedoch gegebenenfalls
eine Anpassung des VoiceXML-Standards, zumindest aber des VoiceXML-Browsers.
Bei
einer einfachen Ausbildungsform der Erfindung ist der Emotionserkenner
als ein nur zwischen den beiden Zuständen „erregt" und „nicht erregt" unterscheidender
Emotionsdetektor ausgebildet.
Die
Erfindung soll nachfolgend anhand eines Ausführungsbeispiels nochmals näher erläutert werden.
Dabei sollen die zugehörigen
Zeichnungen sowohl der Erläuterung
verfahrensbezogener als auch vorrichtungsbezogener Aspekte der Erfindung
dienen. Im Einzelnen zeigen:
1:
Eine erste Variante des erfindungsgemäßen Spracherkennungssystems
als Teil einer Client-Server-Struktur.
2:
Eine weitere Variante einer entsprechenden Client-Server-Struktur
Die 1 zeigt
in einer groben schematischen Darstellung die wesentlichen, sich
auf die Erfindung beziehenden Teile eines sprachgesteuerten Systems,
welches eine Client-Server-Struktur aufweist. Hierbei kann es sich
um ein System handeln, welches Sprachbefehle entgegennimmt und die
entsprechenden Bearbeitungsschritte ausführt. Bei dem System kann es
sich aber auch um ein Sprachdialogsystem handeln, wobei die Systemantworten
auf sprachliche Eingaben eines Benutzers nicht notwendiger Weise
ebenfalls in sprachlicher Form erfolgen müssen. Vielmehr können die
Systemantworten in visueller, akustischer oder in einer sonstigen
Form ausgegeben werden. In jedem Falle ermöglicht jedoch das System die
Verarbeitung von Spracheingaben auf der Grundlage der Spracherkennung.
Die
im Hinblick auf die Erfindung wesentlichen Komponenten des Systems
sind durch Mittel zur Spracheingabe 6, eine Einheit zur
Spracherkennung beziehungsweise den Spracherkenner 1, einen Emotionsdetektor 2 und
Einheiten 8 zur Ausführung der
durch die Spracherkennung erkannten Kommandos des Benutzers gegeben,
wobei die diese Mittel darstellenden Symbole jeweils hard- und/oder
softwarebasierte Komponenten versinnbildlichen.
Bei
einem Sprachdialogsystem umfassen letztgenannte Einheiten auch Mittel 7 zur
Ausgabe einer Systemantwort. Bei der in der 1 gezeigten Variante
ist der Emotionserkenner 2 beziehungsweise -detektor auf
dem Server 20 der dargestellten Client-Server-Struktur
ausgebildet. Die von dem Client 10 empfangenen Spracheingabesignale
werden dem Spracherkenner 1 und, via HTTP-multipart POST-request
dem Emotionserkenner 2 auf dem Server 20 zugeführt. Dabei
werden durch den Emotionserkenner 2 schwellwertbasiert,
vorzugsweise auf der Grundlage einer prosodischen Analyse, verschiedene
Emotionszustände
des Systembenutzers unterschieden. In dem gezeigten Beispiel sei
angenommen, dass der Emotionserkenner 2 als ein zwischen den
Emotionszuständen "nicht erregt" und "ärgerlich" unterscheidender Emotionsdetektor arbeitet.
Der Spracherkenner 1 arbeitet nach grundsätzlich bekannten
Verfahren auf der Grundlage einer akustischen und grammatischen
Analyse des Sprachsignals. In erfindungswesentlicher Weise werden
jedoch zur Spracherkennung akustische Modelle 5, 5' und Grammatiken 4, 4' herangezogen,
welche auch ein akustisches Modell 5' und eine Grammatik 4' für den Zustand
emotionaler Erregung (verärgert)
abbilden. Dabei wird der Tatsache Rechnung getragen, dass sich eine
Person im Zustand emotionaler Erregung anders artikuliert, als im
nicht erregten Zustand und dass sich bei Erregung auch das akustische
Signal im Hinblick auf Merkmale wie beispielsweise Stimmlage und
Intonation ändert.
Demzufolge sind dem in der 1 gezeigten
Spracherkenner 1 je ein akustisches Modell 5, 5' und je eine
Grammatik 4, 4' zugeordnet,
welche Sprachmodelle bezüglich
eines emotional nicht erregten Zustands und eines emotional erregten
Zustands, beispielsweise des Zustands der Verärgerung, abbilden. Die Auswahl
des jeweils zur Anwendung kommenden aus akustischem Modell 5, 5' und Grammatik 4, 4' bestehenden
Sprachmodells erfolgt aufgrund des von dem Emotionsdetektor 2 erkannten
emotionalen Zustands des Systembenutzers. Das Ergebnis der emotionalen
Analyse, welches vom Emotionsdetektor 2 zu einer Steuereinheit 3 des
Spracherkenners 1 übermittelt
wird, ist ein zwischen den beiden Zuständen „nicht erregt" und „ärgerlich" unterscheidender
diskreter Wert. In Abhängigkeit
dieses Wertes steuert die Steuereinheit den Spracherkenner 1 an
und veranlasst diesen, durch ein entsprechendes Steuersignal, im
Falle einer festgestellten emotionalen Erregung des Benutzers, die Spracherkennung
nicht auf der Basis des sonst verwendeten Sprachmodells, sondern
auf der Basis des Sprachmodells mit der speziell am Zustand der
emotionalen Erregung orientierten Grammatik 4' und eines entsprechenden
akustischen Modells 5' vorzunehmen.
Durch die Berücksichtigung
des emotionalen Erregungszustandes des Benutzers in Form der Anwendung
des jeweils zutreffenden Sprachmodells mit der darin abgebildeten
Grammatik 4, 4' wird
die Spracherkennung verbessert und somit die Angemessenheit der
Systemreaktion sichergestellt. Bei der in der 1 dargestellten
Variante sind der Spracherkenner 1 auf dem Client 10 und
der Emotionserkenner 2 beziehungsweise -detektor auf dem
Server 20 realisiert. Die parallele Zuführung des Sprachsignals zu
beiden Einheiten hat zur Folge, dass die Spracherkennung zum Zeitpunkt
des Starts eines sprachgesteuerten Verfahrensablaufs oder eines Sprachdialogs
zunächst
ohne Berücksichtigung
des Emotionszustandes erfolgen muss, da natürlich zu diesem Zeitpunkt noch
kein Ausgangssignal des Emotionsdetektors 2 vorliegt. Erst
mit der Fortführung
des Verfahrens beziehungsweise des Dialogs fließen dann die Detektionsergebnisse
des Emotionsdetektors 2 in die Spracherkennung ein.
Der
Ablauf bei der Nutzung des in der 1 dargestellten
Systems, beispielsweise eines Sprachdialogsystems, gestaltet sich
in etwa wie folgt. Mittels seines in der 1 nicht
dargestellten Telefons wählt der
Benutzer über
das PSTN (Public Switched Telephone Network) eine entsprechende
Zugangsnummer eines Service Providers an. Zur Führung des Dialogs beziehungsweise
zur Nutzung der Inhalte wird ihm von dem Service Provider auf dessen
Zugangseinrichtungen, gegebenenfalls nach Durchführung einer Authentifikationsprozedur,
ein Client 10 in Form eines VoiceXML-Browsers zur Verfügung gestellt. Mittels
des VoiceXML-Browsers kann der Nutzer des Sprachdialogsystems, ähnlich wie
mit einem gewöhnlichen
zeichenbasierten Browser, navigieren, auf die Inhalte zugreifen
und diese Inhalte nutzen. Die Navigation erfolgt mit entsprechenden
Sprachkommandos, welche mit Hilfe des Spracherkenners 1 des
VoiceXML-Browsers in zeichenbasierte Kommandos umgesetzt werden.
Die Inhalte beziehungsweise der Content werden dem Benutzer in Form
von Sprache beziehungsweise entsprechenden Audiodateien über das
PSTN an seinem Telefon zur Verfügung
gestellt. Das heißt,
der VoiceXML-Browser „liest" ihm die jeweiligen
Inhalte vor. Diese Inhalte liegen in Form netzbasierter Anwendungen
beziehungsweise Applikationen 8 auf dem Applikationsserver 20 vor,
auf welchen der Benutzer durch die sprachgesteuerte Navigation über den VoiceXML-Browser
Zugriff hat. Entsprechend der von ihm gegebenen Navigationskommandos
steuert der Benutzer die ihn jeweils interessierenden Inhalte beziehungsweise
die ihn interessierenden Anwendungen 8. Die Nutzung der
Inhalte beziehungsweise das Navigieren in den die Inhalte zur Verfügung stellenden
Anwendungen 8 werden entsprechend der Erfindung zusätzlich zur
sprachlichen Analyse der Sprachkommandos durch eine Analyse des
jeweiligen emotionalen Zustands des Benutzers unterstützt. Dabei
werden durch die Wahl unterschiedlicher Sprachmodelle 4, 5, 4', 5' für die sprachliche Analyse,
in Abhängigkeit
des emotionalen Zustands der das System nutzenden Person, die Spracherkennung
verbessert und hierdurch dem Nutzer mit größerer Zuverlässigkeit
die ihn tatsächlich
interessierende Anwendung zur Verfügung gestellt.
Durch
die 2 wird jedoch eine verbesserte Variante des Systems
gezeigt, welche bereits auch zu Beginn eines sprachgesteuerten Verfahrensablaufs
oder eines Dialogs die Berücksichtigung
des Emotionszustandes des Bedieners bei der Erkennung seiner Spracheingaben
ermöglicht.
Dazu ist bei dieser Variante der Emotionserkenner 2, ebenso
wie der Spracherkenner 1 auf dem Client 10 realisiert. Hierdurch
ist es möglich,
bei der sprachlichen Analyse eines Sprachsignals ein aus der entsprechenden Grammatik 4, 4' und einem akustischen
Modell 5, 5' bestehendes
Sprachmodell zu verwenden, welches unmittelbar mit dem, zur Beschreibung
des Erregungszustands der Person, vom Emotionsdetektor 2 aus
demselben Sprachsignal abgeleiteten diskreten Wert korrespondiert.
Somit können
bereits zu Beginn des Verfahrens oder des Dialogs die jeweils richtige Grammatik 4, 4' und das zutreffende
akustische Modell 5, 5' in die Spracherkennung einbezogen
werden.