DE60030920T2

DE60030920T2 - Verfahren zur Ermittlung von Persönlichkeitsmerkmalen unter Verwendung eines sprachbasierten Dialogs

Info

Publication number: DE60030920T2
Application number: DE60030920T
Authority: DE
Inventors: c/o IBM United Kingdom Ltd. Dimitri Winchester Kanevski; c/o IBM United Kingdom Ltd. Stephan Herman Winchester Maes; c/o IBM Uni. Kingdom Ltd. Jeffrey Scott Winchester Sorensen
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1999-08-10
Filing date: 2000-07-28
Publication date: 2007-04-05
Anticipated expiration: 2020-07-29
Also published as: EP1076329B1; CA2311439C; EP1076329A2; ATE341071T1; DE60030920D1; US6665644B1; CN1283843A; CN1157710C; EP1076329A3; CA2311439A1

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft Sprachverarbeitungssysteme und insbesondere ein akustisch ausgerichtetes Verfahren und eine Vorrichtung zum Ermöglichen der Datenfilterung und ein akustisch ausgerichtetes Verfahren und eine Vorrichtung, um eine passende Antwort eines Sprachsystems auf einen akustisch ermittelten Status eines Benutzer des Sprachsystems zu ermitteln.
KURZBESCHREIBUNG DES STANDES DER TECHNIK
Datenfilterung ist ein interdisziplinäres Fachgebiet, das sich in letzter Zeit zunehmend an Bekanntheit gewinnt. Die Datenfilterung beruht auf Verfahren zum Gewinnen von Informationen aus Daten ohne bzw. mit nur geringfügiger Kontrolle. „Unkontrolliert" bezieht sich auf Verfahren, bei denen im Vorfeld keine Markierung erfolgt; Klassen können sich von selbst entwickeln. Man fasst Töne zu Gruppen zusammen und verfolgt, wie sich die Klassen entwickeln. Datenfilterung wird bei der Marktforschung, im Risikomanagement und bei der Betrugsbekämpfung eingesetzt.
Bei der Datenfilterung lautet ein allgemein anerkannter Grundsatz, dass große Datenmengen von Vorteil sind. Deshalb erstellen oder erwerben mit der Datenfilterung befasste Unternehmen häufig Kundendatenbanken. Diese Datenbanken können auf dem bisherigen Bestellverhalten, der Vorgeschichte des Kunden, seiner bisherigen Kreditwürdigkeit und Ähnlichem beruhen. Man erwartet, dass der elektronische Handel und das Internetverhalten der Kunden bald eine Grundlage für Kundendatenbanken liefern werden. Das Wesen der gespeicherten Daten kann sich aus der manuellen oder automatischen Codierung einer Transaktion oder eines Ereignisses ergeben. Ein Beispiel einer Transaktion kann darin bestehen, dass eine bestimmte Person ein bestimmtes Produkt unter bestimmten Bedingungen zu einem bestimmten Preis erworben hat oder dass eine bestimmte Person auf eine bestimmte Werbesendung geantwortet hat. Ein Beispiel für ein Ereignis kann auch darin bestehen, dass eine Person an einem bestimmten Tag einen Verkehrsunfall hatte oder dass eine bestimmte Familie im Vormonat umgezogen ist.
Die Daten, mit denen die Datenfilterung durchgeführt wird, sind üblicherweise in einem Data-Warehouse (Datenreservoir) gespeichert. Nach der Festlegung der Geschäftsziele wird das Data-Warehouse durchsucht, um brauchbare Merkmale auszuwählen, die Qualität der Daten zu bewerten und die Daten in analytische Modelle umzusetzen, die für die gewünschte Analyse geeignet sind. Dann können Verfahren wie die prädiktive Modellierung, die Datenbanksegmentierung, die Verknüpfungsanalyse und die Ermittlung von Abweichungen angewendet werden, um Ziele, Vorhersagen oder Ermittlungen auszugeben. Nach der Bewertung können die sich daraus ergebenden Modelle eingeführt werden.
Gegenwärtig ist es üblich, eine Vielzahl von Transaktionen per Telefon über einen Servicemitarbeiter oder über ein interaktives Sprachdialogsystem (Interactive Voice Response, IVR) abzuwickeln. Es ist bekannt, dass die Stimme, die bei solchen Transaktionen das Verständigungsmittel darstellt, Informationen über eine Vielzahl von Benutzerattributen beinhaltet, zum Beispiel das Geschlecht, das Alter, die Muttersprache, den Akzent, den Dialekt, den sozialen Status, das Bildungsniveau und die emotionale Einstellung. Einer oder mehrere dieser Parameter können für die mit der Datenfilterung befassten Personen von Nutzen sein. Gegenwärtig geht der in diesen Transaktionen enthaltene Datenschatz für die Datenfilterung entweder ganz verloren oder müsste vor einer effektiven Nutzung erst manuell geordnet werden.
Deshalb besteht beim Stand der Technik ein Bedarf an einem Verfahren zum Sammeln von Daten in einem Data-Warehouse, die mit der Stimme eines Benutzers eines Sprachsystems verbunden sind, das die bei Transaktionen mittels Sprachsystemen über Telefone, Fernsprechzellen und Ähnliches dargebotenen Daten effektiv und automatisch nutzen kann. Wünschenswert wäre es, wenn das Verfahren auch in Echtzeit, mit oder ohne Speicherung in einem Data-Warehouse, realisiert werden könnte, um dynamische Anpassungen von Sprachsystemen zuzulassen, zum Beispiel interaktive Sprachdialogsysteme und Ähnliches.
ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß einem ersten Aspekt stellt die vorliegende Erfindung ein in den beiliegenden Ansprüchen beanspruchtes Verfahren zum Sammeln der mit der Stimme eines Benutzers eines Sprachsystems verknüpften Daten bereit. Das Verfahren umfasst die folgenden Schritte: Führen eines Dialogs mit einem Benutzer des Sprachsystems, Erfassen eines Sprachsignal-Verlaufs, Digitalisieren des Sprachsignal-Verlaufs, Extrahieren mindestens eines akustischen Merkmals aus dem digitalisierten Sprachsignal-Verlauf und anschließend Speichern der dem akustischen Merkmal entsprechenden Attributdaten im Data-Warehouse. Der Dialog kann durch den Benutzer des Sprachsystems mit einem Servicemitarbeiter und/oder mittels eines maschinellen Sprachsystems geführt werden. Als zu erfassender Sprachsignal-Verlauf kommen die Äußerungen des Benutzers des Sprachsystems während des Dialogs infrage. Die Digitalisierung des Sprachsignal-Verlaufs ergibt einen digitalisierten Sprachsignal-Verlauf. Das mindestens eine akustische Merkmal wird aus dem digitalisierten Sprachsignal-Verlauf extrahiert und ist mit mindestens einem Benutzerattribut verknüpft, zum Beispiel dem Geschlecht, dem Alter, dem Akzent, der Muttersprache, dem Dialekt, der sozialen Stellung, dem Bildungsniveau oder der emotionalen Einstellung des Benutzers. Die im Data-Warehouse gespeicherten Attributdaten entsprechen dem akustischen Merkmal, das mit dem mindestens einen Benutzerattribut verknüpft ist und das zusammen mit einem der kennzeichnenden Merkmale gespeichert wird. Die Daten werden im Data-Warehouse in einer Form gespeichert, in der die Datenfilterung der Daten durchgeführt werden kann.
Gemäß einem dritten Aspekt beinhaltet die vorliegende Erfindung ferner ein Programm von Befehlen, das durch die Maschine ausgeführt werden kann, um eines der oben erörterten Verfahren durchzuführen. Das Programm ist vorzugsweise in einer maschinenlesbaren Speichereinheit gespeichert.
Gemäß einem weiteren Aspekt stellt die vorliegende Erfindung eine Vorrichtung zum Sammeln der der Stimme eines Benutzers entsprechenden Daten bereit. Die Vorrichtung umfasst eine Dialogsteuereinheit, ein Audioerfassungsmodul, eine akustische Empfangseinheit, ein Verarbeitungsmodul und ein Data-Warehouse. Die Dialogsteuereinheit wickelt den Dialog mit dem Benutzer ab. Das Audioerfassungsmodul ist mit der Dialogsteuereinheit verbunden und erfasst einen den Äußerungen des Benutzers während des Dialogs entsprechenden Sprachsignal-Verlauf.
Die akustische Empfangseinheit ist mit dem Audioerfassungsmodul verbunden und so konfiguriert, dass sie den Sprachsignal-Verlauf empfängt und digitalisiert, um einen digitalisierten Sprachsignal-Verlauf zu erzeugen und aus dem digitalisierten Sprachsignal-Verlauf mindestens ein akustisches Merkmal zu extrahieren, das mindestens einem Benutzerattribut zugeordnet werden kann. Zu dem mindestens einen Benutzerattribut kann mindestens eines der oben im Zusammenhang mit den Verfahren erörterten Benutzerattribute gehören.
Das Verarbeitungsmodul ist mit der akustischen Empfangseinheit verbunden und analysiert das mindestens eine akustische Merkmal, um das mindestens eine Benutzerattribut zu ermitteln. Das Data-Warehouse ist mit dem Verarbeitungsmoduls verbunden und speichert das mindestens eine Benutzerattribut in einer für die nachfolgende Datenfilterung geeigneten Form.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Im Folgenden werden anhand von Beispielen Ausführungsarten der Erfindung unter Bezug auf die beiliegenden Zeichnungen ausführlich beschrieben, wobei:
1 ein Schaubild einer Vorrichtung zum Sammeln der mit einer Stimme eines Benutzers verknüpften Daten gemäß einer Ausführungsart der vorliegenden Erfindung ist;
2 ein Schaubild eines in Echtzeit anpassungsfähigen Sprachsystems für das Zusammenwirken mit einem Benutzer gemäß einer Ausführungsart der vorliegenden Erfindung ist;
3 ein Flussdiagramm eines Verfahrens zum Sammeln der mit einer Stimme eines Benutzers des Sprachsystems verknüpften Daten in einem Data-Warehouse gemäß einer Ausführungsart der vorliegenden Erfindung ist;
4 bestimmte Einzelheiten des in 3 gezeigten Verfahrens darstellt, die auch auf 5 angewendet werden können;
5 ein Flussdiagramm eines Verfahrens gemäß der vorliegenden Erfindung ist, um eine passende Reaktion eines Sprachsystems auf einen akustisch ermittelten Status eines Benutzers des Sprachsystems zu erzeugen; und
6 bestimmte Einzelheiten des Verfahrens von 5 darstellt.
DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSARTEN
1 zeigt eine Vorrichtung gemäß der vorliegenden Erfindung zum Sammeln mit einer Stimme es Benutzers verknüpfter Daten. Die Vorrichtung wird durch die Bezugsnummer 100 bezeichnet. Die Vorrichtung beinhaltet eine Dialogsteuereinheit 102, die einen Dialog mit dem Benutzer 104 abwickelt. Die Vorrichtung 100 beinhaltet ferner ein mit der Dialogverwaltungseinheit verbundenes Audioerfassungsmodul 106, das einen Sprachsignal-Verlauf von Äußerungen erfasst, die der Benutzer 104 während des Dialogs von sich gibt. Im Sinne der vorliegenden Erfindung ist unter einem Dialog jedes Zusammenwirken zwischen einer ersten Person und einer zweiten Person und/oder einer Maschine zu verstehen, bei der gesprochene Sprache zumindest teilweise eine Rolle spielt.
Die Vorrichtung 100 beinhaltet ferner eine akustische Empfangseinheit 108, die mit dem Audioerfassungsmodul 106 verbunden und so konfiguriert ist, dass sie den Sprachsignal-Verlauf empfängt und digitalisiert, um einen digitalisierten Sprachsignal-Verlauf zu erzeugen. Ferner ist die akustische Empfangseinheit 108 so konfiguriert, dass sie aus dem digitalisierten Sprachsignal-Verlauf mindestens ein akustisches Merkmal extrahiert, das auf mindestens ein Benutzerattribut, d.h. ein Attribut des Benutzers 104 zurückgeführt wird. Zu dem mindestens einen Benutzerattribut kann mindestens eines der folgenden Attribute gehören: das Geschlecht des Benutzers, das Alter des Benutzers, der Akzent des Benutzers, die Muttersprache des Benutzers, der Dialekt des Benutzers, die soziale Stellung des Benutzers, das Bildungsniveau des Benutzers und die emotionale Einstellung des Benutzers. Die Dialogsteuereinheit 102 kann akustische Merkmale, zum Beispiel die von der akustischen Empfangseinheit 108 erhaltene MEL-Cepstra, verwenden und kann deshalb bei Bedarf mit dieser direkt verbunden sein.
Die Vorrichtung 100 beinhaltet ferner ein Verarbeitungsmodul 110, das mit der akustischen Empfangseinheit 108 verbunden ist und das mindestens eine akustische Merkmal analysiert, um das mindestens eine Benutzerattribut zu ermitteln. Darüber hinaus beinhaltet die Vorrichtung 100 ein Data-Warehouse 112, das mit dem Verarbeitungsmodul 110 verbunden ist und das mindestens ein Benutzerattribut zusammen mit mindestens einem kennzeichnenden Merkmal in einer Form speichert, die eine spätere Datenfilterung gestattet. Kennzeichnende Merkmale werden später erörtert.
Das Geschlecht des Benutzers kann aus der Höhe der Benutzerstimme oder einfach durch Zusammenfassung von Merkmalen zu Gruppen ermittelt werden. Beim letzteren Verfahren werden Sprachmuster einer großen Anzahl von Sprechern eines Geschlechts erzeugt und dann ein Sprecher mittels der beiden Modelle klassifiziert. Das Alter des Benutzers kann ähnlich wie bei der Ermittlung des Geschlechts ebenfalls durch die Klassifizierung von Altersgruppen ermittelt werden. Obwohl diese Verfahren nicht sehr treffsicher sind, erlauben sie eine grobe Einteilung in Alterklassen, zum Beispiel Kinder, Jugendliche, Erwachsene und Senioren.
Die Ermittlung des Akzents aus akustischen Merkmalen ist in der Technik bekannt. Zum Beispiel beschreiben Lincoln et al. in dem Artikel „A Comparison of Two Unsupervised Approaches to Accent Identification", International Conference on Spoken Language Processing, 1998, Sidney, Australien (im Folgenden als ICSLP'98 bezeichnet) geeignete Verfahren. Die Muttersprache des Benutzers kann im Wesentlichen ähnlich wie der Akzent ermittelt werden. Zum Definieren jedes einzelnen Akzent-/Muttersprache-Modells können Metadaten über die Muttersprache des Benutzers hinzugefügt werden.
Das heißt, bei der Erstellung der Modelle für jede Muttersprache werden ein oder mehrere Sprecher eingesetzt, denen diese Sprache als ihre Muttersprache zugeordnet ist. In dem ebenfalls auf der ICSLP'98 vorgelegten Artikel „Language Identification Incorporating Lexical Information" von Matrouf et al. werden verschiedene Techniken zur Spracherkennung erörtert.
Der Dialekt des Benutzers kann aus dem Akzent und aus der Verwendung von Schlüsselwörtern oder Redensarten ermittelt werden, die für einen bestimmten Dialekt kennzeichnend sind. Zum Beispiel ist in der französischen Sprache der Gebrauch des Begriffs „nonante" für die Zahl 90 anstelle von „quatre-vingt-dix" für einen belgischen oder einen schweizerischen Sprecher kennzeichnend, nicht aber für einen französischen oder kanadischen Sprecher. Wird jedoch für die Zahl 80 anstelle von „octante" oder „huitante" ständig der Begriff „quatre-vingt" gebraucht, wäre dies kennzeichnend für einen belgischen, nicht aber für einen schweizerischen Sprecher. Im amerikanischen Englisch weist der Gebrauch des Begriffs „grocery sack" anstelle von „grocery bag" eher auf eine Person aus dem mittleren Westen als von der mittleren Atlantikküste hin. Ein anderes Beispiel für den Unterschied zwischen dem amerikanischen Englisch im mittlerem Westen und an der mittleren Atlantikküste ist der Gebrauch des Begriffes „pop" für ein alkoholfreies Getränk im mittleren Westen und des Begriffes „soda" für das gleiche alkoholfreie Getränk an der mittleren Atlantikküste. International kann der Gebrauch des Begriffes „holiday" auf eine Person britischer Herkunft und der Gebrauch des Begriffes „vacation" eher auf eine Person aus den Vereinigten Staaten hinweisen. Die in diesem Kapitel beschriebenen Arbeitsschritte können mittels einer Spracherkennungseinheit ausgeführt werden, die im Folgenden erörtert wird.
Die soziale Stellung des Benutzer kann Faktoren wie Rassenzugehörigkeit des Benutzers, ethnische Herkunft des Benutzers und Berufsstand des Benutzers beinhalten, zum Beispiel gewerblicher Arbeitnehmer, Mittelklasse-Angestellter oder wohlhabende Oberklasse. Solche Feststellungen können anhand definierter Akzente und Dialekte, die während des Sprachtrainings erfasst wurden, sowie durch Untersuchung der Wortwahl des Benutzers getroffen werden. Diese Techniken sind zwar nicht besonders treffsicher, vermitteln jedoch so viel Hintergrundwissen über den Benutzer, dass sie für die Datenfilterung von Nutzen sind.
Das Bildungsniveau des Benutzers kann ähnlich wie bei der Ermittlung der sozialen Stellung aus der Wortwahl und dem Akzent ermittelt werden; auch hier darf nur eine bedingte Treffsicherheit erwartet werden, die jedoch für die Datenfilterung ausreichend ist.
Die Ermittlung der emotionalen Einstellung des Benutzers aus akustischen Merkmalen ist in der Technik allgemein bekannt. Als erfassbare Gefühle kommen unter anderem folgende Kategorien infrage: Zorn, Wut, Panik, Angst, Furcht, Trauer, freudige Erregung, Verzweiflung, Glück, Interessiertheit, Langeweile, Schamgefühl, Überheblichkeit, Verwirrtheit, Widerwille und Stolz. Beispielhafte Verfahren zur Ermittlung der emotionalen Einstellung aus zutreffenden akustischen Merkmalen sind in den folgenden Artikeln dargelegt: „Some Acoustic Characteristics of Emotion" von Pereira und Watson, „Towards an Automatic Classification of Emotions in Speech" von Amir und Ron, „Simulated Emotions: An Acoustic Study of Voice and Perturbation Measures" von Whiteside, die sämtlich auf der ICSLP'98 vorgelegt wurden, und „Recognizing Emotion in Speech" von Dellaert et al., ICSLP'96, Philadelphia, USA, S. 1970 bis 1973.
Das Audioerfassungsmodul 106 kann zum Beispiel mindestens eine Analog/Digitalwandler-Leiterplatte, ein interaktives Sprachdialogsystem und ein Mikrofon beinhalten. Die Dialogsteuereinheit 102 kann ein interaktives telefonisches Sprachdialogsystem beinhalten, zum Beispiel dasselbe System, das zur Audioerfassung eingesetzt wird. Alternativ kann als Dialogsteuereinheit einfach eine akustische Schnittstelle für einen Servicemitarbeiter verwendet werden. Die Dialogsteuereinheit 102 kann das Verstehen natürlicher Sprache (Natural Language Understanding, NLU), das Erzeugen natürlicher Sprache (Natural Language Generation, NLG), eine finite Grammatik (Finite State Grammar, FSG) und/oder Sprache-aus-Text-Synthese (Text-To-Speech Syntheses, TTS) beinhalten, damit der Benutzer anstelle eines Servicemitarbeiters oder gemeinsam mit diesem automatisch zur Spracheingabe aufgefordert werden kann. Das Verarbeitungsmodul 110 kann sich im Prozessorteil der IVR oder mit geeigneter Software in einem getrennten Universalcomputer befinden. Außerdem kann das Verarbeitungsmodul in Form einer anwendungsspezifischen Schaltung wie beispielsweise einer anwendungsspezifischen integrierten Schaltung (Application Specific Integrated Circuit, ASIC) oder in Form einer anwendungsspezifischen Schaltung mit diskreten Bauelementen oder in Form einer Kombination aus diskreten und integrierte Bauelementen realisiert werden.
Das Verarbeitungsmodul 110 kann eine Emotionenklassifizierungseinheit 114 beinhalten. Die Klassifizierungseinheit 114 wiederum kann ein Emotionenklassifizierungsmodul 116 und eine Emotionenprototypen-Datenbank 118 beinhalten.
Das Verarbeitungsmodul 110 kann ferner ein Sprechergruppierungs- und Sprecherklassifizierungselement 120 beinhalten. Das Element 120 kann ferner ein Sprechergruppierungs- und -klassifizierungsmodul 122 und eine Sprecherklassen-Datenbank 124 beinhalten.
Das Verarbeitungsmodul 110 kann ferner eine Spracherkennungseinheit 126 beinhalten, die ihrerseits wiederum ein Spracherkennungsmodul 128 und eine Sprachprototypen-, Sprachenmodell- und Grammatikdatenbank 130 beinhalten kann. Die Spracherkennungseinheit 126 kann Teil der Dialogsteuereinheit 102 oder zum Beispiel ein separates Element innerhalb der Ausführung des Verarbeitungsmoduls 110 sein. Zusätzlich kann das Verarbeitungsmodul 110 eine Akzenterkennungseinheit 132 beinhalten, die wiederum ein Akzenterkennungsmodul 134 und eine Akzentdatenbank 136 beinhaltet.
Das Verarbeitungsmodul 110 kann entweder eines der Elemente 114, 120, 126 und 132 oder alle Elemente zusammen oder eine beliebige Kombination aus diesen Elementen beinhalten.
Die Vorrichtung 100 kann ferner einen Postprozessor 138 beinhalten, der mit dem Data-Warehouse verbunden und so konfiguriert ist, dass es Äußerungen des Benutzers in eine Schriftform umsetzt und darin nach Schlüsselwörtern sucht. Obwohl der Postprozessor in 1 als separates Objekt dargestellt ist, kann er Teil des Verarbeitungsmoduls 110 oder einer seiner Komponenten sein. Zum Beispiel kann der Postprozessor einen Teil der Spracherkennungseinheit 126 bilden. Der Postprozessor 138 kann als Teil des Prozessors einer IVR, als anwendungsspezifische Schaltung oder mit geeigneten Softwaremodulen in einem Universalcomputer realisiert werden. Der Postprozessor 138 kann die Spracherkennung 126 nutzen. Der Postprozessor 138 kann auch ein (nicht gezeigtes) Semantikmodul zur Deutung von Ausdrücken beinhalten. Das Semantikmodul kann von der Spracherkennungseinheit 126 verwendet werden, um anzuzeigen, dass bestimmte Decodierungsobjekte in einer Liste keine Bedeutung haben und entweder gelöscht oder durch sinnvolle Objekte ersetzt werden sollten.
Die akustische Empfangseinheit 108 kann eine in der Technik bekannte achtdimensionale Empfangseinheit mit Energieversorgung sein. Es ist jedoch klar, dass 13, 24 oder eine andere beliebige Anzahl von Dimensionen verwendet werden kann. Zum Beispiel können MEL-Cepstra für 25-ms-Rahmen mit 10 ms Überlappung zusammen mit den Delta- und Delta-Delta-Parametern, d.h. den ersten und zweiten finiten Ableitungen berechnet werden. Solche akustischen Merkmale können der Sprechergruppierung und -klassifizierung 120, der Spracherkennung 126 und der Akzenterkennung 132 in 1 zugeführt werden.
Die akustische Empfangseinheit 108 kann auch andere akustische Merkmale extrahieren. Diese können als Emotionsmerkmale bezeichnet werden, zum Beispiel als laufende mittlere Tonhöhe, als laufende Tonhöhenschwankung, Tonhöhenzittern, laufende Energiedichteschwankung, Sprechgeschwindigkeit, Stottern, Grundfrequenz und Grundfrequenzschwankung. Das Tonhöhenzittern bezieht sich auf die Anzahl der Vorzeichenwechsel der ersten Ableitung der Tonhöhe. Das Stottern ist ein Energiedichtezittern. Diese Merkmale können von der akustischen Empfangseinheit 108 der Emotionsklassifizierung 114 zugeliefert werden. Die oben erwähnten akustischen Merkmale, einschließlich der MEL-Cepstra und der Merkmale der emotionalen Einstellung können als Rohmerkmale, d.h. als unverarbeitete Merkmale angesehen werden.
Benutzerabfragen können durch eine IVR oder auf andere Weise umgesetzt werden. Die Sprachmerkmale können zuerst durch ein textunabhängiges Sprecherklassifizierungssystem, zum Beispiel in dem Sprechergruppierungs- und -klassifizierungselement 120, verarbeitet werden. Damit kann die Klassifizierung der Sprecher anhand von akustischen Ähnlichkeiten in ihren Stimmen durchgeführt werden. Die Einrichtung und die Anwendung eines solchen Systems werden in der US-Patentanmeldung 60/011 058, eingereicht am 2. Februar 1996; in der US-Patentanmeldung 08/787 031, eingereicht am 28. Januar 1997 (jetzt als US-Patentschrift 5 895 447, erteilt am 20. April 1999); in der US-Patentanmeldung 08/788 471, eingereicht am 28. Januar 1997; und der US-Patentanmeldung 08/787 029, eingereicht am 28. Januar 1997, beschrieben, die sämtlich der International Business Machines Corporation übertragen wurden. Die Klassifizierung der Sprecher kann kontrolliert oder unkontrolliert erfolgen. Bei der kontrollierten Klassifizierung sind die Klassen zuvor bereits anhand externer Daten festgelegt worden. Üblicherweise kann eine solche Klassifizierung zwischen männlich und weiblich, Erwachsenen und Kindern, Muttersprachlern und verschiedenen Klassen von Nichtmuttersprachlern und dergleichen unterscheiden. Als Indizes für diesen Klassifizierungsprozess dienen bereits verarbeitete Merkmale. Die Ergebnisse dieses Prozesses können der Emotionsklassifizierungseinheit 114 zugestellt und dazu verwendet werden, die Emotionsmerkmale in Bezug auf einen während des Trainings für eine bestimmte Klasse beobachteten Durchschnitt (Mittelwert) als neutrale emotionale Einstellung zu normalisieren. Die normalisierten Merkmale der emotionalen Einstellung werden dann von der Emotionsklassifizierungseinheit 114 verwendet, die dann einen Schätzwert für die emotionale Einstellung ausgibt. Dieses Ergebnis wird dann als Teil der verarbeiteten Merkmale angesehen. Zusammenfassend kann gesagt werden, dass die Emotionsmerkmale durch die Emotionsklassifizierungseinheit 114 in Bezug auf jede durch das Sprachgruppierungs- und -klassifizierungselement 120 erzeugte Klasse normalisiert werden können. Ein Merkmal kann wie folgt normalisiert werden. Angenommen, X₀ ist die Normalfrequenz und xi die gemessene Frequenz. Somit ergibt sich das normalisierte Merkmal aus der Differenz X_i minus X₀. Dieser Wert kann ein positives oder negatives Vorzeichen haben und ist im Allgemeinen nicht dimensionslos.
Die Spracherkennungseinheit 126 kann die Anfragen vom Benutzer in eine Schriftform umsetzen. Dies kann eine sprecherunabhängige oder klassenabhängige kontinuierliche Spracherkennung mit großem Wortschatz oder ein einfaches System zur Suche nach Schlüsselwörtern zum Erkennen von (zum Beispiel) Schimpfwörtern oder Ähnlichem sein. Solche Systeme sind in der Technik allgemein bekannt. Als Ergebnis können ganze Sätze oder auch kleinere Einheiten ausgegeben werden; zum Beispiel die zeitliche Verteilung der erkannten Wörter. Die mit Zeitmarken versehenen Umwandlungen in eine Schriftform können als Teil der verarbeiteten Merkmale angesehen werden und werden später unter Bezug auf Verfahren gemäß der vorliegenden Erfindung beschrieben. Somit kann der Dialog in jedem Stadium der Transaktion in eine Schriftform umgewandelt und gespeichert werden. 1 zeigt, wie entsprechende Daten von dem Sprechergruppierungs- und -klassifizierungselement 120 zur Emotionsklassifizierungseinheit 114 und zur Spracherkennungseinheit 126 übertragen werden. Wie bereits erwähnt, kann in der vom Benutzer 104 eingegebenen Sprache Akzent, Dialekt und Sprache erkannt werden. Eine kontinuierliche Spracherkennung kann mit der Sprache von verschiedenen Sprechern trainiert werden, die unterschiedliche zu erkennende Dialekte sprechen. Jedem der Trainingssprecher wird auch ein Akzentvektor zugeordnet, dessen jede Dimension die wahrscheinlichste Mischungskomponente darstellt, die jedem Zustand jedes Lefems zugeordnet ist. Die Sprecher können anhand des Abstands zwischen diesen Akzentvektoren in Gruppen eingeteilt und die Gruppen wiederum zum Beispiel anhand des Akzentes der beteiligten Sprecher erkannt werden. Der Akzent kann dadurch erkannt werden, dass aus der Sprache des Benutzers ein Akzentvektor extrahiert und klassifiziert wird. Wie oben erwähnt, können der Dialekt, die soziale Stellung und Ähnliches anhand des vom Benutzer 104 verwendeten Wortschatzes oder verwendeter Wortfolgen näherungsweise ermittelt werden. Ausgehend von linguistischem Spezialwissen können entsprechende zu erkennende Schlüsselwörter, Sätze oder Grammatikfehler gesammelt werden. Der Akzent, die soziale Stellung, das Geschlecht, das Alter und Ähnliches sind Teil der verarbeiteten Merkmale. 1 zeigt, dass jedes der verarbeiteten Merkmale, die mit durchgezogenen Pfeilen gekennzeichnet sind, im Data-Warehouse 112 gespeichert werden können. Außerdem können im Data-Warehouse 112 auch Rohmerkmale, die mit gestrichelten Linien gekennzeichnet sind, gespeichert werden.
Jedes der verarbeiteten oder Rohmerkmale kann im Data-Warehouse 112 gespeichert und dann nach Abschluss der Transaktion anderen gesammelten Daten zugeordnet werden. Dann können klassische Datenfilterungstechniken angewendet werden. Solche Techniken werden zum Beispiel in den Monografien „Data Warehousing, Data Mining and OAAP" von Alex Berson und Stephen J. Smith, McGraw Hill, 1997, und „Discovering Data Mining" von Cabena et al., Prentice Hall, 1998, beschrieben. Für ein bestimmtes Geschäftsziel, zum Beispiel für gezielte Marketingmaßnahmen, werden automatisch prognostische Modelle oder Klassifikationen gewonnen, indem geeignete Datenfilterungsansätze realisiert werden. Alle im Data-Warehouse 112 gespeicherten Daten können in einem Format gespeichert werden, das anschließend eine Datenfilterung erlaubt. Dem Fachmann sind geeignete Datenformate bekannt, die sich zur Datenfilterung eignen und in den beiden angegebenen Monografien dargelegt werden. Geschäftsziele können zum Beispiel sein, Benutzer zu erkennen, die einem Angebot zum Kauf eines bestimmten Erzeugnisses oder einer bestimmten Dienstleistung offen gegenüber stehen, Benutzer zu erkennen, die mit dem automatischen System nicht klar kommen und an einen Servicemitarbeiter verwiesen werden sollten, und Benutzer zu erkennen, die über die Dienstleistung verärgert sind und an einen Vorgesetzten weiterzuleiten sind. Als Benutzer 104 kann ein Kunde eines Geschäftes infrage kommen, der sich der Vorrichtung 100 bedient, oder ein Großkunde oder eine andere Einrichtung wie beispielsweise eine gemeinnützige Einrichtung, eine Regierungsbehörde oder Ähnliches.
Merkmale können extrahiert und Entscheidungen dynamisch durch die Modelle zurückgegeben werden. Dies wird im Folgenden erörtert.
2 zeigt ein in Echtzeit anpassungsfähiges Sprachsystem gemäß der vorliegenden Erfindung zum Zusammenwirken mit einem Benutzer, das allgemein mit der Bezugsnummer 200 bezeichnet wird. Elemente in 2, die denen in 1 ähnlich sind, tragen dieselben um 100 erhöhten Bezugsnummern. Das System 200 kann eine Dialogsteuereinheit 202 beinhalten, die der oben erörterten ähnlich ist. Insbesondere zeigt 2, dass als Einheit 202 ein Servicemitarbeiter oder ein Vorgesetzter, eine IVR oder eine Benutzersprachschnittstelle (Voice User Interface, VUI) in Frage kommen kann. Das System 200 kann auch ein dem oben beschriebenen ähnliches Audioerfassungsmodul 206 und eine ebenfalls der oben beschriebenen ähnliche akustische Empfangseinheit 208 beinhalten. Ebenso wie bei der Vorrichtung 100 kann die Einheit 202 bei Bedarf direkt mit der akustischen Empfangseinheit 208 verbunden werden, damit sie MEL-Cepstra oder andere durch die Empfangseinheit 208 ermittelte akustische Merkmale nutzen kann. Ferner beinhaltet das System 200 ein dem oben beschriebenen ähnliches Verarbeitungsmodul 210, das jedoch bestimmte weitere Merkmale aufweist, die im Folgenden erörtert werden. Das Verarbeitungsmodul 210 kann ein dynamisches Klassifizierungsmodul 240 beinhalten, das eine dynamische Klassifizierung des Benutzers 204 vornimmt. Demzufolge wird das Verarbeitungsmodul 210 so konfiguriert, dass es das Verhalten des Sprachsystems 200 anhand mindestens eines Benutzerattributes anpasst, das anhand mindestens eines aus der Sprache des Benutzers extrahierten akustischen Merkmals ermittelt wurde. Das System 200 kann außerdem noch eine Geschäftslogikeinheit 242 beinhalten, die mit der Dialogsteuereinheit 202, dem dynamischen Klassifizierungsmodul 240 und wahlweise mit der akustischen Empfangseinheit 208 verbunden ist. Die Geschäftslogikeinheit kann als Verarbeitungsteil der IVR oder der VUI ausgeführt werden, aber auch Teil eines entsprechenden programmierten Universalcomputers oder eine anwendungsspezifische Schaltung sein. Gegenwärtig wird das Verarbeitungsmodul 110, 210 (einschließlich des Moduls 240) vorzugsweise als Universalcomputer und die Geschäftslogik 242 in einem Prozessorbereich eines interaktiven Sprachdialogsystems realisiert. Das dynamische Klassifizierungsmodul 240 kann so konfiguriert werden, dass es eine Rückmeldung zur Geschäftslogikeinheit 242 und zur Dialogsteuereinheit 202 sendet, beispielsweise in Echtzeit, was mit der durchgezogenen Linie 244 angezeigt wird.
Wahlweise können gemäß der Figur ein Data-Warehouse 212 und ein Postprozessor 238 bereitgestellt werden, deren Funktion bereits in Bezug auf die Datensammelvorrichtung 100 erörtert wurde. Es muss jedoch darauf hingewiesen werden, dass die Speicherung im Data-Warehouse bei dem in Echtzeit anpassungsfähigen Sprachsystem wahlweise möglich ist und das System auf die in Bezug auf die Elemente 240, 242 und 202 erörterte Rückmeldung in Echtzeit beschränkt werden kann, die durch die Linie 244 angezeigt wird.
Das Verarbeitungsmodul 210 kann das Verhalten des Systems 200 zumindest insofern anpassen, als es einen Servicemitarbeiter durch eine Rückmeldung über die mit der Dialogsteuereinheit 202 verbundene Leitung 244 aufmerksam macht. Wenn zum Beispiel beim Benutzer 204 eine Verärgerung erkannt wird, kann ein Servicemitarbeiter davon in Kenntnis gesetzt und aufgefordert werden, beschwichtigende Worte für den Benutzer 204 zu finden oder diesen an einen Vorgesetzten weiterzugeben. Darüber hinaus kann das Verarbeitungsmodul 210 die Geschäftslogik 242 des Systems 200 anpassen. Das ist zum Beispiel möglich, wenn sowohl das Verarbeitungsmodul 210 als auch die Geschäftslogikeinheit 242 Teil eines IVR-Systems sind. Beispiele zur Anpassung der Geschäftslogik werden im Folgenden erörtert, können jedoch anhand der durch das System 200 erkannten Attribute des Benutzers das Erstellen eines auf den Benutzer 204 zugeschnittenen Verkaufsangebots beinhalten.
Wie bereits erwähnt, führen das Verarbeitungsmodul 210 sowie deren Teilelemente im Wesentlichen dieselbe Funktion wie das Verarbeitungsmodul 110 in 1 aus. Zu beachten ist jedoch die wahlweise Rückmeldung des Ergebnisses des Spracherkennungsmoduls 228 an die Geschäftslogik 242, die durch die gestrichelten Linien und Pfeile in 2 dargestellt ist.
Es wird darauf hingewiesen, dass in der vorliegenden Patentanmeldung, einschließlich ihrer Beschreibung und Figuren, der Begriff „Stimmung" („mood") stets im Sinne des Begriffes „emotionale Einstellung" gebraucht wird.
3 zeigt ein Flussdiagramm 300 eines Verfahrens zum Erfassen von mit der Stimme eines Benutzers des Sprachsystems verbundener Daten in einem Data-Warehouse. Nach dem Start (Kasten 302) beinhaltet das Verfahren die Schritte zum Führen eines Dialogs mit einem Benutzer des Sprachsystems (Kasten 304) durch einen Servicemitarbeiter und/oder ein automatisches Sprachdialogsystem. Das Verfahren beinhaltet ferner die Erfassung eines Sprachsignal-Verlaufs (Kasten 306), der sich auf die durch den Benutzer des Sprachsystems während des Dialogs gemachten Äußerungen bezieht. Weiterhin beinhaltet das Verfahren den Schritt der Digitalisierung des Sprachsignal-Verlaufs (Kasten 308) zur Bereitstellung eines digitalisierten Sprachsignal-Verlaufs. Darüber hinaus beinhaltet das Verfahren in Schritt 310 den Schritt des Extrahierens mindestens eines akustischen Merkmals bezüglich des mindestens einen Benutzerattributes aus dem digitalisierten Sprachsignalverlauf. Das mindestens eine akustische Merkmal kann eines der oben erörterten Merkmale sein, zum Beispiel MEL-Cepstra oder eines der Emotionsmerkmale. zu den Benutzerattributen kann eines der oben erörterten Benutzerattribute gehören, zum Beispiel das Geschlecht, das Alter, der Akzent und die übrigen oben erwähnten Attribute. Schließlich kann das Verfahren den Schritt der Speicherung (Kasten 316) der Attributdaten, die dem zu dem mindestens einen Benutzerattribut gehörenden akustischen Merkmal entsprechen, zusammen mit mindestens einem kennzeichnenden Merkmal im Data-Warehouse in einer Form beinhalten, die anschließend eine Datenfilterung gestattet. Es können beliebige Arten von kennzeichnenden Merkmalen verwendet werden; dieser Begriff ist umfassend auszulegen. Zum Beispiel kann das kennzeichnende Merkmal eine Zeitmarke sein, welche verschiedene Merkmale einem Dialog zuordnet, der zu einem bestimmten Zeitpunkt geführt wird, und dadurch die bestimmte Transaktion kennzeichnet; ferner kann das kennzeichnende Merkmal eine Kennnummer, ein Name oder Ähnliches sein, das den Benutzer kennzeichnet; oder ein anderes Datenobjekt, das dem Attributdaten zugeordnet ist und beim Datenfilterungsprozess von Nutzen ist.
Nach dem Entscheidungsschritt (Kasten 320) können die oben erwähnten Schritte 304, 306, 308, 310 und 316 für eine Vielzahl zusätzlicher Dialoge wiederholt werden, um eine Sammlung gespeicherter Daten anzulegen, welche Attributdaten und kennzeichnende Merkmale beinhalten. Das kann so lange wiederholt werden, bis eine ausreichende Menge von Daten für die Datenfilterung zur Verfügung stehen. Dann kann wie im Kasten 322 gezeigt die Ansammlung gespeicherter Daten gefiltert werden, um die gewünschten Informationen zu gewinnen, zum Beispiel Informationen zur Anpassung der dem Sprachsystem zugrunde liegenden Geschäftslogik.
Der Speicherungsschritt (Kasten 316) kann eine Speicherung umfassen, bei der das mindestens eine kennzeichnende Merkmal eine Zeitmarke ist. Die Datensammlung kann mit Anmerkungen versehen werden, möglicherweise mit einem bereits vorhandenen Satz von Klassifizierungen, die durch Training in der Lage sind, jedes Objekt zu erkennen, oder einfach mit Anmerkungen von mit der Umsetzung in eine Schriftform befassten Personen, welche die gewünschten Objekte einschätzen. Auch eine Kombination dieser beiden Techniken kann eingesetzt werden. Vorzugsweise werden die Vielzahl der oben erörterten weiteren Dialoge mit einer Vielzahl verschiedener Benutzer geführt, sodass Daten von vielen Sprechern gewonnen werden.
Der Extraktionsschritt (Kasten 310) kann das Extrahieren mindestens eines der folgenden Merkmale beinhalten: Grundfrequenz, Schwankungen der Grundfrequenz, laufende mittlere Tonhöhe, Schwankungen der laufenden Tonhöhe, Tonhöhenzittern, Schwankungen der Energiedichteschwankungen, Sprechgeschwindigkeit oder Stottern als mindestens ein Emotionsmerkmal beinhalten, das der emotionalen Einstellung des Benutzers zugeordnet ist.
Die extrahierten Merkmale können normalisiert werden (Kasten 312); das dürfte insbesondere von Vorteil sein, wenn es sich bei den Merkmalen um solche handelt, welche die emotionale Einstellung kennzeichnen. Dies ist oben bereits unter Bezug auf die Vorrichtung der vorliegenden Erfindung erörtert worden.
Das Verfahren 300 kann ferner einen zusätzlichen Schritt (Kasten 314) der Verarbeitung des mindestens einen akustischen Merkmals zur Ermittlung des mindestens einen Benutzerattributes beinhalten. In diesem Falle erhält man verarbeitete Merkmale, und die Attributdaten können einen Wert des Attributes selbst darstellen, zum Beispiel einen Wert für die emotionale Einstellung. Dies unterscheidet sich von dem Verfahren, bei dem nur Rohdaten gespeichert werden und die Attributdaten einfach nur Rohmerkmale sein können, d.h. die oben erörterten MEL-Cepstra oder Emotionsmerkmale. Bei der Speicherung (Kasten 316) können also entweder akustische Rohmerkmale (d.h. Sprachsignal-Verlauf, MEL-Cepstra, Emotionsmerkmale), verarbeitete akustische Merkmale (z.B. der Wert einer emotionalen Einstellung (glücklich, traurig, verwirrt), Dialog in umgewandelter Form) oder sowohl rohe als auch verarbeitete akustische Merkmale gespeichert werden.
Das im Verarbeitungsschritt (Kasten 314) verwendete Verarbeitungsmodul kann bei jeder Speicherung eines weiteren Attributes im Data-Warehouse automatisch verfeinert werden (Kasten 318). Das heißt, die oben in Bezug auf die Vorrichtung erörterten Funktionen der Gruppierung, Klassifizierung und Erkennung können bei jedem neuen Datenwert verbessert werden.
4 zeigt bestimmte wahlweise auszuführende Teilschritte, deren Ausführung in Verbindung mit dem in 3 veranschaulichten Verfahren von großem Vorteil ist. Insbesondere kann der Extraktionsschritt (Kasten 310 von 3) bei Bedarf das Extrahieren mindestens von MEL-Cepstra beinhalten, was in 4 in Kasten 310' dargestellt ist. In diesem Falle kann das Verfahren außerdem die weiteren Schritte der Erkennung der Sprache des Benutzers anhand der MEL-Cepstra (Kasten 314A), des Umwandelns der Sprache (Kasten 314B) und der Prüfung der Sprache (Kasten 314C) umfassen. Die Sprache kann auf die Wortwahl und/oder den Wortschatz geprüft werden, um das Bildungsniveau des Benutzers, die soziale Stellung des Benutzers und/oder den Dialekt des Benutzers zu ermitteln. Bei Bedarf können auch andere mit der Wortwahl und dem Wortschatz zusammenhängende Benutzerattribute ermittelt werden. Mit anderen Worten, die Schritte 314A, 314B und 314C können auch als Teilschritte des Verarbeitungsschrittes (Kasten 314) in 3 aufgefasst werden.
Das Ende des Prozesses in 3 wird durch Kasten 324 angezeigt.
5 zeigt ein Flussdiagramm 400 zur Darstellung eines Verfahrens gemäß der vorliegenden Erfindung, eine zu der akustisch ermittelten Einstellung eines Benutzers des Sprachsystems passende Antwort des Sprachsystems zu erzeugen. Das Verfahren beginnt mit Kasten 402 und beinhaltet den Schritt des Führens eines Dialogs mit einem Benutzer des Sprachsystems über das Sprachsystem (Kasten 404). Das Verfahren beinhaltet ferner den Schritt der Erfassung eines Sprachsignal-Verlaufs, der den Äußerungen seitens des Benutzers des Sprachsystems während des Dialogs entspricht (Kasten 406). Weiterhin beinhaltet das Verfahren den Schritt der Digitalisierung des Sprachsignal-Verlaufs (Kasten 408) zum Bereitstellen eines digitalisierten Sprachsignal-Verlaufs. Darüber hinaus beinhaltet das Verfahren den Schritt des Extrahierens mindestens eines akustischen Merkmals, das dem mindestens einen Benutzerattribut entspricht, aus dem digitalisierten Sprachsignal-Verlauf. Zu dem mindestens einen Benutzerattribut kann eines der oben erörterten Benutzerattribute gehören. Es ist klar, dass die Schritte von Kasten 402 bis 410 den Schritten von Kasten 302 bis 310 in 3 ähnlich sind.
Und schließlich kann das Verfahren das Anpassen des Verhaltens des Sprachsystems anhand des mindestens einen Benutzerattributes beinhalten (Kasten 415). Das Anpassen des Verhaltens des Sprachsystems kann das Anpassen der Geschäftslogik des Sprachsystems in Echtzeit und/oder das Anpassen der Reaktion des Sprachsystems in Echtzeit gegenüber einer erwarteten Reaktion des Sprachsystems ohne Anpassung beinhalten. Hierzu sei auf die obige Erörterung der Vorrichtung verwiesen. Zum Beispiel kann die Anpassung der Reaktion des Sprachsystems in Echtzeit im Verweisen eines verwirrten Benutzers an einen Servicemitarbeiter bestehen.
Der Extraktionsschritt (Kasten 410) kann das Extrahieren eines der oben erwähnten Emotionsmerkmale oder eines der oben erörterten anderen Merkmale beinhalten. Wahlweise kann das Verfahren den zusätzlichen Schritt des Normalisieren des akustischen Merkmals beinhalten (Kasten 412), insbesondere wenn es sich bei dem akustischen Merkmal um ein Emotionsmerkmal handelt. Das Verfahren kann wahlweise ferner den zusätzlichen Schritt der Speicherung von Attributdaten, die dem zu dem mindestens einen Benutzerattribut gehörenden akustischen Merkmal entsprechen, zusammen mit mindestens einem kennzeichnenden Merkmal im Data-Warehouse beinhalten (Kasten 416). Die Speicherung kann in einer Form erfolgen, welche die nachfolgende Datenfilterung gestattet und einen Roh- und/oder einen Verarbeitungszustand beinhalten. Dieser Schritt kann im Wesentlichen den oben im Zusammenhang mit dem Verfahren des Flussdiagramms 300 erörterten Schritten ähnlich sein. Es ist klar, dass das Merkmal mit einem Verarbeitungsmodul verarbeitet werden kann, um das gewünschte Attribut zu ermitteln (Kasten 414). In diesem Falle kann für die Attributdaten das Attribut selbst infrage kommen; wenn keine Verarbeitung erfolgt, können die Attributdaten das akustische Rohmerkmal selbst sein. Obwohl das in 5 dargestellte Verfahren auf die Anpassung des Verhaltens des Sprachsystems beschränkt werden kann, können der Verfeinerungsschritt (Kasten 418), die Wiederholung der bisherigen Schritte (Entscheidungskasten 420) und der Datenfilterungsschritt (Kasten 422) jeweils bei Bedarf ausgeführt werden (z.B. wie bei dem in 3 dargestellten Verfahren). Das Ende der Schritte des Verfahrens wird durch Kasten 424 angezeigt.
Ebenso wie das durch das Flussdiagramm 300 dargestellte Verfahren kann auch das durch das Flussdiagramm 400 dargestellte Verfahren aus der in eine Schriftform umgewandelten Benutzersprache bestimmte Benutzerattribute ermitteln. Entsprechend können im Extraktionsschritt (Kasten 400) zumindest MEL-Cepstra extrahiert werden. In 4 erfolgt dies in Kasten 410'. Als weitere Schritte kommen infrage die Erkennung der Sprache des Benutzers anhand der MEL-Cepstra (Kasten 414A); das Umwandeln des Gesprochenen in eine Schriftform (Kasten 414B); und das Prüfen des Gesprochenen (Kasten 414C) auf die Wortwahl und/oder den Wortschatz, um das Bildungsniveau des Benutzers, die soziale Stellung des Benutzers und/oder den Dialekt des Benutzers zu ermitteln. Ebenso wie oben können auch andere mit der Wortwahl und dem Wortschatz zusammenhängende Benutzerattribute ermittelt werden.
6 zeigt bestimmte Einzelheiten zu einzelnen Aspekten des Verfahrens des Flussdiagramms 400. Insbesondere kann der Verarbeitungsschritt 414 bei einigen Ausführungsarten des Verfahrens gemäß dem Flussdiagramm 400 das Prüfen eines Emotionsmerkmals (Kasten 414D in 6) beinhalten, um eine emotionale Einstellung des Benutzers zu ermitteln. Außerdem kann die Anpassung des Verhaltens (Kasten 415) das Reagieren auf die gerade ermittelte emotionale Einstellung beinhalten (Kasten 415A in 6). Durch Prüfung des Emotionsmerkmals kann somit ermittelt werden, ob der Benutzer eine freundliche (d.h. heitere) Einstellung aufweist oder beispielsweise empört, überheblich, verängstigt und/oder verärgert wirkt. Wenn der Benutzer eine freundliche emotionale Einstellung aufweist kann die Reaktion in Kasten 415A darin bestehen, dass ihm ein Erzeugnis und/oder eine Dienstleistung angeboten wird. Wenn der Benutzer eine freundliche emotionale Einstellung aufweist, kann die Reaktion in Kasten 415A alternativ darin bestehen, den Benutzer in eine Kundenbefragung einzubeziehen.
Wenn die emotionale Einstellung anhand des Emotionsmerkmals ermittelt wird, kann in 6 (Kasten 426) zur Ermittlung eines anderen Attributs als der emotionalen Einstellung ein anderes Merkmal als das Emotionsmerkmal herangezogen werden und dann als Reaktion auf dieses andere Attribut die in Schritt 415A zu dem Benutzer passende Maßnahme ergriffen werden (Kasten 428). Wenn zum Beispiel dem freundlichen Benutzer ein Erzeugnis und/oder eine Dienstleistung angeboten wird, kann das angebotene Erzeugnis oder die angebotene Dienstleistung anhand des mindestens einen anderen Benutzerattributes, das nicht auf die emotionale Einstellung Bezug nimmt, genau auf den Benutzer zugeschnitten werden. Alternativ kann, wenn der freundliche Benutzer in eine Kundenbefragung einbezogen wird, die Kundenbefragung als Reaktion auf das mindestens andere Benutzerattribut, das nicht auf die emotionale Einstellung Bezug nimmt, auf den Benutzer angepasst werden. Angenommen beispielsweise, einem freundlichen Benutzer wird ein Produkt und/oder eine Dienstleistung angeboten. Aus seinem Sprachmuster kann ermittelt werden, ob er aus einem ländlichen Gebiet im Süden der vereinigten Staaten stammt, wo das Seebarschangeln verbreitet ist, und bei Bedarf kann zusätzlich aus der Tonhöhe ermittelt werden, ob der Benutzer männlichen Geschlechts ist. Dieser Person können dann Geräte und Videos zum Barschangeln angeboten werden. In einem anderen Fall kann es sich bei der freundlichen Person, mit der die Kundenbefragung durchgeführt wird, um eine Frau mittleren Alters mit hohem Bildungsniveau aus einem wohlhabenden Stadtgebiet handeln. Dann kann die Kundenbefragung darauf gelenkt werden, dass die Frau über ihre Kaufgewohnheiten für teure Kosmetika, modische Kleidung oder beliebte Ferienorte befragt wird.
Wie bereit erwähnt, kann aus dem Emotionsmerkmal ermittelt werden, ob der Benutzer empört, überheblich, verängstigt und/oder verärgert ist. Wenn das Verfahren mittels eines IVR- Systems durchgeführt und eine solche emotionale Einstellung erkannt würde, könnte die zu ergreifende Maßnahme (Kasten 415A) darin bestehen, den Benutzer als Reaktion auf die erkannte emotionale Einstellung zu einem Servicemitarbeiter durchzustellen. Wenn eine derartige emotionale Einstellung erkannt wird, kann bei Verwendung eines interaktiven hybriden Sprachdialogsystems die zu ergreifende Maßnahme (Kasten 415A) darin bestehen, dass der Benutzer als Reaktion auf seine emotionale Einstellung von einem Servicemitarbeiter zu einem Vorgesetzten durchgestellt wird.
Außerdem kann durch die Prüfung des Emotionsmerkmals ermittelt werden, ob der Benutzer verwirrt ist. Das kann mit Hilfe von Verfahren erfolgen, die zum Beispiel in den oben erörterten Artikeln auf der ICSLP'98 beschrieben werden. Verwirrung äußert sich z.B. durch zögerliche Beantwortung einer Frage, durch Stottern, Wiederholungen, falsche Satzanfänge und dergleichen. Insofern ist die Erkennung und Umwandlung des Gesprochenen in eine Schriftform von Nutzen. Wenn eine Verwirrung erkannt wird, kann die zu ergreifende Maßnahme (Kasten 415A) darin bestehen, den Benutzer als Reaktion auf die erkannte Verwirrung von einem im Wesentlichen automatischen IVR-System zu einem Servicemitarbeiter durchzustellen.
Die vorliegende Erfindung kann auch eine maschinenlesbare Programmspeichervorrichtung beinhalten, die ein Programm mit durch die Maschine ausführbaren Befehlen physisch realisiert, um die Verfahrensschritte der hierarchisch beschriebenen Verfahren oder deren Teilschritte auszuführen. Wenn zum Beispiel bestimmte Teilschritte der Verfahrensschritte in geeigneter Weise durch einen Universalcomputer oder einen Prozessorbereich eines IVR-Systems ausgeführt werden sollen, können geeignete Programmbefehle auf eine Diskette, eine CD-ROM oder Ähnliches geschrieben werden. Bei dem im Flussdiagramm 300 dargestellten Verfahren können solche Verfahrensschritte das Lesen von digitalen Daten beinhalten, die einem Sprachsignal-Verlauf von Äußerungen entsprechen, die ein Benutzer des Sprachdialogsystems im Verlauf des Dialogs zwischen dem Benutzer des Sprachdialogsystems und einem Servicemitarbeiter und/oder einem automatischen Sprachdialogsystem von sich gegeben hat. Zu Programmbefehlen für zusätzliche Verfahrensschritte können bei Bedarf Befehle zur Ausführung der in Kasten 310 bis Kasten 316 oder einem der anderen Kästen beschriebenen Aufgaben gehören.
Desgleichen kann ein erster Schritt des im Flussdiagramm 400 dargestellten Verfahrens, der durch Programmanweisungen ausgeführt werden soll, das Schreiben digitaler Daten beinhalten, die einem Sprachsignal-Verlauf von Äußerungen entsprechen, die ein Benutzer des Sprachdialogsystems im Verlauf des Dialogs zwischen dem Benutzer des Sprachdialogsystems und einem Servicemitarbeiter und/oder einem automatischen Sprachdialogsystem von sich gegeben hat. Zusätzlich können wie oben erörtert in die Programmanweisungen zum Beispiel die Schritte 410 und 415 oder auch beliebige andere hier erörterte Verfahrensschritte einbezogen werden.
Es ist klar, dass gemäß der vorliegenden Erfindung Merkmale extrahiert und daraus resultierende Entscheidungen dynamisch an die Modelle zurückgegeben werden können. Zusätzlich zu dem oben bereits dargelegten Beispielen kann ein Servicemitarbeiter, wenn sich ein Benutzer, zum Beispiel ein Kunde, verängstigt anhört, den Anruf aus den verschiedensten Gründen mithören, um sicherzustellen, dass die Transaktion nicht erzwungen wird. Darüber hinaus kann die Erkennung einer Verärgerung beim Benutzer (oder gegebenenfalls bei einem Servicemitarbeiter) nicht nur zur Anpassung der Antworten eines automatischen oder hybriden IVR-Systems, sondern auch zum Zwecke der Qualitätskontrolle, z.B. als Mittel zur Bewertung und Ausbildung der Kundenbetreuer, genutzt werden.
Die vorliegende Erfindung kann auch auf nichtakustische Informationen ausgedehnt werden. Zum Beispiel können Videodaten einbezogen werden, entweder allein oder in Verbindung mit Audiodaten. Demzufolge können Verfahrensschritte zum Führen eines Dialogs stattdessen das Durchführen einer visuellen Transaktion beinhalten. Videodaten können bei der Erkennung und Klassifizierung von Benutzerattributen hilfreich sein. Solche Daten können einfach durch Bildtelefone, Kameras in Telefonzellen, an Computern oder Ähnliches gewonnen werden. Attribute wie Lächeln, Lachen und Weinen können erkannt werden. Ferner können Sprachsegmente, die bestimmten Benutzerattributen oder emotionalen Einstellungen entsprechen und visuell erkannt werden können, markiert werden. Dadurch könnte eine Trainingsdatenbank erstellt werden, die bei der Entwicklung von automatischen Verfahren zur Erkennung von Benutzerattributen ausschließlich aus akustischen Daten von Nutzen wäre. Demzufolge könnte die Datenfilterung entweder der ausschließlich visuell ermittelten Benutzerattribute oder der ausschließlich akustisch ermittelten Benutzerattribute oder beider Attribute gemeinsam durchgeführt werden.
Die Ermittlung von Benutzerattributen aus dem äußeren Erscheinungsbild kann nach üblichen Erfahrungswerten erfolgen, so bedeutet zum Beispiel ein gerötetes Gesicht Verärgerung oder Verlegenheit, Lächeln bedeutet Freude oder eine freundliche Stimmung, und Tränen bedeuten Niedergeschlagenheit. Darüber hinaus können in Verbindung mit den Videodaten und den akustischen Daten beliebige biometrische Daten erfasst werden. Weiterhin können gleichzeitig Daten von mehr als einer Person erfasst werden. Zum Beispiel können Eltern und Kinder oder ein Ehepaar, das nach einem Haus oder einem Auto sucht, gleichzeitig beobachtet werden. Oder es kann erkannt werden, dass Kinder von minderwertigem Essen (Junkfood) begeistert sind, während gleichzeitig ihre Eltern diese Entscheidung nicht gutheißen. Während eine Frau sich über ihre Kaufentscheidung für teuren Schmuck freut, kann ihr Ehemann darüber verärgert sein. Alternativ kann ein Ehemann sich über seinen Kauf eines teuren Satzes von Golfschlägern freuen, während sich seine Frau darüber ärgert.
Wie bereits erwähnt können Zeitmarken als kennzeichnende Merkmale gemeinsam mit den Daten der Benutzerattribute gespeichert werden. Daraus lässt sich erkennen, wie Personen zu unterschiedlichen Tageszeiten reagieren, oder verfolgen, wie sie sich während ihres Lebens entwickeln, zum Beispiel, wie Kinder zu Jugendlichen und später zu Erwachsenen heranwachsen oder wie sich die Geschmäcker von Erwachsenen im Laufe des Älterwerdens verändern. Desgleichen können Ähnlichkeiten zwischen Verwandten verfolgt und aufgezeichnet werden. Weiterhin kann als ein Attribut die Ermüdung des Benutzers im Laufe der Zeit verfolgt werden. Ein solches System kann zum Beispiel in ein Auto, einen Zug, ein Flugzeug oder einen Fernlaster eingebaut werden, um die Ermüdung des Fahrer zu überwachen und ihn zum Anhalten und Ausruhen aufzufordern oder zum Beispiel laute Musik zu spielen, damit der Fahrer wach bleibt. Ausdrücklich wird die gleichzeitig anhängige US-Patentanmeldung 09/078 807 von Zadrozny und Kanevsky mit dem Titel „Sleep Prevention Dialog Based Car System", eingereicht am 14. Mai 1998, erwähnt.
Es ist klar, dass die oben erörterten Sprachdialogsysteme Telefonsysteme, Telefonzellen, das Sprechen in einen Computer und Ähnliches beinhalten können. Der Begriff „akustisches Merkmal" ist im weitesten Sinne aufzufassen und kann gemäß der obigen Erörterung entweder Rohmerkmale oder verarbeitete Merkmale oder beide beinhalten. Wenn es sich bei dem akustischen Merkmal zum Beispiel um MEL-Cepstra handelt, können bestimmte verarbeitete Merkmale Schlüsselwörter, Satzteile oder Ähnliches beinhalten. Bestimmte Schlüsselwörter können zum Beispiel unzulässige Schimpfwörter sein, die übergangen werden können, die Einschaltung eines Leiters oder disziplinarische Maßnahmen gegen einen Angestellten erfordern können. Es muss darauf hingewiesen werden, dass bei der Vorrichtung und dem Verfahren zur Anpassung eines Sprachdialogsystems in Echtzeit die Speicherung eines Attributs zusammen mit einem kennzeichnenden Merkmal in einem Data-Warehouse wahlweise erfolgen kann und nicht zwingend erforderlich ist.
Beim Trainieren der Modelle können Mitarbeiter Daten kommentieren, indem sie qualifizierte Annahmen zu verschiedenen Benutzerattributen machen. Alternativ können Kommentare automatisch anhand eines bereits vorhandenen Satzes von Klassifizierungen angebracht werden, die bereits einem Training unterzogen worden sind. Auch eine Kombination aus beiden Verfahren kann eingesetzt werden. Zu den gespeicherten kennzeichnenden Merkmale können außer einer Zeitmarke und den anderen hier erörterten Objekten auch ein Transaktionsereignis oder Transaktionsergebnisse oder andere nützliche Informationen gehören. Das im Flussdiagramm 400 dargestellte Verfahren kann auch bei einem laufenden Dialog mit einem Servicemitarbeiter mit manuellen Eingaben zur Änderung der durch den Mitarbeiter verwendeten Geschäftslogik oder zur automatischen Einschaltung eines leitenden Mitarbeiters genutzt werden, wenn eine Verärgerung oder andere unerwünschte Vorkommnisse erkannt werden.

Claims

Verfahren zum Sammeln von Daten, die einer Stimme eines Benutzers eines Sprachsystems zugeordnet sind, in Zusammenhang mit einem Data-Warehouse (Datenreservoir), wobei das Verfahren die folgenden Schritte umfasst: (a) Führen (304) eines Dialogs mit dem Benutzer des Sprachsystems über einen Service-Mitarbeiter und/oder ein maschinelles Sprachverarbeitungssystem; (b) Erfassen (306) eines Sprachsignal-Verlaufs, der den Äußerungen des Benutzers des Sprachverarbeitungssystems während des Dialogs zugeordnet wurde; (c) Digitalisieren (308) des Sprachsignal-Verlaufs zum Erzeugen eines digitalisierten Sprachsignal-Verlaufs; (d) Extrahieren (310) mindestens eines akustischen Merkmals, das mindestens einem Benutzerattribut zugeordnet ist, aus dem digitalisierten Sprachsignal-Verlauf; und (e) Speichern (316) von Attributdaten, die dem dem mindestens einen Benutzerattribut zugeordneten akustischen Merkmal entsprechen, zusammen mit mindestens einem charakteristischen Kennzeichen, in dem Data-Warehouse in einer Form, die eine spätere Datenfilterung der Attributdaten gestattet.
Verfahren nach Anspruch 1, bei dem mindestens das mindestens eine Benutzerattribut mindestens eine der folgenden Eigenschaften beinhaltet: (d-1) Geschlecht des Benutzers; (d-2) Alter des Benutzers; (d-3) Akzent des Benutzers; (d-4) Muttersprache des Benutzers; (d-5) Dialekt des Benutzers; (d-6) soziale Stellung des Benutzers; (d-7) Bildungsniveau des Benutzers; und (d-8) emotionale Einstellung des Benutzers.
Verfahren nach Anspruch 1 oder Anspruch 2, das ferner die folgenden Schritte umfasst: (f) Wiederholen der Schritte (a) bis (e) für eine Vielzahl weiterer Dialoge mit weiteren Benutzern zum Erstellen einer Sammlung gespeicherter Daten, die Attributdaten und charakteristische Kennzeichen beinhaltet; und (g) Filtern (322) der Sammlung gespeicherter Daten zur Gewinnung von Daten zur Modifizierung des dem Sprachverarbeitungssystem zugrunde liegenden Geschäftsmodells.
Verfahren nach einem der vorangehenden Ansprüche, bei dem das mindestens eine Benutzerattribut die emotionale Einstellung des Benutzers und der Schritt (d) das Filtern mindestens eines der folgenden der emotionalen Einstellung des Benutzers zugeordneten Merkmale beinhaltet: Grundfrequenz, Schwankung der Grundfrequenz, mittlere Stimmhöhe, zeitliche Stimmhöhenschwankungen, Zittern der Stimmhöhe, zeitliche Intensitätsschwankungen, Sprechgeschwindigkeit und Rauigkeit.
Verfahren nach Anspruch 4, das ferner den zusätzlichen Schritt des Normalisierens des mindestens einen Merkmals der emotionalen Einstellung umfasst.
Verfahren nach einem der vorangehenden Ansprüche, das ferner den zusätzlichen Schritt der Verarbeitung des mindestens einen akustischen Merkmals zur Ermittlung des mindestens einen Benutzerattributs umfasst, wobei die Attributdaten in Schritt (e) mindestens einen Wert des Benutzerattributs umfassen.
Verfahren nach Anspruch 6, das ferner den zusätzlichen Schritt der automatischen Verfeinerung des Verarbeitungsschritts als Reaktion auf die Speicherung zusätzlicher Attributdaten im Data-Warehouse umfasst.
Verfahren nach einem der vorangehenden Ansprüche, bei dem der Schritt (e) die Speicherung der Attributdaten in Form mindestens eines im Wesentlichen unbearbeiteten akustischen Merkmals umfasst.
Verfahren nach einem der vorangehenden Ansprüche, wobei der Schritt (d) das Extrahieren mindestens von MEL-Cepstra beinhaltet und das Verfahren die folgenden zusätzlichen Schritte umfasst: Erkennen der Sprache des Benutzers mittels der MEL-Cepstra; Umsetzen der Sprache in einen geschriebenen Text; und Untersuchen der Sprache auf Wortwahl und/oder Wortschatz, um das Bildungsniveau und/oder die soziale Stellung und/oder den Dialekt des Benutzers zu ermitteln.
Verfahren nach Anspruch 3, das ferner den folgenden zusätzlichen Schritt umfasst: (h) Modifizieren (415) des Verhaltens des Sprachverarbeitungssystems anhand des mindestens einen Benutzerattributs in Echtzeit.
Verfahren nach Anspruch 10, bei dem der Modifizierungsschritt mindestens einen der folgenden Schritte umfasst: Änderung des dem Sprachverarbeitungssystem zugrunde liegenden Geschäftsmodells in Echtzeit; und Modifizierung der Reaktion des Sprachverarbeitungssystems in Echtzeit im Vergleich zu einer ohne die Modifizierung erwarteten Reaktion des Sprachverarbeitungssystems.
Verfahren nach Anspruch 4, das ferner den zusätzlichen Schritt des Untersuchens des mindestens einen Merkmals der emotionalen Einstellung umfasst, um zu ermitteln, ob der Benutzer eine aufgeschlossene emotionale Einstellung aufweist; wobei der Schritt (e) als Reaktion auf die aufgeschlossene emotionale Einstellung zumindest das Anbieten eines Produkts und/oder einer Dienstleistung umfasst.
Verfahren nach Anspruch 12, das ferner die folgenden zusätzlichen Schritte umfasst: Ermitteln mindestens eines Benutzerattributs außer der emotionalen Einstellung; gezieltes Auswählen eines Produkts und/oder einer Dienstleistung als Reaktion auf das mindestens eine Benutzerattribut außer der emotionalen Einstellung.
Verfahren nach Anspruch 4, das ferner den zusätzlichen Schritt des Untersuchens des mindestens einen Merkmals der emotionalen Einstellung umfasst, um zu ermitteln, ob der Benutzer eine aufgeschlossene emotionale Einstellung aufweist; wobei der Schritt (e) zumindest das Durchführen einer auf den Benutzer bezogenen Marktforschung als Reaktion auf die aufgeschlossene emotionale Einstellung umfasst.
Verfahren nach Anspruch 4, bei dem das Sprachverarbeitungssystem ein im Wesentlichen automatisches interaktives Sprachbeantwortungssystem (Interactive Voice Response, IVR) ist, das ferner den zusätzlichen Schritt des Untersuchens des mindestens einen Merkmals der emotionalen Einstellung umfasst, um zu ermitteln, ob der Benutzer mindestens eine aufgebrachte, arrogante, ängstliche, verwirrte und/oder verärgerte emotionale Einstellung aufweist; wobei der Schritt (e) als Reaktion auf mindestens eine aufgebrachte, arrogante, ängstliche, verwirrte und/oder verärgerte emotionale Einstellung zumindest das Vermitteln des Benutzers vom IVR zu einem Servicemitarbeiter umfasst.
Verfahren nach Anspruch 4, bei dem das Sprachverarbeitungssystem ein Hybridsystem zur interaktiven Sprachbeantwortung (IVR) ist, wobei das Verfahren ferner den zusätzlichen Schritt des Untersuchens der mindestens einen emotionalen Einstellung umfasst, um zu ermitteln, ob der Benutzer mindestens eine aufgebrachte, arrogante, ängstliche, verwirrte und/oder verärgerte emotionale Einstellung aufweist; wobei der Schritt (e) als Reaktion auf mindestens eine aufgebrachte, arrogante, ängstliche, verwirrte und/oder verärgerte emotionale Einstellung zumindest das Vermitteln des Benutzers von einem untergeordneten Servicemitarbeiter zu einem vorgesetzten Servicemitarbeiter umfasst.
Vorrichtung zum Sammeln von Daten, die einer Stimme eines Benutzers zugeordnet sind, wobei die Vorrichtung Folgendes umfasst: (a) eine Dialogsteuereinheit zur Steuerung eines Gesprächs mit dem Benutzer; (b) ein mit der Dialogsteuereinheit verbundenes Audioerfassungsmodul zum Erfassen einer Sprachsignal-Verlauf, die den Äußerungen des Benutzers während des Dialogs zugeordnet wurde; (c) eine mit dem Audioerfassungsmodul verbundene akustische Empfangseinheit, die konfiguriert ist zum: Empfangen und Digitalisieren des Sprachsignal-Verlaufs zum Erzeugen eines digitalisierten Sprachsignal-Verlaufs; und Extrahieren mindestens eines dem mindestens einen Benutzerattribut zugeordneten akustischen Merkmals aus dem digitalisierten Sprachsignal-Verlauf; (d) ein mit der akustischen Empfangseinheit verbundenes Verarbeitungsmodul, welches das mindestens eine akustische Merkmal analysiert, um das mindestens eine Benutzerattribut zu ermitteln; und (e) ein mit dem Verarbeitungsmodul verbundenes Data-Warehouse, welches das mindestens eine Benutzerattribut zusammen mit dem mindestens einen charakteristischen Kennzeichen in einer Form speichert, die eine spätere Datenfilterung der Attributdaten gestattet.
Vorrichtung nach Anspruch 17, bei der das mindestens eine Benutzerattribut mindestens eine der folgenden Eigenschaften beinhaltet: (d-1) Geschlecht des Benutzers; (d-2) Alter des Benutzers; (d-3) Akzent des Benutzers; (d-4) Muttersprache des Benutzers; (d-5) Dialekt des Benutzers; (d-6) soziale Stellung des Benutzers; (d-7) Bildungsniveau des Benutzers; und (d-8) emotionale Einstellung des Benutzers.
Vorrichtung nach Anspruch 18, bei der: die Dialogsteuereinheit so konfiguriert ist, dass sie eine Vielzahl zusätzlicher Dialoge mit zusätzlichen Benutzern verarbeiten kann; das Audioerfassungsmodul so konfiguriert ist, dass es eine Vielzahl zusätzlicher Sprachsignal-Verläufe erfassen kann, die den Äußerungen zusätzlicher Benutzer während der Vielzahl der zusätzlichen Dialoge zugeordnet wurden; die akustische Empfangseinheit so konfiguriert ist, dass sie eine Vielzahl zusätzlicher Sprachsignal-Verläufe empfangen und digitalisieren kann, um eine Vielzahl zusätzlicher digitalisierter Sprachwellenformen zu erzeugen, und aus der Vielzahl zusätzlicher digitalisierter Sprachsignal-Verläufe eine Vielzahl zusätzlicher akustischer Merkmale extrahieren kann, die jeweils mindestens einem Attribut eines der zusätzlichen Benutzer zugeordnet sind; das Verarbeitungsmodul so konfiguriert ist, dass es die zusätzlichen akustischen Merkmale analysiert, um eine Vielzahl zusätzlicher Benutzerattribute zu ermitteln; das Data-Warehouse so konfiguriert ist, dass es die Vielzahl zusätzlicher Benutzerattribute zusammen mit mindestens einem zusätzlichen charakteristischen Kennzeichnen in einer Form speichert, die eine spätere Datenfilterung der Attributdaten gestattet; und das Verarbeitungsmodul und das Data-Warehouse so konfiguriert sind, dass sie die gespeicherten Benutzerattribute und die charakteristischen Kennzeichen filtern, um Daten zur Modifizierung des dem Sprachverarbeitungssystem zugrunde liegenden Geschäftsmodells zu erzeugen.
Computerprogramm, das, wenn das Programm in eine Maschine geladen wurde, durch die Maschine auszuführende Befehle zum Ausführen der Schritte des Verfahrens nach einem der Ansprüche 1 bis 16 umfasst.