DE69932819T2

DE69932819T2 - Intelligente text-sprache-umsetzung

Info

Publication number: DE69932819T2
Application number: DE69932819T
Authority: DE
Inventors: Gudrun Mountain View SOCHER; Mohan San Jose VISHWANATH; Anurag Sunnyvale MENDHEKAR
Original assignee: Yahoo Inc
Current assignee: Yahoo Inc
Priority date: 1998-06-17
Filing date: 1999-06-14
Publication date: 2007-08-16
Anticipated expiration: 2019-06-15
Also published as: JP2002518711A; AU4681699A; WO1999066496A8; EP1086450B1; BR9911315B1; ATE336775T1; US6446040B1; BR9911315A; DE69932819D1; KR100759581B1; KR20010071517A; WO1999066496A1; EP1086450A1

Description

Die vorliegende Erfindung betrifft allgemein die Synthese von Text zu gesprochener Sprache und insbesondere die intelligente Synthese von Text zu gesprochener Sprache.
Wir nehmen viele Informationen über das Hören auf, insbesondere, wenn unsere visuelle Aufmerksamkeit anderen Aufgaben gilt, beispielsweise dem Fahren. Das Radio ist eine gute Quelle akustisch dargebotener Berichte oder anderer Veröffentlichungen, und für einige Menschen wird diese Informationsquelle sehr wichtig. Einer Studie zufolge besitzt jede Familie in den Vereinigten Staaten im Durchschnitt fünf Radiogeräte. Obgleich das Radio unentbehrlich geworden sein mag, bieten die von den Radiosendern angebotenen Programme nicht notwendigerweise das, woran der Einzelne im Moment interessiert ist.
Auf dem Markt werden vorgelesene Texte oder Audio-Texte, beispielsweise Romane, angeboten. Solche Aufzeichnungen stehen jedoch offenbar nur für ein bestimmtes Marktsegment zur Verfügung. So gibt es offenbar keine Audio-Unterlagen für Informationen, die nur kurze Zeit von Interesse sind wie beispielsweise Nachrichten, Wettervorhersagen oder Sportergebnisse. Einige Informationen, z.B. Börsennotierungen, sind nur für eine sehr kurze Zeitspanne von Wert, und es machte keinen Sinn, solche Audio-Dokumente zu produzieren.
Eine große Zahl von Audio-Unterlagen kann durch das automatische Übertragen von Text in eine gesprochene Ausgabe hergestellt werden. Allgemeine Beschreibungen solcher Synthesesysteme, die Text in gesprochene Sprache synthetisieren, sind beispielsweise in den folgenden Veröffentlichungen zu finden:

1. Multilingual Text-to-Speech Synthesis, The Bell Labs Approach, geschrieben von Richard Sproat und veröffentlicht von Kluwer Academic Publishers im Jahre 1998.
2. IBM Via Voice

Solche Systeme führen üblicherweise eine direkte Übertragung vom Wort zum Laut durch. Das gesprochene Ergebnis hört sich im allgemeinen nicht sehr natürlich an, und bei diesen Systemen kommt es vor, dass Fehler gemacht werden. Das kann daran liegen, dass solchen Systemen nicht „bewußt" ist, was gelesen wird.
Die Art, wie wir lesen, berücksichtigt den Inhalt des Textes. Wenn wir beispielsweise den wichtigsten Satz eines Nachrichtenbeitrags lesen, betonen wir ihn üblicherweise. Da die bestehenden Systeme jedoch offenbar den Sinn des Textes, den sie transformieren, überhaupt nicht berücksichtigen, neigen sie dazu, die eingegebenen Texte mit gleichbleibender Geschwindigkeit, gleicher Tonhöhe und Lautstärke zu übertragen. Das ist einer der Gründe, warum die gesprochenen Ausgangsprodukte bestehender Systeme üblicherweise monoton und langweilig sind. Die Art, wie wir lesen, sollte auch unseren Hörer berücksichtigen. Wenn unser Hörer sehbehindert ist und wir ein Objekt beschreiben, dann sollten wir das Objekt mit mehr Einzelheiten beschreiben. Außerdem sollte die Art unseres Sprechens ebenfalls die Hardware berücksichtigen, die ein Hörer zum Zuhören zur Verfügung hat. Soll die verlesene Botschaft beispielsweise in einem Raum mit hohem Geräuschpegel gehört werden, dann müsste lauter gesprochen werden.
Aus dem oben Gesagten sollte deutlich geworden sein, dass es immer noch keine Einrichtung für eine intelligente Synthese von schriftlichem Text in gesprochene Sprache gibt, die beispielsweise sowohl den Inhalt des Textes als auch den Hörer eines gesprochenen Textes berücksichtigt oder an die Hardware anpasst, die der Hörer des Textes verwendet.
In US-A-5761640 wird ein System beschrieben, bei dem Text dadurch bearbeitet wird, dass Felder erkannt werden; der in jedem der Felder enthaltene Text wird normiert, um Abkürzungen zu korrigieren; Akronyme werden erkannt und für die Sprachsynthese vorbereitet und zu buchstabierende Texte werden entsprechend markiert. Diese Bearbeitungstechnik formatiert Texte lediglich, indem Abkürzungen ersetzt und Akronyme buchstabiert werden, so dass eine Synthetisiereinrichtung, die Text in gesprochener Sprache generiert, den eingegebenen Text richtig auslesen kann. Auf ähnliche Weise lehrt WO-A-9622594 das Formatieren einge gebenen Textes, damit er von einer Einrichtung, die Text zu gesprochener Sprache synthetisiert, gelesen werden kann.
Ein Aspekt der vorliegenden Erfindung schafft ein Verfahren, mit dem nach Anspruch 1 gesprochene Sprache aus einem eingegebenen Text synthetisiert werden kann. Gemäß einem weiteren Aspekt der vorliegenden Erfindung schafft die vorliegende Erfindung gemäß Anspruch 25 eine Datenverarbeitungseinrichtung zum Synthetisieren von gesprochener Sprache aus eingegebenem Text.
Bevorzugte Ausführungsformen der vorliegenden Erfindung schaffen Verfahren und Einrichtungen zum intelligenten Synthetisieren von gesprochener Sprache aus Texten. Unterschiedliche wichtige, bisher jedoch ignorierte Faktoren in der vorliegenden Erfindung verbessern die erzeugte Sprache. Die erfindungsgemäße Sprach-Synthetisiereinrichtung kann die Semantik des eingegebenen Textes berücksichtigen. Wenn beispielsweise ein Mann sprechen sollte, wird eine männliche Stimme eingesetzt. Die Synthetisiereinrichtung kann das Benutzerprofil der Person berücksichtigen, die dem eingegebenen Text zuhört. Die Synthetisiereinrichtung kann ebenfalls die Hardware einbeziehen, die der Nutzer verwendet, um den eingegebenen Text zu hören. Die Synthetisiereinrichtung Text-zu-gesprochener Sprache ist also viel intelligenter als die auf dem Markt erhältlichen Einrichtungen. Es gibt mehrere Wege, die Erfindung zu implementieren. In einer Ausführungsform enthält die Synthetisiereinrichtung einen Umsetzer, eine Modifiziereinrichtung, eine Text-zu-Sprache-Software-Maschine und eine Sprach-Hardware. Der Umsetzer analysiert den eingegebenen Text und transformiert ihn in einen formatierten Text. Dann modifiziert die Modifiziereinrichtung diesen formatierten Text so, dass er die Anforderungen der Text-zu-Sprache-Software-Maschine erfüllt, deren Ausgabedaten der Sprach-Hardware zugeführt werden, um die gesprochene Sprachausgabe zu erzeugen. Der eingegebene Text weist eine Anzahl von Eigenschaften auf. Er gehört zu einer Klasse, die mindestens ein spezifisches Muster aufweist. Dieses Muster kann beispielsweise darin bestehen, dass die wichtigsten Absätze einer Art von Artikeln der erste und der letzte Absatz sind, wie dies bei einem Zeitungsartikel der Fall ist. Auch der formatierte Text weist mehrere Charakteristika auf. Er kann von der Text-zu-Sprache-Software-Maschine unabhängig sein, er kann beispielsweise in Extensible Markup Language (XML) geschrieben sein.
Bei einer Ausführungsform basiert das Erzeugen des formatierten Textes auf der Semantik mindestens eines Wortes des Textes. Die Semantik kann von einem Autor bestimmt werden – einem Menschen. Bei einer weiteren Vorgehensweise wird die Semantik durch das Zuordnen (Mapping) der Wörter zu einer Datenbasis erzeugt. Besteht das Wort beispielsweise aus dem Namen einer Firma, dann kann die Datenbasis eine zusätzliche Information über die Firma liefern, beispielsweise den Aktienpreis zu einer bestimmten Zeit. Bei einem weiteren Lösungsweg wird die Semantik durch eine Inferenzmaschine erkannt. Wenn beispielsweise die Wörter „Mr. Clinton" sind, geht die Inferenzmaschine aufgrund einiger eingespeicherter Regeln davon aus, dass sich die Wörter auf eine männliche Person beziehen. Dann kann eine männliche Stimme für die Wiedergabe eingesetzt werden.
Bei einer weiteren Ausführungsform basiert die Transformation, die den formatierten Text erzeugt, auf mindestens einer Charakteristik des der synthetisierten Sprache zuhörenden Hörers. Bei noch einer weiteren Ausführungsform hängt die Transformation des zu generierenden formatierten Textes von mindestens einer Charakteristik der Hardware ab, die der Nutzer beim Hören zu der synthetisierten Sprache verwendet. Die oben beschriebenen Ausführungsformen können vermischt und aufeinander abgestimmt ausgeführt sein. So kann sich die Transformation beispielsweise auf die Semantik mindestens eines Wortes des Textes und einer Charakteristik des Nutzers gründen, der der synthetisierten Sprache zuhört.
Basierend auf den oben beschriebenen Lösungswegen können mehrere Eigenschaften der sprachlichen Ausgangswiedergabe bestimmt werden. Dazu können Lautstärke, Tonhöhe, Geschlecht der Stimme, Ton, Pausen zwischen einander folgenden Wörtern und andere besondere Betonungen eines Wortes gehören. Diese spezielle Betonung kann irgendeine Art von Laut sein, die auf der Semantik beruht, jedoch nicht auf der syntaktischen Bedeutung des Wortes. Beispiele für den eingespielten Laut können ein tiefer Seufzer, ein Grunzen oder schweres Atmen sein. Diese Ausdrücke auf Lautbasis können einen großen Bedeutungsinhalt übermitteln. Gerade so, wie ein Bild tausend Worte ersetzt, schafft ein geeigneter Laut oder ein betonendes Geräusch eine zusätzliche Bedeutung, die für jeden Kommunikationsvorgang sehr befruchtend sein kann.
Der formatierte Text kann weiter modifiziert werden, um den Anforderungen der Text-zu-Sprache-Software-Maschine angepasst zu werden. Bei einer Ausführungsform wird diese Modifikation durch Tags ausgeführt, wobei ein Tag ein von der Maschine interpretierter Befehl sein kann und nicht ein von der Maschine ausgesprochenes Wort ist. Der modifizierte Text wird dann der Sprach-Hardware zugeleitet, die die Sprachausgabe erzeugt.
Es wird darauf hingewiesen, dass die in der Beschreibung verwendete Sprache hauptsächlich ihrer Lesbarkeit und Instruktionsfähigkeit halber ausgewählt wurde und möglicherweise nicht zur genauen Darstellung oder Umschreibung des erfindungsgemäßen Inhalts. Die in der Beschreibung beschriebenen Merkmale und Vorteile umfassen außerdem nicht den ganzen Inhalt der Erfindung. Weitere Aspekte und Vorteile der vorliegenden Erfindung ergeben sich für Fachleute aus der Beschreibung, die an Hand von Beispielen die Grundsätze der Erfindung darstellt.
Kurzbeschreibung der Zeichnungen
1 zeigt eine Ausführungsform zur Implementierung der vorliegenden Erfindung.
2 zeigt drei Lösungswege, um ein Stück Eingabetext nach der vorliegenden Erfindung in formatierten Text umzuwandeln.
3 zeigt drei Lösungswege, um ein Stück Eingabetext auf der Basis der Semantik mindestens eines Wortes nach vorliegenden Erfindung umzuwandeln.
4 zeigt eine Anzahl von Charakteristika der gesprochenen Sprachausgabe, die nach der vorliegenden Erfindung bestimmt werden können.
Ähnliche Elemente sind in allen 1 bis 4 mit den gleichen Bezugszeichen versehen. Ausführungsformen der Erfindung werden nachfolgend mit Bezug auf die 1 bis 4 beschrieben. Fachleuten auf diesem Gebiet wird jedoch ohne weiteres klar sein, dass die folgende detaillierte Beschreibung auf der Basis dieser Figuren lediglich Beispiele liefert, da die Erfindung sich über diese begrenzten Ausführungsformen hinaus erstreckt.
Detaillierte Beschreibung der Erfindung
In 1 ist eine Ausführungsform 100 dargestellt, um die vorliegende Erfindung in einem Datenbearbeitungssystem zu implementieren. Zuerst sucht eine Ladevorrichtung 102 ein Stück vorher in das System eingegebenen Eingabetextes 104 heraus. Der Eingabetext 104 kann sich in einem Speichermedium befinden. Dann analysiert ein Umsetzer 106 den Eingabetext 104 und wandelt ihn in einen formatierten Text 108 um. Eine Modifiziereinrichtung 110 modifiziert diesen formatierten Text 108 weiter, um ihn den Anforderungen eine Software-Maschine 114, die den Text in gesprochene Sprache synthetisiert, und einer Hardware-Maschine 116 anzupassen, die die Sprachausgabe generiert.
Der Eingabetext 104 gehört zu einer Klasse von Texten mit mindestens einer spezifischen Eigenschaft. Beispielweise sind bei manchen Artikeln der erste und der letzte Absatz die wichtigsten Textteile, z.B. bei Zeitungen. Ein weiteres Bespiel ist ein Wetterbericht, wie er im nachfolgenden Beispiel 1 dargestellt wird.
Der formatierte Text 108 weist ebenfalls mehrere charakteristische Eigenschaften auf. Er kann die Software-Maschine 114, die Text in gesprochene Sprache synthetisiert, unberücksichtigt lassen. Mit anderen Worten, der formatierte Text 108 kann in einer Sprache geschrieben sein, die auf mehreren verschiedenen Plattformen transparent ausgeführt ist. Der formatierte Text 108 kann dann weiter durch die Modifiziereinrichtung 110 modifiziert werden, damit er von der den Text in gesprochene Sprache synthetisierenden Software-Maschine 114 bearbeitet werden kann.
In einer Ausführungsform ist der formatierte Text 108 in Extensible Markup Language (XML) geschrieben, die ein Datenformat für strukturierten Dokumentenaustausch im Internet ist. XML ist ein Standardverfahren zum Markieren von Dokumenten. Man kann die Grammatik definieren, um ein bestimmtes Dokument mit Tags und ihren Attributen zu markieren. Eine allgemeine Beschreibung der XML ist im Internet mit einer URL unter http://www.w3.org/XML in einem Artikel mit dem Titel „Extensible Markup Language (XML)" zu finden.
In einer weiteren Ausführungsform enthält der formatierte Text 108 Tags, die spezifische Aktionen definieren und von nachfolgend angeordneten Maschinen implementiert werden können, die jene Tags interpretieren. Auf der Basis des XML-Beispiels kann ein XML-tauglicher Browser die XML-Tags interpretieren und die von den Tags spezifizierten Aktionen auf entsprechende Weise ausführen. Die Aktionen können verschiedene Effekte zur Audio-Hintergrundaufbereitung (Audio Rendering Effects) enthalten wie beispielsweise Hintergrundmusik, Spezialeffekte in Form von Lauten und dem Kontext entsprechende Geräusche. Wenn beispielsweise der Eingabetext 104 vom Wiener Walzer handelt, kann ein Wiener Walzer von Johann Strauss als Hintergrundmusik übertragen werden, während der Text gelesen wird.
Andere Markup Languages können ebenfalls für die vorliegende Erfindung angewendet werden wie beispielsweise:

(I) Standard Generalized Markup Language (SGML), wie sie beispielsweise in The SGML Handbook von Charles Goldfarb beschrieben wird, veröffentlicht bei Clarendon Press, Oxford, 1990.
(II) Spoken Text Markup Language (STML), wie sie beispielsweise in SSML: A Speech Synthesis Markup Language von Paul Taylor und Amy Isard beschrieben wird, veröffentlicht in Speech Communication 21, 1996.
(III) A Markup Language for Text-to-Speech Synthesis, geschrieben von Richard Sproat, Paul Taylor, Michael Tanenblatt und Amy Isard, veröffentlicht in den Protokollen der 5. Europäischen Konferenz über Sprachkommunikation und Technologie, Rhodes, im Jahr 1997.

2 zeigt drei Lösungswege, um einen eingegebenen Text 104 in einen formatierten 108 zu transformieren. Ein Lösungsweg betrachtet die Semantik 152 des Eingabetextes 104. Ein Grund für das Fehlen der Ausdruckstärke einer menschlichen Stimme bei synthetisierter Sprache liegt darin begründet, dass die Synthetisiereinrichtung den Zusammenhang des Gelesenen nicht versteht. Sie ist nicht quellenorientiert. Mit anderen Worten, sie berücksichtigt nicht die Textquelle. Wenn man sich vorstellt, darüber vorzulesen, dass irgend jemand weint, dann ist die Stimmführung wahrscheinlich anders als bei einem Text, in dem jemand lacht. Eine Synthetisiereinrichtung, die die beiden Passagen auf eine gleichartige Weise vorliest, würde eine falsche Botschaft übermitteln. Bei einem anderen Lösungsweg wird die Person in Betracht gezogen, die die Sprachausgabe 118 hört. Eine Möglichkeit, dieses Ziel zu erreichen, ist die Kenntnis vom Hörerprofil 154. Bei einem dritten Lösungsweg wird die vom Hörer für die Sprachausgabe 118 verwendete Hardware einbezogen.
3 zeigt drei Lösungswege, um ein Stück eingegebenen Textes 104 auf der Basis der Semantik 152 mindestens eines Wortes im Text zu transformieren. Bei einem Lösungsweg bestimmt eine Person 175 die Semantik 152. Zum Beispiel trägt die Person an strategischen Stellen im Text ihre Eingaben ein, die angeben, wie die verschiedenen Wörter vorzugsweise zu lesen sind. Wenn die Person wünscht, dass der Satz „Sie liebt mich!" lauter gelesen wird, dann würde sie einen geeignetes Befehlszeichen am Ende des Satzes in den formatierten Text 108 einsetzen. Die Person wandelt den Eingabetext 104 nach ihren Wünschen um.
Bei einem anderen Lösungsweg wird die Transformation automatisch vom Umsetzer 106 durchgeführt. Dies geschieht über ein Abbilden (mapping) einiger Schlüsselworte in der Datenbasis 177. In einer Ausführungsform wird zuerst die Syntax des Textes analysiert, um spezifische Wörter im Text zu identifizieren, beispielsweise Eigennamen. Diese Wörter werden in einer bestehenden Datenbasis 177 abgebildet, um zusätzliche Information zu erhalten. Wenn beispielsweise der Eigenname Microsoft ist, kann das Wort einer Datenbasis 177 zugeordnet werden, die unterschiedliche Informationen über Microsoft liefert, beispielsweise den derzeitigen Aktienpreis.
Bei einer weiteren Ausführungsform wird das Auslegen der Semantik von einer Inferenzmaschine 179 durchgeführt. Basierend auf Informationen aus dem Text bestimmt die Inferenzmaschine 179 die geeigneten Aktionen. Zum Beispiel kann die Inferenzmaschine 179 eine syntaktische Analyse der natürlichen Sprache durchführen und ein statistisches oder regelgebundenes Parsing/Textverstehen. Die Regeln können von fachlichen Experten auf dem Gebiet aufgestellt werden. Der statistische Lösungsweg kann Informationen aus Trainingsbeispielen heranziehen. Mit solchen Parsing-/Verstehenstechniken können Wörter interpretiert werden, um nachfolgende Aktionen festzulegen. Den Fachleuten sollten die Möglichkeiten der Durchführung von syntaktischer Analyse natürlicher Sprache und von statistischem oder regelgebundenem Parsing/Verständnis geläufig sein. Solche Techniken werden in der vorliegenden Beschreibung der Erfindung nicht weiter ausgeführt.
In 4 werden mehrere charakteristische Eigenschaften der Sprachausgabe 118 dargestellt, die mit der vorliegenden Erfindung bestimmt werden können. Solche Bestimmungsangaben werden in den Eingabetext 104 zum Generieren des formatierten Textes 108 eingefügt. In einer Ausführungsform können die Charakteristika als prosodische Charakteristika klassifiziert werden und enthalten die Lautstärke 202, die Tonhöhe 204 und den Ton 208. Andere Eigenschaften der Stimme der Sprachausgabe 118 umfassen das Geschlecht der Stimme 206 und das angenommene Alter 207. Die Wartezeit 210 zwischen einem Wort und dem folgenden kann ebenfalls modifiziert werden. Nach der Phrase „vollständige Stille" wird beispielsweise von der Synthetisiereinrichtung eine Sekunde lang nichts generiert.
Ein weiteres charakteristisches Merkmal enthält die einem Wort gegebene besondere Betonung 212. Eine besondere Betonung kann aus irgendeinem Laut oder Geräusch bestehen, das auf der Semantik des Wortes beruht. Beispiele für eine solche Art von Geräusch können ein tiefer Seufzer sein, ein Grunzen oder ein tiefes Luftholen. Diese auf Geräuschen basierenden Ausdrücke 214 können viele Informationen übermitteln. So kann zum Beispiel ein Seufzer nach dem Satz „er raucht eine Zigarette" Entspannung signalisieren.
Ein weiteres Ausgabemerkmal, das bestimmt werden kann, ist das Grundtempo 216 der Sprachausgabe 118. Dabei handelt es sich um die fundamentale Geschwindigkeit beim Vorlesen eines Textstückes, die üblicherweise kein konstanter Wert für den gesamten Text ist. Wie jedoch beispielsweise mit dem Spektrogramm eines Sprachausschnitts dargestellt wird, kann die prinzipielle Frequenzkomponente anhand statistischer Analyse angenommen werden. Eine solche Analyse sollte Fachleuten geläufig sein und wird hier nicht näher beschrieben.
Der formatierte Text 108 wird weiter modifiziert, um den Anforderungen einer Software-Maschine 114 zu genügen, die Text in gesprochene Sprache synthetisiert. In einer Ausführungsform geschieht diese Modifikation durch Tags. Dabei kann ein Tag ein auf die Maschine zugeschnittener Befehl sein und nicht ein von der Maschine ausgesprochenes Wort. Der modifizierte Text 112 wird dann der Sprach-Software und der Hardware zugeführt, um die Sprachausgabe 118 zu generieren.
In einer weiteren Ausführungsform basiert die Umsetzung zur Generierung des formatierten Textes 108 auf einer Charakteristik des der Sprachausgabe 118 zuhörenden Nutzers. Dies kann auf der Grundlage des Nutzerprofils 154 erreicht werden. Wenn beispielsweise der Nutzer ein Vorstandsmitglied einer Firma ist, hat diese Person wahrscheinlich nicht sehr viel Zeit. Dann werden lediglich die zum Verständnis erforderlichen Informationen mitgeteilt. Wenn diese Person die Temperaturen in San Jose erfahren möchte, dann werden ihr nicht sowohl die hohen und niedrigen als auch die durchschnittlichen Temperaturen mitgeteilt, sondern die Synthetisiereinrichtung gibt nur die Durchschnittstemperatur an – "Die Temperatur in San Jose ist 63 Grad". In einem weiteren Beispiel ist der Nutzer schwerhörig und die Lautstärke der Sprachausgabe 118 sollte erhöht sein.
In noch einer weiteren Ausführungsform hängt die Umsetzung zur Generierung des formatierten Textes 108 von der Hardware-Maschine 116, der Sprech-Hardware ab, die der Nutzer verwendet, um der Sprachausgabe 118 zuzuhören. Wenn beispielsweise die Sprachausgabe von einer Person über ein Telefon in einem Raum mit lauter Umgebung empfangen wird, sollte die Lautstärke des gesprochenen Textes 118 größer sein. In diesem Beispiel kann das Telefon mit dem Raum als Hardware-Maschine 116 angesehen werden.
In den oben beschriebenen Ausführungsformen, die auf der Semantik 152, dem Nutzerprofil 154 und der Hardware-Maschine 116 basieren, können die Formen der Ausführungen gemischt und aneinander angepasst werden. So kann beispielsweise die Umsetzung auf der Semantik 152 mindestens eines Wortes des Textes und dem Profil des Nutzers basieren, der der Sprachausgabe 118 zuhört.
Die oben angegebenen Ausführungsformen beschreiben den Umsetzer 106 und die Modifiziereinrichtung 110. In einem Ausführungsbeispiel wird der Eingabetext 104 nur von dem Umsetzer 106 verändert, wobei der formatierte Text 108 auf eine Software- und Hardware-Maschine 116, die Text in gesprochene Sprache synthetisiert, zugeschnitten ist. In einer weiteren Ausführungsform wird der formatierte Text 108 auf eine spezifische Hardware-Maschine 116, die Text in gesprochene Sprache synthetisiert, zugeschnitten, ohne dass eine Text-zu-Sprache Software-Maschine erforderlich ist. In einer weiteren Ausführungsform ist eine Maschine, die Text in gesprochene Sprache synthetisiert, mit einem Umsetzer 106 gekoppelt, um die Sprachausgabe 118 zu generieren.
Beispiele
Die folgenden beiden Beispiele sind den Internetseiten vom 11. März 1998 entnommen. Es werden der Originaltext und der XML-formatierte Text dargestellt. Die relevanten Informationen sind den Internetseiten mit einem den Kundenwünschen entsprechenden Parser und Umsetzer extrahiert worden. Die endgültige, mit Tags versehene Text-Sprach-Eingabe wurde mit der Syntax generiert, die von Microsoft Speech SDK vorgeschlagen wird.
Das erste Beispiel ist eine Wettervorhersage; das zweite Beispiel eine Nachrichtenwiedergabe. 1. Wettervorhersage

XML-Format:
TTS-Eingabe-Tags:

Wettervorhersage für San Jose, \pau=100\ Kalifornien. \pau=500\ Heute ist es überwiegend bewölkt \wav=mcloudy.wav\. Die Temperaturen liegen zwischen 74 und 45 Grad \Prn=Fahrenheit=farenhight\. \pau=500\ Morgen wird es teilweise bewölkt sein \wav=pcloudy.wav\, mit Temperaturen zwischen 68 und 48 Grad \Prn=Fahrenheit=farenhight\.

Wir haben dem Satz von Tags der Microsoft-Speech-SDK den Kunden-Tag \wav\ hinzugefügt. \wav\ zeigt an, daß eine Laut-Datei eingemischt werden soll, wenn dieser Tag auftritt. Die Transformationsregeln des XML-Formats zu den Tag-Daten lassen hier ausdrücklich Informationen aus. Die derzeitige Temperatur und die Informationen der weiteren Vorhersage werden in diesem Beispiel nicht angesagt.

2. Nachrichten
XML-Format:

Benutzung der Formatierregeln: (a) Markiere alle Standardelemente eines Artikels wie Schlagzeile, Verfasser, usw. (b) Identifiziere die Syntaxstruktur des Textes (z.B. Nebensätze), (c) finde Zitierungen, (d) finde Verben, die die Vorkommnisse betonen, und (e) markiere Phrasen, die außergewöhnliche Eigenschaften der Vorkommnisse unterstreichen.

TTS-Eingabe-Tags:

\wav=ping.wav\\Vce=Language=English,Gender=male,Sytle=Business\ Viele ohne Strom im mittleren Westen; im Süden kälter \pau=1000\

\wav=dong.wav\Chikago\pau=500\- \Vce=Language=English,Gender=female,Sytle=Business\ Temperaturen \Betonung\ stürzten am Dienstag im Gefolge eines späten Winterschneesturms ab, \pau=100\ was die Stromversorgung von hunderttausenden Einwohnern im mittleren Westen zusammenbrechen ließ und zu Überflutungen im Südosten führte.

\Vce=Language=English,Accent=Midwest,Gender=male,Age=40\ \quot\ Viele Landschaften haben Schneenotstand ausgerufen, \pau=100\ was bedeutet, dass die Einwohner von den Straßen fernbleiben sollten, \quot\\Rst\ sagte Indiana-Katastrophenmanagement-Sprecher Alden Taylor. \Vce=Language=English,Accent=Midwest,Gender=male,Age=40\ \quot\ Es sind so viele Autos auf den Straßen steckengeblieben, daß es für die Pflüge schwer ist, durchzukommen.\quot\Rst\

Weitere Ausführungsformen der Erfindung ergeben sich für den Fachmann aus der Beschreibung oder bei der Benutzung der Erfindung. Die Beschreibung und die Beispiele sind nur exemplarisch zu betrachten, wobei der Umfang der Erfindung durch die folgenden Ansprüche angezeigt wird.

Claims

Verfahren zur Sprachsynthese aus einem Eingabetext (104), bei dem das Verfahren die Schritte der Wiedergewinnung des in ein Computersystem eingegebenen Eingabetextes und der Transformation (106) des Eingabetextes auf der Basis der Semantik von mindestens einem Wort des Eingabetextes zum Erzeugen eines formatierten Textes (108) für die Sprachsynthese enthält, wobei der Transformationsschritt automatisch ist und von dem Kontext des Eingabetextes abhängt und wobei der Transformationsschritt abhängig von der Semantik des mindestens einen Wortes die Addition eines Audio-Rendering-Effektes zu dem Eingabetext einschließt, dadurch gekennzeichnet, dass der Audio-Rendering-Effekt aus Hintergrundmusik, einem nichtsprachlichen Spezialeffekt-Laut oder einem kontextgemäßen nichtsprachlichen Laut besteht und dass der formatierte Text im Hinblick auf die Anforderungen der Text-zu-Sprache-Software-Maschine modifiziert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der formatierte Text (108) nicht auszusprechende Tags enthält, die in Übereinstimmung mit der Semantik des Eingabetextes bestimmt werden, wobei die Tags (a) mindestens einen Tag enthalten, der eine von der Text-zu-Sprache-Software-Maschine (114) bei der Ausgabe des Textes benutzte Sprechcharakteristik definiert, und (b) einen Tag, der einen Audio-Rendering-Effekt definiert.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Ausgabe der Text-zu-Sprache-Software-Maschine (114) einer Hardware-Maschine (116) zugeführt wird, die Sprache synthetisiert.
Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass eine Datenbasis-Mapping-Technik benutzt wird, bei der mindestens ein Wort des Eingabetextes zu einem oder mehreren Eingaben der Datenbasis abgebildet wird.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Inferenzmaschine auf der Basis mindestens eines Wortes des Eingabetextes eine Aktion ableitet.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der formatierte Text unabhängig von der Text-zu-Sprache-Software-Maschine ist.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Eingabetext zu einer Klasse gehört, die mindestens ein spezifisches Muster aufweist.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der formatierte Text im XML-Format geschrieben ist.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lautstärke des mindestens einen Wortes des Eingabetextes, wenn es synthetisiert wird, in Bezug auf die Semantik bestimmt wird.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Tonhöhe des mindestens einen Wortes des Eingabetextes, wenn es synthetisiert wird, in Bezug auf die Semantik bestimmt wird.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Geschlecht einer synthetisierten Stimme, die mindestens ein Wort des Eingabetextes ausspricht, in Bezug auf die Semantik bestimmt wird.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das angenommene Alter einer synthetisierten Stimme, die mindestens ein Wort des Eingabetextes ausspricht, in Bezug auf die Semantik bestimmt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die prosodische Charakteristik einer synthetisierten Stimme, die mindestens ein Wort des Eingabetextes ausspricht, in Bezug auf die Semantik bestimmt wird.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die prosodische Charakteristik Lautstärke, Tonhöhe und Ton enthält.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zwischen dem Vortrag mindestens eines Wortes des Eingabetextes und einem nachfolgenden Wort eine Periode der Stille existiert, deren Länge durch die Semantik bestimmt wird.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine synthetisierte Stimme mindestens ein Wort des Eingabetextes mit besonderer Betonung spricht, wobei diese besondere Betonung einen Laut auf der Basis der Semantik enthält.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine synthetisierte Stimme mindestens ein Wort des Eingabetextes mit einer Geschwindigkeit spricht, die auf der Basis der Semantik bestimmt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Inferenzmaschine den Eingabetext unter Benutzung der natürlichen Sprachanalyse und der statistischen Sprachanalyse analysiert.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Modifizierungsschritt den Schritt des Markierens des formatierten Textes mit einem Tag einschließt, wobei ein Tag ein für die Text-zu-Sprache-Software-Maschine maßgeschneiderter Befehl ist.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Transformationsschritt auch von mindestens einer Charakteristik eines Benutzerprofils eines Benutzers abhängt, der der synthetisierten Sprache zuhört.
Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass mindestens eine Charakteristik des Benutzerprofils die eines Benutzers ist, der schwerhörig ist.
Verfahren nach Anspruch 20 oder 21, dadurch gekennzeichnet, dass mindestens eine Charakteristik des Benutzerprofils die eines Benutzers ist, der sehbehindert ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Transformationsschritt auch von mindestens einer Charakteristik einer Hardware-Maschine abhängt, die der Benutzer beim Zuhören der synthetisierten Sprache benutzt.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Semantik unter Benutzung mindestens einer Inferenzmaschine und/oder einer Datenbasis-Mapping-Technik erzeugt wird.
Datenverarbeitungseinrichtung zur Sprachsynthese aus einem Eingabetext (104), die eine Einrichtung zur Wiedergewinnung des in die Datenverarbeitungseinrichtung eingegebenen Eingabetextes und einen Umsetzer enthält, der zur automatischen Transformation (106) des Eingabetextes auf der Basis der Semantik von mindestens einem Wort des Eingabetextes und auf der Basis des Kontextes des Eingabetextes zum Erzeugen eines formatierten Textes (108) ausgebildet ist, wobei der Umsetzer dazu ausgebildet ist, dass er automatisch abhängig von der Semantik des mindestens einen Wortes einen Audio-Rendering-Effekt zu dem Eingabetext addiert, dadurch gekennzeichnet, dass der Audio-Rendering-Effekt aus Hintergrundmusik, einem nichtsprachlichen Spezialeffekt-Laut oder einem kontextgemäßen nichtsprachlichen Laut besteht und dass eine Modifiziereinrichtung so ausgebildet ist, dass sie den formatierten Text im Hinblick auf die Anforderungen der Text-zu-Sprache-Software-Maschine (114) modifiziert.
Datenverarbeitungseinrichtung nach Anspruch 25, dadurch gekennzeichnet, dass der formatierte Text (108) nicht auszusprechende Tags enthält, die in Übereinstimmung mit der Semantik des Eingabetextes bestimmt werden, wobei die Tags (a) mindestens einen Tag enthalten, der eine von der Text-zu-Sprache-Software-Maschine (114, 116) bei der Ausgabe des Textes benutzte Sprechcharakteristik definiert, und (b) einen Tag, der einen Audio-Rendering-Effekt definiert.