DE102011011270B4

DE102011011270B4 - Multimodales Eingabesystem für ein sprachbasiertes Menü und Content-Navigationsdienst

Info

Publication number: DE102011011270B4
Application number: DE102011011270.7A
Authority: DE
Inventors: Alfred C. Tom
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2010-02-24
Filing date: 2011-02-15
Publication date: 2019-01-03
Anticipated expiration: 2031-02-16
Also published as: US9665344B2; CN102163080A; CN102163080B; DE102011011270A1; US20110205149A1

Abstract

Sprachbasiertes Menü-Navigationssystem, welches umfasst:
eine Sprachmaschine, die eingerichtet ist, um einem Benutzer eine Auswahlliste aufzusagen, damit der Benutzer daraus wählt;
eine Eingabevorrichtung, die durch den Benutzer bedient wird und eingerichtet ist, um die Geschwindigkeit des Aufsagens der Auswahlliste in Ansprechen auf eine Bedienung durch den Benutzer zu erhöhen oder zu verringern; und
eine Komponente, die eingerichtet ist, um die von dem Benutzer ausgewählte Geschwindigkeit des Aufsagens der Auswahlliste zu überwachen und um die von dem Benutzer ausgewählte Geschwindigkeit zu einer Standardgeschwindigkeit zu machen, mit der zukünftige Auswahllisten aufgesagt werden;
dadurch gekennzeichnet , dass
die Geschwindigkeit des Aufsagens der Auswahlliste in Abhängigkeit der Geschwindigkeit, mit der der Benutzer durch die Auswahlliste navigiert, zu- oder abnimmt.

Description

Hintergrund der Erfindung
Gebiet der Erfindung
Diese Erfindung betrifft allgemein ein System zur Bereitstellung einer sprachbedienten Task-Auswahl und im Spezielleren ein System zur Bereitstellung einer sprachbedienten Task-Auswahl für einen Benutzer in einem Fahrzeug, wobei der Benutzer eine Eingabevorrichtung wie z. B. ein Scrollrad bedient, und eine Sprachantwort jeden wählbaren Task aus einer Liste von Tasks identifiziert, wenn das Scrollrad gedreht wird, und wobei die Geschwindigkeit der Sprachantwort in Abhängigkeit davon, wie schnell das Scrollrad gedreht wird, zunimmt oder abnimmt.
Ein sprachbasiertes Menü-Navigationssystem gemäß dem Oberbegriff des Anspruchs 1 ist beispielsweise aus der US 2004 / 0 186 713 A1 bekannt geworden.
Erläuterung des Standes der Technik
Moderne Fahrzeuge umfassen oft viele und verschiedene Systeme, die für Fahrzeuginsassenkomfort sorgen, wie z. B. Mobiltelefone, Internetzugang, digitale Musikdateien, Turn-by-Turn Navigation, Wi-Fi etc. Auf diese Systeme kann mitunter über eine einzige Mensch/Maschine-Schnittstelle (HMI von human-machine interface) zugegriffen werden, um es dem Benutzer zu gestatten, die verschiedenen Systeme einfacher zu wählen und zu steuern.
Studien haben gezeigt, dass 70-80 % aller Fahrzeugfahrten nur von einem Fahrer durchgeführt werden. Somit ist der Fahrer vom Standpunkt der HMI der einzige, wichtigste Insasse eines Fahrzeuges. Eine Fahrzeug-HMI muss typischerweise anders sein als andere HMIs, da der Fahrer des Fahrzeuges bei normalen Fahrgeschwindigkeiten nicht wesentlich abgelenkt werden darf und insbesondere ein/e Fahrer/in, außer für kurze Zeitspannen, nicht seine/ihre Augen von der Straße und Hände von dem Lenkrad lassen darf. Die Ablenkungsschwelle für fahrzeugbasierte Systeme ist typischerweise jene, dass das System den Fahrer nicht mehr ablenken darf als das Fahrzeugradio. Dies schließt den Einsatz von HMI-Vorrichtungen aus, die bildschirmbasierte Benutzerschnittstellen verwenden. Daher sind HMIs, die verwendet werden können, wenn das Fahrzeug steht, z. B. bildschirmbasierte Internetbrowser, für Fahrer während eines Betriebes des Fahrzeuges beinahe irrelevant.
Spracherkennungssysteme wurden in Fahrzeugen verwendet, um bei dem Problem der Fahrerablenkung anzusetzen, wobei das System den Fahrer hörbar auffordert und der Fahrer die Fragen beantwortet, um Tasks zu identifizieren, die der Fahrer ausgeführt haben möchte. Eine brauchbare HMI für Fahrer ist eine, die es dem Fahrer ermöglicht, bei normalen Fahrgeschwindigkeiten effektiv auf Information zuzugreifen und diese zu beschaffen. Sprach/Sprech-HMIs waren beliebt, da sie es Fahrern gestatten, ohne die Ablenkung von bildschirmbasierten Schnittstellen auf Information zuzugreifen und eine Funktionalität zu steuern. Die Spracherkennung selbst funktioniert gut, wenn die möglichen Antworten auf wenige mögliche Auswahlen beschränkt sein können, aber eine Diktiererkennung oder viele Auswahlen sind sehr unzuverlässig, insbesondere, wenn ein begrenzter Kontext vorhanden ist, wie z. B. beim Eingeben kurzer Phrasen in ein Suchfeld. Allerdings kann ein/e geräuschvolle/r Umgebung und Fahrgastraum, insbesondere bei hohen Fahrzeuggeschwindigkeiten, wo sie langsamer zu navigieren sind als bildschirmbasierte Benutzerschnittstellen und nicht in der Lage sind, so viel Information zu transportieren etc., die effiziente Verwendung von Spracherkennungssystemen verhindern, da der Benutzer verschiedene Befehle wie z. B. eine Telefonnummer unter Umständen wiederholen muss.
Eine HMI in Verbindung mit Spracherkennungssystemen, die in der Industrie verwendet wurde, ist ein Scrollrad, welches es dem Fahrzeugbediener gestattet, durch ein Menü von Tasks zu scrollen, die in dem Fahrzeug zur Verfügung stehen, wie z. B. Anrufen, Wählen, Turn-by-Turn, Navigationssuche, eine virtuelle Betreuung etc., und den verschiedenen Systemen wie z. B. einem Mobiltelefon, Navigationssystemen, dem Internet etc. zugeordnet sind. Eine Sprachbedienung identifiziert jeden Task, während der Benutzer mithilfe des Scrollrades durch die Liste für Tasks scrollt. Der Benutzer kann den Task bei einer speziellen Eingabebedienung wählen, entweder indem er entweder das Scrollrad drückt oder einen separaten Knopf drückt.
Wenn ein Benutzer mit einem speziellen Taskauswahlsystem vertraut ist und weiß, das er einen Task gegen Ende der Taskliste wählen möchte, dann kann er das Scrollrad schneller drehen, um viele der Tasks zu überspringen, bevor er zu dem gelangt, den er wählen möchte. In derzeitigen Systemen werden die Sprachbedienungen abgeschnitten, wenn das Scrollrad schneller gedreht wird, da der Benutzer zu der nächsten Auswahl gescrollt hat, bevor die Sprachbedienung in der Lage ist, die aktuelle Auswahl zu identifizieren.
Sobald ein Benutzer eine Auswahl auf einer oberen Ebene wählt, kann diese Auswahl weitere Auswahlen aufweisen, die gewählt werden müssen, was von Bedeutung sein könnte. Wenn z. B. eine der Auswahlen ein MP3-Player ist, dann kann es erforderlich sein, dass der Benutzer, sobald diese Auswahl getroffen ist, ein Lied aus der Liederliste des MP3-Players auswählen muss, das eines von vielen Liedern sein kann.
Es gibt viele verschiedene Arten von sprachangesteuerten Diensten auf dem Markt. Zum Beispiel stellt das Wählen von 411 dem Benutzer ein automatisches System zur Verfügung, das Information sammelt, und gibt diese Information dann an einen aktiven Anwender weiter. Das Wählen von 777-Film erfolgt vollständig automatisch und schickt den Benutzer durch ein durch Keypad-DTMF-Signale und Stimmerkennung gesteuertes Navigationssystem mit einem vielfach abgestuften Menü. Diese Dienste benötigen eine sprachaktivierte Verbindung zu einem Netzwerk-Server wie z. B. eine VolP oder einer leitungsvermittelte Verbindung. Einige dieser Systeme verwenden VoiceXML, SALT und andere Industriestandards zum Beschreiben des Menüaufbaus. Abgesehen von der Spracherkennung ist jedoch DTMF das einzige Verfahren zum Senden von Daten in diesen Systemen.
In den Druckschriften DE 100 58 228 A1 , US 2006 / 0 031 073 A1 , EP 2 051 241 A1 , DE 10 2004 061 806 A1 , DE 103 38 512 A1 , US 2008 / 0 205 601 A1 und DE 10 2006 062 028 A1 sind verschiedenste Sprachmaschinen beschrieben.
Bezüglich des weitergehenden Standes der Technik sei an dieser Stelle auf die Druckschriften US 2008 / 0 033 994 A1 , US 5 396 577 A1 und US 2007 / 0 168 115 A1 verwiesen.
Der Erfindung liegt die Aufgabe zu Grunde, ein gattungsgemäßes sprachbasiertes Menü-Navigationssystem dahingehend weiter zu entwickeln, dass es möglichst intuitiv bedient werden kann.
Zusammenfassung der Erfindung
Diese Aufgabe wird mit einem sprachbasierten Menü-Navigationssystem mit den Merkmalen des Anspruchs 1 gelöst.
In Übereinstimmung mit den Lehren der vorliegenden Erfindung wird ein System zur Bereitstellung von Sprachbedienungen offenbart, die Task-Auswahlen aus einer Task-Auswahlliste in einem Fahrzeug identifizieren, wobei der Benutzer eine Eingabevorrichtung wie z. B. ein Scrollrad verwendet, um einen speziellen Task zu aktivieren, und wobei die Geschwindigkeit der Sprachbedienung in Abhängigkeit davon, wie schnell der Benutzer das Scrollrad dreht, zunimmt oder abnimmt. Das System umfasst eine Komponente, um die von dem Benutzer ausgewählte Geschwindigkeit des Aufsagens der Auswahlliste zu überwachen und um die von dem Benutzer ausgewählte Geschwindigkeit zu einer Standardgeschwindigkeit zu machen, mit der zukünftige Auswahllisten aufgesagt werden.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den beiliegenden Ansprüchen in Verbindung mit den beigefügten Zeichnungen offensichtlich.
Figurenliste

1 ist ein schematisches Blockdiagramm eines Systems zur Bereitstellung einer sprachbedienten Task-Auswahl in einem Fahrzeug.

Detaillierte Beschreibung der Ausführungsformen
Die nachfolgende Erläuterung der Ausführungsformen der Erfindung, die auf ein System zum Erhöhen und Verringern der Geschwindigkeit einer Sprachbedienung in Ansprechen auf die Eingabegeschwindigkeit einer Eingabevorrichtung abzielt, ist rein beispielhaft. Das System der Erfindung findet z. B. besondere Anwendung für Fahrzeug-HMI-Vorrichtungen. Wie Fachleute jedoch einsehen werden, wird das System weitere Anwendungen finden.
Die vorliegende Erfindung schlägt eine multimodale audiobasierte HMI für Fahrer von Fahrzeugen vor. Wenngleich vorwiegend von einer Fahrzeugumgebung aus beschrieben, kann die vorliegende Erfindung auch auf jede beliebige Umgebung oder Anwendung angewendet werden, wo der Benutzer nicht allzu lange auf einen Bildschirm schauen kann, wie z. B. beim Gehen auf dem Gehsteig eines geschäftigen Stadtzentrums, beim Fahrrad fahren etc., und kann in weiteren Endgeräten wie Kopfhörern verwendet werden. Die multimodale audiobasierte HMI ist in der Lage, jedes für die hierin beschriebenen Zwecke geeignete Fahrzeugsystem wie z. B. ein Mobiltelefon, ein digitales Musikabspielgerät wie z. B. einen MP3-Player, einen Internet-Browser, ein Fahrzeugnavigationssystem etc. zu steuern.
Die vorliegende Erfindung kann in zwei Hauptkomponenten unterteilt werden, und zwar ein Endgerät, das die Komponenten umfasst, die sich in dem Fahrzeug befinden, und ein Netzwerk, das die Komponenten umfasst, die sich in dem Dienstbereitstellsystem befinden.

1 ist ein schematisches Blockdiagramm eines Systems 10 zur Bereitstellung einer sprachbedienten Task-Auswahl in einem Fahrzeug. Das System 10 kann ein Endgerät 12 des oben angeführten Typs, das sich in dem Fahrzeug befindet, und ein Netzwerk 14 umfassen. Ein Datenübertragungskanal 28 verbindet das Endgerät 12 und das Netzwerk 14. Das Endgerät 12 kann ein Mikrofon 16, einen Lautsprecher 18, eine Spracherkennungsmaschine 20, eine Sprachmaschine 42, die eine Text-Sprache-maschine (text-to-speech engine), ein Audiodateien-Abspielgerät oder beides sein könnte, einen Prozessor 22, eine Kommunikationskomponente 24 für Sprache und Daten und eine sekundäre Eingabevorrichtung 26 umfassen. Die sekundäre Eingabevorrichtung 26 ist allgemein eine taktile Vorrichtung wie z. B. ein Touchpad, ein Scrollrad, ein Knopf oder ein Keypad, kann aber auch Gebärden- oder Biosteuerungen umfassen. Das Endgerät 12 kann auch einen Sprach-Browser 24 und ein Headup-Display (HUD) 30 oder einen Bildschirm mit oder ohne Berührungseingabe umfassen. Das Netzwerk 14 kann eine Modembank 32, eine Spracherkennungsmaschine 34, einen Browser 36, ein Anwendungsserversystem 38, Verbindungen 40 zu Servern Dritter und eine Sprachmaschine 46, die eine Text-Sprache-Maschine, ein Audiodateien-Abspielgerät oder beides sein könnte, umfassen. Wenngleich nicht speziell gezeigt, kann jedes Element in dem Netzwerk 14 mit einem gemeinsamen Kommunikations-Bus gekoppelt sein, sodass sich die verschiedenen Elemente miteinander unterhalten können. Die nachfolgende Tabelle 1 zeigt eine Menüliste von möglichen Befehls-Items wie z. B. das Befehls-Item 1: „Radio“, das Befehls-Item 2: „Climate“ und das Befehls-Item 3: „Auxiliary“. Die Tabelle 2 darunter zeigt Beispiele von Software-Befehlen für die Befehls-Items. Tabelle 1

Menüliste
Befehls-Item 1: „Radio“
Befehls-Item 2: „Climate“
Befehls-Item 3: „Auxiliary“

Tabelle 2

<menu id=„mainmenu“>
	<prompt>
	Which of the following commands do you want?
	</prompt>
	<choice next=„coupons.vxml“ short=„coupons“>
	<audio src=„coupons.wav“ short=„coupons_s.wnv“>
		Daily Coupons
	</audio>
	</choice>
	<choice next=„radio.vxml“ short=„radio“>
	<audio src=„radio.wav“ short=„radio_s.wav“>
		Radio Control
	</audio>
	</choice>
	<choice next=„climate.vxml“ short=„climate“>
	<audio src=„climate.wav“ short=„climate_s.wav“>
		Climate Control
	</audio>
	</choice>
	<choice next=„aux.vxml“ short=„aux“>
	<audio src=„aux.wav“ short=„aux_s.wav“>
		Auxiliary Input Device Control
	</audio>
	</choice>
	<imgad src=„chevy.jpg“>
	</menu>

Eine Sprachinteraktionssitzung kann entweder durch das Endgerät 12, das Netzwerk 14 oder den Benutzer initiiert werden. Das Endgerät 12 kann eine Sitzung beginnen, indem es dem Benutzer eine Frage stellt. Der Benutzer kann dann über Sprache oder die Eingabevorrichtung 26 antworten. Das Netzwerk 14 initiiert eine Sitzung, indem es mit dem Endgerät 12 kommuniziert und dieses Endgerät 10 ersucht, den Benutzer dazu aufzufordern. Der Benutzer kann eine Sitzung initiieren, indem er die Eingabevorrichtung 26 wie z. B. einen Knopf, ein Touchpad oder ein Scrollrad aktiviert. Das Endgerät 12 kann eine vorerstellte Liste möglicher Befehle, aus der der Benutzer wählen kann (z. B. Menü-Items wie „Radio“, „Climate“ und „Auxiliary“), aufsagen, oder es kann dem Benutzer eine Frage mit offenem Ende stellen und die Antwort unter Verwendung einer natürlichen Sprachen-Spracherkennung und/oder einer Spracherkennungsgrammatik verarbeiten. Wenn das Endgerät 12 dem Benutzer eine Auswahl aus einem beschränkten Satz von Befehlen geben möchte, kann das Endgerät 12 die möglichen Befehle als eine Menüliste kommunizieren. Der Benutzer kann warten, um alle Items auf der Menüliste zu hören und dann eine Auswahl vornehmen oder der Benutzer kann die sekundäre Eingabevorrichtung 26 verwenden, um sich schnell vorwärts oder rückwärts durch die Menü-Items zu bewegen und das gewünschte Befehls-Item zu wählen. Die sekundäre Eingabevorrichtung 26 kann ein Scrollrad, ein Touchpad, eine Wählscheibe, Auf/Ab- oder Links/Rechts-Knöpfe oder jede beliebige andere für die hierin beschriebenen Zwecke geeignete Eingabevorrichtung sein. Der Benutzer kann den gewünschten Befehl sprechen oder die sekundäre Eingabevorrichtung 26 verwenden, um eine Auswahl zu treffen. Der Benutzer kann beispielsweise einen Knopf drücken, wenn das gewünschte Menü-Item aufgesagt wird. Das Auswahlverfahren kann ein Knopf, ein Tippen auf einen Berührungssensor oder ein Anschlag auf einer Tastatur sein.
Falls die Eingabevorrichtung 26 aktiviert ist, wenn ein Menü-Item aus Tabelle 1 dem Benutzer aufgesagt wird, wird der entsprechende Befehl aus Tabelle 2 ausgewählt, sobald ein Item ausgewählt ist. Das Endgerät 12 kann zwischen Menü-Items pausieren, um dem Benutzer eine Möglichkeit zu geben, den Befehl auszuwählen, nachdem er den gesamten aufgesagten Befehl gehört hat. Alternativ kann das Aufsagen der Menüliste komplett durch die Aktivierung der Eingabevorrichtung 26 bestimmt sein. Wenn der Benutzer die Eingabevorrichtung 26 aktiviert, sagt das Endgerät 12 den nächsten Befehl in der Menüliste auf. Wenn der Benutzer die Vorrichtung 26 nicht aktiviert, tut das Endgerät 12 entweder nichts oder fährt fort, den aktuellen Befehl aufzusagen, zu dem der Benutzer navigiert ist. Wenngleich diese Technik des Aufsagens von Menü-Items vollständig auf der Vorrichtung 26 basiert, wo eine Aktivierung dem Benutzer die endgültige Kontrolle gibt, kann sie gegebenenfalls mit Laienbenutzern nicht gut funktionieren, da Laienbenutzer unter Umständen nicht realisieren, dass sie die Vorrichtung 26 aktivieren müssen, um zu dem nächsten Menü-Item zu gehen. Es kann am besten sein, das Aufsagen der gesamten Liste an einem bestimmten Punkt wieder zu beginnen, selbst wenn es keine Vorrichtungsaktivierung gibt. Sobald ein Item gewählt ist, kann das Endgerät 12 das gewählte Item aufsagen und den Benutzer um eine Bestätigung bitten. Der Benutzer kann die sekundäre Eingabevorrichtung 26 verwenden, um das Item abzulehnen, z. B. einen Löschknopf drücken, oder das Item bestätigen, z. B. einen Eingabeknopf auswählen. Auf diese Weise ist der Benutzer in der Lage, schnell zu navigieren und eine Auswahl zu treffen, indem er ein sprachbasiertes Befehlsmenüsystem verwendet.
Das Scrollen durch die Menü-Items kann auf verschiedene Weise erfolgen. Es kann die Eingabevorrichtung 26 wie z. B. Knöpfe, ein Scrollrad oder andere Mechanismen verwendet werden, um das gerade aufgesagte Menü-Item zu unterbrechen und weiter zu dem nächsten Item oder zurück zu dem vorhergehenden Item zu gehen. Dies gestattet es dem Benutzer, schnell durch die Item-Liste zu kommen. Allerdings schneiden solche Techniken das gerade aufgesagte Item ab, was den Benutzer im Allgemeinen dazu zwingt, die ganzen Item-Bezeichnung zu hören, bevor der Benutzer bestimmen kann, ob er das nächste Item anklickt. Alternativ kann die Eingabevorrichtung 26 verwendet werden, um die Geschwindigkeit zu erhöhen, mit der das Endgerät 12 die Menü-Items aufsagt, genau wie durch Beschleunigen einer Vinyl-Schallplatte auf einem Drehteller. Die Sprache kann mithilfe gut bekannter Techniken verarbeitet werden, um jegliche Änderungen in der Stimmlage zu verhindern (ohne die eine Stimme wie die eines Eichhörnchens klingen kann, wenn sie zu schnell abgespielt wird). Das Endgerät 12 kann auch eine abgekürzte Beschreibung des Befehls für eine schnellere Navigation aufsagen. Die Befehlsliste kann zwei oder mehr Beschreibungen für jedes Menü-Item, eine für eine schnelle Navigation und eine für eine langsame Navigation, aufweisen. Zum Rückwärts-Abspielen kann das Endgerät 12, anstatt die Wörter rückwärts aufzusagen, was unverständlich ist, jedes Item in umgekehrter Reihenfolge mit einer höheren Geschwindigkeit aufsagen. Wenn die Vorwärtsrichtung der Befehlsliste z. B. „Radio, Climate, Auxiliary“ ist, würde das Rückwärtsabspielen „Auxiliary, Climate, Radio“ aufsagen. Das Endgerät 12 besitzt die Fähigkeit, die Geschwindigkeit zu überwachen, die der Benutzer wählt, um zu bestimmen, mit welcher Geschwindigkeit der Benutzer am zufriedensten ist, und die Geschwindigkeit zu der Standardgeschwindigkeit zu machen, die zu verwenden ist, wenn zukünftige Menüauswahlen aufgesagt werden. Das Endgerät 12 kann voraufgezeichnete Audioclips zum Aufsagen von Menü-Items verwenden und je nach der Geschwindigkeit, die der Benutzer zum Aufsagen der Menü-Items wünscht, mehrere Audioclipversionen vorrätig haben. Alternativ kann das Endgerät 12 einen einzigen Audioclip verwenden und ihn langsamer oder schneller verarbeiten oder das Endgerät 12 kann eine TTS-Maschine verwenden, um das Audio aus dem Text zu erzeugen. Die TTS-Maschine kann auch die Sprache schneller oder langsamer eingeben, je nachdem, wie schnell der Benutzer die Eingabevorrichtung 26 bedient.
Der Browser 24, manchmal als ein Übersetzer bezeichnet, umfasst die Software, welche die Menünavigation steuert. Der Browser 24 kann eine Datei wie z. B. eine VoiceXML-Datei oder eine beliebige andere markierte Datei lesen, die dem Browser 24 die Menü-Items nennt, die dem Benutzer aufgesagt werden sollen. Der Browser 24 kann eine Funktionalität besitzen, die es dem Benutzer ermöglicht, Auswahlen mithilfe einer Sprachantwort oder der Eingabevorrichtung 26 zu bestätigen oder abzulehnen. Wenn der Benutzer z. B. die aufgesagte Liste von Befehlsauswahlen hört, kann der Benutzer den gewünschten Befehl sprechen und der Browser 24 wird die Spracherkennung verwenden, um den Befehl zu bestimmen, den der Benutzer gesprochen hat, und den Befehl ausführen. Wenn sich der Browser 24 im Endgerät 12 befindet, kann das Endgerät 12 Dateien von dem Netzwerk-Server 38 über die Datenübertragungsverbindung 28 herunterladen. Die Dateien können dann von dem Browser 24 übersetzt werden und die Menüoptionen können dem Benutzer aufgesagt werden. Oder die Datei kann bereits lokal in dem Endgerät 12 gespeichert sein, sodass kein Herunterladen von dem Netzwerk-Server 38 notwendig ist. Die Datei besteht aus einem Text, der dem Benutzer aufgesagt wird, wie auch aus Auszeichnungssprache-Tags, die dem Browser 24 sagen, wie der Text zu übersetzen ist. Einige Tags werden die verschiedenen Items in einem Befehlsmenü (z. B. - Item 1, Item 2 etc.) skizzieren. Andere Tags werden dem Browser 24 sagen, wie der Text zu präsentieren oder aufzusagen ist. Es können beispielsweise Sprachbedienungen mit variabler Geschwindigkeit in speziellen Tags kodiert sein und durch den Browser 24 übersetzt werden. Diese Tags können verwendet werden, um anzugeben, ob eine TTS auf eine Textfolge zum Aufsagen eines Menü-Items oder eine Audiodatei verwendet werden soll. Die Tags können auch skizzieren, welche Audiodateien zur schnellen Aktivierung der Eingabevorrichtung 26 (z. B. schnelles Scrollen) verwendet werden sollen und welche zur langsamen Aktivierung verwendet werden sollen. Wenn die Vorrichtung 26 schnell aktiviert wird, wird der Browser 24 die kürzere Audiodatei zu verwenden wissen.
Wenn sich der Browser 36 in dem Netzwerk 14 befindet, tätigt das Endgerät 12 einen Sprachaufruf an die Modembank 32. Die Modembank 32 übergibt die Sitzung an den Browser 36, der die Daten aus dem Anwendungsserver 38 liest. Der Browser 36 sagt dann die Menü-Items auf und antwortet dem Endgerät 12 über die Sprachverbindung durch die Modembank 32. Das Endgerät 12 kann eine bandinterne Datenübertragung verwenden, um über die Sprachverbindung die sekundären Eingänge zu kommunizieren. Diese bandinterne Kommunikation kann/können klangbasiert wie z. B. DTMF, modulierte Daten ähnlich dem von Airbiquity verwendeten System, oder ein Sprach/Daten-Übertragungsmodus wie in dem GSM-System vorhanden, sein. Das Netzwerk 14 kann in der Lage sein, die Sprache aus dem Endgerät 12 mithilfe seiner eigenen Erkennungsmaschine zu erkennen und die bandinternen Daten aus dem Endgerät 12 gleichzeitig zu decodieren. Eingegebene Daten können auch zwischen dem Endgerät 12 und dem Netzwerk 14 unter Verwendung von Außerbandverfahren wie z. B. einer separaten Paketdatenverbindung kommuniziert werden, die das Netzwerk 14 als zu einem Endgerät 12 gehörend erkennt, mit dem es bereits eine Sprachsitzung hat, wobei die Verwendung von bandinternen Daten jedoch in einigen Fällen zu bevorzugen ist, da sie keine separate Datenverbindung benötigt. Die sekundären Eingaben können verwendet werden, um die Geschwindigkeit zu ändern, mit der die Befehlsliste über die Sprachverbindung aufgesagt wird, oder die Menü-Items rückwärts aufzusagen. Die sekundären Eingänge können auch verwendet werden, um ein Menü-Item ähnlich dem oben beschriebenen Betrieb des Endgeräts 12 auszuwählen.
Wenn sich der Browser 24 in dem Endgerät 12 befindet, kann das Endgerät 12 die HMI mithilfe eines optischen Bildschirmes wie z. B. eines HUD 30 und/oder eines Konsolen-Bildschirms vergrößern. Das Endgerät 12 kann die Menü-Items aufsagen und gleichzeitig die Items auf dem optischen Bildschirm 30 anzeigen. Der Benutzer kann einen Touch-Screen verwenden, um durch Auswählen von Bildschirmmenü-Items zu antworten. Der Benutzer kann auch mit der sekundären Eingabevorrichtung oder mit einer Sprachantwort antworten.
Die Technik der Verwendung von sekundären Eingabesignalen zum Vorwärts- und Rückwärtsbewegen durch Audiomenüs kann auch auf die Navigation langer Sprachpassagen wie z. B. Hörbüchern oder TTS-Rendering eines textbasierten eBooks angewendet werden. Dies gestattet es dem Benutzer, Abschnitte einfach zu überspringen oder Abschnitten „wieder zuzuhören“. Die Technik kann auch verwendet werden, um durch eine Liste zu navigieren, um zu bestätigen, was der Benutzer gesagt hat. Wenn der Benutzer z. B. „Telefon“ sagt, könnte der Spracherkenner meinen, der Benutzer sagte entweder „Telefon“ oder „deli phone“. Das Endgerät 12 kann den Benutzer fragen „Sagten Sie Telefon oder deli phone...“. Der Benutzer kann die sekundäre Eingabevorrichtung 26 verwenden, um durch die Optionen zu navigieren und die Option auszuwählen, die er gemeint hat. Ebenso kann das Spracherkennungssystem automatisch eine Liste von Auswahlen erstellen, von denen es meint, dass sie der Benutzer sie gesprochen hat, und der Benutzer kann mittels Sprache oder mittels sekundärer Eingabe durch die Auswahlen navigieren. Wenn der Benutzer z. B. sagt „Kaffe von Starbucks bestellen“, kann das Spracherkennungssystem dann antworten: „Möchten Sie 1) Tee von Starbucks bestellen, 2) Kaffee von Starbucks bestellen oder 3) Kaffee von Seattle's Best bestellen?“ Der Benutzer kann dann wählen, welche Option er möchte.
Das Einbauen von Werbung in einen Voice-Stream ist nicht so einfach wie mit einer bildschirmbasierten Suche. Mit einem Bildschirm können Benutzer wählen, Werbungen in einer seitlichen Spalte zu ignorieren. Sie können eine Werbung nicht ignorieren, die in einen Audio-Stream eingebaut ist, sofern sie nicht zu einem Schnellvorlauf in der Lage sind. Eine Technik besteht darin, die Werbung in dem optionalen Bildschirm anzuordnen, während der Voice-Stream spielt. Die Datei, die von dem Endgerät 12 verwendet wird, um das Audio aufzusagen, kann spezielle Werbetags, siehe „imgad“-Tag in Tabelle 2), aufweisen, die Text, Bilder und andere Elemente in der Datei als Teil einer sichtbaren Werbung hervorheben, die nur auf dem Bildschirm oder HUD 30 angezeigt werden soll. Oder der Audio-Stream, der das Aufsagen einer Befehlsliste repräsentiert, kann eine kurze Anzeige umfassen, die sagt: „Dieser Service wird Ihnen präsentiert von McDonalds“. Das Endgerät 12 kann es dem Benutzer gestatten, die Audio- oder optische Werbung auszuwählen, um mehr Information zu erhalten. Die Werbung kann auch als ein zusätzliches Menü-Item erscheinen, das der Benutzer auswählen kann, wenn sie wählen (siehe Daily Coupons in Tabelle 2). Die genaue Platzierung der Werbung in der Item-Liste kann variieren und der eigentliche Inhalt der Werbung kann mithilfe einer Advanced-Ad-Placement-Maschine gewählt werden, die verschiedene Statistiken wie z. B. den Kontext der Befehle, die Vorlieben des Benutzers, den Aufenthaltsort des Benutzers, das Zielprofil der Werbung, Benutzergewohnheiten, Werbeeinnahmen aus der Werbung etc. berücksichtigt.

Claims

Sprachbasiertes Menü-Navigationssystem, welches umfasst: eine Sprachmaschine, die eingerichtet ist, um einem Benutzer eine Auswahlliste aufzusagen, damit der Benutzer daraus wählt; eine Eingabevorrichtung, die durch den Benutzer bedient wird und eingerichtet ist, um die Geschwindigkeit des Aufsagens der Auswahlliste in Ansprechen auf eine Bedienung durch den Benutzer zu erhöhen oder zu verringern; und eine Komponente, die eingerichtet ist, um die von dem Benutzer ausgewählte Geschwindigkeit des Aufsagens der Auswahlliste zu überwachen und um die von dem Benutzer ausgewählte Geschwindigkeit zu einer Standardgeschwindigkeit zu machen, mit der zukünftige Auswahllisten aufgesagt werden; dadurch gekennzeichnet , dass die Geschwindigkeit des Aufsagens der Auswahlliste in Abhängigkeit der Geschwindigkeit, mit der der Benutzer durch die Auswahlliste navigiert, zu- oder abnimmt.
System nach Anspruch 1, wobei die Sprachmaschine eine Text-Sprache-Maschine ist, die die Auswahlliste aus Textdaten aufsagt.
System nach Anspruch 2, wobei die Text-Sprache-Maschine auf der Basis der Benutzerbedienung der Eingabevorrichtung wählt, welcher Text zu verarbeiten und dem Benutzer aufzusagen ist, wenn zwei oder mehr Textbeschreibungen für jede Wahl in der Auswahlliste vorhanden sind.
System nach Anspruch 1, wobei die Sprachmaschine eine Audiodatei-Abspielvorrichtung ist und die Auswahlliste auf den von der Audiodatei-Abspielvorrichtung bereitgestellten Audiodateien basiert, wobei die Bedienung der Eingabevorrichtung die Geschwindigkeit des Abspielens der Audiodatei-Abspielvorrichtung ändert.
System nach Anspruch 4, wobei zwei oder mehr Audiodateien für jede Wahl in der Auswahlliste vorhanden sind, und wobei die Sprachmaschine auf der Basis der Benutzerbedienung der Eingabevorrichtung wählt, welche Audiodatei dem Benutzer aufzusagen ist.
System nach Anspruch 1, wobei die Sprachmaschine betreibbar ist, um die Auswahlliste in Vorwärts- oder Rückwärts-Reihenfolge und mit variierender Geschwindigkeit aufzusagen.
System nach Anspruch 1, wobei die Sprachmaschine einen Befehl bestimmt, den der Benutzer spricht, und eine Liste von Befehlen aufsagt, die der Benutzer vorgesehen haben kann, und wobei der Benutzer die Eingabevorrichtung verwendet, um den gewünschten Befehl zu wählen.
System nach Anspruch 1, wobei die Sprachmaschine die aufzusagende Auswahlliste auf der Basis des Inhalts einer Textdatei mit Auszeichnungs-Tags aufsagt, wobei die Auszeichnungs-Tags beschreiben, welcher Inhalt auf welche Aufsaggeschwindigkeit der Auswahlliste zutrifft.
System nach Anspruch 8, wobei die Auszeichnungs-Tags zwischen Audiodateien, die zum langsamen Aufsagen verwendet werden, und Audiodateien, die zum schnellen Aufsagen verwendet werden, differenzieren.