DE102012218938B4

DE102012218938B4 - Verfahren zur Bereitstellung von Freihanddiensten unter Verwendung einer Mobilvorrichtung, die einen drahtlosen Zugriff auf computerbasierte Dienste aufweist

Info

Publication number: DE102012218938B4
Application number: DE102012218938.6A
Authority: DE
Inventors: Denis R. Burke; Danilo Gurovich; Daniel E. Rudman; Keith A. Fry; Shane M. McCutchen; Marco T. Carnevale; Mukesh Gupta
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2011-10-18
Filing date: 2012-10-17
Publication date: 2019-04-18
Anticipated expiration: 2032-10-18
Also published as: US20130197907A1; CN103067443A; US9159322B2; CN103067443B; DE102012218938A1

Abstract

Verfahren zur Bereitstellung von Freihanddiensten unter Verwendung einer Mobilvorrichtung, die einen drahtlosen Zugriff auf computerbasierte Dienste aufweist, mit den Schritten:
(a) Herstellen einer Kurzbereichsdrahtlosverbindung zwischen einer Mobilvorrichtung und einer oder mehreren Audiovorrichtungen, die zumindest ein Mikrophon und einen Lautsprecher aufweisen;
(b) Empfangen von Sprache, die über das Mikrophon von einem Nutzer eingegeben und über die Kurzbereichsdrahtlosverbindung gesendet worden ist, an der Mobilvorrichtung;
(c) drahtloses Übertragen der Spracheingabe von der Mobilvorrichtung an einen Spracherkennungsserver, der automatische Spracherkennung (ASR) bereitstellt;
(d) Empfangen eines Spracherkennungsergebnisses, das den Inhalt der Spracheingabe repräsentiert, an der Mobilvorrichtung;
(e) Bestimmen eines gewünschten Dienstes durch Verarbeiten des Spracherkennungsergebnisses unter Verwendung einer ersten Dienst identifizierenden Grammatik, was umfasst, dass sowohl ein Primärsitzungskontext als auch ein oder mehrere ergänzende Sitzungskontexte identifiziert und ein gewünschter Dienst, der dem Primärsitzungskontext zugeordnet ist, und ein ergänzender Dienst für jeden der ergänzenden Sitzungskontexte bestimmt werden;
(f) Bestimmen einer Nutzerdienstanforderung durch Verarbeiten zumindest eines Teils des Spracherkennungsergebnisses unter Verwendung einer zweiten dienstspezifischen Grammatik, die dem gewünschten Dienst zugeordnet ist;
(g) Auslösen der Nutzerdienstanforderung und Empfangen einer Dienstantwort;
(h) Erzeugen einer Audionachricht aus der Dienstantwort; und
(i) an den Nutzer erfolgendes Präsentieren der Audionachricht über den Lautsprecher.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft Sprachschnittstellen zu computerbasierten Diensten, die drahtlos von einem Zellulartelefon oder einer anderen Mobilvorrichtung erhalten werden, und derartige Schnittstellen, die in einem Fahrzeug, wie einem Personenwagen, implementiert sind. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zur Bereitstellung von Freihanddiensten unter Verwendung einer Mobilvorrichtung, die einen drahtlosen Zugriff auf computerbasierte Dienste aufweist, wie es der Art nach im Wesentlichen aus der US 2010 / 0 151 788 A1 bekannt ist.
Bezüglich des weitergehenden Standes der Technik sei an dieser Stelle auf die Druckschriften US 7 212 970 B2 und US 2008 / 0 140 408 A1 verwiesen.
HINTERGRUND
Funktionen von sprachbasierten Mensch-Maschine-Schnittstellen (HMI von engl.: "human-machine interfaces) zum Fahrzeug und Zellulartelefonfunktionen und - anwendungen betreffen typischerweise einen anwendungsspezifischen oder funktionsspezifischen begrenzten Befehlssatz, der syntaktisch beschränkte Interaktionen zwischen dem Nutzer und den HMI erfordert. Bei diesen Systemen kann eingegebene Sprache in einen spezifischen Befehl für eine spezifische Anwendung umgewandelt werden, es existiert jedoch typischerweise nur eine beschränkte Fähigkeit zur Identifizierung und Ausführung verschiedener Dienste, die verschiedene Anwendungen oder Dienstanbieter betreffen.
Auf dem Gebiet des Zellulartelefongebrauchs in Fahrzeugen sind Systeme vorgeschlagen und einige implementiert worden, die helfen, eine Ablenkung des Fahrers zu reduzieren, indem ein freihändiger Telefongebrauch bereitgestellt wird wie auch einige grundsätzliche Fahrzeugsteueraufgaben ausgeführt werden, wie Auswählen und Steuern von Radio- und anderen Infotainmentdiensten an dem Fahrzeug. Bei einigen Systemen wird dies unter Verwendung eines eingebetteten Zellulartelefons gemacht, das Zugriff auf zumindest Abschnitte der Fahrzeugelektronik besitzt, um so eine Steuerung und ein Berichten über eine Sprachnutzerschnittstelle zuzulassen. Bei anderen Fahrzeugen wird für diesen Zweck die persönliche Mobilvorrichtung (z.B. Zellulartelefon) des Fahrers oder eines anderen Insassen verwendet, wobei das Fahrzeug eine grundsätzliche Audioschnittstelle bereitstellt, die ein Mikrofon sowie einen oder mehrere Lautsprecher wie auch eine Bluetooth- oder andere Drahtlosverbindung zu der Mobilvorrichtung aufweist. Dies erlaubt ein Senden von Sprache und anderem Ton zwischen der Audioschnittstelle und der Mobilvorrichtung in jeder Richtung. Jedoch sind diese Systeme typischerweise darauf beschränkt, dass nur einige grundsätzliche Mobilvorrichtungsfunktionen ermöglicht werden, wie Anrufen und Steuern einer Musikauswahl und Wiedergabe. Sie sehen keinen Zugriff auf die vielen anderen eingebauten und vom Nutzer hinzugefügten Anwendungen und Funktionen vor, die heutzutage typischerweise verfügbar sind.
Beispielsweise existieren nun eine weit verbreitete Verfügbarkeit und ein weit verbreiteter Gebrauch von Mobilvorrichtungen, wie Smartphones, die dem Nutzer ein Herunterladen bzw. Downloaden und Installieren relativ kleiner Softwareanwendungen (Apps) erlauben. Einige dieser Smartphones besitzen eingebaute Sprachunterstützung entweder über das Betriebssystem (OS von engl.: „operating system“), wie in dem Fall des AndroidTM OS, oder über eine eingebaute App, wie SiriTM, die auf dem iPhone4STM verfügbar ist. Siehe beispielsweise WO 2011 / 088 053 A2 , die am 21. Juli 2011 veröffentlicht wurde. Während ein größeres Integrationsniveau bereitgestellt wird, sind diese kommerziell verfügbaren Systeme nicht dazu konfiguriert, einen vollständig freihändigen Gebrauch der Mobilvorrichtung bereitzustellen, da sie sich immer noch stark auf den Bildschirm zur Interaktion mit dem Nutzer während der Sprachsitzung verlassen.
Figurenliste
Eine oder mehrere Ausführungsformen der Erfindung sind nachfolgend in Verbindung mit den angefügten Zeichnungen beschrieben, wobei gleiche Bezeichnungen gleiche Elemente bezeichnen, und in welchen:

1 schematisch die Anteile der Hardware und Methodologie zeigt, die dazu verwendet werden, eine Sprachnutzerschnittstelle gemäß einer Ausführungsform der Erfindung bereitzustellen;
2 ein Blockdiagramm ist, das eine Ausführungsform eines Kommunikationssystems, das in der Lage ist, die Sprachnutzerschnittstelle von 1 zu verwenden, wie auch die hier offenbarten Verfahren zeigt;
3 ein Blockdiagramm von einigen der Hardware- und Softwarekomponenten der mobilen Vorrichtung, die in den 1 und 2 gezeigt ist, ist;
4 die gestufte Softwarestruktur und Programmmodulinteraktionen der mobilen Stimmplattform und des Betriebssystems zeigt, die an der mobilen Vorrichtung der 1 bis 3 verwendet sind;
5 weitere Einzelheiten betreffend die Struktur von Dienstschnittstellen zeigt, die in der Anwendungsschnittstellenfolge von 4 verwendet sind;
6 ein Flussdiagramm eines Verfahrens ist, das mit der Sprachnutzerschnittstelle der 1 und 2 verwendet werden kann, um einen Nutzer mit einer vollständig freihändigen Sprachsitzung zu versehen;
7 ein Sequenzdiagramm ist, das Nachrichtenströme für eine beispielhafte Sprachsitzung zeigt; und
8 die 8A und 8B umfasst und ein anderes Sequenzdiagramm ist, das Nachrichtenströme für eine andere beispielhafte Sprachsitzung zeigt.

ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß einem Aspekt der Erfindung ist ein Verfahren zur Bereitstellung von Freihanddiensten unter Verwendung einer Mobilvorrichtung, die einen drahtlosen Zugriff auf computerbasierte Dienste aufweist, vorgesehen, das die Merkmale des Anspruchs 1 aufweist. Das Verfahren umfasst ein Herstellen einer Kurzbereichsdrahtlosverbindung zwischen einer Mobilvorrichtung und einer oder mehreren Audiovorrichtungen, die zumindest ein Mikrophon und einen Lautsprecher aufweisen; ein Empfangen von Sprache, die über das Mikrophon von einem Nutzer eingegeben und über die Kurzbereichsdrahtlosverbindung gesendet worden ist, an der Mobilvorrichtung; ein drahtloses Übertragen der Spracheingabe von der Mobilvorrichtung an einen Spracherkennungsserver, der automatische Spracherkennung (ASR) bereitstellt; ein Empfangen eines Spracherkennungsergebnisses, das den Inhalt der Spracheingabe repräsentiert, an der Mobilvorrichtung; ein Bestimmen eines gewünschten Dienstes durch Verarbeiten des Spracherkennungsergebnisses unter Verwendung einer ersten Dienst identifizierenden Grammatik; ein Bestimmen einer Nutzerdienstanforderung durch Verarbeiten zumindest eines Teils des Spracherkennungsergebnisses unter Verwendung einer zweiten dienstspezifischen Grammatik, die dem gewünschten Dienst zugeordnet ist; Auslösen der Nutzerdienstanforderung und Empfangen einer Dienstantwort; Erzeugen einer Audionachricht aus der Dienstantwort; und an den Nutzer erfolgendes Präsentieren der Audionachricht über den Lautsprecher
DETAILLIERTE BESCHREIBUNG DER VERANSCHAULICHTEN AUSFÜHRUNGSFORM(EN)
Das System und Verfahren, die nachfolgend beschrieben sind, sehen eine mobile Stimmplattform vor, die (1) eine freihändige Kommunikation zwischen einem Fahrzeuginsassen und dem Zellulartelefon oder einer anderen Mobilvorrichtung des Insassen ermöglicht, ohne dass eine physikalische Interaktion mit der mobilen Vorrichtung erforderlich ist, und (2) dies auf eine Weise macht, die eine breite Unterstützung für einige oder alle der internetbasierten oder anderen computerbasierten Dienste ermöglicht, die dem Nutzer über die mobile Vorrichtung verfügbar sind. Der hier verwendete Begriff „Dienste“ umfasst allgemein die Bereitstellung von Information, Steuerung und/oder Kommunikationsassistenz für den Nutzer der mobilen Vorrichtung. Ferner weist, wie hier beschrieben ist, ein Dienst, der an der mobilen Vorrichtung verwendet wird oder auf den über die Mobile Vorrichtung zugegriffen wird, diejenigen auf, die anhand von Anwendungen, die an der mobilen Vorrichtung installiert sind, wie auch computerbasierten Diensten vorgesehen sind, die nur durch Kommunikation mit einem entfernten Server verfügbar sind. Diese letztgenannten computerbasierten Dienste werden auch als „Cloud-Dienste“ bezeichnet und können durch einen beliebigen Dienstanbieter geliefert werden, der einen darauf zugreifbaren Server aufweist, der über ein privates oder öffentliches Netzwerk verfügbar ist, wie einem Intranet oder das Internet.
1 zeigt eine Ausführungsform einer sprachbasierten Nutzerschnittstelle 10, wie sie zur Bereitstellung von Diensten über eine Mobilvorrichtung für einen Fahrzeugfahrer in einer freihändigen Weise verwendet werden kann. Der hier verwendete Begriff „freihändig“ bedeutet, dass der Nutzer einen Teil oder alles einer vollständigen sprachbasierten Sitzung unter Verwendung der Mobilvorrichtung ohne physikalische Interaktion oder Steuerung der Vorrichtung ausführen kann oder ausgeführt hat. „Vollständig freihändig“ bedeutet, dass der Nutzer alles einer vollständigen sprachbasierten Sitzung unter Verwendung der Mobilvorrichtung ohne physikalische Interaktion oder Steuerung der Vorrichtung ausführen kann oder ausgeführt hat. Einige Ausführungsformen können implementiert sein, um einen freihändigen Gebrauch bereitzustellen, der eine gewisse Interaktion mit der Mobilvorrichtung erfordern kann, wie, diese in einen Hörmodus zu bringen, während andere Ausführungsformen vollständig freihändig ausgeführt werden können, während beispielsweise die Mobilvorrichtung sich in der Tasche, Börse oder der Aktentasche des Nutzers befindet, ohne dass ein physikalischer Zugriff auf die Vorrichtung notwendig ist.
Bei der gezeigten Ausführungsform interagiert ein Fahrer eines Fahrzeugs 12 über Sprache mit einer an Bord befindlichen installierten Audionutzerschnittstelle 14, die über eine Kurzbereichsdrahtlosverbindung mit der mobilen Vorrichtung 16 des Fahrers kommuniziert, die in diesem Fall ein Zellulartelefon ist. Die mobile Vorrichtung 16 kann eine beliebige tragbare Vorrichtung sein, die zu drahtloser Kommunikation und Digitalverarbeitung in der Lage ist, unabhängig davon, ob sie einen Mikroprozessor oder irgendeine einfachere oder komplexere Schaltung verwendet. Somit umfassen mobile Vorrichtungen Zellulartelefone, PDAs, Laptops, Notebooks, Netbooks und andere persönliche elektronische Vorrichtungen. Das Zellulartelefon 16, das in 1 gezeigt ist, ist üblicherweise als ein Smartphone bezeichnet, vorausgesetzt, dass es dem Nutzer ermöglicht, Softwareanwendungen (Apps) dem Smartphone hinzuzufügen, die Funktionen jenseits von Telefonie ausführen. Das Telefon 16 umfasst eine Touchscreen-Schnittstelle, einen oder mehrere manuelle Druckknöpfe, ein Mikrofon, einen Lautsprecher sowie interne Schaltung (Hardware) mit einem Mikroprozessor, einem Speicher zum Speichern von Software und Daten sowie eine Kommunikationsschaltung, die zumindest eine Kurzbereichsdrahtloskommunikationstechnologie, wie Bluetooth und/oder WiFi, aber auch Zellularkommunikationstechnologie aufweist, wie einen Zellularchipset für CDMA, GSM oder andere standardisierte Technologie. Diese verschiedenen Komponenten der mobilen Vorrichtung 16 können nach Bedarf herkömmlich sein und werden somit hier nicht separat veranschaulicht oder detailliert beschrieben.
Abgesehen von der Mobilvorrichtungshardware umfasst ein Zellulartelefon 16 eine mobile Stimmplattform (MVP von engl.: „mobile voice platform“) 18, die Software umfasst, die auf der mobilen Vorrichtung läuft. Die MVP 18 weist einen Sprachplattformkern (SPK von engl.: „speech platform kernel“) 20 sowie eine Anwendungsschnittstellenfolge (AIS von engl.: „application interface suite“) 22 auf, die beide Programmmodule sind, die Computeranweisungen umfassen, die bei Ausführung durch den Prozessor der Vorrichtung ihre jeweiligen Modulfunktionen ausführen, wie nachfolgend beschrieben ist. Anstatt der Bereitstellung automatisierter Sprachverarbeitung (ASR) an der Mobilvorrichtung selbst werden entfernt angeordnete (Cloud-)Sprachdienste 24 verwendet, obwohl bei einigen Ausführungsformen ASR an der Mobilvorrichtung 16 entweder mit oder ohne Zugriff zu entfernt angeordneten Sprachmodulen, Grammatiken und Berechnungseinrichtungen ausgeführt werden kann. Die mobile Vorrichtung 16 umfasst auch ein Betriebssystem (OS) 26, das Root-Level- bzw. Basisfunktionen bereitstellt, die beispielsweise Mechanismen zur Kommunikation zwischen Anwendungen und Eingangs/Ausgangs-I/O-Schnittstellenbildung zwischen Vorrichtungshardware und Softwaremodulen und Anwendungen, die an der Vorrichtung 16 laufen, aufweisen. In diesen Hardwareschnittstellenfunktionen des OS sind Kommunikationsprotokolle enthalten, die von der Vorrichtung verwendet werden, mit den Sprachdiensten 24 wie auch anderen Cloud-Diensten 28, die über das Internet oder ein anderes Netzwerk verfügbar sind, zu kommunizieren. Es kann jeder computerbasierte Dienst in der Liste von Cloud-Diensten 28 enthalten sein, jedoch sind in 1 einige dieser Dienste am nützlichsten für Nutzer von Zellulartelefonen; d.h. soziale Medien, Ortungsdienste (z.B. Navigation), Verkehr, Wetter, Neuigkeiten, Kalender, Speisen und Filme. Es können andere existieren.
Allgemein betrifft ein Freihandzugriff auf Dienste unter Verwendung einer mobilen Stimmplattform 18 die Ausführung einer vollständigen Sprachsitzung über eine Mobilvorrichtung 16 ohne jegliche physikalische Interaktion mit der Mobilvorrichtung. Dies umfasst breit ein Empfangen einer Spracheingabe von einem Nutzer, ein Erhalten eines Dienstergebnisses von einem Cloud-Dienst, der auf den Inhalt der Spracheingabe anspricht, und das Bereitstellen des Dienstergebnisses als eine Sprachantwort, die dem Nutzer präsentiert wird. Bei der Verwendung des Fahrzeugs 12 in 1 kann der Fahrer (Nutzer) mit der Mobilvorrichtung interagieren, um die Sprachsitzung über die Audioschnittstelle 14 auszuführen. Dies kann ein Herstellen einer Kurzbereichsdrahtlosverbindung zwischen der im Fahrzeug befindlichen Audioschnittstelle 14 und der Mobilvorrichtung 16 umfassen, die dann die Verwendung des Mikrofons und des Lautsprechers der Audioschnittstelle ermöglicht, um Sprache zu empfangen bzw. Sprache dem Fahrer oder einem anderen Insassen zu präsentieren. Die Spracheingabe kann als digitalisierte Sprache über diese Kurzbereichsdrahtlosverbindung via ein Digitalkommunikationsprotokoll, wie Bluetooth oder WiFi gesendet werden. Die digitalisierte Spracheingabe kann dann von der Mobilvorrichtung 16 über ein Zellular- oder anderes Drahtloskommunikationssystem an die Sprachdienste 24 gesendet werden, um Dienste von Sprache zu Text (STT von engl.: „speech-to-text“) auszuführen, die automatisierte Spracherkennung betreffen, oder Dienste von Text zu Sprache (TTS von engl.: „text-to-speech“) auszuführen, die entweder synthetisierte oder aufgezeichnete Sprache oder Sprachanteile (z.B. Phoneme) zur Verwendung bei der Erzeugung einer Audionachricht bereitstellen, die eine geeignete Sprachantwort auf die Spracheingabe bereitstellt. Die Spracherkennungsergebnisse (z.B. rückgeführter Text) werden dann von der SPK 20 verarbeitet, um schließlich den geeigneten (gewünschten) Dienst zu bestimmen, der zur Ausführung der Anforderung des Nutzers verwendet werden soll. Sobald der/die gewünschte(n) Dienst(e) bestimmt worden ist(sind), wird eine Dienstanforderung unter Verwendung der Befehle und Parameter geformt, die durch den bestimmten Dienst unterstützt werden, der unter Verwendung einer oder mehrerer Dienstschnittstellen von der Anwendungsschnittstellenfolge (AIS) 22 gewählt ist, wie nachfolgend detaillierter erläutert ist. Die Dienstanforderung wird an den gewünschten Dienst (installierte App und/oder Cloud-Dienst) gesendet und ein Dienstergebnis wird zurück empfangen. Das Dienstergebnis wird dann dazu verwendet, eine Sprachantwort in natürlicher Sprache zu erzeugen; dies bedeutet die Verwendung von Konversationssprache sowie Satz-/ Absatzstrukturen, die gängig und kontextspezifisch sind. Die Sprachantwort kann eine Audionachricht sein, die als eine Textantwort von Information in dem Dienstergebnis wie auch von anderer verfügbarer Information, wie Sitzungsvariablen und kontextspezifischen Objekten, anfänglich aufgebaut wird, wie nachfolgend detaillierter erläutert ist. Sobald die Textantwort formuliert worden ist, wird sie in eine Audiosprachantwort (z.B. Audionachricht) umgewandelt, und dies kann entweder an der Mobilvorrichtung 16 selbst oder unter Verwendung der TTS-Dienste 24 gemacht werden. Die Audionachricht kann dann von der Mobilvorrichtung an die Audionutzerschnittstelle 14 über die Kurzbereichsdrahtlosverbindung zur Präsentation für den Fahrzeuginsassen über den/die Fahrzeuglautsprecher gesendet werden.
Nun Bezug nehmend auf 2 ist eine Betriebsumgebung gezeigt, die ein mobiles Fahrzeugkommunikationssystem 100 umfasst, das die sprachbasierte Nutzerschnittstelle (SUI) 10 enthält und das dazu verwendet werden kann, die hier offenbarten Verfahren zu implementieren. Das Kommunikationssystem 100 weist allgemein das Fahrzeug 12 und seine Audionutzerschnittstelle 14, eine Mobilvorrichtung 16, Sprachdienste 24 und Cloud-Dienste 28 wie auch einiges der Systeminfrastruktur, die in 1 nicht gezeigt ist, auf, einschließlich einem oder mehreren drahtlosen Trägersystemen 34 sowie einem Landkommunikationsnetzwerk bzw. Festnetz 36. Andere optionale Ausstattungen, Einrichtungen und Systeme können enthalten sein, wie ein Computer 37, ein Rufcenter 38, eine in einer Wohnung befindliche oder andere fixierte Einrichtung 39 für Local Area Network, ein Satellitenkommunikationssystem mit fixierter Antenne 54 und einem oder mehreren Satelliten 56 und auch eine Konstellation 58 aus GPS-Satelliten zur Navigation. Es sei zu verstehen, dass das offenbarte Verfahren mit einer beliebigen Anzahl verschiedener Systeme verwendet werden kann und nicht auf die Betriebsumgebung, die hier gezeigt ist, spezifisch beschränkt ist. Auch sind die Architektur, die Konstruktion, die Einrichtung sowie der Betrieb der Komponenten des Systems 100, die hier nicht beschrieben sind, in der Technik allgemein bekannt. Somit sehen die folgenden Absätze einfach einen kurzen Überblick über ein derartiges Kommunikationssystem 10 vor; jedoch können andere Systeme, die nicht gezeigt sind, das offenbarte Verfahren genauso gut anwenden.
Das Fahrzeug 12 ist in der gezeigten Ausführungsform als ein Geländewagen (SUV) gezeigt, jedoch sei angemerkt, dass irgendein anderes Fahrzeug einschließlich Personenkraftwagen, Lastwägen, Motorrädern, Wohnmobilen (RVs von engl.: „recreational vehicle“), Schiffe, Flugzeuge, etc. genauso verwendet werden können. Einiges der Fahrzeugelektronik 29 ist in 2 allgemein gezeigt und umfasst eine Telematik- oder Telefonieeinheit 30, die drahtlos mit dem Trägersystem 34 über eine Antenne 32 und eine andere Schaltung kommuniziert, die dem Fachmann bekannt ist. Fahrzeugelektronik 29 weist auch die Audionutzerschnittstelle 14 auf, die eine Antenne 40 zur Kurzbereichsdrahtloskommunikation, ein Mikrofon 42, einen oder mehrere Druckknöpfe oder andere Steuereingänge 44 sowie einen oder mehrere Lautsprecher 46 aufweist. Andere Nutzerschnittstellenkomponenten können in dem Fahrzeug oder als ein Teil der Audionutzerschnittstelle 14 enthalten sein, wie ein visuelles Display (nicht gezeigt). Die Audionutzerschnittstelle 14 kann ein im Wesentlichen allein stehender Satz von Komponenten sein, der nur über die Antenne 40 kommuniziert, oder kann in andere Module oder Abschnitte des Elektroniksystems des Fahrzeugs verdrahtet oder anderweitig verschaltet sein, wie mit der Telefonieeinheit 30 und/oder einem Fahrzeugbus. Die Audionutzerschnittstelle 14 kann mit dem Fahrzeug 12 verdrahtet sein, um ein Lüftungsgebläse, eine Radiolautstärke etc. während einer Sprachsitzung herunter zu regeln. Der hier verwendete Begriff „Audionutzerschnittstelle“ umfasst breit jegliche geeignete Installation eines Mikrofons und Lautsprechers in dem Fahrzeug, einschließlich sowohl Hardware- als auch beliebiger Softwarekomponenten, die einem Fahrzeugnutzer ermöglichen, verbal mit dem Fahrzeug oder anderen Vorrichtungen in dem Fahrzeug, wie einer mobilen Vorrichtung 16, zu kommunizieren. Das Mikrofon 42 liefert einen Audioeingang, der über die Kurzbereichsdrahtlosverbindung unter Verwendung einer Antenne 40 gesendet werden kann. Ein oder mehrere Druckknöpfe 44 erlauben einen manuellen Nutzereingang in die Audionutzerschnittstelle, um Aktionen auszulösen, wie den Start einer Sprachsitzung, bei der das Mikrofon 42 und der Lautsprecher 46 verwendet werden, den Nutzer mit Freihanddiensten in dem Fahrzeug zu versehen, wie zum Ausführen drahtloser Telefongespräche oder Zugriff auf Daten, Bereitstellen einer Fernsteuerung oder Bereitstellen von Nachrichten- und Kommunikationsdiensten. Der Druckknopf kann an einem geeigneten Punkt für den Fahrer angeordnet sein, wie an der Lenkradnabe oder den Lenkradspeichen. Der Lautsprecher 46 kann ein einzelner Lautsprecher sein, der zur Verwendung mit der Audionutzerschnittstelle 14 zweckgebunden ist, oder kann mit anderen Komponenten oder Systemen integriert sein, wie einem Radiosystemlautsprecher.
Bei der gezeigten Ausführungsform ist die Telefonieeinheit 30 eine optionale Komponente, die nicht bei der Ausführung des Betriebs der Sprachnutzerschnittstelle (SUI) 10 verwendet wird, sondern bei anderen Ausführungsformen in der Audionutzerschnittstelle als ein einzelnes funktionales Modul enthalten und darin integriert sein kann. Die Telefonieeinheit 30 kann eine OEM-installierte (eingebettete) oder Zubehörmarktvorrichtung sein, die in dem Fahrzeug installiert ist und drahtlose Stimm- und/oder Datenkommunikation über ein Drahtlosträgersystem 34 und über Drahtlosnetzwerk ermöglicht. Dies erlaubt die Kommunikation des Fahrzeugs mit einem Rufcenter 38, anderen telematikunterstützten Fahrzeugen oder irgendeiner anderen Einheit oder Vorrichtung. Die Telefonieeinheit nutzt bevorzugt Radioübertragungen, um einen Kommunikationskanal (einen Stimmkanal und/oder einen Datenkanal) mit dem Drahtlosträgersystem 34 herzustellen, so dass Stimm- und/oder Datenübertragungen über den Kanal gesendet und empfangen werden können. Durch Bereitstellung von sowohl Stimm- als auch Datenkommunikation erlaubt die Telefonieeinheit 30, dass das Fahrzeug eine Anzahl verschiedener Dienste bietet, einschließlich denen in Verbindung mit Navigation, Telefonie, Notfallassistenz, Diagnose, Infotainment, etc. Die Daten können entweder über eine Datenverbindung, wie über eine Paketdatenübertragung mittels eines Datenkanals, oder über einen Stimmkanal unter Verwendung von in der Technik bekannten Techniken gesendet werden. Für kombinierte Dienste, die sowohl Stimmkommunikation (z.B. mit einem lebenden Betreuer oder einer Stimmantworteinheit an dem Rufcenter 38) als auch Datenkommunikation (z.B. um GPS-Ortungsdaten oder Fahrzeugdiagnosedaten an den Rufcenter 38 zu liefern) betreffen, kann das System einen einzelnen Anruf über einen Stimmkanal verwenden und nach Bedarf zwischen Stimm- und Datenübertragung über den Stimmkanal schalten, und dies kann unter Verwendung von Techniken durchgeführt werden, die dem Fachmann bekannt sind. Für Ortungsdienste kann die Telefonieeinheit ihre eigene GPS-Schaltung besitzen oder kann andere verfügbare GPS-Vorrichtungen verwenden, wie eine, die in dem Fahrzeug als Teil eines Fahrzeugnavigationssystems installiert ist, oder eine von der mobilen Vorrichtung 16 nutzen.
Das Drahtlosträgersystem 34 ist bevorzugt ein Zellulartelefonsystem, das eine Mehrzahl von Mobilfunkmasten 50 (nur einer gezeigt), eines oder mehrerer Mobilfunk-Vermittlungscenter (MSCs) 52 wie auch andere Netzwerkkomponenten umfasst, die erforderlich sind, um ein Drahtlosträgersystem 34 mit einem Festnetz 36 zu verbinden. Jeder Mobilfunkmast 50 umfasst Sende- und Empfangsantennen sowie eine Basisstation, wobei die Basisstationen von verschiedenen Mobilfunkmasten mit dem MSC 52 entweder direkt oder über Zwischenausstattung verbunden sind, wie einen Basisstationscontroller. Das Zellularsystem 34 kann eine beliebige geeignete Kommunikationstechnologie implementieren, einschließlich beispielsweise analoge Technologien, wie AMPS, oder den neueren digitalen Technologien, wie CDMA (z.B. CDMA2000) oder GSM/GPRS. Wie es in der Technik angemerkt sei, sind verschiedene Mobilfunkmast/Basisstation/MSC-Anordnungen möglich und können mit dem Drahtlossystem 34 verwendet werden. Beispielsweise können die Basisstation und der Mobilfunkmast gemeinsam an demselben Ort angeordnet sein oder sie können entfernt voneinander angeordnet sein, jede Basisstation kann für einen einzelnen Mobilfunkmast verantwortlich sein oder eine einzelne Basisstation kann verschiedene Mobilfunkmasten bedienen, und verschiedene Basisstationen können mit einem einzelnen MSC gekoppelt sein, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen von der Verwendung des Drahtlosträgersystems 34 kann ein anderes Drahtlosträgersystem in der Form einer Satellitenkommunikation verwendet werden, um eine unidirektionale oder bidirektionale Kommunikation mit dem Fahrzeug bereitzustellen. Dies kann unter Verwendung eines oder mehrerer Kommunikationssatelliten 56 sowie einer Uplink-Übertragungsstation 54 durchgeführt werden. Eine unidirektionale Kommunikation können beispielsweise Satellitenradiodienste sein, wobei Programminhalt (Neuigkeiten, Musik, etc.) von der Übertragungsstation 54 empfangen wird, zum Upload gepackt wird und dann an den Satelliten 52 gesendet wird, der das Programm an Kunden sendet. Die bidirektionale Kommunikation können beispielsweise Satellitentelefoniedienste sein, die einen Satelliten 56 verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 12 und der Station 54 zu schalten. Wenn diese Satellitentelefonie verwendet ist, kann sie entweder zusätzlich zu oder anstelle des Drahtlosträgersystems 34 verwendet werden.
Das Festnetz 36 kann ein herkömmliches landbasiertes Telekommunikationsnetzwerk sein, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Drahtlosträgersystem 34 mit solchen Dingen verbindet, wie Sprachdiensten 24, Cloud-Diensten 28 sowie anderen Computern oder Servern 37, wie einem Personalcomputer, der in einer Wohnung 39 oder einer anderen Einrichtung platziert ist. Beispielsweise kann das Festnetz 36 ein Fernsprechnetz (PSTN von engl.: „public switched telephone network“) aufweisen, wie eines, das dazu verwendet wird, Festnetztelefonie, paketgeschaltete Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetzes 36 können durch die Verwendung eines Standarddrahtnetzes, eines Faser- oder anderen optischen Netzwerks, eines Kabelnetzwerks, Stromleitungen, anderer drahtloser Netzwerke, wie drahtlose Local Area Networks (WLANs) oder Netzwerke, die einen Breitbanddrahtloszugriff (BWA von engl.: „broadband wireless access“) bereitstellen, oder eine Kombination daraus implementiert sein. Ferner müssen die verschiedenen Sprach- und Cloud-Dienste, die in 2 gezeigt sind, nicht über das Festnetz 36 verbunden sein, sondern können Drahtlostelefonieausstattung aufweisen, so dass sie direkt mit einem Drahtlosnetzwerk, wie einem Drahtlosträgersystem 34 kommunizieren können.
Der Computer 37 kann einer einer Anzahl von Computern sein, auf die über ein privates oder öffentliches Netzwerk, wie das Internet, zugegriffen werden kann. Jeder derartige Computer 37 kann für einen oder mehrere Zwecke verwendet werden, wie als ein Webserver, auf den durch das Fahrzeug über den Drahtlosträger 34 durch eine Audionutzerschnittstelle 14/Mobilvorrichtung 16 und/oder über Telefonieeinheit 30 zugegriffen wird. Andere derartige darauf zugreifbare Computer 37 können beispielsweise sein: ein Dienstcentercomputer, wo Diagnoseinformation und andere Fahrzeugdaten von dem Fahrzeug über die Telefonieeinheit 30 hochgeladen bzw. upgeloaded werden können; ein Clientcomputer, der von dem Fahrzeugeigner oder einem anderen Telematikdienstkunden für solche Zwecke wie Zugriff oder Empfang von Fahrzeugdaten oder Einrichten oder Konfigurieren von Kundenpräferenzen oder Steuern von Fahrzeugfunktionen verwendet wird; oder ein Drittmagazin, zu oder von dem Fahrzeugdaten oder andere Information bereitgestellt werden. Ein Computer 37 kann auch zur Bereitstellung einer Internetkonnektivität verwendet werden, wie DNS-Dienste, oder als ein Netzwerkadressserver, der DHCP oder ein anderes geeignetes Protokoll verwendet, um dem Fahrzeug 12 und/oder der Mobilvorrichtung 16 eine IP-Adresse zuzuweisen. Bei Verwendung als ein Clientcomputer 37 durch den Fahrzeugeigner, wie innerhalb einer Wohnung 39, kann die Drahtloskonnektivität zwischen der Mobilvorrichtung 16 und dem Computer 37 unter Verwendung irgendeiner geeigneten Kurzbereichsdrahtloskommunikationstechnologie bereitgestellt werden, wie Bluetooth oder eines der 802.11-Protokolle.
In 2 ist als einer der Cloud-Dienste ein Rufcenter 38 gezeigt, der dazu verwendet werden kann, den Fahrzeugbediener und/oder die Fahrzeugelektronik 29 mit einer Anzahl verschiedener fahrzeugbezogener Dienste sowie System-Back-End-Funktionen zu versehen. Diese umfassen solche Dinge, wie Straßen- oder Notfallassistenz, Diagnose- und Wartungsunterstützung, Entertainmentdienste, Information sowie Navigationsassistenz, etc., wie es in der Technik bekannt ist. Diese Rufcenterdienste können bereitgestellt werden, um diejenigen zu ergänzen, die dem Fahrzeugbediener über die Sprachnutzerschnittstelle 10 zugänglich sind, oder als Ausweichmöglichkeit in dem Fall, wenn der Bediener Schwierigkeiten mit der Sprachnutzerschnittstelle hat.
Obwohl sie außerhalb des Fahrzeugs in den 1 und 2 ausschließlich zur schematischen Darstellung gezeigt ist, betrifft der typische Gebrauch der Mobilvorrichtung 16 als Teil der Sprachnutzerschnittstelle 10 Umstände, bei denen die Mobilvorrichtung in dem Fahrzeug angeordnet ist, wie beispielsweise, wenn der Fahrer das Fahrzeug auf der Straße betreibt. Einige der grundsätzlichen funktionalen Hardware- und Softwarekomponenten der Mobilvorrichtung 16 sind in 3 gezeigt. Gemäß der Ausführungsform, die gezeigt ist, ist die Mobilvorrichtung 16 ein Smartphone, das eine Zellularkommunikation gemäß GSM- und/oder CDMA-Standards verwendet und somit einen Standardzellularchipsatz 61 und eine Antenne 62 zur Stimm- und Datenkommunikation, Antennen 63 und 64 und ihre zugeordnete Schaltung für Bluetooth- bzw. WiFi-Drahtlosverbindungen, eine elektronische Verarbeitungsvorrichtung 65, eine oder mehrere Digitalspeichervorrichtungen 66 und einen GPS-Empfänger 67 aufweist.
Der Prozessor 65 kann ein beliebiger Typ von Vorrichtung sein, der in der Lage ist, elektronische Anweisungen zu verarbeiten, einschließlich Mikroprozessoren, Mikrocontroller, Hostprozessoren, Controller, Fahrzeugkommunikationsprozessoren sowie anwendungsspezifische integrierte Schaltungen (ASICs). Der Prozessor 65 führt verschiedene Typen digital gespeicherter Anweisungen aus, wie Software- und Firmwareprogramme, die in dem Speicher 66 gespeichert sind. Dies umfasst das Vorrichtungs-OS 26, die mobile Fahrzeugplattform 18 sowie jegliche installierte Apps 68, die alle in dem Speicher 66 gespeichert sein können.
Das GPS-Modul 67 empfängt Funksignale von einer Konstellation 58 aus GPS-Satelliten. Von diesen Signalen kann das Modul 67 eine Mobilvorrichtungsposition bestimmen, die zur Bereitstellung von Navigation und anderen positionsbezogenen Diensten verwendet wird. Die Navigationsinformation kann an dem Display 69 der Vorrichtung angezeigt werden oder kann verbal über den der Vorrichtung eigenen Lautsprecher (nicht gezeigt) oder über die Audionutzerschnittstelle 14 präsentiert werden, wie es zum Liefern einer Navigation von Kurve um Kurve gemacht wird.
Allgemein kann die Sprachnutzerschnittstelle 10 teilweise unter Verwendung der mobilen Stimmplattform 18 realisiert sein, die auf dem Vorrichtungs-OS 26 läuft und mit installierten Apps 68, Cloud-Diensten 28 oder beiden koppelt, um Dienste für den Nutzer auf Grundlage seiner Spracheingabe auszuführen. Weitere Einzelheiten der mobilen Stimmplattform und ihrer Interaktion mit den anderen Komponenten der Mobilvorrichtung 16 sind in den 4 und 5 gezeigt.
4 zeigt andere Programmmodule, von denen jedes Computeranweisungen bereitstellt, die bei Ausführung durch den Prozessor 65 ihre programmierten Funktionen unter Verwendung des Vorrichtungs-OS 26 ausführen, um mit den verschiedenen Hardwareabschnitten der Vorrichtung 16 zu koppeln. Die mobile Stimmplattform 18 weist den Sprachplattformkern (SPK) 20 sowie eine App-Schnittstellenfolge (AIS) 22 auf. Der SPK 20 weist ein App-Auslösermodul 21 auf, das dazu verwendet wird, einen Dienstanruf von dem SPK 20 zu einem Dienst an der Vorrichtung (z.B. eine der Apps 68) oder in der Cloud (z.B. einen der Cloud-Dienste 28) auszulösen. Die AIS 22 weist eine Anzahl einzelner Anwendungsdienstschnittstellen 23 auf, von denen jede einem der verschiedenen Dienste zugeordnet ist, die an der mobilen Stimmplattform 18 verfügbar sind. Die einzelnen Funktionen, die durch die verschiedenen Schichten ausgeführt werden, sind wie folgt:
Vorrichtungs-OS 26:
stellt eine zugrunde liegende Kommunikation mit Bluetooth und Vorrichtungskonnektivitätssteuerungen bereit
stellt Medienabspieler-Funktionen der Mobilvorrichtung bereit, um zu bewirken, dass Audiodateien durch die Lautsprecher gespielt werden
stellt eine mikrofonbetriebenes Spracherkennungssystem zum Umwandeln gesprochener Sprache in ein Textäquivalent bereit
stellt Mechanismen zur Kommunikation zwischen Anwendungen bereit
Sprachplattformkern 20:
verwaltet die gesamte High-Level-Bluetooth-Integration mit dem Fahrzeug 12
sieht konsistentes Vokabular und Mechanismen zum Behandeln gemeinsamer Sprachinteraktionen vor, wie Fehlschlag, Verzeihung (habe sie nicht verstanden) und Beenden
verarbeitet umgewandelte Sprache-zu-Text in Befehlsstrukturen zur Verwendung durch Apps
behält High-Level-App-Präferenzen bei, die mit Bluetoothvorrichtungen in Verbindung stehen, Anforderungsmanagement
sieht Protokollierungs- und Sicherheitsmanagement vor
Hält eine Steuerung über Audio- und Mikrofonkanäle einschließlich Audiofokus und Verstärkungsniveaus zu geeigneten Zeiten bei
Dienstschnittstellen 23:
verwenden ein standardisiertes Befehls/Parameter-I/O-Protokoll zur Kopplung mit dem SPK
definieren die Grammatik, die diese zur Auslösung unterstützt
definieren die Grammatik, die diese unterstützt, wenn die App aktiv ist
verarbeiten ankommende Sprache-zu-Text-Befehlsstrukturen, die von dem SPK 20 bereitgestellt werden, und wandeln diese in gewünschte Aktionen um verbinden mit Cloud-Diensten, um Information, die erforderlich ist, um die Anforderung zu verarbeiten, zu senden und zu empfangen
sehen jegliche gewünschte Nutzerschnittstelle des Vorrichtungsdisplays 69 vor
Wie oben und in 4 angegeben ist, läuft der SPK 20 an dem oberen Teil des Betriebssystems 26 und handhabt die gesamte Steuerung und Führung von Nachrichten, die für die mobile Stimmplattform verwendet werden. Der SPK 20 sieht die Befehle zwischen den Modulen vor, um den grundsätzlichen Prozessfluss der Sprachsitzung gemäß der Methodologie, die oben in Verbindung mit 1 diskutiert und in den 6 - 8 gezeigt ist, auszuführen. Während einer Sprachsitzung, in der ein Eingang (z.B. eine Anforderung oder ein Befehl) von einem Nutzer empfangen wird, handhabt das SPK 20 Sprachverarbeitung der Spracherkennungsergebnisse, die durch den cloudbasierten automatischen Spracherkennungs-(ASR)-Dienst rückgeführt werden. Dies wird unter Verwendung einer Nach-ASR-Dienstidentifizierungsgrammatik durchgeführt, die speziell mit einem Vokabular ausgelegt ist, das dazu bestimmt ist, einen gewünschten Dienst oder Sitzungskontext aus den Spracherkennungsergebnissen zu identifizieren. In diese Funktionalität ist eine Fehlerhandhabung und ein Aufbau von Antworten natürlicher Sprache zum Rückführen einer Sprachantwort an den Nutzer eingebaut. Ein Sitzungskontext (z.B. Navigation gegenüber Nachrichten gegenüber Speisereservierungen) kann ebenfalls an dem SPK 20 unter Verwendung dieser ersten Grammatik bestimmt werden, und der Sitzungskontext kann dazu verwendet werden, die Auswahl von Diensten, die durch den SPK 20 gewählt sind, weiter zu beschränken oder die Nach-ASR-Verarbeitung des Spracherkennungsergebnisses zu unterstützen. Jede Sprachsitzung besitzt zumindest einen Kontext; dies bedeutet, zumindest eine betreffende Domäne, der die Spracheingabe des Nutzers zugeordnet ist. Die verschiedenen Cloud-Dienste, die in den 1 und 2 gezeigt sind, geben einige der verschiedenen Sitzungskontexte an, die identifiziert und unterschieden werden können. Für jede Sprachsitzung können ein Primärsitzungskontext und ein oder mehrere ergänzende Dienstkontexte vorhanden sein. Beispielsweise kann das Durchführen von Speisereservierungen einen Speisesitzungskontext aufrufen, bei denen die Primärnachrichteninhalte, nach denen nachgefragt wird, eine Identifizierung eines Restaurants, einer Anzahl von Leuten in der Veranstaltung, Reservierungszeit, etc. umfassen. Es kann auch einen Navigationskontext aufrufen, bei dem Richtungen zu dem Restaurant gewünscht sind. Oder ein Nachrichtenkontext, bei dem die Benachrichtigung der Reservierung mit anderen geteilt wird. Der SPK 20 bestimmt nicht nur einen Primärsitzungskontext, sondern auch einen oder mehrere ergänzende, wenn geeignet, und identifiziert für jeden einen geeigneten Cloud- oder installierten Dienst.
Die Sprachdienste, die in den 1 und 2 identifiziert sind, können in verschiedenen Wegen und in einigen Ausführungsformen implementiert sein, können einmalig ausgelegt sein oder können spezifische Grammatik oder Modelle enthalten, die derart ausgelegt sind, die Sprachnutzerschnittstelle 10 zu unterstützen. Bei anderen Ausführungsformen wird ein generalisierter Cloud-ASR-Dienst verwendet; dies bedeutet, einen, bei dem, obwohl er Parameterspezifikationen für bestimmte Sprachmodelle oder andere allgemeine Konfigurationen der Spracherkennungsmaschine erlauben kann, keine Grammatik verwendet, die auf die Sitzungskontexte zugeschnitten ist, die für die Nutzersprachsitzung erwartet werden. Die Androidsprachfunktionalität, die von Google verfügbar ist, stellt ein Beispiel eines generalisierten Cloud-ASR-Dienstes dar.
Sobald der SPK 20 einen gewünschten Dienst identifiziert oder anderweitig bestimmt hat, nutzt er die App-Auslösung 21, um den gewählten Dienst über eine Dienstschnittstelle 23, die diesem Dienst zugeordnet ist, zu starten. Wie in 4 angegeben ist, interagieren einige der Dienstschnittstellen 23 nur mit den Cloud-Diensten oder nur mit Cloud-Diensten und der Vorrichtungsnutzerschnittstelle (z.B. Display 69), während andere mit den installierten Apps (z.B. App 4) koppeln, die selbst auf Cloud-Dienste unter Verwendung der Schnittstelle des Betriebssystems zu den Cloud-Diensten zugreifen können.
Nun Bezug nehmend auf 5 ist ein weiteres Detail der Dienstschnittstellen 23 gezeigt. Jede Dienstschnittstelle 23 weist eine SPK-Nachrichtenstrukturschnittstelle auf, die dem standardisierten I/O-Protokoll folgt, das von dem SPK 20 für Datentransfers zu den Dienstschnittstellen verwendet wird. Dies sieht einen gemeinsamen Rahmen zur Interaktion mit der mobilen Sprachplattform vor, so dass auf neue Dienste durch Erzeugung einer Dienstschnittstelle zugegriffen werden kann, die die I/O-Spezifikation des SPK 20 erfüllt, während der SPK 20 die Befehle und Parameter identifiziert werden, die erforderlich sind, um Ergebnisse von dem Dienst aufzurufen und zu empfangen. Die Dienstschnittstelle umfasst eine Befehlsverarbeitung, die eine dienstspezifische Grammatik nutzt, um eine Dienstanforderung aufzubauen und dann diese Dienstanforderung an den Cloud-Dienst oder die installierte App über das OS 26 zu senden. Die dienstspezifische Grammatik ist eine, die Vokabular aufweist, das zum Auslösen und Befehlen des Dienstes verwendet wird.
Das App-Auslösungmodul 21 des SPK 20 kann mit derselben Struktur implementiert sein, wie die Dienstschnittstellen, mit Ausnahme, dass es eine Schnittstelle für einen speziellen Zweck ist, die von dem SPK 20 verwendet wird, um eine gewählte Dienstschnittstelle zu kontaktieren, um den Dienst auszulösen und die erforderlichen Befehle und Parameter, die von dem Dienst verwendet werden, durchzulassen.
6 zeigt ein Flussdiagramm einer vollständigen Sprachsitzung, die dazu verwendet werden kann, einen freihändigen oder sogar vollständig freihändigen Betrieb der Mobilvorrichtung durch einen Fahrer in einem Fahrzeug bereitzustellen.
7 und 8 sehen detaillierte Beispiele einer vollständigen Sprachsitzung vor, die verschiedene Zwischen-Modul- und Zwischen-Vorrichtungs-Anrufe und -Abfolgen zeigt, um einen Dienst anzufordern, ein Ergebnis zu erhalten und dieses dem Fahrzeugfahrer bereitzustellen, und zwar alles über die Audionutzerschnittstelle 14.

Claims

Verfahren zur Bereitstellung von Freihanddiensten unter Verwendung einer Mobilvorrichtung, die einen drahtlosen Zugriff auf computerbasierte Dienste aufweist, mit den Schritten: (a) Herstellen einer Kurzbereichsdrahtlosverbindung zwischen einer Mobilvorrichtung und einer oder mehreren Audiovorrichtungen, die zumindest ein Mikrophon und einen Lautsprecher aufweisen; (b) Empfangen von Sprache, die über das Mikrophon von einem Nutzer eingegeben und über die Kurzbereichsdrahtlosverbindung gesendet worden ist, an der Mobilvorrichtung; (c) drahtloses Übertragen der Spracheingabe von der Mobilvorrichtung an einen Spracherkennungsserver, der automatische Spracherkennung (ASR) bereitstellt; (d) Empfangen eines Spracherkennungsergebnisses, das den Inhalt der Spracheingabe repräsentiert, an der Mobilvorrichtung; (e) Bestimmen eines gewünschten Dienstes durch Verarbeiten des Spracherkennungsergebnisses unter Verwendung einer ersten Dienst identifizierenden Grammatik, was umfasst, dass sowohl ein Primärsitzungskontext als auch ein oder mehrere ergänzende Sitzungskontexte identifiziert und ein gewünschter Dienst, der dem Primärsitzungskontext zugeordnet ist, und ein ergänzender Dienst für jeden der ergänzenden Sitzungskontexte bestimmt werden; (f) Bestimmen einer Nutzerdienstanforderung durch Verarbeiten zumindest eines Teils des Spracherkennungsergebnisses unter Verwendung einer zweiten dienstspezifischen Grammatik, die dem gewünschten Dienst zugeordnet ist; (g) Auslösen der Nutzerdienstanforderung und Empfangen einer Dienstantwort; (h) Erzeugen einer Audionachricht aus der Dienstantwort; und (i) an den Nutzer erfolgendes Präsentieren der Audionachricht über den Lautsprecher.
Verfahren nach Anspruch 1, wobei der ASR-Server einen generalisierten Dritt-Clouddienst umfasst und wobei der Schritt (c) ferner ein Senden der Spracheingabe zu dem generalisierten Dritt-Clouddienst umfasst.
Verfahren nach Anspruch 1, wobei das Verfahren unter Verwendung eines Fahrzeugs mit einer installierten Audionutzerschnittstelle ausgeführt wird, wobei der Schritt (a) ferner ein Herstellen der Kurzbereichsdrahtlosverbindung zwischen der Mobilvorrichtung und der Audionutzerschnittstelle umfasst und wobei der Schritt (i) ferner ein Senden der Audionachricht an die Audionutzerschnittstelle über die Kurzbereichsdrahtlosverbindung zur hörbaren Präsentation in dem Fahrzeug umfasst.
Verfahren nach Anspruch 1, wobei der Schritt (g) ein Senden der Dienstanforderung an eine an der Mobilvorrichtung installierte Anwendung und ein Empfangen der Dienstantwort von der installierten Anwendung umfasst.
Verfahren nach Anspruch 1, wobei der Schritt (g) ein Senden der Dienstanforderung an einen Clouddienst und ein Empfangen der Dienstantwort von dem Clouddienst umfasst.
Verfahren nach Anspruch 1, wobei der Schritt (h) ein Erzeugen einer Textantwort auf Grundlage der Dienstantwort, ein Senden der Textantwort an einen Cloud-Text-zu Sprache- (TTS)-Dienst über ein Drahtloskommunikationssystem und ein Empfangen der Audionachricht von dem TTS-Dienst über das Drahtloskommunikationssystem umfasst.