DE112011103447T5 - Durch implizite Zuordnung und Polymorphismus gesteuerte Mensch-Maschine-Wechselwirkung - Google Patents

Durch implizite Zuordnung und Polymorphismus gesteuerte Mensch-Maschine-Wechselwirkung Download PDF

Info

Publication number
DE112011103447T5
DE112011103447T5 DE112011103447T DE112011103447T DE112011103447T5 DE 112011103447 T5 DE112011103447 T5 DE 112011103447T5 DE 112011103447 T DE112011103447 T DE 112011103447T DE 112011103447 T DE112011103447 T DE 112011103447T DE 112011103447 T5 DE112011103447 T5 DE 112011103447T5
Authority
DE
Germany
Prior art keywords
user
mail
vehicle
control unit
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112011103447T
Other languages
English (en)
Inventor
Otman A. Basir
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Mechatronic Systems Inc
Original Assignee
Intelligent Mechatronic Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Mechatronic Systems Inc filed Critical Intelligent Mechatronic Systems Inc
Publication of DE112011103447T5 publication Critical patent/DE112011103447T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6075Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail

Abstract

Eine sprachbasierte Anwender-System-Wechselwirkung kann die implizite Zuordnung und/oder den Polymorphismus ausnutzen, um ein glattes und effektives Reden zwischen dem Anwender und dem sprachfähigen System zu erreichen. Die Anwender-System-Wechselwirkung kann an einer lokalen Steuereinheit, an einem entfernten Server oder an beiden stattfinden.

Description

  • Diese Anmeldung beansprucht die Priorität der vorläufigen US-Anmeldung, laufende Nummer 61/393.654, eingereicht am 15. Oktober 2010.
  • HINTERGRUND
  • Viele Instanzen der Mensch-Maschine-Schnittstellen sind manchmal ineffizient. Anwender-Sprachwechselwirkungssysteme sind infolge des begrenzten ”Verständnisses” des Kontexts der Sprachbefehle des Anwenders durch die Maschine unhandlicher als das Wechselwirken mit einem anderen Menschen.
  • ZUSAMMENFASSUNG
  • Eine sprachbasierte Anwender-System-Wechselwirkung kann die implizite Zuordnung und/oder Polymorphismen ausnutzen, um ein glattes und effektives Reden zwischen dem Anwender und dem sprachfähigen System zu erreichen. Diese Anwender-System-Wechselwirkung kann an einer lokalen Steuereinheit, an einem entfernten Server oder an beiden stattfinden. Obwohl das System hauptsächlich im Kontext sprachbasierter Mensch-Maschine-Schnittstellen beschrieben wird, gilt die verbesserte Schnittstelle außerdem für textbasierte Schnittstellen.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 veranschaulicht schematisch ein Kommunikationssystem gemäß einer Ausführungsform der vorliegenden Erfindung;
  • 2 veranschaulicht schematisch einige der Komponenten der Steuereinheit des Kommunikationssystems nach 1;
  • 3 ist ein Schema einer objektbasierten Anwenderschnittstelle, die in dem System nach den 1 und 2 verwendet werden könnte; und
  • 4 ist ein Schema eines Objektstapels, der in dem System nach den 1 und 2 verwendet werden könnte.
  • AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
  • In 1 ist ein Kommunikationssystem 10 gezeigt, wie es in einem Fahrzeug 8 implementiert ist. Das System 10 enthält eine Vorrichtungs-Steuereinheit 11, die vorzugsweise an einem diskreten Ort innerhalb des Fahrzeugs 8, wie z. B. unter dem Armaturenbrett, im Handschuhfach usw., angebracht ist. Die Steuereinheit 11 unterstützt die drahtlose Kommunikation über Bluetooth (IEEE 802.15.1) oder irgendeinem anderen drahtlosen Standard, um mit einem Zellentelephon, einem PDA oder einer anderen Mobilvorrichtung 12 drahtlos zu kommunizieren. Alle Daten 13 werden vor der Übertragung verschlüsselt. Die Audioausgabe der Steuereinheit 11 wird entweder drahtlos 14 oder durch eine direkte verdrahtete Verbindung 15 an das Tonsystem des Fahrzeugs übertragen, das ein Radio 16, einen Satellitenfernseher 16A, ein Satellitenradio 16B usw. enthalten kann. Die Audioeingabe für die Steuereinheit 11 wird entweder durch ein direkt angeschlossenes Mikrophon 17, durch ein vorhandenes Freisprechsystem des Fahrzeugs oder drahtlos durch ein Headset 18, das mit der Mobilvorrichtung 12 verbunden ist, erhalten. Die Steuereinheit 11 kann außerdem eine Videoausgabe besitzen, die das Video überträgt, das von einer Videokamera 60 empfangen wird oder von einer in der Mobilvorrichtung 12 eingebauten Videokamera empfangen wird. In einem Beispiel empfängt die Steuereinheit 11 sowohl Audio als auch Video von der Videokamera 60 oder von der Mobilvorrichtung 12. Die Steuereinheit 11 kann außerdem Informationen hinsichtlich des Fahrzeugzustands und der Fahrzeugdiagnose von dem bordeigenen Diagnoseport 19 (OBD, OBD II oder irgendein anderer Standard) des Fahrzeugs empfangen.
  • Die Steuereinheit 11 ist für die Leistung mit der Fahrzeugbatterie verbunden. Ein Wechselstromadapter ist für die Verwendung zu Hause oder im Büro verfügbar. Für die tragbare Verwendung in anderen Fahrzeugen ist ein optionales ”Y”- oder Durchgangskabel verfügbar, um es für die Leistung in die Zubehörbuchse des Zigarettenanzünders zu stecken.
  • Die Steuereinheit 11 enthält eine eingelassene Taste 20, die es dem Fahrer ermöglicht, das Folgende auszuführen: neue oder Ersatzfernbedienungen zu registrieren; die Vorrichtung mit einer neuen Mobilvorrichtung 12 paarweise anzuordnen und alle Vorlieben zu löschen und die Vorrichtung auf ihre voreingestellten Werkseinstellungen zurückzusetzen. Die Steuereinheit 11 besitzt außerdem einen Satz von vier Zustandsleuchten 21, die die folgenden Informationen anzeigen: Leistung und Systemzustand, Zustand und Aktivität der Verbindung mit dem Fahrzeug, Zustand und Aktivität der Verbindung mit der Mobilvorrichtung und den Informationszugriffs- und allgemeinen Zustand.
  • In einem Beispiel erkennen die Steuereinheit 11 und die Mobilvorrichtung 12, wenn sich der Anwender und die dem Anwender zugeordnete Mobilvorrichtung 12 in der Nähe des Fahrzeugs befinden oder in das Fahrzeug eingetreten sind. Dies kann z. B. durch die Bluetooth-Paarbildung der Vorrichtung und des Fahrzeugs oder ähnliche drahtlose Kommunikationseinleitungsprotokolle ausgeführt werden. Innerhalb dieses Bereichs wechselt die handgehaltene Vorrichtung 12 aus ihrer normalen unabhängigen Betriebsart in eine immersive Kommunikationsbetriebsart, in der sie durch die Steuereinheit 11 betrieben wird. Wie im Folgenden ausführlicher beschrieben wird, ermöglicht diese Betriebsart unter anderem dem Anwender, seine durch das Tonsystem 16 des Fahrzeugs oder alternativ, falls sie so ausgerüstet ist, seine durch das Tonsystem der Mobilvorrichtung 12, z. B. die Kopfhörer 18, abgespielten E-Mails anzuhören. Die Mikrophone 17 in dem Fahrzeug 8 oder an der Mobilvorrichtung 12 detektieren die anwendererzeugten Sprachbefehle. Folglich ist es nicht erforderlich, dass der Anwender die Betriebsarten an der Mobilvorrichtung 12 ändert; stattdessen erkennen die Steuereinheit 11 und die zugeordnete Mobilvorrichtung 12, dass sich der Anwender in der Nähe des Fahrzeugs 8 befindet, wobei sie die Betriebsart entsprechend einstellen.
  • Zusätzlich zum Einstellen der Betriebsart basierend auf der Nähe zum Fahrzeug kann das System 10 zwischen einer öffentlichen und einer privaten Betriebsart einstellen. Wie oben erklärt worden ist, tritt z. B. die immersive Kommunikationsbetriebsart des Systems normalerweise auf, wenn sich der Anwender in der Nähe des Fahrzeugs 8 befindet. Die immersive Kommunikationsbetriebsart kann eine öffentliche Einstellung und eine private Einstellung besitzen. Die öffentliche Einstellung spielt die E-Mails über die Kopfhörer 18 ab, die der Mobilvorrichtung 12 zugeordnet sind. Eine derartige Einstellung verhindert, dass der Anwender andere Insassen des Fahrzeugs 8 stört.
  • Die private Einstellung spielt die E-Mails über das Tonsystem 16 des Fahrzeugs ab, wobei sie normalerweise verwendet wird, wenn der Anwender der einzige Insasse des Fahrzeugs 8 ist.
  • Selbstverständlich können derartige Systemeinstellungen durch den Anwender und dessen besondere Vorlieben in seinem Anwenderprofil eingestellt werden. Der Anwender kann es z. B. bevorzugen, zur immersiven Kommunikationsbetriebsart zu wechseln, wenn sich die Mobilvorrichtung 12 und der Anwender innerhalb eines bestimmten Abstands vom Fahrzeug 8 befindet, wohingegen ein weiterer Anwender die Betriebsarten nur wechseln kann, wenn die Mobilvorrichtung 12 und der Anwender in das Fahrzeug 8 eingetreten sind. Ferner kann der Anwender wünschen, die Steuereinheit 11 und die zugeordnete Vorrichtung 12 in einer öffentlichen Betriebsart zu betreiben, selbst wenn sich andere Insassen in dem Fahrzeug 8 befinden.
  • Ähnlich erkennt das System 10, wenn der Anwender das Fahrzeug 8 verlässt und die Mobilvorrichtung 12 in eine unabhängige (normale) Betriebsart zurückkehrt. Die Mobilvorrichtung 12 kann außerdem den Ort des Fahrzeugs, wenn der Anwender das Fahrzeug 8 verlässt, (basierend auf den GPS- oder anderen Informationen) aufzeichnen. Demgemäß kann der Anwender die Fahrzeugposition zu einem späteren Zeitpunkt abrufen, entweder an der Vorrichtung oder anderswo in dem System, was den Anwender beim Lokalisieren des Fahrzeugs 8 unterstützen kann.
  • Die Vorrichtung besitzt mehrere USB-Ports 22. Es sind Standard-USB-Ports, die den folgenden Funktionen dienen: es dem Fahrer ermöglichen, Vorlieben, Einstellungen und Offline-Notizen und Transkriptionen auf einem Standard-USB-Flash-Laufwerk zu speichern; künftige Erweiterungen, Aufrüstungen und zusätzliche Merkmale (z. B. eine Videokamera 60) zu erlauben; und ein Ethernet-Dongle für den Hochgeschwindigkeit-Internet-Zugriff anzuschließen. Außerdem besitzt die Steuereinheit 11 einen Doppelzweck-USB-2.0-Port, der zusätzlich zu den erwähnten Merkmalen die USB-2.0-Funktionalität ”für unterwegs” durch das direkte Verbinden mit dem USB-Port eines Notebook-Computers mit einem Standardkabel (z. B. genauso wie das Anschließen einer tragbaren Kamera oder einer GPS-Einheit direkt an einen Computer) bereitstellt.
  • Die anderen Ports an der Steuereinheit 11 enthalten ein 1/8''-Audiobuchse 23, um eine Stereoanlage des Autos mit Bluetooth-Unterstützung anzuschließen, eine 1/8''-Mikrophonbuchse 24, um äußere hochqualitative Mikrophone für das Freisprech-Anrufen zu unterstützen, und eine 1/8''-Stereo-Headset-Buchse 25 für die Verwendung entfernt von dem Fahrzeug oder in einem Fahrzeug ohne Bluetooth-Unterstützung.
  • Das System 10 enthält außerdem eine optionale Fernsteuerung 26, um mit der Steuereinheit 11 in Wechselwirkung zu treten. Die Fernsteuerung enthält Lithiumbatterien, die zu jenen einer Fernbedienung eines schlüssellosen Fernzugangssystems für ein übliches Fahrzeug ähnlich sind.
  • Um Sicherheit und Privatsphäre bereitzustellen, verwendet die Vorrichtung sowohl Authentifikation als auch Verschlüsselung. Sprachgestützte Biometrie kann außerdem verwendet werden, um die Sicherheit weiter zu verbessern.
  • Der Fahrer oder die Fahrerin speichert seine bzw. ihre Einstellungen für die Vorrichtung in seinem bzw. ihrem Einstellungsprofil 30. Der Fahrer kann außerdem die Nummer eines Kennzeichens für das Fahrzeug 8 in den Einstellungsprofilen 30 speichern. Dieses Profil 30 kann in einer Datenbank in einem Internet-Server 27 gespeichert sein. Die Steuereinheit 11 verwendet den durch die Mobilvorrichtung 12 des Fahrers bereitgestellten Internetzugang, um das Profil 30 des Fahrers über das Internet herunterzuladen. Die Steuereinheit 11 verwendet außerdem die Paarbildungsinformationen von der Mobilvorrichtung 12, um das richtige Profil 30 von dem Server 27 wiederzugewinnen. Falls das Profil 30 bereits zu der Steuereinheit 11 heruntergeladen worden ist, kann die Steuereinheit 11 nur auf Änderungen und Aktualisierungen auf dem Server 27 prüfen. Jedes Profil 30 auf dem Server 27 enthält einen Satz von Regeln, den die Steuereinheit 11 verwendet, um Entscheidungen über die Lieferung von Inhalt an den Fahrer zu treffen. Der Fahrer kann auf sein Profil 30 im Internet-Server 27 entweder durch das Internet unter Verwendung einer webbasierten Schnittstelle 28 oder durch eine einfache Schnittstelle, die von der zugeordneten Mobilvorrichtung 12 direkt zugänglich ist, zugreifen und es modifizieren. Alternativ wird das Profil 30 immer nur in der Steuereinheit 11 gespeichert und modifiziert, wobei über die Mobilvorrichtung 12 und/oder über eine USB-Verbindung zu einem Laptop- oder Desktop-Computer auf es zugegriffen werden kann.
  • Wie in 2 gezeigt ist, enthält die Steuereinheit 11 ein Textverarbeitungsmodul 34, ein Fahrzeugkommunikationsmodul 36, ein Spracherkennungsmodul 38, Bluetooth-Module (oder andere Module für die drahtlose Kommunikation) 40, ein Mobilvorrichtungs-Kommunikationsmodul 42, ein Text-zu-Sprache-Modul 44, ein Anwenderschnittstellenmodul 46 und eine Vorrichtungsverhalten-Fernsteuereinrichtung 48. Die Steuereinheit 11 besitzt einen E-Mail-Verarbeitungsagenten 50, der E-Mail-Nachrichten verarbeitet und die Identität des Absenders bestimmt, der bestimmt, ob die Nachricht einen Anhang besitzt, und, wenn ja, den Typ des Anhangs, und dann den Textkörper der Nachricht extrahiert. Die Steuereinheit 11 bestimmt außerdem, ob eine Nachricht eine Mahnung, Nachrichten oder nur eine normale E-Mail-Nachricht ist. Die Steuereinheit 11 besitzt einen Datengewinnungs-Algorithmus, um zu bestimmen, ob irgendwelche Teile der E-Mail ausgeschlossen werden sollten (z. B. eine längere Signatur).
  • Die Kommunikation mit anderen Fahrzeugen
  • Das Fahrzeug 8 ist betreibbar, um mit anderen Fahrzeugen drahtlos zu kommunizieren. In 3 enthält ein erstes Fahrzeug 8a eine erste Steuereinheit 11a und eine erste Mobilvorrichtung 12a, während ein zweites Fahrzeug 8b eine zweite Steuereinheit 11b und eine zweite Mobilvorrichtung 12b enthält. Unter Verwendung der Steuervorrichtung 11a kann eine Bedienungsperson des Fahrzeugs 8a (ein ”Einladender”) eine Kommunikation mit einer Bedienungsperson des Fahrzeugs 8b (einem ”Eingeladenen”) einleiten. Obwohl die Begriffe ”Bedienungsperson” und ”Fahrer” überall in dieser Anmeldung verwendet werden, ist es selbstverständlich, dass die Fahrzeugpassagiere außerdem die Steuervorrichtung 11 verwenden könnten, um in die Kommunikation einzugreifen. Der Einladende könnte ein Kennzeichen des Fahrzeugs 8b eingeben, um das Fahrzeug 8b zu identifizieren. Diese Informationen könnten gesprochen werden und unter Verwendung des Spracherkennungsmoduls 38 in Text umgesetzt werden oder könnten unter Verwendung einer Tastatur (z. B. einer Tastatur an der Mobilvorrichtung 12a) eingegeben werden. Dann kann eine Einladungsnachricht an das identifizierte Fahrzeug 8b gesendet werden.
  • In einem Beispiel wird eine Einladungsnachricht nur an ein Fahrzeug gesendet, das einem spezifizierten Kennzeichen entspricht. In einem Beispiel wird eine Einladungsnachricht an alle Fahrzeuge innerhalb einer vorgegebenen Umgebung des Fahrzeugs des Eingeladenen gesendet. Die Einladungsnachricht könnte Informationen, wie z. B. die Nummer eines Kennzeichens des Fahrzeugs des Eingeladenen, Kommunikationsadressierungsinformationen des Einladenden (z. B. Name, Spitzname usw.) und eine Beschreibung des Fahrzeugs des Einladenden (z. B. Marke, Farbe usw.) enthalten.
  • Sobald das Fahrzeug 8b des Eingeladenen eine Kommunikationseinladung vom Fahrzeug 8a des Einladenden empfängt, benachrichtigt die Steuereinheit 11b die Bedienungsperson von der Einladung. Falls die Einladung angenommen wird, wird zwischen den Steuereinheiten 11a–b eine Unterhaltungsverbindung hergestellt, so dass sich beide Bedienungspersonen unter Verwendung von Sprache, Text (z. B. unter Verwendung der Spracherkennungsmoduls 38 oder unter Verwendung einer Tastatur der Mobilvorrichtung 12) oder Video (z. B. unter Verwendung der Videokamera 60 oder unter Verwendung der Videofunktionalität der Mobilvorrichtung 12) unterhalten können.
  • Der Server 27 führt eine oder mehrere Anwendungen zum Decodieren der Nummer des Kennzeichens des Fahrzeugs in ein adressierbares Stück der Daten (z. B. eine IP-Adresse, einen CIM, eine Satellitenempfänger-Identifikationsnummer usw.) aus. Ein Kennzeichen des Fahrzeugs 8a des Einladenden kann in dem Einstellungsprofil 30 des Anwenders für eine Bedienungsperson des Fahrzeugs 8a gespeichert sein. In einem Beispiel kann eine Bedienungsperson mehrere Kennzeichen in ihrem Profil speichern, falls sie mehrere Fahrzeuge besitzt, so dass die Steuervorrichtung 11 nahtlos zwischen den Fahrzeugen bewegt werden kann. Falls in einem Beispiel das Fahrzeug 8b des Eingeladenen kein registriertes Kennzeichen besitzt, kann der Server 27 das Fahrzeug 8b nicht identifizieren, wobei die Einladung automatisch abgelehnt wird.
  • Die Mobilvorrichtungen 12a–b können unter Verwendung verschiedener Kommunikationsmittel kommunizieren. In einem Beispiel kommunizieren die Steuereinheiten 11 über Textunterhaltung, Sprache-zu-Text, Videounterhaltung oder Sprache-über-IP miteinander, entweder direkt miteinander, von Fahrzeug zu Fahrzeug, wie z. B. durch Hochfrequenz, Bluetooth, Wi-Fi, Jedermannfunk (”CB”-Funk), oder durch andere vergleichbare Kommunikationsvorrichtungen mit kurzer Reichweite. Alternativ kann die Kommunikation (Textunterhaltung, Sprach-zu-Text, Videounterhaltung oder Sprache-über-IP) über den Server 27 stattfinden. Die Kommunikationen können in dem Server 27 (falls verwendet) und/oder lokal in den Steuereinheiten 11 protokolliert werden. In einem Beispiel entsprechen die Mobilvorrichtungen 12a–b Bluetooth-Headsets, wobei jedes betreibbar ist, um mit einem Bluetooth-Empfänger in dem anderen der zwei Fahrzeuge 8a–b zu kommunizieren. In einem Beispiel kommunizieren die Mobilvorrichtungen 12a–b mit oder ohne Verwendung von Zellentürmen über Satellit.
  • Jede Mobilvorrichtung 12a–b kann eine bordeigene Lokalisierungsvorrichtung (z. B. ein GPS-Modul) zum Bestimmen des Fahrzeugorts verwenden. Ein GPS-Fahrzeugort könnte verwendet werden, wenn eine Einladungsnachricht an benachbarte Fahrzeuge gesendet wird, so dass der Server 27 durch das Vergleichen der GPS-Positionen bestimmt, welche Fahrzeuge sich in der Nähe des einladenden Fahrzeugs befinden.
  • Die oben erörterten Zwischenfahrzeug-Kommunikationsmerkmale können aus verschiedenen Gründen nützlich sein. Eine Bedienungsperson des Fahrzeugs 8a kann z. B. wünschen, eine Bedienungsperson des Fahrzeugs 8b zu benachrichtigen, dass aus einem Reifen an dem Fahrzeug 8b teilweise die Luft abgelassen ist. Als ein weiteres Beispiel kann eine Bedienungsperson des Fahrzeugs 8a wünschen, in eine gesellige Unterhaltung mit einer Bedienungsperson des Fahrzeugs 8b einzugreifen. Als ein weiteres Beispiel kann eine Bedienungsperson des Fahrzeugs 8a wünschen, eine Bedienungsperson des Fahrzeugs 8b über gefährliche Straßenzustände oder behinderten Verkehr zu benachrichtigen.
  • Freisprech-E-Mail
  • Ein Merkmal des Systems ist Freisprech-E-Mail. Unter Verwendung des Text-zu-Sprache-Moduls 44 kann die Steuereinheit 11 eine E-Mail an den Fahrer vorlesen. Wenn eine neue E-Mail ankommt, verwendet die Steuereinheit 11 das Profil 30, um ein intelligentes System für die Filterung und das Setzen von Prioritäten zu führen, das es dem Fahrer ermöglicht, das Folgende zu tun: sicherzustellen, dass die E-Mails in der Reihenfolge der Priorität gefiltert und gelesen werden, die Häufigkeit der Unterbrechungen durch neue E-Mails zu begrenzen, automatische Antworten ohne Eingriff des Fahrers zu senden und bestimmte E-Mails ohne Unterbrechung zu einem dritten Teilnehmer weiterzuleiten. Außerdem verarbeitet die Steuereinheit 11 die E-Mails, um die Deutlichkeit zu optimieren, bevor sie laut vorgelesen werden. Ein Teil dieses Prozesses umfasst das Detektieren von Akronymen, Symbolen und anderen komplexeren Strukturen und das Sicherstellen, dass sie leicht verstanden werden können, wenn sie vorgelesen werden. Die Steuereinheit 11 stellt eine intelligente E-Mail-Zusammenfassung bereit, um die Zeit zu verringern, die erforderlich ist, um den wichtigen Inhalt der E-Mail zu hören, wenn sie laut vorgelesen wird.
  • Der Fahrer kann unter Verwendung von Sprachbefehlen, einschließlich von ”gehe zurück” und ”gehe weiter”, mit der Steuereinheit in Wechselwirkung treten, auf die die Steuereinheit 11 antwortet, indem sie zum vorhergehenden Ausdruck oder Satz oder zum nächsten Ausdruck oder Satz in der E-Mail zurück- bzw. weitergeht. Außerdem würde das Sprechen von ”gehe zurück, gehe zurück” zwei Ausdrücke oder Sätze zurückgehen.
  • Zusätzliche Freisprech-E-Mail-Merkmale enthalten ein zeitsparendes Filterungssystem, das es dem Fahrer erlaubt, nur den wichtigsten Inhalt oder die Bedeutung einer E-Mail zu hören. Ein weiteres email-bezogenes Merkmal ist die Fähigkeit, anwenderspezifische E-Mail-Parser herunterzuladen, um eine neue Dimension zur hörbaren E-Mail hinzuzufügen und um informelle E-Mail-Stile (z. B. 18r, ttyl) zu parsen.
  • Die Freisprech-E-Mail-Funktionalität enthält eine inhaltsreiche Benachrichtigung. Wenn die Steuereinheit 11 eine Benachrichtigung über eine neue E-Mail bereitstellt, stellt sie eine Kurzzusammenfassung über die ankommende E-Mail bereit, die es dem Fahrer ermöglicht, Prioritäten zu setzen, welche Nachrichten wichtiger sind. Beispiele enthalten ”Sie haben Post von Sally” (ähnlich zu einer Anrufer-ID für E-Mail) oder ”Sie haben eine wichtige Besprechungsanforderung von Cathy”. Die Steuereinheit 11 schlägt basierend auf der E-Mail-Adresse des Absenders in dem Adressbuch des Anwenders in der Mobilvorrichtung 12 die bekannten Kontaktnamen nach. Die Steuereinheit 11 verwendet die bekannten Kontaktnamen, um die Beteiligten einer E-Mail zu identifizieren, anstatt nur die kryptischen E-Mail-Adressen laut vorzulesen.
  • Zusätzlich zum Vorlesen von E-Mail ermöglicht es die Steuereinheit 11 außerdem dem Fahrer, Antworten zu verfassen. Der Fahrer kann eine Antwort unter Verwendung vorhandener Text- oder Sprachschablonen (z. B. ”ich bin im Auto, auf Ruf mich unter der 'Nummer' an”, oder ”ich bin im Auto, ich antworte, sobald ich kann”) senden. Neue E-Mails können außerdem als eine Sprachaufzeichnung in der Form eines .wav-, .mp3- oder eines anderen Dateiformats erzeugt und gesendet werden. Der Fahrer ist außerdem mit der Option versehen, den Absender der E-Mail am Telephon unter Verwendung der vorhandenen Kontaktinformationen in dem Adressbuch anzurufen oder auf Besprechungsanforderungen und Kalenderaktualisierungen (z. B. Outlook) zu antworten. Die E-Mails können außerdem als Freiform-Textantworten durch das Diktieren der Inhalte der E-Mail erzeugt werden. Die Vorrichtung übersetzt dies dann in Text für die E-Mail-Übertragung. Ein intelligenter Assistent ist unmittelbar verfügbar, um mögliche Handlungen vorzuschlagen und bei Bedarf Hilfe bereitzustellen. Abermals werden alle diese Optionen durch verbale Anfragen durch die Steuereinheit 11 aufgefordert, die durch Sprachbefehle durch den Fahrer ausgewählt werden können.
  • Die Steuereinheit 11 unterstützt mehrere E-Mail-Konten, wobei eine E-Mail aus irgendeinem vorhandenen Konto verfasst werden kann. Eine ankommende E-Mail kann außerdem intelligent behandelt werden, wobei basierend auf dem Konto Prioritäten gesetzt werden können. Es sind optionale fahrzeuginterne E-Mail-Adressen in einer anwenderspezifischen Domain verfügbar. Die von dieser Adresse gesendeten E-Mails würden eine Benachrichtigung enthalten, dass die E-Mail unterwegs verfasst wurde. Wenn eine E-Mail an eine fahrzeuginterne E-Mail-Adresse verfasst wird, weiß der Sender, dass die E-Mail in einem Fahrzeug laut vorgelesen wird. Falls die traditionelle E-Mail ”george@work.net” lautet, kann die fahrzeuginterne Adresse ”george@driving.net” sein. In unterstützten E-Mail-Systemen sind außerdem optionale erweiterte vorhandene E-Mail-Adressen verfügbar. Falls z. B. die traditionelle E-Mail ”george@work.com” lautet, kann eine erweiterte fahrzeuginterne Adresse ”george+driving@work.com” ausgewählt werden.
  • Verbesserte Freisprech-Telephonanrufe
  • Ein weiteres Merkmal dieser Erfindung sind verbesserte Freisprech-Telephonanrufe. Dies enthält die transparente Verwendung irgendwelcher vorhandener Freisprechsysteme. Alle ankommenden Telephonanrufe können entweder das vorhandene Freisprechsystem des Fahrzeugs oder ein Anwender-Headset 18 verwenden. Falls eine erwartete wichtige E-Mail ankommt, während der Fahrer am Telephon ist, stellt ein ”E-Mail-Warte”-Indikator (Leuchten und/oder dezente Töne) eine dezente Benachrichtigung bereit, ohne das Gespräch zu unterbrechen. Ein Headset 18 kann jederzeit für die Privatsphäre oder um die Deutlichkeit zu optimieren aktiviert werden. Die Steuereinheit 11 wechselt für die Privatsphäre nahtlos vom Freisprechsystem des Fahrzeugs zum privaten Headset 18.
  • Die Steuereinheit 11 weist außerdem eine verbesserte Anrufer-ID auf. Diese Vorrichtung meldet ankommende Anrufe durch das laute Vorlesen des Anrufernamens oder der Nummer an (z. B. ”Dies ist ein Anruf von John Doe, wollen Sie ihm antworten?”). Dies eliminiert die Notwendigkeit, von der Straße wegzuschauen, um herauszufinden, wer anruft. Eine fahrzeugbezogene Untersuchung kann außerdem beim Fahren spezifische Anrufe zur Sprachpost oder zu einer weiteren Nummer automatisch weiterleiten, abermals basierend auf dem Profil des Fahrers. Die normalen Weiterleitungsregeln werden wiederaufgenommen, wenn das Fahrzeug verlassen wird.
  • Die Steuereinheit 11 stellt außerdem das sprachaktivierte Antworten und Anrufen bereit. Wenn die Steuereinheit 11 einen Telephonanruf anmeldet, kann der Fahrer den Anruf unter Verwendung eines Sprachbefehls annehmen. Der Fahrer kann die Sprachbefehle verwenden, die entweder den Kontakten in einem Adressbuch oder gesprochenen Telephonnummern zugeordnet sind, um abgehende Telephonanrufe zu tätigen (z. B. ”rufe Krista an”).
  • Vereinheitlichtes Informationsmanagement
  • Ein weiteres Merkmal der vorliegenden Erfindung ist, dass sie das vereinheitlichte Informationsmanagement bereitstellt. Die Steuereinheit 11 stellt eine konsistente Schnittstelle für den nahtlosen Zugriff auf ankommende und abgehende Telephonanrufe, E-Mail und andere Informationsquellen bereit. Die vorhandene Freisprechschnittstelle wechselt automatisch zwischen Telephonanrufen, dem Vorlesen von E-Mail und dem Bereitstellen wichtiger Benachrichtigungen. Beim Eintreten in das Fahrzeug stellt die Steuereinheit 11 automatisch eine verbesserte sprachbasierte Schnittstelle bereit, während beim Verlassen des Fahrzeugs die Mobilvorrichtung 12 automatisch den normalen Betrieb wieder aufnimmt. Das Vorlesen von E-Mail kann außerdem unterbrochen werden, um einen ankommenden Telephonanruf anzunehmen, und wiederaufgenommen werden, wenn der Anruf abgeschlossen ist.
  • Außerdem kann der Fahrer mit jedem Kontakt einfach durch Sprechen durch E-Mail, einen Telephonanruf oder eine SMS-Textnachricht kommunizieren. Die Steuereinheit 11 stellt verbesserte Informationen für ankommende Telephonanrufe bereit. Der Name und die Nummer, falls verfügbar, werden laut vorgelesen, um sicherzustellen, dass der Fahrer den Anrufer kennt, ohne von der Straße wegzuschauen. Ein Spitzname oder andere Informationen, die sich in einem Adressbuch befinden, können außerdem für die Benachrichtigung verwendet werden.
  • Der Fahrer kann außerdem mit einem Telephonanruf auf eine E-Mail antworten. Der Fahrer kann, während er eine E-Mail liest, mit dem Absender Kontakt herstellen, indem er einen Telephonanruf mit den Adressbuchinformationen tätigt. Wenn ein Telephonanruf ausgeführt wird, aber die Leitung besetzt ist oder keine Sprachpost vorhanden ist, wird dem Anwender die Option gegeben, stattdessen eine E-Mail an den gleichen Kontakt zu senden. Dies eliminiert die Notwendigkeit, zu warten und das Anrufen der Person abermals zu versuchen.
  • Der Fahrer kann innerhalb seines Profils 30 zwischen E-Mail und Telephonanrufen eine Priorität setzen, so dass eine wichtige E-Mail nicht durch einen weniger wichtigen Telephonanruf unterbrochen wird. Außerdem können anwenderdefinierte .mp3-Klingeltöne (oder in einem anderen Format) sowohl ankommenden E-Mails als auch ankommenden Telephonanrufen zugeordnet sein. Die Klingeltöne können durch E-Mail von bestimmten Kontakten, Telephonanrufe von bestimmten Kontakten oder E-Mail über bestimmte Betreffs anwenderspezifisch angepasst sein. Die anwenderdefinierten hörbaren ”Anklopf”-Indikatoren können verwendet werden, wenn während des Telephonierens eine wichtige E-Mail ankommt oder wenn ein wichtiger Telephonanruf während des Vorlesens oder Verfassens einer E-Mail ankommt.
  • Verbesserter Freisprech-Kalender
  • Ein weiteres Merkmal der vorliegenden Erfindung ist der verbesserte Freisprech-Kalender, bei dem die Steuereinheit 11 die Kalenderfunktionalität der Mobilvorrichtung 12 des Anwenders verwendet. Die Steuereinheit 11 liest den Betreff und den Zeitpunkt der Kalendererinnerungen laut vor, wobei der Fahrer, falls gewünscht, mit Sprachbefehlen auf zusätzliche Kalenderinformationen zugreifen kann. Der Fahrer kann außerdem unterwegs das Zeitplanmanagement ausführen, indem er geplante Verabredungen (einschließlich des Datums, des Zeitpunkts, des Betreffs, des Orts und der Bemerkungen) überprüft; Besprechungsanforderungen von unterstützten Systemen (z. B. Outlook) annimmt, ablehnt oder weiterleitet; Besprechungen plant; und automatisch Besprechungen mit Ortsinformationen kommentiert. Der Fahrer kann außerdem ortsbasierte Erinnerungen speichern, die das nächste Mal, wenn das Fahrzeug in einem spezifizierten geographischen Bereich vorhanden ist, Erinnerungen bereitstellen, und automatisch Informationen empfangen, die nahegelegenen Wahrzeichen zugeordnet sind. Außerdem könnte der Fahrer Besprechungsthemen planen und beschließen, indem er direkt mit den ortsbezogenen Vorrichtungen anderer Teilnehmer kommuniziert.
    Bitte nicht stören
  • Ein weiteres Merkmal der vorliegenden Erfindung ist die ”Bitte-nicht-stören”-Funktionalität. Wenn Passagiere in dem Fahrzeug anwesend sind, kann die Steuereinheit 11 vorübergehend zum Verstummen gebracht werden. Selbst wenn die Steuereinheit 11 still ist, setzt sie das intelligente Behandeln ankommender E-Mail, das E-Mail-Weiterleiten, das Bereitstellen automatischer E-Mail-Antworten und das Verarbeiten von E-Mail auf Wunsch fort. Ein Stummschaltungsmerkmal ist außerdem verfügbar. In einem Beispiel lehnt die Steuereinheit 11 automatisch Kommunikationsversuche von benachbarten Steuereinheiten 11 ab, so dass in der ”Bitte-nicht-stören”-Betriebsart keine Unterhaltung eingeleitet wird.
  • Integrierter Sprachnotizblock
  • Ein weiteres Merkmal der vorliegenden Erfindung ist der integrierte Sprachnotizblock, der es dem Fahrer ermöglicht, Gedanken und wichtige Ideen während des Fahrens aufzuzeichnen, so dass sie während des Parkens oder des Suchens nach einem Notizblock oder einer Notizvorrichtung nicht vergessen werden. Die Notizen können über E-Mail zum Posteingang des Fahrers oder zu irgendwelchen der Kontakte des Fahrers übertragen werden. Die Notizen können außerdem über die Bluetooth-Schnittstelle zu einem Computer-Desktop drahtlos übertragen werden, wie der Anwender im Büro ankommt, oder zu einem abnehmbaren USB-Flash-Speicherlaufwerk übertragen werden. Die Notizen können unter Verwendung verbesserter Kontextinformationen einschließlich des Ortes, des Wetters und der Reiseinformationen automatisch kommentiert werden. Zum Beispiel ”diese Notiz wurde nachts in einem Verkehrsstau auf der Hauptstraße auf halbem Wege zwischen dem Büro und der Produktionsstätte aufgezeichnet”. Derartige erweiterte Informationen können wertvolle Hinweise bereitstellen, wenn die Notizen überprüft werden.
  • Zugriff auf diverse Informationen
  • Ein weiteres Merkmal der Beispielausführungsform der vorliegenden Erfindung ist die Fähigkeit, auf diverse Informationen zuzugreifen. Die Informationen sind in hörbarer Form (Text-zu-Sprache) von einem umfassenden Bereich von Quellen verfügbar. Erstens stellt die Steuereinheit 11 den Zugriff auf persönliche Verbindbarkeits- und Zeitmanagementinformationen bereit. Dies enthält E-Mail (neue und vorher gelesene), den ankommenden Anrufernamen und die ankommende Anrufernummer, SMS-Nachrichten, MMS-Nachrichten, Telephonanruf-Protokolle, das Adressbuch, den Kalender und den Terminplan und unmittelbare Nachrichten.
  • Zweitens stellt die Steuereinheit 11 eine Multiformat-Unterstützung bereit. Dies enthält E-Mail-Anhänge, die laut vorgelesen werden können, einschließlich einfachen Textes, Audioanhängen (z. B. .wav, .mp3), HTML (z. B. codierte E-Mails und Web-Sites), Abschnitte mit einfachem Text von Word- und PowerPoint-Dateien, das Adobe Portable Document-Format (PDF), OpenDocument-Formate und komprimierte und/oder codierte Anhänge der obigen Formate (z. B. .zip).
  • Drittens stellt die Vorrichtung die Umgebungs- und Ortsbezogenheit bereit. Dies enthält die aktuellen Orts- und Navigationsinformationen, die örtlichen Wetterbedingungen, den Fahrzeugzustand und relevante ortspezifische Informationen (z. B. wo ist die ”Arbeit”, wo ist das ”Zuhause”?).
  • Viertens stellt die Steuereinheit 11 den Fernzugriff auf die Informationen bereit. Dies enthält vorhandene Nachrichtenquellen (z. B. vorhandene RSS-Feeds) und unterstützte Websites. Dies enthält außerdem das Abonnement von Mehrwertdiensten, einschließlich: des Wetters, anwenderdefinierter Alarme (z. B. Aktienkurs-Auslöser), Verkehrsbedingungen, personalisierter Nachrichten, E-Books (nicht eingeschränkt auf Hörbücher, sondern irgendein E-Book), personalisierter Audio-Feeds und personalisierter Bild- oder Video-Feeds für Passagiere. Das System erhält, übersetzt und liefert den personalisierten Nachrichteninhalt in hörbarer Form innerhalb eines Fahrzeugs ohne explizite Anwenderanforderungen. Eine Einzelperson kann ihre Vorlieben durch das Auswählen aus einem Satz häufiger Informationsquellen oder durch das Spezifizieren anwenderdefinierter Suchkriterien setzen. Wenn neue Informationen verfügbar und für die Vorlieben der Einzelperson relevant sind, werden sie der Einzelperson laut vorgelesen, wenn es geeignet ist. Geeignete Gelegenheiten können durch die Einzelperson unter Verwendung einer Kombination aus der Detektion der Anwesenheit innerhalb des Fahrzeugs, der Tageszeit und der Wichtigkeit der Informationen bezüglich anderer persönlicher Ereignisse einschließlich E-Mail, Telephonanrufen, Besprechungen und Textnachrichten spezifiziert werden.
  • Die Feinabstimmung einzelner Vorlieben wird unter Verwendung negativer Rückkopplung, wie spezifische Geschichten und Ereignisse der Einzelperson laut vorgelesen werden, ausgeführt. Diese negative Rückkopplung wird in Kombination mit den persönlichen Suchkriterien der Einzelperson verwendet, um die Relevanz künftigen personalisierten Inhalts zu verfeinern. Zusätzlich zu dem Online-Nachrichteninhalt kann die Einzelperson außerdem einen anderen verfügbaren Online-Inhalt, einschließlich Aktienmarktereignissen und allgemeinen Web-Suchbegriffen, wählen. Einige Beispiele des personalisierten Inhalts enthalten:
    • • das Wetter,
    • • anwenderdefinierter Alarme (z. B. Aktienkurs-Auslöser),
    • • Verkehrsbedingungen,
    • • personalisierte Nachrichten,
    • • E-Books (nicht eingeschränkt auf Hörbücher, sondern irgendein E-Book),
    • • personalisierte Audio-Feeds,
    • • personalisierte Bild- oder Video-Feeds für Passagiere.
  • Alle Textinformationen werden geparst und übersetzt, um die Verständlichkeit zu optimieren, bevor sie der Einzelperson laut vorgelesen werden.
  • Die Benachrichtigungsregeln können durch die Einzelperson unter Verwendung irgendeiner Kombination aus dem Zeitintervall, der Anwesenheit innerhalb des Fahrzeugs und der Wichtigkeit des Nachrichtenereignisses mit einer geeigneten ortsbezogenen Hardware-Unterstützung festgelegt werden, wobei die Benachrichtigungsregeln außerdem ortsbezogene Einschränkungen enthalten können. Der gewünschte Nachrichteninhalt kann unter Verwendung vorgegebener Schablonen oder anwenderdefinierter Suchbegriffe ausgewählt werden.
  • Die Anwenderrückkopplung wird aufgenommen, um historische Informationen über die Nachrichtenereignisse, die die Einzelperson abhört, die Nachrichtenereignisse, die unterbrochen werden, und die Nachrichtenereignisse, für die die Einzelperson eine explizite Rückkopplung bereitstellt, aufrechtzuerhalten. Diese Informationen werden verwendet, um das Filtern nachfolgender Nachrichteninformationen zu unterstützen und den Anwender mit relevanteren Nachrichteninformationen zu versorgen, je länger er den Dienst verwendet.
  • Um das Volumen der drahtlosen Datenübertragung zu minimieren, werden alles Suchen und die Auswahl des relevanten Inhalts unter Verwendung eines Servers mit einer verdrahteten Datenverbindung ausgeführt. Geeignete Gelegenheiten, um neue Informationen zu präsentieren, werden lokal (innerhalb des Fahrzeugs) detektiert. Wenn eine geeignete Gelegenheit auftritt, wird eine kurze Anforderung gesendet, um die Übertragung der neuesten personalisierten Nachrichteninformationen von dem Such-Server auszulösen.
  • Die Personalisierung
  • Ein weiteres Merkmal in dem Beispielsystem 10 ist die umfassende Personalisierung und anwenderspezifische Anpassung für die E-Mail-Behandlung, die E-Mail-Benachrichtigung, zeitempfindliche Regeln, fahrzeugbezogene Handlungen, Text-zu-Sprache-Vorlieben und die Unterstützung mehrerer Anwender.
  • Die Einstellungen für die E-Mail-Behandlung in dem Profil 30 des Anwenders erlauben es dem Fahrer, das eingebaute intelligente Parsen und Verarbeiten von E-Mails der Steuereinheit 11 zu verwenden. Dies ermöglicht es dem Fahrer, das Empfangen einer Benachrichtigung für jede triviale ankommende E-Mail zu vermeiden. Einige der intelligenten Parsmerkmale enthalten automatische Antworten, das Weiterleiten und das Setzen von Prioritäten basierend auf dem Inhalt und dem Absender und die Ersetzung schwieriger Ausdrücke (z. B. E-Mail-Adressen und Web-Site-URLs) durch einfache Namen und Wörter. Der Fahrer kann außerdem wählen, nur ausgewählte Informationen zu hören, wenn eine neue E-Mail ankommt, (z. B. nur den Namen des Absenders oder den Absender und den Betreff oder eine Kurzzusammenfassung). Es sind außerdem E-Mail-”Klingeltöne” für ankommende E-Mails basierend auf dem Absender oder spezifischen Schlüsselwörtern verfügbar. Es können vorbereitete Text- oder Sprachantworten verwendet werden, um häufig verwendete Antworten zu senden (z. B. ”ich bin gerade jetzt unterwegs”). Einige vorbereitete Kurzantworten können verwendet werden, um eine E-Mail an einen im Voraus ausgewählten Empfänger, wie z. B. einen Verwaltungsassistenten, automatisch weiterzuleiten. Der Fahrer kann außerdem sowohl die E-Mail-Adressen-Konfiguration als auch mehrere E-Mail-Adressenregeln (z. B. verwende ”me@work.com” beim Antworten auf an ”me@work.com” gesendete E-Mails, aber verwende ”me@mobile.com” beim Verfassen neuer E-Mails) einrichten.
  • Der Fahrer kann außerdem die Benachrichtigung anwenderspezifisch anpassen. Das enthält das Setzen von Prioritäten für E-Mails und Telephonanrufe basierend auf einem Anrufer oder Absender und einem Betreff (z. B. lese niemals die E-Mails von Ben laut vor, oder, falls eine E-Mail von George ankommt, sollte sie vor den anderen laut vorgelesen werden). Der Fahrer kann außerdem die Menge der empfangenen Benachrichtigungen begrenzen (z. B. einen minimalen Zeitraum zwischen Benachrichtigungen oder eine maximale Anzahl von E-Mails, die in einem kurzen Zeitraum vorgelesen werden, festlegen).
  • Die zeitempfindlichen Regeln in dem Profil 30 können Optionen enthalten, wie z. B. ”belästige mich nicht am Morgen” oder ”benachrichtige mich nur über ankommende E-Mail zwischen diesen Stunden”. Der Fahrer kann außerdem die Typen der hörbaren Erinnerungen basierend auf den Kalender- und Zeitplanungselementen von der Mobilvorrichtung konfigurieren. Die fahrzeugbezogenen Handlungen sind basierend auf der Anwesenheit des Anwenders in dem Fahrzeug konfigurierbar. Diese Handlungen enthalten den Inhalt von automatischen Antworten und vorgegebene Ziele und Regeln, um spezifische E-Mails automatisch an einen Verwaltungsassistenten oder eine andere Einzelperson weiterzuleiten. Diese enthalten außerdem die Handlungen, die zu unternehmen sind, wenn mehrere bluetooth-fähige Mobilvorrichtungen vorhanden sind (z. B. wechsle zu der stillen ”Bitte-nicht-stören-Betriebsart” oder unternehme keine Handlung).
  • Die Text-zu-Sprache-Einstellungen für die Vorrichtung sind außerdem konfigurierbar. Dies enthält die Spracheigenschaften, wie z. B. die Geschwindigkeit, die Stimme und die Lautstärke. Die Sprache kann z. B. auf männlich oder weiblich eingestellt werden und kann eingestellt werden, um eine Anzahl von Sprachen zu sprechen, einschließlich amerikanischen Englischs, britischen Englischs, Französisch, Spanisch, Deutsch, Italienisch, Holländisch und Portugiesisch, aber nicht eingeschränkt darauf. Ein Basissatz von Sprachen wird mit der Vorrichtung bereitgestellt, wobei alternative Sprachen in der Zukunft verfügbar sind. Der Fahrer kann die persönlichen Vorlieben für die Aussprache spezifischer Wörter, wie z. B. schwieriger Kontaktnamen und spezialisierter Akronym oder Symbole, wie z. B. ”H2O”, festlegen. Durch Vorgabe werden die meisten Akronyme Buchstabe für Buchstabe buchstabiert (z. B. IMS, USB).
  • Die Informationen über spezifische Wörter oder Ausdrücke können verwendet werden, um sowohl die Spracherkennungsleistung als auch die Text-zu-Sprache-Leistung zu verbessern, wobei dies kontextempfindliche Abkürzungen enthält. Die Spitznamen sollten z. B. in eine E-Mail-Adresse erweitert werden, falls der Fahrer eine E-Mail diktiert. Außerdem sollten die E-Mail-Adressen in einen gewöhnlichen Namen erweitert werden, wenn er gefunden wird. Der Fahrer kann außerdem anwenderdefinierte Sprachaufforderungen oder Grüße festlegen.
  • Die Vorrichtung weist außerdem die Unterstützung mehrerer Anwender auf, bei der mehrere Menschen dieselbe Vorrichtung gemeinsam benutzen können. Die Vorrichtung identifiziert jede Person durch ihre Mobilvorrichtung 12 automatisch und erhält individuelle Profile 30 für jeden Fahrer aufrecht.
  • Die Verbindbarkeit
  • Die Verbindbarkeitsfunktionalität der Steuereinheit 11 ermöglicht es ihr, als ein Freisprech-Audiosystem zu arbeiten. Sie tritt mit unterstützten Bluetooth-Freisprechvorrichtungen in Wechselwirkung, einschließlich bluetooth-fähiger Fahrzeuge (z. B. HS, HFP und A2DP), Freisprech-Fahrzeugprodukten des Sekundärmarkts und unterstützten Headsets, um eine Privatsphäre bereitzustellen, aber nicht eingeschränkt darauf. Für Fahrzeuge, die keine Bluetooth- oder andere drahtlose Unterstützung enthalten, kann die Steuereinheit 11 durch eine verdrahtete Verbindung direkt mit dem Audiosystem 16 des Fahrzeugs verbunden werden. Für vorhandene Fahrzeuge, denen die drahtlose Verbindbarkeit fehlt, sind außerdem Nachrüstlösungen in der Form eines optionalen Bluetooth-Bausatzes des Sekundärmarkts verfügbar.
  • Das System 10 kann eine Fernsteuerung 26 enthalten, um auf die Steuereinheit 11 zuzugreifen. Für die direkte Unterstützung in Notfällen ist eine Notfallunterstützung verfügbar, die GPS-Ortsinformationen bereitstellt, falls sie verfügbar sind. Der Fahrer könnte außerdem die Steuereinheit 11 durch ein fortschrittliches drahtloses Hörbar-/Sichtbar-System verwenden, einschließlich derartiger Merkmale wie das Streaming von Musik und das Bereitstellen von Bildinhalt (z. B. PowerPoint, zu E-Mails angefügte Bilder und Diavorführungen). Integrierte Lenkradtasten sind außerdem eine verfügbare Option.
  • Die Steuereinheit 11 kann außerdem an einen Computer und äußere Vorrichtungen angeschlossen werden. Dies enthält Personalcomputer mit Bluetooth, um Informationen über einen persönliches Netz (Personal Area Network – PAN) bequem auszutauschen. Dies enthält außerdem GPS-Vorrichtungen (mit Bluetooth oder einer anderen drahtlosen oder verdrahteten Verbindbarkeit) für die Ortsbezogenheit. Dies enthält außerdem Speichervorrichtungen (Bluetooth oder andere drahtlose oder verdrahtete) für persönliche E-Book-Bibliotheken oder das Managen von Offline-Inhalt mit der vereinheitlichten Freisprechschnittstelle. Es ist ein optionales Kabel zum Steuern eines iPods oder eines anderen Musik-Players mit Sprachbefehlen verfügbar. Durch die USB-Ports der Vorrichtung kann der Fahrer die Funktionalität der Vorrichtung erweitern, indem er derartige Elemente wie eine USB-GPRS/EDGE/3G-Vorrichtung für den direkten Mobilzugriff ohne eine separate Mobilvorrichtung oder ein USB-WiFi für den Hochgeschwindigkeit-Internetzugriff anschließt.
  • Aufrüstfähigkeit und Erweiterung
  • Der Fahrer kann künftige Verbesserungen unter Verwendung von bluetooth-fähigen Standardvorrichtungen drahtlos zu der Steuereinheit 11 hinzufügen. Dies enthält die Unterstützung der drahtlosen Übertragung mit einem Desktop- oder Notebook-Computer, um Informationen zu übertragen und zu synchronisieren. Es ist außerdem eine fortschrittliche Bluetooth-Profilunterstützung (z. B. A2DP) für Stereo- und hochqualitatives Audio verfügbar.
  • Wie vorher erwähnt worden ist, enthält die Steuereinheit 11 zwei USB-Ports. Der oder die Standard-USB-Port bzw. -Ports stellen einen zweckmäßigen Zugriff auf Standard-USB-Vorrichtungen bereit, um die Vorlieben auf einem Standard-USB-Flash-Laufwerk zu speichern; durch die Vorrichtung aufgezeichnete Offline-Notizen und -Transkriptionen zu speichern und zu bewegen; und für künftige Erweiterungs-, Aufrüst- und Anbaumerkmale. Der oder die Doppelzweck-USB-2.0-Port bzw. -Ports ”für unterwegs” stellt bzw. stellen sowohl die oben erwähnten Merkmale, um auf USB-Vorrichtungen zuzugreifen, als auch direkte Verbindungen zu einem Computer mit einem Standardkabel (z. B. ähnlich zum Anschließen einer Digitalkamera oder einer GPS-Einheit direkt an einen Computer) bereit.
  • Der Medienaustausch
  • Wie angegeben ist, spielt die Steuereinheit 11 außerdem sowohl Audiodateien, wie z. B. .mp3s, .wavs, .AIFFs und andere komprimierte oder unkomprimierte Audioformate, als auch Videodateien ab. Der Anwender kann irgendeinen Medieninhalt (z. B. Lieder, Video, Bücher usw.) auf mehrere Arten anfordern. Der Anwender bildet mit der Steuereinheit 11 eine Schnittstelle, die über die Mobilvorrichtung 12 eine E-Mail-Anforderung mit so vielen Informationen wie der Anwender einbeziehen kann, wie z. B. den Autor, den Sänger, den Titel, den Medientyp usw., an den Server 27 (oder einen dedizierten Server) sendet. Die Steuereinheit 11 könnte die E-Mail unter Verwendung der Sprache-zu-Text-Umsetzung erzeugen. Die Steuereinheit 11 könnte alternativ eine Audiodatei mit einer Sprachanforderung von dem Anwender für den Medieninhalt (die abermals den Autor, den Sänger, den Titel, die Medientyp usw. identifiziert) anfügen. Die Steuereinheit 11 könnte außerdem eine Audiodatei des Anwenders, der ein gewünschtes Lied summt, senden.
  • Die Unterhaltungssystemkomponenten 16, 16A, 16B können Inhaltsinformationen (z. B. REDS-/RDS-Informationen), die den Liedtitel und den Künstler, die aktuell für die Steuereinheit 11 abgespielt werden, identifizieren, senden (wie z. B. über die Leitungen 54). Alternativ kann die Steuereinheit den über die Lautsprecher abgespielten Ton hören (z. B. über die Leitung 15 oder über das Mikrophon 17). Falls der Anwender angibt, dass er den aktuell abgespielten Medieninhalt mag, (wie z. B. durch das Sprechen von ”mir gefällt dieses Lied” oder ”mir gefällt dieses Video”), identifiziert die Steuereinheit 11 den aktuell abgespielten Medieninhalt (wobei sie diese Identifikation bereits direkt besitzen kann oder wobei sie sie erhalten kann, indem sie den Medieninhalt über die Leitung 15 oder über das Mikrophon 17 abtastet und ihn an einen Server, wie z. B. den Server 27, für die Identifikation sendet). Nachdem die Steuereinheit 11 die Identität des Medieninhalts bestimmt hat, kann die Steuereinheit die Informationen dem Anwender vortragen, einschließlich der Kosten für das Kaufen des Medieninhalts und des Anbietens der Option, den Medieninhalt zu kaufen. Die Steuereinheit 11 kann außerdem den Anwender fragen, in welchem Format der Medieninhalt zu kaufen ist (z. B. .mp3 durch Herunterladen, CD per Post, DVD per Post usw.), ob nur der spezifische Medieninhalt zu kaufen ist oder ob das gesamte Album, das den Medieninhalt enthält, zu kaufen ist, ob ein weiterer Medieninhalt von demselben Künstler zu erkunden ist usw. Auf eine verbale Anforderung von dem Anwender sendet die Steuereinheit 11 die Anforderung des Medieninhalts, wie z. B. durch das Senden einer E-Mail-Anforderung an den Server 27.
  • Ungeachtet des Formats der Anforderung parst der Server 27 die E-Mail-Anforderung, um den Anfordernden zu identifizieren und den gewünschten Medieninhalt zu bestimmen. Es können einige Annahmen gemacht werden, z. B. ob der Anwender nur einen Autor oder einen Sänger spezifiziert, dass die neueste Arbeit des Sängers/Autors bereitgestellt wird.
  • Sobald der Medieninhalt gekauft worden ist, ruft der Server 27 den Medieninhalt von seinen eigenen Datenbanken oder anderen Datenbanken 52, die über das Internet (oder ein anderes weiträumiges Netz) zugänglich sind, ab. Dann fügt der Server 27 den angeforderten Medieninhalt an eine E-Mail an, die Identifizierungsinformationen enthält, wobei er sie an den Anwender sendet. Die Steuereinheit 11 empfängt die E-Mail über die Mobilvorrichtung 12, identifiziert die Antwort auf die Anforderung, speichert den Medieninhalt in einem Speicher in der Steuereinheit 11 und beginnt die Wiedergabe. Wenn es geeignet ist, kann der Server 27 optional das Konto des Anwenders für den Kauf des Medieninhalts belasten (das Konto des Anwenders kann mit einer Kreditkarte, einem Bankkonto oder einem anderen Bezahlverfahren verknüpft sein).
  • Nach dem Abruf und der Speicherung identifiziert die Steuereinheit 11 den Medieninhalt, der durch den Anwender empfangen wurde, durch das Bekanntgeben des Titels, des Autors/des Sängers, des Medientyps usw. und das Fragen des Anwenders, ob der Anwender wünscht, dass die Steuereinheit 11 den Medieninhalt abspielt, den Medieninhalt archiviert oder den Medieninhalt ignoriert. Die Wiedergabe kann durch Sprachbefehle (schneller Vorlauf, Zurückspulen, Wiederholen, Pause, Abspielen usw.) gesteuert werden.
  • Als eine Option enthält jedes der Konten 30 ferner ein zugeordnetes Medienspeicher-Konto 31, in dem jeder durch den Anwender angeforderte Medieninhalt gespeichert wird, bevor eine Kopie zur Steuereinheit 11 des Anwenders weitergeleitet wird. Dies stellt eine Sicherung des Medieninhalts bereit und fördert die gemeinsame Benutzung des Medieninhalts mit anderen.
  • Der Anwender kann den Medieninhalt zu anderen Anwendern weiterleiten, indem er mit der Steuereinheit 11 eine Schnittstelle bildet, um eine E-Mail an den Server 27 zu erzeugen, die den Inhalt (wie oben) spezifiziert und außerdem die Person oder das Konto spezifiziert, an die bzw. das der Medieninhalt weitergeleitet wird. Falls der Inhalt bereits in dem Medienspeicher-Konto 31 des Absenders gespeichert ist, sendet der Server 27 eine Kopie an das Medienspeicher-Konto 31 des Empfängers und eine Kopie per E-Mail an den vorgesehenen Empfänger. Falls der Inhalt nicht bereits in dem Medienspeicher-Konto 31 des Absenders gespeichert ist, erhält der Server 27 eine Kopie (wie oben), wobei er sie in das Medienspeicher-Konto 31 des Empfängers setzt. Der Server 27 belastet das Konto des Absenders für den an den Empfänger gesendeten Inhalt wie es auf basierend auf den Lizenzierungsvereinbarungen geeignet ist. Die Steuereinheit 11 (oder Ähnliches) des Empfängers würde den Inhalt und den Sender bekanntgeben und fragen, den Inhalt abzuspielen.
  • Die Medien können in einem proprietären Format bereitgestellt werden, das nur durch den Server 27 und autorisierte Steuereinheiten 11 lesbar ist.
  • Das Medienspeicher-Konto 31 jedes Anwenders speichert allen durch den Anwender angeforderten Medieninhalt und allen von anderen empfangenen Medieninhalt. Wenn die Steuereinheit 11 die Mobilvorrichtung 12 des Anwenders detektiert, die mit der Steuereinheit 11 verbunden ist, wird eine Nachricht an den Server 27 gesendet, die angibt, dass der Anwender nun Medieninhalt empfangen kann. Der Server 27 stellt eine Meldung bereit, die die Steuereinheit 11 dem Anwender vorliest, der den Medieninhalt in dem Medienspeicher-Konto 31 hört. Der Anwender kann wählen, den Medieninhalt abzuspielen, ihn auf der Steuereinheit 11 zu archivieren, ihn abzulehnen oder das Empfangen zu verschieben. Jeder Anwender besitzt sein eigenes Medienspeicher-Konto 31 wie er einen Postkasten besitzt. Der Anwender kann das zugeordnete Medienspeicher-Konto auf Lieder (oder anderen Medieninhalt) prüfen, die Titel durchstöbern und wählen, die Auswahlen abzuspielen oder den Medieninhalt in dem Medienspeicher-Konto 31 zu einer Person, die er in seiner Kontaktliste besitzt, weiterzuleiten.
  • Dieses Merkmal stellt eine Sicherung des Medieninhalts des Anwenders bereit, stellt eine leichte Art für den Anwender bereit, Medieninhalt im Fahrzeug anzufordern und abzuspielen, und stellt eine leichte Art für den Anwender bereit, den Medieninhalt mit anderen Anwendern gemeinsam zu nutzen.
  • Fahrzeug-zu-Fahrzeug-Unterhaltungsnetze
  • Zusätzlich zu der Basiskommunikation mit anderen Fahrzeugen kann der Anwender das System außerdem anweisen, eine Mitgliedschaft in mehreren Unterwegs-Kommunikationsgruppen oder -netzen zu erzeugen oder anzufordern. Diese Netze bestehen aus zwei oder mehr Systemanwendern, die durch die Anordnung von Servern auf eine derartige Art verbunden sind, dass sie während des Fahrens miteinander kommunizieren können, ganz wie eine Telekonferenz.
  • Jeder Anwender kann jedes seiner Unterwegs-Netze als sein [NAME]-Unterwegs-Netz definieren. Das System bezieht sich durch diese Spezifikation auf jedes Netz. Der Anwender kann (über Sprachbefehle) ausgewählte Kontakte aus der Kontaktliste des Anwenders auswählen, die zu dem Netz hinzuzufügen sind. Jeder Anwender kann Mitglied von mehr als einem Netz sein.
  • Die Anwenderinformationen und das Profil 30 jedes Mitglieds des Netzes sind in dem Server gespeichert, wobei, wenn ein Mitglied des Netzes innerhalb des Bereichs seines Fahrzeugs 8 ankommt, das System alle anderen aktiven Mitglieder des Netzes in Abhängigkeit von den Vorlieben des individuellen Anwenders entweder über Sprache oder über eine Tonbenachrichtigung benachrichtigt.
  • Während der Anwender oder die Anwenderin unterwegs ist, kann er bzw. sie das System durch einen Sprachbefehl anweisen, ihn oder sie mit einer laufenden Unterhaltungssitzung zu verbinden. Der Anwender kann außerdem das System anweisen, nur der Unterhaltungssitzung zuzuhören, bei der der Anwender nur den Dialog inmitten des aktiven Unterwegs-Kommunikationsnetzes hören kann. Der Anwender kann außerdem eine Unterhaltungssitzung einleiten, indem er verbal spezifiziert, in welches Netz er einzugreifen wünscht.
  • Alternativ kann der Anwender außerdem das System anweisen, seinen aktiven Zustand vor jedem seiner Unterwegs-Netze zu verbergen. Der Anwender kann außerdem das System anweisen, sich zu irgendeinem gegebenen Zeitpunkt aus irgendeiner gegebenen Unterhaltungssitzung zurückzuziehen.
  • Während einer Unterwegs-Unterhaltungssitzung kann die Kommunikation durch zwei Mittel geliefert werden. Das System kann die Sprache des Anwenders in eine Textnachricht übersetzen, wobei die Textnachricht dann an alle aktiven Mitglieder in dem Netz verteilt wird. Das System kann außerdem Sprachnotizen oder Aufzeichnungen der Stimme des Anwenders an alle aktiven Mitglieder in dem Netz verteilen.
  • Während einer Unterwegs-Unterhaltungssitzung kann das System ein Server-Backend verwenden, um Austauschvorgänge zwischen den Mitgliedern eines Netzes zu managen und zu verarbeiten, um die rechtzeitige Lieferung der Inhalte sicherzustellen.
  • Während einer Unterwegs-Unterhaltungssitzung fährt das System fort, ankommende Anrufe, E-Mails, SMS, Anrufe, Kalenderereignisse und andere Materialien zu managen. Der Anwender kann das System anweisen, seine Unterwegs-Unterhaltungssitzung nicht zu unterbrechen oder sie nur mit einem Ton zu unterbrechen, der die Ankunft von neuen Informationen angibt.
  • Das Sprachbuch
  • Ein Anwender kann einen Ordner zu seiner persönlichen Webseite (z. B. Facebook, Myspace usw.) hinzufügen, der öffentlich, privat oder nur für den Zugang durch durch den Anwender spezifizierte Einzelpersonen aus seiner Kontaktgruppe verfügbar ist. Diese Einstellungen können dem System durch einen Sprachbefehl spezifiziert werden.
  • Während des Fahrens kann der Anwender Unterwegsnotizen oder -gedanken verfassen. Das System versendet diese Aufzeichnungen als Einträge in dem Ordner, damit die Kontakte zugreifen. Sobald eine Notiz versendet worden ist, benachrichtigt das System andere Systemanwender, dass ein Gedanke/eine Notiz versendet worden ist.
  • Der sekundäre Anwender kann das System anweisen, die Notiz abzurufen und ihm die Datei abzuspielen, wie er fährt. Außerdem können die Anwender unter Verwendung eines Computers durch das Herunterladen und das Öffnen der Notizen als Audiodateien auf die Notiz zugreifen und sie anhören.
  • Geringer Treibstoff/Tankunterstützung
  • Wie sich der verbleibende Treibstoff niedrigen Pegeln nähert, wird eine sprachgesteuerte Führung bereitgestellt, um die nächste oder billigste örtliche Tankstelle (einschließlich des aktuellen Preises) zu identifizieren und falls gewünscht die Richtungen anzubieten.
  • Geringer Treibstoff/Tankunterstützung
  • Wie angefordert oder nach dem Tanken wird eine gesprochene Zusammenfassung des jüngsten Fahrverhaltens bereitgestellt. Diese Zusammenfassung enthält Informationen über den Treibstoffwirkungsgrad und Umwelteinflüsse zusammen mit relevanten Hinweisen und Vorschlägen, um das Fahrverhalten zu verbessern oder ein gutes Fahrverhalten zu fördern.
  • Soziale Vernetzung
  • Intelligenter Kontakt
  • Wenn jemand auf den aktuellen Ort einer Einzelperson oder einer Gruppe von Kontakten neugierig ist, kann er einfach eine schnelle Lokalisierung anfordern. Die Ortsinformationen der Einzelpersonen werden verwendet, um das Anruf-Routing und die Zustellung von SMS, VoiceNotes oder anderen Informationen zu dem geeigneten Ort (d. h. das Zuhause, die Arbeit, mobil) zu vereinfachen.
  • Nahegelegene Kontakte
  • Unter Verwendung der automatischen Ortsaktualisierungen von nahegelegenen Kontakten kann jemand einfach fragen ”wer befindet ist unterwegs”, um mehr über die nahegelegenen Kontakte zu erfahren, die sich momentan in ihrem Fahrzeug 8s befinden. Eine Rundfunk-VoiceNote kann auf Wunsch an die Gruppe oder direkt an eine spezifische Einzelperson gesendet werden.
  • Inhaltszustellung auf Abruf und ortsbasierte Dienste
  • Echtzeit-Verkehrsaktualisierungen
  • Live-Verkehrsinformationen auf Abruf sind jederzeit durch das einfache Fragen, um ”den Verkehr zu prüfen”, verfügbar. Die Verkehrsinformationen werden basierend auf historischen Fahrmustern und dem historischen Fahrverhalten für spezifische Fahrtrouten personalisiert.
  • Sprachgesteuerte Navigation und Punkte von Interesse
  • Die relevanten Punkte von Interesse können einfach durch Fragen identifiziert werden. Die nächste Tankstelle kann z. B. zusammen mit einer Reiseführung auf hohem Niveau angefordert werden.
  • Interna/Konfiguration
  • Es gibt mehrere Bereiche der Personalisierung, einschließlich MpG oder I/100 km, bevorzugte Tankstellen, Servicezentren und Kontaktgruppen.
  • Implizite Zuordnung und Polymorphismus
  • Die oben beschriebene sprachbasierte Anwender-System-Wechselwirkung kann die implizite Zuordnung und den Polymorphismus ausnutzen, um ein glattes und effektives Reden zwischen dem Anwender und dem sprachfähigen System zu erreichen. Diese Anwender-System-Wechselwirkung kann an der Steuereinheit 11, am Server 27 oder an beiden stattfinden. Folglich wird die Wechselwirkung als zwischen dem Anwender und dem System 10 beschrieben. 3 ist ein Schema einer objektbasierten Anwenderschnittstelle, die in dem System nach den 1 und 2 verwendet werden könnte.
  • In 3 definiert im Schritt 62 der Anwender ein Objekt, entweder explizit (”definiere das Objekt John Smith”) oder implizit durch die Verwendung (z. B. ”sende eine E-Mail an John Smith”). Das System 10 parst das Objekt, um seinen Typ und seine Attribute abzuleiten, wobei das Objekt im Schritt 63 der ”aktuelle Mittelpunkt” wird. Das System passt das Verhalten seiner Verarbeitungsverfahren in Abhängigkeit von der Interpretation des Objekts an. Wenn das Objekt eine leere Menge ist, dann verwendet das System sein normales Verhalten, bei dem es den Anwender nach Hinweisen fragt. Ein Objekt kann durch mehr als ein Verfahren wiederverwendet werden. Mit dem Objekt als aktuellen Mittelpunkt kann der Anwender im Schritt 64 eine kurze oder unterspezifizierte Handlung ausgeben, wie z. B. ”ruf ihn an” oder ”geh dahin” usw. Das Objekt der Handlung wird im Schritt 65 unter Verwendung des aktuellen Mittelpunkts implizit bestimmt, was im Schritt 66 auf der Wissensbasis (die die Objekttypen und -attribute enthält) basiert.
  • Anschließend kann der Anwender im Schritt 67 zusätzliche kurze oder unterspezifizierte Handlungen ausgeben, wie z. B. ”sende ihm eine E-Mail” oder ”prüfe das Wetter”, wobei das Objekt im Schritt 68 unter Verwendung des aktuellen Mittelpunkts und der früheren Kenntnis über das Objekt implizit bestimmt wird.
  • In 4 können die Objekte, die eine Natur der sich wiederholenden Verwendung besitzen, für die künftige Verwendung gestapelt werden. Im Schritt 69 kann der Anwender ein Objekt explizit zu dem Stapel 70 hinzufügen. Der Anwender kann den Objektstapel 70 öffnen und den Stapel 70 nach einem spezifischen Objekt durchstöbern, auf das der Anwender die Verfahren anwenden kann. Später, wenn sich kein Objekt im aktuellen Mittelpunkt befindet, veranlasst eine kurze oder unterspezifizierte Handlung von dem Anwender im Schritt 71 das System 10, im Schritt 72 ein relevantes (typgeeignetes) Objekt aus dem Stapel 70 zu extrahieren. Falls es mehr als ein Objekt in dem Stapel gibt, können bestimmte Handlungen basierend auf dem Typ oder basierend auf den Informationen von dem Anwender nur für eines der Objekte in dem Stapel relevant oder angemessen sein. ”Rufe Bob an” kann z. B. die anzurufende Person in dem Kontext der gesamten Kontaktliste des Anwenders unterspezifizieren, es kann aber ein einzelnes Objekt in dem Objektstapel vollständig spezifizieren, selbst wenn es mehrere Kontakte in dem Stapel 70 gibt. Das System 10 fragt den Anwender, um zu bestätigen (”meinen Sie Bob Jones?”), bevor es die Handlung abschließt.
  • Im Schritt 73 kann der Anwender eine Handlung unterspezifizieren, die das System 10 im Schritt 74 mit unzureichenden Informationen zurücklässt, um die Handlung abzuschließen. Im Schritt 75 kann der Anwender explizit auf den Stapel 70 Bezug nehmen, um die Handlung abzuschließen. Alternativ kann der Anwender vor dem Spezifizieren einer Handlung auf den Stapel 70 Bezug nehmen.
  • Die Verwendung der alphanumerischen Erkennung versieht den Anwender mit einer Alternative, um eine erfolgreiche Eingabe des Objekts sicherzustellen. Es wird ein Zugang ”A wie in Apfel” verwendet, um die Erkennung des Buchstabierens zu verbessern. Sobald eine Eingabe als ein Objekt erkannt worden ist, würde sie Verfahren und Attribute besitzen. Die Verfahren könnten Handlungen sein, die als Sprachbefehle verfügbar sind, sobald ein Objekt den Mittelpunkt besitzt.
  • Die Objekttypen enthalten Text, Audiodaten, Videodaten und Dokumente.
  • Die Quelle des Objekts könnte eine von mehreren sein. Das System hört dem Anwender zu, um die vom Anwender gesprochenen Wörter als ein Objekt zu erkennen, oder das Objekt wird durch den Anwender buchstabiert. Der Text wird aus Quellen, wie z. B. E-Mails, SMS und anderen Anwendungen, extrahiert. Der Ton wird unter Verwendung eines Mikrophons erhalten oder aus einer E-Mail-Nachricht oder anderen Anwendungen extrahiert. Das Video wird durch einen Videosensor erhalten oder aus einer E-Mail-Nachricht oder anderen Anwendungen extrahiert. Das Dokument kann als ein Anhang in einer E-Mail oder von anderen Anwendungen, wie z. B. dem Dateisystem in der Vorrichtung oder dem Dateisystem eines entfernten Servers, ankommen.
  • Der Anwender kann z. B. sagen ”Buchstabieren des Objekts”. Das System hört dem Anwender zu, der z. B. OBAMA sagen würde – wobei er fortfährt, es als wie in Orange, ”B” wie in Bob, ”A” wie in Alpha, ”M” wie in Mama, ”A” wie in Alpha zu buchstabieren.
  • Die Textobjekttypen enthalten Person, Ort, Zustand, Artikel, Entität, E-Mail, SMS, Dokument usw.
  • Die Personenattribute enthalten Freund, Manager, Bruder, Ehefrau, Schwester, Kontakt, Prominenter usw. Das System 10 würde eine angemessene Substantiv-Datenbank (entweder in dem Server 27 oder lokal in der Steuereinheit 11 gecached) enthalten, um die Erkennung der Orte, Berühmtheiten usw. zu unterstützen.
  • Die Ortsattribute enthalten Land, Kontinent, Stadt, Ortsadresse usw.
  • Die Entitätsattribute enthalten den Entitätsnamen, das Geschäft der Entität usw.
  • Das Folgende ist ein Beispiel einer ”Person”, die ein ”Kontakt” ist:
    Jack Campbell ist ein Kontakt (Instanz).
    Er besitzt eine Telephonnummer (Attribut).
  • Wenn sich der Mittelpunkt auf dem Objekt befindet, könnten die Sprachbefehle enthalten:
    ”Ruf ihn zuhause an” (Verfahren, das auf das Telephonnummern-Attribut zugreift).
    ”Sende ihm eine Textnachricht” (Verfahren).
    ”Manage Verabredungen, die ihn einbeziehen” (Verfahren).
    ”Prüfe das Wetter, wo er lebt” (könnte dorthin fahren).
    ”Durchstöbere die neuesten E-Mail-Nachrichten, die er mir gesendet hat.”
  • Das Folgende ist ein Beispiel einer ”Person”, die eine ”Berühmtheit” ist:
    Tiger Woods ist eine Berühmtheit (Instanz).
  • Wenn sich der Mittelpunkt auf dem Objekt befindet, könnten die Sprachbefehle enthalten:
    ”Lese die Nachrichtenartikel über ihn” (Verfahren).
    ”Empfange die RSS-Feeds über ihn.”
    ”Plane von fern die Aufzeichnung seines nächsten Golfspiels.”
  • Das Folgende ist ein Beispiel eines ”Ortes”, der ein ”Restaurant” ist:
    Wildcraft ist ein Restaurant (Instanz).
    Es besitzt eine Adresse und eine Telephonnummer (Attribute).
    Es besitzt Öffnungszeiten (Attribut).
  • Wenn sich der Mittelpunkt auf dem Objekt befindet, könnten die Sprachbefehle enthalten:
    ”Wo ist es?” (Verfahren).
    ”Wie gelange ich dorthin?” (Verfahren).
    ”Wann ist es offen?” (Verfahren, das auf das Öffnungszeiten-Attribut zugreift).
    ”Hören der Rezensionen” (Verfahren).
    ”Anrufen, um eine Reservierung zu machen” (Verfahren).
  • Das Folgende ist ein Beispiel eines Ereignisses, das eine Besprechung ist:
    Sprint Demo ist eine Besprechung (Instanz).
    Sie besitzt einen Ort (Attribut) → Ort.
    Sie besitzt eine Zeit (Attribut).
    Sie besitzt Teilnehmer (Attribut) → Personen.
  • Wenn sich der Mittelpunkt auf dem Objekt befindet, könnten die Sprachbefehle enthalten:
    ”Wer geht?” (Verfahren, das auf das Teilnehmer-Attribut zugreift).
    ”Wann ist sie?”
    ”Worum geht es?”
  • Die Verfahren sind Verarbeitungsschritte, die auf das Objekt wirken, um eine Aufgabe auszuführen oder um ein Ergebnis zu erzeugen. Das Verfahren ordnet implizit gewünschte Handlungen zu, um das gewünschte Ergebnis zu erzeugen. Die Verfahren können in der Form von Sprachbefehlen vorliegen. Die Vererbung und andere objektorientierte Aspekte spielen hier einige Rollen, insbesondere wenn sich die Objekte schneiden. Ein Anwender könnte z. B. nach Nachrichten über eine Firma fragen, was bedeuten würde, dass der Anwender über diese Firma in einem allgemeinen Sinn als eine Entität fragt. Während dieses Objekt immer noch aktiv ist, könnte der Anwender nach den Richtungen fragen, was implizieren würde, dass der Anwender nun nach einem spezifischen Ort der Firma und nicht nach der allgemeinen Geschäftsentität fragt (z. B. eine Restaurantfranchise- oder Kaufhauskette mit vielen Orten gegen einen spezifischen Ort von einem der Restaurants oder Kaufhäuser).
  • Das Verhalten des Verfahrens wird basierend darauf entschieden, ob:
    Ein Objekt aktiv ist: in diesem Fall leitet das System den Typ des Objekts ab (ist es ein Kontaktname, ein Name eines Landes, ein Restaurantname, ein Firmenname usw.).
    Kein Objekt ist aktiv: in diesen Fall fragt das System den Anwender nach angemessenen Verfahrensargumenten.
    Beispiele von Verfahren: Prüfen der Nachrichten, Suchen, Überprüfen des Wetter, Verfassen einer E-Mail, Prüfen des Posteingangs, Durchstöbern, Navigieren.
  • Szenarios:
    • Fall 1: Der Anwender sagt: ”Überprüfe die Nachrichten.”
    • Das System sagt: ”Welchen Typ der Nachrichten?”
    • Der Anwender sagt ”geschäftlich”, wobei das System die geschäftlichen Nachrichten dem Anwender vorliest.
    • Fall 2: Der Anwender sagt: ”Buchstabieren eines Objekts.”
    • Das System sagt: ”Buchstabieren Sie bitte Ihr Objekt.”
    • Der Anwender sagt: OBAMA – wobei er fortfährt, es als ”O” wie in Orange, ”B” wie in Bob, ”A” wie in Alpha, ”M” wie in Mama, ”A” wie in Alpha zu buchstabieren.
    • Das System bestätigt ”OBAMA?”
    • Der Anwender sagt ”ja” und sagt dann: ”Überprüfe die Nachrichten.”
    • Das System leitet ab, dass ”OBAMA” eine Person ist.
    • Das System sagt: ”Überprüfen der Nachrichten über Obama.”
  • Es wird bemerkt, wie sich ”Überprüfen der Nachrichten” vor und nach der Einführung des Objekts verschieden verhält.
    Der Anwender sagt: ”Überprüfe den Posteingang.”
    Das System sagt: ”Überprüfen Ihres Posteingangs nach Nachrichten, die OBAMA enthalten.”
    Der Anwender sagt: ”Verfassen einer E-Mail.”
    Das System sagt: ”Verfassen Sie bitte Ihre E-Mail an OBAMA”.
    Der Anwender sagt: ”Überprüfe das Wetter.”
    Das System sagt: ”Überprüfen des Wetters, wo OBAMA lebt – Washington.”
    Der Anwender sagt: ”Suchen.”
    Das System sagt: ”Durchsuchen des Internets nach Obama.”
    Das System liest dem Anwender die Informationen über Obama vor.
    Der Anwender sagt: ”Vergiss dieses Objekt.”
    Das System sagt: ”Das Objekt ist vergessen.”
    Der Anwender sagt: ”Überprüfe das Wetter.”
  • Das System sagt: ”Für welche Stadt?” (Falls das Objekt nicht vergessen worden ist, würden die Systeme es implizit als den Gegenstand für das Wetter verwendet haben, falls das Objekt ein Name einer Stadt war, wird die Suche über die Stadt sein, falls es eine Person war, würde die Suche über die Stadt sein, wo die Person lebt, usw.)
    Der Anwender sagt: ”Ottawa”.
    Das System sagt: ”Ist es das Ottawa Ontario?”
    Der Anwender sagt ”ja”.
    Das System sagt: ”Überprüfen des Wetters für Ottawa-Ontario.”
  • Es wird der Unterschied in dem Verhalten des Überprüfens des Wetters bemerkt, wenn das Objekt aktiv ist.
    Der Anwender sagt: ”Verfassen einer E-Mail.”
    Das System sagt: ”An wen möchten Sie die E-Mail verfassen” (falls das Objekt nicht vergessen worden ist, verwendet die E-Mail es impliziert als den Gegenstand der E-Mail, wobei es folglich die Frage nicht gestellt hat).
    Der Anwender sagt: ”An Jeff Smith”.
    Das System sagt: ”Verfassen Sie bitte Ihre E-Mail an Jeff.”
  • Es wird bemerkt, wie sich das Verfassen von E-Mails in Abhängigkeit von einem leeren/nicht leeren Objekt verschieden verhält.
  • Das Objektstapelmanagement:
    Der Objektstapel 70 kategorisiert die Objekte basierend auf der Verwendung.
    Zum Beispiel:
    Der Anwender sagt: ”Buchstabieren des Objekts.”
    Das System sagt: ”Bitte buchstabiere das Objekt”.
    Der Anwender sagt: ”485 C wie in Charlie, L wie in Lemma, A wie in Alpha, Y W O O D wie in Disney.”
    Das System sagt: ”Ist das 458 Claywood?”
    Der Anwender sagt ”ja”.
    Das System sagt: ”Objekt akzeptiert.”
    Der Anwender sagt: ”Navigation”.
  • Das System nimmt den Anwender zum Navigationsmenü. 458 Claywood wird als ein Objekt im Objektstapel als eine Navigationsobjekte-Kategorie aufgezeichnet. Künftige Navigationssitzungen verwenden dieses Objekt, um die Spracherkennung zu optimieren und den Anwender mit diesem Objekt als eine der Navigationsauswahlen (z. B. als ein Ziel) basierend auf seiner Anpassung an die Spracheingabe aufzufordern. Folglich werden die Objekte Operatoren zugeordnet, die auf sie wirken können.
  • Der Objektstapel 70 definiert außerdem einen Eingabetyp für die Befehle. Ein Navigationsbefehlsbaum ermöglicht z. B., dass der Objektstapel 70 in Reaktion auf das Navigationsmenü bereitgestellt wird. Zum Beispiel:
    Der Anwender sagt: Zieleintrag.
    Das System sagt: Zu welcher Adresse?
    Der Anwender sagt: Objektstapel.
  • Das System parst durch die Navigationskategorie in dem Objektstapel 70. Das System fordert den Anwender mit den möglichen Zielen für die Bestätigung auf. Dies gilt für alle Befehle. Zum Beispiel:
    Anwender: Namentlicher Anruf.
    System: Welchen Namen wollen Sie anrufen?
    Anwender: Objektstapel.
  • Falls die Kontaktkategorie nur einen Eintrag besitzt, wird der Eintrag dem Anwender für die Bestätigung präsentiert. Falls es mehr als einen Kontakt gibt, verwendet das System den Namentlichen-Anruf-Dialog, um durch die Kontakte zu parsen, um nach einem Kontakt zu suchen, der der Spracheingabe des Anwenders entspricht.
  • Der Objektstapel 70 repräsentiert eine kategorisierte Menge von Objekten, die häufig manipuliert werden und als solche wichtig sind, um sie in relevanten Kontexten, die der vorgegebenen Kategorie zugeordnet sind, leicht abzurufen und erneut anzuwenden. Die Objekte können zu mehreren Kategorien innerhalb des Stapels 70 gehören, wie z. B. eine Einzelperson, die sowohl zu einer ”Navigations”-Kategorie als auch zu einer ”Kontakt”-Kategorie gehört.
  • Gemäß den Vorschriften der Patentgesetze und der Jurisprudenz werden die oben beschriebenen beispielhaften Konfigurationen betrachtet, dass sie eine bevorzugte Ausführungsform der Erfindung darstellen. Es sollte jedoch angegeben werden, dass die Erfindung anders praktiziert werden kann als spezifisch veranschaulicht und beschrieben worden ist, ohne von ihrem Erfindungsgedanken oder Umfang abzuweichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • IEEE 802.15.1 [0008]

Claims (17)

  1. Verfahren zum Betreiben eines Computers basierend auf einer menschlichen Eingabe, das die folgenden Schritte enthält: a) Empfangen einer Eingabe von einem Menschen; b) Erkennen der Eingabe als ein Objekt; und c) Zuordnen wenigstens eines Attributs zu dem Objekt basierend auf dem Schritt b).
  2. Verfahren nach Anspruch 1, das ferner den Schritt des Zuordnens mehrerer Verfahren zu dem Objekt basierend auf dem Schritt b) enthält.
  3. Verfahren nach Anspruch 1, wobei der Schritt a) den Schritt des Empfangens und Parsens einer hörbaren Spracheingabe von dem Menschen enthält.
  4. Verfahren nach Anspruch 1, wobei der Schritt a) den Schritt des Empfangens und Parsens einer E-Mail enthält.
  5. Verfahren nach Anspruch 1, das ferner den Schritt des Empfangens eines Befehls und des Ausführens des Befehls an dem Objekt basierend auf dem Attribut enthält.
  6. Verfahren nach Anspruch 1, das ferner die folgenden Schritte enthält: d) Erkennen des Zustands des Objekts als aktiv; e) Empfangen eines Befehls; und f) Ausführen des Befehls an dem Objekt basierend auf dem Zustand des Objekts als aktiv.
  7. Verfahren nach Anspruch 1, wobei das Objekt ein erstes Objekt ist, wobei das Verfahren ferner die Schritte des Erkennens einer zweiten Eingabe von dem Menschen als ein zweites Objekt und des Speicherns des ersten Objekts und des zweiten Objekts in einem Stapel enthält.
  8. Verfahren nach Anspruch 7, das ferner die folgenden Schritte enthält d) Empfangen eines Befehls; und e) Ausführen des Befehls an entweder dem ersten Objekt oder dem zweiten Objekt basierend auf dem ersten oder dem zweiten Objekt, die in dem Stapel gespeichert sind.
  9. Verfahren nach Anspruch 1, wobei das Objekt eine Person ist.
  10. Verfahren nach Anspruch 9, das ferner die Schritte des Empfangens eines Befehls und des Ausführens des Befehls an dem Objekt basierend auf dem Attribut enthält.
  11. Verfahren nach Anspruch 9, das ferner die Schritte des Empfangens eines Befehls, um das Objekt anzurufen, und des Tätigens eines Telephonanrufs in Reaktion auf den Befehl basierend auf dem Attribut und basierend auf dem Objekt, das eine Person ist, enthält.
  12. Verfahren nach Anspruch 9, das ferner die Schritte des Empfangens eines Befehls, um zu dem Objekt zu navigieren, und des Bestimmens eines Wegs in Reaktion auf den Befehl basierend auf dem Attribut enthält.
  13. Verfahren nach Anspruch 1, wobei das Objekt ein Ort ist.
  14. Verfahren nach Anspruch 13, das ferner die Schritte des Empfangens eines Befehls, um zu dem Objekt zu navigieren, und des Bestimmens eines Wegs zu dem Objekt in Reaktion auf den Befehl basierend auf dem Attribut enthält.
  15. Verfahren nach Anspruch 1, wobei der Schritt a) in einem Fahrzeug ausgeführt wird.
  16. Verfahren nach Anspruch 1, das ferner die folgenden Schritte enthält: d) Empfangen eines unterspezifizierten Befehls von dem Anwender; e) Auflösen des unterspezifizierten Befehls von dem Anwender basierend auf dem Objekt; und f) Ausführen des Befehls von dem Anwender an dem Objekt.
  17. Verfahren nach Anspruch 16, wobei das Objekt einen Typ besitzt und wobei der Schritt e) ferner das Auflösen des unterspezifizierten Befehls basierend auf dem Objekttyp enthält.
DE112011103447T 2010-10-15 2011-10-17 Durch implizite Zuordnung und Polymorphismus gesteuerte Mensch-Maschine-Wechselwirkung Withdrawn DE112011103447T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39365410P 2010-10-15 2010-10-15
US61/393,654 2010-10-15
PCT/CA2011/001157 WO2012048416A2 (en) 2010-10-15 2011-10-17 Implicit association and polymorphism driven human machine interaction

Publications (1)

Publication Number Publication Date
DE112011103447T5 true DE112011103447T5 (de) 2013-08-22

Family

ID=45938747

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112011103447T Withdrawn DE112011103447T5 (de) 2010-10-15 2011-10-17 Durch implizite Zuordnung und Polymorphismus gesteuerte Mensch-Maschine-Wechselwirkung

Country Status (6)

Country Link
US (1) US20120271640A1 (de)
AU (2) AU2011316437A1 (de)
CA (1) CA2814426A1 (de)
DE (1) DE112011103447T5 (de)
GB (1) GB2513114A (de)
WO (1) WO2012048416A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202013006009U1 (de) * 2013-07-05 2014-10-22 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrerassistenzsystem

Families Citing this family (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9329832B2 (en) * 2011-05-09 2016-05-03 Robert Allen Blaisch Voice internet system and method
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US20130117670A1 (en) * 2011-11-04 2013-05-09 Barnesandnoble.Com Llc System and method for creating recordings associated with electronic publication
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9674331B2 (en) * 2012-06-08 2017-06-06 Apple Inc. Transmitting data from an automated assistant to an accessory
US9471872B2 (en) * 2012-06-29 2016-10-18 International Business Machines Corporation Extension to the expert conversation builder
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR102091236B1 (ko) * 2012-09-28 2020-03-18 삼성전자 주식회사 전자기기 및 그 제어방법
KR102579086B1 (ko) 2013-02-07 2023-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) * 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US20170293610A1 (en) * 2013-03-15 2017-10-12 Bao Tran Voice assistant
US9201865B2 (en) * 2013-03-15 2015-12-01 Bao Tran Automated assistance for user request that determines semantics by domain, task, and parameter
GB2520226A (en) * 2013-05-28 2015-05-20 Ibm Differentiation of messages for receivers thereof
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3937002A1 (de) 2013-06-09 2022-01-12 Apple Inc. Vorrichtung, verfahren und grafische benutzeroberfläche für gesprächspersistenz über zwei oder mehrere instanzen eines digitalen assistenten
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
GB201401046D0 (en) * 2014-01-22 2014-03-05 Iedutainments Ltd Searching and content delivery system
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
EP3149728B1 (de) 2014-05-30 2019-01-16 Apple Inc. Eingabeverfahren durch einzelne äusserung mit mehreren befehlen
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
CN104316070B (zh) * 2014-09-23 2017-11-17 福州海峡职业技术学院 一种导航装置
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US20160165690A1 (en) * 2014-12-05 2016-06-09 Stages Pcs, Llc Customized audio display system
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US9992668B2 (en) * 2015-01-23 2018-06-05 Harman International Industries, Incorporated Wireless call security
US9900354B1 (en) 2015-02-11 2018-02-20 Allstate Insurance Company Virtual carpooling
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10178219B1 (en) * 2017-06-21 2019-01-08 Motorola Solutions, Inc. Methods and systems for delivering a voice message
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
JP7120060B2 (ja) * 2019-02-06 2022-08-17 トヨタ自動車株式会社 音声対話装置、音声対話装置の制御装置及び制御プログラム
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6041300A (en) * 1997-03-21 2000-03-21 International Business Machines Corporation System and method of using pre-enrolled speech sub-units for efficient speech synthesis
US6574599B1 (en) * 1999-03-31 2003-06-03 Microsoft Corporation Voice-recognition-based methods for establishing outbound communication through a unified messaging system including intelligent calendar interface
US20020087316A1 (en) * 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented grammar-based speech understanding method and system
US7920682B2 (en) * 2001-08-21 2011-04-05 Byrne William J Dynamic interactive voice interface
US7289956B2 (en) * 2003-05-27 2007-10-30 Microsoft Corporation System and method for user modeling to enhance named entity recognition
US7801283B2 (en) * 2003-12-22 2010-09-21 Lear Corporation Method of operating vehicular, hands-free telephone system
US7580363B2 (en) * 2004-08-16 2009-08-25 Nokia Corporation Apparatus and method for facilitating contact selection in communication devices
US7689423B2 (en) * 2005-04-13 2010-03-30 General Motors Llc System and method of providing telematically user-optimized configurable audio
EP1891848B1 (de) * 2005-06-13 2015-07-22 Intelligent Mechatronic Systems Inc. Fahrzeugimmersives kommunikationssystem
US7826945B2 (en) * 2005-07-01 2010-11-02 You Zhang Automobile speech-recognition interface
US20070124147A1 (en) * 2005-11-30 2007-05-31 International Business Machines Corporation Methods and apparatus for use in speech recognition systems for identifying unknown words and for adding previously unknown words to vocabularies and grammars of speech recognition systems
US20070156682A1 (en) * 2005-12-28 2007-07-05 Microsoft Corporation Personalized user specific files for object recognition
US8015010B2 (en) * 2006-06-13 2011-09-06 E-Lane Systems Inc. Vehicle communication system with news subscription service
US8073681B2 (en) * 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
CA2687915A1 (en) * 2007-06-05 2008-12-11 Otman A. Basir Media exchange system
US20090164110A1 (en) * 2007-12-10 2009-06-25 Basir Otman A Vehicle communication system with destination selection for navigation
US8140335B2 (en) * 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
AU2009227944B2 (en) * 2008-03-25 2014-09-11 E-Lane Systems Inc. Multi-participant, mixed-initiative voice interaction system
US8838075B2 (en) * 2008-06-19 2014-09-16 Intelligent Mechatronic Systems Inc. Communication system with voice mail access and call by spelling functionality

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IEEE 802.15.1

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202013006009U1 (de) * 2013-07-05 2014-10-22 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrerassistenzsystem

Also Published As

Publication number Publication date
GB2513114A (en) 2014-10-22
US20120271640A1 (en) 2012-10-25
GB201306716D0 (en) 2013-05-29
WO2012048416A2 (en) 2012-04-19
AU2011316437A1 (en) 2013-05-09
CA2814426A1 (en) 2012-04-19
WO2012048416A3 (en) 2012-06-21
AU2017201663A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
DE112011103447T5 (de) Durch implizite Zuordnung und Polymorphismus gesteuerte Mensch-Maschine-Wechselwirkung
US9042873B2 (en) On the road groups
US11563840B2 (en) Vehicle immersive communication system
US9058705B2 (en) Communication system with personal information management and remote vehicle monitoring and control features
CN103428355B (zh) 基于移动终端的语音控制装置及其语音控制方法
US9667726B2 (en) Vehicle internet radio interface
US8838075B2 (en) Communication system with voice mail access and call by spelling functionality
US8015010B2 (en) Vehicle communication system with news subscription service
AU2009227944B2 (en) Multi-participant, mixed-initiative voice interaction system
DE112010002363T5 (de) Verfahren und system zur ausführung einer internet-funkanwendung in einem fahrzeug
DE102011078503A1 (de) Fahrzeuggestützte Verfahren und Systeme zum Verwalten von persönlichen Informationen und Ereignissen
US20110302092A1 (en) Service center support
US9183563B2 (en) Electronic questionnaire
CA2708073A1 (en) Vehicle communication system with destination selection for navigation
DE10314794A1 (de) Verfahren zum Einstellen von Sprachverarbeitungsparametern in einer Kommunikationsvorrichtung
EP1898617A1 (de) Zentrale Speicherung von Daten
DE60213663T2 (de) Mehrfachmodales nachrichtenübertragungsrückrufsystem mit dienstauthorisierer und virtueller kundendatenbank
DE102012210986B4 (de) System mit einer Mobilkommunikationsvorrichtung und einem Fahrzeugstereosystem und Verfahren zum Betrieb des Systems
DE102012217052A1 (de) Verfahren und Vorrichtung zur Besprechungs-Ortsverwaltung
WO2022196084A1 (ja) コミュニケーションシステム

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee