DE102017209504A1

DE102017209504A1 - Datenbezogene Erkennung und Klassifizierung von natürlichen Sprachereignissen

Info

Publication number: DE102017209504A1
Application number: DE102017209504.0A
Authority: DE
Inventors: Jerome R. Bellegarda; Mathieu J. Martel; Alexandre Carlhian; Antoine VINEL; Jannes G. DOLFING; Sabrine REKIK; Markus BERGET; Hafid Arras
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2016-06-11
Filing date: 2017-06-06
Publication date: 2017-12-14
Also published as: US20170357716A1; AU2017203783A1; EP3440668A1; CN107491929A; KR20170140085A; WO2017213686A1; EP3440668A4; JP2017228290A; AU2017203783B2; CN107491929B; DK179049B1; US10521466B2; JP6265516B2; DK201670552A1; KR101902117B1

Abstract

Systeme und Verfahren zum Betrieb eines digitalen Assistenten sind bereits verfügbar. Gemäß einem oder mehrerer Beispiele beinhaltet ein Verfahren bei einem Benutzergerät mit einem oder mehr Prozessoren und Speicher den Empfang unstrukturierter natürlicher Sprachinformationen von mindestens einem Benutzer. Das Verfahren beinhaltet zudem als Reaktion auf ein Empfangen der unstrukturierten natürlichen Sprachinformationen die Feststellung, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind. Das Verfahren beinhaltet, gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, die Feststellung, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist. Das Verfahren beinhaltet weiterhin gemäß einer Erkennung, dass eine Vereinbarung zu einem Ereignis vorhanden ist, die Feststellung eines Ereignistyps für das Ereignis und das Bereitstellen einer Ereignisbeschreibung auf der Basis des Ereignistyps.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Patentanmeldung beansprucht Priorität der am 11. Juni 2016 eingereichten US-Anmeldung Nr. 62/348,898 mit dem Titel „Data Driven Natural Language Event Detection and Classification”, der nicht vorläufigen am 19. September 2016 eingereichten US-Anmeldung mit der Nummer 15/269,721 mit dem Titel „Data Driven Natural Language Event Detection and Classification” und der am 25. Juli 2016 eingereichten dänischen Patentanmeldung mit der Nummer PA 2016 70552 mit dem Titel „Driven Natural Language Event Detection and Classification”. Der Inhalt jeder dieser Anwendungen wird durch Bezugnahme in seiner Gesamtheit hierin aufgenommen.
GEBIET
Die vorliegende Offenbarung betrifft allgemein die Verarbeitung natürlicher Sprache, genauer gesagt die Erkennung und Klassifizierung von Ereignissen mithilfe unstrukturierter natürlicher Sprachinformationen.
HINTERGRUND
In den unstrukturierten natürlichen Sprachinformationen können Ereignisinformationen enthalten sein. Zwei Nutzer können beispielsweise Textnachrichten verwenden, um ein Ereignis wie ein Mittagessen zu vereinbaren. Sobald die Nutzer dem Ereignis zustimmen, möchten sie möglicherweise einen Kalendereintrag für das Ereignis erstellen. Üblicherweise muss ein Nutzer zum Erstellen eines Kalendereintrags die Ereignisinformationen manuell von unstrukturierten natürlichen Sprachinformationen wie einer Textnachricht in einen Kalendereintrag übertragen. Das manuelle Übertragen von Ereignisinformationen erfordert üblicherweise mehrere Kopier- und Einfügevorgänge oder einen langwierigen manuellen Eintrag. Das Verfahren des manuellen Erstellens des Kalendereintrags ist somit mühsam und zeitaufwendig. Dementsprechend ist ein Bedarf für effizientere Methoden zur Erkennung und Klassifizierung von Ereignissen, basierend auf unstrukturierten natürlichen Sprachinformationen, vorhanden.
KURZE ZUSAMMENFASSUNG
Einige Techniken zur Erkennung von Ereignissen verwenden strukturierte Nachrichten im HTML-Format (z. B. computergenerierte E-Mails von Fluggesellschaften, Hotels oder Reiseagenturen). Da die Nachrichten strukturiert sind, ist die Erkennung relativ geradlinig. Das Erkennen und Klassifizieren von Ereignissen innerhalb unstrukturierter natürlicher Sprachinformationen ist aufgrund der inhärenten Zweideutigkeit der natürlichen Sprache eine größere Herausforderung. Unstrukturierte natürliche Sprachinformationen beinhalten beispielsweise vom Benutzer erzeugte Textnachrichten, elektronische E-Mails, Sprachnachrichten, Instant Messaging, Konversationen oder ähnliches. Unstrukturierte natürliche Sprache ist weit verbreitet, daher ist die Erkennung und Klassifizierung von Ereignissen auf der Basis unstrukturierter natürlicher Sprachinformationen wichtig und wünschenswert.
Systeme und Verfahren zum Betrieb eines digitalen Assistenten sind bereits verfügbar. Gemäß einem oder mehrerer Beispiele beinhaltet ein Verfahren bei einem Benutzergerät mit einem oder mehr Prozessoren und Speicher den Empfang unstrukturierter natürlicher Sprachinformationen von mindestens einem Benutzer. Das Verfahren beinhaltet zudem als Reaktion auf ein Empfangen der unstrukturierten natürlichen Sprachinformationen die Feststellung, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind. Das Verfahren beinhaltet, gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, die Feststellung, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist. Das Verfahren beinhaltet weiterhin gemäß einer Erkennung, dass eine Vereinbarung zu einem Ereignis vorhanden ist, die Feststellung eines Ereignistyps für das Ereignis und das Bereitstellen einer Ereignisbeschreibung auf der Basis des Ereignistyps.
Ausführbare Anweisungen zum Durchführen dieser Funktionen sind wahlweise, in einem nichtflüchtigen, computerlesbaren Datenspeichermedium oder anderem Computerprogrammprodukt eingeschlossen, das für die Ausführung durch einen oder mehrere Prozessoren konfiguriert ist. Ausführbare Anweisungen zum Durchführen dieser Funktionen sind wahlweise in einem flüchtigen, computerlesbaren Datenspeichermedium oder anderem Computerprogrammprodukt eingeschlossen, das für die Ausführung durch einen oder mehrere Prozessoren konfiguriert ist.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Für ein besseres Verständnis der verschiedenen, beschriebenen Ausführungsformen sollte auf die nachfolgende Beschreibung von Ausführungsformen in Verbindung mit den folgenden Zeichnungen Bezug genommen werden, in denen sich gleiche Bezugsziffern durch die Figuren hinweg auf entsprechende Teile beziehen.
1 ist ein Blockdiagramm, das ein System und eine Umgebung für die Implementierung eines digitalen Assistenten gemäß verschiedener Beispiele veranschaulicht.
2A ist ein Blockdiagramm, das eine tragbare Multifunktionsvorrichtung veranschaulicht, bei der der clientseitige Bereich eines digitalen Assistenten gemäß einigen Ausführungsformen implementiert wird.
2B ist ein Blockdiagramm, das beispielhafte Komponenten für die Ereignisbehandlung gemäß verschiedener Beispiele veranschaulicht.
3 ist ein Blockdiagramm, das eine tragbare Multifunktionsvorrichtung veranschaulicht, bei der der clientseitige Bereich eines digitalen Assistenten gemäß verschiedener Beispiele implementiert wird.
4 ist ein Blockdiagramm einer beispielhaften Multifunktionsvorrichtung mit einem Bildschirm und einer berührungsempfindlichen Oberfläche gemäß verschiedenen Beispielen.
5A veranschaulicht eine beispielhafte Benutzerschnittstelle für ein Anwendungsmenü auf einer tragbaren Multifunktionsvorrichtung gemäß verschiedenen Beispielen.
5B veranschaulicht eine beispielhafte Benutzerschnittstelle für eine Multifunktionsvorrichtung mit einer berührungsempfindlichen Oberfläche, die von dem Bildschirm separat ist, gemäß verschiedenen Beispielen.
6A zeigt eine persönliche elektronische Vorrichtung gemäß verschiedenen Beispielen.
6B ist ein Blockdiagramm, das eine persönliche elektronische Vorrichtung gemäß verschiedenen Beispielen veranschaulicht.
7A ist ein Blockdiagramm, das ein digitales Assistenzsystem oder einen Serverabschnitt davon gemäß verschiedenen Beispielen darstellt.
7B veranschaulicht die Funktionen des in 7A gezeigten digitalen Assistenten gemäß verschiedenen Beispielen.
7C zeigt einen Bereich einer Ontologie gemäß verschiedenen Beispielen.
8 zeigt ein Blockdiagramm der Funktionen eines digitalen Assistenten gemäß verschiedenen Beispielen.
9A veranschaulicht eine beispielhafte Benutzerschnittstelle einer Benutzervorrichtung gemäß verschiedenen Beispielen.
9B veranschaulicht ein beispielhaftes erstes Netzwerk zur Ereigniserkennung und -klassifizierung gemäß verschiedenen Beispielen.
9C veranschaulicht ein beispielhaftes erstes Netzwerk zur Ereigniserkennung und -klassifizierung gemäß verschiedenen Beispielen.
10A veranschaulicht eine beispielhafte Benutzerschnittstelle einer Benutzervorrichtung gemäß verschiedenen Beispielen.
10B veranschaulicht ein beispielhaftes zweites Netzwerk zur Ereigniserkennung und -klassifizierung gemäß verschiedenen Beispielen.
10C veranschaulicht ein beispielhaftes zweites Netzwerk zur Ereigniserkennung und -klassifizierung gemäß verschiedenen Beispielen.
11A–11H zeigt eine beispielhafte natürliche Sprachereignis-Ontologie gemäß verschiedenen Beispielen.
12A zeigt ein Blockdiagramm der Funktionen eines Ereignistyp-Erkennungsmoduls gemäß verschiedenen Beispielen.
12B–12C zeigt eine beispielhafte natürliche Ereignistyperkennung gemäß verschiedenen Beispielen.
13 zeigt ein Blockdiagramm der Funktionen eines Kalendereintragverfahrens gemäß verschiedenen Beispielen.
14A–14J zeigt ein Flussdiagramm eines beispielhaften Verfahrens zur Erkennung und Klassifizierung von Ereignissen mithilfe unstrukturierter natürlicher Sprachinformationen gemäß verschiedenen Beispielen.
15 zeigt ein Blockdiagramm einer elektronischen Vorrichtung gemäß verschiedenen Beispielen.
DETAILLIERTE BESCHREIBUNG
In der nachfolgenden Beschreibung der Offenbarung und der Ausführungsformen erfolgen Bezugnahmen auf die begleitenden Zeichnungen, in denen spezifische Ausführungsformen veranschaulicht werden. Es versteht sich, dass auch andere Ausführungsformen und Beispiele möglich sind und Änderungen vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen.
Techniken zur Erkennung und Klassifizierung von Ereignissen aus unstrukturierten natürlichen Sprachinformationen sind wünschenswert. Wie hier beschrieben sind Techniken zur Erkennung und Klassifizierung von Ereignissen aus unstrukturierten natürlichen Sprachinformationen zu verschiedenen Zwecken wünschenswert, beispielsweise um den Aufwand eines manuellen Kalendereintrags zu reduzieren. Solche Techniken sind vorteilhaft, da so die Ereignisbeschreibung trotz der inhärenten Zweideutigkeit akkurat und automatisch aus den unstrukturierten natürlichen Sprachinformationen extrahiert werden können.
Obwohl in der folgenden Beschreibung die Begriffe „erstes”, „zweites” usw. verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente durch die Begriffe nicht eingeschränkt sein. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte eine Einheit für den ersten Kontext als Einheit für den zweiten Kontext bezeichnet werden, und auf ähnliche Weise könnte eine Einheit für den zweiten Kontext als Einheit für den ersten Kontext bezeichnet werden, ohne vom Schutzumfang der verschiedenen, beschriebenen Beispiele abzuweichen. Die Einheit für den ersten Kontext und die Einheit für den zweiten Kontext können beide Kontexteinheiten sein und sind in einigen Fällen separate und unterschiedliche Kontexteinheiten.
Die in der Beschreibung der verschiedenen, hierin beschriebenen Beispiele verwendete Terminologie dient lediglich der Beschreibung bestimmter Beispiele und soll nicht als Einschränkung verstanden werden. So wie sie in der Beschreibung der verschiedenen beschriebenen Beispiele und der beigefügten Ansprüche verwendet werden, sollen die Singularformen „ein”, „eine”, „eines” und „die”, „der”, „das” auch die Pluralformen einschließen, es sei denn der Kontext gibt ausdrücklich Gegenteiliges an. Es versteht sich auch, dass der Begriff „und/oder”, so wie er hier verwendet wird, sich auf jegliche und alle möglichen Kombinationen von einem oder mehreren der damit zusammenhängenden, aufgeführten Begriffe bezieht und diese einschließt. Es versteht sich ferner, dass die Begriffe „einschließen”, „einschließend”, „umfasst” und/oder „umfassend”, wenn sie in dieser Patentschrift verwendet werden, die Gegenwart von aufgeführten Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen und/oder Komponenten angeben, aber die Gegenwart oder das Hinzufügen von einem oder mehreren Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
Der Begriff „wenn” kann in seiner Bedeutung je nach Kontext als „während” oder „bei” oder „als Reaktion auf das Feststellen” oder „als Reaktion auf das Erfassen” ausgelegt werden. Auf ähnliche Weise kann die Wendung „wenn festgestellt wird” oder „wenn [eine aufgeführte Bedingung oder ein aufgeführtes Ereignis] erfasst wird” so ausgelegt werden, dass sie je nach Kontext „bei Bestimmung” oder „als Reaktion auf das Bestimmen” oder „bei Erfassen [der aufgeführten Bedingung oder des aufgeführten Ereignisses]” oder „als Reaktion auf das Erfassen [der aufgeführten Bedingung oder des aufgeführten Ereignisses]” bedeutet.
1. System und Umgebung
1 zeigt ein Blockdiagramm eines Systems 100 gemäß verschiedenen Beispielen. In einigen Beispielen kann System 100 einen digitalen Assistenten implementieren. Die Begriffe „digitaler Assistent”, „virtueller Assistent”, „intelligenter automatisierter Assistent” oder „automatischer digitaler Assistent” können sich auf jegliches Informationsverarbeitungssystem beziehen, das Eingabe natürlicher Sprache in gesprochener und/oder textueller Form interpretiert, um die Benutzerabsicht abzuleiten, und das Aktionen auf der Grundlage der abgeleiteten Benutzerabsicht ausführt. Um zum Beispiel auf eine abgeleitete Benutzerabsicht zu reagieren, kann das System eine oder mehrere der folgenden Aktionen durchführen: Identifizieren eines Aufgabenflusses mit Schritten und Parametern, die dafür ausgelegt sind, die abgeleitete Benutzerabsicht zu erreichen, Eingeben von spezifischen Anforderungen aus der abgeleiteten Benutzerabsicht in den Aufgabenfluss, Ausführen des Aufgabenflusses durch Aufrufen von Programmen, Verfahren, Diensten, APIs oder dergleichen und Erzeugen von Ausgabeantworten an den Benutzer in einer hörbaren (z. B. Sprache) und/oder visuellen Form.
Insbesondere kann ein digitaler Assistent in der Lage sein, eine Benutzeranforderung wenigstens teilweise in der Form eines Befehls, einer Anforderung, einer Aussage, einer Erzählung und/oder einer Anfrage in natürlicher Sprache anzunehmen. Üblicherweise kann die Benutzeranforderung entweder eine informationelle Antwort oder die Durchführung einer Aufgabe von dem bzw. durch den digitalen Assistenten anstreben. Eine zufriedenstellende Antwort auf die Benutzeranforderung kann eine Bereitstellung der angeforderten informationellen Antwort, eine Durchführung der angeforderten Aufgabe oder eine Kombination der beiden sein. Zum Beispiel kann ein Benutzer dem digitalen Assistenten eine Frage stellen wie: „Wo bin ich gerade?” Basierend auf dem aktuellen Standort des Benutzers kann der digitale Assistent antworten: „Sie sind im Central Park in der Nähe des Westtors”. Der Benutzer kann auch die Durchführung einer Aufgabe anfordern, indem er zum Beispiel sagt: „Bitte lade meine Freunde zu der Geburtstagsparty meiner Freundin nächste Woche ein.”. Als Reaktion darauf kann der digitale Assistent die Anforderung bestätigen und sagen: „Ja, mache ich sofort.”. Anschließend kann er für den Benutzer eine entsprechende Kalendereinladung an alle Freunde des Benutzers senden, die im elektronischen Adressbuch des Benutzers angegeben sind. Während der Durchführung einer angeforderten Aufgabe kann der digitale Assistent gelegentlich mit dem Benutzer in einem kontinuierlichen Dialog interagieren, der mehrere Informationsaustausche über einen verlängerten Zeitraum beinhaltet. Es gibt zahlreiche andere Wege des Interagierens mit einem digitalen Assistenten, um Informationen oder die Durchführung verschiedener Aufgaben anzufordern. Zusätzlich zur Bereitstellung gesprochener Antworten und zur Durchführung programmierter Aktionen kann der digitale Assistent auch Antworten in anderen visuellen oder hörbaren Formen (z. B. als Text, Warnungen, Musik, Videos oder Animationen) bereitstellen.
Wie in 1 gezeigt, kann in einigen Beispielen ein digitaler Assistent gemäß einem Client-Server-Modell implementiert werden. Der digitale Assistent kann einen clientseitigen Abschnitt 102, (nachstehend „DA-Client 102”) umfassen, der auf der Benutzervorrichtung 104 ausgeführt wird, und einen serverseitigen Abschnitt 106 (nachstehend „DA-Server 106)”, der auf einem Serversystem 108 ausgeführt wird. DA-Client 102 kann mit DA-Server 106 durch ein oder mehrere Netzwerke 110 kommunizieren. DA-Client 102 kann clientseitige Funktionalitäten bereitstellen, wie zum Benutzer gerichtete Eingabe- und Ausgabeverarbeitung und Kommunikationen mit DA-Server 106. DA-Server 106 kann serverseitige Funktionalitäten für eine beliebige Anzahl von DA-Clients 102 bereitstellen, die jeweils an einer jeweiligen Benutzervorrichtung 104 sind.
In einigen Beispielen kann DA-Server 106 eine zum Client gerichtete E/A-Schnittstelle 112, ein oder mehrere Verarbeitungsmodule 114, Daten und Modelle 116 und eine E/A-Schnittstelle mit externen Diensten 118 aufweisen. Die clientseitige E/A-Schnittstelle 112 kann die clientseitige Eingabe- und Ausgabeverarbeitung für DA-Server 106 erleichtern. Ein oder mehrere Verarbeitungsmodule 114 können Daten und Modelle 116 zur Verarbeitung der Spracheingabe und Bestimmung der Intention des Benutzers auf der Basis der natürlichen Spracheingabe verwenden. Des Weiteren führen ein oder mehrere Verarbeitungsmodule 114 Aufgaben auf der Basis der gefolgerten Benutzerintention durch. In einigen Beispielen kann DA-Server 106 mit externen Diensten 120 durch das bzw. die Netzwerk(e) 110 kommunizieren, um Aufgaben zu erfüllen oder Informationen zu beschaffen. Die E/A-Schnittstelle mit externen Diensten 118 kann solche Kommunikationen erleichtern.
Benutzervorrichtung 104 kann jede geeignete elektronische Vorrichtung sein. Benutzervorrichtungen können beispielsweise eine tragbare Multifunktionsvorrichtung (z. B. Vorrichtung 200, nachfolgend beschrieben mit Bezug auf 2A) eine Multifunktionsvorrichtung (z. B. Vorrichtung 400, wie unten beschrieben mit Bezug auf 4) oder eine persönliche elektronische Vorrichtung (z. B. Vorrichtung 600, wie unten beschrieben mit Bezug auf 6A–B) sein. Eine tragbare Multifunktionsvorrichtung kann beispielsweise ein Mobiltelefon sein, das auch andere Funktionen umfasst, wie etwa PDA und/oder Funktionen zur Wiedergabe von Musik. Spezifische Beispiele für tragbare Multifunktionsvorrichtungen sind unter anderem die iPhone^®-, iPod Touch^®- und iPad^®-Vorrichtungen von Apple Inc., Cupertino, Kalifornien. Weitere Beispiele für tragbare Multifunktionsvorrichtungen sind unter anderem Laptops oder Tablet-Computer. Des Weiteren kann Benutzervorrichtung 104 in einigen Beispielen eine nicht tragbare Multifunktionsvorrichtung sein. Speziell kann Benutzervorrichtung 104 ein Desktop-Computer, eine Spielekonsole, ein Fernseher oder eine TV Set-Top-Box sein. In einigen Beispielen kann Benutzervorrichtung 104 eine berührungsempfindliche Oberfläche aufweisen (z. B. einen Touch-Bildschirm und/oder ein Touchpad). Zudem kann die Benutzervorrichtung 104 wahlweise eine oder mehrere physische Benutzerschnittstellenvorrichtungen, wie etwa eine physische Tastatur, eine Maus und/oder einen Joystick einschließen. Verschiedene Beispiele für elektronische Vorrichtungen wie Multifunktionsvorrichtungen sind nachfolgend detaillierter beschrieben.
Beispiele des Kommunikationsnetzwerks/der Kommunikationsnetzwerke 110 sind LANs (Local Area Networks) und WANs (Wide Area Networks) wie das Internet. Die Kommunikationsnetzwerke 110 können unter Verwendung aller bekannten Netzwerkprotokolle, einschließlich verschiedener kabelgebundener oder kabelloser Protokolle wie beispielsweise Ethernet, USB (Universal Serial Bus), FIREWIRE, GSM (Global System for Mobile Communications), EDGE (Enhanced Data GSM Environment), CDMA (Code Division Multiple Access), TDMA (Time Division Multiple Access), Bluetooth, Wi-Fi, VoIP (Voice over Internet Protocol), Wi-MAX oder aller anderen geeigneten Kommunikationsprotokolle, umgesetzt werden.
Serversystem 108 kann auf einer oder mehreren eigenständigen Datenverarbeitungsvorrichtungen oder einem verteilten Netzwerk von Computern implementiert werden. In einigen Beispielen kann das Serversystem 108 auch verschiedene virtuelle Vorrichtungen und/oder Dienste von Dritt-Service-Providern (z. B. Dritt-Cloud-Service-Providern) einsetzen, um die zugrunde liegenden Rechenressourcen und/oder Infrastrukturressourcen des Serversystems 108 bereitzustellen.
In einigen Beispielen kann Benutzervorrichtung 104 mit DA-Server 106 über eine zweite Benutzervorrichtung 122 kommunizieren. Die zweite Benutzervorrichtung 122 kann Benutzervorrichtung 104 ähnlich oder identisch mit dieser sein. Die zweite Benutzervorrichtung 122 kann beispielsweise den unten beschriebenen Vorrichtungen 200, 400 oder 600 mit Bezug auf 2A, 4 und 6A–B ähnlich sein. Benutzervorrichtung 104 kann so konfiguriert werden, dass sie kommunikativ über eine direkte Kommunikationsverbindung wie Bluetooth, NFC, BTLE oder Ähnliches oder über ein Kabel- oder Wireless-Netzwerk wie ein lokales WLAN-Netzwerk mit der zweiten Benutzervorrichtung 122 gekoppelt ist. In einigen Beispielen kann die zweite Benutzervorrichtung 122 so konfiguriert werden, dass sie als Proxy zwischen Benutzervorrichtung 104 und DA-Server 106 fungiert. DA-Client 102 der Benutzervorrichtung 104 kann beispielsweise so konfiguriert werden, dass er Informationen (z. B. eine Benutzeranfrage, die von Benutzervorrichtung 104 empfangen wurde) an DA-Server 106 über eine zweite Benutzervorrichtung 122 überträgt. DA-Server 106 kann Informationen verarbeiten und relevante Daten (z. B. Daten Inhalt als Reaktion auf die Benutzeranfrage) über eine zweite Benutzervorrichtung 122 an Benutzervorrichtung 104 zurückgeben.
In einigen Beispielen kann Benutzervorrichtung 104 so konfiguriert werden, dass sie abgekürzte Anfragen nach Daten an die zweite Benutzervorrichtung 122 kommuniziert, um die Menge an übertragenen Daten von Benutzervorrichtung 104 zu reduzieren. Die zweite Benutzervorrichtung 122 kann so konfiguriert werden, dass sie ergänzende Informationen feststellt, um sie der abgekürzten Anfrage hinzuzufügen und eine vollständige Anfrage zur Übertragung an DA-Server 106 zu erzeugen. Diese Systemarchitektur kann für den Vorteil sorgen, dass die Benutzervorrichtung 104 bei begrenzten Kommunikationsfunktionen und/oder eingeschränkter Batterieleistung (z. B. eine Uhr oder ein ähnliches kompaktes elektronisches Gerät) auf Services zugreifen kann, die vom DA-Server 106 mithilfe der zweiten Benutzervorrichtung 122 bereitgestellt werden, die größere Kommunikationsfunktionen und/oder Batterieleistung besitzt (z. B. ein Mobiltelefon, ein Laptop-Computer, ein Tablet-Computer oder ähnliches), als Proxy für DA-Server 106. Auch wenn in 1 nur zwei Benutzervorrichtungen 104 und 122 gezeigt werden, sollte angenommen werden, dass System 100 jede Anzahl und jeden Typ Benutzervorrichtung beinhalten kann, die in dieser Proxy-Konfiguration zur Kommunikation mit dem DA-Serversystem 106 konfiguriert werden.
Obwohl der in 1 dargestellte digitale Assistent sowohl einen clientseitigen Abschnitt (z. B. DA-Client 102) als auch einen serverseitigen Abschnitt (z. B. DA-Server 106) aufweisen kann, können in einigen Ausführungsformen die Funktionen eines digitalen Assistenten als eigenständige Anwendung, die auf einer Benutzervorrichtung installiert ist, implementiert werden. Zusätzlich können die Aufteilungen von Funktionalitäten zwischen den Client- und Serverabschnitten des digitalen Assistenten in verschiedenen Implementierungen variieren. Zum Beispiel kann der DA-Client in manchen Beispielen ein Thin-Client sein, der nur benutzergerichtete Eingabe- und Ausgabeverarbeitungsfunktionen bereitstellt und alle anderen Funktionalitäten des digitalen Assistenten an einen Backend-Server delegiert.
2. Elektronische Vorrichtungen
Die Aufmerksamkeit richtet sich nun auf Ausführungsformen für elektronische Vorrichtungen zur Implementierung des clientseitigen Bereichs eines digitalen Assistenten. 2A zeigt ein Blockdiagramm, das eine tragbare Multifunktionsvorrichtung 200 mit einem berührungsempfindlichen Anzeigesystem 212 gemäß manchen Ausführungsformen veranschaulicht. Die berührungsempfindliche Anzeige 212 wird der Zweckmäßigkeit wegen manchmal ein „Touchscreen” genannt und ist manchmal als „berührungsempfindliches Anzeigesystem” bekannt oder wird so genannt. Die Vorrichtung 200 schließt einen Speicher 202 (der wahlweise ein oder mehrere computerlesbare Datenspeichermedien einschließt), eine Speichersteuervorrichtung 222, eine oder mehrere Verarbeitungseinheiten (CPUs) 220, eine Peripherieeinbeitenschnittstelle 218, eine HF-Schaltung 208, eine Audioschaltung 210, einen Lautsprecher 211, ein Mikrofon 213, ein Eingabe/Ausgabe- bzw. E/A-Subsystem 206, weitere Eingabesteuervorrichtungen 216 und einen externen Anschluss 224 ein. Die Vorrichtung 200 schließt wahlweise einen oder mehrere optische Sensoren 264 ein. Die Vorrichtung 200 schließt wahlweise einen oder mehrere Kontaktintensitätssensoren 265 zum Erfassen einer Intensität von Kontakten auf der Vorrichtung 200 (z. B. einer berührungsempfindliche Oberfläche, wie beispielsweise dem berührungsempfindlichen Anzeigesystem 212 der Vorrichtung 200) ein. Die Vorrichtung 200 schließt wahlweise einen oder mehrere Tastausgabeerzeuger 267 zum Erzeugen von Tastausgaben auf der Vorrichtung 200 (z. B. Erzeugen von Tastausgaben auf einer berührungsempfindlichen Oberfläche, wie etwa dem berührungsempfindlichen Bildschirmsystem 212 der Vorrichtung 200 oder Touchpad 455 der Vorrichtung 400) ein. Diese Komponenten kommunizieren wahlweise über einen oder mehrere Kommunikationsbusse oder Signalleitungen 203.
Wie in der Beschreibung und den Ansprüchen verwendet, bezieht sich der Begriff „Intensität” eines Kontakts auf einer berührungsempfindlichen Oberfläche auf die Kraft oder den Druck (Kraft pro Einheitsbereich) eines Kontakts (z. B. eines Fingerkontakts) auf der berührungsempfindlichen Oberfläche oder auf einen Ersatz (Stellvertreter) für die Kraft oder den Druck eines Kontakts auf der berührungsempfindlichen Oberfläche. Die Intensität eines Kontakts weist einen Bereich von Werten auf, der mindestens vier bestimmte Werte und noch typischer Hunderte von bestimmten Werten (z. B. mindestens 256) umfasst. Die Intensität eines Kontakts wird wahlweise unter Verwendung verschiedener Ansätze und verschiedener Sensoren oder Kombinationen von Sensoren festgestellt (oder gemessen). Beispielsweise werden ein oder mehrere Kraftsensoren unterhalb oder neben der berührungsempfindlichen Oberfläche wahlweise verwendet, um die Kraft an verschiedenen Punkten auf der berührungsempfindlichen Oberfläche zu messen. In einigen Implementierungen werden Kraftmessungen von mehreren Kraftsensoren kombiniert (z. B. ein gewichteter Durchschnitt), um eine geschätzte Kraft eines Kontakts festzustellen. Auf ähnliche Weise wird die druckempfindliche Spitze eines Eingabestifts wahlweise dazu verwendet, um einen Druck des Eingabestifts auf der berührungsempfindlichen Oberfläche festzustellen. Alternativ dazu werden die Größe des auf der berührungsempfindlichen Oberfläche erfassten Kontaktbereichs und/oder Veränderungen daran, die Kapazität der berührungsempfindlichen Oberfläche in der Nähe des Kontakts und/oder Veränderungen daran und/oder der Widerstand der berührungsempfindlichen Oberfläche in der Nähe des Kontakts und/oder Veränderungen daran wahlweise als Ersatz für die Kraft oder den Druck des Kontakts auf der berührungsempfindlichen Oberfläche verwendet. In einigen Implementierungen werden die Ersatzmessungen für Kontaktkraft oder Kontaktdruck direkt dazu verwendet, um festzustellen, ob ein Intensitätsschwellenwert überschritten wurde (z. B. wird der Intensitätsschwellenwert in Einheiten beschrieben, die den Ersatzmessungen entsprechen). In manchen Implementierungen werden die Ersatzmessungen für eine Kontaktkraft oder einen Kontaktdruck in eine geschätzte Kraft oder einen geschätzten Druck umgewandelt, und die geschätzte Kraft oder der geschätzte Druck wird verwendet, um zu festzustellen, ob ein Intensitätsschwellenwert überschritten wurde (z. B. handelt es sich bei dem Intensitätsschwellenwert um einen in Einheiten des Drucks gemessenen Druckschwellenwert). Ein Verwenden der Intensität eines Kontakts als eine Eigenschaft einer Benutzereingabe erlaubt einen Benutzerzugriff auf eine zusätzliche Vorrichtungsfunktionalität, die andernfalls durch den Benutzer auf einer Vorrichtung verringerter Größe mit begrenzter Grundfläche für ein Anzeigen von Affordanzen (z. B. auf einer berührungsempfindlichen Anzeige) und/oder ein Empfangen von Benutzereingaben (z. B. über eine berührungsempfindliche Anzeige, eine berührungsempfindliche Oberfläche oder eine physischer/mechanische Steuerung, wie beispielsweise einen Knopf oder eine Schaltfläche oder Taste) nicht zugänglich ist.
Wie in der Beschreibung und in den Ansprüchen verwendet, bezieht sich der Begriff „taktile Ausgabe” auf eine physische Verschiebung einer Vorrichtung in Bezug auf eine vorherige Position der Vorrichtung, auf eine physische Verschiebung einer Komponente (z. B. einer berührungsempfindlichen Oberfläche) einer Vorrichtung in Bezug auf eine andere Komponente (z. B. das Gehäuse) der Vorrichtung oder auf das Verschieben der Komponente in Bezug auf einen Masseschwerpunkt der Vorrichtung, der von einem Benutzer anhand seines Tastsinns erfasst wird. Beispielsweise wird in Situationen, in denen die Vorrichtung oder die Komponente der Vorrichtung mit einer Oberfläche eines Benutzers in Kontakt kommt, die berührungsempfindlich ist (z. B. einem Finger, einer Handfläche oder einem anderen Abschnitt der Hand eines Benutzers), die durch die physische Verschiebung erzeugte, taktile Ausgabe vom Benutzer als taktile Empfindung interpretiert, die einer wahrgenommenen Veränderung physikalischer Eigenschaften der Vorrichtung oder der Komponente der Vorrichtung entspricht. Beispielsweise wird die Bewegung einer berührungsempfindlichen Oberfläche (z. B. eines berührungsempfindlichen Bildschirms oder Trackpads) vom Benutzer wahlweise als ein „Abwärtsldick” oder ein „Aufwärtsklick” einer physischen Betätigungsschaltfläche interpretiert. In einigen Fällen spürt ein Benutzer eine taktile Empfindung wie einen „Abwärtsklick” oder einen „Aufwärtsklick”, selbst wenn keine Bewegung einer physischen Betätigungsschaltfläche mit der berührungsempfindlichen Oberfläche assoziiert ist, die durch die Bewegungen des Benutzers physisch niedergedrückt (z. B. verschoben) wird. Als weiteres Beispiel wird die Bewegung der berührungsempfindlichen Oberfläche vom Benutzer wahlweise als „Rauigkeit” der berührungsempfindlichen Oberfläche interpretiert oder empfunden, selbst wenn sich die Glätte der berührungsempfindlichen Oberfläche nicht verändert. Wenngleich solche Interpretationen der Berührung seitens eines Benutzers jeweils von den Sinneswahrnehmungen der einzelnen Benutzer abhängen, gibt es viele Sinneswahrnehmungen bei der Berührung, die eine große Mehrheit der Benutzer gemeinsam haben. Wenn eine taktile Ausgabe als einer bestimmten Sinneswahrnehmung eines Benutzers entsprechend beschrieben wird (z. B. ein „Aufwärtsklick”, ein „Abwärtsklick”, „Rauigkeit”), entspricht, sofern nichts anderes erwähnt wird, die erzeugte taktile Ausgabe folglich der physischen Verschiebung der Vorrichtung oder einer Komponente davon, die die beschriebene Sinneswahrnehmung für einen typischen (oder durchschnittlichen) Benutzer erzeugt.
Es sollte sich verstehen, dass die Vorrichtung 200 nur ein Beispiel einer tragbaren Multifunktionsvorrichtung ist, und dass die Vorrichtung 200 wahlweise mehr oder weniger Komponenten als gezeigt aufweist, wahlweise zwei oder mehr Komponenten kombiniert oder wahlweise eine andere Konfiguration oder Anordnung der Komponenten aufweist. Die verschiedenen, in 2A gezeigten Komponenten sind in Hardware, Software oder einer Kombination aus sowohl Hardware als auch Software implementiert, einschließlich einer oder mehrerer Signalverarbeitungsschaltungen und/oder anwendungsspezifischer integrierter Schaltungen (application-specific integrated circuits).
Speicher 202 kann ein oder mehrere computerlesbare Datenspeichermedien enthalten. Die computerlesbaren Datenspeichermedien können materiell und nichtflüchtig sein. Der Speicher 202 kann Hochgeschwindigkeitsdirektzugriffsspeicher und auch einen nicht-flüchtigen Speicher, wie etwa eine oder mehrere Magnetdiskettenspeichervorrichtungen, Flash-Speicher-Vorrichtungen oder andere nicht-flüchtige Halbleiterlaufwerkspeichervorrichtungen beinhalten. Speichersteuervorrichtung 222 kann den Zugriff auf den Speicher 202 durch andere Komponenten der Vorrichtung 200 steuern.
In einigen Beispielen kann ein nichttransitorisches computerlesbares Speichermedium 202 verwendet werden, um Anweisungen (z. B. zur Durchführung von Verfahrensaspekten 1200, wie unten beschrieben) zur Verwendung durch ein oder in Verbindung mit einem Anweisungs-Ausführungssystem, einem Apparat oder einer Vorrichtung wie einem computerbasierten System, einem prozessorbasierten System oder einem anderen System, das die Anweisungen des Anweisungs-Ausführungssystems, des Apparats oder der Vorrichtung empfängt und die Anweisungen ausführt, zu speichern. In anderen Beispielen können die Anweisungen (z. B. zur Durchführung von Verfahrensaspekten 1200, wie unten beschrieben) auf einem nichttransitorischen computerlesbaren Speichermedium (nicht abgebildet) des Serversystems 108 gespeichert werden oder können zwischen dem nichttransitorischen computerlesbaren Speichermedium für Speicher 202 und dem nichttransitorischen computerlesbaren Speichermedium von Serversystem 108 aufgeteilt werden. Im Kontext dieses Dokuments kann ein „nichttransitorisches computerlesbares Speichermedium” jedes Medium sein, das Programme zur Verwendung durch oder in Verbindung mit dem Anweisungs-Ausführungssystem, dem Apparat oder der Vorrichtung enthalten oder speichern kann.
Die Schnittstelle für Peripherieeinheiten 218 kann dazu verwendet werden, um Eingabe- und Ausgabeperipherieeinheiten der Vorrichtung an die CPU 220 und den Speicher 202 zu koppeln. Der eine oder die mehreren Prozessoren 220 führen verschiedene, im Speicher 202 gespeicherte Softwareprogramme und/oder Anweisungssätze aus, um verschiedene Funktionen der Vorrichtung 200 auszuführen und Daten zu verarbeiten. In manchen Ausführungsformen können die Schnittstelle für Peripherieeinheiten 218, die CPU 220 und die Speichersteuerung 222 auf einem einzelnen Chip, wie etwa Chip 204, implementiert sein. In einigen anderen Ausführungsformen können sie auf separaten Chips implementiert sein.
Die HF-Schaltung (Hochfrequenz-Schaltung) 208 empfängt und sendet HF-Signale, die auch als elektromagnetische Signale bezeichnet werden. Die HF-Schaltung 208 wandelt elektrische Signale in elektromagnetische Signale bzw. elektromagnetische Signale in elektrische Signale um und kommuniziert mittels der elektromagnetischen Signale mit Kommunikationsnetzwerken und anderen Kommunikationsvorrichtungen. Die HF-Schaltung 208 schließt wahlweise bekannte Schaltungen zum Ausführen dieser Funktionen, einschließlich unter anderem eines Antennensystems, eines HF-Sender-Empfängers, eines oder mehrerer Verstärker, eines Tuners, eines oder mehrerer Oszillatoren, eines digitalen Signalprozessors, eines Codec-Chipsatzes, einer Teilnehmeridentitätsmodulkarte (subscriber identity module card, SIM-Karte), Speicher und so weiter ein. Die HF-Schaltung 208 kommuniziert mittels drahtloser Kommunikation wahlweise mit Netzwerken, wie etwa dem Internet, das auch als World Wide Web (WWW) bezeichnet wird, einem Intranet und/oder einem drahtlosen Netzwerk, wie etwa einem Mobiltelefonnetzwerk, einem drahtlosen lokalen Netzwerk (LAN) und/oder einem innerstädtischen Netzwerk (MAN) und anderen Vorrichtungen. Die HF-Schaltung 208 schließt wahlweise eine allgemein bekannte Schaltung zum Erfassen von Nahfeldkommunikationsfeldern (near field communication (NFC-Feldern)) ein, wie beispielsweise durch einen Kommunikationsfunk mit kurzer Reichweite. Die drahtlose Kommunikation verwendet wahlweise jegliche von mehreren Kommunikationsstandards, Kommunikationsprotokollen und -technologien, insbesondere von Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Evolution Data-Only (EV-DO), HSPA, HSPA+, Dual-Cell HSPA (DC-HSPDA), Long Term Evolution (LTE), Nahfeldkommunikation (Near Field Communication, NFC), Wideband Code Division Multiple Access (W-CDMA), Code Division Multiple Access (CDMA), Time Division Multiple Access (TDMA), Bluetooth, Bluetooth Low Energy (BTLE), Wireless Fidelity (Wi-Fi) (z. B. IEEE 802.11a, IEEE 802.11b, IEEE 802.11g, IEEE 802.11n und/oder IEEE 802.11ac), Voice over Internet Protocol (VoIP), Wi-MAX, einem Protokoll für E-Mails (z. B. Internet Message Access Protocol (IMAP) und/oder Post Office Protocol (POP)), Instant Messaging (z. B. Extensible Messaging and Presence Protocol (XMPP), Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions (SIMPLE), Instant Messaging and Presence Service (IMPS) und/oder Short Message Service (SMS), oder jegliches andere, geeignete Kommunikationsprotokoll, einschließlich von zum Zeitpunkt der Einreichung dieses Dokuments noch nicht entwickelten Kommunikationsprotokollen.
Die Audioschaltung 210, der Lautsprecher 211 und das Mikrofon 213 stellen eine Audioschnittstelle zwischen einem Benutzer und einer Vorrichtung 200 bereit. Die Audioschaltung 210 empfängt Audiodaten von der Peripherieschnittstelle 218, wandelt die Audiodaten in ein elektrisches Signal um und überträgt die elektrischen Signale an den Lautsprecher 211. Der Lautsprecher 211 wandelt die elektrischen Signale in vom Menschen hörbare Schallwellen um. Die Audioschaltung 210 empfängt auch vom Mikrofon 213 aus Schallwellen umgewandelte elektrische Signale. Die Audioschaltung 210 wandelt die elektrischen Signale in Audiodaten um und überträgt die Audiodaten zur Verarbeitung an die Schnittstelle für Peripherieeinheiten 218. Audiodaten können von der peripheren Schnittstelle 218 aus dem Speicher 202 und/oder der HF-Schaltung 208 abgerufen und/oder dorthin übermittelt werden. In manchen Ausführungsformen schließt die Audioschaltung 210 auch einen Kopfhöreranschluss ein (z. B. 312, 3). Der Kopfhöreranschluss stellt eine Schnittstelle zwischen der Audioschaltung 210 und nicht fest eingebauten Eingabe-/Ausgabe-Peripherieeinheiten bereit, wie etwa Nur-Ausgabe-Kopfhörer oder Kopfhörer sowohl mit Ausgabe (z. B. ein Kopfhörer für ein oder beide Ohren) als auch mit Eingabe (z. B. ein Mikrofon).
Das E/A-Subsystem 206 koppelt Eingabe/Ausgabe-Peripherieeinheiten auf der Vorrichtung 200, wie etwa den Touchscreen 212, und andere Eingabesteuervorrichtungen 216 an die Peripherieeinheitenschnittstelle 218. Das E/A-Subsystem 206 schließt wahlweise eine Anzeigesteuerung 256, eine Steuerung für optische Sensoren 258, eine Intensitätssensorsteuerung 259, eine Steuerung für haptische Rückmeldung 261 und eine oder mehrere Eingabesteuerungen 260 für andere Eingabe- oder Steuervorrichtungen ein. Die eine oder die mehreren Eingabesteuerungen 260 empfangen/senden elektrische Signale von/an andere(n) Eingabesteuervorrichtungen 216. Die anderen Eingabesteuervorrichtungen 216 schließen wahlweise physische Schaltflächen (z. B. Drucktasten, Wipptaster etc.), Wählscheiben, Schiebeschalter, Joysticks, Click Wheels und so weiter ein. In manchen alternativen Ausführungsformen sind die eine oder mehreren Eingabesteuerungen 260 wahlweise mit beliebigen (oder keinem) der Folgenden gekoppelt: eine Tastatur, ein Infrarotanschluss, ein USB-Anschluss und eine Zeigevorrichtung, wie beispielsweise einer Maus. Die eine oder mehreren Schaltflächen oder Tasten (z. B. 308, 3) schließen wahlweise eine Aufwärts/Abwärtstaste für eine Lautstärkesteuerung des Lautsprechers 211 und/oder des Mikrofons 213 ein. Die eine oder mehreren Schaltflächen oder Tasten schließen wahlweise eine Drucktaste ein (z. B. 306, 3).
Ein schnelles Drücken der Drucktaste kann eine Sperre des Touchscreens 212 aufheben oder einen Prozess beginnen, wobei Gesten auf dem Touchscreen zum Entsperren der Vorrichtung verwendet werden, welcher in der am 23. Dezember 2005 eingereichten US-Patentanmeldung Nr. 11/322,549, „Unlocldng a Device by Performing Gestures an an Unlock Image”, US-Pat. Nr. 7,657,849 beschrieben ist, die hier durch Bezugnahme in ihrer Gesamtheit aufgenommen wird. Ein längeres Drücken der Drucktaste (z. B. 306) kann den Strom für die Vorrichtung 200 ein- oder ausschalten. Der Benutzer kann in der Lage sein, eine Funktionalität einer oder mehrerer der Schaltflächen individuell anzupassen. Der Touchscreen 212 wird verwendet, um virtuelle Tasten oder Softtasten oder Softschaltflächen und ein oder mehrere Softtastaturen zu implementieren.
Der berührungsempfindliche Bildschirm 212 stellt eine Eingabeschnittstelle und eine Ausgabeschnittstelle zwischen der Vorrichtung und einem Benutzer bereit. Die Anzeigesteuerung 256 empfängt und/oder sendet elektrische Signale von dem/an den Touchscreen 212. Der Touchscreen 212 zeigt dem Benutzer visuelle Ausgaben an. Die visuelle Ausgabe kann Grafiken, Text, Symbole, Video und eine beliebige Kombination davon (zusammenfassend als „Grafiken” bezeichnet) beinhalten. In manchen Ausführungsformen können einige oder alle der visuellen Ausgaben den Benutzerschnittstellenobjekten entsprechen.
Der Touchscreen 212 besitzt eine berührungsempfindliche Oberfläche, einen berührungsempfindlichen Sensor oder Satz von Sensoren, der oder die Eingaben vom Benutzer auf Grundlage von haptischem und/oder taktilem Kontakt annehmen. Der Touchscreen 212 und die Anzeigesteuerung 256 (zusammen mit beliebigen zugeordneten Modulen und/oder Sätzen von Anweisungen im Speicher 202) erfassen einen Kontakt (und eine Bewegung oder ein Abbrechen des Kontakts) auf dem Touchscreen 212 und wandeln den erfassten Kontakt in eine Interaktion mit Benutzerschnittstellenobjekten um (z. B. eine oder mehrere Softkeys, Symbole, Webseiten oder Bilder), die auf dem Touchscreen 212 angezeigt werden. In einer beispielhaften Ausführungsform entspricht ein Kontaktpunkt zwischen dem Touchscreen 212 und dem Benutzer einem Finger des Benutzers.
Der Touchscreen 212 kann LCD-Technologie (Flüssigkristallanzeigetechnologie), LPD-Technologie (Leuchtpolymervorrichtungstechnologie) oder LED-Technologie (anorganische Leuchtdiodentechnologie) verwenden, wenngleich in anderen Ausführungsformen andere Bildschirmtechnologien verwendet werden können. Touchscreen 212 und Bildschirmsteuerung 256 können den Kontakt und jegliche Bewegung oder ein Abbrechen des Kontakts unter Verwendung mehrerer bereits bekannter oder noch zu entwickelnder Berührungssensortechnologien erfassen, einschließlich aber nicht beschränkt auf kapazitive, widerstandsfähige, infrarote und akustische Oberflächenwellentechnologien, sowie andere Näherungssensoranordnungen oder anderer Elemente zum Feststellen eines oder mehrerer Kontaktpunkte auf dem Touchscreen 212. In einer beispielhaften Ausführungsform wird eine Technologie eines gegenseitigen, projiziert-kapazitiven Erfassens verwendet, wie beispielsweise die, die im iPhone^® und iPod Touch^® von Apple Inc. aus Cupertino, Kalifornien, zu finden ist.
Eine berührungsempfindliche Anzeige in manchen Ausführungsformen des Touchscreens 212 kann analog zu den in den folgenden US-Patenten beschriebenen Touchpads stehen, die empfindlich auf Multitouch reagieren: 6,323,846 (Westerman et al.), 6,570,557 (Westerman et al.) und/oder 6,677,932 (Westerman) und/oder US-Patentveröffentlichung 2002/0015024A1 , von denen jedes hiermit durch Bezugnahme in seiner Gesamtheit aufgenommen wird. Der Touchscreen 212 zeigt jedoch visuelle Ausgaben aus der Vorrichtung 200 an, wohingegen berührungsempfindliche Touchpads keine visuellen Ausgaben bereitstellen.
Ein berührungsempfindlicher Bildschirm in manchen Ausführungsformen des Touchscreens 212 kann wie in den folgenden Anmeldungen beschrieben sein: (1) US-Patentanmeldung Nr. 11/381,313, „Multipoint Touch Surface Controller”, eingereicht am 2. Mai 2006; (2) US-Patentanmeldung Nr. 10/840,862, „Multipoint Touchscreen”, eingereicht am 6. Mai 2004; (3) US-Patentanmeldung Nr. 10/903,964, „Gestures For Touch Sensitive Input Devices”, eingereicht am 30. Juli 2004; (4) US-Patentanmeldung Nr. 11/048,264, „Gestures For Touch Sensitive Input Devices”, eingereicht am 31. Januar 2005; (5) US-Patentanmeldung Nr. 11/038,590, „Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices”, eingereicht am 18. Januar 2005; (6) US-Patentanmeldung Nr. 11/228,758, „Virtual Input Device Placement On A Touch Screen User Interface”, eingereicht am 16. September 2005; (7) US-Patentanmeldung Nr. 11/228,700, „Operation Of A Computer With A Touch Screen Interface”, eingereicht am 16. September 2005; (8) US-Patentanmeldung Nr. 11/228,737, „Activating Virtual Keys Of A Touch-Screen Virtual Keyboard”, eingereicht am 16. September 2005; und (9) US-Patentanmeldung Nr. 11/367,749, „Multi-Functional Hand-Held Device”, eingereicht am 3. März 2006. Alle dieser Anmeldungen werden durch Bezugnahme hierin in ihrer Gesamtheit aufgenommen.
Der Touchscreen 212 kann eine Videoauflösung von mehr als 100 dpi aufweisen. In manchen Ausführungsformen weist der Touchscreen eine Videoauflösung von ungefähr 160 dpi auf. Der Benutzer kann Kontakt mit dem Touchscreen 212 herstellen, indem er ein beliebiges geeignetes Objekt oder Körperteil, wie etwa einen Eingabestift, einen Finger und dergleichen verwendet. In manchen Ausführungsformen ist die Benutzerschnittstelle dazu ausgelegt, hauptsächlich mit auf Fingern basierenden Kontakten und Handbewegungen zu arbeiten, die aufgrund der größeren Kontaktfläche eines Fingers auf dem Touchscreen weniger akkurat als eine Eingabe mit dem Eingabestift sein können. In einigen Ausführungsformen übersetzt die Vorrichtung die grobe auf Fingern basierende Eingabe in eine präzise Position des Mauszeigers/Cursors oder in einen Befehl zum Ausführen der vom Benutzer gewünschten Aktionen.
In einigen Ausführungsformen kann die Vorrichtung 200 zusätzlich zum Touchscreen ein (nicht gezeigtes) Touchpad zum Aktivieren oder Deaktivieren bestimmter Funktionen aufweisen. In manchen Ausführungsformen ist das Touchpad ein berührungsempfindlicher Bereich der Vorrichtung, der im Gegensatz zum Touchscreen keine visuellen Ausgaben anzeigt. Das Touchpad kann eine berührungsempfindliche Oberfläche, die vom Touchscreen 212 separat ist, oder eine Verlängerung der vom Touchscreen gebildeten, berührungsempfindlichen Oberfläche sein.
Die Vorrichtung 200 schließt auch das Stromversorgungssystem 262 ein, um die verschiedenen Komponenten mit Strom zu versorgen. Das Stromversorgungssystem 262 kann ein Stromverwaltungssystem, eine oder mehrere Stromquellen (z. B. Batterie, Wechselstrom (AC)), ein Aufladesystem, eine Stromausfallerfassungsschaltung, einen Stromrichter oder Wechselrichter, eine Energiestatusanzeige (z. B. eine Leuchtdiode (LED)) und beliebige andere Komponenten, die mit der Stromerzeugung, Stromverwaltung und Stromverteilung in tragbaren Vorrichtungen im Zusammenhang stehen, beinhalten.
Vorrichtung 200 kann außerdem einen oder mehrere optische Sensoren 264 umfassen. 2A zeigt einen optischen Sensor, der an die optische Sensorsteuerung 258 im E/A-Subsystem 206 gekoppelt ist. Der optische Sensor 264 kann Fototransistoren mit ladungsgekoppelten Bauteilen (charge-coupled device – CCD) oder mit komplementären Metalloxid-Halbleitern (complementary metal-oxide semiconductor – CMOS) aufweisen. Der optische Sensor 264 empfängt Licht aus der Umgebung, das durch eine oder mehrere Linsen projiziert wird, und wandelt das Licht in ein Bild darstellende Daten um. Zusammen mit dem Bildgebungsmodul 243 (das auch als Kameramodul bezeichnet wir), kann der optische Sensor 264 wahlweise Standbilder oder Videobilder aufnehmen. In einigen Ausführungsformen befindet sich ein optischer Sensor auf der Rückseite der Vorrichtung 200 gegenüber dem Touchscreen-Bildschirm 212 auf der Vorderseite der Vorrichtung, sodass der Touchscreen-Bildschirm als Bildsucher für die Standbild- und/oder Videobildaufnahme verwendet werden kann. In manchen Ausführungsformen befindet sich ein optischer Sensor auf der Vorderseite der Vorrichtung, sodass das Bild des Benutzers für Videokonferenzen erhalten werden kann, während der Benutzer die anderen Teilnehmer der Videokonferenz auf dem Bildschirm des Touchscreen sieht. In manchen Ausführungsformen kann die Position des optischen Sensors 264 durch den Benutzer geändert werden (z. B. durch Drehen der Linse und des Sensors im Gehäuse der Vorrichtung), sodass ein einziger optischer Sensor 264 zusammen mit dem Bildschirm des Touchscreen sowohl für Videokonferenzen als auch für eine Stand- und/oder Videobildaufnahme verwendet werden kann.
Die Vorrichtung 200 schließt wahlweise auch einen oder mehrere Kontaktintensitätssensoren 265 ein. 2A zeigt einen Kontaktintensitätssensor, der mit der Intensitätssensorsteuervorrichtung 259 im E/A-Subsystem 206 gekoppelt ist. Der Kontaktintensitätssensor 265 umfasst wahlweise einen oder mehrere piezoresistive Dehnungsmesser, kapazitive Kraftsensoren, elektrische Kraftsensoren, piezoelektrische Kraftsensoren, optische Kraftsensoren, kapazitive berührungsempfindliche Oberflächen oder andere Intensitätssensoren (z. B. Sensoren, die zum Messen der Kraft (oder des Drucks) eines Kontakts auf einer berührungsempfindlichen Oberfläche verwendet werden). Der Kontaktintensitätssensor 265 empfängt Kontaktintensitätsinformationen (z. B. Druckinformationen oder einen Stellvertreter für Druckinformationen) aus der Umgebung. In einigen Ausführungsformen ist mindestens ein Kontaktintensitätssensor zusammen mit oder neben einer berührungsempfindlichen Oberfläche (z. B. dem berührungsempfindlichen Bildschirmsystem 212) angeordnet. In manchen Ausführungsformen befindet sich mindestens ein Kontaktintensitätssensor auf der Rückseite der Vorrichtung 200 gegenüber der Touchscreen-Anzeige 212, die sich auf der Vorderseite der Vorrichtung 200 befindet.
Die Vorrichtung 200 kann auch einen oder mehrere Näherungssensoren 266 beinhalten. 2A zeigt den Näherungssensor 266, der an die Schnittstelle für Peripheriegeräte 218 gekoppelt ist. Alternativ dazu kann der Näherungssensor 266 an die Eingabesteuerung 260 im E/A-Subsystem 206 gekoppelt sein. Der Näherungssensor 266 kann, wie in den folgenden US-Patentanmeldungen beschrieben, arbeiten: Nr. 11/241,839, „Proximity Detector In Handheld Device”; 11/240,788, „Proximity Detector In Handheld Device”; 11/620,702, „Using Ambient Light Sensor To Augment Proximity Sensor Output”; 11/586,862, „Automated Response To And Sensing Of User Activity In Portable Devices”; und 11/638,251, „Methods And Systems For Automatic Configuration Of Peripherals”, welche hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen werden. In manchen Ausführungsformen schaltet der Näherungssensor den Touchscreen 212 aus und deaktiviert ihn, wenn die Multifunktionsvorrichtung in der Nähe des Ohrs des Benutzers platziert wird (z. B. wenn der Benutzer ein Telefongespräch führt).
Die Vorrichtung 200 schließt wahlweise auch einen oder mehrere Tastausgabeerzeuger 267 ein. 2A zeigt einen Tastausgabeerzeuger, der mit der Steuervorrichtung für haptische Rückmeldung 261 im E/A-Subsystem 206 gekoppelt ist. Der Tastausgabeerzeuger 267 schließt wahlweise eine oder mehrere elektroakustische Vorrichtungen, wie etwa Lautsprecher oder andere Audiokomponenten und/oder elektromechanische Vorrichtungen ein, die Energie in lineare Bewegung umwandeln, wie etwa einen Motor, einen Elektromagneten, ein elektroaktives Polymer, einen piezoelektrischen Aktuator, einen elektrostatischen Aktuator oder eine andere Tastausgabe erzeugende Komponente (z. B. eine Komponente, die elektrische Signale auf der Vorrichtung in Tastausgaben umwandelt). Der Kontaktintensitätssensor 265 empfängt vom haptischen Feedbackmodul 233 Anweisungen zum Erzeugen von Tastfeedback und erzeugt Tastausgaben auf der Vorrichtung 200, die von einem Benutzer der Vorrichtung 200 wahrgenommen werden können. In einigen Ausführungsformen ist mindestens ein Tastausgabeerzeuger zusammen mit oder neben einer berührungsempfindlichen Oberfläche (z. B. dem berührungsempfindlichen Bildschirmsystem 212) angeordnet und erzeugt wahlweise eine Tastausgabe, indem die berührungsempfindliche Oberfläche senkrecht (z. B. in eine Oberfläche der Vorrichtung 200 hinein oder aus ihr heraus) oder seitwärts (z. B. vorwärts und rückwärts in der gleichen Ebene wie eine Oberfläche der Vorrichtung 200) bewegt wird. In manchen Ausführungsformen befindet sich mindestens ein Tastausgabeerzeuger auf der Rückseite der Vorrichtung 200 gegenüber der Touchscreen-Anzeige 212, die sich auf der Vorderseite der Vorrichtung 200 befindet.
Vorrichtung 200 kann auch eine oder mehrere Beschleunigungsmesser 268 beinhalten. 2A zeigt den Beschleunigungsmesser 268 mit der Peripherieeinheitenschnittstelle 218 gekoppelt. Alternativ dazu kann der Beschleunigungsmesser 268 an eine Eingabesteuervorrichtung 260 im E/A-Subsystem 206 gekoppelt werden. Beschleunigungsmesser 268 kann wie beschrieben in US-Patentveröffentlichung Nr. 20050190059 , „Acceleration-based Theft Detection System for Portable Electronic Devices” und US-Patentveröffentlichung Nr. 20060017692 , „Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer” arbeiten, welche beide durch Bezugnahme in ihrer Gesamtheit hierin aufgenommen werden. In einigen Ausführungsformen werden Informationen auf der Touchscreen-Anzeige im Hochformat oder im Querformat angezeigt, basierend auf einer Analyse von Daten, die von dem einen oder den mehreren Beschleunigungsmessern empfangen wurden. Die Vorrichtung 200 schließt zusätzlich zu dem/den Beschleunigungsmesser(n) 268 wahlweise ein (nicht gezeigtes) Magnetometer und einen (nicht gezeigten) GPS-Empfänger (oder einen Globalen Navigationssatellitensystemempfänger oder einen Empfänger für ein anderes globales Navigationssystem) zum Erhalt von Informationen bezüglich der Position und der Ausrichtung (z. B. Hochformat oder Querformat) der Vorrichtung 200 ein.
In einigen Ausführungsformen umfassen die im Speicher 202 gespeicherten Softwarekomponenten das Betriebssystem 226, das Kommunikationsmodul (oder einen Anweisungssatz) 228, das Kontakt-/Bewegungsmodul (oder einen Anweisungssatz) 230, das Grafikmodul (oder einen Anweisungssatz) 232, das Texteingabemodul (oder einen Anweisungssatz) 234, das GPS-Modul (Globales Positionierungssystem-Modul) (oder einen Anweisungssatz) 235, ein Client-Modul für den digitalen Assistenten 229 und Anwendungen (oder einen Anweisungssatz) 236. Des Weiteren kann Speichern 202 Daten und Modelle wie Benutzerdaten und Modelle 231 speichern. Des Weiteren ist in manchen Ausführungsformen im Speicher 202 (2A) oder 470 (4) ein vorrichtungsbezogener/globaler interner Zustand 257 gespeichert, wie in 2A und 4 gezeigt. Der vorrichtungsbezogene/globale interne Zustand 257 umfasst eines oder mehrere der Folgenden: einen Anwendungsaktivitätsstatus, der anzeigt welche der Anwendungen gegebenenfalls gerade aktiv sind; einen Bildschirmstatus, der anzeigt, welche Anwendungen, Ansichten oder anderen Informationen verschiedene Bereiche der Touchscreen-Anzeige 212 belegen; einen Sensorstatus, einschließlich von Informationen, die von den verschiedenen Sensoren und Eingabesteuervorrichtungen 216 der Vorrichtung erhalten wurden; und Ortsinformationen, die den Standort und/oder die Einstellung der Vorrichtung betreffen.
Das Betriebssystem 226 (z. B. Darwin, RTXC, LINUX, UNIX, OS X, iOS, WINDOWS oder ein eingebettetes Betriebssystem, wie beispielsweise VxWorks) schließt verschiedene Software-Komponenten und/oder Treiber zum Steuern und Verwalten von allgemeinen Systemaufgaben (z. B. Speicherverwaltung, Datenspeichervorrichtungssteuerung, Energieverwaltung usw.) ein und ermöglicht eine Kommunikation zwischen verschiedenen Hardware- und Softwarekomponenten.
Das Kommunikationsmodul 228 erleichtert die Kommunikation mit anderen Vorrichtungen über einen oder mehrere externe Anschlüsse 224 und schließt auch verschiedene Software-Komponenten zur Handhabung von Daten ein, die von der HF-Schaltung 208 und/oder vom externen Anschluss 224 empfangen wurden. Der externe Anschluss 224 (z. B. Universal Serial Bus (USB), FIREWIRE etc.) ist dafür ausgelegt, direkt an andere Vorrichtungen oder indirekt über ein Netzwerk (z. B. das Internet, WLAN etc.) gekoppelt zu werden. In manchen Ausführungsformen handelt es sich bei dem externen Anschluss um einen Mehrfachpinsteckverbinder (z. B. 30 Pins), welcher derselbe wie der oder ähnlich dem oder kompatibel mit dem 30-Pin-Steckverbinder ist, der auf iPod^®-Vorrichtungen (iPod^® ist eine Marke von Apple Inc.) verwendet wird.
Das Kontakt-/Bewegungsmodul 230 erfasst wahlweise einen Kontakt mit dem Touchscreen 212 (in Verbindung mit der Anzeigesteuerung 256) und anderen berührungsempfindlichen Vorrichtungen (z. B. einem Touchpad oder einem physischen Click Wheel). Das Kontakt-/Bewegungsmodul 230 schließt verschiedene Softwarekomponenten zum Ausführen verschiedener Vorgänge ein, die mit dem Erfassen von Kontakt in Zusammenhang stehen, wie etwa Feststellen, ob es einen Kontakt gab (z. B. Erfassen eines stattfindenden Aufsetzens bzw. Andrückens eines Fingers), Feststellen einer Intensität des Kontakts (z. B. der Kraft oder des Drucks des Kontakts oder eines Ersatzes für die Kraft oder den Druck des Kontakts), Feststellen, ob eine Bewegung des Kontakts vorliegt, und Nachverfolgen der Bewegung über die berührungsempfindliche Oberfläche hinweg (z. B. Erfassen eines stattfindenden Ziehens des Fingers), und Feststellen, ob der Kontakt aufgehört hat (z. B. Erfassen eines stattfindenden Anhebens eines Fingers oder einer Unterbrechung des Kontakts). Das Kontakt-/Bewegungsmodul 230 empfängt Kontaktdaten von der berührungsempfindlichen Oberfläche. Das Feststellen von Bewegung des Kontaktpunkts, die von einer Reihe von Kontaktdaten dargestellt wird, schließt wahlweise das Feststellen von Schnelligkeit (Größenordnung), Geschwindigkeit (Größenordnung und Richtung) und/oder einer Beschleunigung (einer Veränderung der Größenordnung und/oder der Richtung) des Kontaktpunkts ein. Diese Vorgänge werden wahlweise auf einzelne Kontakte (z. B. Ein-Finger-Kontakte) oder auf mehrere gleichzeitige Kontakte (z. B. „Mehrfachberührung”/Mehr-Finger-Kontakte) angewandt. In manchen Ausführungsformen erfassen das Kontakt-/Bewegungsmodul 230 und die Anzeigesteuerung 256 Kontakt auf einem Touchpad.
In einigen Ausführungsformen verwendet das Kontakt-/Bewegungsmodul 230 einen Satz von einem oder mehreren Intensitätsschwellenwerten, um festzustellen, ob ein Vorgang von einem Benutzer ausgeführt wurde (z. B. um festzustellen, ob ein Benutzer auf ein Symbol „geklickt” hat). In manchen Ausführungsformen wird mindestens ein Teilsatz der Intensitätsschwellenwerte gemäß Software-Parametern festgelegt (z. B. werden die Intensitätsschwellenwerte nicht durch die Aktivierungsschwellenwerte bestimmter physischer Aktoren festgelegt und können angepasst werden, ohne die physische Hardware der Vorrichtung 200 zu verändern). Zum Beispiel kann ein Maus-„Klick”-Schwellenwert einer Trackpad- oder Touchscreen-Anzeige auf jeden beliebigen eines breiten Bereichs vordefinierter Schwellenwerte eingestellt werden, ohne die Trackpad- oder Touchscreen-Anzeige-Hardware zu verändern. Zusätzlich werden in manchen Implementierungen einem Benutzer der Vorrichtung Software-Einstellungen zum Anpassen eines oder mehrerer des Satzes von Intensitätsschwellenwerten bereitgestellt (z. B. durch Anpassen einzelner Intensitätsschwellenwerte und/oder durch Anpassen einer Vielzahl von Intensitätsschwellenwerten auf einmal mit einem Klick-„Intensitäts”-Parameter auf Systemebene).
Das Kontakt-/Bewegungsmodul 230 erfasst wahlweise eine Eingabe durch eine Geste bzw. Handbewegung eines Benutzers. Unterschiedliche Gesten auf der berührungsempfindlichen Oberfläche haben unterschiedliche Kontaktmuster (z. B. unterschiedliche Bewegungen, Zeiten und/oder Intensitäten erfasster Kontakte). Folglich wird eine Geste wahlweise durch Erfassen eines bestimmten Kontaktmusters erfasst. Zum Beispiel schließt ein Erfassen einer Fingertippgeste ein Erfassen eines Finger-nach-unten-Ereignisses, gefolgt von einem Erfassen eines Finger-nach-oben- bzw. Abhebe-Ereignisses an derselben Position (oder im Wesentlichen derselben Position) wie das Finger-nach-unten-Ereignis (z. B. an der Position eines Symbols) ein. Als ein weiteres Beispiel schließt ein Erfassen einer Fingerwischgeste auf der berührungsempfindlichen Oberfläche ein Erfassen eines Finger-nach-unten-Ereignisses, gefolgt von einem oder mehreren Fingerziehereignissen und nachfolgend gefolgt von einem Erfassen eines Finger-nach-oben-Ereignisses (bzw. Abhebe-Ereignisses) ein.
Das Grafikmodul 232 schließt verschiedene bekannte Software-Komponenten zum Rendern und Anzeigen von Grafik auf dem Touchscreen 212 oder einer anderen Anzeige ein, einschließlich Komponenten zum Ändern der visuellen Auswirkung (z. B. Helligkeit, Transparenz, Sättigung, Kontrast oder einer anderen visuellen Eigenschaft) von Grafik, die angezeigt wird. Wie hierin verwendet, schließt der Begriff „Grafik” jedes Objekt ein, das einem Benutzer angezeigt werden kann, einschließlich, jedoch ohne Einschränkung, von Text, Webseiten, Symbolen (wie beispielsweise Benutzerschnittstellenobjekte, einschließlich Softkeys), Digitalbildern, Videos, Animationen und Ähnlichem.
In manchen Ausführungsformen speichert das Grafikmodul 232 Daten, die zu verwendende Grafiken darstellen. Jeder Grafik wird wahlweise ein entsprechender Code zugewiesen. Das Grafikmodul 232 empfängt von Anwendungen etc. einen oder mehrere Codes, die Grafiken spezifizieren, die, falls erforderlich, zusammen mit Koordinatendaten und anderen Daten zu grafischen Eigenschaften angezeigt werden sollen, und erzeugt dann Bildschirmbilddaten zur Ausgabe an die Anzeigesteuerung 256.
Das haptische Feedbackmodul 233 umfasst verschiedene Softwarekomponenten zum Erzeugen von Anweisungen, die von dem/den Tastausgabeerzeuger(n) 267 verwendet werden, um Tastausgaben an einer oder mehreren Stellen auf der Vorrichtung 200 als Reaktion auf Benutzerinteraktionen mit der Vorrichtung 200 zu erzeugen.
Das Texteingabemodul 234, bei dem es sich um eine Komponente des Grafikmoduls 232 handeln kann, stellt Bildschirmtastaturen zur Eingabe von Text bei verschiedenen Anwendungen (z. B. Kontakte 237, E-Mail 240, Instant Messaging 241, Browser 247 und jede andere Anwendung bei der Texteingabe erforderlich ist) bereit.
Das GPS-Modul 235 ermittelt den Standort der Vorrichtung und stellt diese Information zur Verwendung in vielfältigen Anwendungen bereit (z. B. dem Telefon 238 zur Verwendung beim standortbasierten Wählen; der Kamera 243 als Bild-/Videometadaten; und Anwendungen, die standortbasierte Dienste anbieten, wie beispielsweise Wetter-Widgets, Widgets lokaler Gelber Seiten und Karten/-Navigations-Widgets).
Das Client-Modul 229 des digitalen Assistenten kann verschiedene clientseitige Anweisungen für den digitalen Assistenten beinhalten, um die clientseitigen Funktionalitäten des digitalen Assistenten bereitzustellen. Das Client-Modul 229 des digitalen Assistenten kann beispielsweise in der Lage sein, Spracheingaben, Texteingaben, Berührungseingaben und/oder Gesten-Eingaben über verschiedene Benutzerschnittstellen (z. B. Mikrofon 213, Beschleunigungsmesser 268, berührungssensibles Displaysystem 212, optischen Sensor 264 oder andere Eingabesteuerungsvorrichtungen 216 usw.) der tragbaren Multifunktionsvorrichtung 200 zu akzeptieren. Das Client-Modul 220 des digitalen Assistenten kann auch in der Lage sein, eine Ausgabe als Audio (z. B. Sprachausgabe), visuell und/oder in taktilen Formen über verschiedene Ausgabe-Schnittstellen der tragbaren Multifunktionsvorrichtung 200 (z. B. Lautsprechers 211, berühungssensibles Display-System 212, taktile Ausgabe-Generatoren 267 usw.) bereitzustellen. Zum Beispiel kann die Ausgabe als Stimme, Ton, Warnungen, Textnachrichten, Menüs, Grafiken, Videos, Animationen, Vibrationen und/oder Kombinationen von zwei oder mehr der vorstehenden Elemente bereitgestellt werden. Während des Betriebs kann das Client-Modul 220 des digitalen Assistenten mit dem DA-Server 106 über RF-Schaltlogik 208 kommunizieren.
Benutzerdaten und Modelle 231 können verschiedene mit dem Benutzer verknüpfte Daten beinhalten (z. B. benutzerspezifische Vokabulardaten, Benutzerpräferenzdaten, benutzerspezifische Namensaussprachen Daten aus dem elektronischen Adressbuch des Benutzers, To-Do-Listen, Einkaufslisten usw.), um die clientseitigen Funktionalitäten des digitalen Assistenten bereitzustellen. Des Weiteren können Benutzerdaten und Modelle 231 verschiedene Modelle (z. B. Spracherkennungsmodelle, statistische Sprachmodelle, natürliche Sprachverarbeitungsmodelle, Ontologie, Aufgabenflussmodelle, Servicemodelle usw.) zur Verarbeitung von Benutzereingaben und zur Feststellung der Benutzerintention beinhalten.
In einigen Beispielen kann das Client-Modul des digitalen Assistenten 229 die verschiedenen Sensoren, Subsysteme und Peripheriegeräte der tragbaren Multifunktionsvorrichtung 200 nutzen, um zusätzliche Informationen aus der Umgebung der tragbaren Multifunktionsvorrichtung 200 zusammenzutragen und einen Kontext im Zusammenhang mit einem Benutzer, einer aktuellen Benutzerinteraktion und/oder der aktuellen Benutzereingabe zu erstellen. In einigen Beispielen kann das Client-Modul des digitalen Assistenten 229 die Kontextinformationen oder eine Teilmenge davon mit der Benutzereingabe an den DA-Server 106 des digitalen Assistenten bereitstellen, um die Ableitung der Absicht des Benutzers zu unterstützen. In einigen Beispielen kann der digitale Assistent auch die Kontextinformationen verwenden um zu bestimmen, wie Ausgaben an den Benutzer erstellt und übertragen werden. Kontextinformationen können auch als Kontextdaten bezeichnet werden.
Bei einigen Beispielen können die Kontextinformationen, die möglicherweise mit der Benutzereingabe bereitgestellt werden, Sensorinformationen beinhalten, z. B. in Bezug auf Beleuchtung, Umgebungsgeräusche, Umgebungstemperatur oder Bilder oder Videos der Umgebung. Bei einigen Beispielen können die Kontextinformationen außerdem den physischen Zustand der Vorrichtung beinhalten, z. B. Vorrichtungsausrichtung, Vorrichtungsstandort, Vorrichtungstemperatur, Leistungspegel, Geschwindigkeit, Beschleunigung, Bewegungsmuster oder Mobiltelefonsignalstärke. Bei einigen Beispielen können auch Informationen in Bezug auf den Softwarestatus der Benutzervorrichtung 106, z. B. in Bezug auf ausgeführte Prozesse, installierte Programme, frühere und aktuelle Netzwerkaktivitäten, Hintergrunddienste, Fehlerprotokolle oder die Ressourcenauslastung der Benutzervorrichtung 200 als mit einer Benutzereingabe verknüpfte Kontextinformationen für den Server des digitalen Assistenten 106 bereitgestellt werden.
In einigen Beispielen kann das Client-Modul des digitalen Assistenten 229 selektiv Informationen (z. B. Benutzerdaten 231) bereitstellen, die auf der tragbaren Multifunktionsvorrichtung 200 infolge von Anforderungen vom DA-Server 106 des digitalen Assistenten gespeichert werden. In einigen Beispielen kann das Client-Modul des digitalen Assistenten 229 auch zusätzliche Eingaben von einem Benutzer über einen Dialog in natürlicher Sprache oder andere Benutzerschnittstellen bei Anforderung durch den DA-Server 106 des digitalen Assistenten 106 abrufen. Das Client-Modul des digitalen Assistenten 229 kann die zusätzliche Eingabe an den DA-Server 106 weiterleiten, um den DA-Server 106 bei der Ableitung der Absicht und/oder Erfüllung der in der Benutzeranforderung ausgedrückten Absicht des Benutzers zu unterstützen.
Eine detailliertere Beschreibung des digitalen Assistenten ist nachfolgend mit Bezug auf 7A-C aufgeführt. Es sollte anerkannt werden, dass das Client-Modul des digitalen Assistenten 229 jede Anzahl an Unter-Modulen des nachfolgend beschriebenen Modul des digitalen Assistenten 726 umfassen kann.
Die Anwendungen 236 können die folgenden Module (oder Anweisungssätze), oder eine Teilmenge oder eine Übermenge davon beinhalten:

• Kontakte-Modul 237 (manchmal als Adressbuch oder Kontaktliste bezeichnet);
• Telefonmodul 238;
• Videokonferenzmodul 239;
• E-Mail-Client-Modul 240;
• Instant Messaging- bzw. IM-Modul 241;
• Trainingsunterstützungsmodul 242;
• Kameramodul 243 für Standbilder und/oder Videobilder;
• Bildverwaltungsmodul 244;
• Videowiedergabemodul;
• Musikwiedergabemodul;
• Browsermodul 247;
• Kalendermodul 248;
• Widget-Module 249, die eines oder mehrere der Folgenden umfassen können: Wetter-Widget 249-1, Aktien-Widget 249-2, Taschenrechner-Widget 249-3, Wecker-Widget 249-4, Wörterbuch-Widget 249-5 und andere vom Benutzer erworbene sowie vom Benutzer erstellte Widgets 249-6;
• Widget-Erstellungsmodul 250 zum Erzeugen der vom Benutzer erstellten Widgets 249-6;
• Suchmodul 251;
• Video- und Musikwiedergabemodul 252, welches das Videowiedergabemodul und das Musikwiedergabemodul vereint;
• Notizenmodul 253;
• Kartenmodul 254; und/oder
• Online-Video-Modul 255.

Beispiele für andere Anwendungen 236, die im Speicher 202 gespeichert sein können, umfassen andere Textverarbeitungsanwendungen, andere Bildbearbeitungsanwendungen, Zeichnungsanwendungen, Präsentationsanwendungen, JAVA-fähige Anwendungen, Verschlüsselung, digitale Rechteverwaltung, Spracherkennung und Stimmreplikation.
Zusammen mit dem Touchscreen 212, der Bildschirmsteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 kann das Kontakte-Modul 237 dazu verwendet werden, ein Adressbuch oder eine Kontaktliste (das/die z. B. im internen Anwendungsstatus 292 vom Kontakte-Modul 237 im Speicher 202 oder Speicher 470 gespeichert ist) zu verwalten, einschließlich: Hinzufügen eines Namens/mehrerer Namen zum Adressbuch; Löschen eines Namens/mehrerer Namen aus dem Adressbuch; Zuweisen einer/mehrerer Telefonnummer(n), E-Mail-Adresse(n), Wohnadresse(n) oder anderer Informationen zu einem Namen; Zuweisen eines Bildes zu einem Namen; Kategorisieren und Sortieren von Namen; Bereitstellen von Telefonnummern oder E-Mail-Adressen, um die Kommunikation mittels Telefon 238, Videokonferenzmodul 239, E-Mail 240 oder IM 241 einzuleiten oder zu vereinfachen; und so werter.
Das Telefonmodul 238 kann in Verbindung mit der HF-Schaltung 208, der Audioschaltung 210, dem Lautsprecher 211, dem Mikrofon 213, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 verwendet werden, um eine Folge von Zeichen einzugeben, die einer Telefonnummer entsprechen, auf eine oder mehrere Telefonnummern im Kontaktemodul 237 zuzugreifen, eine Telefonnummer, die eingegeben wurde, zu modifizieren, eine entsprechende Telefonnummer zu wählen, ein Gespräch zu führen und eine Verbindung zu trennen oder aufzulegen, wenn das Gespräch beendet ist. Wie oben erwähnt, kann die drahtlose Kommunikation beliebige von verschiedenen Kommunikationsstandards, -protokollen und -technologien verwenden.
In Verbindung mit der HF-Schaltung 208 der Audioschaltung 210, dem Lautsprecher 211, dem Mikrofon 213, dem Touchscreen 212, der Anzeigesteuerung 256, dem optischen Sensor 264, der Steuereinheit für optische Sensoren 258, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234, dem Kontakte-Modul 237 und dem Telefonmodul 238 schließt das Videokonferenzmodul 239 ausführbare Anweisungen ein, um eine Videokonferenz zwischen einem Benutzer und einem oder mehreren anderen Teilnehmern gemäß Benutzeranweisungen zu starten, zu führen und zu beenden.
Zusammen mit der HF-Schaltung 208, dem Touchscreen 212, der Bildschirmsteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 umfasst das E-Mail-Client-Modul 240 ausführbare Anweisungen zum Erzeugen, Senden, Empfangen und Verwalten von E-Mails als Reaktion auf Benutzeranweisungen. Zusammen mit dem Bildverwaltungsmodul 244 macht es das E-Mail-Client-Modul 240 sehr leicht, E-Mails mit Standbildern oder Videobildern, die mit dem Kameramodul 243 aufgenommen wurden, zu erstellen und zu versenden.
Zusammen mit der HF-Schaltung 208, dem Touchscreen 212, der Bildschirmsteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 umfasst das Instant Messaging-Modul 241 ausführbare Anweisungen zum Eingeben einer Zeichenfolge, die einer Sofortnachricht (instant message) entspricht, zum Ändern zuvor eingegebener Zeichen, zum Übertragen einer jeweiligen Sofortnachricht (z. B. unter Verwendung eines Kurznachrichtendienst (Short Message Service -SMS)- oder eines Multimedianachrichtendienst (Multimedia Message Service – MMS)-Protokolls für telefoniebasierte Sofortnachrichten oder unter Verwendung von XMPP, SIMPLE oder IMPS für internetbasierte Sofortnachrichten), zum Empfangen von Sofortnachrichten und zum Ansehen von empfangenen Sofortnachrichten. In einigen Ausführungsformen können übermittelte und/oder empfangene Sofortnachrichten wahlweise Grafiken, Fotos, Audiodateien, Videodateien und/oder andere Anhänge beinhalten, die von einem MMS und/oder einem Erweiterten Nachrichtendienst (Enhanced Messaging Service – EMS) unterstützt werden. Wie hier verwendet bezieht sich „Instant Messaging” sowohl auf telefoniebasierte Nachrichten (z. B. per SMS oder MMS gesendete Nachrichten) als auch auf internetbasierte Nachrichten (z. B. per XMPP, SIMPLE oder IMPS gesendete Nachrichten).
In Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234, dem GPS-Modul 235, dem Kartenmodul 254 und dem Musikwiedergabemodul schließt das Trainingsunterstützungsmodul 242 ausführbare Anweisungen ein, um Trainings zu erstellen (z. B. mit Zeit-, Strecken- und/oder Kalorienverbrauchszielen); mit Trainingssensoren (Sportvorrichtungen) zu kommunizieren; Trainingssensordaten zu empfangen; Sensoren zu kalibrieren, die verwendet werden, um ein Training zu überwachen; Musik für ein Training auszuwählen und wiederzugeben; und Trainingsdaten anzuzeigen, zu speichern und zu übermitteln.
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem/den optischen Sensor(en) 264, der optischen Sensorsteuerung 258, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Bildverwaltungsmodul 244 umfasst das Kameramodul 243 ausführbare Anweisungen zum Erfassen von Standbildern oder Videos (einschließlich eines Video-Streams) und zum Speichern derselben im Speicher 202, zum Ändern der Eigenschaften eines Standbildes oder Videos oder zum Löschen eines Standbildes oder Videos aus dem Speicher 202.
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234 und dem Kameramodul 243 umfasst das Bildverwaltungsmodul 244 ausführbare Anweisungen zum Anordnen, Verändern (z. B. Bearbeiten) oder zum anderweitigen Verarbeiten, Kennzeichnen, Löschen, Präsentieren (z. B. in einer digitalen Diashow oder einem digitalen Album) und, Speichern von Stand- und/oder Videobildern.
In Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 schließt das Browsermodul 247 ausführbare Anweisungen ein, um im Internet gemäß Benutzeranweisungen zu surfen, einschließlich Suchen von, Verknüpfen mit, Empfangen und Anzeigen von Webseiten oder Anteilen davon sowie Anhängen und anderen Dateien, die mit Webseiten verknüpft sind.
Zusammen mit der HF-Schaltung 208, dem Touchscreen 212, der Bildschirmsystemsteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234, dem E-Mail-Client-Modul 240 und dem Browsermodul 247 umfasst das Kalendermodul 248 ausführbare Anweisungen zum Erstellen, Anzeigen, Verändern und Speichern von Kalendern und mit Kalendern zusammenhängenden Daten (z. B. Kalendereinträge, Aufgabenlisten, etc.) gemäß Benutzeranweisungen.
In Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234 und dem Browsermodul 247 handelt es sich bei den Widget-Modulen 249 um Minianwendungen, die durch einen Benutzer heruntergeladen und verwendet werden können (z. B. das Wetter-Widget 249-1, das Aktien-Widget 249-2, das Rechner-Widget 249-3, das Wecker-Widget 249-4 und das Wörterbuch-Widget 249-5) oder durch einen Benutzer erstellt werden können (z. B. das vom Benutzer erstellte Widget 249-6). In einigen Ausführungsformen schließt ein Widget eine HTML-Datei (Hypertext Markup Language-Datei), eine CSS-Datei (Cascading Style Sheets-Datei) und eine JavaScript-Datei ein. In einigen Ausführungsformen schließt ein Widget eine XML-Datei (Extensible Markup Language-Datei) und eine JavaScript-Datei (z. B. Yahoo!- Widgets) ein.
Das Widget-Erzeugermodul 250 kann in Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234 und dem Browsermodul 247 durch einen Benutzer verwendet werden, um Widgets zu erzeugen (z. B. einen benutzerdefinierten Abschnitt einer Webseite als ein Widget zu verwenden).
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 schließt das Suchmodul 251 ausführbare Anweisungen ein, um gemäß Benutzeranweisungen nach Text-, Musik-, Ton-, Bild-, Video- und/oder anderen Dateien im Speicher 202 zu suchen, die einem oder mehreren Suchkriterien entsprechen (z. B. einem oder mehreren benutzerspezifizierten Suchbegriffen).
In Verbindung mit der dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt/Bewegungsmodul 230, dem Grafikmodul 232, der Audioschaltung 210, dem Lautsprecher 211, der HF-Schaltung 208 und dem Browsermodul 247 schließt das Video- und Musikwiedergabemodul 252 ausführbare Anweisungen ein, die es dem Benutzer ermöglichen, aufgezeichnete Musik- und andere Tondateien herunterzuladen und wiederzugeben, die in einem oder mehreren Dateiformaten gespeichert sind, wie beispielsweise MP3- oder AAC-Dateien, und ausführbare Anweisungen, um Videos (z. B. auf dem Touchscreen 212 oder einer externen verbundenen Anzeige über den externen Anschluss 224) anzuzeigen, zu präsentieren oder anderweitig wiederzugeben. In einigen Ausführungsformen schließt die Vorrichtung 200 wahlweise die Funktionalität eines MP3-Players, wie etwa einem iPod (Markenzeichen von Apple Inc.), ein.
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 schließt das Notizenmodul 253 ausführbare Anweisungen ein, um gemäß Benutzeranweisungen Notizen, Aufgabenlisten und Ähnliches zu erstellen und zu verwalten.
Das Kartenmodul 254 kann in Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234, dem GPS-Modul 235 und dem Browsermodul 247 verwendet werden, um Karten sowie den Karten zugeordnete Daten (z. B. Fahrtrichtungen, Daten über Geschäfte und andere Interessenpunkte an oder in der Nähe eines bestimmten Ortes und andere ortsbezogene Daten) gemäß Benutzeranweisungen zu empfangen, anzuzeigen, zu modifizieren und zu speichern.
Zusammen mit dem Touchscreen 212, der Bildschirmsystemsteuerung 256, dem Kontakt/Bewegungsmodul 230, dem Grafikmodul 232, der Audioschaltung 210, dem Lautsprecher 211, der HF-Schaltung 208, dem Texteingabemodul 234, dem E-Mail-Client-Modul 240 und dem Browsermodul 247 umfasst das Online-Video-Modul 255 Anweisungen, die es dem Benutzer ermöglichen auf Online-Videos zuzugreifen, sie zu durchsuchen, zu empfangen (z. B. durch Streamen und/oder Herunterladen), wiederzugeben (z. B. auf dem Touchscreen oder einem externen, über den externen Anschluss 224 verbundenen Bildschirm), eine E-Mail mit einem Link zu einem bestimmten Online-Video zu senden und Online-Videos anderweitig in einem oder mehreren Dateiformaten, wie etwa H.264, zu verwalten. In einigen Ausführungsformen wird das Instant Messaging Modul 241 anstelle des E-Mail-Client-Moduls 240 verwendet, um einen Link zu einem bestimmten Online-Video zu senden. Eine zusätzliche Beschreibung der Online-Video-Anwendung sind in der am 20. Juni 2007 eingereichten, vorläufigen US-Patentanmeldung Nr. 60/936,562, „Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos” und der am 31. Dezember 2007 eingereichten US-Patentanmeldung Nr. 11/968,067, „Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos” zu finden, deren Inhalte hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.
Jedes der vorstehend angegebenen Module und jede der vorstehend angegebenen Anwendungen entspricht einem Satz von ausführbaren Anweisungen zum Durchführen einer oder mehrerer vorstehend beschriebener Funktionen und der in dieser Anmeldung beschriebenen Verfahren (z. B. der computerimplementierten Verfahren und anderer hierin beschriebener Informationsverarbeitungsverfahren). Diese Module (z. B. Anweisungssätze) müssen nicht als separate Software-Programme, Vorgehensweisen oder Module implementiert werden, und somit können verschiedene Teilmengen dieser Module in verschiedenen Ausführungsformen kombiniert oder anderweitig neu angeordnet werden. Zum Beispiel kann das Videowiedergabemodul mit dem Musikwiedergabemodul in einem einzigen Modul kombiniert werden (z. B. dem Video- und Musikwiedergabemodul 252, 2A). In manchen Ausführungsformen kann der Speicher 202 eine Teilmenge der oben aufgezeigten Module und Datenstrukturen speichern. Des Weiteren kann der Speicher 202 zusätzliche Module und Datenstrukturen speichern, die vorstehend nicht beschrieben wurden.
In manchen Ausführungsformen handelt es sich bei der Vorrichtung 200 um eine Vorrichtung, bei der das Betreiben eines vordefinierten Satzes von Funktionen auf der Vorrichtung ausschließlich durch einen Touchscreen und/oder ein Touchpad ausgeführt wird. Durch Verwenden eines Touchscreens und/oder Touchpads als primäre Eingabesteuerungsvorrichtung für den Betrieb der Vorrichtung 200, kann die Anzahl der physischen Eingabesteuerungsvorrichtungen (wie etwa Drucktasten, Wählscheiben und dergleichen) auf der Vorrichtung 200 verringert werden.
Der vordefinierte Satz von Funktionen, die ausschließlich durch einen Touchscreen und/oder ein Touchpad ausgeführt werden, schließt wahlweise das Navigieren zwischen Benutzerschnittstellen ein. In einigen Ausführungsformen navigiert das Touchpad, wenn es vom Benutzer berührt wird, die Vorrichtung 200 von jeglicher Benutzerschnittstelle, die auf Vorrichtung 200 angezeigt wird, zu einem Haupt-, Home- oder Hauptverzeichnismenü. In solchen Ausführungsformen wird eine „Menüschaltfläche” unter Verwendung eines Touchpads implementiert. In einigen weiteren Ausführungsformen ist die Menüschaltfläche eine physische Drucktaste oder eine andere physische Eingabesteuervorrichtung anstelle eines Touchpads.
2B zeigt ein Blockdiagramm, das beispielhafte Komponenten für ein Ereignisabwickeln gemäß manchen Ausführungsformen veranschaulicht. In einigen Ausführungsformen umfasst der Speicher 202 (in 2A) oder 470 (4) das Ereignissortierungsprogramm 270 (z. B. im Betriebssystem 226) und eine entsprechende Anwendung 236-1 (z. B. jegliche der vorstehend aufgeführten Anwendungen 237–251, 255, 480–490).
Der Ereignissortierer 270 empfängt Informationen und bestimmt die Anwendung 236-1 und die Anwendungsansicht 291 der Anwendung 236-1, an die die Ereignisinformationen gesendet werden sollen. Das Ereignissortierer 270 schließt einen Ereignismonitor 271 und ein Ereignisweitergabemodul 274 ein. In manchen Ausführungsformen schließt die Anwendung 236-1 den internen Anwendungszustand 292 ein, der die aktuelle Anwendungsansicht oder Anwendungsansichten angibt, die auf der berührungsempfindlichen Anzeige 212 angezeigt werden, wenn die Anwendung aktiv ist oder ausgeführt wird. In manchen Ausführungsformen wird der vorrichtungsbezogene/globale interne Zustand 257 durch den Ereignissortierer 270 verwendet, um festzustellen, welche Anwendung oder Anwendungen aktuell aktiv sind, und der interne Anwendungszustand 292 wird durch den Ereignissortierer 270 verwendet, um die Anwendungsansichten 291 festzustellen, denen Ereignisinformationen zu liefern sind.
In manchen Ausführungsformen schließt der interne Anwendungsstatus 292 zusätzliche Informationen, wie etwa eine oder mehrere der Folgenden ein: Wiederaufnahmeinformationen zur Verwendung, wenn die Ausführung der Anwendung 236-1 wiederaufgenommen wird, Benutzeroberflächenstatusinformationen, die angeben, dass Informationen bereits angezeigt werden oder bereit sind zur Anzeige durch die Anwendung 236-1, einen Statuspuffer, um es dem Benutzer zu ermöglichen, zu einem vorherigen Status oder einer vorherigen Ansicht der Anwendung 236-1 zurückzukehren, und/oder einen Wiederherstellen/Rückgängigmachen-Puffer für von zuvor vom Benutzer ausgeführte Handlungen.
Der Ereignismonitor 271 empfängt Ereignisinformationen von der Peripherieschnittstelle 218. Ereignisinformationen umfassen Informationen bezüglich eines Teilereignisses (z. B. eine Berührung eines Benutzers auf der berührungsempfindlichen Anzeige 212 als Teil einer Multi-Touch-Handbewegung, d. h. einer Handbewegung mit mehreren Berührungen). Die Schnittstelle für Peripheriegeräte 218 übermittelt Informationen, die sie vom E/A-Subsystem 206 oder einem Sensor, wie einem Näherungssensor 266, von Beschleunigungsmesser(n) 268 und/oder vom Mikrofon 213 (über die Audioschaltung 210) erhält. Informationen, die die Schnittstelle für Peripheriegeräte 218 vom E/A-Subsystem 206 empfängt, schließen Informationen von der berührungsempfindlichen Anzeige 212 oder von einer berührungsempfindlichen Oberfläche ein.
In manchen Ausführungsformen sendet der Ereignismonitor 271 in vorgegebenen Intervallen Anfragen an die Schnittstelle für Peripheriegeräte 218. Als Reaktion darauf übermittelt die Schnittstelle für Peripheriegeräte 218 Ereignisinformationen. In anderen Ausführungsformen übermittelt die Schnittstelle für Peripheriegeräte 218 nur Ereignisinformationen, wenn es ein signifikantes Ereignis gibt (z. B. Empfangen einer Eingabe über einem vorbestimmten Lärmschwellenwert und/oder länger als eine vorbestimmte Dauer).
In manchen Ausführungsformen schließt der Ereignissortierer 270 auch ein Trefferansichtbestimmungsmodul 272 und/oder ein Bestimmungsmodul 273 einer Einrichtung zum Erkennen aktiver Ereignisse ein.
Das Trefferansichtbestimmungsmodul 272 stellt Software-Prozeduren bereit, um festzustellen, wo ein Teilereignis innerhalb einer oder mehrere Ansichten stattgefunden hat, wenn die berührungsempfindliche Anzeige 212 mehr als eine einzige Ansicht anzeigt. Die Ansichten bestehen aus Steuerungen und anderen Elementen, die ein Benutzer auf der Anzeige sehen kann.
Ein weiterer Aspekt der mit einer Anwendung assoziierten Benutzeroberfläche ist ein Satz von Ansichten, die hier mitunter als Anwendungsansichten oder Benutzeroberflächenfenster bezeichnet werden, und in denen Informationen angezeigt werden und auf Berührung basierende Gesten stattfinden. Die Anwendungsansichten (einer jeweiligen Anwendung), bei denen eine Berührung erfasst wird, können programmatischen Ebenen innerhalb einer programmatischen oder Ansichtshierarchie der Anwendung entsprechen. Beispielsweise kann die Ansicht der niedrigsten Ebene, in der eine Berührung erfasst wird, als Trefferansicht bezeichnet werden, und der Satz von Ereignissen, die als korrekte Eingaben erkannt werden, kann zumindest teilweise basierend auf der Trefferansicht der ursprünglichen Berührung, die eine auf Berührung basierende Geste einleitet, festgestellt werden.
Das Trefferansicht-Bestimmungsmodul 272 empfängt Informationen bezüglich Teilereignissen einer auf Berührung basierenden Geste. Wenn eine Anwendung verschiedene, in einer Hierarchie geordnete Ansichten aufweist, erkennt das Trefferansichtbestimmungsmodul 272 eine Trefferansicht als die niedrigste Ansicht in der Hierarchie, die das Teilereignis handhaben sollte. Unter den meisten Umständen handelt es sich bei der Trefferansicht um die Ansicht der untersten Ebene, in der ein initiierenden Teilereignis auftritt (z. B. das erste Teilereignis in der Folge von Teilereignissen, die ein Ereignis oder potenzielles Ereignis bilden). Sobald die Trefferansicht durch das Trefferansichtbestimmungsmodul 272 identifiziert wurde, empfängt die Trefferansicht typischerweise alle Teilereignisse bezüglich derselben Berührungs- oder Eingabequelle, für die sie als die Trefferansicht identifiziert wurde.
Das Bestimmungsmodul 273 der Einrichtung zum Erkennen eines aktiven Ereignisses bestimmt, welche Ansicht oder welche Ansichten innerhalb einer Ansichtshierarchie eine bestimmte Folge von Teilereignissen empfangen sollten. In manchen Ausführungsformen bestimmt das Bestimmungsmodul 273 der Einrichtung zum Erkennen eines aktiven Ereignisses, dass nur die Trefferansicht eine bestimmte Folge von Teilereignissen empfangen sollte. In anderen Ausführungsformen bestimmt das Bestimmungsmodul 273 der Einrichtung zum Erkennen eines aktiven Ereignisses, dass alle Ansichten, die die physische Stelle eines Teilereignisses umfassen, aktiv beteiligte Ansichten sind, und bestimmt somit, dass alle aktiv beteiligten Ansichten eine bestimmte Folge von Teilereignissen empfangen sollten. In anderen Ausführungsformen würden selbst dann, wenn Berührungsteilereignisse ausschließlich auf den mit einer bestimmten Ansicht assoziierten Bereich beschränkt wären, in der Hierarchie höher gestellte Ansichten immer noch aktive beteiligte Ansichten verbleiben.
Das Ereignisweitergabemodul 274 gibt die Ereignisinformationen an eine Ereigniserkennungseinrichtung (z. B. die Ereigniserkennungseinrichtung 280) weiter. In Ausführungsformen, die das Bestimmungsmodul 273 der Einrichtung zum Erkennen eines aktiven Ereignisses umfassen, liefert das Ereignisweitergabemodul 274 die Ereignisinformationen an eine Ereigniserkennungseinrichtung, die vom Bestimmungsmodul 273 der Einrichtung zum Erkennen eines aktiven Ereignisses bestimmt wird. In manchen Ausführungsformen speichert das Ereignisweitergabemodul 274 die Ereignisinformationen in einer Ereigniswarteschlange, die durch einen entsprechenden Ereignisempfänger 282 abgerufen wird.
In manchen Ausführungsformen schließt das Betriebssystem 226 den Ereignissortierer 270 ein. Alternativ dazu schließt die Anwendung 236-1 einen Ereignissortierer 270 ein. In noch weiteren Ausführungsformen ist der Ereignissortierer 270 ein eigenständiges Modul oder Abschnitt eines anderen im Speicher 202 gespeicherten Moduls, wie etwa eines Kontakt-/Bewegungsmoduls 230.
In manchen Ausführungsformen umfasst die Anwendung 236-1 eine Vielzahl von Ereignishandhabungseinrichtungen 290 und eine oder mehrere Anwendungsansichten 291, von denen jede Befehle zum Handhaben von Berührungsereignissen einschließt, die innerhalb einer betreffenden Ansicht der Benutzeroberfläche der Anwendung stattfinden. Jede Anwendungsansicht 291 der Anwendung 236-1 schließt eine oder mehrere Ereigniserkennungseinrichtungen 280 ein. In der Regel schließt eine jeweilige Anwendungsansicht 291 eine Vielzahl von Ereigniserkennungsprogrammen 280 ein. In anderen Ausführungsformen sind eine oder mehrere Ereigniserkennungseinrichtungen 280 Teil eines separaten Moduls, wie etwa eines (nicht gezeigten) Benutzeroberflächenkits oder eines Objekts einer höheren Ebene, von dem die Anwendung 236-1 Verfahren und andere Eigenschaften übernimmt. In manchen Ausführungsformen schließt eine betreffende Ereignishandhabungseinrichtung 290 eine oder mehrere der Folgenden ein: eine Datenaktualisierungseinrichtung 276, eine Objektaktualisierungseinrichtung 277, eine GUI-Aktualisierungseinrichtung 278 und/oder Ereignisdaten 279, die vom Ereignissortierer 270 empfangen werden. Die Ereignishandhabungseinrichtung 290 kann eine Datenaktualisierungseinrichtung 276, eine Objektaktualisierungseinrichtung 277 oder eine GUI-Aktualisierungseinrichtung 278 verwenden oder aufrufen, um den internen Anwendungszustand 292 zu aktualisieren. Alternativ dazu schließen eine oder mehrere der Anwendungsansichten 291 einen oder mehrere entsprechende Ereignishandhabungseinrichtungen 290 ein. Auch sind in einigen Ausführungsformen die Datenaktualisierungseinrichtung 276 und/oder die Objektaktualisierungseinrichtung 277 und/oder die GUI-Aktualisierungseinrichtung 278 in einer jeweiligen Anwendungsansicht 291 eingeschlossen.
Eine entsprechende Ereigniserkennungseinrichtung 280 empfängt Ereignisinformationen (z. B. die Ereignisdaten 279) vom Ereignissortierer 270 und identifiziert ein Ereignis aus den Ereignisinformationen. Die Ereigniserkennungseinrichtung 280 schließt einen Ereignisempfänger 282 und einen Ereigniskomparator 284 ein. In manchen Ausführungsformen umfasst die Ereigniserkennungseinrichtung 280 auch mindestens eine Teilmenge von: Metadaten 283 und Ereigniszustellungsbefehlen 288 (die wahlweise Teilereignis-Zustellungsbefehle umfassen).
Der Ereignisempfänger 282 empfingt Ereignisinformationen vom Ereignissortierer 270. Die Ereignisinformationen schließen Informationen bezüglich eines Teilereignisses, beispielsweise einer Berührung oder einer Berührungsbewegung, ein. Je nach dem Teilereignis schließen die Ereignisinformationen auch zusätzliche Informationen, wie etwa die Position, an der das Teilereignisses stattfindet, ein. Wenn das Teilereignis die Bewegung einer Berührung betrifft, können die Ereignisinformationen auch Schnelligkeit und Richtung des Teilereignisses einschließen. In manchen Ausführungsformen schließen Ereignisse das Drehen der Vorrichtung von einer Ausrichtung in eine andere (z. B. von einer Hochformatausrichtung in eine Querformatausrichtung oder umgekehrt), und die Ereignisinformationen schließen entsprechende Informationen bezüglich der aktuellen Ausrichtung der Vorrichtung (auch als räumliche Lage der Vorrichtung bezeichnet) ein.
Der Ereigniskomparator 284 vergleicht die Ereignisinformationen mit vordefinierten Ereignis- oder Teilereignisdefinitionen und bestimmt, basierend auf dem Vergleich, ein Ereignis oder ein Teilereignis oder bestimmt oder aktualisiert den Status eines Ereignisses oder eines Teilereignisses. In manchen Ausführungsformen schließt der Ereigniskomparator 284 Ereignisdefinitionen 286 ein. Die Ereignisdefinitionen 286 enthalten Definitionen von Ereignissen (z. B. vordefinierte Abfolgen von Teilereignissen), beispielsweise Ereignis 1 (287-1), Ereignis 2 (287-2) und andere. In manchen Ausführungsformen schließen Teilereignisse in einem Ereignis (287) zum Beispiel Berührungsbeginn, Berührungsende, Berührungsbewegung, Berührungsabbruch und mehrfaches Berühren ein. In einem Beispiel ist die Definition für Ereignis 1(287-1) ein doppeltes Tippen auf ein angezeigtes Objekt. Das doppelte Tippen umfasst zum Beispiel eine erste Berührung (Berührungsbeginn) auf dem angezeigten Objekt für eine vorbestimmte Phase, ein erstes Abheben (Berührungsende) für eine vorbestimmte Phase, eine zweite Berührung (Berührungsbeginn) auf dem angezeigten Objekt für eine vorbestimmte Phase und ein zweites Abheben (Berührungsende) für eine vorbestimmte Phase. In einem weiteren Beispiel ist die Definition für Ereignis 2 (287-2) ein Ziehen auf einem angezeigten Objekt. Das Ziehen umfasst zum Beispiel eine Berührung (oder einen Kontakt) auf dem angezeigten Objekt für eine vorbestimmte Phase, eine Bewegung der Berührung über die berührungsempfindliche Anzeige 212 und ein Abheben der Berührung (Berührungsende). In manchen Ausführungsformen schließt das Ereignis auch Informationen für eine oder mehrere assoziierte Ereignishandhabungseinrichtungen 290 ein.
In manchen Ausführungsformen schließt die Ereignisdefinition 287 eine Definition eines Ereignisses für ein betreffendes Benutzeroberflächenobjekt ein. In manchen Ausführungsformen führt der Ereigniskomparator 284 einen Treffertest durch, um zu bestimmen, welches Benutzeroberflächenobjekt mit einem Teilereignis assoziiert ist. In einer Anwendungsansicht, in der drei Benutzerschnittstellenobjekte auf der berührungsempfindlichen Anzeige 212 angezeigt werden, führt beispielsweise der Ereigniskomparator 284, wenn eine Berührung auf der berührungsempfindlichen Anzeige 212 erfasst wird, einen Treffertest durch, um zu bestimmen, welche der drei Benutzerschnittstellenobjekte mit der Berührung (Teilereignis) verknüpft ist. Wenn jedes angezeigte Objekt mit einer betreffenden Ereignishandhabungseinrichtung 290 assoziiert ist, verwendet der Ereigniskomparator das Ergebnis des Treffertests, um zu bestimmen, welche Ereignishandhabungseinrichtung 290 aktiviert werden sollte. Beispielsweise wählt der Ereigniskomparator 284 eine Ereignishandhabungseinrichtung aus, die mit dem Teilereignis und dem den Treffertest auslösenden Objekt assoziiert ist.
In manchen Ausführungsformen schließt die Definition für ein jeweiliges Ereignis (287) auch verzögerte Aktionen ein, die eine Lieferung der Ereignisinformationen verzögern, bis ermittelt wurde, ob die Abfolge von Teilereignissen dem Ereignistyp der Ereigniserkennungseinrichtung entspricht oder nicht.
Wenn eine betreffende Ereigniserkennungseinrichtung 280 bestimmt, dass die Abfolge von Teilereignissen keinem der Ereignisse in den Ereignisdefinitionen 286 entspricht, gibt die betreffende Ereigniserkennungseinrichtung 280 einen Ereignis-unmöglich-Status, einen Ereignis-fehlgeschlagen-Status oder einen Ereignis-beendet-Status ein und lässt anschließend nachfolgende Teilereignisse der auf Berührung basierenden Geste außer Acht. In dieser Situation fahren, sofern vorhanden, andere Ereigniserkennungseinrichtungen, die für die Trefferansicht aktiv bleiben, mit der Nachverfolgung und Verarbeitung von Teilereignissen einer stattfindenden, auf Berührung basierenden Geste fort.
In manchen Ausführungsformen schließt eine betreffende Ereigniserkennungseinrichtung 280 Metadaten 283 mit konfigurierbaren Eigenschaften, Hinweissymbolen und/oder Listen ein, die angeben, wie das Ereigniszustellungssystem die Zustellung von Teilereignissen zu Einrichtungen zum Erkennen aktiv beteiligter Ereignisse ausführen sollte. In manchen Ausführungsformen schließen die Metadaten 283 konfigurierbare Eigenschaften, Hinweissymbole und/oder Listen ein, die angeben, wie Ereigniserkennungseinrichtungen miteinander kommunizieren können oder wie ihnen die Kommunikation untereinander ermöglicht werden kann. In manchen Ausführungsformen schließen die Metadaten 283 konfigurierbare Eigenschaften, Hinweissymbole und/oder Listen ein, die angeben, ob Teilereignisse an variierende Ebenen in der ansichts- oder in der programmbezogenen Hierarchie zugestellt werden.
In manchen Ausführungsformen aktiviert eine betreffende Ereigniserkennungseinrichtung 280 die mit einem Ereignis assoziierten Ereignishandhabungseinrichtung 290, wenn ein oder mehrere bestimmte Teilereignisse eines Ereignisses erkannt werden. In manchen Ausführungsformen stellt eine betreffende Ereigniserkennungseinrichtung 280 der Ereignishandhabungseinrichtung 290 mit dem Ereignis verknüpfte Ereignisinformationen zu. Das Aktivieren einer Ereignishandhabungseinrichtung 290 unterscheidet sich vom Senden (und vom verzögerten Senden) von Teilereignissen an eine betreffende Trefferansicht. In manchen Ausführungsformen wirft die Ereigniserkennungseinrichtung 280 ein mit dem erkannten Ereignis assoziiertes Hinweissymbol aus, und die mit dem Hinweissymbol assoziierte Ereignishandhabungseinrichtung 290 fängt das Hinweissymbol und führt einen vordefinierten Prozess aus.
In manchen Ausführungsformen schließen die Ereigniszustellungsanweisungen 288 Teilereigniszustellungsanweisungen, die Ereignisinformationen bezüglich eines Teilereignisses zustellen, ein, ohne eine Ereignishandhabungseinrichtung zu aktivieren. Stattdessen stellen die Teilereigniszustellungsanweisungen den mit der Abfolge von Teilereignissen oder mit den aktiv beteiligten Ansichten verknüpften Ereignishandhabungseinrichtungen Ereignisinformationen zu. Die mit der Abfolge von Teilereignissen oder mit den aktiv beteiligten Ansichten assoziierten Ereignishandhabungseinrichtungen empfangen die Ereignisinformationen und führen einen vordefinierten Prozess aus.
In manchen Ausführungsformen erzeugt und aktualisiert die Datenaktualisierungseinrichtung 276 in der Anwendung 236-1 verwendete Daten. Zum Beispiel aktualisiert die Datenaktualisierungseinrichtung 276 die im Kontakte-Modul 237 verwendete Telefonnummer oder speichert eine im Videowiedergabemodul verwendete Videodatei. In einigen Ausführungsformen erstellt und aktualisiert die Objektaktualisierungseinrichtung 277 in der Anwendung 236-1 verwendete Objekte. Beispielsweise erzeugt die Objektaktualisierungseinrichtung 277 ein neues Benutzeroberflächenobjekt oder aktualisiert die Position eines Benutzeroberflächenobjekts. Die GUI-Aktualisierungseinrichtung 278 aktualisiert die GUI. Beispielsweise bereitet das GUI-Aktualisierungseinrichtung 278 Anzeigeformationen vor und sendet sie zur Anzeige auf einer berührungsempfindlichen Anzeige an das Grafikmodul 232.
In manchen Ausführungsformen schließen die eine oder die mehreren Ereignishandhabungseinrichtungen 290 die Datenaktualisierungseinrichtung 276, die Objektaktualisierungseinrichtung 277 und die GUI-Aktualisierungseinrichtung 278 ein oder hat Zugang zu diesen. In manchen Ausführungsformen sind die Datenaktualisierungseinrichtung 276, die Objektaktualisierungseinrichtung 277 und die GUI-Aktualisierungseinrichtung 278 in einem einzigen Modul einer entsprechenden Anwendung 236-1 oder Anwendungsansicht 291 eingeschlossen. In anderen Ausführungsformen sind sie in zwei oder mehr Softwaremodulen eingeschlossen.
Es sollte verstanden werden, dass die vorstehende Erläuterung hinsichtlich einer Ereignishandhabung von Benutzerberührungen auf berührungsempfindlichen Anzeigen auch für andere Formen von Benutzereingaben zum Betreiben von Multifunktionsvorrichtungen 200 mit Eingabevorrichtungen gilt, von denen nicht alle auf Touchscreens initiiert werden. Zum Beispiel werden eine Mausbewegung und Maustastendrücke, die wahlweise mit einem einzelnen oder mehrmaligen Drücken oder Halten der Tastatur koordiniert sind; Kontaktbewegungen, wie beispielsweise Tippen, Ziehen, Scrollen usw. auf Touchpads; Stifteingaben; Bewegung der Vorrichtung; mündliche Anweisungen; erfasste Augenbewegungen, biometrische Eingaben; und/oder eine beliebige Kombination davon wahlweise als Eingaben verwendet, die Teilereignissen entsprechen, die ein zu erkennendes Ereignis definieren.
3 veranschaulicht eine tragbare Multifunktionsvorrichtung 200 mit einem Touchscreen 212 gemäß manchen Ausführungsformen. Der Touchscreen zeigt wahlweise eine oder mehrere Grafiken innerhalb der Benutzerschnittstelle (UI) 300 an. In dieser Ausführungsform sowie in anderen nachstehend beschriebenen Ausführungsformen wird es einem Benutzer ermöglicht, eine oder mehrere der Grafiken auszuwählen, indem er eine Handbewegung auf den Grafiken ausführt, beispielsweise mit einem oder mehreren Fingern 302 (in der Figur nicht maßstabsgetreu dargestellt) oder einem oder mehreren Eingabestiften 303 (in der Figur nicht maßstabsgetreu dargestellt). In einigen Ausführungsformen findet die Auswahl von einer oder mehreren Grafiken statt, wenn der Benutzer den Kontakt mit der einen oder den mehreren Grafiken abbricht. In einigen Ausführungsformen umfasst die Handbewegung eine oder mehrere Klopfbewegungen, eine oder mehrere Wischbewegungen (von links nach rechts, rechts nach links, aufwärts und/oder abwärts) und/oder eine Rollbewegung eines Fingers (von rechts nach links, links nach rechts, aufwärts und/oder abwärts), der Kontakt mit der Vorrichtung 200 aufgenommen hat. In einigen Implementierungen oder in manchen Fällen wird durch einen versehentlichen Kontakt mit einer Grafik die Grafik nicht ausgewählt. Beispielsweise wird durch eine Wischbewegung, die über ein Anwendungssymbol wischt, wahlweise nicht die entsprechende Anwendung gewählt, wenn die der Auswahl entsprechende Handbewegung ein Tippen ist.
Vorrichtung 200 kann auch eine oder mehrere physische Schaltflächen, wie etwa eine „Home”- oder eine Menüschaltfläche 304, aufweisen. Wie zuvor beschrieben, kann die Menütaste 304 dazu verwendet werden, zu einer beliebigen Anwendung 236 in einem Satz von Anwendungen, die auf der Vorrichtung 200 ausführbar sind, zu navigieren. Alternativ dazu ist in einigen Ausführungsformen die Menütaste als Softkey in einer GUI implementiert, der auf dem Touchscreen 212 angezeigt wird.
In einer Ausführungsform schließt die Vorrichtung 200 den Touchscreen 212, die Menütaste 304, die Drucktaste 306 zum Ein-/Ausschalten und Sperren der Vorrichtung, den einen oder die mehreren Lautstärkeregelungsschaltfläche(n) 308, den „Subscriber Identity Module”- bzw. SIM-Kartenschlitz 310, die Headset-Buchse 312 und den externen Docking-/Ladeanschluss 224 ein. Die Drucktaste 306 wird wahlweise dazu verwendet, um die Vorrichtung ein-/auszuschalten, indem die Taste gedrückt und über einen vordefinierten Zeitraum in der gedrückten Stellung gehalten wird; um die Vorrichtung zu sperren, indem die Taste gedrückt und wieder losgelassen wird, bevor der vordefinierte Zeitraum verstrichen ist; und/oder um die Sperre der Vorrichtung aufzuheben oder einen Entsperrungsvorgang einzuleiten. In einer alternativen Ausführungsform nimmt die Vorrichtung 200 auch gesprochene Eingaben zur Aktivierung oder Deaktivierung einiger Funktionen durch das Mikrofon 213 an. Die Vorrichtung 200 schließt wahlweise auch einen oder mehrere Kontaktintensitätssensoren 265 zum Erfassen der Intensität von Kontakten auf dem Touchscreen 212 und/oder einen oder mehrere Tastausgabeerzeuger 267 zum Erzeugen von Tastausgaben für einen Benutzer der Vorrichtung 200 ein.
4 zeigt ein Blockdiagramm einer beispielhaften Multifunktionsvorrichtung mit einer Anzeige und einer berührungsempfindlichen Oberfläche gemäß manchen Ausführungsformen. Die Vorrichtung 400 muss nicht tragbar sein. In einigen Ausführungsformen handelt es sich bei der Vorrichtung 400 um einen Laptop-Computer, einen Desktop-Computer, einen Tablet-Computer, eine Medienwiedergabevorrichtung, ein Navigationsgerät, eine pädagogische Vorrichtung (wie etwa ein Lernspielzeug eines Kindes), ein Spielsystem oder eine Steuervorrichtung (z. B. ein Heim- oder gewerblicher Regler). Die Vorrichtung 400 schließt typischerweise eine oder mehrere Verarbeitungseinheiten (CPUs) 410, eine oder mehrere Netzwerk- oder andere Kommunikationsschnittstellen 460, den Speicher 470 und einen oder mehrere Kommunikationsbusse 420 zum Verbinden dieser Komponenten miteinander ein. Die Kommunikationsbusse 420 schließen wahlweise Schaltung (manchmal als ein Chipsatz bezeichnet) ein, die die Kommunikation zwischen den Systemkomponenten miteinander verbindet und steuert. Die Vorrichtung 400 schließt die Eingabe-/Ausgabe-Schnittstelle (E/A-Schnittstelle) 430 ein, die die Anzeige 440 umfasst, bei der es sich in der Regel um eine Touchscreen-Anzeige handelt. Die E/A-Schnittstelle 430 schließt wahlweise auch eine Tastatur und eine Maus (oder andere Zeigevorrichtung) 450 und ein Touchpad 455, einen Tastausgabeerzeuger 457 zum Erzeugen von Tastausgaben auf der Vorrichtung 400 (z. B. ähnlich dem einen oder mehreren vorstehend unter Bezugnahme auf 2A beschriebenen Tastausgabeerzeugern 267), Sensoren 459 (z. B. optische, Beschleunigungs-, Näherungs-, berührungsempfindliche und/oder Kontaktintensitätssensoren ähnlich dem oder den vorstehend unter Bezugnahme auf 2A beschriebenen Kontaktintensitätssensoren 265) ein. Der Speicher 470 schließt einen Hochgeschwindigkeitsspeicher mit wahlfreiem Zugriff, wie beispielsweise DRAM, SRAM, DDR RAM oder andere Halbleiterspeichervorrichtungen ein; und schließt wahlweise einen nichtflüchtigen Speicher, wie beispielsweise eine oder mehrere Magnetplatten-Datenspeichervorrichtungen, optische Plattendatenspeichervorrichtungen, Flash-Speichervorrichtungen oder andere nicht-flüchtige Halbleiterspeichervorrichtungen ein. Der Speicher 470 schließt wahlweise eine oder mehrere Speichervorrichtungen ein, die von der/den CPU(s) 410 entfernt angeordnet sind. In manchen Ausführungsformen sind im Speicher 470 Programme, Module und Datenstrukturen oder ein Teilsatz davon analog zu den im Speicher 202 der tragbaren Multifunktionsvorrichtung 200 (2A) gespeicherten Programmen, Modulen und Datenstrukturen gespeichert. Des Weiteren speichert der Speicher 470 wahlweise zusätzliche Programme, Module und Datenstrukturen, die im Speicher 202 der tragbaren Multifunktionsvorrichtung 200 nicht vorhanden sind. Zum Beispiel sind im Speicher 470 der Vorrichtung 400 wahlweise ein Zeichnungsmodul 480, ein Präsentationsmodul 482, ein Textverarbeitungsmodul 484, ein Webseitenerstellungsmodul 486, ein Modul zur Erstellung von Disks 488 und/oder ein Tabellenkalkulationsmodul 490 gespeichert, während diese Module im Speicher 202 der tragbaren Multifunktionsvorrichtung 200 (2A) wahlweise nicht gespeichert sind.
Jedes der vorstehend in 4 angegebenen Elemente kann in einem oder mehreren der zuvor erwähnten Speichervorrichtungen gespeichert werden. Jedes der vorstehend angegebenen Module entspricht einem Satz von Anweisungen zum Durchführen einer vorstehend beschriebenen Funktion. Die vorstehend angegebenen Module oder Programme (z. B. Anweisungssätze) müssen nicht als separate Software-Programme, Prozeduren oder Module implementiert sein, und somit können verschiedene Teilmengen dieser Module in verschiedenen Ausführungsformen kombiniert oder anderweitig neu angeordnet werden. In manchen Ausführungsformen kann der Speicher 470 eine Teilmenge der oben aufgezeigten Module und Datenstrukturen speichern. Des Weiteren kann der Speicher 470 zusätzliche Module und Datenstrukturen speichern, die vorstehend nicht beschrieben wurden.
Die Aufmerksamkeit wird nun auf Ausführungsformen von Benutzeroberflächen gerichtet, die zum Beispiel auf der tragbaren Multifunktionsvorrichtung 200 implementiert sein können.
5A veranschaulicht eine beispielhafte Benutzerschnittstelle für ein Menü von Anwendungen auf der tragbaren Multifunktionsvorrichtung 200 gemäß manchen Ausführungsformen. Auf Vorrichtung 400 können ähnliche Benutzeroberflächen implementiert sein. In einigen Ausführungsformen umfasst die Benutzerschnittstelle 500 die folgenden Elemente oder eine Teilmenge oder eine Übermenge davon:
Signalstärkeindikator(en) 502 zur drahtlosen Kommunikation, wie etwa Funk- und WLAN-Signale;

• Zeit 504;
• Bluetooth-Indikator 505;
• Batteriestatusindikator 506;
• Ablage 508 mit Symbolen für häufig genutzte Anwendungen, wie beispielsweise: o Symbol 516 für das Telefonmodul 238, gekennzeichnet mit „Phone” (Telefon), das wahlweise einen Anzeiger 514 der Anzahl verpasster Anrufe oder Anrufbeantworternachrichten einschließt; o Icon 518 für das E-Mail-Client-Modul 240, das als „E-Mail” gekennzeichnet ist und wahlweise einen Indikator 510 der Anzahl von ungelesenen E-Mails umfasst; o Symbol 520 für das Browsermodul 247, gekennzeichnet mit „Browser”; und o Symbol 522 für das Video- und Musikwiedergabemodul 252, auch als iPod (Marke von Apple Inc.)-Modul 252 bezeichnet, gekennzeichnet mit „iPod”; und
• Symbole für andere Anwendungen, wie etwa: o Symbol 524 für das IM-Modul 241, gekennzeichnet mit „Messages” (Nachrichten); o Symbol 526 für das Kalendermodul 248, gekennzeichnet mit „Calendar” (Kalender); o Symbol 528 für das Bildverwaltungsmodul 244, gekennzeichnet mit „Photos” (Fotos); o Symbol 530 für das Kameramodul 243, gekennzeichnet mit „Camera” (Kamera); o Symbol 532 für das Online-Video-Modul 255, gekennzeichnet mit „Online Video” (Online-Video); o Symbol 534 für das Aktien-Widget 249-2, gekennzeichnet mit „Stocks” (Aktien); o Symbol 536 für das Kartenmodul 254, gekennzeichnet mit „Maps” (Karten); o Symbol 538 für das Wetter-Widget 249-1, gekennzeichnet mit „Westher” (Wetter); o Symbol 540 für das Wecker-Widget 249-4, gekennzeichnet mit „Clock” (Uhr); o Symbol 542 für das Trainingsunterstützungsmodul 242, gekennzeichnet mit „Workout Support” (Trainingsunterstützung); o Symbol 544 für das Notizenmodul 253, gekennzeichnet mit „Notes” (Notizen); und o Symbol 546 für eine Einstellungsanwendung oder ein Einstellungsmodul, gekennzeichnet mit „Settings” (Einstellungen), das Zugriff auf Einstellungen für die Vorrichtung 200 und ihre verschiedenen Anwendungen 236 bereitstellt.

Es sollte beachtet werden, dass die in 5A veranschaulichten Symbolkennzeichnungen lediglich beispielhaft sind. Beispielsweise kann das Symbol 522 für das Modul zur Wiedergabe von Video und Musik 252 als „Music” oder „Music Player” gekennzeichnet sein. Für verschiedene Anwendungssymbole werden wahlweise andere Kennzeichnungen verwendet. In einigen Ausführungsformen schließt eine Kennzeichnung für ein jeweiliges Anwendungssymbol einen Namen einer Anwendung ein, der dem entsprechenden Anwendungssymbol entspricht. In einigen Ausführungsformen unterscheidet sich eine Kennzeichnung für ein bestimmtes Anwendungssymbol von einem Namen einer Anwendung, der dem bestimmten Anwendungssymbol entspricht.
5B veranschaulicht eine beispielhafte Benutzerschnittstelle auf einer Vorrichtung (z. B. der Vorrichtung 400, 4) mit einer berührungsempfindlichen Oberfläche 551 (z. B. ein Tablet oder Touchpad 455, 4), die von der Anzeige 550 (z. B. der Touchscreen-Anzeige 212) separat ist. Die Vorrichtung 400 schließt wahlweise auch einen oder mehrere Kontaktintensitätssensoren (z. B. einen oder mehrere der Sensoren 457) zum Erfassen der Intensität von Kontakten auf der berührungsempfindlichen Oberfläche 551 und/oder einen oder mehrere Tastausgabeerzeuger 459 zum Erzeugen von Tastausgaben für einen Benutzer der Vorrichtung 400 ein.
Obwohl manche der Beispiele, die folgen, unter Bezugnahme auf Eingaben auf der Touchscreen-Anzeige 212 gegeben werden (wo die berührungsempfindliche Oberfläche und die Anzeige kombiniert sind), erfasst in manchen Ausführungsformen die Vorrichtung Eingaben auf einer berührungsempfindlichen Oberfläche, die von der Anzeige separat ist, wie in 5B gezeigt. In manchen Ausführungsformen besitzt die berührungsempfindliche Oberfläche (z. B. 551 in 5B) eine Primärachse (z. B. 552 in 5B), die einer Primärachse (z. B. 553 in 5B) auf der Anzeige (z. B. 550) entspricht. Gemäß diesen Ausführungsformen erfasst die Vorrichtung Kontakte (z. B. 560 und 562 in 5B) mit der berührungsempfindlichen Oberfläche 551 an Stellen, die jeweiligen Stellen auf der Anzeige entsprechen (z. B. entspricht in 5B Bezugsziffer 560 Bezugsziffer 568, und 562 entspricht 570). Auf diese Weise werden durch die Vorrichtung auf der berührungsempfindlichen Oberfläche (z. B. 551 in 5B) erfasste Benutzereingaben (z. B. die Kontakte 560 und 562 und Bewegungen davon) durch die Vorrichtung verwendet, um die Benutzeroberfläche auf der Anzeige (z. B. 550 in 5B) der Multifunktionsvorrichtung zu verändern, wenn die berührungsempfindliche Oberfläche von der Anzeige separat ist. Es versteht sich, dass ähnliche Verfahren wahlweise für andere hierin beschriebene Benutzerschnittstellen verwendet werden.
Wenngleich die nachfolgenden Beispiele hauptsächlich unter Bezugnahme auf Fingereingaben (z. B. Fingerkontakte, Fingerklopfbewegungen und Fingerwischbewegungen) erfolgen, versteht es sich darüber hinaus, dass in einigen Ausführungsformen eine oder mehrere der Fingereingaben durch Eingaben von einer anderen Eingabevorrichtung (z. B. einer mausbasierten Eingabe oder einer Eingabe mit einem Eingabestift) ersetzt werden. Beispielsweise wird eine Wischbewegung wahlweise durch einen Mausklick (z. B. anstelle eines Kontakts) gefolgt von Bewegung des Cursors entlang dem Pfad des Wischens (z. B. anstelle der Bewegung des Kontakts) ersetzt. Als weiteres Beispiel wird eine Tippbewegung wahlweise durch einen Mausklick ersetzt, während der Cursor sich über der Position der Tippbewegung befindet (z. B. anstelle von Erfassen des Kontakts gefolgt vom Aufhören des Erfassens des Kontakts). Wenn mehrere Benutzereingaben gleichzeitig erfasst werden, versteht es sich auf ähnliche Weise, dass mehrere Computermäuse wahlweise gleichzeitig oder wahlweise eine Maus und Fingerkontakte gleichzeitig verwendet werden.
6A veranschaulicht eine beispielhafte persönliche elektronische Vorrichtung 600. Die Vorrichtung 600 schließt Körper 602 ein. In manchen Ausführungsformen kann die Vorrichtung 600 manche oder alle in Hinblick auf die Vorrichtungen 200 und 400 (z. B. 2A bis 4B) beschriebenen Merkmale einschließen. In manchen Ausführungsformen weist die Vorrichtung 600 einen berührungsempfindlichen Anzeigebildschirm 604 auf, hierin nachstehend Touchscreen 604. Alternativ dazu oder zusätzlich zum Touchscreen 604 weist die Vorrichtung 600 eine Anzeige und eine berührungsempfindliche Oberfläche auf. Wie bei den Vorrichtungen 200 und 400 kann der Touchscreen 604 (oder die berührungsempfindliche Oberfläche) in manchen Ausführungsformen einen oder mehrere Intensitätssensoren zum Erfassen einer Intensität von verwendeten Kontakten (z. B. Berührungen) enthalten. Der eine oder die mehreren Intensitätssensoren des Touchscreen 604 (oder der berührungsempfindlichen Oberfläche) können Ausgabedaten bereitstellen, welche die Intensität von Berührungen wiedergeben. Die Benutzerschnittstelle der Vorrichtung 600 kann auf Berührungen auf Grundlage ihrer Intensität reagieren, was bedeutet, dass Berührungen von unterschiedlichen Intensitäten unterschiedliche Benutzerschnittstellenvorgänge auf der Vorrichtung 600 aufrufen können.
Techniken zum Erfassen und Verarbeiten einer Berührungsintensität können zum Beispiel in verwandten Anmeldungen gefunden werden: die am B. Mai 2013 eingereichte internationale Patentanmeldung Seriennummer PCT/US2013/040061 mit dem Titel „Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application” und die am 11. November 2013 eingereichte internationale Patentanmeldung Seriennummer PCT/US2013/069483 mit dem Titel „Device, Method, and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships”, von denen jede hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen wird.
In manchen Ausführungsformen weist die Vorrichtung 600 einen oder mehrere Eingabemechanismen 606 und 608 auf. Die Eingabemechanismen 606 und 608, falls eingeschlossen, können physisch sein. Beispiel physischer Eingabemechanismen schließen Drucktasten und drehbare Mechanismen ein. In manchen Ausführungsformen weist die Vorrichtung 600 einen oder mehrere Befestigungsmechanismen auf. Solche Befestigungsmechanismen, falls eingeschlossen, können eine Befestigung der Vorrichtung 600 an, zum Beispiel, Hüten, Brillen, Ohrringen, Halsketten, Hemden/Blusen/T-Shirts, Jacken, Armbändern, Armbanduhrbändern, Ketten, Hosen, Gürteln, Schuhen, Handtaschen, Rucksäcken und so weiter gestatten. Diese Befestigungsmechanismen können es der Vorrichtung 600 gestatten, durch den Benutzer am Körper getragen zu werden.
6B stellt eine beispielhafte persönliche elektronische Vorrichtung 600 dar. In manchen Ausführungsformen kann die Vorrichtung 600 manche oder alle in Hinblick auf 2A, 2B und 4 beschriebenen Merkmale einschließen. Die Vorrichtung 600 weist einen Bus 612 auf, der einen E/A-Abschnitt 614 betrieblich mit einem oder mehreren Computerprozessoren 616 und einem Speicher 6i8 koppelt. Der E/A-Abschnitt 614 kann mit einer Anzeige 604 gekoppelt sein, die eine berührungsempfindliche Komponente 622 und wahlweise eine berührungsintensitätsempfindliche Komponente 624 aufweisen kann. Zusätzlich kann E/A-Bereich 614 mit einer Kommunikationseinheit 630 verbundenen werden, um Anwendungs- und Betriebssystemdaten über Wi-Fi, Bluetooth, Nahfeldkommunikation (NFC), Mobilkommunikation und/oder andere Wireless-Kommunikationstechniken zu empfangen. Die Vorrichtung 600 kann die Eingabemechanismen 606 und/oder 608 einschließen. Bei dem Eingabemechanismus 606 kann es sich zum Beispiel um eine drehbare Eingabevorrichtung oder eine druckbare und drehbare Eingabevorrichtung handeln. Bei dem Eingabemechanismus 608 kann es sich in manchen Beispielen um eine Schaltfläche bzw. Taste handeln.
Bei dem Eingabemechanismus 608 kann es sich in manchen Beispielen um ein Mikrofon handeln. Die persönliche elektronische Vorrichtung 600 kann verschiedene Sensoren einschließen, wie beispielsweise einen GPS-Sensor 632, einen Beschleunigungsmesser 634, einen Richtungssensor 640 (z. B. Kompass), ein Gyroskop 636, einen Bewegungssensor 638 und/oder einen Kombination hieraus, die alle wirkverbunden mit dem E/A-Abschnitt 614 sein können.
Speicher 618 der persönlichen elektronischen Vorrichtung 600 kann ein nicht-transitorisches computerlesbares Speichermedium zum Speichern von durch einen Computer ausführbaren Anweisungen sein, das bei Ausführung durch einen oder mehrere Prozessoren 616 beispielsweise dazu fuhren kann, dass die Computerprozessoren die unten beschriebenen Techniken ausführen, darunter das Verfahren 1200 (12A–D). Die computerausführbaren Anweisungen können auch innerhalb jedes nichtflüchtigen, computerlesbaren Datenspeichermediums zur Verwendung durch oder in Verbindung mit einem Anweisungsausführsystem, einer Anweisungsausführeinrichtung oder einer Anweisungsausführvorrichtung gespeichert und/oder transportiert werden, wie beispielsweise ein computergestütztes System, ein prozessorenthaltendes System oder ein anderes System, das die Anweisungen aus dem Anweisungsausführsystem, der Anweisungsausführeinrichtung oder der Anweisungsausführvorrichtung holen und die Anweisungen ausführen kann. Die persönliche elektronische Vorrichtung 600 ist nicht auf die Komponenten und die Konfiguration von 6B beschränkt, sondern kann andere oder zusätzliche Komponenten in mehreren Konfigurationen einschließen.
Wie hier verwendet, bezieht sich der Begriff „Affordance” auf ein benutzerinteraktives Objekt einer grafischen Benutzeroberfläche, das auf dem Anzeigebildschirm der Vorrichtungen 200, 400 und/oder 600 (2, 4 und 6) angezeigt werden kann. Beispielsweise können ein Bild (z. B. ein Symbol), eine Schaltfläche und Text (z. B. ein Link) jeweils eine Affordanz darstellen.
Wie hierin verwendet, bezieht sich der Begriff „Fokusauswähler” auf ein Eingabeelement, das einen aktuellen Teil einer Benutzerschnittstelle angibt, mit der ein Benutzer interagiert. In manchen Implementierungen, die einen Cursor oder einen anderen Ortsmarkierer einschließen, agiert der Cursor als ein „Fokusauswähler”, sodass im Falle dessen, dass eine Eingabe (z. B. eine Druckeingabe) auf einer berührungsempfindlichen Oberfläche (z. B. dem Touchpad 455 in 4 oder der berührungsempfindlichen Oberfläche 551 in 5B) erfasst wird, während sich der Cursor über einem bestimmten Benutzerschnittstellenelement befindet (z. B. einer Schaltfläche, einem Fenster, einem Schieberegler oder einem anderen Benutzerschnittstellenelement), das bestimmte Benutzerschnittstellenelement gemäß der erfassten Eingabe angepasst wird. In manchen Implementierungen, die eine Touchscreen-Anzeige (z. B. das berührungsempfindliche Anzeigesystem 212 in 2A oder den Touchscreen 212 in 5A) einschließen, die eine direkte Interaktion mit Benutzerschnittstellenelementen auf der Touchscreen-Anzeige erlauben, agiert ein erfasster Kontakt auf dem Touchscreen als ein „Fokusauswähler”, sodass im Falle dessen, dass eine Eingabe (z. B. eine Druckeingabe durch den Kontakt) auf der Touchscreen-Anzeige an einer Position eines bestimmten Benutzerschnittstellenelements (z. B. einer Schaltfläche, eines Fensters, eines Schiebereglers oder eines anderen Benutzerschnittstellenelements) erfasst wird, das bestimmte Benutzerschnittstellenelement gemäß der erfassten Eingabe angepasst wird. In manchen Implementierungen wird der Fokus ohne eine entsprechende Bewegung eines Cursors oder eine Bewegung eines Kontakts auf der Touchscreen-Anzeige (z. B. unter Verwendung einer Tabulatortaste oder von Pfeiltasten, um den Fokus von einer Schaltfläche zu einer anderen Schaltfläche zu bewegen) von einer Region einer Benutzerschnittstelle zu einer anderen Region der Benutzerschnittstelle bewegt; in diesen Implementierungen bewegt sich der Fokusauswähler gemäß einer Bewegung des Fokus zwischen unterschiedlichen Regionen der Benutzerschnittstelle. Ungeachtet der durch den Fokusauswähler angenommenen, spezifischen Form handelt es sich beim Fokusauswähler allgemein um das Benutzerschnittstellenelement (oder einen Kontakt auf einer Touchscreen-Anzeige), das durch den Benutzer gesteuert wie, um die beabsichtigte Interaktion des Benutzers der Benutzerschnittstelle mitzuteilen (z. B. indem der Vorrichtung das Element der Benutzerschnittstelle angegeben wird, mit dem der Benutzer zu interagieren beabsichtigt). Zum Beispiel wird die Position eines Fokusauswählers (z. B. eines Cursors, eines Kontakts oder eines Auswahlkästchens) über einer entsprechenden Schaltfläche, während auf der berührungsempfindlichen Oberfläche (z. B. einem Touchpad oder Touchscreen) eine Druckeingabe erfasst wird, anzeigen, dass der Benutzer beabsichtigt, die entsprechende Schaltfläche (im Gegensatz zu anderen, auf einer Anzeige der Vorrichtung gezeigten Benutzerschnittstellenelementen) zu aktivieren.
Wie in der Patentschrift und den Ansprüchen verwendet, bezieht sich der Begriff „charakteristische Intensität” eines Kontakts auf ein Charakteristikum des Kontakts auf Grundlage einer oder mehrerer Intensitäten des Kontakts. In manchen Ausführungsformen beruht die charakteristische Intensität auf mehreren Intensitätsproben. Die charakteristische Intensität beruht wahlweise auf einer vordefinierten Anzahl von Intensitätsproben oder einem Satz von Intensitätsproben, die während einer vorbestimmten Zeitspanne (z. B. 0,05; 0,1; 0,2; 0,5; 1; 2; 5; 10 Sekunden) in Bezug auf ein vorbestimmtes Ereignis (z. B. nach Erfassen des Kontakts, vor Erfassen eines Abhebens des Kontakts, vor oder nach Erfassen eines Starts einer Bewegung des Kontakts, vor Erfassen eines Endes des Kontakts, vor oder nach Erfassen eines Anstiegs einer Intensität des Kontakts und/oder vor oder nach Erfassen eines Abfalls einer Intensität des Kontakts) gesammelt werden. Eine charakteristische Intensität eines Kontakts beruht wahlweise auf einem oder mehreren von: einem Maximalwert der Intensitäten des Kontakts, einem Mittelwert der Intensitäten des Kontakts, einem Durchschnittswert der Intensitäten des Kontakts, einem Wert des obersten 10er-Perzentilwertes der Intensitäten des Kontakts, einem Wert bei der Hälfte des Maximums der Intensitäten des Kontakts, einem Wert beim 90%-Maximum der Intensitäten des Kontakts oder Ähnlichem. In manchen Ausführungsformen wird die Dauer des Kontakts beim Feststellen der charakteristischen Intensität verwendet (z. B. wenn es sich bei der charakteristischen Intensität um einen Durchschnitt der Intensität des Kontakts im Zeitverlauf handelt). In manchen Ausführungsformen wird die charakteristische Intensität mit einem Satz von einem oder mehreren Intensitätsschwellenwerten verglichen, um festzustellen, ob ein Vorgang durch einen Benutzer durchgeführt wurde. Zum Beispiel kann der Satz von einem oder mehreren Intensitätsschwellenwerten einen ersten Intensitätsschwellenwert und einen zweiten Intensitätsschwellenwert einschließen. In diesem Beispiel führt ein Kontakt mit einer charakteristischen Intensität, die den ersten Schwellenwert nicht überschreitet, zu einem ersten Vorgang, ein Kontakt mit einer charakteristischen Intensität, die den ersten Intensitätsschwellenwert überschreitet und den zweiten Intensitätsschwellenwert nicht überschreitet, führt zu einem zweiten Vorgang, und ein Kontakt mit einer charakteristischen Intensität, die den zweiten Schwellenwert überschreitet, führt zu einem dritten Vorgang. In manchen Ausführungsformen wird ein Vergleich zwischen der charakteristischen Intensität und einem oder mehreren Schwellenwerten verwendet, um festzustellen, ob ein oder mehrere Vorgänge durchzuführen sind (z. B. ob ein jeweiliger Vorgang durchzuführen ist, oder ob auf das Durchführen des jeweiligen Vorgangs zu verzichten ist) anstatt verwendet zu werden, um festzustellen, ob ein erster Vorgang oder ein zweiter Vorgang durchzuführen ist.
In manchen Ausführungsformen wird ein Anteil einer Geste für Zwecke eines Feststellens einer charakteristischen Intensität identifiziert. Zum Beispiel kann eine berührungsempfindliche Oberfläche einen kontinuierlichen Wischkontakt empfangen, der von einem Startort ausgeht und eine Endposition erreicht, an deren Punkt die Intensität des Kontakts abnimmt. Bei diesem Beispiel kann die charakteristische Intensität des Kontakts an der Endposition auf nur einem Anteil des kontinuierlichen Wischkontakts und nicht dem gesamten Wischkontakt (z. B. nur der Anteil des Wischkontakts an der Endposition) beruhen. In manchen Ausführungsformen kann vor Feststellen der charakteristischen Intensität des Kontakts ein Glättungsalgorithmus auf die Intensitäten des Wischkontakts angewandt werden. Zum Beispiel schließt der Glättungsalgorithmus wahlweise eines oder mehrere ein von: einem ungewichteten Glättungsalgorithmus mit gleitendem Durchschnitt, einem dreieckigen Glättungsalgorithmus, einem Medianfilter-Glättungsalgorithmus und/oder einem exponentiellen Glättungsalgorithmus. Unter manchen Umständen beseitigen diese Glättungsalgorithmen schmale Spitzen oder Senken in den Intensitäten des Wischkontakts, um eine charakteristische Intensität zu bestimmen.
Die Intensität eines Kontakts auf der berührungsempfindlichen Oberfläche kann in Bezug auf einen oder mehrere Intensitätsschwellenwerte gekennzeichnet werden, wie beispielsweise einen Kontakterfassungsintensitätsschwellenwert, einen Leichtdruck-Intensitätsschwellenwert, einen Starkdruck-Intensitätsschwellenwert und/oder einen oder mehrere andere Intensitätsschwellenwerte. In einigen Ausführungsformen entspricht der Intensitätsschwellenwert des leichten Drucks einer Intensität, bei der die Vorrichtung Vorgänge ausführen wird, die in der Regel mit dem Klicken einer Taste einer physischen Maus oder eines Trackpads verknüpft sind. In einigen Ausführungsformen entspricht der Intensitätsschwellenwert des starken Drucks einer Intensität, bei der die Vorrichtung Vorgänge ausführen wird, die von Vorgängen, die in der Regel mit dem Klicken einer Taste einer physischen Maus oder eines Trackpads verknüpft sind, verschieden sind. Wenn ein Kontakt mit einer charakteristischen Intensität unter dem Leichtdruck-Intensitätsschwellenwert erfasst wird (und z. B. über einem nominalen Kontakterfassungsintensitätsschwellenwert, unter dem ein Kontakt nicht länger erfasst wird), wird in manchen Ausführungsformen die Vorrichtung einen Fokusauswähler gemäß einer Bewegung des Kontakts auf der berührungsempfindlichen Oberfläche bewegen, ohne einen Vorgang durchzuführen, der dem Leichtdruck-Intensitätsschwellenwert oder dem Starkdruck-Intensitätsschwellenwert zugeordnet ist. Sofern nichts Anderweitiges angegeben ist, sind diese Intensitätsschwellenwerte allgemein zwischen verschiedenen Sätzen von Benutzerschnittstellenfiguren konstant.
Eine Erhöhung der charakteristischen Intensität des Kontakts von einer Intensität unter dem Leichtdruck-Intensitätsschwellenwert auf eine Intensität zwischen dem Leichtdruck-Intensitätsschwellenwert und dem Starkdruck-Intensitätsschwellenwert wird manchmal als „Leichtdruck”-Eingabe bezeichnet. Eine Erhöhung der charakteristischen Intensität des Kontakts von einer Intensität unter dem Starkdruck-Intensitätsschwellenwert auf eine Intensität über dem Starkdruck-Intensitätsschwellenwert wird manchmal als „Starkdruck”-Eingabe bezeichnet. Eine Erhöhung der charakteristischen Intensität des Kontakts von einer Intensität unter dem Kontakterfassungsintensitätsschwellenwert auf eine Intensität zwischen dem Kontakterfassungsintensitätsschwellenwert und dem Leichtdruck-Intensitätsschwellenwert wird manchmal als Erfassen des Kontakts auf der Berührungsoberfläche bezeichnet. Eine Verringerung der charakteristischen Intensität des Kontakts von einer Intensität über dem Kontakterfassungsintensitätsschwellenwert auf eine Intensität unter dem Kontakterfassungsintensitätsschwellenwert wird manchmal als Erfassen eines Abheben des Kontakts von der Berührungsoberfläche bezeichnet. In manchen Ausführungsformen beträgt der Kontakterfassungsintensitätsschwellenwert null. In manchen Ausführungsformen ist der Kontakterfassungsintensitätsschwellenwert größer als null.
In einigen hierin beschriebenen Ausführungsformen werden ein oder mehrere Vorgänge als Reaktion auf das Erfassen einer Handbewegung, die eine jeweilige Druckeingabe einschließt, oder als Reaktion auf das Erfassen der jeweiligen Druckeingabe, die mit einem jeweiligen Kontakt (oder mehreren Kontakten) ausgeführt wird, ausgeführt, wobei die jeweilige Druckeingabe mindestens teilweise basierend auf dem Erfassen einer Zunahme der Intensität des Kontakts (oder der mehreren Kontakte) über einen Intensitätsschwellenwert der Druckeingabe erfasst wird. In einigen Ausführungsformen wird der jeweilige Vorgang als Reaktion auf das Erfassen der Zunahme der Intensität des jeweiligen Kontakts über den Intensitätsschwellenwert der Druckeingabe (z. B. ein „Abwärtsstreichen” der jeweiligen Druckeingabe) ausgeführt. In einigen Ausführungsformen schließt die Druckeingabe eine Zunahme der Intensität des jeweiligen Kontakts über den Intensitätsschwellenwert der Druckeingabe und eine anschließende Verringerung der Intensität des Kontakts unter den Intensitätsschwellenwert der Druckeingabe ein, und der jeweilige Vorgang wird als Reaktion auf das Erfassen der anschließenden Verringerung der Intensität des jeweiligen Kontakts unter den Intensitätsschwellenwert der Druckeingabe (z. B. ein „Aufwärtsstreichen” der jeweiligen Druckeingabe) ausgeführt.
In einigen Ausführungsformen verwendet die Vorrichtung eine Intensitätshysterese, um versehentliche Eingaben, die manchmal als „Zittern” bezeichnet werden, zu vermeiden, wobei die Vorrichtung einen Hystereseintensitätsschwellwert mit einem vordefinierten Verhältnis zum Intensitätsschwellwert der Druckeingabe definiert oder auswählt (z. B. ist der Hystereseintensitätsschwellwert um X Intensitätseinheiten niedriger als der Intensitätsschwellwert der Druckeingabe oder der Hystereseintensitätsschwellwert beträgt 75%, 90% oder einen angemessenen Anteil des Intensitätsschwellwerts der Druckeingabe). Folglich umfasst in einigen Ausführungsformen die Druckeingabe eine Zunahme der Intensität des jeweiligen Kontakts über den Intensitätsschwellenwert der Druckeingabe und eine anschließende Verringerung der Intensität des Kontakts unter den Hystereseintensitätsschwellenwert, der dem Intensitätsschwellenwert der Druckeingabe entspricht, und der jeweilige Vorgang wird als Reaktion auf das Erfassen der anschließenden Verringerung der Intensität des jeweiligen Kontakts unter den Hystereseintensitätsschwellenwert (z. B. ein „Aufwärtsstreichen” der jeweiligen Druckeingabe) ausgeführt. Auf ähnliche Weise wird in einigen Ausführungsformen die Druckeingabe nur erfasst, wenn die Vorrichtung eine Zunahme der Intensität des Kontakts von einer Intensität am oder unter dem Hystereseintensitätsschwellenwert zu einer Intensität am oder über dem Intensitätsschwellenwert der Druckeingabe und wahlweise eine anschließende Verringerung der Intensität des Kontakts zu einer Intensität am oder unter dem Hystereseintensitätsschwellenwert erfasst, und der jeweilige Vorgang wird als Reaktion auf das Erfassen der Druckeingabe (z. B. die Zunahme der Intensität des Kontakts oder die Verringerung der Intensität des Kontakts, in Abhängigkeit von den Umständen) ausgeführt.
Der Einfachheit der Erklärung wegen werden die Beschreibungen von Vorgängen, die als Reaktion auf eine einem Druckeingabe-Intensitätsschwellenwert zugeordneten Druckeingabe oder als Reaktion auf eine Geste, welche die Druckeingabe einschließt, durchgeführt werden, wahlweise als Reaktion auf ein Erfassen durchgeführt von entweder: einer Erhöhung einer Intensität eines Kontakts über den Druckeingabe-Intensitätsschwellenwert, einer Erhöhung einer Intensität eines Kontakts von einer Intensität unter dem Hystereseintensitätsschwellenwert auf eine Intensität über dem Druckeingabe-Intensitätsschwellenwert, einer Verringerung einer Intensität des Kontakts unter den Druckeingabe-Intensitätsschwellenwert und/oder einer Verringerung einer Intensität des Kontakts unter den Hystereseintensitätsschwellenwert, der dem Druckeingabe-Intensitätsschwellenwert entspricht. Darüber hinaus wird in Beispielen, in denen beschrieben wird, dass ein Vorgang als Reaktion auf das Erfassen einer Verringerung der Intensität eines Kontakts unter den Intensitätsschwellenwert der Druckeingabe ausgeführt wird, der Vorgang wahlweise als Reaktion auf das Erfassen einer Verringerung der Intensität des Kontakts unter einen Hystereseintensitätsschwellenwert, der einem Intensitätsschwellenwert der Druckeingabe entspricht und niedriger als dieser ist, ausgeführt.
3. System des digitalen Assistenten
7A zeigt ein Blockdiagramm eines digitalen Assistenzsystems 700 gemäß verschiedenen Beispielen. In einigen Beispielen kann das digitale Assistenzsystem 700 auf einem eigenständigen Computersystem implementiert werden. In einigen Beispielen kann das digitale Assistenzsystem 700 über mehrere Computer verteilt werden. Bei einigen Beispielen können einige der Module und Funktionen des digitalen Assistenten wie in 1 gezeigt in einen Server-Teil und einen Client-Teil aufgeteilt werden, wobei sich der Client-Teil auf einer oder mehreren Benutzervorrichtung/en (z. B. Benutzervorrichtung 600) befindet und mit dem Server-Teil (z. B. Serversystem 108) über eines oder mehrere Netzwerke kommuniziert. In einigen Beispielen kann das digitale Assistenzsystem 700 eine Implementierung des in i dargestellten Serversystems 108 (und/oder des Servers des digitalen Assistenten 106) sein. Es sei darauf hingewiesen, dass das digitale Assistenzsystem 700 nur ein Beispiel eines digitalen Assistenzsystems ist und dass das digitale Assistenzsystem 700 mehr oder weniger Komponenten als dargestellt aufweisen kann, zwei oder mehr Komponenten kombinieren kann oder eine andere Konfiguration oder Anordnung der Komponenten aufweisen kann. Die verschiedenen in 7A dargestellten Komponenten können in Hardware, Software-Anweisungen zur Ausführung durch einen oder mehrere Prozessoren, Firmware, einschließlich eines oder mehrerer Signalverarbeitungs- und/oder anwendungsspezifischer integrierter Schaltkreise, oder eine Kombination davon implementiert werden.
Das digitale Assistenzsystem 700 kann einen Speicher 702, einen oder mehrere Prozessoren 704, eine Eingabe/Ausgabe-(E/A-)Schnittstelle 706 und eine Netzwerkkommunikationsschnittstelle 708 aufweisen. Diese Komponenten können miteinander über einen oder mehrere Kommunikationsbusse oder eine oder mehrere Signalleitungen 710 kommunizieren.
In einigen Beispielen kann Speicher 702 ein nicht-transitorisches computerlesbares Speichermedium aufweisen, wie Hochgeschwindigkeits-Direktzugriffsspeicher und/oder ein nichtflüchtiges computerlesbares Speichermedium (z. B. eine oder mehrere Magnetplatten-Speichervorrichtungen, Flash-Speichervorrichtungen oder andere nichtflüchtige Festkörper-Speichervorrichtungen).
In einigen Beispielen kann die E/A-Schnittstelle 706 Eingabe/Ausgabe-Vorrichtungen 716 des digitalen Assistenzsystems 700, wie Anzeigen, Tastaturen, Berührungsbildschirme und Mikrofone mit dem Benutzerschnittstellenmodul 722 koppeln. Die E/A-Schnittstelle 706 zusammen mit dem Benutzerschnittstellenmodul 722 kann Benutzereingaben (z. B. Spracheingabe, Tastatureingaben, Berührungseingaben usw.) empfangen und diese entsprechend verarbeiten. In einigen Beispielen, z. B. wenn der digitale Assistent in einer eigenständigen Benutzervorrichtung umgesetzt wird, kann das System des digitalen Assistenten 700 bei einigen Implementierungen beliebige der Komponenten und E/A- und Kommunikationsschnittstellen beinhalten, die in Bezug auf die Benutzervorrichtungen 200, 400 oder 600 jeweils in 2A, 4, 6A–B beschrieben sind. In einigen Beispielen kann das digitale Assistenzsystem 700 den Serverabschnitt einer Implementierung des digitalen Assistenten darstellen und mit dem Benutzer durch einen clientseitigen Abschnitt auf einer Benutzervorrichtung (z. B. den Benutzervorrichtungen 104, 200, 400 oder 600) interagieren.
In manchen Beispielen kann die Netzwerkkommunikationsschnittstelle 708 kabelgebundene Kommunikationsanschlüsse 712 und/oder kabellose Übertragungs- und Empfangsschaltkreise 714 umfassen. Die kabelgebundenen Kommunikationsanschlüsse 712 können Kommunikationssignale über eine oder mehrere kabelgebundene Schnittstellen wie Ethernet, USB (Universal Serial Bus) oder FIREWIRE empfangen und senden. Die kabellosen Schaltungen 714 können HF-Signale und/oder optische Signale an Kommunikationsnetzwerke und andere Kommunikationsvorrichtungen senden bzw. sie von diesen empfangen. Die kabellosen Kommunikationen können beliebige von einer Vielzahl von Kommunikationsstandards, Protokollen und Technologien wie GSM, EDGE, CDMA, TDMA, Bluetooth, WLAN, VoIP, Wi-MAX oder jedes andere geeignete Kommunikationsprotokoll verwenden. Die Netzwerkkommunikationsschnittstelle 708 kann die Kommunikation zwischen dem System des digitalen Assistenten 700 und Netzwerken wie dem Internet, einem Inenanet und/oder einem drahtlosen Netzwerk wie einem Mobiltelefonnetzwerk, einem drahtlosen lokalen Netzwerk (LAN) und/oder einem innerstädtischen Netzwerk (MAN) und anderen Vorrichtungen ermöglichen.
In einigen Beispielen kann Speicher 702 oder das computerlesbare Speichermedium von Speicher 702 Programme, Module, Anweisungen und Datenstrukturen speichern, darunter alle oder einen Teilsatz von: Betriebssystem 718, Kommunikationsmodul 720, Benutzerschnittstellenmodul 722, einer oder mehreren Anwendungen 724 und dem Modul des digitalen Assistenten 726. Insbesondere Speicher 702 oder das computerlesbare Speichermedium von Speicher 702 können Anweisungen zum Ausführen des nachfolgend beschriebenen Verfahrens 1200 speichern. Ein oder mehrere Prozessoren 704 können diese Programme, Module und Anweisungen ausführen und von den Datenstrukturen lesen bzw. darauf schreiben.
Das Betriebssystem 718 (z. B. Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS oder ein eingebettetes Betriebssystem, wie VxWorks) kann verschiedene Softwarekomponenten und/oder Treiber zum Steuern und Verwalten allgemeiner System-Tasks (z. B. Speicherverwaltung, Speichervorrichtungssteuerung, Stromverwaltung usw.) aufweisen und die Kommunikationen zwischen verschiedenen Hardware-, Firmware- und Softwarekomponenten erleichtern.
Das Kommunikationsmodul 720 kann die Kommunikation zwischen dem System des digitalen Assistenten 700 und anderen Vorrichtungen über die Netzwerkkommunikationsschnittstelle 708 erleichtern. Kommunikationsmodul 720 kann beispielsweise mit HF-Schaltung 208 der elektronischen Vorrichtungen wie den Vorrichtungen 200, 400 und 600 wie in 2A, 4 und 6A–B gezeigt kommunizieren. Das Kommunikationsmodul 720 kann auch verschiedene Komponenten zum Umgang mit Daten aufweisen, die über die drahtlose Schaltung 714 und/oder den kabelgebundenen Kommunikations-Anschluss 712 empfangen werden.
Das Benutzerschnittstellenmodul 722 kann Befehle und/oder Eingaben von einem Benutzer über die E/A-Schnittstelle 706 (z. B. von einer Tastatur, einem Berührungsbildschirm, einer Zeigervorrichtung, einem Controller und/oder Mikrofon) empfangen und Benutzerschnittstellenobjekte auf einer Anzeige erzeugen. Das Benutzerschnittstellenmodul 722 kann auch Ausgaben (z. B. Sprache, Ton, Animation, Text, Symbole, Vibrationen, haptische Rückmeldung, Licht usw.) an den Benutzer über die E/A-Schnittstelle 706 (z. B. durch Anzeigen, Audiokanäle, Lautsprecher, Touchpads usw.) erstellen und liefern.
Die Anwendungen 724 beinhalten Programme und/oder Module, die für die Ausführung durch einen oder mehrere Prozessoren 704 konfiguriert sind. Wenn das System des digitalen Assistenten in einer eigenständigen Benutzervorrichtung umgesetzt wird, können die Anwendungen 724 z. B. Benutzeranwendungen wie Spiele, eine Kalenderanwendung, eine Navigationsanwendung oder eine E-Mail-Anwendung beinhalten. Wenn das System des digitalen Assistenten 700 in einer Serverfarm umgesetzt wird, können die Anwendungen 724 z. B. Ressourcenverwaltungsanwendungen, Diagnoseanwendungen oder Planungsanwendungen beinhalten.
Der Speicher 702 speichert auch das Modul des digitalen Assistenten 726 (oder den Serverabschnitt eines digitalen Assistenten). In einigen Beispielen kann das Modul des digitalen Assistenten 726 die folgenden Untermodule oder einen Teilsatz oder eine Übermenge von Folgendem beinhalten: ein Eingabe- und Ausgabeverarbeitungsmodul 728, ein Sprache-zu-Text-(STT-)Verarbeitungsmodul 730, ein Modul zur Verarbeitung natürlicher Sprache 732, ein Dialogflussverarbeitungsmodul 734, ein Task-Flow-Verarbeitungsmodul 736, ein Dienstverarbeitungsmodul 738 und ein Sprach-Synthesemodul 740. Jedes dieser Module kann Zugang zu einem oder mehreren der folgenden Systeme oder Daten und Modelle des digitalen Assistentenmoduls 726 oder einer Teilmenge oder eine Übermenge des Folgenden haben: Ontologie 760, Wörterverzeichnis 744, Benutzerdaten 748, Task-Flow-Modelle 754, Dienst-Modelle 756 und ASR-Systeme 731.
In einigen Beispielen kann der digitale Assistent bei Verwendung der Verarbeitungsmodule, Daten und Modelle des digitalen Assistentenmoduls 726 mindestens eins der Folgenden ausführen: Umwandlung von Spracheingaben zu Text: Identifizieren einer Benutzerabsicht, die in einer vom Benutzer empfangenen Eingabe in natürlicher Sprache ausgedrückt ist; aktives Anfordern und Erhalten von Informationen, die erforderlich sind, um die Benutzerabsicht vollständig zu ermitteln (z. B. durch vereindeutigende Wörter, Namen oder Absichten); Bestimmen des Aufgabenflusses zur Erfüllung der ermittelten Absicht und Ausführen des Aufgabenflusses zur Erfüllung der ermittelten Absicht.
In einigen Ausführungsformen, wie in 7B dargestellt, interagiert das E/A-Verarbeitungsmodul 728 mit dem Benutzer durch die E/A-Vorrichtungen 716 in 7A oder mit einer Benutzervorrichtung (z. B. Vorrichtungen 104, 200, 400 oder 600) durch die Netzwerkkommunikationsschnittstelle 708 in 7A, um Benutzereingabe (z. B. eine Spracheingabe) zu erhalten und Antworten (z. B. als Sprachausgaben) auf die Benutzereingabe bereitzustellen. Das E/A-Verarbeitungsmodul 728 kann wahlweise Kontextinformationen im Zusammenhang mit der Benutzereingabe aus der Benutzervorrichtung, während oder kurz nach dem Empfangen der Benutzereingabe, enthalten. Die Kontextinformationen können benutzerspezifische Daten, Vokabular und/oder Präferenzen einschließen, die für die Benutzereingabe relevant sind. In einigen Beispielen können die Kontextinformationen auch Software- und Hardware-Zustände der Vorrichtung (z. B. Benutzervorrichtung 104 in 1) zum Zeitpunkt des Empfangens der Benutzeranforderung und/oder Informationen bezüglich der Umgebung des Benutzers zum Zeitpunkt des Empfangens der Benutzeranforderung einschließen. In einigen Beispielen kann auch das E/A-Verarbeitungsmodul 728 Nachfolgefragen an den Benutzer senden und Antworten von dem Benutzer bezüglich der Benutzeranforderung empfangen. Wenn eine Benutzeranforderung vom E/A-Verarbeitungsmodul 728 empfangen wird und die Benutzeranforderung eine Spracheingabe enthält, kann das E/A-Verarbeitungsmodul 728 die Spracheingabe an das Sprache-zu-Text-(STT-)Verarbeitungsmodul 730 für eine Umwandlung von Sprache zu Text leiten.
Das SST-Verarbeitungsmodul 730 kann ein oder mehrere ASR-Systeme beinhalten. Das eine oder die mehreren ASR-Systeme können die Spracheingabe verarbeiten, die über das E/A-Verarbeitungsmodul 728 empfangen wird, um ein Erkennungsergebnis zu erzeugen. Jedes ASR-System kann einen Front-End-Sprachpräprozessor umfassen. Der Front-End-Sprachpräprozessor kann typische Merkmale aus der Spracheingabe extrahieren. Zum Beispiel kann der Front-End-Sprachpräprozessor eine Fourier-Transformation bei der Spracheingabe durchführen, um spektrale Merkmale zu extrahieren, die die Spracheingabe als eine Sequenz von typischen mehrdimensionalen Vektoren kennzeichnen. Ferner kann jedes ASR-System ein oder mehrere Spracherkennungsmodelle (z. B. Akustikmodelle und/oder Sprachmodelle) umfassen und ein oder mehrere Spracherkennungsmodule implementieren. Beispiele für Spracherkennungsmodelle sind beispielsweise Hidden Markov-Modelle, Gaussian-Mixture-Modelle, Deep Neural Network-Modelle, n-gram-Sprachmodelle und weitere statistische Modelle. Beispiele von Spracherkennungsmodulen können die DTW-basierten Module (Dynamic Time Warping) und WFST-basierten Module (Weighted Finite-State Transducer) umfassen. Das eine oder die mehreren Spracherkennungsmodelle und die eine oder die mehreren Spracherkennungs-Engines könne verwendet werden, um die extrahierten repräsentativen Funktionen des Front-End Sprach-Preprozessors zu verarbeiten und Zwischen-Erkennungsergebnisse (z. B. Phoneme, phonemische Zeichenfolgen und Unterbegriffe) und letztendlich Texterkennungsergebnisse (z. B. Worte, Wortzeichenfolgen oder Token-Sequenzen) zu erzeugen. In einigen Beispielen kann die Spracheingabe zumindest teilweise durch einen Drittanbieterservice oder auf der Vorrichtung des Benutzers (z. B. Vorrichtung 104, 200, 400 oder 600) verarbeitetet werden, um die Erkennungsergebnisse zu erzielen. Sobald das STT-Verarbeitungsmodul 730 Erkennungsergebnisse mit einer Textzeichenfolge (z. B. Worte oder Wortsequenzen oder Token-Sequenzen) erzeugt, kann das Erkennungsergebnis zur Ableitung der Absicht an das Modul zur Verarbeitung natürlicher Sprache 732 weitergeleitet werden.
Weitere Details zur Sprache-zu-Text-Verarbeitung sind in der US-Gebrauchsmusteranmeldung Eingangs-Nr. 13/236,942 mit dem Titel „Consolidating Speech Recognition Results”, eingereicht am 20. September 2011, deren gesamte Offenbarung durch Bezugnahme hierin eingeschlossen ist, beschrieben.
In einigen Beispielen kann das STT-Verarbeitungsmodul 730 ein Vokabular erkennbarer Worte über ein phonetisches Alphabet-Umwandlungsmodul 731 enthalten und/oder darauf zugreifen. Jedes Wort im Vokabular kann mit einer oder mehreren möglichen Aussprachen des Worts verbunden sein, die in einer Buchstabiertafel zur Spracherkennung vertreten sind. Insbesondere kann das Vokabular erkennbarer Worte ein Wort enthalten, das mit mehreren möglichen Aussprachen verknüpft ist. Das Vokabular kann beispielsweise das Wort „tomato” enthalten, das mit der möglichen Aussprache /tƏ'meιroυ/ und /tƏ'matoυ/ verknüpft ist. Des Weiteren kann das Vokabular mit benutzerdefinierten möglichen Aussprachen verknüpft sein, die auf vorangegangenen Spracheingaben des Benutzers basieren. Solche benutzerdefinierten möglichen Aussprachen können im STT-Verarbeitungsmodul 730 gespeichert und über das Benutzerprofil auf der Vorrichtung einem bestimmten Benutzers zugeordnet werden. In manchen Beispielen können die möglichen Aussprachen von Wörtern basierend auf der Schreibweise des Worts und einer oder mehreren linguistischen und/oder phonetischen Regeln bestimmt werden. In manchen Beispielen können die möglichen Aussprachen manuell erzeugt werden, z. B. basierend auf bekannten anerkannten Aussprachen.
In manchen Beispielen können die möglichen Aussprachen basierend auf der Häufigkeit der möglichen Aussprache eingestuft werden. Die mögliche Aussprache /tƏ'meιroυ/ kann beispielsweise höher eingeordnet werden als /tƏ'matoυ/, da ersteres die eher übliche Aussprache ist (z. B. bei allen Benutzern, bei Benutzern in einem bestimmten geographischen Bereich oder für eine andere geeignete Benutzerteilmenge. In einigen Beispielen kann die mögliche Aussprache auf der Basis dessen eingeordnet werden, ob die mögliche Aussprache eine benutzerdefinierte mögliche Aussprache ist, die dem Benutzer zugeordnet wurde. Eine benutzerdefinierte mögliche Aussprache kann beispielsweise höher eingeordnet werden als eine anerkannte mögliche Aussprache. Dies kann hilfreich bei der Erkennung von Eigennamen mit einer einzigartigen Aussprache sein, die von der anerkannten Aussprache abweicht. In einigen Beispielen kann eine mögliche Aussprache einer oder mehreren Spracheigenschaften wie einer geografischen Herkunft, einer Nationalität oder einer ethnischen Zugehörigkeit zugeordnet werden. Die mögliche Aussprache /tƏ'meιroυ/ kann beispielsweise mit den Vereinigten Staaten verbunden werden, wohingegen die mögliche Aussprache /tƏ'matoυ/ Großbritannien zugeordnet werden kann. Des Weiteren kann die Rangfolge der möglichen Aussprache auf einer oder mehreren Eigenschaften des Nutzers (z. B. der geografischen Herkunft, der Nationalität, ethnischen Zugehörigkeit usw.) basieren, die im Profil des Benutzers der Vorrichtung gespeichert sind. Anhand des Benutzerprofils lässt sich beispielsweise feststellen, dass der Benutzer mit den Vereinigten Staaten verbunden ist. Basierend auf dem Benutzer, der mit den Vereinigten Staaten verbunden ist, wird die mögliche Aussprache /tƏ'meιroυ/ (verknüpft mit den Vereinigten Staaten) höher eingeordnet als die mögliche Aussprache /tƏ'matoυ/ (verknüpft mit Großbritannien). In einigen Beispielen kann eine der eingeordneten möglichen Aussprachen als vorhergesagte Aussprache (z. B. die wahrscheinlichste Aussprache) ausgewählt werden.
Wenn eine Spracheingabe empfangen wird, kann das STT-Verarbeitungsmodul 730 dazu verwendet werden, die Phoneme zu bestimmen, die der Spracheingabe entsprechen (z. B. mithilfe eines akustischen Modells) und dann versuchen, Worte festzustellen, die den Phonemen entsprechen (z. B. mittels eines Sprachenmodells). Wenn beispielsweise STT-Verarbeitungsmodul 730 zuerst die Sequenz von Phonemen /tƏ'meιroυ/ identifizieren kann, die einem Teil der Spracheingabe entsprechen, kann es anhand des Vokabular-Index 744 feststellen, dass diese Sequenz dem Wort „tomato” entspricht.
In einigen Beispielen kann STT-Verarbeitungsmodul 730 ungefähre Übereinstimmungstechniken verwenden, um Worte in einer Spracheingabe festzustellen. So kann das STT-Verarbeitungsmodul 730 beispielsweise feststellen, dass die Phonem-Sequenz /tƏ'meιroυ/ dem Wort „tomato” entspricht, auch wenn diese bestimmte Phonem-Sequenz nicht zu den möglichen Phonem-Sequenzen für dieses Wort gehört.
Das Verarbeitungsmodul für natürliche Sprache 732 („Prozessor für natürliche Sprache”) des digitalen Assistenten kann die vom Verarbeitungsmodul für Sprache in Text 730 generierte Abfolge von Wörtern oder Token („Token-Abfolge”) verwenden und versuchen, die Token-Abfolge mit einer oder mehreren „umsetzbaren Absichten”, die vom digitalen Assistenten erkannt wurden, zu verknüpfen. Eine „durchführbare Absicht” kann für einen Task stehen, der vom digitalen Assistenten ausgeführt werden kann, und kann einen damit verbundenen Task-Flow haben, der in Task-Flow-Modelle 754 implementiert werden kann. Der damit verbundene Aufgabenfluss kann eine Serie von programmierten Aktionen und Schritten sein, die der digitale Assistent unternimmt, um die Aufgabe durchzuführen. Der Umfang der Fähigkeiten eines digitalen Assistenten kann von der Anzahl und Vielzahl von Task-Flows abhängen, die implementiert und in Task-Flow-Modellen 754 gespeichert wurden, oder mit anderen Worten von der Anzahl und Vielzahl durchführbarer Absichten, die dem digitalen Assistenten bekannt sind. Die Effektivität des digitalen Assistenten kann jedoch auch von der Fähigkeit des Assistenten zum Ableiten der korrekten „umsetzbaren Absichten” aus der in natürlicher Sprache ausgedrückten Benutzeranforderung abhängen.
In einigen Beispielen kann das Verarbeitungsmodul für natürliche Sprache 732 zusätzlich zu der vom STT-Verarbeitungsmodul 730 erhaltenen Zeichen- oder Tokensequenz auch Kontextinformationen im Zusammenhang mit der Benutzeranforderung (z. B. vom E/A-Verarbeitungsmodul 728) empfangen. Das Verarbeitungsmodul für natürliche Sprache 732 kann die Kontextinformationen wahlweise zum Klären, Ergänzen und/oder weiteren Definieren der Informationen verwenden, die in der vom STT-Verarbeitungsmodul 730 empfangenen Zeichensequenz enthalten sind. Die Kontextinformationen können z. B. Benutzerpräferenzen, den Hardware- und/oder Softwarestatus der Benutzervorrichtung, vor, während oder kurz nach der Benutzeranfrage erfasste Sensorinformationen, frühere Interaktionen (z. B. Dialog) zwischen dem digitalen Assistenten und dem Benutzer und dergleichen einschließen. Wie hierin beschrieben können Kontextinformationen dynamisch sein und sich mit der Zeit, je nach Standort oder nach Inhalt des Dialogs und anderen Faktoren verändern.
Bei einigen Beispielen kann die natürliche Sprachverarbeitung auf einer Ontologie 760 basieren. Die Ontologie 760 kann eine hierarchische Struktur mit einer Vielzahl von Netzknoten sein, wobei jeder Netzknoten entweder eine „verwertbare Bedeutung” oder eine „Property” repräsentiert, welche für eine oder mehrere dieser „verwertbare Bedeutung” oder „Propertys” relevant ist. Wie weiter oben angegeben, kann eine „umsetzbare Absicht” eine Aufgabe darstellen, die der digitale Assistent durchführen kann, d. h. sie ist „umsetzbar” oder es kann auf sie reagiert werden. Eine „Eigenschaft” kann einen Parameter im Zusammenhang mit einer umsetzbaren Absicht oder einem Unteraspekt einer anderen Eigenschaft darstellen. Eine Verbindung zwischen einem Knoten einer durchführbaren Absicht und einem Eigenschaftsknoten in der Ontologie 760 kann definieren, wie ein vom Eigenschaftsknoten dargestellter Parameter den Task betrifft, der vom Knoten einer durchführbaren Absicht dargestellt wird.
In einigen Beispielen kann die Ontologie 760 aus Knoten einer durchführbaren Absicht und Eigenschaftsknoten bestehen. Innerhalb der Ontologie 760 kann jeder Knoten einer durchführbaren Absicht entweder direkt oder durch einen oder mehrere dazwischen liegende Eigenschaftsknoten mit einem oder mehreren Eigenschaftsknoten verbunden sein. Ähnlich kann jeder Eigenschaftsknoten entweder direkt oder durch einen oder mehrere dazwischen liegende Eigenschaftsknoten mit einem oder mehreren Knoten einer durchführbaren Absicht verbunden sein. z. B. kann die Ontologie 760, wie in 7C dargestellt, wahlweise einen Knoten „Restaurantreservierung” – einen Knoten einer durchführbaren Absicht – aufweisen. Die Eigenschaftsknoten „Restaurant”, „Datum/Uhrzeit” (für die Reservierung) und „Gästezahl” sind jeweils direkt mit dem Knoten einer durchführbaren Absicht (z. B. dem Knoten „Restaurantreservierung”) verbunden.
Zusätzlich können die Property-Netzknoten „Küche”, „Preisbereich”, „Telefonnummer” und „Ort” Unternetzknoten des Property-Netzknotens „Restaurant” sein und jeweils durch den dazwischenliegenden Property-Netzknoten „Restaurant” mit dem Netzknoten „Restaurantreservierung” verbunden sein (d. h. mit dem Netzknoten für verwertbare Bedeutungen). In einem weiteren Beispiel kann die Ontologie 760, wie in 7C dargestellt, auch einen Knoten „Erinnerung” – einen weiteren Knoten einer durchführbaren Absicht – aufweisen. Die Eigenschaftsknoten „Datum/Uhrzeit” (zum Einstellen der Erinnerung) und „Thema” (für die Erinnerung) können jeweils mit dem Knoten „Erinnerung” verbunden sein. Da die Eigenschaft „Datum/Uhrzeit” für sowohl den Task des Vornehmens einer Restaurantreservierung als auch den Task des Festlegens einer Erinnerung relevant sein kann, kann der Eigenschaftsknoten „Datum/Uhrzeit” sowohl mit dem Knoten „Restaurantreservierung” als auch mit dem Knoten „Erinnerung” in der Ontologie 760 verbunden sein.
Ein Netzknoten für verwertbare Bedeutungen kann, zusammen mit seinen verbundenen Konzept-Netzknoten, als „Domäne” beschrieben werden. In der gegenwärtigen Diskussion kann jede Domäne einem entsprechenden Netzknoten für verwertbare Bedeutungen zugeordnet sein und sich auf eine Gruppe von Netzknoten (und ihre Beziehungen zueinander) in Zuordnung zur entsprechenden verwertbaren Bedeutung beziehen. z. B. kann die in 7C dargestellte Ontologie 760 ein Beispiel einer Restaurantreservierungsdomäne 762 und ein Beispiel einer Erinnerungsdomäne 764 innerhalb der Ontologie 760 aufweisen. Die Restaurantreservierungs-Domäne beinhaltet den Netzknoten für verwertbare Bedeutungen „Restaurantreservierung”, die Property-Netzknoten „Restaurant”, „Datum/Zeit” und „Gruppengröße” und die Property-Unternetzknoten „Küche”, „Preisbereich”, „Telefonnummer” und „Ort”. Die Erinnerungs-Domäne 764 kann den Netzknoten für verwertbare Bedeutungen „Erinnerung” und die Property-Netzknoten „Gegenstand” und „Datum/Zeit” beinhalten. Bei einigen Beispielen kann die Ontologie 760 aus vielen Domänen zusammengesetzt sein. Jede Domäne kann einen oder mehrere Property-Netzknoten mit einer oder mehreren anderen Domänen teilen. z. B. kann der Eigenschaftsknoten „Datum/Uhrzeit” mit vielen unterschiedlichen Domänen verbunden sein (z. B. einer Terminplandomäne, einer Reisereservierungsdomäne, einer Kinokartendomäne usw.) zusätzlich zur Restaurantreservierungsdomäne 762 und der Erinnerungsdomäne 764 verbunden.
Obwohl 7C zwei beispielhafte Domänen innerhalb der Ontologie 760 zeigt, können andere Domänen z. B. „Film suchen”, „Anruf tätigen”, „Wegbeschreibung”, „Termin planen”, „Nachricht senden” und „Frage beantworten”, „Liste lesen”, „Navigationsanweisung geben”, „Anweisungen für eine Task geben” und so weiter einschließen. Als Beispiel kann eine „eine Nachricht senden”-Domäne einem Netzknoten für verwertbare Bedeutungen „eine Nachricht senden” zugeordnet werden und kann des Weiteren Property-Netzknoten wie „Empfänger”, „Art der Nachricht” und „Textkörper” enthalten. Der Property-Netzknoten „Empfänger” kann weiter definiert werden, z. B. durch Property-Unternetzknoten wie „Name des Empfängers” und „Nachrichtenadresse”.
In einigen Beispielen kann die Ontologie 760 alle Domänen (und somit durchführbaren Absichten) einschließen, die der digitale Assistent verstehen und bearbeiten kann. Bei einigen Beispielen kann die Ontologie 760 modifiziert werden, z. B. durch Hinzufügen oder Entfernen von Domänen oder Netzknoten oder durch das Modifizieren von Verhältnissen zwischen den Netzknoten innerhalb der Ontologie 760.
In einigen Beispielen können Knoten im Zusammenhang mit mehreren betreffenden durchführbaren Absichten wahlweise unter einer „Überdomäne” in der Ontologie 760 geclustert werden. z. B. kann eine Super-Domäne „Reise” einen Cluster von Property-Netzknoten und Netzknoten von verwertbaren Bedeutungen enthalten, die mit Reisen in Verbindung stehen. Die Knoten einer durchführbaren Absicht, die Reisen betreffen können „Flugreservierung”, „Hotelreservierung”, „Autovermietung”, „Wegbeschreibung”, „Sehenswürdigkeiten” und so weiter einschließen. Die Knoten einer durchführbaren Absicht unter derselben Überdomäne (z. B. der Überdomäne „Reisen”) können viele Eigenschaftsknoten gemeinsam. haben. z. B. können die Netzknoten von verwertbaren Bedeutungen für „Flugzeugreservierung”, „Hotelreservierung”, „Auto anmieten”, „Wegbeschreibung erhalten”, „interessante Punkte finden” einen oder mehrere der Property-Netzknoten „Startpunkt” „Zielort”, „Abfahrtsdatum/Zeit”, „Ankunftsdatum/Zeit” und „Gruppengröße” teilen.
In einigen Beispielen kann jeder Knoten in der Ontologie 760 mit einer Gruppe von Wörtern und/oder Wendungen verbunden sein, die für die Eigenschaft oder die durchführbare Absicht, die der Knoten darstellt, relevant sind. Die jeweilige Gruppe von Wörtern und/oder Wendungen im Zusammenhang mit dem jeweiligen Knoten kann das so genannte „Vokabular” im Zusammenhang mit dem Knoten darstellen. Die jeweilige Gruppe von Wörtern und/oder Wendungen im Zusammenhang mit dem jeweiligen Knoten kann im Wörterverzeichnis 744 in Verbindung mit der Eigenschaft oder der durchführbaren Absicht, die der Knoten darstellt, gespeichert sein. z. B. kann, zu 7B zurückkehrend, das Vokabular, das mit dem Property-Netzknoten „Restaurant” verbunden ist, Wörter wie Essen” Trinken” Küche” hungrig” essen” Pizza” Fast Food” „Mahl” usw. enthalten. Als ein anderes Beispiel kann das Vokabular, das dem Netzknoten für die verwertbare Bedeutung „ein Telefonat einleiten” zugeordnet ist, Wörter und Phrasen wie anrufen” telefonieren” wählen” klingeln” diese Nummer anrufen” Folgende anrufen” usw. enthalten. Der Vokabular-Index 744 kann optional Wörter und Phrasen in verschiedenen Sprachen enthalten.
Das Verarbeitungsmodul für natürliche Sprache 732 kann die Zeichensequenz (z. B. eine Textfolge) vom Sprache-zu-Text-Verarbeitungsmodul 730 empfangen und kann bestimmen, welche Knoten bei den Wörtern in der Zeichensequenz eine Rolle spielen. In einigen Beispielen kann, wenn herausgefunden wird, dass ein Wort oder eine Wendung in der Zeichensequenz im Zusammenhang mit einem oder mehreren Knoten in der Ontologie 760 ist (über das Wörterverzeichnis 744), das Wort oder die Wendung diese Knoten „auslösen” oder „aktivieren”. Auf der Grundlage der Menge und/oder der relativen Wichtigkeit der aktivierten Knoten kann das Verarbeitungsmodul für natürliche Sprache 732 eine der durchführbaren Absichten als den Task auswählen, den der Benutzer zum Ausführen durch den digitalen Assistenten beabsichtigte. In manchen Beispielen kann die Domäne ausgewählt werden, die die meisten „ausgelösten” Knoten hat. In manchen Beispielen kann die Domäne mit dem höchsten Konfidenzwert (z. B. basierend auf der relativen Wichtigkeit ihrer verschiedenen ausgelösten Knoten) ausgewählt werden. In manchen Beispielen kann die Domäne basierend auf einer Kombination der Anzahl und der Wichtigkeit der ausgelösten Knoten ausgewählt werden. In manchen Beispielen werden beim Auswählen des Knotens auch zusätzliche Faktoren berücksichtigt, z. B. ob der digitale Assistent eine ähnliche Anforderung von einem Benutzer zuvor korrekt interpretiert hat.
Die Benutzerdaten 748 können benutzerspezifische Informationen wie benutzerspezifisches Vokabular, Benutzerpräferenzen, die Benutzeradresse, die Standard- und Zweitsprache des Benutzers, die Kontaktliste des Benutzers und andere kurz- oder langfristige Informationen für jeden Benutzer umfassen. Das Verarbeitungsmodul für natürliche Sprache 732 kann in einigen Beispielen benutzerspezifische Informationen verwenden, um Informationen zu ergänzen, die in der Benutzereingabe enthalten sind, um die Absicht des Nutzers weitergehend zu definieren. z. B. kann für eine Benutzeranforderung „Freunde zu Geburtstagsfeier einladen” das Verarbeitungsmodul für natürliche Sprache 732 auf Benutzerdaten 748 zugreifen um zu bestimmen, wer die „Freunde” sind und wann und wo die „Geburtstagsfeier” stattfindet, statt dass der Benutzer solche Informationen explizit in seiner Anforderung bereitstellen muss.
Andere Details zum Durchsuchen einer Ontologie auf der Grundlage einer Zeichenfolge ist in der US-Gebrauchsmusteranmeldung Eingangs-Nr. 12/341,743 mit dem Titel „Method and Apparatus for Searching Using An Active Ontology”, eingereicht am 22. Dezember 2008, deren gesamte Offenbarung durch Bezugnahme hierin eingeschlossen ist, beschrieben.
Sobald das Verarbeitungsmodul für natürliche Sprache 732 eine durchführbare Absicht (oder Domäne) auf der Grundlage der Benutzeranforderung identifiziert, erzeugt in einigen Ausführungsformen das Verarbeitungsmodul für natürliche Sprache 732 eine strukturierte Abfrage, um die identifizierte durchführbare Absicht darzustellen. In manchen Beispielen kann die strukturierte Abfrage Parameter für einen oder mehrere Knoten innerhalb der Domäne für die umsetzbare Absicht umfassen, und wenigstens einige der Parameter sind mit den spezifischen Informationen und Anforderungen, die in der Benutzeranforderung angegebenen sind, ausgefüllt. Zum Beispiel kann der Nutzer sagen: „Führe eine Reservierung um 7.00 in einem Sushi-Restaurant durch.” In diesem Fall könnte das Verarbeitungsmodul für natürliche Sprache 732 auf der Grundlage der Nutzereingabe die verwertbare Bedeutung korrekt als „Restaurantreservierung” identifizieren. Entsprechend der Ontologie kann eine strukturierte Abfrage für eine Domäne „Restaurantreservierung” Parameter wie {Küche), {Zeit}, {Datum}, {Gruppengröße} und dergleichen umfassen. In einigen Beispielen kann, basierend auf der Spracheingabe und dem aus der Spracheingabe mithilfe des STT-Verarbeitungsmoduls 730 abgeleiteten Textes, das Verarbeitungsmodul für natürliche Sprache 732 eine partielle strukturierte Abfrage für die Restaurantreservierungs-Domäne generieren, wobei die partielle strukturierte Abfrage die Parameter {Küche= „Sushi”) und {Zeit = „19.00”) enthält. Dennoch enthält in diesem Beispiel die Spracheingabe des Nutzers ungenügende Informationen, um die der Domäne zugeordnete strukturierte Abfrage zu Ende zu bringen. Deshalb sind andere notwendige Parameter wie {Gruppengröße} und {Datum} in der strukturierten Abfrage, die auf den aktuell verfügbaren Informationen basiert, möglicherweise nicht angegeben. In einigen Beispielen kann das Verarbeitungsmodul für natürliche Sprache 732 einige Parameter der strukturierten Abfrage mit empfangenen Kontextinformationen füllen. Wenn z. B. der Nutzer ein Sushirestaurant „in der Nähe” anfragt, kann das Verarbeitungsmodul für natürliche Sprache 732 einen {Ort}-Parameter in der strukturierten Abfrage mit GPS-Koordinaten von der Benutzervorrichtung eintragen.
Bei einigen Beispielen kann das Verarbeitungsmodul für natürliche Sprache 732 die strukturierte Abfrage (inklusive jedes vollständigen Parameters) an das Task-Flow-Verarbeitungsmodul 736 („Task-Flow-Prozessor”) weiterleiten. Das Task-Flow-Verarbeitungsmodul 736 ist so konfiguriert, dass es die strukturierte Abfrage vom Verarbeitungsmodul für natürliche Sprache 732 empfangen kann, die strukturierte Abfrage, falls notwendig, abschließen und die Aktionen ausführen kann, die zum „Abschließen” der endgültigen Anforderung des Benutzers erforderlich sind. In manchen Beispielen können die verschiedenen Verfahrensweisen, die zum Abschließen dieser Aufgaben erforderlich sind, in Aufgabenflussmodellen 754 bereitgestellt werden. In einigen Beispielen können die Task-Flow-Modelle 754 Vorgänge zum Erhalten zusätzlicher Informationen vom Benutzer und Task-Flows zum Ausführen von Aktionen im Zusammenhang mit der durchführbaren Absicht einschließen.
Wie vorstehend beschrieben, muss das Task-Flow-Verarbeitungsmodul 736 zum Abschließen einer strukturierten Abfrage möglicherweise manchmal einen zusätzlichen Dialog mit dem Benutzer initiieren, um zusätzliche Informationen zu erhalten und/oder mögliche zweideutige Spracheingaben eindeutig zu machen. Wenn solche Interaktionen notwendig sind, ruft das Task-Flow-Verarbeitungsmodul 736 das Dialog-Flow-Verarbeitungsmodul 734 auf, um in einen Dialog mit dem Benutzer zu treten. Bei einigen Beispielen bestimmt das Dialog-Flow-Verarbeitungsmodul 734, wie (und/oder wann) der Nutzer nach einer zusätzlichen Information gefragt wird, und erhält und bearbeitet die Antworten des Nutzers. Die Fragen können durch das E/A-Verarbeitungsmodul 728 den Benutzern Fragen gestellt und Antworten von diesen empfangen werden. In einigen Beispielen stellt das Dialog-Flow-Verarbeitungsmodul 734 die Dialogausgabe dem Benutzer über akustische und/oder visuelle Ausgabe bereit und empfängt Eingabe vom Benutzer über gesprochene oder physische Antworten (z. B. durch Klicken). Noch beim vorstehenden Beispiel, wenn das Task-Flow-Verarbeitungsmodul 736 das Dialog-Flow-Verarbeitungsmodul 734 aufruft, um die Informationen „Gästezahl” und „Datum” für die strukturierte Abfrage im Zusammenhang mit der Domäne „Restaurantreservierung” zu bestimmen, erzeugt das Dialog-Flow-Verarbeitungsmodul 734 Fragen, wie „Für wie viele Leute?” und „An welchem Tag?”, die dem Benutzer gestellt werden. Sobald Antworten vom Benutzer empfangen werden, kann das Dialog-Flow-Verarbeitungsmodul 734 dann die strukturierte Abfrage mit den fehlenden Informationen ausfüllen oder die Informationen an das Task-Flow-Verarbeitungsmodul 736 weiterleiten, um die fehlenden Informationen von der strukturierten Abfrage einzutragen.
Sobald das Task-Flow-Verarbeitungsmodul 736 die strukturierte Abfrage für eine durchführbare Absicht abgeschlossen hat, geht das Task-Flow-Verarbeitungsmodul 736 dazu über, den endgültigen Task im Zusammenhang mit der durchführbaren Absicht auszuführen. Dementsprechend führt das Task-Flow-Verarbeitungsmodul 736 die Schritte und Anweisungen im Task-Flow-Modell gemäß den spezifischen Parametern, die in der strukturierten Abfrage enthalten sind, aus. Zum Beispiel kann das Aufgabenflussmodell für die umsetzbare Absicht von „Restaurantreservierung” Schritte und Anweisungen zum Kontaktieren eines Restaurants und tatsächlichen Anfordern einer Reservierung für eine bestimmte Gruppengröße zu einer bestimmten Zeit umfassen. Wenn zum Beispiel eine strukturierte Abfrage wie die folgende verwendet wird: {Restaurantreservierung, Restaurant = ABC Cafe, Datum = 3/12/2012, Zeit = 19.00, Gruppengröße = 5}; das Task-Flow-Verarbeitungsmodul 736 kann diese Schritte ausführen: (1) Anmelden bei einem Server des ABC Cafes oder bei einem Restaurantreservierungssystem wie OPENTABLE^®, (2) Eingeben der Informationen für Datum, Zeit und Gruppengröße in ein Formular auf der Website, (3) Übermitteln des Formulars und (4) Erstellen eines Kalendereintrags für die Reservierung im Kalender des Benutzers.
Bei einigen Beispielen setzt das Task-Flow-Verarbeitungsmodul 736 die Assistenz eines Service-Verarbeitungsmoduls 738 („Service-Verarbeitungsmodul”) ein, um eine Aufgabe zu vervollständigen, die in der Nutzereingabe gestellt wurde, oder um eine informatorische Antwort auf eine Frage, die in der Nutzereingabe gestellt wurde, zu geben. z. B. kann das Service-Verarbeitungsmodul 738 kann anstelle des Task-Flow-Verarbeitungsmoduls 736 tätig sein, um einen Telefonanruf zu tätigen, einen Kalendereintrag vorzunehmen, eine Landkartensuche aufzurufen, andere Benutzeranwendungen, die auf der Benutzervorrichtung installiert sind, aufzurufen oder mit diesen zu interagieren und Drittanbieterdienste (z. B. ein Restaurantreservierungsportal, ein soziales Netzwerk, ein Banking-Portal usw.) aufzurufen oder mit diesen zu interagieren. In einigen Beispielen können die Protokolle und Programmierschnittstellen (API), die von dem jeweiligen Dienst benötigt werden, von einem jeweiligen Dienstmodell von Dienstmodellen 756 spezifiziert werden. Das Service-Verarbeitungsmodul 738 greift auf das geeignete Dienstmodell für einen Dienst zu und erzeugt Anforderungen für den Dienst gemäß den Protokollen und API, die gemäß dem Dienstmodell für den Dienst erforderlich sind.
Wenn zum Beispiel ein Restaurant einen Online-Reservierungsdienst aktiviert hat, kann das Restaurant ein Dienstmodell, das die notwendigen Parameter zum Vornehmen einer Reservierung spezifiziert, und die API zum Übertragen der Werte der notwendigen Parameter an den Online-Reservierungsdienst bereitstellen. Wenn es vom Task-Flow-Verarbeitungsmodul 736 angefordert wird, kann der das Service-Verarbeitungsmodul 738 eine Netzwerkverbindung mit dem Online-Reservierungsdienst unter Verwendung der im Dienstmodell gespeicherten Webadresse aufbauen und die notwendigen Parameter der Reservierung (z. B. Uhrzeit, Datum, Gästezahl) in einem Format gemäß dem API des Online-Reservierungsdienstes an die Online-Reservierungsschnittstelle senden.
In einigen Beispielen wird das Verarbeitungsmodul für natürliche Sprache 732, das Dialog-Flow-Verarbeitungsmodul 734 und das Task-Flow-Verarbeitungsmodul 736 kollektiv und iterativ verwendet, um die Absicht des Benutzers abzuleiten und zu definieren, Informationen zu erhalten, um die Benutzerabsicht weiter zu klären und einzugrenzen, und letztlich eine Antwort (z. B. eine Ausgabe für den Benutzer oder die Vollendung eines Tasks) zu erzeugen, und die Absicht des Benutzers zu erfüllen. Die erzeugte Antwort kann eine Dialog als Antwort auf die Spracheingabe sein, die mindestens teilweise die Absicht des Benutzers erfüllt. Des Weiteren kann in einigen Beispielen die erzeugte Antwort die Ausgabe als Sprachausgabe sein. In diesen Beispielen kann die erzeugte Antwort an das Sprach-Synthesemodul 740 (z. B. ein Sprach-Synthesizer) gesendet werden, wo es verarbeitet werden kann, um die Dialogantwort in Sprachform zu synthetisieren. In noch einem weiteren Beispiel kann die erzeugte Antwort Dateninhalt sein, der relevant ist, um eine Benutzeranfrage in der Spracheingabe zu erfüllen.
Das Sprach-Synthesemodul 740 kann so konfiguriert werden, dass es die Sprachausgaben zur Präsentation für den Benutzer synthetisiert. Das Sprach-Synthesemodul 740 synthetisiert Sprachausgaben auf der Basis des Textes, der vom digitalen Assistenten bereitgestellt wird. Die erzeugte Dialogantwort kann beispielsweise in Form einer Textzeichenfolge vorliegen. Das Sprach-Synthesemodul 740 kann die Textzeichenfolge in eine hörbare Sprachausgabe. Das Sprach-Synthesemodul 740 kann jede geeignete Sprachsynthesetechnik verwenden, um Sprachausgaben aus Text zu erzeugen, insbesondere In einigen Beispielen kann das Sprach-Synthesemodul 740 auch so konfiguriert sein, dass es einzelne Wörter basierend auf phonemischen Zeichenfolgen, die den Wörtern entsprechen, zu synthetisieren. Eine phonemische Zeichenfolge kann beispielsweise mit einem Wort in der erzeugten Dialogantwort verknüpft werden. Die phonemische Zeichenfolge kann in Metadaten gespeichert werden, die mit dem Wort verbunden sind. Das Sprach-Synthesemodul 740 kann so konfiguriert sein, dass es die phonemische Zeichenfolge direkt in den Metadaten verarbeitet, um das Wort in Sprachform zu synthetisieren.
In einigen Beispielen kann die Sprachsynthese auch anstelle (oder zusätzlich zu) der Verwendung des Sprach-Synthesemoduls 740 auf einem Remote-Gerät (z. B. Serversystem 108) ausgeführt werden, und die synthetisierte Sprache kann zur Ausgabe für den Benutzer an die Benutzervorrichtung gesendet werden. Dies kann beispielsweise bei Implementierungen der Fall sein, bei denen Ausgaben für digitale Assistenten auf einem Serversystem erzeugt werden. Und da Serversysteme allgemein mehr Verarbeitungsleistung oder Ressourcen haben als eine Benutzervorrichtung, kann es möglich sein, eine hochwertigere Sprachausgabe zu erzielen als mit einer clientseitigen Synthese praktikabel wäre.
Weitere Details zu digitalen Assistenten sind in der US-Gebrauchsmusteranmeldung Nr. 12/987,982 mit dem Titel „Intelligent Automated Assistent”, eingereicht am 10. Januar 2011, und in der US-Gebrauchsmusteranmeldung Nr. 13/251,088 mit dem Titel „Generating and Processing Data Items That Represent Tasks to Perform”, eingereicht am 30. September 2011, deren gesamte Offenbarungen durch Bezugnahme hierin eingeschlossen sind, zu finden.
4. Beispielhafte Funktionen eines digitalen Assistenten
8 zeigt ein Blockdiagramm mit Funktionen eines digitalen Assistenten 800 (oder des Serverbereichs eines digitalen Assistenten). In einigen Beispielen wird der digitale Assistent 800 mithilfe des digitalen Assistentenmoduls 726 implementiert. Der digitale Assistent 800 beinhaltet ein oder mehrere Module, Modelle, Anwendungen, Vokabulare und Benutzerdaten, die denen des digitalen Assistentenmoduls 726 ähnlich sind. Der digitale Assistent 800 beinhaltet beispielsweise die folgenden Untermodule oder eine Teilmenge oder Übermenge dieser: Eingabe- und Ausgabeverarbeitungsmodul, STT-Verarbeitungsmodul, ein Verarbeitungsmodul für natürliche Sprache, ein Task-Flow-Verarbeitungsmodul und ein Sprachsynthesemoduls. Diese Module können ähnlich wie die in 7B abgebildeten Module implementiert werden, daher sind sie nicht abgebildet oder wiederholt beschrieben.
In einigen Beispielen kann der digitale Assistent 800 weiterhin ein Ereignis-Erkennungsmodul 820, ein Ereignis-Vereinbarungserkennungsmodul 840, ein Ereignistyp-Erkennungsmodul 860 und ein Ereignisbeschreibungs-Erzeugungsmodul 880. Diese Module können ein integrierter oder separater Teil beispielsweise eines Verarbeitungsmoduls für natürliche Sprache sein. Ein Verarbeitungsmoduls für natürliche Sprache 732 beinhaltet oder nutzt beispielsweise ein Ereignisdaten-Erkennungsmodul 820.
Wie in 8 abgebildet empfingt der digitale Assistent in einigen Ausführungsformen unstrukturierte natürliche Sprachinformationen. Unstrukturierte natürliche Sprachinformationen können in schriftlicher oder verbaler Form vorliegen. In einigen Beispielen beinhalten unstrukturierte natürliche Sprachinformationen eine Text-/SMS-Nachricht, eine Sofortnachricht, eine elektronische Nachricht, eine Spracheingabe wie eine Voicemail oder eine Live-Konversation oder ähnliches. Unstrukturierte natürliche Sprachinformationen beinhalten beispielsweise mehrere Textnachrichten oder Sofortnachrichten, die zwischen oder unter mehreren Nutzern ausgetauscht werden. Als ein weiteres Beispiel beinhalten unstrukturierte natürliche Sprachinformationen ein Transkript einer elektronischen Nachricht oder einen Textkörper mit mehreren elektronischen Nachrichten, die zwischen oder unter den Nutzern ausgetauscht werden. Als ein weiteres Beispiel beinhalten unstrukturierte natürliche Sprachinformationen verbale Kommunikationen zwischen oder unter den Nutzern.
In einigen Beispielen empfängt der digitale Assistent 800 dynamisch aktualisierte natürliche Sprachinformationen. Der digitale Assistent 800 empfängt beispielsweise Textnachrichten oder Sofortnachrichten in Echtzeit, während die Nutzer die Nachrichten austauschen. In einigen Beispielen werden die unstrukturierten natürlichen Sprachinformationen dynamisch aktualisiert, um die neuen Nachrichten des Nutzers widerzuspiegeln. In einigen Ausführungsformen wird, wenn die unstrukturierten natürlichen Sprachinformationen dynamisch aktualisiert werden, ein uni-direktionales rekurrentes neuronales Netz (RNN) verwendet, um die unstrukturierten natürlichen Sprachinformationen zu verarbeiten, wie nachfolgend näher erläutert wird.
Wie in 8 dargestellt bestimmt ein Ereignisdaten-Erkennungsmodul 820 als Reaktion auf den Empfang unstrukturierter natürlicher Sprachinformationen, ob Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorliegen. Wie oben beschrieben beinhalten die unstrukturierten natürlichen Sprachinformationen beispielsweise unterschiedliche Arten von Informationen, wie Textnachrichten oder elektronische Nachrichten. In einigen Beispielen kann das Ereignisdaten-Erkennungsmodul 820 mithilfe unterschiedlicher Netzwerke implementiert werden, je nach den unterschiedlichen Typen von Informationen, die in den unstrukturierten natürlichen Sprachinformationen enthalten sind. Wenn die unstrukturierten natürlichen Sprachinformationen beispielsweise Informationen beinhalten, die dynamisch aktualisiert werden (z. B. Textnachrichten, die zwischen Nutzern ausgetauscht werden, wie in 9A zu sehen), kann das Ereignisdaten-Erkennungsmodul 820 mithilfe eines ersten Netzwerks 920 implementiert werden, wie in 9B oder 9C zu sehen. In einigen Beispielen ist das erste Netzwerk ein neuronales Netz, wie ein uni-direktionales rekurrentes neuronales Netz (RNN). Wenn als weiteres Beispiel die unstrukturierten natürlichen Sprachinformationen die gesamten zu verarbeitenden Informationen beinhalten und nicht dynamisch aktualisiert werden (z. B. ein Transkript einer elektronischen Nachricht oder ein Textkörper, der die gesamte Konversation zwischen Nutzern darstellt, wie in 10A zu sehen), kann das Ereignisdaten-Erkennungsmodul 820 mithilfe eines zweiten Netzwerks 1020 implementiert werden, wie in 10B oder 10C dargestellt. In einigen Beispielen ist das zweite Netzwerk ein neuronales Netz, wie ein bi-direktionales rekurrentes neuronales Netz (RNN). In einigen Beispielen kann das Ereignisdaten-Erkennungsmodul 820 eines einzelnen Netzwerks für die unterschiedliche Typen unstrukturierter natürlicher Sprachinformationen implementiert werden. Ein Ereignisdaten-Erkennungsmodul 820 kann beispielsweise mithilfe eines ersten Netzwerks 920 (z. B. ein uni-direktionales RNN) für unstrukturierte natürliche Sprachinformationen implementiert werden, die dynamisch aktualisiert werden oder nicht. In einigen Beispielen werden das erste Netzwerk 920 und das zweite Netzwerk 1020 mithilfe einer oder mehrerer Multifunktionsvorrichtungen implementiert, insbesondere der Vorrichtungen 100, 200, 400 und 600 (1, 2, 4 und 6B).
9A veranschaulicht eine beispielhafte Benutzerschnittstelle 902 einer elektronischen Vorrichtung 900 gemäß verschiedenen Beispielen. Bezugnehmend auf 8 und 9A empfängt der digitale Assistent 800 in einigen Beispielen mehrere Textnachrichten über Benutzerschnittstelle 902. Die mehreren auf Benutzerschnittstelle 902 angezeigten Textnachrichten stellen eine Kommunikation zwischen einem ersten und einem zweiten Nutzer dar. Die Kommunikation beinhaltet beispielsweise mehrere Nachrichten, um ein Ereignis zu arrangieren. Im Beispiel in 9A stellt der erste Nutzer eine Textnachricht 904 bereit, wie beispielsweise „Heute Mittagessen im Caffe Macs? Gegen zwölf?” Als Antwort stellt der zweite Nutzer eine Textnachricht 908 bereit wie „Geht nicht, habe ein Meeting bis 12:30... ” Der erste Nutzer stellt dann eine Textnachricht 914 bereit wie „Hmm, verrückt um 12:30. Wie wär's mit 13:00 Uhr?” Der zweite Nutzer stellt dann eine Textnachricht 918 bereit wie „Klingt gut. Bis dann!” Wie in 9A dargestellt empfängt der digitale Assistent 800 bei der weiteren Konversation der beiden Nutzer dynamisch aktualisierte, unstrukturierte natürliche Sprachinformationen.
In einigen Beispielen sind die unstrukturierten natürlichen Sprachinformationen (z. B. die Textnachrichten in 9A) mit einer oder mehreren Polaritäten verknüpft. Eine Polarität bezieht sich auf die Klassifizierung der Gefühle in unstrukturierten natürlichen Sprachinformationen. Eine Polarität bezieht sich beispielsweise auf die Klassifizierung der Gefühle, da diese mit Ereignisinformationen verbunden sind. In einigen Beispielen kann eine Polarität ein Vorschlag, eine Ablehnung, eine Akzeptanz oder ein Nicht-Ereignis sein. Wie in 9A dargestellt beinhalten die Textnachrichten 904 und 908 ein oder mehrere Wörter, die eine Polarität eines Vorschlags darstellen (z. B. „gegen zwölf”, „wie wär's mit 13:00 Uhr”). Die Textnachrichten 908 und 914 beinhalten ein oder mehrere Wörter, die eine Polarität einer Ablehnung darstellen (z. B. „Geht nicht”, „verrückt”). Textnachricht 918 beinhaltet ein oder mehrere Wörter, die eine Polarität einer Akzeptanz darstellen (z. B. „Klingt gut”, „bis dann”). Dementsprechend können unstrukturierte natürliche Sprachinformationen wie die Textnachrichten 904, 908, 914, 918 Wörter beinhalten, die mehrere Vorschläge und/oder mehrere Ablehnungen darstellen. Die in den unstrukturierten natürlichen Sprachinformationen enthaltenen Wörter werden bei der Bestimmung verwendet, ob Ereignisinformationen vorliegen und ob eine Vereinbarung eines Ereignisses vorliegt, wie nachfolgend detailliert beschrieben.
In einigen Beispielen beinhalten unstrukturierte natürliche Sprachinformationen Datums- und Zeitinformationen. Wie in 9A dargestellt, beinhalten die Textnachrichten 904, 908 und 914 Zeitinformationen, wie z. B. „Gegen zwölf”, „12:30” und „13:00 Uhr”. In einigen Beispielen werden die Datums- und Zeitinformationen bei der Bestimmung verwendet, ob Ereignisinformationen vorliegen und ob eine Vereinbarung eines Ereignisses vorliegt, wie nachfolgend detailliert beschrieben. In einigen Beispielen beinhalten die unstrukturierten natürlichen Sprachinformationen auch Ereignistypinformationen (z. B. „Mittagessen”, „Meeting”), die bei der Bestimmung des Ereignistyps verwendet werden, wie nachstehend genauer beschriebenen.
Bezugnehmend auf die 9A–9C wird das Ereignisdaten-Erkennungsmodul 820 in einigen Beispielen mithilfe eines ersten Netzwerks 920 implementiert, wenn die unstrukturierten natürlichen Sprachinformationen Informationen beinhalten, die dynamisch aktualisiert werden (z. B. Textnachrichten, die zwischen den beiden Nutzern ausgetauscht werden). In einigen Beispielen ist das erste Netzwerk 920 ein RNN, das mit ausgeblendeten Knoten des Long Short-Term Memory (LSTM) implementiert wird. 9B und 9C veranschaulichen ein beispielhaftes erstes Netzwerk 920 zur Ereigniserkennung und -klassifizierung gemäß verschiedenen Beispielen. 9B ist eine kompakte Darstellung des ersten Netzwerks 920 und 9C ist eine äquivalente Darstellung des ersten Netzwerks mit offen gelegter Zeit. Die Eingabeeinheiten 954 (e.g., x(t)) in 9B sind beispielsweise offen gelegt als Eingabeeinheiten 954A-T (z. B. x(1), x(2), ... x(T)) in 9C. Auf ähnliche Weise werden die Einheiten für den ersten Kontext 942 (z. B. h(t)) in 9B offen gelegt als Eingabeeinheiten 942A-T (z. B. h(1), h(2), ... h(T)) in 9C. Und die Ausgabeeinheiten 932 (z. B. Z(t)) werden offen gelegt als Ausgabe-Kennzeichnungseinheiten 932A-T (z. B., Z(1), Z(2),... Z(T)). In den Beispielen in 9B und 9C steht „t” für die Zeit und steht in einzelnen Zeitschritten wie 1, 2...T. 9B und 9C werden nachfolgend gemeinsam beschrieben.
Bezugnehmend auf 8, 9B und 9C empfängt der digitale Assistent 800 in einigen Ausführungsformen die unstrukturierten natürlichen Sprachinformationen, und Ereignisdaten-Erkennungsmodul 820 bestimmt eine oder mehrere Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verbunden sind. Wie beschrieben wird das Ereignisdaten-Erkennungsmodul 820 in einigen Beispielen mithilfe eines ersten Netzwerks 920 implementiert. Das erste Netzwerk 920 ist beispielsweise ein neuronales Netzwerk (z. B. ein uni-direktionales RNN). Das erste Netzwerk 920 beinhaltet mehrere Ebenen wie eine Eingabeebene 950 oder mehrere ausgeblendete Ebenen 940 und eine Ausgabeebene 930. In diesem Beispiel in 9B und 9C beinhaltet das erste Netzwerk 920 eine einzelnen ausgeblendete Ebene 940. Es versteht sich jedoch, dass in anderen Beispielen das erste Netzwerk 920 eine oder mehrere weitere ausgeblendete Ebenen beinhalten kann, die ein tiefer gehendes Netz bilden. Jede Ebene des ersten Netzwerks 920 beinhaltet eine Anzahl Einheiten. Eine Ebene kann beispielsweise eine einzelne Einheit oder mehrere Einheiten beinhalten. Diese Einheiten, die in einigen Beispielen als Dimensionen, Neuronen oder Knoten bezeichnet werden (z. B. Kontextknoten), fungieren als rechenintensive Elemente des ersten Netzwerks 920.
In einigen Ausführungsformen erzeugt das Ereignisdaten-Erkennungsmodul 820 zur Bestimmung einer oder mehrerer Polaritäten in Verbindung mit den unstrukturierten natürlichen Sprachinformationen eine Eingabeebene 950, basierend auf den unstrukturierten natürlichen Sprachinformationen; es erzeugt eine ausgeblendete Ebene 940, basierend auf der Eingabeebene 950; und es erzeugt eine Ausgabeebene 930, basierend auf der ausgeblendeten Ebene 940. Wie in 9B und 9C dargestellt beinhaltet Eingabeebene 950 in einigen Beispielen mehrere Eingabeeinheiten 954 (Z. B. x(t)) und die vorhergehenden Einheiten für den ersten Kontext 952 (z. B. h(t – 1)). Die ausgeblendete Ebene 940 beinhaltet mehrere aktuelle Einheiten für den ersten Kontext 942 (z. B. h(t)). Ausgabeebene 930 beinhaltet mehrere Ausgabe-Kennzeichnungseinheiten 932 (z. B. z(t)), die für eine oder mehrere Polaritäten von mindestens eine Teil der unstrukturierten natürlichen Sprachinformationen und eine Ereignistyp-Ausgabe der ersten Ebene 934 stehen.
In einigen Beispielen beinhalten die Eingabeeinheiten 954 (z. B. x(t)) eine Wortfolge, die auf der Basis der unstrukturierten natürlichen Sprachinformationen erhalten wird. Eine Wortfolge ist eine Abfolge von Wortzeichenfolgen. Wie in 9A dargestellt können die unstrukturierten natürlichen Sprachinformationen beispielsweise mehrere Wörter wie „Mittagessen”, „heute”, „gegen zwölf”, „Geht”, „nicht”, „verrückt” usw. Eine Wortfolge wird basierend auf den mehreren Wörtern erzeugt und zeigt eine relative zeitliche Beziehung der in der Wortfolge enthaltenen Wörter. Die Wortfolge gibt beispielsweise an, dass die Wörter „Mittagessen”, „heute”, „gegen zwölf” vor den Wörtern „Geht” und „nicht” empfangen wurden. Die zeitliche Beziehung der Wörter gibt zeitliche Informationen in Zusammenhang mit mehreren Nachrichten in den unstrukturierten natürlichen Sprachinformationen an. Die Zeitbeziehung der Wörter „Mittagessen”, „heute”, „gegen zwölf”, „Geht” und „nicht” zeigt an, dass die Textnachricht 904 (die die Worte „Mittagessen”, „heute”, „gegen zwölf” enthält) vor der Textnachricht 908 empfangen wurde (die die Worte „Geht” und „nicht” enthält). In einigen Beispielen werden die zeitlichen Informationen dazu verwendet, die Genauigkeit bei der Bestimmung, ob Ereignisinformationen vorliegen und/oder ob eine Vereinbarung eines Ereignisses vorliegt, zu verbessern. Durch Einbinden der Zeitinformationen berücksichtigt das erste Netzwerk 920 die zeitlichen Abhängigkeiten der Textnachrichten 904 und 908 bei der Bestimmung, ob Ereignisinformationen vorliegen und/oder ob eine Vereinbarung eines Ereignisses vorliegt. In diesem Beispiel beinhaltet Textnachricht 908 (die die Wörter „Geht” und „nicht” enthält) eine Ablehnung des Vorschlags, der in Textnachricht 904 enthalten ist (die die Worte „Mittagessen”, „heute”, „gegen zwölf” enthält).
In einigen Beispielen beinhalten die Eingabeeinheiten 954 mehrere Tokens, die auf der Basis der unstrukturierten natürlichen Sprachinformationen erhalten wird. Die mehren Tokens stellen beispielsweise Datums- und Uhrzeitinformationen und/oder Entitäten dar, die basierend auf einem Namens-Entitätsvokabular erkannt wurden. Wie beispielsweise in 9A dargestellt beinhalten die unstrukturierten natürlichen Sprachinformationen Datums- und Zeitinformationen wie „heute”, „12:30” und „13:00 Uhr”. In einigen Beispielen erzeugt Ereignisdaten-Erkennungsmodul 820 mehrere Tokens, die diese Datums- und Zeitinformationen darstellen. Als ein weiteres Beispiel können unstrukturierte natürliche Sprachinformationen Referenzen auf solche Entitäten beinhalten, wie „49ers”, „Giants, „Warriors” oder ähnliches. In einigen Beispielen erzeugt Ereignisdaten-Erkennungsmodul 820 mehrere Tokens, die diese Entitäten auf der Basis eines Namens-Entitätserkennungsvokabulars darstellen. Durch Verwendung des Vokabulars können ein oder mehrerer Tokens (z. B. Basketball-Mannschaft in San Francisco) basierend auf der Erkennung erzeugt werden, dass die „Warriors” eine Basketball-Mannschaft in San Francisco sind.
Bezugnehmend auf 9B und 9C stellt in einigen Beispielen jede Eingabeeinheit 954 ein Wort oder Token dar. Als Ergebnis stellen die mehreren Eingabeeinheiten 954 eine oder mehrere Wortfolgen und/oder ein oder mehrere Tokens dar. Wie in 9B und 9C dargestellt wird in einigen Beispielen eine Eingabeeinheit 954 als Vektor mit der Dimension Nx1 dargestellt. Als Ergebnis kann jede Eingabeeinheit (z. B. die aktuelle Eingabeeinheit x(t)) die Kodierung 1-von-N besitzen. In einigen Beispielen steht N für die Gesamtzahl an Worten und Tokens innerhalb eines Vokabulars, das zur Bestimmung konfiguriert ist, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorliegen. Das Vokabular beinhaltet beispielsweise eine Sammlung von Worten oder Tokens, die als mit Ereignisinformationen verbunden bekannt sind.
In einigen Beispielen beinhaltet oder empfängt Eingabeeinheit 950 mehrere vorhergehende Einheiten für den ersten Kontext 952. Eine vorhergehende Einheiten für den ersten Kontext 952 (z. B. h(t – 1)) eine interne Darstellung des Kontexts auf einem oder mehreren Ausgabewerten eines vorhergehenden Zeitschritts der ausgeblendeten Ebene 940. Wie in 9B und 9C dargestellt ist eine vorhergehende Einheit für den ersten Kontext 952 (z. B. h(t – 1)) enthalten oder wird an Eingabeebene 950 empfangen. In einigen Beispielen werden eine vorhergehende Einheit für den ersten Kontext 952 und eine aktuelle Eingabeeinheit 954 (z. B. x(t)) bei der Erstellung einer aktuellen Einheit für den ersten Kontext 942 (z. B. h(t)) verwendet. Wie in 9C dargestellt wird eine Einheit für den ersten Kontext 942B (z. B. h(2)) basierend auf einer Eingabeeinheit 954E (z. B. x(2)) und einer vorhergehenden Einheit für den ersten Kontext 942A (z. B. h(1)) erzeugt. Wie in 9B dargestellt werden vorhergehende Einheiten für den ersten Kontext 952 von der ausgeblendeten Ebene 940 für Eingabeebene 940 über eine oder mehrere rekurrente Verbindungen 943 bereitgestellt (z. B. die rekurrenten Verbindungen 943A, 943B).
Wie beschrieben beinhaltet oder empfängt Eingabeeinheit 940 mehrere vorhergehende Einheiten für den ersten Kontext 942. In einigen Beispielen wird die Einheit für den ersten Kontext 942 (z. B. h(t)) als Vektor mit der Dimension Hx1 dargestellt. In einem uni-direktionalen RNN wie einem erstem Netzwerk 920 beinhaltet die Erstellung der Einheiten für den ersten Kontext 942 beispielsweise die Gewichtung einer aktuellen Eingabeeinheit mithilfe einer ersten Gewichtungsmatrix, die Gewichtung einer vorhergehenden Einheit für den ersten Kontext mittels einer zweiten Gewichtungsmatrix und die Bestimmung einer aktuellen Einheit für den ersten Kontext, basierend auf der Gewichtung der aktuellen Eingabeeinheit und er Gewichtung der vorangehenden Einheit für den ersten Kontext. Wie in 9B und 9C dargestellt wird in einigen Beispielen eine aktuelle Einheit für den ersten Kontext 942 (z. B. h(t)) gemäß der nachstehenden Formel (1) erzeugt. h(t) = F{X·x(t) + W·h(t – 1)} (1)
In Formel (1) steht x(t) für eine aktuelle Eingabeeinheit 954; h(t – 1) steht für eine vorhergehende Einheit für den ersten Kontext 952; h(t) steht für aktuelle Einheit für den ersten Kontext 942; X steht für eine erste Gewichtungsmatrix mit der Dimension H × N; W steht für eine zweite Gewichtungsmatrix mit der Dimension H × H. In einigen Ausführungsformen bezeichnet F{} eine Aktivierungsfunktion, wie ein Sigmoid, eine hyperbolische Tangente, eine rektifizierte lineare Einheit, eine damit verbundene Funktion oder ein Kombination des Vorstehenden. Die aktuelle Einheit für den ersten Kontext 942 (z. B. h(t)) ist indikativ für einen Zustand eines ersten Netzwerks 920 und hat die Dimension Hx1.
Wie in 9B und 9C dargestellten beinhaltet in einigen Beispielen das erste Netzwerk 920 eine Ausgabeebene 930. Ausgabeebene 930 beinhaltet mehrere Ausgabe-Kennzeichnungseinheiten 932 (z. B. z(t)) und eine Ereignistyp-Ausgabe der ersten Ebene 934 (z. B. q). In einigen Ausführungsformen werden die Ausgabe-Kennzeichnungseinheiten 932 und die Ereignistyp-Ausgabe der ersten Ebene 934 auf der Basis der Einheiten für den ersten Kontext 942 erzeugt. Die Erstellung der Ausgabe-Kennzeichnungseinheiten 932 beinhaltet beispielsweise die Gewichtung einer aktuellen Einheit für den ersten Kontext 942 mithilfe einer fünften Gewichtungsmatrix und die Bestimmung einer aktuellen Ausgabe-Kennzeichnungseinheiten 932, basierend auf der Gewichtung der aktuellen Einheit für den ersten Kontext 942. Wie in 9B und 9C dargestellt wird in einigen Beispielen eine aktuelle Ausgabe-Kennzeichnungseinheit 932 (z. B. z(t)) gemäß der nachstehenden Formel (2) erzeugt. z(t) = G{Z·h(t)} (2)
In Formel (2) steht h(t) für eine Einheit für den ersten Kontext 942; Z steht für eine fünfte Gewichtungsmatrix; und G steht für eine Funktion wie eine Softmax-Aktivierungsfunktion. In einigen Beispielen hat jede der Ausgabe-Kennzeichnungseinheiten eine Kodierung 1-von-K, wobei K für eine Anzahl an Polaritäten eines vorbestimmten Polaritätssatzes steht. Jede Ausgabe-Kennzeichnungseinheit 932 (z. B. z(1), z(2), ...z(T)) ist beispielsweise mit einer Polarität eines Vorschlags, einer Ablehnung, einer Akzeptanz oder eines Nicht-Ereignisses verbunden. Dementsprechend ist K in diesem Beispiel gleich 4 und die Ausgabe-Kennzeichnungseinheit 932 hat eine 1-von-4-Kodierung. In einigen Beispielen entspricht jede Ausgabe-Kennzeichnungseinheit 932 einer Eingabeeinheit 954 und jede Eingabeeinheit 954 beinhaltet ein Wort in einer Wortfolge oder ein Token, das aus den unstrukturierten natürlichen Sprachinformationen erhalten wird. Demzufolge stellen die mit der Ausgabe-Kennzeichnungseinheit 932 verbundenen Polaritäten eine oder mehrere Polaritäten dar, die mit den unstrukturierten natürlichen Sprachinformationen verbunden sind. In einigen Beispielen beinhaltet Ausgabeebene 930, wie in 9B und 9C dargestellt, eine Ereignistyp-Ausgabe der ersten Ebene 934 (z. B. q), die einen Ereignistyp der ersten Ebene darstellt. Die Ereignistyp-Ausgabe der ersten Ebene 934 ist nachstehend genauer beschriebenen.
Wie oben beschrieben können unstrukturierte natürliche Sprachinformationen wahlweise dynamisch aktualisiert werden. Die unstrukturierten natürlichen Sprachinformationen beinhalten beispielsweise mehrere elektronische Nachrichten, die die gesamte Kommunikation zwischen zwei Nutzern darstellen und nicht dynamisch aktualisiert werden. 10A zeigt eine beispielhafte Benutzerschnittstelle 1000, die mehrere elektronische Nachrichten anzeigt. Bezugnehmend auf 8, 10A und 10B stellen die mehreren elektronischen Nachrichten, die auf der Benutzerschnittstelle 1000 angezeigt werden, die gesamte Kommunikation zwischen einem ersten Nutzer und einem zweiten Nutzer dar. Die Kommunikation kann beispielsweise mehrere elektronische Nachrichten zwischen den beiden Nutzern zur Arrrangierung eines Ereignisses beinhalten. Wie in 10A dargestellt beinhaltet der Textkörper der elektronischen Nachricht 1010 eine anfänglichen elektronische Nachricht, die von einem ersten Nutzer gesendet wird (z. B. „Heute Mittagessen im Caffe Macs? Gegen zwölf”?), eine zweite elektronische Nachricht, die von einem zweiten Nutzer als Reaktion auf die erste anfängliche Nachricht gesendet wird (z. B. „Geht nicht, habe ein Meeting bis 12:30...”), eine dritte elektronische Nachricht, die vom ersten Nutzer als Reaktion auf die zweite E-Mail des zweiten Nutzers gesendet wird (z. B. „Hmm, verrückt um 12:30. Wie wär's mit 13:00 Uhr?”), und dann eine vierte elektronische Nachricht, die vom zweiten Nutzer als Reaktion auf die dritte E-Mail des ersten Nutzers gesendet wird (z. B. „Klingt gut. Bis dann!”). In diesem Beispiel beinhaltet der Textkörper der elektronischen Nachricht 1010 die gesamte Kommunikation zwischen dem ersten Nutzer und dem zweiten Nutzer zum Arrangieren des Ereignisses (z. B. ein Mittagessen) und wird nicht dynamisch aktualisiert.
In einigen Beispielen kann Ereignisdaten-Erkennungsmodul 820, wenn die unstrukturierten natürlichen Sprachinformationen (z. B. der Textkörper der elektronischen Nachricht 1010) nicht dynamisch aktualisiert werden, mithilfe eines ersten Netzwerks 920 implementiert werden, das oben beschrieben ist, oder mittels eines zweiten Netzwerks 1020, das in 10B oder 10C dargestellt ist. In einigen Beispielen ist das zweite Netzwerk 1020 ein neuronales Netz, wie ein bi-direktionales rekurrentes neuronales Netz (RNN). In einigen Beispielen ist das zweite Netzwerk 1020 ein RNN, das mit ausgeblendeten Knoten des Long Short-Term Memory (LSTM) implementiert wird. 10B und 10C veranschaulichen ein beispielhaftes zweites Netzwerk 1020 zur Ereigniserkennung und -klassifizierung gemäß verschiedenen Beispielen. 10B ist eine kompakte Darstellung des zweiten Netzwerks 1020 und 10C ist eine äquivalente Darstellung des ersten Netzwerks mit offen gelegter Zeit. Die Eingabeeinheiten 1054 (e. g., x(t)) in 10B sind beispielsweise offen gelegt als Eingabeeinheiten 1054A-T (z. B. x(1), x(2), ... x(T)) in 10C. Auf ähnliche Weise werden die Einheiten für den ersten Kontext 1042 (z. B. h(t)) in 10B offen gelegt als Eingabeeinheiten 1042A-T (z. B. h(1), h(2), ... h(T)) in 10C. Die Einheiten für den zweiten Kontext 1044 (z. B. g(t)) in 10B werden offen gelegt als Eingabeeinheiten 1044A-T (z. B. g(1), g(2), ... g(T)) in 10C. Und die Ausgabeeinheiten 1032 (z. B. Z(t)) in 10B werden offen gelegt als Ausgabe-Kennzeichnungseinheiten 1032A-T (z. B., Z(1), Z(2), ... Z(T)) in 10C. In den Beispielen in 10B und 10C steht „t” für die Zeit und steht in einzelnen Zeitschritten wie 1, 2 ... T. 10B und 10C werden nachfolgend gemeinsam beschrieben.
Bezugnehmend auf 8, 10B und 10C beinhalten in einigen Ausführungsformen das zweite Netzwerk 1020 mehrere Ebenen wie eine Eingabeebene 1050 oder mehrere ausgeblendete Ebenen 1040 und eine Ausgabeebene 1030. In diesem Beispiel beinhaltet das zweite Netzwerk 1020 eine einzelne ausgeblendete Ebene 1040. In einigen Ausführungsformen erzeugt das Ereignisdaten-Erkennungsmodul 820 zur Bestimmung einer oder mehrerer Polaritäten in Verbindung mit den unstrukturierten natürlichen Sprachinformationen (z. B. den Textkörper einer elektronischen Nachricht 1010, wie in 10A dargestellt) eine Eingabeebene 1050, basierend auf den unstrukturierten natürlichen Sprachinformationen; es erzeugt eine ausgeblendete Ebene 1040, basierend auf der Eingabeebene 1050; und es erzeugt eine Ausgabeebene 1030, basierend auf der ausgeblendeten Ebene 1040.
Ähnlich der Eingabeebene 950 des ersten Netzwerks 920 beinhaltet Eingabeebene 1050 des zweiten Netzwerks 1020 mehrere Eingabeeinheiten 1054z. B. x(t)). Jede Eingabeeinheit 1054 (z. B. x(1), x(2)) stellt ein Wort oder Token dar, das von den unstrukturierten natürlichen Sprachinformationen erhalten wird (z. B. den (z. B. den Textkörper einer elektronischen Nachricht 1010, wie in 10A dargestellt). Eine Eingabeeinheit 1054 wird als Vektor mit der Dimension N × 1 dargestellt. Als Ergebnis kann jede Eingabeeinheit (z. B. die aktuelle Eingabeeinheit x(t)) die Kodierung 1-von-N besitzen. Die ausgeblendete Ebene 1050 beinhaltet in einigen Beispielen mehrere vorhergehende Einheiten für den ersten Kontext 1052 (z. B. h(t – 1)). Ähnlich der oben beschriebenen vorhergehenden Einheit für den ersten Kontext 952 beinhaltet eine vorangehende Einheit für den ersten Kontext 1052 (z. B. h(t – 1)) eine interne Darstellung des Kontextes aus einem oder mehreren Ausgabewerten eines vorhergehenden Zeitschritts der ausgeblendeten Ebene 1040. Wie in 10B und 10C dargestellt werden in einigen Beispielen eine vorhergehende Einheit für den ersten Kontext 1052 (z. B. h(t – 1)) und eine aktuelle Eingabeeinheit 1054 (z. B. x(t)) bei der Erstellung einer aktuellen Einheit für den ersten Kontext 1042 (z. B. h(t)) verwendet. Vorhergehende Einheiten für den ersten Kontext 1052 werden von der ausgeblendeten Ebene 1040 für Eingabeebene 1050 über eine oder mehrere rekurrente Verbindungen 1043 bereitgestellt (z. B. die rekurrenten Verbindungen 1043A, 1043B). In einigen Beispielen wird eine Einheit für den ersten Kontext 1042 (z. B. h(t)) wie oben beschrieben gemäß Formel (1) (d. h. h(t) = F{X·x(t) + W·h(t – 1))) generiert.
Wie in 10B und 10C dargestellt beinhaltet oder empfängt die Eingabeebene 1050 in einigen Beispielen auch mehrerer der folgenden Einheiten für den zweiten Kontext 1056. Eine folgende Einheit für den zweiten Kontext 1056 (z. B. g(t + 1)) beinhaltet eine interne Darstellung des Kontextes aus einem oder mehreren Ausgabewerten eines vorhergehenden Zeitschritts (z. B. eines zukünftigen Zeitschritts) der ausgeblendeten Ebene 1040. Wie in 10B und 10C dargestellt werden in einigen Beispielen eine folgende Einheit für den zweiten Kontext 1056 (z. B. g(t + 1)) und eine aktuelle Eingabeeinheit 1054 (z. B. x(t)) bei der Erstellung einer aktuellen Einheit für den zweiten Kontext 1044 (z. B. g(t)) verwendet. Wie in 10C dargestellt wird eine Einheit für den zweiten Kontext 1044A (z. B. g(1)) basierend auf einer aktuellen Eingabeeinheit 1054A (z. B. x(1)) und einer folgenden Einheit für den zweiten Kontext 1044B (z. B. g(2)) erzeugt. Wie in 10B und 10C dargestellt werden folgende Einheiten für den zweiten Kontext 1056 von der ausgeblendeten Ebene 1040 für Eingabeebene 1050 über eine oder mehrere zweite rekurrente Verbindungen 1045 bereitgestellt (z. B. die rekurrenten Verbindungen 1045A, 1045B).
Wie beschrieben beinhaltet oder empfängt Eingabeeinheit 1040 mehrere vorhergehende Einheiten für den zweiten Kontext 1044. In einigen Beispielen wird die Einheit für den zweiten Kontext 1044 (z. B. g(t)) als Vektor mit der Dimension Hx1 dargestellt. In einem bi-direktionalen RNN wie einem zweiten Netzwerk 1020 beinhaltet die Erstellung der Einheiten für den zweiten Kontext 1044 beispielsweise die Gewichtung einer aktuellen Eingabeeinheit mithilfe einer dritten Gewichtungsmatrix, die Gewichtung einer folgenden Einheit für den zweiten Kontext mittels einer vierten Gewichtungsmatrix und die Bestimmung einer aktuellen Einheit für den zweiten Kontext, basierend auf der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der folgenden Einheit für den zweiten Kontext. Wie in 10B und 10C dargestellt wird in einigen Beispielen eine aktuelle Einheit für den zweiten Kontext 1044 (z. B. g(t)) gemäß der nachstehenden Formel (3) erzeugt. g(t) = F{Y·x(t) + V·g(t + 1)} (3)
In Formel (3) steht x(t) für eine aktuelle Eingabeeinheit 1054; g(t + 1) steht für eine folgende Einheit für den zweiten Kontext 1056; g(t) steht für aktuelle Einheit für den zweiten Kontext 1044; X steht für eine dritte Gewichtungsmatrix mit der Dimension H × N; W steht für eine vierte Gewichtungsmatrix mit der Dimension H × H. In einigen Ausführungsformen bezeichnet F{} eine Aktivierungsfunktion, wie ein Sigmoid, eine hyperbolische Tangente, eine rektifizierte lineare Einheit, eine damit verbundene Funktion oder ein Kombination des Vorstehenden.
Wie in 10B und 10C dargestellt beinhaltet in einigen Beispielen das zweite Netzwerk 1020 eine Ausgabeebene 1030. Ausgabeebene 1030 beinhaltet mehrere Ausgabe-Kennzeichnungseinheiten 1032 (z. B. z(t)) und eine Ereignistyp-Ausgabe der ersten Ebene 1034 (z. B. q). In einigen Ausführungsformen werden die Ausgabe-Kennzeichnungseinheiten 1032 und die Ereignistyp-Ausgabe der ersten Ebene 1034 auf der Basis der Einheiten für den ersten Kontext 1042 und der Einheiten für den zweiten Kontext 1044 erzeugt. Das Erzeugen der aktuellen Ausgabe-Kennzeichnungseinheiten 1032 beinhaltet das Abrufen eines aktuellen Status auf der Basis der Einheit für den ersten Kontext und einer aktuellen Einheit für den zweiten Kontext; die Gewichtung des aktuellen Status mithilfe einer sechsten Gewichtungsmatrix und die Bestimmung der aktuellen Ausgabe-Kennzeichnungseinheit basierend auf der Gewichtung des aktuellen Status. Der aktuelle Status ist beispielsweise indikativ für den Zustand eines zweiten Netzwerks 1020 und hat die Dimension 2H. Wie in 10B und 10C dargestellt wird der aktuelle Status (z. B. s(t)) in einigen Beispielen durch Verkettung einer aktuellen Einheit für den ersten Kontext (z. B. h(t)) und einer Einheit für den zweiten Kontext (z. B. g(t)) erhalten, wie in Formel 4 unten angegeben. s(t) = [h(t)g(t)] (4)
In Formel (4) steht s(t) für den aktuellen Status des zweiten Netzwerks 1020; h(t) steht für die aktuelle Einheit für den ersten Kontext 1042; und g(t) steht für die aktuelle Einheit für den zweiten Kontext 1044.
In einigen Ausführungsformen wird eine aktuelle Ausgabe-Kennzeichnungseinheit 1032 (z. B. z(t)) der Ausgabeebene 1030 gemäß Formel (5) unten generiert. z(t) = G{Z·s(t)} (5)
In Formel (5) steht s(t) für den aktuellen Status eines zweiten Netzwerks 1020; Z steht für eine sechste Gewichtungsmatrix; und G steht für eine Funktion wie eine Softmax-Aktivierungsfunktion. In einigen Beispielen hat jede der Ausgabe-Kennzeichnungseinheiten 1032 eine Kodierung 1-von-K, wobei K für eine Anzahl an Polaritäten eines vorbestimmten Polaritätssatzes steht. Jede Ausgabe-Kennzeichnungseinheit 1032 (z. B. z(1), z(2), ...z(T)) ist beispielsweise mit einer Polarität eines Vorschlags, einer Ablehnung, einer Akzeptanz oder eines Nicht-Ereignisses verbunden. Entsprechend ist K in diesem Beispiel gleich 4. In einigen Beispielen entspricht jede Ausgabe-Kennzeichnungseinheit 1032 einer Eingabeeinheit 1054 und jede Eingabeeinheit 1054 beinhaltet ein Wort in einer Wortfolge oder ein Token, das aus den unstrukturierten natürlichen Sprachinformationen erhalten wird. Demzufolge stellen die mit der Ausgabe-Kennzeichnungseinheit 1032 verbundenen Polaritäten die Polaritäten dar, die mit den unstrukturierten natürlichen Sprachinformationen verbunden sind. In den 10B und 10C stellt eine Ereignistyp-Ausgabe der ersten Ebene 1034 (z. B. q) einen Ereignistyp der ersten Ebene dar und wird nachstehend genauer beschriebenen.
Bezugnehmend auf 8, 9A–9C und 10A–10C legt in einigen Ausführungsformen nach der Feststellung einer oder mehrerer Polaritäten, die mit unstrukturierten natürlichen Sprachinformationen verbunden sind, das Ereignisdaten-Erkennungsmodul 820 auf der Basis der einen oder mehreren Polaritäten fest, ob Ereignisinformationen vorliegen. In einigen Ausführungsformen bestimmt Ereignisdaten-Erkennungsmodul 820, ob die eine oder mehreren Polaritäten, die mit den Ausgabe-Kennzeichnungseinheiten 932 oder 1032 verbunden sind, mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten. Gemäß einer Feststellung, dass die eine oder mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten, stellt das Ereignisdaten-Erkennungsmodul 820 eine Wahrscheinlichkeit fest, die mit mindestens diesem Vorschlag, dieser Ablehnung oder Akzeptanz verknüpft ist; dann stellt es fest, ob diese Wahrscheinlichkeit einen ersten Wahrscheinlichkeits-Schwellenwert erfüllt. Gemäß einer Feststellung, dass die Wahrscheinlichkeit den ersten Wahrscheinlichkeits-Schwellwert erfüllt, stellt das Ereignisdaten-Erkennungsmodul 820 fest, dass Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorliegen.
Wie in 8, 9A und 10A dargestellt beinhalten unstrukturierte natürliche Sprachinformationen mehrere Teile. Ein Teil der unstrukturierten natürlichen Sprachinformationen beinhaltet ein oder mehrere Wörtern und/oder Tokens und kann aus Wörtern, Sätzen, Abschnitten oder Nachrichten bestehen. Ein Teil kann beispielsweise eine Textnachricht, eine elektronische Nachricht oder ähnliches darstellen. Wie oben beschrieben stellt Ereignisdaten-Erkennungsmodul 820 in einigen Ausführungsformen für jedes der Wörter und/oder Tokens eine damit verbundene Polarität (z. B. einen Vorschlag, eine Ablehnung, Akzeptanz oder ein Nicht-Ereignis) fest. In einigen Beispielen stellt Ereignisdaten-Erkennungsmodul 820 zudem für jeden Teil der unstrukturierten natürlichen Sprachinformationen eine Wahrscheinlichkeit fest, dass der Teil der unstrukturierten natürlichen Sprachinformationen mit einer bestimmten Polarität verknüpft ist. Wie in 9A dargestellt beinhaltet Text 908 Wörter und Tokens wie „Geht nicht, habe ein Meeting bis 12:30...”). Jedes dieser Wörter und Tokens ist mit einer Polarität verbunden. Jedes der Worte „Geht nicht” ist beispielsweise mit einer Ablehnungspolarität verbunden; und jedes der Worte und Tokens „habe ein Meeting bis 12:30...” ist mit einer Ablehnungs- oder Vorschlagspolarität verbunden. Basierend auf den Polaritäten der Wörter und Tokens in Textnachricht 908 stellt Ereignisdaten-Erkennungsmodul 820 die Wahrscheinlichkeit fest, dass Textnachricht 908 mit einer bestimmten Polarität verbunden ist. Ereignisdaten-Erkennungsmodul 820 stellt beispielsweise fest, dass Textnachricht 908 zu etwa 90% mit einer Ablehnungspolarität verbunden ist, die Wahrscheinlichkeit, dass Textnachricht 908 mit einer Vorschlagspolarität verbunden ist, liegt bei etwa 20% und die Wahrscheinlichkeit, dass Textnachricht 908 mit einer Akzeptanz- oder Nicht-Ereignis-Polarität verbunden ist, liegt bei etwa 0%. In einigen Beispielen vergleicht Ereignisdaten-Erkennungsmodul 820 die Wahrscheinlichkeiten mit einem ersten Wahrscheinlichkeitsschwellwert (z. B. 50%) und stellt fest, dass die Wahrscheinlichkeit, dass Textnachricht 908 eine Ablehnung ist, den ersten Wahrscheinlichkeitsschwellwert erfüllt. Dementsprechend stellt Ereignisdaten-Erkennungsmodul 820 fest, dass Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorliegen. In einigen Beispielen ist die mit mindestens einem Teil der unstrukturierten natürlichen Sprachinformationen eine Wahrscheinlichkeitsverteilung.
In einigen Ausführungsformen beinhalten die unstrukturierten natürlichen Sprachinformationen eine gesamte Kommunikation zwischen zwei Nutzern (z. B. mehrere Textnachrichten, wie in 9A und 10A dargestellt). Es ist davon auszugehen, dass die unstrukturierten natürlichen Sprachinformationen auch Kommunikationen zwischen mehreren Nutzern über eine Zeitspanne beinhalten können. Die Kommunikationen können beispielsweise Nachrichten beinhalten, die die Nutzer in den letzten Minuten, Stunden, Tagen, Wochen, Monaten oder Jahren ausgetauscht haben. Es ist ebenfalls davon auszugehen, dass ein uni-direktionales RNN (z. B. das erste Netzwerk 920) oder ein bi-direktionales RNN (z. B. das zweite Netzwerk 1020) verwendet werden können um festzustellen, ob Ereignisinformationen auf der Basis unstrukturierter natürlicher Sprachinformationen vorlegen. Die RNNs können beispielsweise für unstrukturierte natürliche Sprachinformationen verwendet werden, die eine Zeitspanne mit einer Anzahl Minuten, Stunden, Tagen, Wochen, Monate oder Jahre aufweisen.
Bezugnehmend auf 8 beinhaltet in einigen Ausführungsformen gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, dass ein Ereignis-Vereinbarungserkennungsmodul 840 feststellt, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist. In einigen Beispielen stellt Ereignis-Vereinbarungserkennungsmodul 840 fest, ob die eine oder mehreren mit mindestens einem Teil der unstrukturierten natürlichen Sprachinformationen verknüpften Polaritäten eine Akzeptanz beinhalten. Gemäß einer Feststellung, dass die eine oder mehreren Polaritäten eine Akzeptanz beinhalten, stellt das Ereignis-Vereinbarungserkennungsmodul 840 eine Wahrscheinlichkeit fest, die mit mindestens dieser Akzeptanz verknüpft ist; dann stellt es fest, ob diese Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellenwert erfüllt. Gemäß einer Feststellung, dass die Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellwert erfüllt, stellt das Ereignis-Vereinbarungserkennungsmodul 840 fest, dass eine Vereinbarung zu einem Ereignis vorliegt.
Wie in einigen Beispielen beschrieben stellt Ereignis-Vereinbarungserkennungsmodul 820 eine oder mehrere Wahrscheinlichkeiten fest, die mit mindestens einem Teil der unstrukturierten natürlichen Sprachinformationen (z. B. einem Wort, einem Satz, einem Abschnitt, einer Nachricht) verknüpft sind. Wie in 10A dargestellt beinhaltet der Textkörper der elektronischen Nachricht 1010 beispielsweise einen Satz wie „Klingt gut. Bis dann!” Jedes dieser Wörter im Satz ist mit einer Polarität verbunden. Wie beschrieben wird die mit einem Wort verknüpfte Polarität durch Berücksichtigung des Kontextes (z. B. der vorhergehenden Wörter und/oder der folgenden Wörter) bestimmt. In einigen Beispielen stellt Ereignis-Vereinbarungserkennungsmodul 840 fest, ob mindestens ein Teil (z. B. ein Wort, ein Satz, ein Abschnitt oder eine elektronische Nachricht) der unstrukturierten natürlichen Sprachinformationen mit einer Akzeptanzpolarität verbunden ist. Wenn mindestens ein Teil mit einer Akzeptanzpolarität verbunden ist, stellt Ereignis-Vereinbarungserkennungsmodul 840 die mit einer Akzeptanz verbundenen Wahrscheinlichkeit fest und bestimmt, ob eine Vereinbarung vorliegt. Ereignis-Vereinbarungserkennungsmodul 840 stellt beispielsweise die Wahrscheinlichkeit von 90% fest, dass der Satz „Klingt gut. Bis dann!” mit einer Akzeptanzpolarität verbunden ist. Das Ereignis-Vereinbarungserkennungsmodul 840 vergleicht die Wahrscheinlichkeit von 90% mit einem zweiten Wahrscheinlichkeits-Schwellwert (z. B. 50%) und stellt fest, dass die mit einer Akzeptanz verknüpften Wahrscheinlichkeit den zweiten Wahrscheinlichkeits-Schwellwert erfüllt. Dementsprechend stellt das Ereignis-Vereinbarungserkennungsmodul 840 fest, dass eine Ereignisvereinbarung in den unstrukturierten natürlichen Sprachinformationen vorliegt. In einigen Beispielen ist die mit mindestens einem Teil der unstrukturierten natürlichen Sprachinformationen eine Wahrscheinlichkeitsverteilung.
In einigen weiteren Ausführungsformen lassen sich der erste und/oder der zweite Wahrscheinlichkeits-Schwellwert auf der Basis benutzerspezifischer Daten, historischer Daten oder anderer Daten oder Kriterien konfigurieren. In einigen Ausführungsformen kann mindestens ein Wahrscheinlichkeits-Schwellwert basierend auf den Benutzerpräferenzen angepasst werden. Ein Nutzer kann beispielsweise den Wahrscheinlichkeits-Schwellwert höher als den Standardwert einstellen, wenn dieser Nutzer keine Ereignisbeschreibungen (nachfolgend beschrieben) erhalten möchte, solange kein hoher Grad an Sicherheit vorliegt, dass Ereignisinformationen und/oder eine Vereinbarung in den unstrukturierten natürlichen Sprachinformationen vorliegen. Nutzer, die lieber mehr Ereignisbeschreibungen erhalten möchten und sich keine Sorgen über falsche Positivmeldungen machen, können den Schwellwert niedriger konfigurieren.
Bezugnehmend auf 8 stellt in einigen Ausführungsformen gemäß der Feststellung, dass eine Vereinbarung zu einem Ereignis vorliegt, ein Ereignistyp-Erkennungsmodul 860 einen Ereignistyp des Ereignisses fest. Ein Ereignistyp stellt eine Kategorie oder Unterkategorie des Ereignisses dar. Um eine akkurate Ereignisbeschreibung zu liefern, ist eine akkurate Bestimmung des Ereignistyps gewünscht und wichtig. In einigen Ausführungsformen basiert die Feststellung des Ereignistyps auf einer hierarchischen Klassifizierung mithilfe einer natürlichen Sprachereignis-Ontologie.
11A–11H zeigt eine beispielhafte natürliche Sprachereignis-Ontologie 1100. In einigen Beispielen ist die natürliche Sprachereignis-Ontologie 1100 eine hierarchische Struktur mit mehreren Ebenen. Wie beispielsweise in 11A–11B dargestellt beinhaltet die natürliche Sprachereignis-Ontologie 1100 eine erste Ebene 1120 und eine zweite Ebene 1140. Jede Ebene beinhaltet mehrere Ereignistypknoten. Die Ereignistypknoten der zweiten Ebene 1140 sind untergeordnete Knoten der ersten Ebene 1120. Ein untergeordneter Knoten bezieht sich hierarchisch auf einen übergeordneten Knoten. Wie beispielsweise in 11A–11B dargestellt beinhaltet die natürliche Sprachereignis-Ontologie 1100 einen Stammknoten 1110, der ein übergeordneter Knoten mehrerer Ereignistypknoten der ersten Ebene ist, wie der Knoten 1122, 1124, 1126 und 1128. Die Ereignistypknoten der ersten Ebene 1122, 1124, 1126 und 1128 sind untergeordnete Knoten des Stammknotens 1110. In einigen Ausführungsformen stellen die Ereignistypknoten der ersten Ebene 1122, 1124, 1126 und 1128 eine grobe Klassifizierung des Ereignistyps dar. Auf der ersten Ebene 1120 werden Ereignisse beispielsweise grob als Versammlung, Unterhaltung, Termin und Arrangement klassifiziert. Dementsprechend beinhaltet die erste ebene 1120 einen Versammlungs-Ereignistypknoten 1122, einen Unterhaltungs-Ereignistypknoten 1124, einen Termin-Ereignistypknoten 1126 und einen Arrangement-Ereignistypknoten 1128.
Wie beschrieben beinhaltet die natürliche Sprachereignis-Ontologie 1100 eine zweite Ebene 1140. In einigen Ausführungsformen ist auf der zweiten Ebene 1140 jeder Ereignistypknoten ein untergeordneter Knoten eines entsprechenden Ereignistypknotens der ersten Ebene. Die Ereignistypknoten der zweiten Ebene stellen eine feinere Klassifizierung eines Ereignistyps dar als die Ereignistypknoten der ersten Ebene. Ein Versammlungs-Ereignistypknoten kann beispielsweise weiter klassifiziert werden als Ereignistypen der zweiten Ebene enthaltend, wie Mahlzeiten, Party, Getränke, Zeremonie, Versammlung, Ausflug, Jahrestag oder ähnliches. Dementsprechend ist Ereignistypknoten 1122 der ersten Ebene 1120 ein übergeordneter Knoten eines Mahlzeiten-Ereignistypknotens 1142A, eines Party-Ereignistypknotens 1142B, eines Getränke-Ereignistypknotens 1142C, eines Zeremonie-Ereignistypknotens 1142D, eines Versammlungs-Ereignistypknotens 1142E, eines Ausflug-Ereignistypknotens 1142F und eines Jahrestag-Ereignistypknotens 1142G. Wie in 11A–11B dargestellt wird die hierarchische Beziehung zwischen einem Ereignistypknoten der ersten Ebene (z. B. Versammlungs-Ereignistypknoten 1122) und mehreren Ereignistypknoten der zweiten Ebene (z. B. die Ereignistypknoten der zweiten Ebene 1142A–G) durch direktionale Verbindungen 1132 dargestellt (durchgehende Linien). Die Richtung einer Verbindung 1132 zeigt eine Parent-Child-Beziehung der Ereignistypknoten. Die Richtung der Verbindung 1132, die den Mahlzeiten-Ereignistypknoten 1142A und einen Versammlungs-Ereignistypknoten 1122 verbindet, zeigt an, dass Mahlzeiten-Ereignistypknoten 1142A ein untergeordneter Knoten ist, der zum Versammlungs-Ereignistypknoten 1122 gehört.
Wie in 11A–11B dargestellt kann auf ähnliche Wiese ein Unterhaltungs-Ereignistypknoten weiter klassifiziert werden, als beispielsweise Ereignistypknoten der zweiten Ebene wie Filme, Kultur, Park, Sport, Spiel, Wandern, Karaoke oder ähnliches beinhaltend. Dementsprechend ist Unterhaltungs-Ereignistypknoten 1124 der ersten Ebene 1120 ein übergeordneter Knoten mehrerer Ereignistypknoten der zweiten Ebene, die Ereignistypen der zweiten Ebene darstellen. Ein Termin-Ereignistypknoten kann weiter klassifiziert werden als beispielsweise ein Meeting, Gesundheit, Wellness, Schönheit, Friseur, Bildung, Vorstellungsgespräch oder ähnliches umfassend. Dementsprechend ist Termin-Ereignistypknoten 1126 der ersten Ebene 1120 ein übergeordneter Knoten mehrerer Ereignistypknoten der zweiten Ebene, die Ereignistypen der zweiten Ebene darstellen. Ein Arrangement-Ereignistypknoten kann weiter klassifiziert werden als beispielsweise Einkaufen, Abholen, Reise oder ähnliches umfassend. Dementsprechend ist Arrangement-Ereignistypknoten 1128 der ersten Ebene 1120 ein übergeordneter Knoten mehrerer Ereignistypknoten der zweiten Ebene, die Ereignistypen der zweiten Ebene darstellen. Es ist davon auszugehen, dass eine natürliche Sprachereignis-Ontologie 1100 jede gewünschte Anzahl an Ebenen umfassen kann und dass jede Ebene eine gewünschte Anzahl an Ereignistypknoten haben kann.
In einigen Beispielen ist mindestens ein Ereignistypknoten mit einer Prioritätsregel verbunden. Eine Prioritätsregel zeigt eine relative Priorität für einen Ereignistypknoten mit Bezug auf einen anderen Ereignistypknoten an. Wie in 11A–11B dargestellt sind die Ereignistypknoten der zweiten Ebene 1140 Mahlzeiten-Ereignistypknoten 1142A, Party-Ereignistypknoten 1142B, Getränke-Ereignistypknoten 1142C und Ausflug-Ereignistypknoten 1142F mit einer oder mehreren Prioritätsregeln verbunden. Die Prioritätsregeln werden durch direktionale Verbindungen 1143A-D (unterbrochene Linien) dargestellt. Die Richtung einer Verbindung 1143 zeigt eine relative Prioritätsebene zwischen zwei zugeordneten Ereignistypknoten an. Die Richtung der Verbindung 1143A vom Mahlzeiten-Ereignistypknoten 1142A zum Party-Ereignistypknoten 1142B zeigt an, dass Mahlzeiten-Ereignistypknoten 1142A eine geringere Priorität hat als Party-Ereignistypknoten 1142B. Auf ähnliche Weise hat Getränke-Ereignistypknoten 1142C eine geringere Priorität als Mahlzeiten-Ereignistypknoten 1142A. Wie nachfolgend detaillierter beschrieben beinhalten in einigen Beispielen unstrukturierte natürliche Sprachinformationen Ereignisinformationen, die mit mehr als einem Ereignistypknoten in der natürlichen Sprachereignis-Ontologie 1100 verbunden sind. Eine Prioritätsregel kann verwendet werden, um den Ereignistyp des Ereignisses zu bestimmen, basierend auf den mehreren Ereignistypknoten, die mit der Prioritätsregel verbunden sind. Wenn beispielsweise die unstrukturierten natürlichen Sprachinformationen Ereignisinformationen beinhalten (z. B. Pizza und Getränke zum Abendessen?), die sowohl mit Mahlzeiten-Ereignistypknoten 1142A als auch mit Getränke-Ereignistypknoten 1142C verbunden sind, kann die mit diesem beiden Ereignistypknoten verbundene Prioritätsregel zur Bestimmung des Ereignistyps des Ereignisses verwendet werden. Gemäß der in 11A gezeigten Prioritätsregel stellt Ereignistyp-Erkennungsmodul 860 fest, dass der Ereignistyp eine Mahlzeit ist, da Mahlzeiten-Ereignistypknoten 1142A eine höhere Priorität hat als Getränke-Ereignistypknoten 1142C.
In einigen Ausführungsformen ist mindestens ein Ereignistypknoten der natürlichen Sprachereignis-Ontologie 1100 ein Blattknoten. Ein Blattknoten bezieht sich nicht hierarchisch auf einen untergeordneten Knoten. Wie beispielsweise in 11A–11B dargestellt ist der Friseur-Ereignistypknoten 1146A und der Reise-Ereignistypknoten 1146B Blattknoten, was anzeigt, dass sie keine übergeordneten Knoten eines untergeordneten Knotens sind.
Wie in 11C–11G dargestellt beinhaltet die natürliche Sprachereignis-Ontologie 1100 in einigen Ausführungsformen eine oder mehrere höhere Ebenen 1160, die hierarchisch auf die zweite Ebene 1140 bezogen sind. Die Ereignistypknoten der einen oder mehreren höheren Ebenen 1160 sind untergeordnete Knoten der entsprechenden Ereignistypknoten der zweiten Ebene 1140. Wie in 11C dargestellt kann auf ähnliche Weise ein Mahlzeiten-Ereignistypknoten weiter klassifiziert werden, als beispielsweise Ereignistypen der dritten Ebene wie Frühstück, Brunch, Mittagessen, Snack, Eis, Mitbringparty, Grillen, Picknick, Abendessen oder ähnliches beinhaltend. Dementsprechend ist Mahlzeiten-Ereignistypknoten 1142A der zweiten Ebene 1140 ein übergeordneter Knoten mehrerer Ereignistypknoten der dritten Ebene, die Ereignistypen der dritten Ebene darstellen. In einigen Beispielen können ein oder mehrere Ereignistypen der dritten Ebene weiter klassifiziert werden als Ereignistypen einer höheren Ebene enthaltend. Als Beispiel kann ein Brunch-Ereignistyp als einen Geburtstags-Brunch enthaltend klassifiziert werden. Als ein weiteres Beispiel kann ein Mittagessen-Ereignistyp klassifiziert werden als ein Oster-Mittagessen, ein Weihnachts-Mittagessen, ein Erntedank-Mittagessen, ein Mannschafts-Mittagessen, ein Familien-Mittagessen, ein Geburtstags-Mittagessen oder ähnliches enthaltend. Als ein weiteres Beispiel kann ein Abendessen-Ereignistyp klassifiziert werden als ein Oster-Abendessen, ein Weihnachts-Abendessen, ein Erntedank-Abendessen, ein Mannschafts-Abendessen, ein Familien-Abendessen, ein Geburtstags-Abendessen, ein Film-Abendessen oder ähnliches enthaltend. Dementsprechend sind die Ereignistypknoten der dritten Ebene (z. B. Frühstücks-Ereignistypknoten, Brunch-Ereignistypknoten usw.) übergeordnete Knoten der jeweiligen Ereignistypknoten der höheren Ebene und stellen die Ereignistypen dieser höheren Ebene dar. In einigen Beispielen beinhalten die Ereignistypknoten der höheren Ebene einen oder mehrere Blattknoten (z. B. Oster-Mittagessen, Weihnachts-Mittagessen oder ähnliches). Wie in 11C dargestellt sind in Ereignistypknoten der dritten oder einer höheren Ebene mit einer Prioritätsregeln verbunden. Der Mittagessen-Ereignistypknoten und der Abendessen-Ereignistypknoten haben beispielsweise beide eine geringere Priorität als der Picknick-Ereignistypknoten.
Wie in 11D dargestellt kann der Jahrestag-Ereignistyp der zweiten Ebene 1140 weiter klassifiziert werden als Ereignistypen der dritten Ebene wie Geburtstag oder ähnliches. Ein Party-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Cocktail-Party, Geburtstagsparty, Abschluss, Pensionierung, Hauseinweihung, Halloween, Silvesterparty, Chinesisches Neujahr, Cinco de Mayo, Weihnachtsfeier, Maskenball, Babyparty, Brautparty, St. Patrick's Day, Diwali oder ähnliches. Ein Getränke-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Happy Hour, Kaffee, Tee, heiße Schokolade, Oktoberfest oder ähnliches. Ein Zeremonie-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Morgenzeremonie, Kommunion, Konfirmation, Taufe, Bar\Bat Mitzvah, Hochzeit oder ähnliches. Dementsprechend sind die Ereignistypknoten der zweiten Ebene (z. B. Jahrestag-Ereignistypknoten, Party-Ereignistypknoten, Getränke-Ereignistypknoten, Zeremonie-Ereignistypknoten) übergeordnete Knoten der jeweiligen Ereignistypknoten der dritten Ebene, wie in 11D dargestellt. In einigen Beispielen können ein oder mehrere Ereignistypen der dritten Ebene weiter klassifiziert werden als Ereignistypen einer höheren Ebene enthaltend. In einigen Ausführungsformen sind einige der Ereignistypknoten der dritten und vierten Ebene Blattknoten.
Bezugnehmend auf 11E und 11F kann ein Unterhaltungs-Ereignistypknoten weiter klassifiziert werden als beispielsweise Ereignistypknoten der zweiten Ebene wie Filme, Kultur, Park, Sport, Spiel, Karaoke, Wandern oder ähnliches beinhaltend. Dementsprechend ist Unterhaltungs-Ereignistypknoten 1124 der ersten Ebene 1120 ein übergeordneter Knoten der Ereignistypknoten der zweiten Ebene, die Ereignistypen der zweiten Ebene darstellen. In einer zweiten Ebene 1140 kann ein Film-Ereignistyp weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Kino und Abendessen. Ein Kultur-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Ausstellung, Theater, Konzert, Oper, Show, Festival oder ähnliches. Ein Park-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Freizeitpark, Wasserpark oder ähnliches. Ein Sport-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie American Football, Tennis, Laufen, Marathon, Fußball, Kricket, Hockey, Baseball, Basketball, Golf, Skateboarding, Snowboarding, Rugby, Yoga, Volleyball, Tischtennis, Basketball, Radfahren, Softball, Skifahren oder ähnliches. Ein Spiel-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Poker, Tischspiele, Bowling, Spieleabend, Videospiele oder ähnliches. Ein Karaoke-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie ein Karaokeabend. Dementsprechend sind die Ereignistypknoten der zweiten Ebene (z. B. Film-Ereignistypknoten, Kultur-Ereignistypknoten, Park-Ereignistypknoten, Sport-Ereignistypknoten, Spiele-Ereignistypknoten und Karaoke-Ereignistypknoten) übergeordnete Knoten der jeweiligen Ereignistypknoten der dritten Ebene, wie in 11D und 11F dargestellt. In einigen Beispielen können ein oder mehrere Ereignistypen der dritten Ebene weiter klassifiziert werden als Ereignistypen einer höheren Ebene enthaltend, wie in 11E und 11F dargestellt. In einigen Ausführungsformen sind einige der Ereignistypknoten der dritten und vierten Ebene Blattknoten.
Bezugnehmend auf 11G kann ein Termin-Ereignistypknoten weiter klassifiziert werden als beispielsweise untergeordnete Ereignistypen enthaltend wie Meeting, Gesundheit, Wellness, Schönheit, Bildung oder ähnliches. Dementsprechend ist Termin-Ereignistypknoten 1126 der ersten Ebene 1120 ein übergeordneter Knoten der Ereignistypknoten der zweiten Ebene, die Ereignistypen der zweiten Ebene darstellen. Auf einer zweiten Ebene 1140 kann der Meeting-Ereignistyp weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie 1:1-Meeting, Geschäftsmeeting oder ähnliches. Ein Gesundheit-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Zahnarzt, Hautarzt, Augenoptiker, Chiropraktiker oder ähnliches. Ein Wellness-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie SPA, Massage, Reflexzonenmassage, Ernährungsberatung, Akupunktur oder ähnliches. Ein Schönheit-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Maniküre, Pediküre oder ähnliches. Ein Bildungs-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Seminar, Konferenz, Workshop, Schulung, Unterricht, Rede, Kongress oder ähnliches. Dementsprechend sind Ereignistypknoten der zweiten Ebene (z. B. Vorstellungsgespräch, Meeting, Gesundheit, Wellness, Schönheit, Bildung) übergeordnete Knoten der jeweiligen Ereignistypknoten der dritten Ebene, wie in 11G dargestellt. In einigen Beispielen können ein oder mehrere Ereignistypen der dritten Ebene weiter klassifiziert werden als Ereignistypen einer höheren Ebene enthaltend. In einigen Ausführungsformen sind einige der Ereignistypknoten der dritten und vierten Ebene Blattknoten.
Bezugnehmend auf 11H kann ein Arrangement-Ereignistyp weiter klassifiziert werden als beispielsweise Ereignistypen der zweiten Ebene enthaltend, wie Einkaufen, Reise, Abholen oder ähnliches. Dementsprechend ist Arrangement-Ereignistypknoten 1128 der ersten Ebene 1120 ein übergeordneter Knoten der Ereignistypknoten der zweiten Ebene, die Ereignistypen der zweiten Ebene darstellen. Auf einer zweiten Ebene 1140 kann der Einkaufs-Ereignistyp weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Ausverkauf oder ähnliches. Ein Abhol-Ereignistyp kann weiter klassifiziert werden als Ereignistypen der dritten Ebene enthaltend, wie Konferenz oder ähnliches. Dementsprechend sind Ereignistypknoten der zweiten Ebene (z. B. Einkaufen, Reise und Abholung) übergeordnete Knoten der jeweiligen Ereignistypknoten der dritten Ebene, wie in 11H dargestellt. In einigen Beispielen können ein oder mehrere Ereignistypen der dritten Ebene weiter klassifiziert werden als Ereignistypen einer höheren Ebene enthaltend. In einigen Ausführungsformen sind einige der Ereignistypknoten der dritten und vierten Ebene Blattknoten.
Bezugnehmend auf 12A kann Ereignistyp-Erkennungsmodul 860 eines digitalen Assistenten in einigen Ausführungsformen den Ereignistyp mithilfe einer natürlichen Sprachereignis-Ontologie 1100 feststellen. In einigen Beispielen beinhaltet Ereignistyp-Erkennungsmodul 860 einen Ereignistyp-Klassifikator 1202 der ersten Ebene, einen Ereignistyp-Klassifikator 1204 der zweiten oder höherer Ebenen und einen Ereignistyp-Einsteller 1206. Im Betrieb legt beispielsweise der Ereignistyp-Klassifikator der ersten Ebene 1202 einen Ereignistyp der ersten Ebene fest, der mit dem Ereignis, basierend auf den unstrukturierten natürlichen Sprachinformationen, verbunden ist, und der Ereignistyp-Klassifikator 1204 der zweiten oder höherer Ebenen stellt den Ereignistyp basierend auf dem Ereignistyp der ersten Ebene fest.
Wie in 11A–11B dargestellt beinhaltet die erste Ebene 1120 der natürlichen Sprachereignis-Ontologie 1100 mehrere Ereignistypknoten der ersten Ebene, die den Versammlungs-Ereignistypknoten 1122, den Unterhaltung-Ereignistypknoten 1124, den Termin-Ereignistypknoten 1126 und den Arrangements-Ereignistypknoten 1128. Die Ereignistypknoten der ersten Ebene stellen eine grobe Klassifizierung der Ereignistypen dar. Dementsprechend beinhaltet in einigen Beispielen die Bestimmung des Ereignistypen der ersten Ebene auf die Feststellung, ob die Ereignisinformationen, die in den unstrukturierten natürlichen Sprachinformationen enthalten sind, einer der mehreren Ereignistypknoten der ersten Ebene entsprechen, die in der natürlichen Sprachereignis-Ontologie 1100 enthalten sind.
Bezugnehmend auf 9B, 9C und 12A stellt Ereignistyps-Klassifikator der ersten Ebene 1202 den Ereignistypen der ersten Ebene basierend auf der Ereignistypausgabe der ersten Ebene eines Netzwerks fest. Wie beschrieben wird in einigen Ausführungsformen ein uni-direktionales RNN wie ein erstes Netzwerk 920 verwendet, um eine Ereignistypausgabe der ersten Ebene 934 (z. B. q) festzustellen, die für einen Ereignistypen der ersten Ebene steht. In einigen Beispielen ist der Ereignistyps-Klassifikator der ersten Ebene 1202 ein Teil eines Ereignisdaten-Erkennungsmoduls 820, das ein erstes Netzwerk 920 implementiert. In einigen Beispielen ist der Ereignistyps-Klassifikator der ersten Ebene 1202 ein separater Teil eines Ereignisdaten-Erkennungsmoduls 820 und implementiert mindestens einen Teil des ersten Netzwerks 920.
In einigen Ausführungsformen gewichtet der Ereignistyps-Klassifikator der ersten Ebene 1202 zur Bestimmung der Ereignistypausgabe der ersten Ebene 934 eine vorangestellte Einheit für den ersten Kontext einer ausgeblendeten Ebene und bestimmt die Ereignistypausgabe der ersten Ebene 934 basierend auf der Gewichtung der vorangestellten Einheit für den ersten Kontext. Eine vorangestellte Einheit für den ersten Kontext ist die endende Einheit für den ersten Kontext in einer Sequenz von Einheiten für den ersten Kontext einer ausgeblendeten Ebene. Die vorangestellte Einheit für den ersten Kontext ist beispielsweise die Einheit für den ersten Kontext zum Zeitpunkt t = T, wobei T der letzte Zeit Schritt in einer Sequenz h(t) ist. Wie in 9B und 9C dargestellt ist die Einheit für den ersten Kontext 932T (z. B. h(T)) der ausgeblendeten Ebene 940 die vorangestellte Einheit für den ersten Kontext. In einigen Beispielen wird die Ereignistypausgabe der ersten Ebene 934 (z. B. q) gemäß Formel (6) unten erzeugt, q = G{Q·h(T)}) (6)
In Formel (6) steht h(T) für die vorangestellte Einheit für den ersten Kontext; Q steht für eine siebte Gewichtungsmatrix; und G steht für eine Funktion wie eine Softmax-Aktivierungsfunktion. In einigen Ausführungsformen hat die Ereignistypausgabe der ersten Ebene 934 eine Kodierung 1-von-L. L steht für eine Anzahl (z. B. 4) der Ereignistypknoten der ersten Ebene einer natürlichen Sprachereignis-Ontologie 1100.
Bezugnehmend auf 10B, 10C und 12A stellt Ereignistyps-Klassifikator der ersten Ebene 1202 den Ereignistypen der ersten Ebene basierend auf der Ereignistypausgabe der ersten Ebene eines Netzwerks fest. Wie beschrieben wird in einigen Ausführungsformen ein bi-direktionales RNN wie ein zweites Netzwerk 1020 verwendet, um eine Ereignistypausgabe der ersten Ebene 1034 (z. B. q) festzustellen, die für einen Ereignistypen der ersten Ebene steht. In einigen Beispielen ist der Ereignistyps-Klassifikator der ersten Ebene 1202 ein Teil eines Ereignisdaten-Erkennungsmoduls 820, das ein zweites Netzwerk 1020 implementiert. In einigen Beispielen ist der Ereignistyps-Klassifikator der ersten Ebene 1202 ein separater Teil eines Ereignisdaten-Erkennungsmoduls 820 und implementiert mindestens einen Teil des zweiten Netzwerks 1020.
In einigen Ausführungsformen verkettet der Ereignistyps-Klassifikator der ersten Ebene 1202 zur Bestimmung der Ereignistypausgabe der ersten Ebene 1034 eine vorangestellte Einheit für den ersten Kontext und eine führende Einheit für den zweiten Kontext und gewichtet die Verkettung der vorangestellten Einheit für den ersten Kontext und der führenden Einheit für den zweiten Kontext und stellt die Ereignistypausgabe der ersten Ebene 1034 basierend auf der Gewichtung der Verkettung fest. Wie beschrieben ist eine vorangestellte Einheit für den ersten Kontext die endende Einheit für den ersten Kontext in einer Sequenz von Einheiten für den ersten Kontext einer ausgeblendeten Ebene. Wie in 10B und 10C dargestellt ist die Einheit für den ersten Kontext 1042T (z. B. h(T)) der ausgeblendeten Ebene 1040 die vorangestellte Einheit für den ersten Kontext. Eine führende Einheit für den zweiten Kontext ist die beginnende Einheit für den zweiten Kontext in einer Sequenz von Einheiten für den zweiten Kontext einer ausgeblendeten Ebene. Die führende Einheit für den zweiten Kontext ist beispielsweise die Einheit für den zweiten Kontext zum Zeitpunkt t = 1, was der erste Zeitschritt in einer Sequenz g(t) ist. Wie in Figur 10B und 10C dargestellt ist die Einheit für den zweiten Kontext 1044A (z. B. g(1)) der ausgeblendeten Ebene 1040 die führende Einheit für den zweiten Kontext. Wie in 10B und 10C dargestellt wird in einigen Beispielen eine aktuelle Ereignistypausgabe der ersten Ebene 1034 (z. B. q) gemäß der nachstehenden Formel (7) erzeugt. q = G{Q·[h(T)g(1)])} (7)
In Formel (7) steht h(T) für die vorangestellte Einheit für den ersten Kontext; g(1) steht für die führende Einheit für den zweiten Kontext; [h(T)g(1)] bezeichnet eine Verkettungsfunktion; Q steht für eine achte Gewichtungsmatrix; und G steht für eine Funktion wie eine Softmax-Aktivierungsfunktion. In einigen Ausführungsformen hat die Ereignistypausgabe der ersten Ebene 1034 eine Kodierung 1-von-L. L steht für eine Anzahl (z. B. 4) der Ereignistypknoten der ersten Ebene einer natürlichen Sprachereignis-Ontologie 1100.
In einigen Beispielen stellt der Ereignistyp-Klassifikator der ersten Ebene 1202 einen Ereignistyp der ersten Ebene mithilfe einer Ereignistypausgabe der ersten Ebene 934 oder 1034 fest. Wie in 12B dargestellt empfängt der Ereignistyp-Klassifikator der ersten Ebene 1202 unstrukturierte natürliche Sprachinformationen, wie beispielsweise „He, heute Pizza zum Abendessen?” Der Ereignistyp-Klassifikator der ersten Ebene 1202 stellt die Ereignistypausgabe der ersten Ebene 934 oder 1034 basierend auf den unstrukturierten natürlichen Sprachinformationen fest. Basierend auf der Ereignistypausgabe der ersten Ebene 934 oder 1034 stellt der Ereignistyp-Klassifikator der ersten Ebene 1202 fest, dass der Ereignistyp der ersten Ebene beispielsweise eine Versammlung ist.
Bezugnehmend auf die 12A und 12B bestimmt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 in einigen Ausführungsformen den Ereignistypen, der mit unstrukturierten natürlichen Sprachinformationen verbunden ist, auf der Basis des Ereignistyps der ersten Ebene, der durch einen Ereignistyp-Klassifikator 1202 der ersten Ebene bereitgestellt wird. In einigen Beispielen stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 für jeden Ereignistypknoten der zweiten Ebene einen Anzahl an Korrelationen zwischen dem Ereignistypknoten der zweiten Ebene und den unstrukturierten natürlichen Sprachinformationen fest. Basierend auf der Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 einen Ereignistypen der zweiten Ebene fest.
Wie in 12A dargestellt stellt der Ereignistyp-Klassifikator der ersten Ebene 1202 den Ereignistypen der ersten Ebene (z. B. Versammlung) für den Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 bereit. Für jeden Ereignistypknoten der zweiten Ebene, der ein untergeordneter Knoten eines Ereignistypknoten der ersten Ebene ist und einen Ereignistypen der ersten Ebene (z. B. Versammlung) darstellt, stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 eine Anzahl an Korrelationen zwischen dem Ereignistypknoten der zweiten Ebene und den unstrukturierten natürlichen Sprachinformationen fest. Wie beispielsweise in 11A dargestellt, ist der Ereignistypknoten der ersten Ebene 1122 ein übergeordneter Knoten mehrerer Ereignistypknoten der zweiten Ebene, wie Mahlzeiten-Ereignistypknoten 1142A, Party-Ereignistypknoten 1142B und Getränke-Ereignistypknoten 1142C. Wie in 11A und 12B dargestellt stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 die Anzahl der Korrelationen zwischen dem Mahlzeiten-Ereignistypknoten 1142A und den unstrukturierten natürlichen Sprachinformationen (z. b. „He, heute Pizza zum Abendessen?”) fest. Durch Verwendung regulärer Ausdrucksmuster stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 beispielsweise fest, dass sich sowohl die Worte „Pizza” als auch „Abendessen” in den unstrukturierten natürlichen Sprachinformationen auf den Mahlzeiten-Ereignistypknoten 1142A beziehen. Als Ergebnis stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 fest, dass die Anzahl der Korrelationen für Mahlzeiten-Ereignistypknoten 1142A zwei beträgt, angezeigt durch die Ereignistypausgabe der zweiten Ebene 1242 in 12B. Auf ähnliche Weise stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 fest, dass es keine Korrelation zwischen den unstrukturierten natürlichen Sprachinformationen und dem Party-Ereignistypknoten 1142B oder dem Getränke-Ereignistypknoten 1142C gibt. Als Ergebnis stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 fest, dass die Anzahl der Korrelationen für sowohl Party-Ereignistypknoten 1142C als auch Getränke-Ereignistypknoten 1142C Null beträgt, angezeigt durch die Ereignistypausgabe der zweiten Ebene 1244 und 1246 in 12B.
In einigen Ausführungsformen stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 zur Bestimmung des Ereignistyps der zweiten Ebene die maximale Anzahl an Korrelationen, basierend auf der Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene fest und bestimmt den Ereignistypen der zweiten Ebene basierend auf der maximalen Anzahl an Korrelationen. Wie in 11A und 12B dargestellt stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 auf der Basis der Ereignistypausgabe der zweiten Ebene 1242, 1244 und 1246, die die Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene 1142A-C angeben, fest, dass die maximale Anzahl der Korrelationen zwei beträgt, nämlich die Anzahl der Korrelationen zwischen dem Mahlzeiten-Ereignistypknoten 1142A und den unstrukturierten natürlichen Sprachinformationen (z. b. „He, heute Pizza zum Abendessen?”). Dementsprechend wird der Ereignistyp der zweiten Ebene als Mahlzeit festgestellt, angezeigt durch die Ereignistypausgabe der zweiten Ebene 1242 in 12B.
In einigen Ausführungsformen bestimmt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 den Ereignistyps einer höheren Ebene hierarchisch, basierend auf dem Ereignistyp der zweiten Ebene. Wie in 12B dargestellt und ähnlich wie oben mit Bezug auf die Bestimmung eines Ereignistyps der zweiten Ebene beschrieben stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 einen Ereignistyp der dritten Ebene als Abendessen fest, angegeben durch die Ereignistypausgabe der dritten Ebene 1266, da die Ereignistypausgabe der dritten Ebene 1266 den maximalen Korrelationen zwischen dem Ereignistypknoten der dritten Eben (z. B. Brunch-Ereignistypknoten, Mittagessen-Ereignistypknoten und Abendessen-Ereignistypknoten) und den unstrukturierten natürlichen Sprachinformationen (z. b. „He, heute Pizza zum Abendessen?”) entspricht.
In einigen Ausführungsformen bestimmt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 den Ereignistyps einer höheren Ebene hierarchisch, bis ein Blattknoten erreicht ist und/oder die Anzahl der Korrelationen der einzelnen Ereignistypknoten einer höheren Ebene Null beträgt. Wie beispielsweise in 12B dargestellt entsprechen die Ereignistypausgaben der vierten Ebene 1282, 1284 und 1286 den Blattknoten in der natürlichen Sprachereignis-Ontologie 1100. Als Ergebnis stoppt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 die Bestimmung eines Ereignistyps der höheren Ebene über die vierte Ebene hinaus. Als weiteres Beispiel ist keine Korrelation zwischen den unstrukturierten natürlichen Sprachinformationen und dem Ereignistypknoten der vierten Ebene vorhanden (z. B. Mannschaftsabendessen-Ereignistypknoten, Geburtstagsabendessen-Ereignistypknoten und Familienabendessen-Ereignistypknoten), daher stoppt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 die Bestimmung eines Ereignistyps der höheren Ebene über die vierte Ebene hinaus.
In einigen Ausführungsformen bestimmt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 den Ereignistypen, der mit unstrukturierten natürlichen Sprachinformationen verbunden ist, auf der Basis des Ereignistyps der zweiten Ebene oder des Ereignistyps einer höheren Ebene. Wie in 12B dargestellt ist der Ereignistyp der zweiten Ebene ein Abendessen, und es kein Ereignistyp einer höheren Ebene vorhanden. Als Ergebnis stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 fest, dass der mit den unstrukturierten natürlichen Sprachinformationen verbundene Ereignistyp ein Abendessen ist.
Bezugnehmend auf 12C bestimmt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 in einigen Ausführungsformen weiterhin, ob mindestens zwei Ereignistypknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen. Gemäß der Feststellung, dass mindestens zwei Ereignisknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen, stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 basierend auf einer oder mehreren Prioritätsregeln den Ereignistypen der zweiten Ebene fest. Wie beispielsweise in 12B dargestellt empfängt der Ereignistyp-Klassifikator der ersten Ebene 1202 unstrukturierte natürliche Sprachinformationen, wie beispielsweise „He, Pizza und Drinks um sieben?” Der Ereignistyp-Klassifikator der ersten Ebene 1202 stellt fest, dass der Ereignistyp der ersten Ebene beispielsweise eine Versammlung ist, angegeben durch die Ereignistypausgabe der ersten Ebene 1222. Der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 stellt fest, dass auf der zweiten Ebene die Anzahl der Korrelationen sowohl für den Mahlzeiten-Ereignistypknoten als auch für den Getränke-Ereignistypknoten 1 beträgt, und die Anzahl der Korrelationen mit dem Party-Ereignistypknoten 0 beträgt. Als Ergebnis stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 fest, dass die maximale Anzahl an Korrelationen 1 beträgt und stellt fest, dass mindestens zwei Ereignistypknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen.
Wie in 12C dargestellt und gemäß der Feststellung, dass mindestens zwei Ereignistypknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen, stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 basierend auf einer oder mehreren Prioritätsregeln den Ereignistypen der zweiten Ebene fest. Wie in 11A und 12C dargestellt sind der Mahlzeiten-Ereignistypknoten 1142A und der Getränke-Ereignistypknoten 1142C verbunden mit einer Prioritätsregel, die durch die Verbindung 1143B dargestellt wird. Die Richtung der Verbindung 1143B vom Getränke-Ereignistypknoten 1142C zum Mahlzeiten-Ereignistypknoten 1142A zeigt an, dass Mahlzeiten-Ereignistypknoten 1142A eine höhere Priorität hat als Getränke-Ereignistypknoten 1142C. Dementsprechend stellt der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 fest, dass die Mahlzeiten-Ereignistypausgabe 1242 eine höhere Priorität hat als die Getränke-Ereignistypausgabe 1244. Daher wurde als Ereignistyp der zweiten Ebene Mahlzeit festgestellt, angezeigt durch die Ereignistypausgabe der zweiten Ebene 1242.
Wie in 12A und 12C dargestellt passt in einigen Ausführungsformen der Ereignistyp-Einsteller 1206 die Feststellung von mindestens einem Ereignistyp der ersten Ebene, dem Ereignistyp der zweiten Ebene, einem Ereignistyp einer höheren Ebene, basierend auf einem oder mehreren Tokens der unstrukturierten natürlichen Sprachinformationen, an. Wie beschrieben können ein oder mehrere Tokens erzeugt werden, basierend auf unstrukturierten natürlichen Sprachinformationen wie „He, Pizza und Drinks um sieben?” In einigen Beispielen wird ein Token erzeugt, das die Zeitinformationen wie „sieben” darstellt. Basierend auf einem solchen Token passt der Ereignistyp-Einsteller 1206 die Feststellung eines Ereignistyps der dritten Ebene an. Ähnlich wie dem oben beschriebenen und in 12C dargestellt stellt der Ereignistyp-Klassifikator der ersten Ebene 1202 fest, dass der Ereignistyp der ersten Ebene eine Versammlung ist. Der Ereignistyp-Klassifikator der zweiten und höherer Ebenen 1204 stellt fest, dass der Ereignistyp der zweiten Ebene eine Mahlzeit ist. Anstelle einer hierarchischen Feststellung eines Ereignistyps der dritten Ebene passt der Ereignistyp-Einsteller 1206 die Bestimmung des Ereignistyps der dritten Ebene mithilfe des Tokens an, das die Zeitinformation „sieben” darstellt. Der Ereignistyp-Einsteller 1206 stellt beispielsweise fest, dass eine Mahlzeit, die um 19 Uhr startet, voraussichtlich ein Abendessen ist. Als Ergebnis stellt der Ereignistyp-Einsteller 1206 fest, dass der Ereignistyp der dritten Ebene ein Abendessen ist, angezeigt durch die Ereignistypausgabe der dritten Ebene 1266 in 12C.
Bezugnehmend auf 8 stellt das Ereignisbeschreibungs-Erzeugungsmodul 880 in einigen Ausführungsformen eine Ereignisbeschreibung auf der Basis des Ereignistyps bereit, der vom Ereignistyp-Erkennungsmodul 860 festgestellt wurde. Das Ereignisbeschreibungs-Erzeugungsmodul 880 stellt einen Ereignistitel, eine Startzeit des Ereignisses, eine Endzeit des Ereignisses, eine Dauer des Ereignisses, einen Standort des Ereignisses, die Teilnehmer des Ereignisses oder ähnliches. Der Ereignistitel beinhaltet ein Subjekt eines entsprechenden Ereignistypknotens. Der Ereignistitel kann beispielsweise „Abendessen”, „Kaffee”, „Mittagessen” oder ähnliches beinhalten.
In einigen Ausführungsformen stellt das Ereignisbeschreibungs-Erzeugungsmodul 880 die Ereignisbeschreibung auf der Basis von Kontextinformationen bereit. In einigen Beispielen beinhalten die Kontextinformationen benutzerspezifische Daten wie Standortdaten, Datums- und Zeitinformationen, Benutzerpräferenzen, historische Daten des Nutzers und/oder ereignisspezifische Daten. Die GPS-Standortdaten eines Nutzers zeigen beispielsweise an, dass sich der Nutzer in den USA aufhält. Im Durchschnitt liegt die Startzeit für Ereignisse mit Drinks in den USA bei 18 Uhr, und die Dauer liegt bei etwa 2 Stunden. Als Ergebnis zeigt die Ereignisbeschreibung in diesem Beispiel an, dass der Titel der Ereignisses Getränke ist; die Startzeit des Ergebnisses ist 18 Uhr und die Dauer ist 2 Stunden. Als weiteres Beispiel stellt das Ereignistyp-Erkennungsmodul 860 fest, dass der Ereignistyp an Brunch ist und die Kontextinformationen zeigen an, dass der Ereignistag Muttertag ist. Dementsprechend stellt das Ereignisbeschreibungs-Erzeugungsmodul 880 den Ereignistitel als „Muttertagsbrunch” fest. Als ein weiteres Beispiel stellt das Ereignisbeschreibungs-Erzeugungsmodul 860 fest, dass der Ereignistyp ein Abendessen ist. Und die Kontextinformationen zeigen an, dass der Standort des Nutzers Spanien ist und zeigt an, dass ein Abendessen in Spanien üblicherweise um 19 Uhr beginnt. Dementsprechend stellt das Ereignisbeschreibungs-Erzeugungsmodul 880 die Startzeit des Abendessens mit 19 Uhr bereit.
Bezugnehmend auf 8 und 13 instanziiert der digitale Assistent in einigen Ausführungsformen ein Verfahren (z. B. ein Kalenderverfahren) mithilfe der Ereignisbeschreibung. Das Instanziieren des Verfahrens beinhaltet das Einleiten des Verfahrens, wenn das Verfahren nicht bereits ausgeführt wird. Wenn mindestens eine Instanz des Verfahrens ausgeführt wird, beinhaltet das Instanziieren eines Verfahrens die Ausführung einer bestehenden Instanz des Verfahrens oder das Erzeugen einer neuen Instanz des Verfahrens. Wie beispielsweise in 13 dargestellt leitet der digitale Assistent 800 ein Kalenderverfahren 1302 ein, um einen Kalendereintrag 1304 auf der Basis der Ereignisbeschreibung zu erzeugen und den Kalendereintrag 1304 anzuzeigen. Kalendereintrag 1304 stellt beispielsweise den Titel 1308 des Ereignisses (z. B. Getränke), das Datum 1309 (z. B. Freitag, 11. März), die Startzeit 1310 des Ereignisses (z. B. 18 Uhr) und die Endzeit 1311 des Ereignisses (z. B. 20 Uhr) bereit.
In einigen Ausführungsformen stellt Kalendereintrag 1304 zudem eine oder mehrere Affordanzen 1312 und 1314 bereit. Die eine oder mehrerer Affordanzen ermöglichen den Empfang einer oder mehrerer Benutzereingaben mit Bezug auf den Kalendereintrag 1304. Der Nutzer kann beispielsweise Affordanz 1312 wählen, um Kalendereintrag 1304 dem Kalender des Nutzers hinzuzufügen. Das Kalenderverfahren empfängt die Wahl der Affordanz 1312 des Nutzers, um den Kalendereintrag zu bestätigen und hinzuzufügen. Als Reaktion auf den Empfang der Wahl der Affordanz 1312 des Nutzers fügt das Kalenderverfahren 1302 den Kalendereintrag zum Kalender des Nutzers hinzu.
In einigen Ausführungsformen kann der Nutzer den Kalender Eintrag 1304 auf Wunsch bearbeiten. Kalendereintrag 1304 ist beispielsweise in Bezug auf Kalenderelemente wie Titel 1308, Datum 1309, Startzeit 1310 und Endzeit 1311 oder Ähnliches editierbar. Der Nutzer kann Eingabegeräte (z. B. Eine Maus, einen Joystick, einen Finger, eine Tastatur, einen Eingabestift oder Ähnliches) zum Bearbeiten der Kalenderelemente verwenden. Nach dem Empfang einer oder mehrerer Benutzereingaben zur Bearbeitung des Kalendereintrags 1304 fügt Kalenderverfahren 1302 den bearbeiteten Kalendereintrag zum Kalender des Nutzers hinzu.
In einigen Ausführungsformen kann der Nutzer den Kalendereintrag auf Wunsch ablehnen. Der Nutzer kann beispielsweise Affordanz 1314 zum Stornieren des Kalendereintrags 1304 wählen. Als Reaktion auf den Empfang der Benutzerwahl der Affordanz 1314 storniert Kalenderverfahren 1302 den Kalendereintrag 1304. In einigen Beispielen leitet der digitale Assistent einen Dialog mit dem Nutzer ein, um die Ereignisbeschreibung weiter zu klären.
In einigen Ausführungsformen erzeugt Kalenderverfahren 1302 den Kalender Eintrag 1304 basierend auf der Ereignisbeschreibung und fügt Kalendereintrag 1304 automatisch zum Kalender des Nutzers hinzu. Der digitale Assistent 800 stellt eine Konfidenzstufe in Verbindung mit der Erkennung der Ereignisinformationen, der Erkennung der Ereignisvereinbarung, der Erkennung des Ereignistyps, der Erzeugung der Ereignisbeschreibung oder einer Kombination dieser fest. Der digitale Assistent 800 stellt weiterhin fest, dass die Konfidenzstufe einen Schwellwert erfüllt und fügt daher Kalendereintrag 1304 automatisch zum Kalender des Nutzers hinzu.
In einigen Ausführungsformen erzeugt der digitale Assistent 800 weiterhin eine Buchungsanfrage auf der Basis der Ereignisbeschreibung. Die Ereignisbeschreibung zeigt beispielsweise an, dass das Ereignis eine Hochzeit an einem Ort ist, der sich vom Aufenthaltsort des Nutzers unterscheidet. Basierend auf der Ereignisbeschreibung erzeugt der digitale Assistent 800 eine Anfrage zur Buchung eines Flugs zum Ort der Hochzeit an dem Datum und der Uhrzeit, die in der Ereignisbeschreibung angegeben sind. Es versteht sich, dass die Ereignisbeschreibung für jede gewünschte Anwendung bereitgestellt werden kann, beispielsweise eine Nachrichtenanwendung, Anwendungen für elektronische Nachrichten, Anwendungen für soziale Medien oder ähnliches.
5. Verfahren zur Bereitstellung einer Ereignisbeschreibung
14A–J veranschaulichen ein Flussdiagramm eines Verfahrens 1400 zum Bedienen eines digitalen Assistenten gemäß einigen Ausführungsformen. Verfahren 1400 kann mithilfe einer oder mehrerer Vorrichtungen 104, 108, 200, 400 oder 600 (1, 2A, 4 oder 6A–B) durchgeführt werden. Die Vorgänge im Verfahren 1400 werden wahlweise kombiniert oder getrennt, und/oder die Reihenfolge einiger Vorgänge wird wahlweise verändert.
Bezugnehmend auf 14 werden an Block 1402 unstrukturierte natürliche Sprachinformationen von mindestens einem Nutzer empfangen. An Block 1403 beinhalten die unstrukturierten natürlichen Sprachinformationen eine Nachricht. An Block 1404 beinhaltet die mindestens eine Nachricht eine Textnachricht. An Block 1405 beinhaltet die mindestens eine Nachricht eine Spracheingabe. An Block 1406 beinhalten die unstrukturierten natürlichen Sprachinformationen mehrere Nachrichten. An Block 1407 beinhalten die unstrukturierten natürlichen Sprachinformationen mindestens eine elektronische Nachricht.
An Block 1410 wird als Reaktion auf den Empfang der unstrukturierten natürlichen Sprachinformationen festgestellt, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorliegen, wie beispielsweise oben mit Bezug auf 8, 9A–9C und 10A–10C beschrieben. An Block 1411 werden eine oder mehrere Polaritäten festgestellt, die mit den unstrukturierten natürlichen Sprachinformationen verknüpft sind. An Block 1412 wird eine Eingabeebene auf der Basis der unstrukturierten natürlichen Sprachinformationen erzeugt. Die Eingabeebene umfasst mehrere Eingabeeinheiten und mehrere vorhergehende Einheiten für den ersten Kontext. An Block 1413 wird Wortsequenz empfangen, basierend auf den unstrukturierten natürlichen Sprachinformationen. An Block 1414 zeigt die Wortsequenz eine relative zeitliche Beziehung der Wörter innerhalb der Wortsequenz an.
Bezugnehmend auf 14B werden an Block 1416 mehrere Tokens auf der Basis der unstrukturierten natürlichen Sprachinformationen empfangen. An Block 1417 stellen mehrere Tokens Datums- und Zeitinformationen dar, die in den unstrukturierten natürlichen Sprachinformationen enthalten sind. An Block 1418 stellen die mehreren Tokens Entitäten dar, die auf der Basis eines Namens-Entitäts-Vokabulars erkannt wurden.
An Block 1420 wird die Eingabeebene mithilfe von mindestens einer Wortsequenz und mehreren Tokens erzeugt. An Block 1421 umfasst die Eingabeebene mehrere Eingabeeinheiten. Jede der Eingabeeinheiten stellt ein Wort oder ein Token dar. An Block 1422 hat jede der Eingabeeinheiten eine Kodierung 1-von-N. N steht für die Gesamtzahl der Worte und Tokens innerhalb eines Vokabulars. Das Vokabular wird so konfiguriert, dass festgestellt wird, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind.
An Block 1424 wird eine ausgeblendete Ebene auf der Basis der Eingabeebene erzeugt. Die ausgeblendete Ebene umfasst mehrere aktuelle Einheiten für den ersten Kontext. An Block 1425 wird eine aktuelle Eingabeeinheit mithilfe einer ersten Gewichtungsmatrix gewichtet. An Block 1426 wird eine vorhergehende Einheit für den ersten Kontext mithilfe einer zweiten Gewichtungsmatrix gewichtet.
Bezugnehmend auf 14C wird an Block 1428 eine aktuelle Einheit für den ersten Kontext basierend auf der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der vorhergehenden Einheit für den ersten Kontext festgestellt, beispielsweise wie oben mit Bezug auf 8, 9A–9C und 10A–10C beschrieben. An Block 1429 umfasst die Feststellung der aktuellen Einheit für den ersten Kontext die Anwendung einer Aktivierungsfunktion. An Block 1430 umfasst die Aktivierungsfunktion ein Sigmoid. An Block 1431 umfasst die Aktivierungsfunktion eine hyperbolische Tangente. An Block 1432 umfasst die Aktivierungsfunktion eine rektifizierte lineare Einheit.
An Block 1434 umfasst die ausgeblendete Ebene weiterhin mehrere Einheiten für den zweiten Kontext. An Block 1435 wird eine aktuelle Eingabeeinheit mithilfe einer dritten Gewichtungsmatrix gewichtet. An Block 1436 wird eine folgende Einheit für den zweiten Kontext mithilfe einer vierten Gewichtungsmatrix gewichtet. An Block 1437 wird eine aktuelle Einheit für den zweiten Kontext basieren auf der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der folgenden Einheit für den zweiten Kontext festgestellt, beispielsweise wie oben mit Bezug auf 8 und 10A–10C beschrieben An Block 1438 umfasst die Feststellung der aktuellen Einheit für den zweiten Kontext die Anwendung einer Aktivierungsfunktion.
An Block 1440 wird eine Ausgabeebene auf der Basis der ausgeblendeten Ebene erzeugt. Die Ausgabeebene umfasst eine oder mehrere Ausgabe-Kennzeichnungseinheiten, die eine oder mehrere Polaritäten mindestens eines Teils der unstrukturierten natürlichen Sprachinformationen darstellen.
Mit Bezug auf 14D umfasst die Ausgabeebene am Block 1442 mehrere Ausgabe-Kennzeichnungseinheiten. Jede der Ausgabe-Kennzeichnungseinheiten hat eine Kodierung 1-von-K, wobei K für eine Anzahl an Polaritäten eines vorbestimmten Polaritätssatzes steht. An Block 1443 umfasst der vorbestimmte Polaritätssatz einen Vorschlag, eine Ablehnung, eine Akzeptanz und ein Nicht-Ereignis.
An Block 1444 wird eine aktuelle Einheit für den ersten Kontext mithilfe einer fünften Gewichtungsmatrix gewichtet. An Block 1446 wird eine aktuelle Ausgabe-Kennzeichnungseinheit basierend auf der Gewichtung der aktuellen Einheit für den ersten Kontext festgestellt, beispielsweise wie oben mit Bezug auf 8, 9A–9C und 10A–10C. beschrieben An Block 1447 umfasst die Feststellung der aktuellen Ausgabe-Kennzeichnungseinheit die Anwendung einer Softmax-Aktivierungsfunktion.
An Block 1448 wird ein aktueller Status, basierend auf einer aktuellen Einheit für den ersten Kontext und einer aktuellen Einheit für den zweiten Kontext, abgerufen. An Block 1449 wird der aktuelle Status mithilfe einer sechsten Gewichtungsmatrix gewichtet. An Block 1450 wird eine aktuelle Ausgabe-Kennzeichnungseinheit basierend auf der Gewichtung des aktuellen Status festgestellt, beispielsweise wie oben mit Bezug auf 8, 9A–9C und 10A–10C. beschrieben An Block 1451 umfasst die Feststellung der aktuellen Ausgabe-Kennzeichnungseinheit die Anwendung einer Softmax-Aktivierungsfunktion.
An Block 1454 wird basierend auf der einen oder den mehreren Polaritäten festgestellt, ob Ereignisinformationen vorliegen, wie beispielsweise oben mit Bezug auf 8, 8, 9A–9C und 10A–10C beschrieben.
Mit Bezug auf 14E wird zur Bestimmung, ob Ereignisinformationen vorliegen, an Block 1455 festgestellt, ob die eine oder die mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten. An Block 1456 wird gemäß einer Feststellung, dass die eine oder mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten, eine Wahrscheinlichkeit festgestellt, die mit mindestens diesem Vorschlag, dieser Ablehnung oder Akzeptanz verknüpft ist; An Block 1457 wird festgestellt, ob die Wahrscheinlichkeit einen ersten Wahrscheinlichkeits-Schwellwert erfüllt; und An Block 1458 wird gemäß einer Feststellung, dass die Wahrscheinlichkeit den ersten Wahrscheinlichkeits-Schwellwert erfüllt, festgestellt, dass Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind.
An Block 1460 wird gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, festgestellt, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist, wie beispielsweise oben mit Bezug auf 8, 9A–9C und 10A–10C beschrieben. Um zu bestimmen, ob eine Vereinbarung zu einem Ereignis vorliegt, wird an Block 1461 festgestellt, ob die eine oder mehreren Polaritäten eine Akzeptanz beinhalten. An Block 1462 wird gemäß einer Feststellung, dass die eine oder mehreren Polaritäten eine Akzeptanz beinhalten, eine Wahrscheinlichkeit festgestellt, die mit der Akzeptanz verknüpft ist; An Block 1463 wird festgestellt, ob die Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellwert erfüllt. An Block 1464 wird gemäß einer Feststellung, dass die Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellwert erfüllt, festgestellt, dass eine Vereinbarung zu einem Ereignis vorliegt.
Mit Bezug auf 14F wird an Block 1466 gemäß einer Feststellung, dass eine Vereinbarung zu einem Ereignis vorliegt, der Ereignistyp bestimmt, beispielsweise die oben mit Bezug auf 8, 9A–9C, 10A–10C, 11A–11H und 12A–12C beschrieben. An Block 1467 basiert das Feststellen des Ereignistyps auf einer hierarchischen Klassifizierung mithilfe einer natürlichen Sprachereignis-Ontologie. An Block 1468 umfasst die natürliche Sprachereignis-Ontologie eine oder mehrere Ebenen und jede Ebene beinhaltet einen oder mehrere Ereignistypknoten. An Block 1469 umfasst eine erste Ebene der natürlichen Sprachereignis-Ontologie einen Versammlungs-Ereignistypknoten, einen Unterhaltungs-Ereignistypknoten, einen Termin-Ereignistypknoten und einen Arrangement-Ereignistypknoten. An Block 1470 umfasst die natürliche Sprachereignis-Ontologie eine erste Ebene und eine zweite Ebene umfasst, wobei sich der Ereignistypknoten der ersten Ebene hierarchisch auf einen oder mehrere Ereignistypknoten der zweiten Ebene. An Block 1471 ist mindestens ein Ereignistypknoten mit einer Prioritätsregel verbunden. Eine Prioritätsregel zeigt eine relative Priorität für einen Ereignistypknoten mit Bezug auf einen anderen Ereignistypknoten an. An Block 1472 mindestens ein Ereignistypknoten einer zweiten oder höheren Ebene der natürlichen Sprachereignis-Ontologie an Blattknoten. Ein Blattknoten bezieht sich nicht hierarchisch auf einen untergeordneten Knoten.
An Block 1474 wird ein Ereignis der ersten Ebene mit dem festgestellten Ereignis verknüpft, wie beispielsweise oben mit Bezug auf 8, 9A–9C, 10A–10C und 12A–12C beschrieben. An Block 1475 wird eine Ereignistypausgabe der ersten Ebene einer Ausgabeebene festgestellt. Die Ereignistypausgabe der ersten Ebene hat eine Kodierung 1-von-L, wobei L für eine Anzahl Ereignistypknoten der ersten Ebene der natürlichen Sprachereignis-Ontologie steht. An Block 1476 wird eine vorhergehende Einheit für den ersten Kontext der ausgeblendeten Ebene gewichtet. An Block 1477 wird die Ausgabe eines Ereignistyps der ersten Ebene, basierend auf der Gewichtung der vorhergehenden Einheit für den ersten Kontext festgestellt.
Mit Bezug auf 14G werden am Block 1478 eine vorhergehende Einheit für den ersten Kontext und eine führende Einheit für den zweiten Kontext verkettet. An Block 1479 wird die Verkettung der vorhergehenden Einheit für den ersten Kontext mit der führenden Einheit für den zweiten Kontext gewichtet. An Block 1480 wird die Ausgabe eines Ereignistyps der ersten Ebene, basierend auf der Gewichtung der Verkettung der vorhergehenden Einheit für den ersten Kontext und der führenden Einheit für den zweiten Kontext festgestellt. An Block 1481 umfasst die Bestimmung der Ausgabe eines Ereignistyps der ersten Ebene die Anwendung einer Aktivierungsfunktion.
An Block 1484 wird der Ereignistyp des auf der Basis des Ereignistyps der ersten Ebene festgestellten Ereignisses festgestellt, wie beispielsweise oben mit Bezug auf 8,11A–11H und 12A–12C beschrieben. An Block 1486 wird für jeden Ereignistypknoten der zweiten Ebene einen Anzahl an Korrelationen zwischen dem Ereignistypknoten der zweiten Ebene und den unstrukturierten natürlichen Sprachinformationen festgestellt. Jeder Ereignistypknoten der zweiten Ebene ist ein untergeordneter Knoten der Ereignistypknoten der ersten Ebene, die für einen Ereignistyp der ersten Ebene stehen. An Block 1488 wird ein Ereignistyp der zweiten Ebene, basierend auf der Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene, festgestellt. An Block 1490 wird, basierend auf der Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene, die maximale Anzahl an Korrelationen festgestellt. An Block 1492 wird der Ereignistyp der zweiten Ebene, basierend auf der maximalen Anzahl an Korrelationen, festgestellt.
Mit Bezug auf 14H wird an Block 1493 festgestellt, ob mindestens zwei Ereignistypknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen, wie beispielsweise oben mit Bezug auf 8,11A–11H und 12A–12C beschrieben. An Block 1494 wird gemäß der Feststellung, dass mindestens zwei Ereignisknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen, der Ereignistyp der zweiten Ebene basierend auf einer oder mehreren Prioritätsregeln festgestellt.
An Block 1496 wird der Ereignistyp einer höheren Ebene hierarchisch auf der Basis des Ereignistyps der zweiten Ebene festgestellt, wie beispielsweise oben mit Bezug auf 8, 11A–11H und 12A–12C beschrieben. An Block 1498 wird die hierarchische Bestimmung fortgesetzt, bis ein Blattknoten erreicht ist. Ein Blattknoten ist nicht hierarchisch mit einem untergeordneten Knoten verbunden. An Block 1500 wird die hierarchische Bestimmung fortgesetzt, bis die Anzahl an Korrelationen der einzelnen Ereignistypen einer höheren Ebene Null beträgt. An Block 1502 wird der Ereignistyp des Ereignisses basierend auf dem Ereignistyps der zweiten oder einer höheren Ebene festgestellt. An Block 1504 wird Feststellung von mindestens einem Ereignistyp der ersten Ebene, dem Ereignistyp der zweiten Ebene, einem Ereignistyp einer höheren Ebene, basierend auf einem oder mehreren Tokens der unstrukturierten natürlichen Sprachinformationen angepasst.
An Block 1505 wird eine Ereignisbeschreibung, basierend auf dem Ereignistyp, bereitgestellt. An Block 1506 wird ein Ereignistitel bereitgestellt. Der Ereignistitel beinhaltet ein Subjekt eines entsprechenden Ereignistypknotens.
Es wird mit Bezug auf 14I an Block 1508 eine Startzeit des Ereignisses bereitgestellt. An Block 1510 wird eine Endzeit des Ereignisses bereitgestellt. An Block 1512 wird eine Dauer des Ereignisses bereitgestellt. An Block 1514 wird eine Ereignisbeschreibung des Ereignisses, basierend auf Kontextinformationen, bereitgestellt. An Block 1516 umfassen die Kontextinformationen mindestens einen Standort, ein Datum, eine Uhrzeit oder eine oder mehrere Benutzerpräferenzen.
An Block 1518 wird ein Kalendereintrag basierend auf der Ereignisbeschreibung erstellt. An Block 1520 wird der Kalendereintrag angezeigt. An Block 1522 werden eine oder mehrere Affordanzen bereitgestellt. Die eine oder mehreren Affordanzen ermöglichen den Empfang einer oder mehrerer Benutzereingaben mit Bezug auf den Kalendereintrag.
An Block 1524 werden eine oder mehrere Benutzereingaben empfangen, die den Kalendereintrag bestätigen. An Block 1526 wird der Kalendereintrag dem Kalender des Nutzers hinzugefügt.
Mit Bezug auf 14J werden an Block 1528 eine oder mehrere Benutzereingaben empfangen, die den Kalendereintrag bestätigen. An Block 1530 wird der bearbeitete Kalendereintrag dem Kalender des Nutzers hinzugefügt. An Block 1532 werden eine oder mehrere Benutzereingaben empfangen, die den Kalendereintrag ablehnen. An Block 1534 wird ein Dialog mit dem Nutzer eingeleitet.
An Block 1536 wird ein Kalendereintrag basierend auf der Ereignisbeschreibung erstellt. An Block 1538 wird der Kalendereintrag automatisch zum Kalender des Nutzers hinzugefügt. An Block 1540 wird eine Buchungsanfrage basierend auf der Ereignisbeschreibung erstellt. An Block 1542 wird eine Ereignisbeschreibung für eine oder mehrere Anwendungen bereitgestellt.
6. Elektronische Vorrichtung
15 zeigt ein funktionales Blockdiagramm einer elektronischen Vorrichtung 1600, die gemäß den Prinzipien der verschiedenen beschriebenen Beispiele konfiguriert ist, einschließlich derjenigen, die in Bezug auf 8, 9A–10C, 10A–10C, 11A–11H, 12A–12C, 13 und 14A–14J beschrieben sind. Die Funktionsblöcke der Vorrichtung können wahlweise durch Hardware, Software oder eine Kombination von Hardware und Software implementiert sein, um die Grundsätze der verschiedenen beschriebenen Beispiele auszuführen. Es versteht sich für den Fachmann, dass die in 15 beschriebenen Funktionsblöcke wahlweise kombiniert oder in Teilblöcke geteilt werden können, um die Grundsätze der verschiedenen, beschriebenen Beispiele zu implementieren. Deshalb unterstützt die Beschreibung hierin wahlweise jede mögliche Kombination, Aufteilung oder weitere Definition der hierein beschriebenen Funktionsblöcke.
Wie in 15 gezeigt, kann die elektronische Vorrichtung 1600 ein Mikrofon 1602 und eine Verarbeitungseinheit 1608 einschließen. In einigen Beispielen umfasst Verarbeitungseinheit 1608 eine Empfangseinheit 1610, eine Bestimmungseinheit 1612, eine Bereitstellungseinheit 1614, eine Erstellungseinheit 1616, eine Gewichtungseinheit 1618, eine Anwendungseinheit 1620, eine Abrufungseinheit 1622, eine Verkettungseinheit 1624, eine Anpassungseinheit 1626, eine Anzeigeeinheit 1628, eine Hinzufügungseinheit 1630 und eine Einleitungseinheit 1632.
Verarbeitungseinheit 1608 wird so konfiguriert, dass sie (z. B. mit Empfangseinheit 1610) unstrukturierte natürliche Sprachinformationen von mindestens einem Nutzer empfängt Als Reaktion auf ein Empfangen der unstrukturierten natürlichen Sprachinformationen wird Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie feststellt (z. B. mit Bestimmungseinheit 1612), ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind; Gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie feststellt (z. B. mit Bestimmungseinheit 1612), ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist. Gemäß einer Feststellung, dass eine Vereinbarung zu einem Ereignis vorliegt, ist Verarbeitungseinheit 1608 so konfiguriert, dass sie (z. B. mit Bestimmungseinheit 1612) einen Ereignistyp für das Ereignis feststellt. Verarbeitungseinheit 1608 ist weiterhin so konfiguriert, dass sie (z. B. mit Bereitstellungseinheit 1614) eine Ereignisbeschreibung basierend auf dem Ereignistyp bereitstellt.
In einigen Beispielen beinhalten die unstrukturierten natürlichen Sprachinformationen eine Nachricht.
In einigen Beispielen beinhaltet die mindestens eine Nachricht eine Textnachricht.
In einigen Beispielen beinhaltet die mindestens eine Nachricht eine Spracheingabe.
In einigen Beispielen beinhalten die unstrukturierten natürlichen Sprachinformationen mehrere Nachrichten.
In einigen Beispielen beinhalten die unstrukturierten natürlichen Sprachinformationen mindestens eine elektronische Nachricht.
In einigen Beispielen umfasst die Feststellung, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorliegen, die Bestimmung (z. B. mit Bestimmungseinheit 1612) einer oder mehrerer Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verbunden sind, und die Bestimmung (z. B. mit Bestimmungseinheit 1612), ob Ereignisinformationen auf der Basis der einen oder mehreren Polaritäten vorhanden sind.
In einigen Beispielen beinhaltet die Bestimmung einer oder mehrerer Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verbunden sind, das Erstellen (z. B. mit Erstellungseinheit 1616) einer Eingabeebene auf der Basis der unstrukturierten natürlichen Sprachinformationen. Die Eingabeebene umfasst mehrere Eingabeeinheiten und mehrere vorhergehende Einheiten für den ersten Kontext. Die Bestimmung einer oder mehrerer Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verbunden sind, beinhaltet weiterhin das Erstellen (z. B. mit Erstellungseinheit 1616) einer ausgeblendet Ebene auf der Basis der Eingabeebene. Die ausgeblendete Ebene beinhaltet mehrere aktuelle Einheiten für den ersten Kontext. Die Bestimmung einer oder mehrerer Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verbunden sind, beinhaltet weiterhin das Erstellen (z. B. mit Erstellungseinheit 1616) einer Ausgabeebene auf der Basis der ausgeblendeten Ebene. Die Ausgabeebene umfasst eine oder mehrere Ausgabe-Kennzeichnungseinheiten, die eine oder mehrere Polaritäten mindestens eines Teils der unstrukturierten natürlichen Sprachinformationen darstellen.
In einigen Beispielen umfasst das Erstellen der Eingabeebene auf der Basis der unstrukturierten natürlichen Sprachinformationen das Abrufen (z. B. mit Abrufungseinheit 1622) einer Wortsequenz auf der Basis der unstrukturierten natürlichen Sprachinformationen; das Abrufen (z. B. mit Abrufungseinheit 1622) mehrerer Tokens, basierend auf den unstrukturierten natürlichen Sprachinformationen; und das Erstellen (z. B. mit Erstellungseinheit 1616) der Eingabeebene mithilfe von mindestens der Wortsequenz und mehreren Tokens.
In einigen Beispielen zeigt die Wortsequenz eine relative zeitliche Beziehung der Wörter innerhalb der Wortsequenz an.
In einigen Beispielen stellen die mehreren Tokens Datums- und Zeitinformationen dar, die in den unstrukturierten natürlichen Sprachinformationen enthalten sind.
In einigen Beispielen stellen die mehreren Tokens Entitäten dar, die auf der Basis eines Namens-Entitäts-Vokabulars erkannt wurden.
In einigen Beispielen umfasst die Eingabeebene mehrere Eingabeeinheiten. Jede der Eingabeeinheiten stellt ein Wort oder ein Token dar.
In einigen Beispielen hat jede der Eingabeeinheiten eine Kodierung 1-von-N. N steht für die Gesamtzahl der Worte und Tokens innerhalb eines Vokabulars. Das Vokabular wird so konfiguriert, dass festgestellt wird (z. B. mit Bestimmungseinheit 1612), ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind.
In einigen Beispielen umfasst das Erstellen der ausgeblendeten Ebene auf der Basis der Eingabeebene die Gewichtung (z. B. mit Gewichtungseinheit 1618) einer aktuellen Eingabeeinheit mithilfe einer ersten Gewichtungsmatrix; das Gewichten (z. B. mit Gewichtungseinheit 1618) einer vorhergehenden Einheit für den ersten Kontext mithilfe einer zweiten Gewichtungsmatrix; und die Bestimmung (z. B. mit Bestimmungseinheit 1612) einer aktuellen Einheit für den ersten Kontext auf der Basis der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der vorhergehenden Einheit für den ersten Kontext.
In einigen Beispielen beinhaltet die Feststellung der aktuellen Einheit für den ersten Kontext die Anwendung einer Aktivierungsfunktion.
In einigen Beispielen umfasst die Aktivierungsfunktion ein Sigmoid.
In einigen Beispielen umfasst die Aktivierungsfunktion eine hyperbolische Tangente.
In einigen Beispielen umfasst die Aktivierungsfunktion eine rektifizierte lineare Einheit.
In einigen Beispielen umfasst die ausgeblendete Ebene weiterhin mehrere Einheiten für den zweiten Kontext.
In einigen Beispielen umfasst das Erstellen der ausgeblendeten Ebene auf der Basis der Eingabeebene die Gewichtung (z. B. mit Gewichtungseinheit 1618) einer aktuellen Eingabeeinheit mithilfe einer dritten Gewichtungsmatrix; das Gewichten (z. B. mit Gewichtungseinheit 1618) einer vorhergehenden Einheit für den zweiten Kontext mithilfe einer vierten Gewichtungsmatrix; und die Bestimmung (z. B. mit Bestimmungseinheit 1612) einer aktuellen Einheit für den zweiten Kontext auf der Basis der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der vorhergehenden Einheit für den ersten Kontext.
In einigen Beispielen beinhaltet die Feststellung der aktuellen Einheit für den zweiten Kontext die Anwendung einer Aktivierungsfunktion (z. B. mit Anwendungseinheit 1620).
In einigen Beispielen umfasst die Ausgabeebene mehrere Ausgabe-Kennzeichnungseinheiten. Jede Ausgabe-Kennzeichnungseinheit hat eine Kodierung 1-von-K. K steht für eine Anzahl an Polaritäten eines vorbestimmten Polaritätssatzes.
In einigen Beispielen umfasst der vorbestimmte Polaritätssatz einen Vorschlag, eine Ablehnung, eine Akzeptanz und ein Nicht-Ereignis.
In einigen Beispielen umfasst das Erstellen der Ausgabeebene auf der Basis der ausgeblendeten Ebene die Gewichtung (z. B. mit Gewichtungseinheit 1618) einer aktuellen Einheit für den ersten Kontext mithilfe einer fünften Gewichtungsmatrix; und die Bestimmung (z. B. mit Bestimmungseinheit 1612) einer aktuellen Ausgabe-Kennzeichnungseinheit auf der Basis der Gewichtung der aktuellen Einheit für den ersten Kontext.
In einigen Beispielen beinhaltet die Feststellung der aktuellen Ausgabe-Kennzeichnungseinheit die Anwendung einer Softmax-Aktivierungsfunktion (z. B. mit Anwendungseinheit 1620).
In einigen Beispielen umfasst das Erstellen der Ausgabeebene auf der Basis der ausgeblendeten Ebene das Abrufen (z. B. mit Abrufungseinheit 1622) eines aktuellen Status auf der Basis einer aktuellen Einheit für den ersten Kontext und einer aktuellen Einheit für den zweiten Kontext; das Gewichten (z. B. mit Gewichtungseinheit 1618) des aktuellen Status mithilfe einer sechsten Gewichtungsmatrix; und die Bestimmung (z. B. mit Bestimmungseinheit 1612) einer aktuellen Ausgabe-Kennzeichnungseinheit auf der Basis der Gewichtung des aktuellen Status.
In einigen Beispielen beinhaltet die Feststellung der aktuellen Ausgabe-Kennzeichnungseinheit die Anwendung einer Softmax-Aktivierungsfunktion (z. B. mit Anwendungseinheit 1620).
In einigen Beispielen umfasst die Bestimmung, ob Ereignisinformationen auf der Basis einer oder mehrerer Polaritäten vorliegen, die Bestimmung (z. B. mit Bestimmungseinheit 1612), ob die eine oder die mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten. Die Bestimmung, ob Ereignisinformationen auf der Basis einer oder mehrerer Polaritäten vorliegen, umfasst gemäß einer Feststellung, dass die eine oder mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten, die Bestimmung (z. B. mit Bestimmungseinheit 1612) einer Wahrscheinlichkeit, die mit mindestens diesem Vorschlag, dieser Ablehnung oder Akzeptanz verknüpft ist; und die Feststellung (z. B. mit Bestimmungseinheit 1612), ob diese Wahrscheinlichkeit einen ersten Wahrscheinlichkeits-Schwellenwert erfüllt. Die Bestimmung, ob Ereignisinformationen auf der Basis einer oder mehrerer Polaritäten vorliegen, beinhaltet gemäß einer Feststellung, dass die Wahrscheinlichkeit den ersten Wahrscheinlichkeits-Schwellwert erfüllt, die Feststellung (z. B. mit Bestimmungseinheit 1612), dass Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorliegen.
In einigen Beispielen umfasst gemäß einer Feststellung, dass Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorliegen, die Bestimmung, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorliegt, die Bestimmung (z. B. mit Bestimmungseinheit 1612), ob die eine oder mehreren Polaritäten eine Akzeptanz beinhalten; gemäß einer Feststellung, dass die eine oder mehreren Polaritäten eine Akzeptanz beinhalten, die Feststellung (z. B. mit Bestimmungseinheit 1612) einer Wahrscheinlichkeit in Verbindung mit der Akzeptanz; die Feststellung (z. B. mit Bestimmungseinheit 1612), ob die Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellwert erfüllt; und gemäß einer Feststellung, dass die Wahrscheinlichkeit den zweiten Wahrscheinlichkeits-Schwellwert erfüllt, die Feststellung (z. B. mit Bestimmungseinheit 1612), dass eine Vereinbarung zu einem Ereignis vorliegt.
In einigen Beispielen basiert die Feststellung des Ereignistyps auf einer hierarchischen Klassifizierung mithilfe einer natürlichen Sprachereignis-Ontologie.
In einigen Beispielen umfasst die natürliche Sprachereignis-Ontologie eine oder mehrere Ebenen. Jede Ebene beinhaltet einen oder mehrere Ereignistypknoten.
In einigen Beispielen umfasst eine erste Ebene der natürlichen Sprachereignis-Ontologie einen Versammlungs-Ereignistypknoten, einen Unterhaltungs-Ereignistypknoten, einen Termin-Ereignistypknoten und einen Arrangement-Ereignistypknoten.
In einigen Beispielen umfasst die natürliche Sprachereignis-Ontologie eine erste Ebene und eine zweite Ebene. Ein Ereignistypknoten der ersten Ebene bezieht sich hierarchisch auf einen oder mehrere Ereignistypknoten der zweiten Ebene.
In einigen Beispielen ist mindestens ein Ereignistypknoten mit einer Prioritätsregel verbunden. Die Prioritätsregel zeigt eine relative Priorität für mindestens einen Ereignistypknoten mit Bezug auf einen anderen Ereignistypknoten an.
In einigen Beispielen ist mindestens ein Ereignistypknoten einer zweiten oder höheren Ebene der natürlichen Sprachereignis-Ontologie ein Blattknoten. Ein Blattknoten bezieht sich nicht hierarchisch auf einen untergeordneten Knoten.
In einigen Beispielen umfasst die Feststellung des Ereignistyps Ereignistypknoten (z. B. mit Bestimmungseinheit 1612) einen Ereignistyp der ersten Ebene, der mit dem Ereignis verbunden ist und die Feststellung (z. B. mit Bestimmungseinheit 1612) des Ereignistyps des Ereignisses basierend auf dem Ereignistyp der ersten Ebene.
In einigen Beispielen umfasst die Feststellung des Ereignistyps der ersten Ebene die Feststellung (z. B. mit Bestimmungseinheit 1612) einer Ereignistypsausgabe der ersten Ebene für eine Ausgabeebene. Die Ereignistypausgabe der ersten Ebene eine Kodierung 1-von-L. L steht für eine Anzahl der Ereignistypknoten der ersten Ebene einer natürlichen Sprachereignis-Ontologie.
In einigen Beispielen umfasst die Feststellung der Ereignistypausgabe der ersten Ebene: das Gewichten (z. B. mit Gewichtungseinheit 1618) einer vorhergehenden Einheit für den ersten Kontext einer ausgeblendeten Ebene; und die Feststellung (z. B. mit Bestimmungseinheit 1612) der Ereignistypausgabe der ersten Ebene basierend auf der Gewichtung der vorhergehenden Einheit für den ersten Kontext.
in einigen Beispielen fast die Feststellung der Ereignistypausgabe der ersten Ebene die Verkettung (z. B. mit Verkettungseinheit 1624) einer vorhergehenden Einheit für den ersten Kontext und einer führenden Einheit für den zweiten Kontext; das Gewicht (z. B. mit Gewichtungseinheit 1618) der Verkettung der vorhergehenden Einheit für den ersten Kontext und der führenden Einheit für den zweiten Kontext; die Feststellung (z. B. mit Bestimmungseinheit 1612) der Ereignistypausgabe der ersten Ebene auf der Basis der Gewichtung der Verkettung der vorhergehenden Einheit für den ersten Kontext und der führenden Einheit für den zweiten Kontext.
In einigen Beispielen beinhaltet die Feststellung der Ereignistypausgabe der ersten Ebene die Anwendung einer Aktivierungsfunktion (z. B. mit Anwendungseinheit 1620).
In einigen Beispielen umfasst die Bestimmung des Ereignistyps des Ereignisses auf der Basis des Ereignistyps der ersten Ebene die Feststellung (z. B. mit Bestimmungseinheit 1612) eine Anzahl von Korrelationen zwischen dem Ereignistypknoten der zweiten Ebene und den unstrukturierten natürlichen Sprachinformationen für jeden Ereignistypknoten der zweiten Ebene. Jeder Ereignistypknoten der zweiten Ebene ist ein untergeordneter Knoten der Ereignistypknoten der ersten Ebene, die für einen Ereignistyp der ersten Ebene stehen.
In einigen Beispielen umfasst die Bestimmung des Ereignistyps des Ereignisses auf der Basis des Ereignistyps der ersten Ebene die Feststellung (z. B. mit Bestimmungseinheit 1612) eines Ereignistyps der zweiten Ebene auf der Basis der Anzahl von Korrelationen zwischen den einzelnen Ereignistypknoten der zweiten Ebene.
In einigen Beispielen umfasst die Feststellung des Ereignistyps der zweiten Ebene die Feststellung (z. B. mit Bestimmungseinheit 1612) der maximalen Anzahl an Korrelationen auf der Basis der Anzahl an Korrelationen der einzelnen Ereignistypknoten der zweiten Ebene und die Feststellung (z. B. mit Bestimmungseinheit 1612) des Ereignistyps der zweiten Ebene auf der Basis der maximalen Anzahl an Korrelationen.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Bestimmungseinheit 1612) feststellt, ob mindestens zwei Ereignistypknoten der zweiten Ebene der maximalen Anzahl Korrelationen entsprechen und gemäß der Feststellung, dass mindestens zwei Ereignistypknoten der zweiten Ebene der maximalen Anzahl Korrelationen entsprechen, stellt sie (z. B. mit Bestimmungseinheit 1612) den Ereignistyp der zweiten Ebene auf der Basis einer oder mehrerer Prioritätsregeln fest.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Bestimmungseinheit 1612) einen Ereignistyp einer höheren Ebene basierend auf dem Ereignistyp der zweiten Ebene bereitstellt.
In einigen Beispielen wird die hierarchische Bestimmung fortgesetzt, bis ein Blattknoten erreicht ist. Ein Blattknoten ist nicht hierarchisch mit einem untergeordneten Knoten verbunden.
In einigen Beispielen wird die hierarchische Bestimmung fortgesetzt, bis die Anzahl an Korrelationen der einzelnen Ereignistypknoten einer höheren Ebene Null beträgt.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Bestimmungseinheit 1612) den Ereignistyp des Ereignisses auf der Basis des Ereignistyps einer höheren Ebene oder der zweiten Ebene feststellt.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Anpassungseinheit 1626) die Feststellung von mindestens einem Ereignistyp der ersten Ebene, einem Ereignistyp der zweiten Ebene, einem Ereignistyp einer höheren Ebene, basierend auf einem oder mehreren Tokens der unstrukturierten natürlichen Sprachinformationen, anpasst.
In einigen Beispielen umfasst die Bereitstellung der Ereignisbeschreibung auf der Basis des Ereignistyps (z. B. mit Bereitstellungseinheit 1614) einen Ereignistitel. Der Ereignistitel beinhaltet ein Subjekt eines entsprechenden Ereignistypknotens.
In einigen Beispielen umfasst die Bereitstellung der Ereignisbeschreibung auf der Basis des Ereignistyps (z. B. mit Bereitstellungseinheit 1614) eine Startzeit des Ereignisses.
In einigen Beispielen umfasst die Bereitstellung der Ereignisbeschreibung auf der Basis des Ereignistyps (z. B. mit Bereitstellungseinheit 1614) eine Endzeit des Ereignisses.
In einigen Beispielen umfasst die Bereitstellung der Ereignisbeschreibung auf der Basis des Ereignistyps (z. B. mit Bereitstellungseinheit 1614) eine Dauer des Ereignisses.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Bereitstellungseinheit 1614) eine Ereignisbeschreibung basierend auf Kontextinformationen bereitstellt.
In einigen Beispielen umfassen die Kontextinformationen mindestens einen Standort, ein Datum, eine Uhrzeit oder eine oder mehrere Benutzerpräferenzen.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Erstellungseinheit 1616) einen Kalendereintrag auf der Basis der Ereignisbeschreibung erstellt; sie zeigt (z. B. mit Anzeigeeinheit 1628) den Kalendereintrag an; und sie stellt (z. B. mit Bereitstellungseinheit 1614) eine oder mehrere Affordanzen bereit, wobei die eine oder mehrere Affordanzen den Empfang einer oder mehrerer Benutzereingaben mit Bezug auf den Kalendereintrag ermöglichen.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Empfangseinheit 1610) eine oder mehrere Benutzereingaben empfangt, die den Kalendereintrag bestätigen; und sie fügt (z. B. mit Hinzufügungseinheit 1630) den Kalendereintrag zum Kalender des Nutzers hinzu.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Empfangseinheit 1610) eine oder mehrere Benutzereingaben empfängt, die den Kalendereintrag bearbeiten; und sie fügt (z. B. mit Hinzufügungseinheit 1630) den bearbeiteten Kalendereintrag zum Kalender des Nutzers hinzu.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Empfangseinheit 1610) eine oder mehrere Benutzereingaben empfängt, die den Kalendereintrag ablehnen; und sie leitet (z. B. mit Einleitungseinheit 1632) einen Dialog mit dem Nutzer ein.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Erstellungseinheit 1616) einen Kalendereintrag auf der Basis der Ereignisbeschreibung erstellt; und sie fügt (z. B. mit Hinzufügungseinheit 1630) den Kalendereintrag automatisch zum Kalender des Nutzers hinzu.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Erstellungseinheit 1616) eine Buchungsanfrage basierend auf der Ereignisbeschreibung erstellt.
In einigen Beispielen ist Verarbeitungseinheit 1608 weiterhin so konfiguriert, dass sie (z. B. mit Bereitstellungseinheit 1614) die Ereignisbeschreibung für eine oder mehrere Anwendungen bereitstellt.
Die vorstehend unter Bezugnahme auf 16 beschriebenen Vorgänge werden wahlweise durch in 1, 2A, 4, 6A–B, 7A–7B, 8, oder 12A abgebildete Komponenten implementiert. Der Empfangsvorgang 1610, der Feststellungsvorgang 1612 und der Bereitstellungsvorgang 1614 werden beispielsweise wahlweise durch den/die Prozessor(en) 220 implementiert. Für einen Fachmann ist klar, wie andere Prozesse auf Grundlage der in 1, 2A, 4, 6A–B, 7A–7B, 8 oder 12A abgebildeten Komponenten implementiert werden können.
Dem Fachmann ist klar, dass die in 16 beschriebenen funktionellen Blöcke wahlweise kombiniert oder in Unterblöcke aufgeteilt werden können, um die Prinzipien der verschiedenen beschriebenen Ausführungsformen zu implementieren. Deshalb belegt die Beschreibung hierin wahlweise jede mögliche Kombination oder Aufteilung oder weitere Definition der hierein beschriebenen, funktionellen Blöcke. Eine Verarbeitungseinheit 1608 kann beispielsweise eine zugehörige „Controller”-Einheit haben, die operativ mit Verarbeitungseinheit 1608 gekoppelt ist, um den Betrieb zu ermöglichen. Diese Controller-Einheit ist in 15 nicht separat dargestellt, sondern es versteht sich, dass sie einem Fachmann bereits bekannt sind, der eine Vorrichtung mit Verarbeitungseinheit 1608 wie Vorrichtung 1600 entwickelt. Als weiteres Beispiel können eine oder mehrere Einheiten wie die Empfangseinheit 1610 in einigen Ausführungsformen Hardwarekomponenten außerhalb der Verarbeitungseinheit 1608 sein. Deshalb belegt die Beschreibung hierin wahlweise jede mögliche Kombination oder Aufteilung und/oder weitere Definitionen der hierein beschriebenen, funktionellen Blöcke.
Beispielhafte Verfahren, nicht-transitorische computerlesbare Speichermedien, Systeme und elektronischen Vorrichtungen werden unter den folgenden Ziffern erläutert:

1. Verfahren, umfassend: an einer elektronischen Vorrichtung mit mindestens einem Prozessor: den Empfang von unstrukturierten natürlichen Sprachinformationen von mindestens einem Nutzer; als Reaktion auf ein Empfangen der unstrukturierten natürlichen Sprachinformationen die Feststellung, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind; gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, die Feststellung, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist; und gemäß einer Feststellung, dass eine Vereinbarung zu einem Ereignis vorhanden ist, das Feststellen eines Ereignistyps für das Ereignis; und das Bereitstellen einer Ereignisbeschreibung, basierend auf dem Ereignistyp.
2. Das Verfahren nach Ziffer 1, wobei die unstrukturierten natürlichen Sprachinformationen eine oder mehrere Nachrichten umfassen.
3. Das Verfahren nach Ziffer 2, wobei die mindestens eine Nachricht eine Textnachricht umfasst.
4. Das Verfahren nach einer der Ziffern 2–3, wobei die mindestens eine Nachricht eine Spracheingabe umfasst.
5. Das Verfahren nach einer der Ziffern 1–4 wobei die unstrukturierten natürlichen Sprachinformationen mehrere Nachrichten umfassen.
6. Das Verfahren nach einer der Ziffern 1–5 wobei die unstrukturierten natürlichen Sprachinformationen mindestens eine elektronische Nachricht umfassen.
7. Das Verfahren nach einer der Ziffern 1–6, wobei das Feststellen, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind, Folgendes umfasst: das Feststellen einer oder mehrere Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verknüpft sind; und das Feststellen auf der Basis der einen oder mehreren Polaritäten, ob Ereignisinformationen vorhanden sind.
8. Das Verfahren nach Ziffer 7, wobei das Feststellen einer oder mehrerer Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verknüpft sind, Folgendes umfasst: das Erstellen einer Eingabeebene, basierend auf den unstrukturierten natürlichen Sprachinformationen, wobei die Eingabeebene mehrere Eingabeeinheiten und mehrere vorgelagerte Einheiten für den ersten Kontext umfasst; das Erstellen einer ausgeblendeten Ebene, basierend auf der Eingabeebene, wobei die ausgeblendet Ebene mehrere der aktuellen Einheiten für den ersten Kontext umfasst; und das Erstellen einer Ausgabeebene, basierend auf der ausgeblendeten Ebene, wobei die Ausgabeebene eine oder mehrere Ausgabe-Kennzeichnungseinheiten umfasst, die eine oder mehrere Polaritäten mindestens eines Teils der unstrukturierten natürlichen Sprachinformationen darstellen.
9. Das Verfahren nach Ziffer 8, wobei das Erstellen der Eingabeebene, basierend auf den unstrukturierten natürlichen Sprachinformationen, Folgendes umfasst: das Empfangen einer Wortsequenz, basierend auf den unstrukturierten natürlichen Sprachinformationen; das Empfangen mehrerer Tokens, basierend auf den unstrukturierten natürlichen Sprachinformationen; das Erstellen der Eingabeebene mithilfe mindestens einer Wortsequenz und mehreren Tokens.
10. Das Verfahren nach Ziffer 9, wobei die Wortsequenz eine relative zeitliche Beziehung der Wörter innerhalb der Wortsequenz anzeigt.
11. Das Verfahren nach einer der Ziffern 9–10, wobei die mehreren Tokens Datums- und Zeitinformationen darstellen, die in den unstrukturierten natürlichen Sprachinformationen enthalten sind.
12. Das Verfahren nach einer der Ziffern 9–11, wobei die mehreren Tokens Entitäten darstellen, die auf der Basis eines Namens-Entitäts-Vokabulars erkannt wurden.
13. Das Verfahren nach einer der Ziffern 9–12, wobei die Eingabeebene mehrere Eingabeeinheiten umfasst, und jede der Eingabeeinheiten stellt ein Wort oder ein Token dar.
14. Das Verfahren nach Ziffer 13, wobei jede der Eingabeeinheiten eine Kodierung 1-von-N aufweist, wobei N für die Gesamtzahl der Wörter und Tokens innerhalb eines Vokabulars steht, das Vokabular wird so konfiguriert, dass es feststellt, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorliegen.
15. Das Verfahren nach einer der Ziffern 8–14, wobei das Erstellen der ausgeblendeten Ebene, basierend auf der Eingabeebene, Folgendes umfasst: das Gewichten einer aktuellen Eingabeeinheit mithilfe einer ersten Gewichtungsmatrix; das Gewichten einer vorhergehenden Einheit für den ersten Kontext mithilfe einer zweiten Gewichtungsmatrix; das Feststellen einer ersten Einheit für den ersten Kontext, basierend auf der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der vorhergehenden Einheit für den ersten Kontext.
16. Verfahren nach Ziffer 15, wobei die Feststellung der aktuellen Einheit für den ersten Kontext die Anwendung einer Aktivierungsfunktion beinhaltet.
17. Verfahren nach Ziffer 16, wobei die Aktivierungsfunktion ein Sigmoid umfasst.
18. Verfahren nach einer der Ziffern 16–17, wobei die Aktivierungsfunktion eine hyperbolische Tangente umfasst.
19. Verfahren nach einer der Ziffern 16–18, wobei die Aktivierungsfunktion eine rektifizierte lineare Einheit umfasst.
20. Verfahren nach einer der Ziffern 8–19, wobei die ausgeblendete Ebene weiterhin mehrere Einheiten für den zweiten Kontext umfasst.
21. Verfahren nach Ziffer 20, wobei das Erstellen der ausgeblendeten Ebene, basierend auf der Eingabeebene, Folgendes umfasst: das Gewichten einer aktuellen Eingabeeinheit mithilfe einer dritten Gewichtungsmatrix; das Gewichten einer folgenden Einheit für den zweiten Kontext mithilfe einer vierten Gewichtungsmatrix; das Feststellen einer aktuellen Einheit für den zweiten Kontext, basierend auf der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der folgenden Einheit für den zweiten Kontext.
22. Verfahren nach Ziffer 21, wobei die Feststellung der aktuellen Einheit für den zweiten Kontext die Anwendung einer Aktivierungsfunktion beinhaltet.
23. Verfahren einer der Ziffern 8–22, wobei die Ausgabeebene mehrere Ausgabe-Kennzeichnungseinheiten umfasst, jede Ausgabe-Kennzeichnungseinheit weist eine 1-von-K-Kodierung auf, wobei das K für eine Anzahl an Polaritäten aus einem vorbestimmten Polaritätssatz steht.
24. Verfahren nach Ziffer 23, wobei der vorbestimmte Polaritätssatz einen Vorschlag, eine Ablehnung, eine Akzeptanz und ein Nicht-Ereignis umfasst.
25. Verfahren einer der Ziffern 8–24, wobei das Erstellen der Ausgabeebene, basierend auf der ausgeblendeten Ebene, Folgendes umfasst: das Gewichten einer aktuellen Einheit für den ersten Kontext mithilfe einer fünften Gewichtungsmatrix; und das Feststellen einer aktuellen Ausgabe-Kennzeichnungseinheit, basierend auf der Gewichtung der Einheit für den ersten Kontext.
26. Verfahren nach Ziffer 25, wobei die Feststellung der aktuellen Ausgabe-Kennzeichnungseinheit die Anwendung einer Softmax-Aktivierungsfunktion umfasst.
27. Verfahren einer der Ziffern 8–26, wobei das Erstellen der Ausgabeebene, basierend auf der ausgeblendeten Ebene, Folgendes umfasst: das Erhalten eines aktuellen Status, basierend auf einer aktuellen Einheit für den ersten Kontext und einer aktuellen Einheit für den zweiten Kontext; das Gewichten des aktuellen Status mithilfe einer sechsten Gewichtungsmatrix; und das Feststellen einer aktuellen Ausgabe-Kennzeichnungseinheit, basierend auf der Gewichtung des aktuellen Status.
28. Verfahren nach Ziffer 27, wobei die Feststellung der aktuellen Ausgabe-Kennzeichnungseinheit die Anwendung einer Softmax-Aktivierungsfunktion umfasst.
29. Verfahren einer der Ziffern 7–28, wobei das Feststellen, ob Ereignisinformationen vorhanden sind, basierend auf einer oder mehreren Polaritäten, Folgendes umfasst: das Feststellen, ob die eine oder mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten; gemäß einer Feststellung, dass die eine oder mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten, das Feststellen einer Wahrscheinlichkeit, die mit mindestens diesem Vorschlag, dieser Ablehnung oder Akzeptanz verknüpft ist; das Feststellen, ob die Wahrscheinlichkeit einen ersten Wahrscheinlichkeits-Schwellwert erfüllt; und gemäß einer Feststellung, dass die Wahrscheinlichkeit den ersten Wahrscheinlichkeits-Schwellwert erfüllt, das Feststellen, dass Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind.
30. Das Verfahren einer der Ziffern 7–29, gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, umfasst die Feststellung, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist: das Feststellen, ob die eine oder mehreren Polaritäten eine Akzeptanz beinhalten; gemäß einer Feststellung, dass die eine oder mehreren Polaritäten eine Akzeptanz beinhalten, das Feststellen einer Wahrscheinlichkeit, die mit der Akzeptanz verknüpft ist; das Feststellen, ob die Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellwert erfüllt; und gemäß einer Feststellung, dass die Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellwert erfüllt, das Feststellen, dass eine Vereinbarung zu einem Ereignis vorlegt.
31. Verfahren einer der Ziffern 1–30, wobei das Feststellen des Ereignistyps auf einer hierarchischen Klassifizierung mithilfe einer natürlichen Sprachereignis-Ontologie basiert.
32. Verfahren nach Ziffer 31, wobei die natürliche Sprachereignis-Ontologie eine oder mehrere Ebenen umfasst und jede Ebene einen oder mehrere Ereignistypknoten beinhaltet.
33. Verfahren nach Ziffer 32, wobei eine erste Ebene der natürlichen Sprachereignis-Ontologie einen Versammlungs-Ereignistypknoten, einen Unterhaltungs-Ereignistypknoten, einen Termin-Ereignistypknoten und einen Arrangement-Ereignistypknoten umfasst.
34. Verfahren einer der Ziffern 32–33, wobei die natürliche Sprachereignis-Ontologie eine erste Ebene und eine zweite Ebene umfasst, wobei sich der Ereignistypknoten der ersten Ebene hierarchisch auf einen oder mehrere Ereignistypknoten der zweiten Ebene umfasst.
35. Verfahren einer der Ziffern 32–34, wobei mindestens ein Ereignistypknoten mit einer Prioritätsregel verknüpft ist und die Prioritätsregel eine relative Priorität des mindestens einen Ereignistypknoten in Bezug auf einen anderen Ereignistypknoten anzeigt.
36. Verfahren einer der Ziffern 32–35, wobei mindestens ein Ereignistypknoten einer zweiten oder höheren Ebene der natürlichen Sprachereignis-Ontologie ein Blattknoten ist, wobei sich ein Blattknoten nicht hierarchisch auf einen untergeordneten Knoten bezieht.
37. Verfahren einer der Ziffern 1–36, wobei das Feststellen des Ereignistyps Folgendes umfasst: das Feststellen eines Ereignistyps der ersten Ebene, der mit dem Ereignis verknüpft ist; und das Feststellen des Ereignistyps des Ereignisses, basierend auf dem Ereignistyps der ersten Ebene.
38. Verfahren nach Ziffer 37, wobei das Feststellen des Ereignistyps der ersten Ebene das Feststellen die Ausgabe eines Ereignistyps der ersten Ebene einer Ausgabeebene umfasst, wobei die Ausgabe eines Ereignistyps der ersten Ebene eine 1-von-L-Kodierung aufweist, wobei 1 für eine Anzahl an Ereignisknoten der ersten Ebene der natürlichen Sprachereignis-Ontologie steht.
39. Verfahren nach Ziffer 38, wobei das Feststellen der Ausgabe eines Ereignistyps der ersten Ebene Folgendes umfasst: das Gewichten einer vorhergehenden Einheit für den ersten Kontext mithilfe einer ausgeblendeten Ebene; und das Feststellen der Ausgabe eines Ereignistyps der ersten Ebene, basierend auf der Gewichtung der vorhergehenden Einheit für den ersten Kontext.
40. Verfahren einer der Ziffern 38–39, wobei das Feststellen der Ausgabe eines Ereignistyps der ersten Ebene Folgendes umfasst: das Verketten einer vorhergehenden Einheit für den ersten Kontext und einer führenden Einheit für den zweiten Kontext; das Gewichten der Verkettung der vorhergehenden Einheit für den ersten Kontext mit der führenden Einheit für den zweiten Kontext; und das Feststellen der Ausgabe eines Ereignistyps der ersten Ebene, basierend auf der Gewichtung der Verkettung der vorhergehenden Einheit für den ersten Kontext und der führenden Einheit für den zweiten Kontext.
41. Verfahren einer der Ziffern 38–40, wobei das Feststellen der Ausgabe eines Ereignistyps der ersten Ebene die Anwendung einer Aktivierungsfunktion umfasst.
42. Verfahren einer der Ziffern 37–41, wobei das Feststellen des Ereignistyps des Ereignisses, basierend auf dem Ereignistyps der ersten Ebene, Folgendes umfasst: das Feststellen für jeden Ereignistypknoten der zweiten Ebene einer Anzahl von Korrelationen zwischen den Ereignistypknoten der zweiten Ebene und den unstrukturierten natürlichen Sprachinformationen, wobei jeder Ereignistypknoten der zweiten Ebene ein untergeordneter Knoten eines Ereignistypknoten der ersten Ebene ist und den Ereignistyp der ersten Ebene wiedergibt; und das Feststellen eines Ereignistyps der zweiten Ebene, basierend auf der Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene.
43. Verfahren nach Ziffer 42, wobei das Feststellen des Ereignistyps der zweiten Ebene Folgendes umfasst: das Feststellen, basierend auf der Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene, der maximalen Anzahl an Korrelationen; und das Feststellen des Ereignistyps der zweiten Ebene, basierend auf der maximalen Anzahl an Korrelationen.
44. Verfahren nach Ziffer 43, ferner umfassend: das Feststellen, ob mindestens zwei Ereignisknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen; und gemäß der Feststellung, dass mindestens zwei Ereignisknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen, das Feststellen des Ereignistyps der zweiten Ebene, basierend auf einer oder mehreren Prioritätsregeln.
45. Verfahren einer der Ziffern 42–44, weiterhin umfassend die hierarchische Bestimmung eines Ereignistyps einer höheren Ebene, basierend auf dem Ereignistyp der zweiten Ebene.
46. Verfahren nach Ziffer 45, wobei die hierarchische Bestimmung fortgesetzt wird, bis ein Blattknoten erreicht ist, wobei sich ein Blattknoten nicht hierarchisch auf einen untergeordneten Knoten bezieht.
47. Verfahren einer der Ziffern 45–46, wobei die hierarchische Bestimmung fortgesetzt wird, bis die Anzahl an Korrelationen der einzelnen Ereignistypen einer höheren Ebene Null beträgt.
48. Verfahren einer der Ziffern 45–47, ferner aufweisend: das Feststellen des Ereignistyps des Ereignisses, basierend auf dem Ereignistyps der zweiten oder einer höheren Ebene.
49. Verfahren einer der Ziffern 45–48, ferner umfassend das Anpassen der Feststellung von mindestens einem Ereignistyp der ersten Ebene, dem Ereignistyp der zweiten Ebene, einem Ereignistyp einer höheren Ebene, basierend auf einem oder mehreren Tokens der unstrukturierten natürlichen Sprachinformationen.
50. Verfahren einer der Ziffern 1–49, wobei das Bereitstellen der Ereignisbeschreibung, basierend auf dem Ereignistypen, das Bereitstellen eines Ereignistitels umfasst, wobei der Ereignistitel das Subjekt eines entsprechenden Ereignistypknotens beinhaltet.
51. Verfahren einer der Ziffern 1–50, wobei das Bereitstellen der Ereignisbeschreibung, basierend auf dem Ereignistypen, das Bereitstellen einer Startzeit für das Ereignis beinhaltet.
52. Verfahren einer der Ziffern 1–51, wobei das Bereitstellen der Ereignisbeschreibung, basierend auf dem Ereignistypen, das Bereitstellen einer Endzeit für das Ereignis beinhaltet.
53. Verfahren einer der Ziffern 1–52, wobei das Bereitstellen der Ereignisbeschreibung, basierend auf dem Ereignistypen, das Bereitstellen einer Dauer für das Ereignis beinhaltet.
54. Verfahren einer der Ziffern 1–53, weiter umfassend das Bereitstellen der Ereignisbeschreibung, basierend auf den Kontextinformationen.
55. Verfahren nach Ziffer 54, wobei die Kontextinformationen mindestens einen Standort, ein Datum, eine Uhrzeit oder eine oder mehrere Benutzerpräferenzen umfassen.
56. Verfahren einer der Ziffern 1–55, ferner aufweisend: das Erstellen eines Kalendereintrags, basierend auf der Ereignisbeschreibung; das Anzeigen des Kalendereintrags; und das Bereitstellen einer oder mehrerer Affordanzen, wobei die eine oder mehreren Affordanzen den Empfang einer oder mehrerer Benutzereingaben mit Bezug auf den Kalendereintrag aktivieren.
57. Verfahren nach Ziffer 56, ferner umfassend: Empfang einer oder mehrerer Benutzereingaben, die den Kalendereintrag bestätigen; und Hinzufügen des Kalendereintrags im Kalender des Nutzers.
58. Verfahren einer der Ziffern 56–57, ferner aufweisend: Empfang einer oder mehrerer Benutzereingaben, die den Kalendereintrag bearbeiten; und Hinzufügen des bearbeiteten Kalendereintrags im Kalender des Nutzers.
59. Verfahren einer der Ziffern 56–58, ferner aufweisend: Empfang einer oder mehrerer Benutzereingaben, die den Kalendereintrag ablehnen; und Einleiten eines Dialogs mit dem Nutzer.
60. Verfahren einer der Ziffern 1–59, ferner aufweisend: das Erstellen eines Kalendereintrags, basierend auf der Ereignisbeschreibung; und automatisches Hinzufügen des Kalendereintrags im Kalender des Nutzers.
61. Verfahren einer der Ziffern 1–60, weiterhin umfassend das Erzeugen einer Buchungsanfrage, basierend auf der Ereignisbeschreibung.
62. Verfahren einer der Ziffern 1–61, ferner aufweisend die Bereitstellung einer Ereignisbeschreibung für eine oder mehrere Anwendungen.
63. Ein nichttransitorisches computerlesbares Speichermedium, das ein oder mehrere Programme speichert, wobei das eine oder die mehreren Programme Anweisungen umfassen, die, wenn sie von einer elektronischen Vorrichtung mit einem oder mehreren Prozessoren ausgeführt werden, hervorrufen, Folgendes umfassen: den Empfang von unstrukturierten natürlichen Sprachinformationen von mindestens einem Nutzer; als Reaktion auf ein Empfangen der unstrukturierten natürlichen Sprachinformationen die Feststellung, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind; gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, die Feststellung, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist; und gemäß einer Feststellung, dass eine Vereinbarung zu einem Ereignis vorhanden ist, das Feststellen eines Ereignistyps für das Ereignis; und das Bereitstellen einer Ereignisbeschreibung, basierend auf dem Ereignistyp.
64. Elektronische Vorrichtung, umfassend: einen oder mehrere Prozessoren; Speicher; und einen oder mehrere im Speicher gespeicherte Programme, und das eine oder die mehreren Programme enthält/enthalten Anweisungen für den Empfang von unstrukturierten natürlichen Sprachinformationen von mindestens einem Nutzer; als Reaktion auf ein Empfangen der unstrukturierten natürlichen Sprachinformationen die Feststellung, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind; gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, die Feststellung, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist; und gemäß einer Feststellung, dass eine Vereinbarung zu einem Ereignis vorhanden ist, das Feststellen eines Ereignistyps für das Ereignis; und das Bereitstellen einer Ereignisbeschreibung, basierend auf dem Ereignistyp.
65. Elektronische Vorrichtung, umfassend: Mittel zum Empfang von unstrukturierten natürlichen Sprachinformationen von mindestens einem Nutzer; als Reaktion auf ein Empfangen der unstrukturierten natürlichen Sprachinformationen, Mittel zur Feststellung, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind; gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, Mittel zur Feststellung, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist; und gemäß einer Feststellung, dass eine Vereinbarung zu einem Ereignis vorhanden ist, Mittel zum Feststellen eines Ereignistyps für das Ereignis; und Mittel zum Bereitstellen einer Ereignisbeschreibung, basierend auf dem Ereignistyp.
66. Elektronische Vorrichtung, umfassend: einen oder mehrere Prozessoren; Speicher; und ein oder mehrere im Speicher gespeicherte Programme, und das eine oder die mehreren Programme enthält/enthalten Anweisungen für die Durchführung des Verfahrens einer der Ziffern 1–62.
67. Elektronische Vorrichtung, umfassend: Mittel zum Ausführen eines der Verfahren einer der Ziffern 1–62.
68. Ein nicht-transitorisches computerlesbares Speichermedium, auf dem ein oder mehrere Programme für die Ausführung durch einen oder mehrere Prozessoren einer elektronischen Vorrichtung gespeichert sind, wobei das oder die Programme Anweisungen enthalten, die bei ihrer Ausführung durch einen oder mehrere Prozessoren dazu führen, dass die elektronischen Vorrichtung das Verfahren einer der Ziffern 1–62 durchführt.
69. Ein System zum Betrieb eines digitalen Assistenten, das System bestehend aus Mitteln zur Durchführung eines der Verfahren einer der Ziffern 1–62.
70. Elektronische Vorrichtung, umfassend: eine Empfangseinheit, die für den Empfang von unstrukturierten natürlichen Sprachinformationen von mindestens einem Nutzer konfiguriert ist; Eine Verarbeitungseinheit, die wie folgt konfiguriert ist: als Reaktion auf ein Empfangen der unstrukturierten natürlichen Sprachinformationen die Feststellung, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind; gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, die Feststellung, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist; und gemäß einer Feststellung, dass eine Vereinbarung zu einem Ereignis vorhanden ist, das Feststellen eines Ereignistyps für das Ereignis; und das Bereitstellen einer Ereignisbeschreibung, basierend auf dem Ereignistyp.
71. Die elektronische Vorrichtung nach Ziffer 70, wobei die unstrukturierten natürlichen Sprachinformationen eine Nachricht umfassen.
72. Die elektronische Vorrichtung nach Ziffer 71, wobei die mindestens eine Nachricht eine Textnachricht einschließt.
73. Die elektronische Vorrichtung einer der Ziffern 71–72, wobei die mindestens eine Nachricht eine Spracheingabe umfasst.
74. Die elektronische Vorrichtung einer der Ziffern 70–73 wobei die unstrukturierten natürlichen Sprachinformationen mehrere Nachrichten umfassen.
75. Die elektronische Vorrichtung einer der Ziffern 70–74 wobei die unstrukturierten natürlichen Sprachinformationen mindestens eine elektronische Nachricht umfassen.
76. Die elektronische Vorrichtung einer der Ziffern 70–75, wobei das Feststellen, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind, Folgendes umfasst: das Feststellen einer oder mehrere Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verknüpft sind; und das Feststellen auf der Basis der einen oder mehreren Polaritäten, ob Ereignisinformationen vorhanden sind.
77. Die elektronische Vorrichtung nach Ziffer 76, wobei das Feststellen einer oder mehrerer Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verknüpft sind, Folgendes umfasst: das Erstellen einer Eingabeebene, basierend auf den unstrukturierten natürlichen Sprachinformationen, wobei die Eingabeebene mehrere Eingabeeinheiten und mehrere vorgelagerte Einheiten für den ersten Kontext umfasst; das Erstellen einer ausgeblendeten Ebene, basierend auf der Eingabeebene, wobei die ausgeblendet Ebene mehrere der aktuellen Einheiten für den ersten Kontext umfasst; und das Erstellen einer Ausgabeebene, basierend auf der ausgeblendeten Ebene, wobei die Ausgabeebene eine oder mehrere Ausgabe-Kennzeichnungseinheiten umfasst, die eine oder mehrere Polaritäten mindestens eines Teils der unstrukturierten natürlichen Sprachinformationen darstellen.
78. Die elektronische Vorrichtung nach Ziffer 77, wobei das Erstellen der Eingabeebene, basierend auf den unstrukturierten natürlichen Sprachinformationen, Folgendes umfasst: das Empfangen einer Wortsequenz, basierend auf den unstrukturierten natürlichen Sprachinformationen; das Empfangen mehrerer Tokens, basierend auf den unstrukturierten natürlichen Sprachinformationen; das Erstellen der Eingabeebene mithilfe mindestens einer Wortsequenz und mehreren Tokens.
79. Die elektronische Vorrichtung nach Ziffer 78, wobei die Wortsequenz eine relative zeitliche Beziehung der Wörter innerhalb der Wortsequenz anzeigt.
80. Die elektronische Vorrichtung einer der Ziffern 78–79, wobei die mehreren Tokens Datums- und Zeitinformationen darstellen, die in den unstrukturierten natürlichen Sprachinformationen enthalten sind.
81. Die elektronische Vorrichtung einer der Ziffern 78–80, wobei die mehreren Tokens Entitäten darstellen, die auf der Basis eines Namens-Entitäts-Vokabulars erkannt wurden.
82. Die elektronische Vorrichtung einer der Ziffern 78–81, wobei die Eingabeebene mehrere Eingabeeinheiten umfasst, und jede der Eingabeeinheiten stellt ein Wort oder ein Token dar.
83. Die elektronische Vorrichtung nach Ziffer 82, wobei jede der Eingabeeinheiten eine Kodierung 1-von-N aufweist, wobei N für die Gesamtzahl der Wörter und Tokens innerhalb eines Vokabulars steht, das Vokabular wird so konfiguriert, dass es feststellt, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorliegen.
84. Die elektronische Vorrichtung einer der Ziffern 77–83, wobei das Erstellen der ausgeblendeten Ebene, basierend auf der Eingabeebene, Folgendes umfasst: das Gewichten einer aktuellen Eingabeeinheit mithilfe einer ersten Gewichtungsmatrix; das Gewichten einer vorhergehenden Einheit für den ersten Kontext mithilfe einer zweiten Gewichtungsmatrix; das Feststellen einer ersten Einheit für den ersten Kontext, basierend auf der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der vorhergehenden Einheit für den ersten Kontext.
85. Die elektronische Vorrichtung nach Ziffer 84, wobei die Feststellung der aktuellen Einheit für den ersten Kontext die Anwendung einer Aktivierungsfunktion beinhaltet.
86. Die elektronische Vorrichtung nach Ziffer 85, wobei die Aktivierungsfunktion ein Sigmoid umfasst.
87. Die elektronische Vorrichtung einer der Ziffern 85–86, wobei die Aktivierungsfunktion eine hyperbolische Tangente umfasst.
88. Die elektronische Vorrichtung einer der Ziffern 85–87, wobei die Aktivierungsfunktion eine rektifizierte lineare Einheit ist.
89. Die elektronische Vorrichtung einer der Ziffern 77–88, wobei die ausgeblendete Ebene mehrere Einheiten für den zweiten Kontext umfasst.
90. Die elektronische Vorrichtung nach Ziffer 89, wobei das Erstellen der ausgeblendeten Ebene, basierend auf der Eingabeebene, Folgendes umfasst: das Gewichten einer aktuellen Eingabeeinheit mithilfe einer dritten Gewichtungsmatrix; das Gewichten einer folgenden Einheit für den zweiten Kontext mithilfe einer vierten Gewichtungsmatrix; das Feststellen einer aktuellen Einheit für den zweiten Kontext, basierend auf der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der folgenden Einheit für den zweiten Kontext.
91. Die elektronische Vorrichtung nach Ziffer 90, wobei die Feststellung der aktuellen Einheit für den zweiten Kontext die Anwendung einer Aktivierungsfunktion beinhaltet.
92. Die elektronische Vorrichtung einer der Ziffern 77–91, wobei die Ausgabeebene mehrere Ausgabe-Kennzeichnungseinheiten umfasst, jede Ausgabe-Kennzeichnungseinheit weist eine 1-von-K-Kodierung auf, wobei das K für eine Anzahl an Polaritäten aus einem vorbestimmten Polaritätssatz steht.
93. Die elektronische Vorrichtung nach Ziffer 92, wobei der vorbestimmte Polaritätssatz einen Vorschlag, eine Ablehnung, eine Akzeptanz und ein Nicht-Ereignis umfasst.
94. Die elektronische Vorrichtung einer der Ziffern 77–93, wobei das Erstellen der Ausgabeebene, basierend auf der ausgeblendeten Ebene, Folgendes umfasst: das Gewichten einer aktuellen Einheit für den ersten Kontext mithilfe einer fünften Gewichtungsmatrix; und das Feststellen einer aktuellen Ausgabe-Kennzeichnungseinheit, basierend auf der Gewichtung der Einheit für den ersten Kontext.
95. Die elektronische Vorrichtung nach Ziffer 94, wobei die Feststellung der aktuellen Ausgabe-Kennzeichnungseinheit die Anwendung einer Softmax-Aktivierungsfunktion umfasst.
96. Die elektronische Vorrichtung einer der Ziffern 77–95, wobei das Erstellen der Ausgabeebene, basierend auf der ausgeblendeten Ebene, Folgendes umfasst: das Erhalten eines aktuellen Status, basierend auf einer aktuellen Einheit für den ersten Kontext und einer aktuellen Einheit für den zweiten Kontext; das Gewichten des aktuellen Status mithilfe einer sechsten Gewichtungsmatrix; und das Feststellen einer aktuellen Ausgabe-Kennzeichnungseinheit, basierend auf der Gewichtung des aktuellen Status.
97. Die elektronische Vorrichtung nach Ziffer 96, wobei die Feststellung der aktuellen Ausgabe-Kennzeichnungseinheit die Anwendung einer Softmax-Aktivierungsfunktion umfasst.
98. Die elektronische Vorrichtung einer der Ziffern 76–97, wobei das Feststellen, ob Ereignisinformationen vorhanden sind, basierend auf einer oder mehreren Polaritäten, Folgendes umfasst: das Feststellen, ob die eine oder mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten; gemäß einer Feststellung, dass die eine oder mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten, das Feststellen einer Wahrscheinlichkeit, die mit mindestens diesem Vorschlag, dieser Ablehnung oder Akzeptanz verknüpft ist; das Feststellen, ob die Wahrscheinlichkeit einen ersten Wahrscheinlichkeits-Schwellwert erfüllt; und gemäß einer Feststellung, dass die Wahrscheinlichkeit den ersten Wahrscheinlichkeits-Schwellwert erfüllt, das Feststellen, dass Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind.
99. Die elektronische Vorrichtung einer der Ziffern 76–98, gemäß einer Feststellung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, umfasst die Feststellung, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist: das Feststellen, ob die eine oder mehreren Polaritäten eine Akzeptanz beinhalten; gemäß einer Feststellung, dass die eine oder mehreren Polaritäten eine Akzeptanz beinhalten, das Feststellen einer Wahrscheinlichkeit, die mit der Akzeptanz verknüpft ist; das Feststellen, ob die Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellwert erfüllt; und gemäß einer Feststellung, dass die Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellwert erfüllt, das Feststellen, dass eine Vereinbarung zu einem Ereignis vorliegt.
100. Die elektronische Vorrichtung einer der Ziffern 70–99, wobei das Feststellen des Ereignistyps auf einer hierarchischen Klassifizierung mithilfe einer natürlichen Sprachereignis-Ontologie basiert.
101. Die elektronische Vorrichtung nach Ziffer 100, wobei die natürliche Sprachereignis-Ontologie eine oder mehrere Ebenen umfasst und jede Ebene einen oder mehrere Ereignistypknoten beinhaltet.
102. Die elektronische Vorrichtung nach Ziffer 101, wobei eine erste Ebene der natürlichen Sprachereignis-Ontologie einen Versammlungs-Ereignistypknoten, einen Unterhaltungs-Ereignistypknoten, einen Termin-Ereignistypknoten und einen Arrangement-Ereignistypknoten umfasst.
103. Die elektronische Vorrichtung einer der Ziffern 101–102, wobei die natürliche Sprachereignis-Ontologie eine erste Ebene und eine zweite Ebene umfasst, wobei sich der Ereignistypknoten der ersten Ebene hierarchisch auf einen oder mehrere Ereignistypknoten der zweiten Ebene umfasst.
104. Die elektronische Vorrichtung einer der Ziffern 101–103, wobei mindestens ein Ereignistypknoten mit einer Prioritätsregel verknüpft ist und die Prioritätsregel eine relative Priorität des mindestens einen Ereignistypknoten in Bezug auf einen anderen Ereignistypknoten anzeigt.
105. Die elektronische Vorrichtung einer der Ziffern 101–104, wobei mindestens ein Ereignistypknoten einer zweiten oder höheren Ebene der natürlichen Sprachereignis-Ontologie ein Blattknoten ist, wobei sich ein Blattknoten nicht hierarchisch auf einen untergeordneten Knoten bezieht.
106. Die elektronische Vorrichtung einer der Ziffern 70–105, wobei das Feststellen des Ereignistyps Folgendes umfasst: das Feststellen eines Ereignistyps der ersten Ebene, der mit dem Ereignis verknüpft ist; und das Feststellen des Ereignistyps des Ereignisses, basierend auf dem Ereignistyps der ersten Ebene.
107. Die elektronische Vorrichtung nach Ziffer 106, wobei das Feststellen des Ereignistyps der ersten Ebene das Feststellen die Ausgabe eines Ereignistyps der ersten Ebene einer Ausgabeebene umfasst, wobei die Ausgabe eines Ereignistyps der ersten Ebene eine 1-von-L-Kodierung aufweist, wobei 1 für eine Anzahl an Ereignisknoten der ersten Ebene der natürlichen Sprachereignis-Ontologie steht.
108. Die elektronische Vorrichtung nach Ziffer 107, wobei das Feststellen der Ausgabe eines Ereignistyps der ersten Ebene Folgendes umfasst: das Gewichten einer vorhergehenden Einheit für den ersten Kontext mithilfe einer ausgeblendeten Ebene; und das Feststellen der Ausgabe eines Ereignistyps der ersten Ebene, basierend auf der Gewichtung der vorhergehenden Einheit für den ersten Kontext.
109. Die elektronische Vorrichtung einer der Ziffern 107–108, wobei das Feststellen der Ausgabe eines Ereignistyps der ersten Ebene Folgendes umfasst: das Verketten einer vorhergehenden Einheit für den ersten Kontext und einer führenden Einheit für den zweiten Kontext; das Gewichten der Verkettung der vorhergehenden Einheit für den ersten Kontext mit der führenden Einheit für den zweiten Kontext; und das Feststellen der Ausgabe eines Ereignistyps der ersten Ebene, basierend auf der Gewichtung der Verkettung der vorhergehenden Einheit für den ersten Kontext und der führenden Einheit für den zweiten Kontext.
110. Die elektronische Vorrichtung einer der Ziffern 107–109, wobei das Feststellen der Ausgabe eines Ereignistyps der ersten Ebene die Anwendung einer Aktivierungsfunktion umfasst:
111. Die elektronische Vorrichtung einer der Ziffern 106–110, wobei das Feststellen des Ereignistyps des Ereignisses, basierend auf dem Ereignistyps der ersten Ebene, Folgendes umfasst: das Feststellen für jeden Ereignistypknoten der zweiten Ebene einer Anzahl von Korrelationen zwischen den Ereignistypknoten der zweiten Ebene und den unstrukturierten natürlichen Sprachinformationen, wobei jeder Ereignistypknoten der zweiten Ebene ein untergeordneter Knoten eines Ereignistypknoten der ersten Ebene ist und den Ereignistyp der ersten Ebene wiedergibt; und das Feststellen eines Ereignistyps der zweiten Ebene, basierend auf der Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene.
112. Die elektronische Vorrichtung nach Ziffer in, wobei das Feststellen des Ereignistyps der zweiten Ebene Folgendes umfasst: das Feststellen, basierend auf der Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene, der maximalen Anzahl an Korrelationen; und das Feststellen des Ereignistyps der zweiten Ebene, basierend auf der maximalen Anzahl an Korrelationen.
113. Die elektronische Vorrichtung nach Ziffer 112, ferner Folgendes umfassend: das Feststellen, ob mindestens zwei Ereignisknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen; und gemäß der Feststellung, dass mindestens zwei Ereignisknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen, das Feststellen des Ereignistyps der zweiten Ebene, basierend auf einer oder mehreren Prioritätsregeln.
114. Die elektronische Vorrichtung einer der Ziffern 111–113, weiterhin umfassend die hierarchische Bestimmung eines Ereignistyps einer höheren Ebene, basierend auf dem Ereignistyp der zweiten Ebene.
115. Die elektronische Vorrichtung nach Ziffer 114, wobei die hierarchische Bestimmung fortgesetzt wird, bis ein Blattknoten erreicht ist, wobei sich ein Blattknoten nicht hierarchisch auf einen untergeordneten Knoten bezieht.
116. Die elektronische Vorrichtung einer der Ziffern 114–115, wobei die hierarchische Bestimmung fortgesetzt wird, bis die Anzahl an Korrelationen der einzelnen Ereignistypen einer höheren Ebene Null beträgt.
117. Die elektronische Vorrichtung einer der Ziffern 114–116, ferner aufweisend: das Feststellen des Ereignistyps des Ereignisses, basierend auf dem Ereignistyps der zweiten oder einer höheren Ebene.
118. Die elektronische Vorrichtung einer der Ziffern 114–117, ferner umfassend das Anpassen der Feststellung von mindestens einem Ereignistyp der ersten Ebene, dem Ereignistyp der zweiten Ebene, einem Ereignistyp einer höheren Ebene, basierend auf einem oder mehreren Tokens der unstrukturierten natürlichen Sprachinformationen.
119. Die elektronische Vorrichtung einer der Ziffern 70–118, wobei das Bereitstellen der Ereignisbeschreibung, basierend auf dem Ereignistypen, das Bereitstellen eines Ereignistitels umfasst, wobei der Ereignistitel das Subjekt eines entsprechenden Ereignistypknotens beinhaltet.
120. Die elektronische Vorrichtung einer der Ziffern 70–119, wobei das Bereitstellen der Ereignisbeschreibung, basierend auf dem Ereignistypen, das Bereitstellen einer Startzeit für das Ereignis beinhaltet.
121. Die elektronische Vorrichtung einer der Ziffern 70–120, wobei das Bereitstellen der Ereignisbeschreibung, basierend auf dem Ereignistypen, das Bereitstellen einer Endzeit für das Ereignis beinhaltet.
122. Die elektronische Vorrichtung einer der Ziffern 70–121, wobei das Bereitstellen der Ereignisbeschreibung, basierend auf dem Ereignistypen, das Bereitstellen einer Dauer für das Ereignis beinhaltet.
123. Die elektronische Vorrichtung einer der Ziffern 70–122, weiter umfassend das Bereitstellen der Ereignisbeschreibung, basierend auf den Kontextinformationen.
124. Die elektronische Vorrichtung nach Ziffer 123, wobei die Kontextinformationen mindestens einen Standort, ein Datum, eine Uhrzeit oder eine oder mehrere Benutzerpräferenzen umfassen.
125. Die elektronische Vorrichtung einer der Ziffern 70–124, ferner aufweisend: das Erstellen eines Kalendereintrags, basierend auf der Ereignisbeschreibung; das Anzeigen des Kalendereintrags; und das Bereitstellen einer oder mehrerer Affordanzen, wobei die eine oder mehreren Affordanzen den Empfang einer oder mehrerer Benutzereingaben mit Bezug auf den Kalendereintrag aktivieren.
126. Die elektronische Vorrichtung nach Ziffer 125, ferner Folgendes umfassend: Empfang einer oder mehrerer Benutzereingaben, die den Kalendereintrag bestätigen; und Hinzufügen des Kalendereintrags im Kalender des Nutzers.
127. Die elektronische Vorrichtung einer der Ziffern 125–126, ferner aufweisend: Empfang einer oder mehrerer Benutzereingaben, die den Kalendereintrag bearbeiten; und Hinzufügen des bearbeiteten Kalendereintrags im Kalender des Nutzers.
128. Die elektronische Vorrichtung einer der Ziffern 125–127, ferner aufweisend: Empfang einer oder mehrerer Benutzereingaben, die den Kalendereintrag ablehnen; und Einleiten eines Dialogs mit dem Nutzer.
129. Die elektronische Vorrichtung einer der Ziffern 70–128, ferner aufweisend: das Erstellen eines Kalendereintrags, basierend auf der Ereignisbeschreibung; und automatisches Hinzufügen des Kalendereintrags im Kalender des Nutzers.
130. Die elektronische Vorrichtung einer der Ziffern 70–129, ferner aufweisend die Erzeugung einer Buchungsanfrage auf der Basis der Ereignisbeschreibung.
131. Die elektronische Vorrichtung einer der Ziffern 70–130, ferner aufweisend die Bereitstellung einer Ereignisbeschreibung für eine oder mehrere Anwendungen.
132. Die elektronische Vorrichtung einer der Ziffern 70–131, weiter umfassend das Bereitstellen der Ereignisbeschreibung, basierend auf den Kontextinformationen.
133. Die elektronische Vorrichtung nach Ziffer 132, wobei die Kontextinformationen mindestens einen Standort, ein Datum, eine Uhrzeit oder eine oder mehrere Benutzerpräferenzen umfassen.
134. Die elektronische Vorrichtung einer der Ziffern 70–133, ferner aufweisend: das Erstellen eines Kalendereintrags, basierend auf der Ereignisbeschreibung; das Anzeigen des Kalendereintrags; und das Bereitstellen einer oder mehrerer Affordanzen, wobei die eine oder mehreren Affordanzen den Empfang einer oder mehrerer Benutzereingaben mit Bezug auf den Kalendereintrag aktivieren.
135. Die elektronische Vorrichtung einer der Ziffern 125–134, ferner aufweisend: Empfang einer oder mehrerer Benutzereingaben, die den Kalendereintrag bestätigen; und Hinzufügen des Kalendereintrags im Kalender des Nutzers.
136. Die elektronische Vorrichtung einer der Ziffern 125–135, ferner aufweisend: Empfang einer oder mehrerer Benutzereingaben, die den Kalendereintrag bearbeiten; und Hinzufügen des bearbeiteten Kalendereintrags im Kalender des Nutzers.
137. Die elektronische Vorrichtung einer der Ziffern 125–136, ferner aufweisend: Empfang einer oder mehrerer Benutzereingaben, die den Kalendereintrag ablehnen; und Einleiten eines Dialogs mit dem Nutzer.
138. Die elektronische Vorrichtung einer der Ziffern 70–137, ferner aufweisend: das Erstellen eines Kalendereintrags, basierend auf der Ereignisbeschreibung; und automatisches Hinzufügen des Kalendereintrags im Kalender des Nutzers.
139. Die elektronische Vorrichtung einer der Ziffern 70–138, ferner aufweisend die Erzeugung einer Buchungsanfrage auf der Basis der Ereignisbeschreibung.
140. Die elektronische Vorrichtung einer der Ziffern 70–139, ferner aufweisend die Bereitstellung einer Ereignisbeschreibung für eine oder mehrere Anwendungen.

Zum Zweck der Erklärung wurde die vorstehende Beschreibung mit Bezugnahme auf spezifischen Ausführungsformen beschrieben. Jedoch sollen die vorstehenden veranschaulichenden Erörterungen weder erschöpfend sein noch die Erfindung auf die genauen, offenbarten Formen beschränken. Angesichts der vorstehenden Lehre sind viele Abänderungen und Variationen möglich. Die Ausführungsformen wurden gewählt und beschrieben, um die Grundsätze der Techniken und deren praktische Anwendungen am besten zu erklären. Andere Fachleute werden dadurch befähigt, die Techniken und vielfältigen Ausführungsformen mit vielfältigen Modifikationen, wie sie für die bestimmte betrachtete Verwendung geeignet sind, am besten zu nutzen.
Obwohl die Offenbarung und Beispiele unter Bezugnahme auf die begleitenden Zeichnungen vollständig beschrieben wurden, ist zu beachten, dass vielfältige Änderungen und Modifikationen für den Fachmann ersichtlich sind. Solche Änderungen und Modifikationen sind als innerhalb des Umfangs der Offenbarung und Beispiele, wie sie durch die Ansprüche definiert sind, eingeschlossen zu verstehen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DK 201670552 [0001]
US 7657849 [0058]
US 6323846 [0062]
US 6570557 [0062]
US 6677932 [0062]
US 2002/0015024 A1 [0062]
US 20050190059 [0071]
US 20060017692 [0071]

Zitierte Nicht-Patentliteratur

IEEE 802.11a [0055]
IEEE 802.11b [0055]
IEEE 802.11g [0055]
IEEE 802.11n [0055]
IEEE 802.11ac [0055]

Claims

1. Verfahren, umfassend: an einer elektronischen Vorrichtung mit mindestens einem Prozessor: Empfangen von unstrukturierten natürlichen Sprachinformationen von mindestens einem Nutzer; in Antwort auf das Empfangen der unstrukturierten natürlichen Sprachinformationen, Bestimmen, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind; in Übereinstimmung mit einer Bestimmung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, Bestimmen, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist; und in Übereinstimmung mit einer Bestimmung, dass eine Vereinbarung zu dem Ereignis vorhanden ist, Bestimmen eines Ereignistyps für das Ereignis; und Bereitstellen einer Ereignisbeschreibung basierend auf dem Ereignistyp.

Verfahren nach Anspruch 1, wobei die unstrukturierten natürlichen Sprachinformationen eine oder mehrere Nachrichten umfassen.

Verfahren nach Anspruch 1, wobei das Bestimmen, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind, umfasst: Bestimmen einer oder mehrere Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verknüpft sind; und Bestimmen auf der Basis der einen oder mehreren Polaritäten, ob Ereignisinformationen vorhanden sind.

Das Verfahren nach Anspruch 3, wobei das Bestimmen einer oder mehrerer Polaritäten, die mit den unstrukturierten natürlichen Sprachinformationen verknüpft sind, umfasst: Erzeugen einer Eingabeebene, basierend auf den unstrukturierten natürlichen Sprachinformationen, wobei die Eingabeebene mehrere Eingabeeinheiten und mehrere vorgelagerte Einheiten für den ersten Kontext umfasst; Erzeugen eine ausgeblendeten Ebene, basierend auf der Eingabeebene, wobei die ausgeblendete Ebene mehrere der aktuellen Einheiten für den ersten Kontext umfasst; und Erzeugen einer Ausgabeebene, basierend auf der ausgeblendeten Ebene, wobei die Ausgabeebene eine oder mehrere Ausgabe-Kennzeichnungseinheiten umfasst, die eine oder mehrere Polaritäten mindestens eines Teils der unstrukturierten natürlichen Sprachinformationen darstellen.

Verfahren nach Anspruch 4, wobei das Erzeugen der Eingabeebene, basierend auf den unstrukturierten natürlichen Sprachinformationen, umfasst: Erhalten einer Wortsequenz, basierend auf den unstrukturierten natürlichen Sprachinformationen; Erhalten mehrerer Tokens, basierend auf den unstrukturierten natürlichen Sprachinformationen; Erzeugen der Eingabeebene mithilfe mindestens einer Wortsequenz und der Vielzahl von Tokens.

Verfahren nach Anspruch 4, wobei das Erzeugen der ausgeblendeten Ebene, basierend auf der Eingabeebene, umfasst: Gewichten einer aktuellen Eingabeeinheit mithilfe einer ersten Gewichtungsmatrix; Gewichten einer vorhergehenden Einheit für den ersten Kontext mithilfe einer zweiten Gewichtungsmatrix; Bestimmen einer ersten Einheit für den ersten Kontext, basierend auf der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der vorhergehenden Einheit für den ersten Kontext.

Verfahren nach Anspruch 4, wobei die ausgeblendete Ebene weiterhin eine Vielzahl von Einheiten für den zweiten Kontext umfasst.

Verfahren nach Anspruch 7, wobei das Erzeugen der ausgeblendeten Ebene, basierend auf der Eingabeebene, umfasst: Gewichten einer aktuellen Eingabeeinheit mithilfe einer dritten Gewichtungsmatrix; Gewichten einer folgenden Einheit für den zweiten Kontext mithilfe einer vierten Gewichtungsmatrix; und Bestimmen einer aktuellen Einheit für den zweiten Kontext, basierend auf der Gewichtung der aktuellen Eingabeeinheit und der Gewichtung der folgenden Einheit für den zweiten Kontext.

Verfahren nach Anspruch 4, wobei die Ausgabeebene eine Vielzahl von Ausgabe-Kennzeichnungseinheiten umfasst, jede Ausgabe-Kennzeichnungseinheit weist eine 1-von-K-Kodierung auf, wobei das K für eine Anzahl an Polaritäten aus einem vorbestimmten Polaritätssatz steht.

Verfahren nach Anspruch 9, wobei der vorbestimmte Polaritätssatz einen Vorschlag, eine Ablehnung, eine Akzeptanz und ein Nicht-Ereignis umfasst.

Verfahren nach Anspruch 4, wobei das Erzeugen der Ausgabeebene, basierend auf der ausgeblendeten Ebene, umfasst: Gewichten einer aktuellen Einheit für den ersten Kontext mithilfe einer fünften Gewichtungsmatrix; und Bestimmen einer aktuellen Ausgabe-Kennzeichnungseinheit, basierend auf der Gewichtung der Einheit für den ersten Kontext.

Verfahren nach Anspruch 4, wobei das Erzeugen der Ausgabeebene, basierend auf der ausgeblendeten Ebene, umfasst: Erhalten eines aktuellen Status, basierend auf einer aktuellen Einheit für den ersten Kontext und einer aktuellen Einheit für den zweiten Kontext; Gewichten des aktuellen Status mithilfe einer sechsten Gewichtungsmatrix; und Bestimmen einer aktuellen Ausgabe-Kennzeichnungseinheit, basierend auf der Gewichtung des aktuellen Status.

Verfahren nach Anspruch 3, wobei das Bestimmen, ob Ereignisinformationen vorhanden sind, basierend auf einer oder mehreren Polaritäten, umfasst: Bestimmen, ob die eine oder mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten; in Übereinstimmung mit einer Bestimmung, dass die eine oder mehreren Polaritäten mindestens einen Vorschlag, eine Ablehnung oder eine Akzeptanz beinhalten, Bestimmen einer Wahrscheinlichkeit, die mit mindestens diesem Vorschlag, dieser Ablehnung oder Akzeptanz verknüpft ist; Bestimmen, ob die Wahrscheinlichkeit einen ersten Wahrscheinlichkeits-Schwellwert erfüllt; und in Übereinstimmung mit einer Bestimmung, dass die Wahrscheinlichkeit den ersten Wahrscheinlichkeits-Schwellwert erfüllt, Bestimmen, dass Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind.

Verfahren nach Anspruch 3, in Übereinstimmung mit der Bestimmung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, wobei das Bestimmen, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist umfasst: Bestimmen, ob die eine oder mehreren Polaritäten eine Akzeptanz beinhalten; in Übereinstimmung mit einer Bestimmung, dass die eine oder mehreren Polaritäten eine Akzeptanz beinhalten, Bestimmen einer Wahrscheinlichkeit, die mit der Akzeptanz verknüpft ist; Bestimmen, ob die Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellwert erfüllt; und in Übereinstimmung mit einer Bestimmung, dass die Wahrscheinlichkeit einen zweiten Wahrscheinlichkeits-Schwellwert erfüllt, Bestimmen, dass eine Vereinbarung zu einem Ereignis vorliegt.

Verfahren nach Anspruch 1, wobei das Bestimmen des Ereignistyps auf einer hierarchischen Klassifizierung mithilfe einer natürlichen Sprachereignis-Ontologie basiert.

Verfahren nach Anspruch 15, wobei die natürliche Sprachereignis-Ontologie eine oder mehrere Ebenen umfasst und jede Ebene einen oder mehrere Ereignistypknoten beinhaltet.

Verfahren nach Anspruch 16, wobei mindestens ein Ereignistypknoten mit einer Prioritätsregel verknüpft ist, wobei die Prioritätsregel eine relative Priorität des mindestens einen Ereignistypknoten in Bezug auf einen anderen Ereignistypknoten anzeigt.

Verfahren nach Anspruch 1, wobei das Bestimmen des Ereignistyps umfasst: Bestimmen eines Ereignistyps der ersten Ebene, der mit dem Ereignis verknüpft ist; und Bestimmen des Ereignistyps des Ereignisses, basierend auf dem Ereignistyps der ersten Ebene.

Verfahren nach Anspruch 18, wobei das Bestimmen des Ereignistyps der ersten Ebene das Bestimmen die Ausgabe eines Ereignistyps der ersten Ebene einer Ausgabeebene umfasst, wobei die Ausgabe eines Ereignistyps der ersten Ebene eine 1-von-L-Kodierung aufweist, wobei L für eine Anzahl an Ereignisknoten der ersten Ebene der natürlichen Sprachereignis-Ontologie steht.

Verfahren nach Anspruch 19, wobei das Bestimmen der Ausgabe eines Ereignistyps der ersten Ebene umfasst: Gewichten einer vorhergehenden Einheit für den ersten Kontext mithilfe einer ausgeblendeten Ebene; und Bestimmen einer Ausgabe eines Ereignistyps der ersten Ebene, basierend auf der Gewichtung der vorhergehenden Einheit für den ersten Kontext.

Verfahren nach Anspruch 19, wobei das Bestimmen der Ausgabe eines Ereignistyps der ersten Ebene umfasst: Verketten einer vorhergehenden Einheit für den ersten Kontext und einer führenden Einheit für den zweiten Kontext; Gewichten der Verkettung der vorhergehenden Einheit für den ersten Kontext mit der führenden Einheit für den zweiten Kontext; und Bestimmen der Ausgabe eines Ereignistyps der ersten Ebene, basierend auf der Gewichtung der Verkettung der vorhergehenden Einheit für den ersten Kontext und der führenden Einheit für den zweiten Kontext.

Verfahren nach Anspruch 19, wobei das Bestimmen der Ausgabe eines Ereignistyps der ersten Ebene ein Anwenden einer Aktivierungsfunktion umfasst.

Verfahren nach Anspruch 18, wobei das Bestimmen des Ereignistyps des Ereignisses, basierend auf dem Ereignistyps der ersten Ebene, umfasst: Bestimmen, für jeden Ereignistypknoten der zweiten Ebene, einer Anzahl von Korrelationen zwischen den Ereignistypknoten der zweiten Ebene und den unstrukturierten natürlichen Sprachinformationen, wobei jeder Ereignistypknoten der zweiten Ebene ein untergeordneter Knoten eines Ereignistypknoten der ersten Ebene ist und den Ereignistyp der ersten Ebene wiedergibt; und Bestimmen eines Ereignistyps der zweiten Ebene, basierend auf der Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene.

Verfahren nach Anspruch 23, wobei das Bestimmen des Ereignistyps der zweiten Ebene umfasst: Bestimmen, basierend auf der Anzahl der Korrelationen für jeden Ereignistypknoten der zweiten Ebene, einer maximalen Anzahl an Korrelationen; und Bestimmen des Ereignistyps der zweiten Ebene, basierend auf der maximalen Anzahl an Korrelationen.

Verfahren gemäß Anspruch 24, ferner umfassend: Bestimmen, ob mindestens zwei Ereignisknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen; und in Übereinstimmung mit einer Bestimmung, dass mindestens zwei Ereignisknoten der zweiten Ebene der maximalen Anzahl an Korrelationen entsprechen, Bestimmen eines Ereignistyps der zweiten Ebene, basierend auf einer oder mehreren Prioritätsregeln.

Verfahren nach Anspruch 1, wobei der das Bereitstellen der Ereignisbeschreibung, basierend auf dem Ereignistyps des Ereignisses, ein Bereitstellen von mindestens einem der Folgenden umfasst: eines Ereignistitels, einer Startzeit des Ereignisses, einer Endzeit des Ereignisses oder einer Dauer des Ereignisses, wobei der Ereignistitel einen Betreff für einen entsprechenden Ereignistypknoten beinhaltet.

Verfahren gemäß Anspruch 1, ferner umfassend: Erzeugen eines Kalendereintrags, basierend auf der Ereignisbeschreibung; Anzeigen eines Kalendereintrags; und Bereitstellen einer oder mehrerer Affordanzen, wobei die eine oder mehreren Affordanzen den Empfang einer oder mehrerer Benutzereingaben mit Bezug auf den Kalendereintrag aktivieren.

Nichttransitorisches computerlesbares Speichermedium, das ein oder mehrere Programme speichert, wobei das eine oder die mehreren Programme Anweisungen umfassen, die, wenn sie von einem oder von mehreren Prozessoren einer elektronischen Vorrichtung ausgeführt werden, die elektronische Vorrichten veranlassen zum: Empfangen von unstrukturierten natürlichen Sprachinformationen von mindestens einem Nutzer; in Antwort auf das Empfangen der unstrukturierten natürlichen Sprachinformationen, Bestimmen, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind; in Übereinstimmung mit einer Bestimmung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, Bestimmen, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist; und in Übereinstimmung mit einer Bestimmung, dass eine Vereinbarung zu einem Ereignis vorhanden ist, Bestimmen eines Ereignistyps für das Ereignis; und Bereitstellen einer Ereignisbeschreibung, basierend auf dem Ereignistyp.

System, umfassend: einen oder mehrere Prozessoren; Speicher; und einen oder mehrere im Speicher gespeicherte Programme, wobei das eine oder die mehreren Programme Anweisungen beinhalten zum: Empfangen von unstrukturierten natürlichen Sprachinformationen von mindestens einem Nutzer; in Antwort auf das Empfangen der unstrukturierten natürlichen Sprachinformationen, Bestimmen, ob Ereignisinformationen in den unstrukturierten natürlichen Sprachinformationen vorhanden sind; in Übereinstimmung mit einer Bestimmung, dass Ereignisinformationen innerhalb der unstrukturierten natürlichen Sprachinformationen vorhanden sind, Bestimmen, ob eine Vereinbarung zu einem Ereignis in den unstrukturierten natürlichen Sprachinformationen vorhanden ist; und in Übereinstimmung mit einer Bestimmung, dass eine Vereinbarung zu dem Ereignis vorhanden ist, Bestimmen eines Ereignistyps für das Ereignis; und Bereitstellen einer Ereignisbeschreibung basierend auf dem Ereignistyp.