DE112014002747T5 - Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten - Google Patents

Abstract

Eine elektronische Vorrichtung mit einem oder mehreren Prozessoren und Speicher weist eine Vorgehensweise zum Aktivieren der Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten auf. In einigen Ausführungsformen zeigt die Vorrichtung einen ersten Dialog in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten an. Infolge einer Anforderung, eine andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten anzuzeigen, zeigt die Vorrichtung die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten an. Infolge einer Anforderung zum Aufrufen des digitalen Assistenten zeigt die Vorrichtung eine zweite Instanz der Benutzerschnittstelle des digitalen Assistenten an, einschließlich des Anzeigens eines zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zum Anzeigen in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.

Description

• Querverweis auf verwandte Anmeldungen
• Diese Anmeldung beansprucht Priorität gegenüber der vorläufigen US-Anmeldung Anmelde-Nr. 61/832,898, eingereicht am 9. Juni 2013, mit dem Titel „DEVICE, METHOD, AND GRAPHICAL USER INTERFACE FOR ENABLING CONVERSATION PERSISTENCE ACROSS TWO OR MORE INSTANCES OF A DIGITAL ASSISTANT”, die hiermit in ihrer Gesamtheit durch Bezugnahme für alle Zwecke eingeschlossen ist.
• Technisches Gebiet
• Die offenbarten Ausführungsformen betreffen allgemein digitale Assistenzsysteme und insbesondere Kontext- und/oder Konversationspersistenz.
• Hintergrund
• Ebenso wie menschliche persönliche Assistenten können digitale Assistenzsysteme geforderte Aufgaben erledigen und angeforderte(n) Rat, Informationen oder Dienste bereitstellen. Die Fähigkeit eines digitalen Assistenzsystems zum Erfüllen einer Anforderung eines Benutzers hängt vom korrekten Verstehen der Anforderung oder Anweisungen durch das digitale Assistenzsystem ab. Kürzliche Fortschritte bei der Verarbeitung natürlicher Sprache haben Benutzer in die Lage versetzt, mit digitalen Assistenzsystemen unter Verwendung von natürlicher Sprache in gesprochener oder textueller Form zu interagieren. Solche digitalen Assistenzsysteme können die Eingabe des Benutzers interpretieren, um die Absicht des Benutzers abzuleiten, die abgeleitete Absicht in durchführbare Tasks und Parameter zu übersetzen, Vorgänge auszuführen oder Dienste zu nutzen, um die Tasks durchzuführen, und eine Ausgabe zu erzeugen, die für den Benutzer verständlich ist. Idealerweise sollte die von einem digitalen Assistenzsystem erzeugte Ausgabe die Absicht des Benutzers erfüllen, die während der Interaktion mit natürlicher Sprache zwischen dem Benutzer und dem digitalen Assistenzsystem ausgedrückt wird.
• Die Fähigkeit eines digitalen Assistenzsystems zum Erzeugen zufriedenstellender Antworten auf Benutzeranforderungen hängt von der Verarbeitung natürlicher Sprache, der Wissensdatenbank und der künstlichen Intelligenz, die dem digitalen Assistenzsystem zur Verfügung steht, ab. Obwohl derzeit zahlreiche Drittanbietersysteme und -dienste existieren, gibt es kein effizientes Mittel für ein digitales Assistenzsystem, die Kontext- und/oder Konversationspersistenz über zwei oder mehr diskontinuierliche Instanzen eines digitalen Assistenten zu ermöglichen bzw. zu aktivieren.
• Zusammenfassung
• Die hierin offenbarten Ausführungsformen stellen Verfahren, Vorrichtungen, Systeme und nichttransitorische computerlesbare Speichermedien zum Bedienen eines digitalen Assistenten bereit, um Kontext- und/oder Konversationspersistenz zu ermöglichen.
• Dementsprechend stellen einige Ausführungsformen ein Verfahren zum Bedienen eines digitalen Assistenten bereit, das an einer elektronischen Vorrichtung durchgeführt wird, die eine Anzeige, einen oder mehrere Prozessoren und Speicher, der ein oder mehrere Programme zum Ausführen durch den einen oder die mehreren Prozessoren speichert, aufweist, wobei das Verfahren das Anzeigen eines ersten Dialogs in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten umfasst. Infolge einer Anforderung, eine andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten anzuzeigen, weist das Verfahren das Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten auf. Infolge einer Anforderung, den digitalen Assistenten aufzurufen, weist das Verfahren ferner das Anzeigen einer zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten auf, die das Anzeigen eines zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten einschließt, wobei der erste Dialog zum Anzeigen in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.
• In einigen Ausführungsformen umfasst das Verfahren ferner vor dem Anzeigen der ersten Instanz der Benutzerschnittstelle des digitalen Assistenten: Erkennen einer vorherigen Anforderung, den digitalen Assistenten aufzurufen; Erkennen einer Spracheingabe; und Bereitstellen einer Transkription der Spracheingabe, wobei der erste Dialog die Transkription der Spracheingabe aufweist.
• In einigen Ausführungsformen weist das Verfahren ferner, infolge der Anforderung zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten, das Beenden der Anzeige der Benutzerschnittstelle des digitalen Assistenten auf.
• In einigen Ausführungsformen weist das Verfahren ferner Folgendes auf: Anzeigen eines ersten Angebots in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten; Erkennen einer Benutzerauswahl des ersten Angebots; und, infolge der Benutzerauswahl des ersten Angebots, Anzeigen mindestens eines Abschnitts des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten.
• In einigen Ausführungsformen umfasst das Verfahren ferner das Anzeigen mindestens eines Abschnitts des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten.
• In einigen Ausführungsformen weist das Verfahren ferner Folgendes auf: Anzeigen eines zweiten Angebots, das einem jeweiligen Unterabschnitt des ersten Dialogs entspricht; Erkennen einer Benutzerauswahl des zweiten Angebots; und, infolge der Benutzerauswahl des zweiten Angebots, das Beenden der Anzeige mindestens eines Teils des jeweiligen Unterabschnitts des ersten Dialogs.
• In einigen Ausführungsformen umfasst das Verfahren ferner, infolge der Benutzerauswahl des zweiten Angebots, das Ausschließen von Kontextdaten im Zusammenhang mit dem Unterabschnitt des ersten Dialogs aus einem Kontextverlauf des digitalen Assistenten.
• In einigen Ausführungsformen weist das Verfahren ferner Folgendes auf: Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine erste vorgegebene Bedingung erfüllt; und gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die erste vorgegebene Bedingung erfüllt, Aufrufen gespeicherter Kontextdaten, während die zweite Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird.
• In einigen Ausführungsformen wird die erste vorbestimmte Bedingung erfüllt, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Kontextablaufzeitraums empfangen wird.
• In einigen Ausführungsformen umfasst das Verfahren ferner das Löschen der Kontextdaten im Zusammenhang mit dem ersten Dialog aus dem Kontextverlauf bei Ablauf des vorgegebenen Kontextablaufzeitraums.
• In einigen Ausführungsformen wird die erste vorgegebene Bedingung nicht erfüllt, wenn die elektronische Vorrichtung gesperrt ist.
• In einigen Ausführungsformen weist der zweite Dialog eine Benutzeranfrage an den digitalen Assistenten auf, und das Verfahren umfasst ferner: Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; und während des Anzeigens der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, gemäß einer Bestimmung, dass eine vorgegebene Kontextbedingung erfüllt wurde, Beantworten der Benutzeranfrage an den digitalen Assistenten unter Verwendung der gespeicherten Kontextdaten, während eine Antwort auf die Benutzeranfrage bestimmt wird.
• In einigen Ausführungsformen wird die vorgegebene Kontextbedingung erfüllt, wenn infolge einer Benutzeraktion, die während der Anzeige der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten ausgeführt wird, mindestens ein Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird.
• In einigen Ausführungsformen weist das Verfahren ferner Folgendes auf: Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine zweite vorgegebene Bedingung erfüllt; gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die zweite vorgegebene Bedingung erfüllt, Anzeigen der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, einschließlich Anzeigen des zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt; und gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die zweite vorgegebene Bedingung nicht erfüllt, Anzeigen der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, ohne den ersten Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar zu machen.
• In einigen Ausführungsformen wird die zweite vorbestimmte Bedingung erfüllt, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Konversationsablaufzeitraums empfangen wird.
• In einigen Ausführungsformen weist das Verfahren ferner Folgendes auf: Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine erste vorgegebene Bedingung erfüllt, wobei die erste vorgegebene Bedingung erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Kontextablaufzeitraums empfangen wird; gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die erste vorgegebene Bedingung erfüllt, Aufrufen gespeicherter Kontextdaten, während die zweite Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird; und Löschen der Kontextdaten im Zusammenhang mit dem ersten Dialog aus dem Kontextverlauf nach Ablauf des vorgegebenen Kontextablaufzeitraums, wobei der vorgegebene Kontextablaufzeitraum kürzer ist als der vorgegebene Konversationsablaufzeitraum.
• In einigen Ausführungsformen wird die zweite vorgegebene Bedingung nicht erfüllt, wenn die elektronische Vorrichtung gesperrt ist.
• In einigen Ausführungsformen umfasst die zweite vorgegebene Bedingung eine Bedingung, die erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten empfangen wird, bevor eine vorgegebene Anzahl von Benutzerinteraktionen mit der elektronischen Vorrichtung nach dem Anzeigen des ersten Dialogs erkannt wird.
• In einigen Ausführungsformen entspricht die Anforderung zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten einer Benutzereingabe zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten.
• In einigen Ausführungsformen entspricht die Benutzereingabe zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten einer Anforderung zum Starten einer Anwendung.
• In einigen Ausführungsformen entspricht die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten nicht dem digitalen Assistenten.
• In einigen Ausführungsformen ist die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten mit einer Anwendung verbunden, die vom digitalen Assistenten verschieden ist.
• Einige Ausführungsformen stellen ein Verfahren zum Bedienen eines digitalen Assistenten bereit, das an zwei oder mehr elektronischen Vorrichtungen durchgeführt wird, die jeweils eine Anzeige, einen oder mehrere Prozessoren und Speicher zum Speichern eines oder mehrerer Programme zum Ausführen durch den einen oder die mehreren Prozessoren aufweisen, wobei das Verfahren das Anzeigen eines ersten Dialogs in einer ersten Benutzerschnittstelle eines digitalen Assistenten an einer ersten Vorrichtung umfasst. An einer zweiten Vorrichtung, die sich von der ersten Vorrichtung unterscheidet, umfasst das Verfahren ferner das Anzeigen eines zweiten Dialogs in einer zweiten Benutzerschnittstelle des digitalen Assistenten infolge einer Anforderung zum Aufrufen des digitalen Assistenten an der zweiten Vorrichtung, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist.
• Gemäß einigen Ausführungsformen sind in einem nichttransitorischen computerlesbaren Speichermedium Anweisungen gespeichert, die, wenn sie von einer elektronischen Vorrichtung ausgeführt werden, bewirken, dass die Vorrichtung die Vorgänge jedes der vorstehend beschriebenen Verfahren durchführt. Gemäß einigen Ausführungsformen weist eine elektronische Vorrichtung einen oder mehrere Prozessoren, Speicher und ein oder mehrere Programme auf; das eine oder die mehreren Programme werden in dem Speicher gespeichert und so konfiguriert, dass sie von dem einen oder den mehreren Prozessoren ausgeführt werden, und das eine oder die mehreren Programme weisen Anweisungen zum Ausführen der Vorgänge jedes der vorstehend beschriebenen Verfahren auf. Gemäß einigen Ausführungsformen eine grafische Benutzerschnittstelle an einer elektronischen Vorrichtung mit einer Anzeige, einem Speicher und einem oder mehreren Prozessoren zum Ausführen eines oder mehrerer Programme, die in dem Speicher gespeichert sind, wobei die grafische Benutzerschnittstelle Benutzerschnittstellen umfasst, die gemäß jedem beliebigen der vorstehend beschriebenen Verfahren angezeigt werden. Gemäß einigen Ausführungsformen weist eine elektronische Vorrichtung Mittel zum Ausführen der Vorgänge jedes der vorstehend beschriebenen Verfahren auf. Gemäß einigen Ausführungsformen weist eine Informationsverarbeitungsvorrichtung zum Gebrauch in einer elektronischen Vorrichtung Mittel zum Ausführen der Vorgänge jedes der vorstehend beschriebenen Verfahren auf.
• Gemäß einigen Ausführungsformen weist eine elektronische Vorrichtung eine Berührungsbildschirm-Anzeigeeinheit, die so konfiguriert, dass sie eine Benutzerschnittstelle anzeigt und Berührungseingabe empfängt, und eine Tonempfangseinheit, die zum Empfangen von Toneingabe konfiguriert ist, auf. Die elektronische Vorrichtung weist auch eine Verarbeitungseinheit auf, die mit der Berührungsbildschirm-Anzeigeeinheit und der Tonempfangseinheit gekoppelt ist. Die Verarbeitungseinheit ist so konfiguriert, dass das Anzeigen eines ersten Dialogs in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten auf der Berührungsbildschirm-Anzeigeeinheit aktiviert wird. Infolge einer Anforderung zum Aktivieren der Anzeige einer anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten ist die Verarbeitungseinheit so konfiguriert, dass das Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten aktiviert wird. Infolge einer Anforderung zum Aufrufen des digitalen Assistenten ist die Verarbeitungseinheit ferner so konfiguriert, dass das Anzeigen einer zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten auf der Berührungsbildschirm-Anzeigeeinheit aktiviert wird, einschließlich des Aktivierens der Anzeige eines zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.
• Gemäß einigen Ausführungsformen weist ein System zwei oder mehr elektronische Vorrichtungen auf. Eine erste elektronische Vorrichtung weist eine Berührungsbildschirm-Anzeigeeinheit, die so konfiguriert, dass sie eine Benutzerschnittstelle anzeigt und Berührungseingabe empfängt, und eine Tonempfangseinheit, die zum Empfangen von Toneingabe konfiguriert ist, auf. Die erste elektronische Vorrichtung weist auch eine Verarbeitungseinheit auf, die mit der Berührungsbildschirm-Anzeigeeinheit und der Tonempfangseinheit gekoppelt ist. Eine zweite elektronische Vorrichtung weist eine Berührungsbildschirm-Anzeigeeinheit die so konfiguriert, dass sie eine Benutzerschnittstelle anzeigt und Berührungseingabe empfängt, und eine Tonempfangseinheit, die zum Empfangen von Toneingabe konfiguriert ist, auf. Die zweite elektronische Vorrichtung weist auch eine Verarbeitungseinheit auf, die mit der Berührungsbildschirm-Anzeigeeinheit und der Tonempfangseinheit gekoppelt ist. Die Verarbeitungseinheit der ersten elektronischen Vorrichtung ist so konfiguriert, dass sie das Anzeigen eines ersten Dialogs in einer ersten Benutzerschnittstelle eines digitalen Assistenten an der Berührungsbildschirm-Anzeigeeinheit aktiviert. Infolge einer Anforderung zum Aufrufen des digitalen Assistenten an der zweiten elektronischen Vorrichtung wird die Verarbeitungseinheit der zweiten elektronischen Vorrichtung so konfiguriert, dass sie das Anzeigen eines zweiten Dialogs in einer zweiten Benutzerschnittstelle des digitalen Assistenten an der Berührungsbildschirm-Anzeigeeinheit aktiviert, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist.
• Die Details einer oder mehrerer Ausführungsformen des in dieser Patentschrift beschriebenen Gegenstands sind in den beigefügten Zeichnungen und der nachfolgenden Beschreibung dargelegt. Andere Merkmale, Gesichtspunkte und Vorteile des Gegenstands werden aus der Beschreibung, den Zeichnungen und den Ansprüchen offensichtlich.
• Kurzbeschreibung der Zeichnungen
• 1 ist ein Blockdiagramm, das eine Umgebung darstellt, in der ein digitaler Assistent gemäß einigen Ausführungsformen betrieben wird.
• 2 ist ein Blockdiagramm, das ein Client-System eines digitalen Assistenten gemäß einigen Ausführungsformen darstellt.
• 3A ist ein Blockdiagramm, das ein digitales Assistenzsystem oder einen Serverabschnitt davon gemäß einigen Ausführungsformen darstellt.
• 3B ist ein Blockdiagramm, das Funktionen des digitalen Assistenten, in 3A dargestellt, gemäß einigen Ausführungsformen zeigt.
• 3C ist ein Diagramm eines Abschnitts einer Ontologie, die in 3B dargestellt ist, gemäß einigen Ausführungsformen.
• 4 ist ein Blockdiagramm eines Persistenzmoduls, das in 3B dargestellt ist, gemäß einigen Ausführungsformen.
• 5A–OO zeigen beispielhafte Benutzerschnittstellen zum Aktivieren von Kontext- und/oder Konversationspersistenz gemäß einigen Ausführungsformen.
• 6A–D zeigen ein Fließschema für ein beispielhaftes Verfahren zum Aktivieren von Kontext- und/oder Konversationspersistenz gemäß einigen Ausführungsformen.
• 7 veranschaulicht ein Blockdiagramm eines Systems, das zwei oder mehr elektronische Vorrichtungen zum Aktivieren von Kontext- und/oder Konversationspersistenz gemäß einigen Ausführungsformen aufweist.
• 8 veranschaulicht ein Fließschema für ein beispielhaftes Verfahren zum Aktivieren von Kontext- und/oder Konversationspersistenz zwischen zwei oder mehr elektronischen Vorrichtungen gemäß einigen Ausführungsformen.
• 9 ist ein funktionelles Blockdiagramm einer elektronischen Vorrichtung gemäß einigen Ausführungsformen.
• 10 ist ein funktionelles Blockdiagramm einer elektronischen Vorrichtung gemäß einigen Ausführungsformen.
• Gleiche Bezugszeichen beziehen sich auf entsprechende Teile in den Zeichnungen.
• Beschreibung von Ausführungsformen
• 1 ist ein Blockdiagramm einer Bedienumgebung 100 eines digitalen Assistenten gemäß einigen Ausführungsformen. Die Begriffe „digitaler Assistent”, „virtueller Assistent”, „intelligenter automatisierter Assistent” oder „automatischer digitaler Assistent” beziehen sich auf jegliches Informationsverarbeitungssystem, das Eingabe natürlicher Sprache in gesprochener und/oder textueller Form interpretiert, um die Benutzerabsicht abzuleiten, und Aktionen auf der Grundlage der abgeleiteten Benutzerabsicht ausführt. Um eine abgeleitete Benutzerabsicht umzusetzen, kann das System zum Beispiel eines oder mehrere der Folgenden ausführen: Identifizieren eines Task-Flows mit Schritten und Parametern, die zum Vollbringen der abgeleiteten Benutzerabsicht ausgelegt sind; Eingeben spezifischer Erfordernisse aus der abgeleiteten Benutzerabsicht in den Task-Flow; Ausführen des Task-Flows durch Aufrufen von Programmen, Verfahren, Diensten, APIs oder Ähnlichem; und Erzeugen von Ausgabeantworten an den Benutzer in einer hörbaren (z. B. Sprache) und/oder visuellen Form.
• Insbesondere ist ein digitaler Assistent (DA) in der Lage, eine Benutzeranforderung mindestens teilweise in der Form eines Befehls, einer Anforderung, einer Aussage, Erzählung und/oder Anfrage in natürlicher Sprache zu akzeptieren. In der Regel sucht die Benutzeranforderung entweder eine informationelle Antwort oder Ausführung eines Tasks von dem digitalen Assistenten. Eine zufriedenstellende Reaktion auf die Benutzeranforderung ist entweder das Bereitstellen der angeforderten informationellen Antwort, Ausführung des angeforderten Tasks oder eine Kombination der beiden. Zum Beispiel kann ein Benutzer dem digitalen Assistenten eine Frage stellen, wie „Wo bin ich hier?” Auf der Grundlage des aktuellen Standorts des Benutzers kann der digitale Assistent antworten: „Sie sind im Central Park.” Der Benutzer kann auch die Ausführung eines Tasks anfordern, zum Beispiel „Bitte erinnere mich daran, heute um 16.00 Uhr Mutter anzurufen!” Als Reaktion kann der digitale Assistent die Anforderung zur Kenntnis nehmen und dann eine geeignete Erinnerung im elektronischen Terminplan des Benutzers erzeugen. Während der Ausführung eines angeforderten Tasks interagiert der digitale Assistent gelegentlich mit dem Benutzer in einem kontinuierlichen Dialog, der mehrere Informationsaustausche über einen verlängerten Zeitraum beinhaltet. Es gibt zahlreiche andere Wege des Interagierens mit einem digitalen Assistenten, um Informationen oder die Ausführung verschiedener Tasks anzufordern. Zusätzlich zum Bereitstellen verbaler Antworten und dem Ausüben programmierter Aktionen stellt der digitale Assistent auch Antworten in anderen visuellen oder akustischen Formen bereit (z. B. als Text, Warnungen, Musik, Videos, Animationen usw.).
• Ein Beispiel eines digitalen Assistenten ist in der US-Gebrauchsmusteranmeldung des Anmelders, Anmelde-Nr. 12/987,982 mit dem Titel „Intelligent Automated Assistant”, eingereicht am 10. Januar 2011, deren gesamte Offenbarung durch Bezugnahme hierin eingeschlossen ist, beschrieben.
• Wie in 1 dargestellt, ist in einigen Ausführungsformen ein digitaler Assistent gemäß einem Client-Server-Modell implementiert. Der digitale Assistent weist einen clientseitigen Abschnitt 102a, 102b (nachstehend „DA-Client 102”), der auf der Benutzervorrichtung 104a, 104b ausgeführt wird, und einen serverseitigen Abschnitt 106 (nachstehend „DA-Server 106”), der auf einem Serversystem 108 ausgeführt wird, auf. DA-Client 102 kommuniziert mit DA-Server 106 durch ein oder mehrere Netzwerke 110. DA-Client 102 stellt clientseitige Funktionalitäten bereit, wie zum Benutzer gerichtete Eingabe- und Ausgabeverarbeitung und Kommunikationen mit DA-Server 106. DA-Server 106 stellt serverseitige Funktionalitäten für eine beliebige Anzahl von DA-Clients 102 bereit, die sich jeweils auf einer jeweiligen Benutzervorrichtung 104 befinden.
• In einigen Ausführungsformen weist DA-Server 106 eine zum Client gerichtete E/A-Schnittstelle 112, ein oder mehrere Verarbeitungsmodule 114, Daten und Modelle 116 und eine E/A-Schnittstelle mit externen Diensten 118 auf. Die clientseitige E/A-Schnittstelle erleichtert die clientseitige Eingabe- und Ausgabeverarbeitung für DA-Server 106. Ein oder mehrere Verarbeitungsmodule 114 nutzen Daten und Modelle 116 zum Bestimmen der Absicht des Benutzers auf der Grundlage von Eingabe natürlicher Sprache und zur Taskausführung auf der Grundlage der abgeleiteten Benutzerabsicht. In einigen Ausführungsformen kommuniziert DA-Server 106 mit externen Diensten 120 durch das bzw. die Netzwerk(e) 110, um Tasks zu erfüllen oder Informationen zu beschaffen. Die E/A-Schnittstelle mit externen Diensten 118 erleichtert solche Kommunikationen.
• Zu Beispielen für Benutzervorrichtung 104 gehören, ohne jedoch darauf beschränkt zu sein, ein Handheld-Computer, ein persönlicher digitaler Assistent (PDA), ein Tablet-Computer, ein Laptop-Computer, ein Desktop-Computer, ein Mobiltelefon, ein Smartphone, ein EGPRS-Mobiltelefon (Enhanced General Packet Radio Service), ein Mediaplayer, eine Navigationsvorrichtung, eine Spielkonsole, ein Fernseher, eine Fernbedienung oder eine Kombination jeglicher zwei oder mehr dieser Datenverarbeitungsvorrichtungen oder andere Datenverarbeitungsvorrichtungen. Weitere Details zur Benutzervorrichtung 104 sind bezugnehmend auf eine beispielhafte Benutzervorrichtung 104, die in 2 dargestellt ist, bereitgestellt.
• Zu Beispielen des bzw. der Kommunikationsnetzwerk(e) 110 gehören lokale Netzwerke („LAN”) und Weitverkehrsnetzwerke („WAN”), wie das Internet. Kommunikationsnetzwerk(e) 110 werden wahlweise mithilfe irgendeines bekannten Netzwerkprotokolls implementiert, einschließlich verschiedener kabelgebundener oder Drahtlosprotokolle, wie Ethernet, Universal Serial Bus (USB), FIREWIRE, Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), Code Division Multiple Access (CDMA), Time Division Multiple Access (TDMA), Bluetooth, Wi-Fi, Voice-over Internet Protocol (VoIP), Wi-MAX oder eines beliebigen anderen geeigneten Kommunikationsprotokolls.
• Serversystem 108 wird auf einer oder mehreren eigenständigen Datenverarbeitungsvorrichtungen oder einem verteilten Netzwerk von Computern implementiert. In einigen Ausführungsformen setzt das Serversystem 108 auch verschiedene virtuelle Vorrichtungen und/oder Dienste von Dritt-Service-Providern (z. B. Dritt-Cloud-Service-Providern) ein, um die zugrundeliegenden Rechenressourcen und/oder Infrastrukturressourcen des Serversystems 108 bereitzustellen.
• Obwohl der in 1 dargestellte digitale Assistent sowohl einen clientseitigen Abschnitt (z. B. DA-Client 102) als auch einen serverseitigen Abschnitt (z. B. DA-Server 106) aufweist, werden in einigen Ausführungsformen die Funktionen eines digitalen Assistenten als eigenständige Anwendung, die auf einer Benutzervorrichtung installiert ist, implementiert. Außerdem kann die Unterteilung von Funktionalitäten zwischen dem Client- und Serverabschnitt des digitalen Assistenten in unterschiedlichen Ausführungsformen variieren. Zum Beispiel ist in einigen Ausführungsformen DA-Client 102 ein Thin-Client, der nur benutzerseitige Eingabe- und Ausgabeverarbeitungsfunktionen bereitstellt und alle anderen Funktionalitäten des digitalen Assistenten an einen Backend-Server delegiert.
• 2 ist ein Blockdiagramm einer Benutzervorrichtung 104 gemäß einigen Ausführungsformen. Benutzervorrichtung 104 weist eine Speicherschnittstelle 202, einen oder mehrere Prozessoren 204 und eine Peripheriegeräteschnittstelle 206 auf. Die verschiedenen Komponenten in der Benutzervorrichtung 104 sind über eine(n) oder mehrere Kommunikationsbusse oder Signalleitungen gekoppelt. Die Benutzervorrichtung 104 weist verschiedene Sensoren, Subsysteme und Peripheriegeräte auf, die mit der Peripheriegeräteschnittstelle 206 gekoppelt sind. Die Sensoren, Subsysteme und Peripheriegeräte tragen Informationen zusammen und/oder erleichtern verschiedene Funktionalitäten der Benutzervorrichtung 104.
• Zum Beispiel sind ein Bewegungssensor 210, ein Lichtsensor 212 und ein Näherungssensor 214 mit der Peripheriegeräteschnittstelle 206 gekoppelt, um Ausrichtung, Beleuchtung und Näherungssensorfunktionen zu erleichtern. Ein oder mehrere andere Sensoren 216, wie ein Positionsbestimmungssystem (z. B. ein GPS-Empfänger), ein Temperatursensor, ein Biometriksensor, ein Gyroskop, ein Kompass, ein Beschleunigungsmesser und dergleichen, sind auch mit der Peripheriegeräteschnittstelle 206 verbunden, um damit verbundene Funktionalitäten zu erleichtern.
• In einigen Ausführungsformen werden ein Kamera-Subsystem 220 und ein optischer Sensor 222 verwendet, um Kamerafunktionen, wie Fotografieren und Aufzeichnen von Videoclips, zu erleichtern. Kommunikationsfunktionen werden durch ein oder mehrere kabelgebundene und/oder drahtlose Kommunikations-Subsysteme 224 erleichtert, die verschiedene Kommunikationsports, Funkfrequenzempfänger und -sender und/oder optische (z. B. Infrarot-)Empfänger und Sender einschließen können. Ein Audio-Subsystem 226 ist mit Lautsprechern 228 und einem Mikrofon 230 gekoppelt, um sprachaktivierte Funktionen, wie Spracherkennung, Sprachreplikation, digitale Aufzeichnung und Telefoniefunktionen, zu erleichtern.
• In einigen Ausführungsformen ist auch ein E/A-Subsystem 240 mit der peripheren Schnittstelle 206 gekoppelt. Das E/A-Subsystem 240 weist einen Berührungsbildschirm-Controller 242 und/oder andere Eingabe-Controller 244 auf. Der Touchscreen-Controller 242 ist mit einem Berührungsbildschirm 246 gekoppelt. Der Berührungsbildschirm 246 und der Berührungsbildschirm-Controller 242 können zum Beispiel einen Kontakt und Bewegung oder Abbruch davon mithilfe einer von mehreren Berührungsempfindlichkeitstechnologien, wie kapazitiver, resistiver, Infrarot-, Oberflächenakustikwellentechnologien, Näherungssensorarrays und dergleichen, erkennen. Andere Eingabe-Controller 244 können mit anderen Eingabe-/Steuervorrichtungen 248 gekoppelt sein, wie einer oder mehreren Tasten, Wippschaltern, einem Daumenrad, einem Infrarot-Anschluss, einem USB-Anschluss und/oder einer Zeigervorrichtung, wie einem Stift.
• In einigen Ausführungsformen ist die Speicherschnittstelle 202 mit dem Speicher 250 gekoppelt. Der Speicher 250 kann Hochgeschwindigkeits-Direktzugriffsspeicher und/oder nichtflüchtigen Speicher, wie eine oder mehrere Magnetplatten-Speichervorrichtungen, eine oder mehrere optische Speichervorrichtungen und/oder Flash-Speicher (z. B. NAND oder NOR) aufweisen.
• In einigen Ausführungsformen speichert der Speicher 250 ein Betriebssystem 252, ein Kommunikationsmodul 254, ein Modul einer grafischen Benutzerschnittstelle 256, ein Sensorverarbeitungsmodul 258, ein Telefonmodul 260 und Anwendungen 262. Das Betriebssystem 252 weist Anweisungen zum Umgang mit grundlegenden Systemdiensten und zum Ausführen hardware-abhängiger Tasks auf. Das Kommunikationsmodul 254 erleichtert die Kommunikation mit einer oder mehreren zusätzlichen Vorrichtungen, einem oder mehreren Computern und/oder einem oder mehreren Servern. Das Modul der grafischen Benutzerschnittstelle 256 erleichtert die Verarbeitung der grafischen Benutzerschnittstelle. Das Sensorverarbeitungsmodul 258 erleichtert sensorbezogene Verarbeitung und Funktionen. Das Telefonmodul 260 erleichtert telefonbezogene Vorgänge und Funktionen. Das Anwendungsmodul 262 erleichtert verschiedene Funktionalitäten von Benutzeranwendungen, wie elektronische Nachrichtenübermittlung, Internetsurfen, Medienverarbeitung, Navigation, Bildaufnahme und/oder andere Verfahren und Funktionen.
• Wie in dieser Patentschrift beschrieben, speichert der Speicher 250 auch clientseitige Anweisungen des digitalen Assistenten (z. B. in einem Client-Modul des digitalen Assistenten 264) und verschiedene Benutzerdaten 266 (z. B. benutzerspezifische Vokabulardaten, Präferenzdaten und/oder andere Daten, wie das elektronische Adressbuch, Aufgabenlisten, Einkaufslisten des Benutzers usw.), um die clientseitigen Funktionalitäten des digitalen Assistenten bereitzustellen.
• In verschiedenen Ausführungsformen ist das Client-Modul des digitalen Assistenten 264 in der Lage, Stimmeingabe (z. B. Spracheingabe), Texteingabe, Berührungseingabe und/oder Gesteneingabe durch verschiedene Benutzerschnittstellen (z. B. E/A-Subsystem 244) der Benutzervorrichtung 104 anzunehmen. Das Client-Modul des digitalen Assistenten 264 ist auch in der Lage, Ausgabe in akustischer (z. B. Sprachausgabe), visueller und/oder taktiler Form auszugeben. Zum Beispiel kann die Ausgabe als Stimme, Ton, Warnungen, Textnachrichten, Menüs, Grafiken, Videos, Animationen, Vibrationen und/oder Kombinationen von zwei oder mehr der vorstehenden bereitgestellt werden. Während des Betriebs kommuniziert das Client-Modul des digitalen Assistenten 264 mit dem Server des digitalen Assistenten unter Verwendung von Kommunikations-Subsystemen 224.
• In einigen Ausführungsformen nutzt das Client-Modul des digitalen Assistenten 264 die verschiedenen Sensoren, Subsysteme und Peripheriegeräte, um zusätzliche Informationen aus der Umgebung der Benutzervorrichtung 104 zusammenzutragen, um einen Kontext im Zusammenhang mit einem Benutzer, einer aktuellen Benutzerinteraktion und/oder der aktuellen Benutzereingabe zu erstellen. In einigen Ausführungsformen stellt das Client-Modul des digitalen Assistenten 264 die Kontextinformationen oder eine Teilmenge davon mit der Benutzereingabe an den Server des digitalen Assistenten bereit, um die Ableitung der Absicht des Benutzers zu unterstützen. In einigen Ausführungsformen kann der digitale Assistent auch Kontextinformationen verwenden, um zu bestimmen, wie Ausgaben an den Benutzer erstellt und übertragen werden.
• In einigen Ausführungsformen schließen die Kontextinformationen, die mit der Benutzereingabe einhergehen, Sensorinformationen, wie Beleuchtung, Umgebungsgeräusch, Umgebungstemperatur, Bilder oder Videos der Umgebung und dergleichen, ein. In einigen Ausführungsformen schließen die Kontextinformationen auch den physischen Zustand der Benutzervorrichtung 104 ein (z. B. Ausrichtung der Vorrichtung, Standort der Vorrichtung, Temperatur der Vorrichtung, Elektrizitätsniveau, Geschwindigkeit, Beschleunigung, Bewegungsmuster, Mobilfunksignalstärke usw.). In einigen Ausführungsformen werden Informationen bezüglich des Software-Zustands der Benutzervorrichtung 104 (z. B. ausgeführte Prozesse, installierte Programme, vergangene und derzeitige Netzwerkaktivitäten, Hintergrunddienste, Fehlerprotokolle, Ressourcenverwendung usw.) an den Server des digitalen Assistenten als Kontextinformationen im Zusammenhang mit einer Benutzereingabe bereitgestellt.
• In einigen Ausführungsformen stellt das Client-Modul des digitalen Assistenten 264 selektiv Informationen (z. B. Benutzerdaten 266) bereit, die auf der Benutzervorrichtung 104 infolge von Anforderungen vom Server des digitalen Assistenten gespeichert werden. In einigen Ausführungsformen ruft das Client-Modul des digitalen Assistenten 264 auch zusätzliche Eingabe von dem Benutzer über einen Dialog in natürlicher Sprache oder andere Benutzerschnittstellen bei Anforderung durch den Server des digitalen Assistenten 106 ab. Das Client-Modul des digitalen Assistenten 264 leitet die zusätzliche Eingabe an den Server des digitalen Assistenten 106 weiter, um den Server des digitalen Assistenten 106 bei der Ableitung der Absicht und/oder Erfüllung der in der Benutzeranforderung ausgedrückten Absicht des Benutzers zu unterstützen.
• In verschiedenen Ausführungsformen weist der Speicher 250 zusätzliche Anweisungen oder weniger Anweisungen auf. Außerdem können verschiedene Funktionen der Benutzervorrichtung 104 in Hardware und/oder in Firmware implementiert werden, einschließlich in einen oder mehrere Signalverarbeitungs- und/oder anwendungsspezifische integrierte Schaltkreise.
• 3A ist ein Blockdiagramm eines beispielhaften digitalen Assistenzsystems 300 gemäß einigen Ausführungsformen. In einigen Ausführungsformen ist das digitale Assistenzsystem 300 auf einem eigenständigen Computersystem implementiert. In einigen Ausführungsformen ist das digitale Assistenzsystem 300 über mehrere Computer verteilt. In einigen Ausführungsformen sind einige der Module und Funktionen des digitalen Assistenten in einen Serverabschnitt und einen Clientabschnitt unterteilt, wobei sich der Clientabschnitt auf einer Benutzervorrichtung (z. B. der Benutzervorrichtung 104) befindet und mit dem Serverabschnitt (z. B. dem Serversystem 108) über ein oder mehrere Netzwerke (z. B. Netzwerk(e) 110) kommuniziert. In einigen Ausführungsformen ist das digitale Assistenzsystem 300 eine Ausführungsform des in 1 dargestellten Serversystems 108 (und/oder des Servers des digitalen Assistenten 106). Es sei darauf hingewiesen, dass das digitale Assistenzsystem 300 nur ein Beispiel eines digitalen Assistenzsystems ist und dass das digitale Assistenzsystem 300 mehr oder weniger Komponenten als dargestellt aufweisen kann, zwei oder mehr Komponenten kombinieren kann oder eine andere Konfiguration oder Anordnung der Komponenten aufweisen kann. Die verschiedenen in 3A dargestellten Komponenten können in Hardware, Software-Anweisungen zur Ausführung durch einen oder mehrere Prozessoren, Firmware, einschließlich eines oder mehrerer Signalverarbeitungs- und/oder anwendungsspezifischer integrierter Schaltkreise, oder einer Kombination davon implementiert werden.
• Das digitale Assistenzsystem 300 weist einen Speicher 302, einen oder mehrere Prozessoren 304, eine Eingabe/Ausgabe-(E/A-)Schnittstelle 306 und eine Netzwerkkommunikationsschnittstelle 308 auf. Diese Komponenten kommunizieren miteinander über einen oder mehrere Kommunikationsbusse oder Signalleitungen 310.
• In einigen Ausführungsformen weist Speicher 302 ein nichttransitorisches computerlesbares Speichermedium auf, wie Hochgeschwindigkeits-Direktzugriffsspeicher und/oder ein nichtflüchtiges Speichermedium (z. B. eine oder mehrere Magnetplatten-Speichervorrichtungen, Flash-Speichervorrichtungen oder andere nichtflüchtige Festkörper-Speichervorrichtungen).
• In einigen Ausführungsformen koppelt die E/A-Schnittstelle 306 Eingabe/Ausgabe-Vorrichtungen 316 des digitalen Assistenzsystems 300, wie Anzeigen, Tastaturen, Berührungsbildschirme und Mikrofone mit dem Benutzerschnittstellenmodul 322. Die E/A-Schnittstelle 306 zusammen mit dem Benutzerschnittstellenmodul 322 empfängt Benutzereingaben (z. B. Spracheingabe, Tastatureingaben, Berührungseingaben usw.) und verarbeitet diese entsprechend. In einigen Ausführungsformen weist das digitale Assistenzsystem 300 beliebige der Komponenten und E/A- und Kommunikationsschnittstellen auf, die in Bezug auf die Benutzervorrichtung 104 in 2 beschrieben sind (z. B. wenn der digitale Assistent auf einer eigenständigen Benutzervorrichtung implementiert ist). In einigen Ausführungsformen stellt das digitale Assistenzsystem 300 den Serverabschnitt einer Implementierung des digitalen Assistenten dar und interagiert mit dem Benutzer durch einen clientseitigen Abschnitt auf einer Benutzervorrichtung (z. B. der Benutzervorrichtung 104, die in 2 gezeigt ist).
• In einigen Ausführungsformen weist die Netzwerkkommunikationsschnittstelle 308 einen oder mehrere Anschlüsse für kabelgebundene Kommunikation 312 und/oder Schaltungen für drahtloses Senden und Empfangen 314 auf. Anschlüsse für kabelgebundene Kommunikation empfangen und senden Kommunikationssignale über eine oder mehrere kabelgebundene Schnittstellen, wie Ethernet, Universal Serial Bus (USB), FIREWIRE und dergleichen. Eine drahtlose Schaltung 314 empfängt und sendet Hochfrequenzsignale und/oder optische Signale von/an Kommunikationsnetzwerke und andere Kommunikationsvorrichtungen. Die drahtlosen Kommunikationen verwenden wahlweise beliebige mehrerer Kommunikationsstandards, Protokolle und Technologien, wie GSM, EDGE, CDMA, TDMA, Bluetooth, Wi-Fi, VoIP, Wi-MAX oder ein anderes geeignetes Kommunikationsprotokoll. Die Netzwerkkommunikationsschnittstelle 308 ermöglicht Kommunikation zwischen dem digitalen Assistenzsystem 300 und anderen Vorrichtungen über ein oder mehrere Netzwerke (z. B. das Internet, ein Intranet, ein Drahtlosnetzwerk, wie ein Mobiltelefonnetzwerk, ein WLAN (LAN) oder ein Metropolitan Area Network (MAN)).
• In einigen Ausführungsformen speichern der Speicher 302 oder die computerlesbaren Speichermedien von Speicher 302 Programme, Module, Anweisungen und Datenstrukturen, die die Gesamtheit oder eine Teilmenge von Folgendem einschließen: einem Betriebssystem 318, einem Kommunikationsmodul 320, einem Benutzerschnittstellenmodul 322, einer oder mehrerer Anwendungen 324 und einem Modul eines digitalen Assistenten 326. Ein oder mehrere Prozessoren 304 führen diese Programme, Module und Anweisungen aus und lesen von den Datenstrukturen bzw. schreiben darauf.
• Das Betriebssystem 318 (z. B. Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS oder ein eingebettetes Betriebssystem, wie VxWorks) weist verschiedene Softwarekomponenten und/oder Treiber zum Steuern und Verwalten allgemeiner System-Tasks (z. B. Speicherverwaltung, Speichervorrichtungssteuerng, Stromverwaltung usw.) auf und erleichtert die Kommunikationen zwischen verschiedenen Hardware-, Firmware- und Softwarekomponenten.
• Das Kommunikationsmodul 320 erleichtert Kommunikationen über die Netzwerkkommunikationsschnittstelle 308 zwischen dem digitalen Assistenzsystem 300 und anderen Vorrichtungen. Zum Beispiel kommuniziert das Kommunikationsmodul 320 wahlweise mit der Kommunikationsschnittstelle 254 der Benutzervorrichtung 104, in 2 gezeigt. Das Kommunikationsmodul 320 weist auch verschiedene Komponenten zum Umgang mit Daten auf, die über die drahtlose Schaltung 314 und/oder den kabelgebundenen Kommunikations-Anschluss 312 empfangen werden.
• Das Benutzerschnittstellenmodul 322 empfängt Befehle und/oder Eingaben von einem Benutzer über die E/A-Schnittstelle 306 (z. B. von einer Tastatur, einem Berührungsbildschirm, einer Zeigervorrichtung, einem Controller und/oder Mikrofon) und erzeugt Benutzerschnittstellenobjekte auf einer Anzeige. Das Benutzerschnittstellenmodul 322 erstellt und liefert auch Ausgaben (z. B. Sprache, Ton, Animation, Text, Symbole, Vibrationen, haptische Rückmeldung, Licht usw.) an den Benutzer über die E/A-Schnittstelle 306 (z. B. durch Anzeigen, Audiokanäle, Lautsprecher, Touchpads usw.).
• Die eine oder mehreren Anwendungen 324 schließen Programme und/oder Module ein, die zum Ausführen durch den einen oder die mehreren Prozessoren 304 konfiguriert sind. Wenn zum Beispiel das digitale Assistenzsystem auf einer eigenständigen Benutzervorrichtung implementiert ist, schließen eine oder mehrere Anwendungen 324 wahlweise Benutzeranwendungen, wie Spiele, eine Kalenderanwendung, eine Navigationsanwendung oder eine E-Mail-Anwendung ein. Wenn das digitale Assistenzsystem 300 auf einer Serverfarm implementiert ist, schließen die eine oder die mehreren Anwendungen 324 wahlweise Ressourcenverwaltungsanwendungen, Diagnostikanwendungen oder Terminplananwendungen ein.
• Der Speicher 302 speichert auch das Modul des digitalen Assistenten 326 (oder den Serverabschnitt eines digitalen Assistenten). In einigen Ausführungsformen weist das Modul des digitalen Assistenten 326 die folgenden Submodule oder eine Teilmenge oder Obermenge davon auf: ein Eingabe/Ausgabe-Verarbeitungsmodul 328, ein Sprache-zu-Text-(STT-)Verarbeitungsmodul 330, ein Modul zur Verarbeitung natürlicher Sprache 332, ein Dialogflussverarbeitungsmodul 340, ein Task-Flow-Verarbeitungsmodul 342, ein Dienstverarbeitungsmodul 346 und ein Hintergrundverarbeitungsmodul 350. Jedes dieser Module hat Zugriff auf eines oder mehrere der folgenden Daten und Modelle des digitalen Assistenten 326 oder eine Teilmenge oder Obermenge davon: Ontologie 334, Wörterverzeichnis 336, Benutzerdaten 338, Task-Flow-Modelle 344, Dienst-Modelle 348 und Benutzerprotokoll 352.
• In einigen Ausführungsformen führt unter Verwendung der Verarbeitungsmodule, Daten und Modelle, die im Modul des digitalen Assistenten 326 implementiert sind, das digitale Assistenzsystem 300 mindestens einige der Folgenden aus: Identifizieren einer Absicht eines Benutzers, die in einer Eingabe natürlicher Sprache ausgedrückt ist, die vom Benutzer empfangen wird; aktives Abrufen und Erhalten von Informationen, die zum vollständigen Ableiten der Absicht des Benutzers erforderlich sind (z. B. indem Wörter, Namen, Absichten usw. eindeutig gemacht werden); Bestimmen des Task-Flow zum Erfüllen der abgeleiteten Absicht; und Ausführen des Task-Flow, um die abgeleitete Absicht zu erfüllen. In einigen Ausführungsformen unternimmt der digitale Assistent auch geeignete Aktionen, wenn dem Benutzer aus verschiedenen Gründen keine zufriedenstellende Antwort bereitgestellt wurde oder werden konnte.
• In einigen Ausführungsformen, wie in 3B dargestellt, interagiert das E/A-Verarbeitungsmodul 328 mit dem Benutzer durch die E/A-Vorrichtungen 316 in 3A oder mit einer Benutzervorrichtung (z. B. Benutzervorrichtung 104 in 1) durch die Netzwerkkommunikationsschnittstelle 308 in 3A, um Benutzereingabe (z. B. eine Spracheingabe) zu erhalten und Antworten (z. B. als Sprachausgaben) auf die Benutzereingabe bereitzustellen. Das E/A-Verarbeitungsmodul 328 enthält wahlweise Kontextinformationen im Zusammenhang mit der Benutzereingabe aus der Benutzervorrichtung, während oder kurz nach dem Empfangen der Benutzereingabe. Die Kontextinformationen schließen benutzerspezifische Daten, Vokabular und/oder Präferenzen, die für die Benutzereingabe relevant sind, ein. In einigen Ausführungsformen schließen die Kontextinformationen auch Software- und Hardware-Zustände der Vorrichtung (z. B. Benutzervorrichtung 104 in 1) zum Zeitpunkt des Empfangens der Benutzeranforderung und/oder Informationen bezüglich der Umgebung des Benutzers zum Zeitpunkt des Empfangens der Benutzeranforderung ein. In einigen Ausführungsformen sendet auch das E/A-Verarbeitungsmodul 328 Nachfolgefragen an und empfängt Antworten von dem Benutzer bezüglich der Benutzeranforderung. Wenn eine Benutzeranforderung vom E/A-Verarbeitungsmodul 328 empfangen wird und die Benutzeranforderung eine Spracheingabe enthält, leitet das E/A-Verarbeitungsmodul 328 die Spracheingabe an das Sprache-zu-Text-(STT-)Verarbeitungsmodul 330 für eine Umwandlung von Sprache zu Text weiter.
• Das STT-Verarbeitungsmodul 330 empfängt Spracheingabe (z. B. eine Äußerung des Benutzers, die in einer Sprachaufnahme erfasst wurde) durch das E/A-Verarbeitungsmodul 328. In einigen Ausführungsformen verwendet das STT-Verarbeitungsmodul 330 verschiedene akustische und Sprachmodelle, um die Spracheingabe als Sequenz von Phonemen und letztlich eine Sequenz von Wörtern oder Zeichen, die in einer oder mehreren Sprachen geschrieben werden, zu erkennen. Das Sprache-zu-Text-Verarbeitungsmodul 330 kann mithilfe beliebiger geeigneter Spracherkennungsverfahren, akustischer Modelle und Sprachmodelle, wie Hidden-Markov-Modelle, Spracherkennung auf der Grundlage von Dynamic Time Warping (DTW) und anderer statistischer und/oder analytischer Verfahren implementiert werden. In einigen Ausführungsformen kann Sprache-zu-Text-Verarbeitung mindestens teilweise durch einen Drittanbieterdienst oder auf der Vorrichtung des Benutzers ausgeführt werden. Sobald das STT-Verarbeitungsmodul 330 das Ergebnis der Sprache-zu-Text-Verarbeitung (z. B. eine Sequenz von Wörtern oder Zeichen) erhält, leitet das STT-Verarbeitungsmodul 330 das Ergebnis an das Modul zur Verarbeitung natürlicher Sprache 332 zur Ableitung der Absicht weiter.
• Weitere Details zur Sprache-zu-Text-Verarbeitung sind in der US-Gebrauchsmusteranmeldung Anmelde-Nr. 13/236,942 mit dem Titel „Consolidating Speech Recognition Results”, eingereicht am 20. September 2011, deren gesamte Offenbarung durch Bezugnahme hierin eingeschlossen ist, beschrieben.
• Das Modul zur Verarbeitung natürlicher Sprache 332 (hierin gelegentlich auch als „Prozessor natürlicher Sprache” bezeichnet) des digitalen Assistenten nimmt die Sequenz von Wörtern oder Zeichen (oder die Zeichensequenz), die vom Sprache-zu-Text-Verarbeitungsmodul 330 erzeugt wird, und versucht, die Zeichensequenz mit einer oder mehreren durchführbaren Absichten, die dem digitalen Assistenten bekannt sind, in Verbindung zu bringen. Eine „durchführbare Absicht” steht für einen Task, der vom digitalen Assistenten ausgeführt werden kann, und einen damit verbundenen Task-Flow, der in Task-Flow-Modelle 344 implementiert werden kann. Der damit verbundene Task-Flow ist eine Folge programmierter Aktionen und Schritte, die der digitale Assistent unternimmt, um den Task auszuführen. Der Umfang der Fähigkeiten eines digitalen Assistenten hängt von der Anzahl und Vielzahl von Task-Flows ab, die implementiert und in Task-Flow-Modellen 344 gespeichert wurden, oder mit anderen Worten von der Anzahl und Vielzahl durchführbarer Absichten, die dem digitalen Assistenten bekannt sind. Die Effektivität des digitalen Assistenten hängt jedoch auch von der Fähigkeit des digitalen Assistenten zum Ableiten der korrekten durchführbaren Absicht(en) aus der in natürlicher Sprache ausgedrückten Benutzeranforderung ab.
• In einigen Ausführungsformen empfängt der Prozessor natürlicher Sprache 332 zusätzlich zu der vom STT-Verarbeitungsmodul 330 erhaltenen Zeichensequenz auch Kontextinformationen im Zusammenhang mit der Benutzeranforderung (z. B. vom E/A-Verarbeitungsmodul 328). Der Prozessor natürlicher Sprache 332 verwendet die Kontextinformationen wahlweise zum Klären, Ergänzen und/oder weiteren Definieren der Informationen, die in der vom STT-Verarbeitungsmodul 330 empfangenen Zeichensequenz enthalten sind. Zu den Kontextinformationen gehören zum Beispiel Benutzerpräferenzen, Hardware- und/oder Software-Zustände der Benutzervorrichtung, vor, während oder kurz nach der Benutzeranforderung gesammelte Sensorinformationen, vorherige Interaktionen (z. B. Dialog) zwischen dem digitalen Assistenten und dem Benutzer und dergleichen.
• In einigen Ausführungsformen beruht die Verarbeitung natürlicher Sprache auf Ontologie 334. Ontologie 334 ist eine hierarchische Struktur, die viele Knoten enthält, wobei jeder Knoten entweder eine „durchführbare Absicht” oder eine „Eigenschaft”, die für eine oder mehrere der „durchführbaren Absichten” oder andere „Eigenschaften” relevant ist. Wie vorstehend erwähnt, steht eine „durchführbare Absicht” für einen Task, den der digitale Assistent ausführen kann (d. h. der durchführbar ist oder an dem gearbeitet werden kann). Eine „Eigenschaft” steht für einen Parameter im Zusammenhang mit einer durchführbaren Absicht oder einem Unteraspekt einer anderen Eigenschaft. Eine Verbindung zwischen einem Knoten einer durchführbaren Absicht und einem Eigenschaftsknoten in der Ontologie 334 definiert, wie ein vom Eigenschaftsknoten dargestellter Parameter den Task betrifft, der vom Knoten einer durchführbaren Absicht dargestellt wird.
• In einigen Ausführungsformen besteht die Ontologie 334 aus Knoten einer durchführbaren Absicht und Eigenschaftsknoten. Innerhalb der Ontologie 334 ist jeder Knoten einer durchführbaren Absicht entweder direkt oder durch einen oder mehrere dazwischen liegende Eigenschaftsknoten mit einem oder mehreren Eigenschaftsknoten verbunden. Ähnlich ist jeder Eigenschaftsknoten entweder direkt oder durch einen oder mehrere dazwischen liegende Eigenschaftsknoten mit einem oder mehreren Knoten einer durchführbaren Absicht verbunden. Zum Beispiel weist die Ontologie 334, wie in 3C dargestellt, wahlweise einen Knoten „Restaurantreservierung” – einen Knoten einer durchführbaren Absicht – auf. Die Eigenschaftsknoten „Restaurant”, „Datum/Uhrzeit” (für die Reservierung) und „Gästezahl” sind jeweils direkt mit dem Knoten einer durchführbaren Absicht (z. B. dem Knoten „Restaurantreservierung”) verbunden. Außerdem sind die Eigenschaftsknoten „Küche”, „Preisbereich”, „Telefonnummer” und „Standort” Unterknoten des Eigenschaftsknotens „Restaurant” und sind jeweils mit dem Knoten „Restaurantreservierung” durch den dazwischen liegenden Eigenschaftsknoten „Restaurant” verbunden. Als anderes Beispiel, wie in 3C dargestellt, kann Ontologie 334 auch einen Knoten „Erinnerung einstellen” (z. B. einen anderen Knoten einer durchführbaren Absicht) aufweisen. Die Eigenschaftsknoten „Datum/Uhrzeit” (zum Einstellen der Erinnerung) und „Thema” (für die Erinnerung) sind jeweils mit dem Knoten „Erinnerung einstellen” verbunden. Da die Eigenschaft „Datum/Uhrzeit” sowohl für den Task des Vornehmens einer Restaurantreservierung als auch für den Task des Einstellens einer Erinnerung relevant ist, ist der Eigenschaftsknoten „Datum/Uhrzeit” sowohl mit dem Knoten „Restaurantreservierung” als auch mit dem Knoten „Erinnerung einstellen” in der Ontologie 334 verbunden.
• Ein Knoten einer durchführbaren Absicht, zusammen mit den damit verbundenen Eigenschaftsknoten, wird gelegentlich als „Domäne” beschrieben. In der vorliegenden Besprechung ist jede Domäne mit einer jeweiligen durchführbaren Absicht verbunden und bezieht sich auf die Gruppe von Knoten (und den Beziehungen dazwischen), die im Zusammenhang mit der jeweiligen durchführbaren Absicht stehen. Zum Beispiel weist die in 3C dargestellte Ontologie 334 ein Beispiel einer Restaurantreservierungsdomäne 362 und ein Beispiel einer Erinnerungsdomäne 364 innerhalb der Ontologie 334 auf. Die Restaurantreservierungsdomäne weist den Knoten einer durchführbaren Absicht „Restaurantreservierung”, die Eigenschaftsknoten „Restaurant”, „Datum/Uhrzeit” und „Gästezahl” und die Untereigenschaftsknoten „Küche”, „Preisbereich”, „Telefonnummer” und „Standort” auf. Die Erinnerungsdomäne 364 weist den Knoten einer durchführbaren Absicht „Erinnerung einstellen” und die Eigenschaftsknoten „Thema” und „Datum/Uhrzeit” auf. In einigen Ausführungsformen besteht die Ontologie 334 aus vielen Domänen. Jede Domäne teilt wahlweise einen oder mehrere Eigenschaftsknoten mit einer oder mehreren anderen Domänen. Zum Beispiel ist der Eigenschaftsknoten „Datum/Uhrzeit” wahlweise mit vielen unterschiedlichen Domänen (z. B. einer Terminplandomäne, einer Reisereservierungsdomäne, einer Kinokartendomäne usw.) zusätzlich zur Restaurantreservierungsdomäne 362 und der Erinnerungsdomäne 364 verbunden.
• Obwohl 3C zwei beispielhafte Domänen innerhalb der Ontologie 334 zeigt, schließen andere Domänen (oder durchführbare Absichten) zum Beispiel „Anruf tätigen”, „Wegbeschreibung”, „Termin planen”, „Nachricht senden” und „Frage beantworten” und so weiter ein. Eine Domäne „Nachricht senden” ist mit einem Knoten einer durchführbaren Absicht „Nachricht senden” verbunden und weist ferner wahlweise Eigenschaftsknoten wie „Empfänger”, „Nachrichtentyp” und „Nachrichtenkörper” auf. Der Eigenschaftsknoten „Empfänger” wird wahlweise ferner zum Beispiel durch die Untereigenschaftsknoten wie „Empfängername” und „Nachrichtenadresse” definiert.
• In einigen Ausführungsformen schließt die Ontologie 334 alle Domänen (und somit durchführbaren Absichten) ein, die der digitale Assistent verstehen und bearbeiten kann. In einigen Ausführungsformen wird die Ontologie 334 wahlweise modifiziert, wie durch Hinzufügen oder Entfernen gesamter Domänen oder Knoten oder durch Modifizieren von Beziehungen zwischen den Knoten innerhalb der Ontologie 334.
• In einigen Ausführungsformen sind Knoten im Zusammenhang mit mehreren betreffenden durchführbaren Absichten wahlweise unter einer ”Überdomäne” in der Ontologie 334 geclustert. Zum Beispiel schließt eine Überdomäne „Reisen” ein Cluster von Eigenschaftsknoten und Knoten einer durchführbaren Absicht, die das Reisen betreffen, ein. Die Knoten einer durchführbaren Absicht, die Reisen betreffen, schließen wahlweise „Flugreservierung”, „Hotelreservierung”, „Autovermietung”, „Wegbeschreibung”, „Sehenswürdigkeiten” und so weiter ein. Die Knoten einer durchführbaren Absicht unter derselben Überdomäne (z. B. der Überdomäne „Reisen”) haben manchmal viele Eigenschaftsknoten gemeinsam. Zum Beispiel teilen die Knoten einer durchführbaren Absicht für „Flugreservierung”, „Hotelreservierung”, „Autovermietung”, „Wegbeschreibung”, „Sehenswürdigkeiten” manchmal einen oder mehrere der Eigenschaftsknoten „Ausgangspunkt”, „Ziel”, „Startdatum/-uhrzeit”, „Ankunftsdatum/-uhrzeit” und „Gästezahl”.
• In einigen Ausführungsformen ist jeder Knoten in der Ontologie 334 mit einer Gruppe von Wörtern und/oder Wendungen verbunden, die für die Eigenschaft oder die durchführbare Absicht, die der Knoten darstellt, relevant sind. Die jeweilige Gruppe von Wörtern und/oder Wendungen im Zusammenhang mit dem jeweiligen Knoten ist das sogenannte „Vokabular” im Zusammenhang mit dem Knoten. Die jeweilige Gruppe von Wörtern und/oder Wendungen im Zusammenhang mit dem jeweiligen Knoten kann im Wörterverzeichnis 336 in Verbindung mit der Eigenschaft oder der durchführbaren Absicht, die der Knoten darstellt, gespeichert sein. Zum Beispiel, erneut bezugnehmend auf 3B, enthält das Vokabular im Zusammenhang mit dem Knoten für die Eigenschaft „Restaurant” wahlweise Wörter wie „Lebensmittel”, „Getränke”, „Küche”, „hungrig”, „Essen”, „Pizza”, „Fastfood”, „Mahlzeit” und so weiter. Für ein anderes Beispiel enthält das Vokabular im Zusammenhang mit dem Knoten für die durchführbare Absicht „Anruf tätigen” wahlweise Wörter und Wendungen wie „Anruf”, „Telefon”, „wählen”, „diese Nummer anrufen”, „jemanden anrufen” und so weiter. Das Wörterverzeichnis 336 enthält wahlweise Wörter und Wendungen in unterschiedlichen Sprachen.
• Der Prozessor natürlicher Sprache 332 empfängt die Zeichensequenz (z. B. eine Textfolge) vom Sprache-zu-Text-Verarbeitungsmodul 330 und bestimmt, welche Knoten bei den Wörtern in der Zeichensequenz eine Rolle spielen. Wenn herausgefunden wird, dass ein Wort oder eine Wendung in der Zeichensequenz im Zusammenhang mit einem oder mehreren Knoten in der Ontologie 334 steht (über das Wörterverzeichnis 336), wird in einigen Ausführungsformen das Wort oder die Wendung diese Knoten „auslösen” oder „aktivieren”. Auf der Grundlage der Menge und/oder der relativen Wichtigkeit der aktivierten Knoten wählt der Prozessor natürlicher Sprache 332 eine der durchführbaren Absichten als den Task aus, den der Benutzer zum Ausführen durch den digitalen Assistenten beabsichtigte. In einigen Ausführungsformen wird die Domäne ausgewählt, die die meisten „ausgelösten” Knoten aufweist. In einigen Ausführungsformen wird die Domäne mit dem höchsten Konfidenzwert (z. B. auf der Grundlage der relativen Wichtigkeit ihrer verschiedenen ausgelösten Knoten) ausgewählt. In einigen Ausführungsformen wird die Domäne auf der Grundlage einer Kombination der Anzahl und der Wichtigkeit der ausgelösten Knoten ausgewählt. In einigen Ausführungsformen werden auch zusätzliche Faktoren bei der Auswahl des Knotens berücksichtigt, wie ob der digitale Assistent zuvor eine ähnliche Anforderung von einem Benutzer richtig interpretiert hat.
• In einigen Ausführungsformen speichert der digitale Assistent auch Namen bestimmter Institutionen im Wörterverzeichnis 336, so dass, wenn einer dieser Namen in der Benutzeranforderung erkannt wird, der Prozessor natürlicher Sprache 332 erkennen kann, dass sich der Name auf eine bestimmte Instanz einer Eigenschaft oder Untereigenschaft in der Ontologie bezieht. In einigen Ausführungsformen sind die Namen von bestimmten Institutionen Namen von Geschäften, Restaurants, Menschen, Kinos und dergleichen. In einigen Ausführungsformen sucht und identifiziert der digitale Assistent bestimmte Institutionsnamen in anderen Datenquellen, wie dem Adressbuch des Benutzers, einer Kino-Datenbank, einer Musiker-Datenbank und/oder einer Restaurant-Datenbank. Wenn der Prozessor natürlicher Sprache 332 erkennt, dass ein Wort in der Zeichensequenz ein Name einer bestimmten Institution (z. B. ein Name im Adressbuch des Benutzers) ist, wird in einigen Ausführungsformen dem Wort zusätzliche Signifikanz bei der Auswahl der durchführbaren Absicht innerhalb der Ontologie für die Benutzeranforderung verliehen.
• Wenn zum Beispiel die Wörter „Herr Santo” in einer Benutzeranforderung erkannt werden und der Nachname „Santo” im Wörterverzeichnis 336 als einer der Kontakte im Adressbuch des Benutzers gefunden wird, dann ist es wahrscheinlich, dass die Benutzeranforderung einer Domäne „Nachricht senden” oder „Anruf tätigen” entspricht. Als anderes Beispiel: wenn die Wörter „ABC-Café” in einer Benutzeranforderung gefunden werden und der Begriff „ABC-Café” im Wörterverzeichnis 336 als der Name eines bestimmten Restaurants in der Stadt des Benutzers gefunden wird, dann ist es wahrscheinlich, dass die Benutzeranforderung einer Domäne „Restaurantreservierung” oder „Restaurants suchen” entspricht.
• Zu Benutzerdaten 338 gehören benutzerspezifische Informationen, wie benutzerspezifisches Vokabular, Benutzerpräferenzen, Benutzeradresse oder Heimatort, die Standard- und Zweitsprache des Benutzers, das Adressbuch des Benutzers und andere kurz- oder langfristige Informationen für jeden Benutzer. In einigen Ausführungsformen verwendet der Prozessor natürlicher Sprache 332 die benutzerspezifischen Informationen, um die in einer Benutzereingabe enthaltenen Informationen zu ergänzen, um die Benutzerabsicht weiter zu definieren. Zum Beispiel kann für eine Benutzeranforderung „Freunde zu Geburtstagsfeier einladen” der Prozessor natürlicher Sprache 332 auf Benutzerdaten 338 zugreifen, um zu bestimmen, wer die „Freunde” sind und wann und wo die „Geburtstagsfeier” stattfindet, statt dass der Benutzer solche Informationen explizit in seiner Anforderung bereitstellen muss.
• Andere Details zum Durchsuchen einer Ontologie auf der Grundlage einer Zeichenfolge sind in der US-Gebrauchsmusteranmeldung Anmelde-Nr. 12/341,743 mit dem Titel „Method and Apparatus for Searching Using An Active Ontology”, eingereicht am 22. Dezember 2008, deren gesamte Offenbarung durch Bezugnahme hierin eingeschlossen ist, beschrieben.
• Sobald der Prozessor natürlicher Sprache 332 eine durchführbare Absicht (oder Domäne) auf der Grundlage der Benutzeranforderung identifiziert, erzeugt in einigen Ausführungsformen der Prozessor natürlicher Sprache 332 eine strukturierte Abfrage, um die identifizierte durchführbare Absicht darzustellen. In einigen Ausführungsformen weist die strukturierte Abfrage Parameter für einen oder mehrere Knoten innerhalb der Domäne für die durchführbare Absicht auf, und mindestens einige der Parameter sind mit den spezifischen Informationen und Erfordernissen, die in der Benutzeranforderung spezifiziert sind, gefüllt. Zum Beispiel sagt der Benutzer zum DA: „Mach mir eine Reservierung für ein Abendessen in einem Sushi-Restaurant um 19.00 Uhr.” In diesem Fall kann der Prozessor natürlicher Sprache 332 auf der Grundlage der Benutzereingabe in der Lage sein, korrekt zu erkennen, dass die durchführbare Absicht eine „Restaurantreservierung” ist. Gemäß der Ontologie schließt eine strukturierte Abfrage für eine Domäne „Restaurantreservierung” wahlweise Parameter wie {Küche}, {Uhrzeit}, {Datum}, {Gästezahl} und dergleichen ein. In einigen Ausführungsformen erzeugt auf der Grundlage der in der Äußerung des Benutzers enthaltenen Informationen der Prozessor natürlicher Sprache 332 eine strukturierte Teilabfrage für die Restaurantreservierungsdomäne, wobei die strukturierte Teilabfrage die Parameter {Küche = „Sushi”} und {Uhrzeit = „19.00 Uhr”} aufweist. In diesem Beispiel enthält die Äußerung des Benutzers jedoch ungenügende Informationen, um die strukturierte Abfrage im Zusammenhang mit der Domäne abzuschließen. Daher sind andere notwendige Parameter wie {Gästezahl} und {Datum} in der strukturierten Abfrage auf der Grundlage der gegenwärtig verfügbaren Informationen nicht spezifiziert. In einigen Ausführungsformen füllt der Prozessor natürlicher Sprache 332 einige Parameter der strukturierten Abfrage mit empfangenen Kontextinformationen. Wenn der Benutzer ein Sushi-Restaurant „in meiner Nähe” angefordert hat, füllt der Prozessor natürlicher Sprache 332 zum Beispiel in einigen Ausführungsformen einen Parameter {Standort} in der strukturierten Abfrage mit GPS-Koordinaten aus der Benutzervorrichtung 104.
• In einigen Ausführungsformen leitet der Prozessor natürlicher Sprache 332 die strukturierte Abfrage (einschließlich jeglicher abgeschlossener Parameter) an das Task-Flow-Verarbeitungsmodul 342 (hierin gelegentlich auch als „Task-Flow-Prozessor” bezeichnet) weiter. Der Task-Flow-Prozessor 342 ist so konfiguriert, dass er die strukturierte Abfrage vom Prozessor natürlicher Sprache 332 empfängt, die strukturierte Abfrage, falls notwendig, abschließt und die Aktionen ausführt, die zum „Abschließen” der endgültigen Anforderung des Benutzers erforderlich sind. In einigen Ausführungsformen werden die verschiedenen Vorgänge, die zum Abschließen dieser Tasks notwendig sind, in Task-Flow-Modellen 344 bereitgestellt. In einigen Ausführungsformen schließen Task-Flow-Modelle 344 Vorgänge zum Erhalten zusätzlicher Informationen vom Benutzer und Task-Flows zum Ausführen von Aktionen im Zusammenhang mit der durchführbaren Absicht ein.
• Wie vorstehend beschrieben, muss der Task-Flow-Prozessor 342 zum Abschließen einer strukturierten Abfrage manchmal einen zusätzlichen Dialog mit dem Benutzer initiieren, um zusätzliche Informationen zu erhalten und/oder mögliche zweideutige Äußerungen eindeutig zu machen. Wenn solche Interaktionen notwendig sind, ruft der Task-Flow-Prozessor 342 das Dialogverarbeitungsmodul 340 (hierin gelegentlich auch als „Dialogprozessor” bezeichnet) auf, um in einen Dialog mit dem Benutzer zu treten. In einigen Ausführungsformen bestimmt der Dialogprozessor 340, wie (und/oder wann) der Benutzer nach zusätzlichen Informationen gefragt wird, und empfängt und verarbeitet die Antworten des Benutzers. Die Fragen werden den Benutzern durch das E/A-Verarbeitungsmodul 328 gestellt und von den Benutzern empfangen. In einigen Ausführungsformen stellt der Dialogprozessor 340 die Dialogausgabe dem Benutzer über akustische und/oder visuelle Ausgabe bereit und empfängt Eingabe vom Benutzer über gesprochene oder physische Antworten (z. B. durch Klicken). Um mit dem vorstehenden Beispiel fortzufahren: wenn der Task-Flow-Prozessor 342 den Dialog-Flow-Prozessor 340 aufruft, um die Informationen „Gästezahl” und „Datum” für die strukturierte Abfrage im Zusammenhang mit der Domäne „Restaurantreservierung” zu bestimmen, erzeugt der Dialog-Flow-Prozessor 335 Fragen, wie „Für wie viele Leute?” und „An welchem Tag?”, die dem Benutzer gestellt werden. Sobald Antworten vom Benutzer empfangen werden, kann der Dialog-Flow-Prozessor 340 dann die strukturierte Abfrage mit den fehlenden Informationen ausfüllen oder die Informationen an den Task-Flow-Prozessor 342 weiterleiten, um die fehlenden Informationen von der strukturierten Abfrage einzutragen.
• Sobald der Task-Flow-Prozessor 342 die strukturierte Abfrage für eine durchführbare Absicht abgeschlossen hat, geht der Task-Flow-Prozessor 342 dazu über, den endgültigen Task im Zusammenhang mit der durchführbaren Absicht auszuführen. Dementsprechend führt der Task-Flow-Prozessor 342 die Schritte und Anweisungen im Task-Flow-Modell gemäß den spezifischen Parametern, die in der strukturierten Abfrage enthalten sind, aus. Zum Beispiel enthält das Task-Flow-Modell für die durchführbare Absicht „Restaurantreservierung” wahlweise Schritte und Anweisungen zum Kontaktieren eines Restaurants und sogar zum Anfragen einer Reservierung für eine bestimmte Gästezahl zu einer bestimmten Zeit. Zum Beispiel führt mit einer strukturierten Abfrage, wie {Restaurantreservierung, Restaurant = ABC-Café, Datum = 3.12.2012, Uhrzeit = 19.00 Uhr, Gästezahl = 5}, der Task-Flow-Prozessor 342 wahlweise die folgenden Schritte aus: (1) Anmelden auf einem Server des ABC-Cafés oder eines Restaurantreservierungssystems, wie OPENTABLE^®; (2) Eingeben der Informationen Datum, Uhrzeit und Gästezahl in ein Formular auf der Webseite; (3) Einreichen des Formulars; und (4) Erstellen eines Kalendereintrags für die Reservierung im Kalender des Benutzers.
• In einigen Ausführungsformen nutzt der Task-Flow-Prozessor 342 die Unterstützung eines Dienstverarbeitungsmoduls 346 (hierin gelegentlich auch als „Dienstprozessor” bezeichnet), um einen in der Benutzereingabe angeforderten Task abzuschließen oder eine informationelle Antwort, die in der Benutzereingabe angefordert wurde, bereitzustellen. Zum Beispiel kann der Dienstprozessor 346 anstelle des Task-Flow-Prozessors 342 tätig sein, um einen Telefonanruf zu tätigen, einen Kalendereintrag vorzunehmen, eine Landkartensuche aufzurufen, andere Benutzeranwendungen, die auf der Benutzervorrichtung installiert sind, aufzurufen oder mit diesen zu interagieren und Drittanbieterdienste (z. B. ein Restaurantreservierungsportal, ein soziales Netzwerk, ein Banking-Portal usw.) aufzurufen oder mit diesen zu interagieren. In einigen Ausführungsformen können die Protokolle und Programmierschnittstellen (API), die von dem jeweiligen Dienst benötigt werden, von einem jeweiligen Dienstmodell von Dienstmodellen 348 spezifiziert werden. Der Dienstprozessor 346 greift auf das geeignete Dienstmodell für einen Dienst zu und erzeugt Anforderungen für den Dienst gemäß den Protokollen und APIs, die gemäß dem Dienstmodell für den Dienst erforderlich sind.
• Wenn zum Beispiel ein Restaurant einen Online-Reservierungsdienst aktiviert hat, kann das Restaurant ein Dienstmodell, das die notwendigen Parameter zum Vornehmen einer Reservierung spezifiziert, und die APIs zum Übertragen der Werte der notwendigen Parameter an den Online-Reservierungsdienst bereitstellen. Wenn es vom Task-Flow-Prozessor 342 angefordert wird, kann der Dienstprozessor 346 eine Netzwerkverbindung mit dem Online-Reservierungsdienst unter Verwendung der im Dienstmodell gespeicherten Webadresse aufbauen und die notwendigen Parameter der Reservierung (z. B. Uhrzeit, Datum, Gästezahl) in einem Format gemäß der API des Online-Reservierungsdienstes an die Online-Reservierungsschnittstelle senden.
• In einigen Ausführungsformen werden der Prozessor natürlicher Sprache 332, der Dialogprozessor 340 und der Task-Flow-Prozessor 342 kollektiv und iterativ verwendet, um die Absicht des Benutzers abzuleiten und zu definieren, Informationen zu erhalten, um die Benutzerabsicht weiter zu klären und einzugrenzen, und letztlich eine Antwort (z. B. eine Ausgabe für den Benutzer oder die Vollendung eines Tasks) zu erzeugen, und die Absicht des Benutzers zu erfüllen.
• In einigen Ausführungsformen formuliert nach der Ausführung aller Tasks, die zum Erfüllen der Anforderung des Benutzers erforderlich sind, der digitale Assistent 326 eine Bestätigungsantwort und sendet die Antwort durch das E/A-Verarbeitungsmodul 328 an den Benutzer. Wenn die Benutzeranforderung eine informationelle Antwort ersucht, stellt die Bestätigungsantwort die angeforderte Information für den Benutzer dar. In einigen Ausführungsformen fordert der digitale Assistent den Benutzer auch auf, anzugeben, ob der Benutzer mit der vom digitalen Assistenten 326 erzeugten Antwort zufrieden ist.
• In einigen Ausführungsformen weist der digitale Assistent 326 ein Persistenzmodul 350 mit Kontextverlauf 352 und Konversationsverlauf 354 auf. Das Persistenzmodul 350 ist zum Aktivieren von Konversations- und/oder Kontextpersistenz über zwei oder mehr diskontinuierliche Instanzen eines digitalen Assistenten konfiguriert. Das Persistenzmodul 350 ist nachstehend im Bezug auf 4 ausführlicher erörtert.
• Weitere Details zum digitalen Assistenten sind in der US-Gebrauchsmusteranmeldung Nr. 12/987,982 mit dem Titel „Intelligent Automated Assistant”, eingereicht am 18. Januar 2010, und auch in der US-Gebrauchsmusteranmeldung Nr. 61/493,201 mit dem Titel „Generating and Processing Data Items That Represent Tasks to Perform”, eingereicht am 3. Juni 2011, deren gesamte Offenbarungen durch Bezugnahme hierin eingeschlossen sind, zu finden.
• 4 zeigt ein Blockdiagramm eines im digitalen Assistenten 326 enthaltenen Persistenzmoduls 350 gemäß einigen Ausführungsformen. Das Persistenzmodul 350 weist ein Aufrufmodul des digitalen Assistenten (DA) 410, ein Kontextpersistenzmodul 420 und ein Konversationspersistenzmodul 430 auf. Das DA-Aufrufmodul ist zum Erkennen einer Benutzeranforderung zum Aufrufen des DA konfiguriert. Zum Beispiel wird durch Erkennen eines langen Drückens der Home-Taste 509 der Benutzervorrichtung 104 oder Empfangen einer vordefinierten Spracheingabe (z. B. eine Spracheingabe „Hey, Siri”) der DA aufgerufen.
• Weitere Details zum akustischen Aufrufen eines digitalen Assistenten sind in der vorläufigen US-Anmeldung Anmelde-Nr. 61/762,260 (Aktenzeichen Nr. P18041 USP1/063266-5819-PR), eingereicht am 7. Februar 2013, mit dem Titel „Voice Trigger for a Digital Assistant”, deren gesamte Offenbarung durch Bezugnahme hierin eingeschlossen ist, beschrieben.
• Das Kontextpersistenzmodul 420 ist zum Aktivieren der Persistenz von Kontextinformationen über mehr als eine Instanz des DA konfiguriert. In einigen Ausführungsformen werden Kontextinformationen einer vorherigen Instanz (oder Sitzung) einer DA-Benutzerschnittstelle bei der Ableitung der Absicht durch den Prozessor natürlicher Sprache 332 während einer nachfolgenden Instanz der DA-Benutzerschnittstelle verwendet. Wenn zum Beispiel in einer ersten Instanz einer DA-Benutzerschnittstelle ein Benutzer den DA fragt: „Wie ist das Wetter in New York City?”, gibt infolge der Benutzeranforderung der DA die aktuelle Temperatur und das vorherrschende Wetter in New York City an. Anschließend verlässt der Benutzer die erste Instanz der DA-Benutzerschnittstelle, geht zu einer anderen Benutzerschnittstelle als der DA-Benutzerschnittstelle (z. B. dem Startbildschirm der Vorrichtung, dem Sperrbildschirm der Vorrichtung oder einer vom DA separaten Anwendung) und betritt die DA-Benutzerschnittstelle erneut in einer zweiten Instanz der DA-Benutzerschnittstelle im Anschluss an (oder später als) das Verlassen der ersten Instanz der DA-Benutzerschnittstelle. Wenn in der zweiten Instanz der DA-Benutzerschnittstelle der Benutzer den DA fragt: „Wie ist es in DC?”, wird ermöglicht, dass der DA Kontextinformationen entsprechend dem Dialog zwischen dem Benutzer und dem DA aus der ersten Instanz der DA-Benutzerschnittstelle verwendet, um die Frage des Benutzers in der zweiten Instanz der DA-Benutzerschnittstelle zu beantworten. Zum Beispiel behält der DA den Kontext „Wetter” in der zweiten Instanz der DA-Benutzerschnittstelle bei und antwortet auf die Anforderung des Benutzers durch visuelles und/oder akustisches Darstellen der aktuellen Temperatur und des vorherrschenden Wetters in Washington, DC.
• Das Kontextpersistenzmodul 420 weist den Kontextverlauf 352 und ein erstes Bedingungsmodul 422 auf. Der Kontextverlauf 352 ist ein kurzfristiger bzw. Cache-Speicher, der Kontextinformationen von einer oder mehreren vorherigen Instanzen des DA speichert. In einigen Ausführungsformen ist der Kontextverlauf 352 separat vom Benutzerprotokoll 356 und speichert nur Kontextinformationen in Bezug auf den Dialog zwischen dem DA und dem Benutzer. In einigen Ausführungsformen wird der Kontextverlauf 352 im DA-Server 106 des Serversystems 108 (z. B. in den Daten 116 vom DA-Server 106) gespeichert. Das erste Bedingungsmodul 422 löst die Verwendung von Kontextinformationen aus, die im Kontextverlauf 352 in einer zweiten Instanz eines DA gespeichert sind, solange eine erste vorgegebene Bedingung erfüllt wird. In einigen Ausführungsformen ist die erste vorgegebene Bedingung ein Kontextablaufzeitraum (z. B. eine Minute). Zum Beispiel werden Kontextinformationen aus einer ersten Instanz eines DA in einer zweiten Instanz des DA verwendet, solange die zweite Instanz des DA innerhalb von einer Minute nach dem Verlassen der ersten Instanz des DA aufgerufen wird. Wenn in einigen Ausführungsformen die erste vorgegebene Bedingung nicht erfüllt wird (z. B. der Kontextablaufzeitraum abläuft), werden die Kontextinformationen in Bezug auf die erste Instanz des DA aus dem Kontextverlauf 352 gelöscht.
• Das Konversationspersistenzmodul 430 ist zum Aktivieren der Persistenz von Konversations-(oder Dialog-)Informationen über mehr als eine Instanz des DA konfiguriert. In einigen Ausführungsformen sind Konversationsinformationen, einschließlich mindestens eines Abschnitts eines Transkripts eines Dialogs zwischen einem Benutzer und einem DA in einer vorherigen Instanz einer DA-Benutzerschnittstelle, zum Anzeigen in einer nachfolgenden Instanz der DA-Benutzerschnittstelle verfügbar. Zum Beispiel bittet in einer ersten Instanz einer DA-Benutzerschnittstelle ein Benutzer den DA: „Zeig mir pakistanische Restaurants in der Nähe” und bekommt eine Liste von sechs pakistanischen Restaurants innerhalb eines Radius von zehn Meilen vom aktuellen Standort des Benutzers. Anschließend verlässt der Benutzer die erste Instanz der DA-Benutzerschnittstelle, geht zu einer anderen Benutzerschnittstelle als der DA-Benutzerschnittstelle (z. B. dem Startbildschirm der Vorrichtung, dem Sperrbildschirm der Vorrichtung oder einer vom DA separaten Anwendung) und betritt die DA-Benutzerschnittstelle erneut in einer zweiten Instanz der DA-Benutzerschnittstelle. In der zweiten Instanz der DA-Benutzerschnittstelle ist unterdessen die Liste von sechs pakistanischen Restaurants zum Anzeigen verfügbar. In einigen Ausführungsformen wird ein Teil des vorherigen Dialogs zwischen dem Benutzer und dem DA oder ein Durchscheinen des vorherigen Dialogs zwischen dem Benutzer und der DA unter einem teilweise transparenten Banner angezeigt. In einigen Ausführungsformen ist der Rest des Dialogs zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle zum Anzeigen durch Scrollen in der zweiten Instanz der DA-Benutzerschnittstelle verfügbar.
• Das Konversationspersistenzmodul 430 weist den Konversationsverlauf 354 und ein zweites Bedingungsmodul 432 auf. Der Konversationsverlauf 354 ist ein kurzfristiger bzw. Cache-Speicher, der Konversationsinformationen, einschließlich eines Transkripts eines Dialogs zwischen dem Benutzer und dem DA von einer oder mehreren vorherigen Instanzen des DA speichert. In einigen Ausführungsformen ist der Konversationsverlauf 354 ein separater Speicher aus dem Kontextverlauf 352. In einigen anderen Ausführungsformen sind der Konversationsverlauf 354 und der Kontextverlauf 352 in demselben Speicher enthalten. In einigen Ausführungsformen wird der Konversationsverlauf 354 im DA-Server 106 des Serversystems 108 (z. B. in den Daten 116 vom DA-Server 106) gespeichert. Das zweite Bedingungsmodul 432 löst die Verwendung der Konversationsinformationen aus, die im Konversationsverlauf 354 in einer zweiten Instanz eines DA gespeichert sind, solange eine zweite vorgegebene Bedingung erfüllt wird. In einigen Ausführungsformen ist die zweite vorgegebene Bedingung ein Konversationsablaufzeitraum (z. B. acht Minuten). Zum Beispiel sind Konversationsinformationen (z. B. ein Transkript eines Dialogs) von einer ersten Instanz eines DA zum Anzeigen in einer zweiten Instanz des DA verfügbar, solange die zweite Instanz des DA innerhalb von acht Minuten nach Verlassen der ersten Instanz des DA aufgerufen wird. In einigen Ausführungsformen werden, wenn die zweite vorgegebene Bedingung nicht erfüllt wird (z. B. der Konversationsablaufzeitraum abläuft), die Konversationsinformationen in Bezug auf die erste Instanz des DA aus dem Konversationsverlauf 354 gelöscht.
• Obwohl 4 nicht explizit die Kommunikationsschnittstellen zwischen allen Komponenten des digitalen Assistenten 326 in 3B zeigt, sollte es sich verstehen, dass die in 4 dargestellten Komponenten in der Lage sind, mit anderen Komponenten des digitalen Assistenten 326 in 3B entweder direkt oder durch eine oder mehrere andere Schnittstellen, wie Programmierschnittstellen (APIs), Datenbankabfrageschnittstellen und/oder andere Schnittstellen, Protokolle und/oder Kommunikationskanäle, zu kommunizieren.
• Die Aufmerksamkeit wird nun auf Ausführungsformen von Benutzerschnittstellen („UI”) gerichtet, die wahlweise auf der Benutzervorrichtung 104 implementiert werden.
• 5A–OO zeigen beispielhafte Benutzerschnittstellen zum Aktivieren von Kontext- und/oder Konversationspersistenz. 6A–D sind Fließschemen, die ein Verfahren zum Aktivieren von Kontext- und/oder Konversationspersistenz zeigen. Die Benutzerschnittstellen in 5A–OO werden zum Veranschaulichen der in 6A–D dargestellten Verfahren verwendet.
• 5A–OO zeigen eine Benutzervorrichtung 104 mit einem Berührungsbildschirm 246, der zum Anzeigen einer Benutzerschnittstelle 503 und zum Empfangen von Berührungseingabe konfiguriert ist, einem Näherungssensor 214, anderen Sensoren 216 (z. B. einem oder mehreren Beschleunigungsmessern), einem optischen Sensor 222 (ein Bestandteil des Kamera-Subsystems 220), einem Lautsprecher 228, der zum Erzeugen von Ton konfiguriert ist, und einem Mikrofon 230, das zum Empfangen von Toneingabe (z. B. Spracheingabe) konfiguriert ist. Die Benutzervorrichtung 104 weist wahlweise eine oder mehrere physische Tasten, wie die „Home-” oder Menü-Taste 509, auf. Die Home-Taste 509 wird wahlweise verwendet, um zu einem Startbildschirm oder einer beliebigen Anwendung in einem Satz von Anwendungen, die wahlweise auf der Benutzervorrichtung 104 ausgeführt werden, zu navigieren. Alternativ wird in einigen Ausführungsformen die Home-Taste als Softkey (z. B. mit einem Benutzerschnittstellenobjekt, hierin gelegentlich als Angebot oder Benutzerschnittstellenangebot bezeichnet) in einer Benutzerschnittstelle, die auf dem Berührungsbildschirm 246 angezeigt wird, implementiert.
• 5A veranschaulicht eine beispielhafte Benutzerschnittstelle für ein Menü von Anwendungen auf der Benutzervorrichtung 104 gemäß einigen Ausführungsformen. In einigen Ausführungsformen weist die Benutzerschnittstelle 503 die folgenden Elemente oder eine Teilmenge oder Obermenge davon auf:
• • Signalstärkeanzeige(n) 502a für drahtlose Kommunikation(en), wie Mobilfunk- und Wi-Fi-Signale;
• • Aktuelle Zeitanzeige 502b;
• • Batteriestatusanzeige 502c;
• • Leiste 508 mit Symbolen für häufig verwendete Anwendungen, wie: – Symbol 506a für ein Telefonmodul, als „Telefon” gekennzeichnet; – Symbol 506b für ein E-Mail-Client-Modul, als „E-Mail” gekennzeichnet; – Symbol 506c für ein Video- und Musikabspielmodul, als „Musik” gekennzeichnet; und – Symbol 506d für ein Internetbrowsermodul, als „Browser” gekennzeichnet.
• • Symbole für andere Anwendungen, wie: – Symbol 504a für ein Nachrichtenmodul, das Zugriff auf SMS- und MMS-Nachrichten bietet, als „Nachrichten” gekennzeichnet; – Symbol 504b für ein Kalendermodul, als „Kalender” gekennzeichnet; – Symbol 504c für ein Bildverwaltungsmodul, als „Fotos” gekennzeichnet; – Symbol 504d für ein Kameramodul, als „Kamera” gekennzeichnet; – Symbol 504e für eine Aktieneinrichtung, als „Aktien” gekennzeichnet; – Symbol 504f für ein Landkartenmodul, als „Landkarten” gekennzeichnet; – Symbol 504g für eine Wettereinrichtung, als „Wetter” gekennzeichnet; – Symbol 504h für eine Einstellungsanwendung oder ein Einstellungsmodul, die bzw. das Zugriff auf Einstellungen für die Benutzervorrichtung 104 bietet, als „Einstellungen” gekennzeichnet; – Symbol 504i für ein Dienstprogrammmodul, das Zugriff auf eine oder mehrere Dienstprogrammanwendungen bietet, als „Dienstprogramme” gekennzeichnet; und – Symbol 504j für ein Anwendungsspeichermodul, das Zugriff auf einen Markt für Anwendungen bietet, als „App-Store” gekennzeichnet.
• Es sei darauf hingewiesen, dass die in 5A dargestellten Symbolkennzeichnungen lediglich beispielhaft sind. Zum Beispiel ist das Symbol 506c für das Video- und Musikabspielmodul mit „Musik” oder „Musikplayer” gekennzeichnet. Es werden wahlweise andere Kennzeichnungen für verschiedene Anwendungssymbole verwendet. In einigen Ausführungsformen schließt eine Kennzeichnung für ein jeweiliges Anwendungssymbol einen Namen einer Anwendung entsprechend dem jeweiligen Anwendungssymbol ein. In einigen Ausführungsformen ist eine Kennzeichnung für ein spezielles Anwendungssymbol getrennt von einem Namen einer Anwendung entsprechend dem speziellen Anwendungssymbol.
• 5A veranschaulicht eine Benutzervorrichtung 104, die eine Benutzerschnittstelle 503 auf dem Berührungsbildschirm 246 mit mehreren Anwendungssymbolen 504 und Leistensymbolen 506 in der Leiste 508 zeigt. 5A veranschaulicht ferner das Erkennen einer Benutzer-Berührungseingabe 510 über die Home-Taste 509.
• 5B veranschaulicht das Aufrufen einer ersten Instanz eines digitalen Assistenten (DA) infolge des Erkennens des langen Drückens mit einer Benutzerberührungseingabe 510 über die Home-Taste 509 in 5A. In einigen Ausführungsformen ist ein langes Drücken ein stationärer Berührungskontakt, der für mehr als eine vorgegebene Zeitspanne (z. B. 500 ms, 750 ms, 1 Sekunde usw.) gehalten wird. Infolge des Aufrufens des DA spricht der DA den Benutzer akustisch an mit der Frage: „Womit kann ich Ihnen helfen?” Die Frage des DA ist auch in der Benutzerschnittstelle 503 transkribiert. 5B veranschaulicht ferner eine Taste 512 des digitalen Assistenten (DA). In einigen Ausführungsformen ist die DA-Taste 512 als Softkey (z. B. ein Benutzerschnittstellenobjekt) in der Benutzerschnittstelle 503 implementiert. In einigen Ausführungsformen wird infolge des Erkennens einer Berührungseingabe über die DA-Taste 512 eine Benutzervorrichtung 104 zum Aktivieren (z. B. Einschalten des Mikrofons 230) und Ermöglichen, dass der DA eine zusätzliche Frage empfängt, konfiguriert. Zum Beispiel fragt der Benutzer, wenn er vom DA angesprochen wird, den DA: „Wie warm ist es in Palo Alto?”
• 5C veranschaulicht die Antwort des DA auf die Frage des Benutzers innerhalb einer DA-Benutzerschnittstelle. Der DA antwortet auf die Frage des Benutzers mit der Aussage: „Es sind derzeit 77°F in Palo Alto”, was in Kästchen 513a transkribiert ist. Der DA zeigt auch einen Wetterbericht 513b für die nächsten vierundzwanzig Stunden, drei Tage, eine Woche oder Ähnliches an. 5C veranschaulicht ferner das Erkennen einer nach unten ziehenden Geste einer Benutzerberührungseingabe 511 von Position 511a zu 511b.
• 5D veranschaulicht das Hochscrollen einer Transkription (z. B. einer Transkription von Sprache zu Text) des aktuellen Dialogs (oder der aktuellen Konversation) zwischen dem Benutzer und dem DA innerhalb der DA-Benutzerschnittstelle infolge des Erkennens der nach unten ziehenden Geste in 5C. 5D zeigt eine Transkription der Frage des Benutzers in Kästchen 514 und eine teilweise angegebene Transkription der DA-Ansprache in Kästchen 515. 5D veranschaulicht ferner das Erkennen einer nach unten ziehenden Geste einer Benutzerberührungseingabe 511 von Position 511c zu 511b.
• 5E veranschaulicht das Scrollen zur Oberseite der Transkription des aktuellen Dialogs (oder der aktuellen Konversation) zwischen dem Benutzer und dem DA innerhalb der DA-Benutzerschnittstelle infolge des Erkennens der nach unten ziehenden Geste in 5D. 5E zeigt ein Kästchen 515, das vollständig in der Benutzerschnittstelle 503 angezeigt wird. 5E veranschaulicht ferner das Erkennen einer Benutzerberührungseingabe 516 über die DA-Taste 512. Infolge einer Benutzerberührungseingabe 516 über die DA-Taste 512 wird der DA aktiviert (z. B. wird Mikrofon 230 eingeschaltet) und es wird ermöglicht, dass er eine zusätzliche Frage oder Anforderung vom Benutzer empfängt. Nachdem die Benutzervorrichtung 104 eine Berührungseingabe 516 erkennt, bittet der Benutzer den DA zum Beispiel: „Zeig mir nahegelegene Restaurants.”
• 5F veranschaulicht die Antwort des DA auf eine Anforderung des Benutzers innerhalb der DA-Benutzerschnittstelle. Der DA beantwortet die Anforderung des Benutzers durch die Aussage: „Ich habe fünfzehn Restaurants gefunden. Vierzehn davon sind in Ihrer Nähe”, was in Kästchen 516 transkribiert ist. Der DA zeigt auch eine Liste 517 von vierzehn Restaurants in der Nähe des aktuellen Standorts des Benutzers an, einschließlich des Informationscontainers 517a bezüglich Restaurant 1, des Informationscontainers 517b bezüglich Restaurant 2 und des Informationscontainers 517c bezüglich Restaurant 3. 5C veranschaulicht ferner das Erkennen einer Benutzerberührungseingabe 518 über den Informationscontainer 517a bezüglich Restaurant 1.
• 5G veranschaulicht das Anzeigen ausführlicher Informationen 519 in Bezug auf „Restaurant 1” innerhalb der DA-Benutzerschnittstelle. Ausführliche Informationen 519 werden infolge des Erkennens einer Berührungseingabe 518 über den Informationscontainer 517a bezüglich „Restaurant 1” in 5F angezeigt. Zu ausführlichen Informationen 519 gehören wahlweise eines oder mehrere der Folgenden: Fotos von Restaurant 1, Öffnungszeiten von Restaurant 1, Telefonnummer und Webseite von Restaurant 1, die Entfernung des aktuellen Standorts des Benutzers von Restaurant 1 und eine Landkarte, die den Standort von Restaurant 1 in Bezug auf den aktuellen Standort des Benutzers anzeigt. 5G zeigt die Schaltfläche „Restaurants” 520a, die zum Zurückführen des Benutzers zur Liste 517 von Restaurants konfiguriert ist, und die Schaltfläche „Fertig” 520b, die zum Verlassen der DA-Benutzerschnittstelle und Leiten des Benutzers zu einem Startbildschirm konfiguriert ist (z. B. funktioniert die Schaltfläche „Fertig” 520b ähnlich wie die Home-Taste 509). 5G veranschaulicht ferner das Erkennen einer Benutzer-Berührungseingabe 521 über die Schaltfläche „Restaurants” 520a.
• Weitere Details zum Anzeigen damit verbundener Informationen innerhalb einer Instanz der DA-Benutzerschnittstelle sind in der vorläufigen US-Anmeldung Anmelde-Nr. 61/657,736 (Aktenzeichen Nr. P10575USXP1/063266-5693-PR), eingereicht am 8. Juni 2012, mit dem Titel „Intelligent Automated Assistant”, deren gesamte Offenbarung durch Bezugnahme hierin eingeschlossen ist, beschrieben.
• 5H veranschaulicht das Anzeigen der Transkription des aktuellen Dialogs (oder der aktuellen Konversation) zwischen dem Benutzer und dem DA infolge des Erkennens einer Benutzerberührungseingabe 521 über die Schaltfläche „Restaurants” 520a in 5G. Die angezeigte Transkription enthält die gleichen Informationen wie in 5F. 5H veranschaulicht ferner das Erkennen einer Benutzerberührungseingabe 522 über die DA-Taste 512. Infolge einer Benutzerberührungseingabe 522 über die DA-Taste 512 wird der DA aktiviert und es wird ermöglicht, dass er eine zusätzliche Frage oder Anforderung vom Benutzer empfängt. Nachdem die Benutzervorrichtung 104 eine Berührungseingabe 522 erkennt, fragt der Benutzer den DA zum Beispiel: „Wie warm ist es in Charleston, South Carolina?”
• 5I veranschaulicht die Antwort des DA auf die Anforderung des Benutzers, die in Kästchen 523 innerhalb der DA-Benutzerschnittstelle transkribiert ist. Der DA antwortet auf die Anforderung des Benutzers mit der Aussage: „Es sind derzeit 80°F in Charleston, SC”, was in Kästchen 524 transkribiert ist. 5I veranschaulicht ferner das Erkennen einer Benutzer-Berührungseingabe 525 über die Home-Taste 509.
• 5J veranschaulicht das Anzeigen einer Benutzerschnittstelle (z. B. eines Startbildschirms), der sich von der DA-Benutzerschnittstelle unterscheidet, infolge des Erkennens einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I. 5J veranschaulicht ferner das Erkennen einer Benutzer-Berührungseingabe 526 über die Home-Taste 509.
• 5K veranschaulicht das Aufrufen einer zweiten Instanz eines digitalen Assistenten (DA) infolge des Erkennens des langen Drückens mit einer Benutzerberührungseingabe 526 über die Home-Taste 509 in 5J 5K veranschaulicht ferner eine Kontextablaufuhr 527 und eine Konversationsablaufuhr 528. In einigen Ausführungsformen ist die Kontextablaufuhr 527 eine Sechzigsekundenuhr, die beginnt, wenn der Benutzer die DA-Benutzerschnittstelle verlässt. In einigen anderen Ausführungsformen ist die Kontextablaufuhr 527 eine vorgegebene Dauer (z. B. 0, 2, 3, 4, 5, 6, 7, 8 usw. Minuten) oder eine benutzerdefinierte Dauer. Wenn der Benutzer eine nachfolgende Instanz des DA innerhalb von sechzig Sekunden nach dem Verlassen der DA-Benutzerschnittstelle (oder allgemeiner vor dem Ablauf der Kontextablaufuhr 527) aufruft, wird ermöglicht, dass Kontextinformationen von der vorherigen Instanz des DA vom Prozessor natürlicher Sprache zur Absichtableitung in der nachfolgenden Instanz des DA verwendet werden. Wenn der Benutzer keine nachfolgende Instanz des DA vor Ablauf der Kontextablaufuhr 527 aufruft, werden die Kontextinformationen von der vorherigen Instanz des DA aus einem Kontextverlaufspeicher gelöscht.
• In einigen Ausführungsformen ist die Konversationsablaufuhr 528 eine Achtminutenuhr, die beginnt, wenn der Benutzer die DA-Benutzerschnittstelle verlässt. In einigen anderen Ausführungsformen ist die Konversationsablaufuhr 528 eine vorgegebene Dauer (z. B. 0, 2, 4, 6, 8, 10 usw. Minuten) oder eine benutzerdefinierte Dauer. Wenn der Benutzer eine nachfolgende Instanz des DA innerhalb von acht Minuten nach dem Verlassen der DA-Benutzerschnittstelle (oder allgemeiner vor Ablauf der Konversationsablaufuhr 528) aufruft, ist ein Abschnitt des Transkripts des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der vorherigen Instanz des DA zum Anzeigen in der nachfolgenden Instanz der DA-Benutzerschnittstelle verfügbar. Wenn der Benutzer keine nachfolgende Instanz des DA vor Ablauf der Konversationsablaufuhr 528 (z. B. innerhalb von acht Minuten nach dem Verlassen der DA-Benutzerschnittstelle) aufruft, ist der vorstehend genannte Abschnitt des Transkripts des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der vorherigen Instanz des DA nicht zum Anzeigen in der nachfolgenden Instanz der DA-Benutzerschnittstelle verfügbar.
• 5K veranschaulicht ferner, dass das Aufrufen der zweiten Instanz eines digitalen Assistenten (DA) in diesem Beispiel ungefähr dreißig Sekunden nach dem Verlassen der ersten Instanz der DA-Benutzerschnittstelle infolge des Erkennens einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I erfolgt. Daher sind weder die Kontextablaufuhr 527 noch die Konversationsablaufuhr 528 abgelaufen, und sowohl die Kontext- als auch Konversationsinformationen aus der ersten Instanz der DA-Benutzerschnittstelle bleiben in der zweiten Instanz der DA-Benutzerschnittstelle bestehen. Infolge des Aufrufens der zweiten Instanz des DA spricht der DA akustisch den Benutzer an, indem er fragt: „Womit kann ich Ihnen helfen?” Infolge der Ansprache fragt der Benutzer den DA zum Beispiel: „Wie ist es in Paris, Frankreich?”
• 5L veranschaulicht die zweite Instanz der DA-Benutzerschnittstelle in einer Ausführungsform, die ein scrollbares Transkript aufweist, wobei mindestens ein Abschnitt des Dialogs (oder der Konversation) von der ersten Instanz der DA-Benutzerschnittstelle zum Anzeigen verfügbar ist. 5L veranschaulicht ferner die Antwort auf die Frage des Benutzers, die im Kästchen 530 transkribiert ist, innerhalb der zweiten Instanz der DA-Benutzerschnittstelle. Der DA antwortet auf die Frage des Benutzers mit der Aussage: „Es sind derzeit 65°F in Paris, Frankreich”, was in Kästchen 530a transkribiert ist. Der DA antwortet auf die Frage des Benutzers mithilfe von Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle (z. B. Wetterkontext). Außerdem ist eine Transkription der Ansprache des DA in Kästchen 529 angezeigt, und ein Abschnitt der Transkription des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle wird teilweise in Kästchen 524 angezeigt. 5L veranschaulicht ferner das Erkennen einer nach unten ziehenden Geste (hierin gelegentlich auch „Streichgeste” genannt) der Benutzerberührungseingabe 531 von Position 531a zu 531b.
• 5M veranschaulicht das Herunterscrollen einer Transkription (z. B. einer Transkription von Sprache zu Text) des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA innerhalb der zweiten Instanz der DA-Benutzerschnittstelle infolge des Erkennens der nach unten ziehenden Geste, die in 5L erkannt wurde. Die angezeigte Transkription umfasst den Dialog von der aktuellen (zweiten) Instanz der DA-Benutzerschnittstelle und den Dialog von der vorherigen (ersten) Instanz der DA-Benutzerschnittstelle. Die angezeigte Transkription umfasst den Dialog von der zweiten Instanz der DA-Benutzerschnittstelle, der in 5L angezeigt wird. In Kästchen 524 umfasst die angezeigte Transkription die Frage des Benutzers von der ersten Instanz der DA-Benutzerschnittstelle: „Wie warm ist es in Charleston, South Carolina?” In Kästchen 523 umfasst die angezeigte Transkription auch die Antwort des DA: „Es sind derzeit 80°F in Charleston, SC”, auf die Frage des Benutzers. Die angezeigte Transkription umfasst ferner die Liste 517 von Restaurants von der ersten Instanz der DA-Benutzerschnittstelle, einschließlich Informationscontainer 517n bezüglich Restaurant 14 und eines Abschnitts des Informationscontainers 517 m bezüglich Restaurant 13.
• 5N veranschaulicht die zweite Instanz der DA-Benutzerschnittstelle in einer anderen Ausführungsform, einschließlich einer reduzierbaren Verzeichnisstruktur für ein Transkript eines Dialogs zwischen dem Benutzer und dem DA. In einigen Ausführungsformen unterteilt die Verzeichnisstruktur Frage-Antwort-Paare vom Transkript in jeweilige Partitionen. In einigen anderen Ausführungsformen unterteilt die Verzeichnisstruktur das Transkript nach ähnlichen Themen. 5N zeigt den Dialog von der ersten und der zweiten Instanz der DA-Benutzerschnittstelle in das Thema Essen 532 und das Thema Wetter 533 unterteilt.
• Wie in 5N dargestellt, ist das Thema Essen 532 derzeit minimiert (oder reduziert), und die Schaltfläche 534 ist zum Maximieren des Themas Essen 532 konfiguriert, um mindestens einen Abschnitt des Dialogs entsprechend dem Thema Essen 532 anzuzeigen. Das Thema Wetter 533 ist derzeit maximiert und zeigt mindestens einen Abschnitt des Dialogs in Bezug auf Wetter von der ersten und zweiten Instanz der DA-Benutzerschnittstelle an. Die Schaltfläche 535 ist zum Minimieren des Themas Wetter 533 konfiguriert, um das Anzeigen des Abschnitts des Dialogs in Bezug auf Wetter von der ersten und der zweiten Instanz der DA-Benutzerschnittstelle zu beenden. 5N veranschaulicht ferner das Erkennen einer Benutzerberührungseingabe 536 über die Schaltfläche 535. Jede Schaltfläche der Benutzerschnittstelle wird hierin gelegentlich als Angebot oder Benutzerschnittstellenangebot oder Benutzerschnittstellenentgegnung bezeichnet.
• 5O veranschaulicht das Minimieren des Themas Wetter 533 infolge des Erkennens einer Benutzerberührungseingabe 536 über die Schaltfläche 535 in 5N. 5O veranschaulicht ferner das Erkennen einer Benutzerberührungseingabe 537 über die DA-Taste 512. Infolge einer Benutzerberührungseingabe 537 über die DA-Taste 512 wird der DA aktiviert (z. B. wird Mikrofon 230 eingeschaltet) und es wird ermöglicht, dass er eine zusätzliche Frage oder Anforderung vom Benutzer empfängt. Nachdem die Benutzervorrichtung 104 eine Berührungseingabe 537 erkennt, fragt der Benutzer den DA zum Beispiel: „Wie ist es in München?”
• Wenn ein jeweiliges Thema innerhalb der reduzierbaren Verzeichnisstruktur minimiert ist, werden in einigen Ausführungsformen Kontextinformationen für Abschnitte des Dialogs in Bezug auf das jeweilige Thema aus dem Kontextverlauf ausgeschlossen. Die ausgeschlossenen Kontextinformationen werden wiederum nicht vom Prozessor natürlicher Sprache 332 zur Absichtsableitung verwendet, wenn der DA versucht, auf eine Frage oder Anforderung des Benutzers zu antworten.
• 5P veranschaulicht die Antwort des DA auf die Frage des Benutzers, die im Kästchen 538 transkribiert ist, innerhalb der zweiten Instanz der DA-Benutzerschnittstelle. Der DA antwortet auf die Anforderung des Benutzers mit der Äußerung: „Soll ich das Internet nach, Wie ist es in München' durchsuchen?” Die zweite Instanz der DA-Benutzerschnittstelle zeigt auch eine Schaltfläche „Internet durchsuchen” 540 an, die zum Ausführen einer Internetsuche nach „Wie ist es in München?” konfiguriert ist. In 5P leitet der DA nicht ab, dass die Frage des Benutzers „Wie ist es in München?” sich auf das Wetter bezieht, da die Kontextinformationen im Bezug auf das Thema Wetter 533 aus dem Kontextverlauf ausgeschlossen wurden.
• 5Q veranschaulicht das Aufrufen einer zweiten Instanz eines digitalen Assistenten (DA) infolge des Erkennens des langen Drückens mit einer Benutzerberührungseingabe 526 über die Home-Taste 509 in 5J. 5Q veranschaulicht ferner, dass das Aufrufen der zweiten Instanz eines digitalen Assistenten (DA) in diesem Beispiel ungefähr zwei Minuten (z. B. ist die Konversationsablaufuhr 528 an der Zweiminutenmarkierung) nach dem Verlassen der ersten Instanz der DA-Benutzerschnittstelle infolge von Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I erfolgt. Deshalb ist die Kontextablaufuhr 527 abgelaufen, und nur Konversationsinformationen von der ersten Instanz der DA-Benutzerschnittstelle bleiben in der zweiten Instanz der DA-Benutzerschnittstelle bestehen. Infolge des Aufrufens der zweiten Instanz des DA spricht der DA akustisch den Benutzer an, indem er fragt: „Womit kann ich Ihnen helfen?” Infolge der Ansprache fragt der Benutzer den DA zum Beispiel: „Wie ist es in Paris, Frankreich?”
• 5R veranschaulicht die zweite Instanz der DA-Benutzerschnittstelle in einer Ausführungsform, wobei ein Transkript des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle zum Anzeigen verfügbar ist. 5R veranschaulicht auch eine Schaltfläche „siehe ältere” 541, die in der Benutzerschnittstelle 503 angezeigt wird. Die Schaltfläche „siehe ältere” 541 ist zum Anzeigen mindestens eines Abschnitts des Transkripts des Dialogs von der ersten Instanz der DA-Benutzerschnittstelle konfiguriert. Eine Transkription des Dialogs von der zweiten Instanz der DA-Benutzerschnittstelle wird unter der Schaltfläche „siehe ältere” 541 angezeigt. Die Transkription des Dialogs von der zweiten Instanz der DA-Benutzerschnittstelle umfasst die in Kästchen 542 angezeigte Ansprache des DA, die in Kästchen 543 angezeigte Frage des Benutzers und die in Kästchen 544 angezeigte Antwort des DA.
• Wie in Kästchen 544 transkribiert, antwortet der DA auf die Frage des Benutzers mit der Äußerung: „Soll ich das Internet nach, Wie ist es in Paris, Frankreich?' durchsuchen?” Die zweite Instanz der DA-Benutzerschnittstelle zeigt auch eine Schaltfläche „Internet durchsuchen” 545 an, die zum Ausführen einer Internetsuche nach, Wie ist es in Paris, Frankreich?' konfiguriert ist. In 5R leitet der DA nicht ab, dass sich die Frage des Benutzers, die in Kästchen 543 transkribiert ist, auf das Wetter bezieht, da die Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle aus dem Kontextverlauf gelöscht wurden, da die Kontextablaufuhr vor dem Aufrufen der zweiten Instanz des DA abgelaufen ist. 5R veranschaulicht ferner das Erkennen von Benutzerberührungseingabe 546 über die Schaltfläche „siehe ältere” 541.
• 5S veranschaulicht das Anzeigen mindestens eines Abschnitts des Transkripts des Dialogs von der ersten Instanz der DA-Benutzerschnittstelle in der zweiten Instanz der DA-Benutzerschnittstelle infolge des Erkennens einer Benutzerberührungseingabe 546 über die Schaltfläche „siehe ältere” 541 in 5R. Die angezeigte Transkription umfasst den Dialog von der aktuellen (zweiten) Instanz der DA-Benutzerschnittstelle und den Dialog von der vorherigen (ersten) Instanz der DA-Benutzerschnittstelle. Die angezeigte Transkription umfasst den Dialog von der zweiten Instanz der DA-Benutzerschnittstelle, der in 5R angezeigt wird. Die angezeigte Transkription umfasst die Frage des Benutzers „Wie warm ist es in Charleston, South Carolina?” und die Antwort des DA „Es sind derzeit 80°F in Charleston, SC” von der ersten Instanz der DA-Benutzerschnittstelle. Die angezeigte Transkription umfasst ferner die Liste 517 von Restaurants von der ersten Instanz der DA-Benutzerschnittstelle, einschließlich des Informationscontainers 517n bezüglich Restaurant 14.
• 5T veranschaulicht das Aufrufen einer zweiten Instanz eines digitalen Assistenten (DA) infolge des Erkennens des langen Drückens mit einer Benutzerberührungseingabe 526 über die Home-Taste 509 in 5J. 5T veranschaulicht ferner, dass das Aufrufen der zweiten Instanz eines digitalen Assistenten (DA) mehr als acht Minuten nach dem Verlassen der ersten Instanz der DA-Benutzerschnittstelle infolge einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I erfolgt. Daher sind sowohl die Kontextablaufuhr 527 als auch die Konversationsablaufuhr 528 abgelaufen, und weder Kontext- noch Konversationsinformationen aus der ersten Instanz der DA-Benutzerschnittstelle bleiben in der zweiten Instanz der DA-Benutzerschnittstelle bestehen. Infolge des Aufrufens der zweiten Instanz des DA spricht nach Ablauf von sowohl Kontextablaufuhr 527 als auch Konversationsablaufuhr 528 der DA akustisch den Benutzer an, indem er fragt: „Womit kann ich Ihnen helfen?” Infolge der Ansprache fragt der Benutzer den DA zum Beispiel: „Wie ist es in Paris, Frankreich?”
• 5U veranschaulicht die zweite Instanz der DA-Benutzerschnittstelle in einer Ausführungsform, wobei kein Transkript des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle zum Anzeigen verfügbar ist. Wie in Kästchen 549 transkribiert, antwortet der DA auf die Frage des Benutzers mit der Äußerung: „Soll ich das Internet nach, Wie ist es in Paris, Frankreich?' durchsuchen?” Die zweite Instanz der DA-Benutzerschnittstelle zeigt auch eine Schaltfläche „Internet durchsuchen” 550 an, die zum Ausführen einer Internetsuche nach, Wie ist es in Paris, Frankreich?' konfiguriert ist. In 5U leitet der DA nicht ab, dass sich die Frage des Benutzers, die in Kästchen 548 transkribiert ist, auf das Wetter bezieht, da die Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle aus dem Kontextverlauf gelöscht wurden, da die Kontextablaufuhr 527 vor dem Aufrufen der zweiten Instanz des DA abgelaufen ist. 5U veranschaulicht ferner das Erkennen einer nach unten ziehenden Geste einer Benutzerberührungseingabe 551 von Position 551a zu 551b.
• 5V veranschaulicht das Hochscrollen der Benutzerschnittstelle 503 infolge des Erkennens der nach unten ziehenden Geste in 5U. Ein Abschnitt des Transkripts von der ersten Instanz der DA-Benutzerschnittstelle ist auch nach Hochscrollen nicht zum Anzeigen verfügbar, da die Konversationsablaufuhr 528 vor dem Aufrufen der zweiten Instanz des DA abgelaufen ist.
• 5W veranschaulicht das Anzeigen einer anderen Benutzerschnittstelle (z. B. eines Sperrbildschirms) als der DA-Benutzerschnittstelle. 5W veranschaulicht ferner das Erkennen einer Benutzer-Berührungseingabe 552 über die Home-Taste 509.
• 5X veranschaulicht das Aufrufen einer zweiten Instanz eines digitalen Assistenten (DA) infolge des Erkennens des langen Drückens mit einer Benutzerberührungseingabe 552 über die Home-Taste 509 in 5W. 5X veranschaulicht ferner, dass das Aufrufen der zweiten Instanz eines digitalen Assistenten (DA) in diesem Beispiel ungefähr dreißig Sekunden nach dem Verlassen der ersten Instanz der DA-Benutzerschnittstelle infolge einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I erfolgt. Wenn die Benutzervorrichtung 104 gesperrt ist, bleiben in einigen Ausführungsformen weder Kontext- noch Konversationsinformationen von der ersten Instanz der DA-Benutzerschnittstelle in der zweiten Instanz der DA-Benutzerschnittstelle bestehen, auch wenn weder die Kontextablaufuhr 527 noch die Konversationsablaufuhr abgelaufen ist. Infolge des Aufrufens der zweiten Instanz des DA spricht der DA akustisch den Benutzer an, indem er fragt: „Womit kann ich Ihnen helfen?” Infolge der Ansprache fragt der Benutzer den DA zum Beispiel: „Wie ist es in Budapest?”
• 5Y veranschaulicht die zweite Instanz der DA-Benutzerschnittstelle in einer Ausführungsform, wobei kein Transkript des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle zum Anzeigen verfügbar ist. Wie in Kästchen 555 transkribiert, antwortet der DA auf die Frage des Benutzers mit der Äußerung: „Soll ich das Internet nach, Wie ist es in Budapest?' durchsuchen?” Die zweite Instanz der DA-Benutzerschnittstelle zeigt auch die Schaltfläche „Internet durchsuchen” 556 an, die zum Ausführen einer Internetsuche nach, Wie ist es in Budapest?' konfiguriert ist. In 5Y leitet der DA nicht ab, dass die Frage des Benutzers, die in Kästchen 554 transkribiert ist, sich auf das Wetter bezieht, da die Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle aus dem Kontextverlauf ausgeschlossen werden, wenn die Benutzervorrichtung 104 gesperrt ist. 5Y veranschaulicht ferner das Erkennen einer Benutzerberührungseingabe 557 über die Home-Taste 509.
• 5Z veranschaulicht das Anzeigen einer Benutzerschnittstelle (z. B. eines Sperrbildschirms), der sich von der DA-Benutzerschnittstelle unterscheidet, infolge des Erkennens der Benutzerberührungseingabe 557 über die Home-Taste 509 in 5Y. 5Z veranschaulicht ferner das Erkennen einer horizontalen ziehenden Geste der Benutzerberührungseingabe 558 von Position 558a zu 558b, um die Benutzervorrichtung 104 zu entsperren.
• 5AA veranschaulicht das Anzeigen einer anderen Benutzerschnittstelle (z. B. eines entsperrten Startbildschirms) als der DA-Benutzerschnittstelle infolge des Erkennens der horizontalen ziehenden Geste in 5Z. 5AA veranschaulicht ferner das Erkennen einer Benutzer-Berührungseingabe 559 über die Home-Taste 509.
• 5BB veranschaulicht das Aufrufen einer zweiten Instanz eines digitalen Assistenten (DA) infolge des Erkennens des langen Drückens mit einer Benutzerberührungseingabe 559 über die Home-Taste 509 in 5AA 5BB veranschaulicht ferner, dass das Aufrufen der zweiten Instanz eines digitalen Assistenten (DA) ungefähr fünfzig Sekunden (z. B. ist die Kontextablaufuhr 527 ungefähr an der Fünfzigsekundenmarkierung) nach dem Verlassen der ersten Instanz der DA-Benutzerschnittstelle infolge einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I erfolgt. Daher sind weder die Kontextablaufuhr 527 noch die Konversationsablaufuhr 528 abgelaufen, und sowohl die Kontext- als auch die Konversationsinformationen aus der ersten Instanz der DA-Benutzerschnittstelle bleiben in der zweiten Instanz der DA-Benutzerschnittstelle bestehen. Infolge des Aufrufens der zweiten Instanz des DA spricht der DA akustisch den Benutzer an, indem er fragt: „Womit kann ich Ihnen helfen?” Infolge der Ansprache fragt der Benutzer den DA zum Beispiel: „Wie ist es in Budapest?”
• 5CC veranschaulicht die zweite Instanz der DA-Benutzerschnittstelle in einer Ausführungsform, die ein scrollbares Transkript aufweist, wobei mindestens ein Abschnitt des Dialogs (oder der Konversation) von der ersten Instanz der DA-Benutzerschnittstelle zum Anzeigen verfügbar ist. 5CC veranschaulicht auch die Antwort auf die Frage des Benutzers, die im Kästchen 561 transkribiert ist, innerhalb der zweiten Instanz der DA-Benutzerschnittstelle. Wie in Kästchen 562 transkribiert, antwortet der DA auf die Frage des Benutzers mit er Aussage: „Es sind derzeit 70°F in Budapest.” Der DA antwortet auf die Frage des Benutzers mithilfe von Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle (z. B. Wetterkontext). 5CC veranschaulicht ferner ein teilweises Anzeigen eines Abschnitts der Transkription des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle in Kästchen 524.
• 5DD veranschaulicht das Aufrufen einer zweiten Instanz eines digitalen Assistenten (DA) infolge des Erkennens des langen Drückens mit einer Benutzerberührungseingabe 526 über die Home-Taste 509 in 5J. 5DD veranschaulicht ferner eine Konversationsablaufuhr 528. In einigen Ausführungsformen ist die Konversationsablaufzeit 528 ein vorgegebener Zeitraum (z. B. 2, 4, 6, 8, 10 Minuten usw.) oder ein benutzerdefinierter Zeitraum. In einer Ausführungsform ist die Konversationsablaufuhr 528 eine Achtminutenuhr, die beginnt, wenn der Benutzer die DA-Benutzerschnittstelle verlässt. Wenn der Benutzer eine nachfolgende Instanz des DA innerhalb von acht Minuten nach dem Verlassen der DA-Benutzerschnittstelle (oder allgemeiner vor Ablauf der Konversationsablaufuhr 528) aufruft, ist ein Abschnitt des Transkripts des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der vorherigen Instanz des DA zum Anzeigen in der nachfolgenden Instanz der DA-Benutzerschnittstelle verfügbar. Wenn der Benutzer keine nachfolgende Instanz des DA vor Ablauf der Konversationsablaufuhr 528 (z. B. innerhalb von acht Minuten nach dem Verlassen der DA-Benutzerschnittstelle) aufruft, ist der vorstehend genannte Abschnitt des Transkripts des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der vorherigen Instanz des DA nicht zum Anzeigen in der nachfolgenden Instanz der DA-Benutzerschnittstelle verfügbar. Wenn der Benutzer keine nachfolgende Instanz des DA vor Ablauf der Konversationsablaufuhr 528 aufruft, löscht die Benutzervorrichtung 104 zudem gespeicherte Kontextinformationen entsprechend dem Dialog (oder der Konversation) zwischen dem Benutzer und dem DA von der vorherigen Instanz des DA aus dem Kontextverlauf.
• 5DD veranschaulicht ein prophetisches Beispiel, wobei das Aufrufen der zweiten Instanz eines digitalen Assistenten (DA) in diesem Beispiel ungefähr zwei Minuten nach dem Verlassen der ersten Instanz der DA-Benutzerschnittstelle infolge einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I erfolgt. Deshalb ist die Konversationsablaufuhr 528 nicht abgelaufen, und Konversationsinformationen von der ersten Instanz der DA-Benutzerschnittstelle bleiben in der zweiten Instanz der DA-Benutzerschnittstelle bestehen. Außerdem veranschaulicht 5DD das teilweise Anzeigen eines Abschnitts der Transkription des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle in Kästchen 524, und eine Transkription der Ansprache des DA wird in Kästchen 563 angezeigt (z. B. „Womit kann ich Ihnen helfen?”). Infolge des Aufrufens der zweiten Instanz des DA spricht der DA akustisch den Benutzer an, indem er fragt: „Womit kann ich Ihnen helfen?” Infolge der Ansprache fragt der Benutzer den DA zum Beispiel: „Wie ist es in Paris, Frankreich?” In einigen Ausführungsformen sind Abschnitte des Startbildschirms, die sichtbar sind, wenn die DA-Benutzerschnittstelle in der Benutzerschnittstelle 503 angezeigt wird, unscharf, schattiert oder anderweitig visuell weniger gut erkenntlich gemacht. Zum Beispiel wird in 5DD ein Abschnitt des Startbildschirms (z. B. einschließlich der Anwendungssymbole 504a, 504b, 504c, 504d, 504e, 504f, 504g, 504h, 504i, 504j und Leistensymbole 506a, 506b, 506c, 506d) teilweise oder unscharf unter der zweiten Instanz der DA-Benutzerschnittstelle in der Benutzerschnittstelle 503 angezeigt.
• 5EE veranschaulicht die zweite Instanz der DA-Benutzerschnittstelle in einer Ausführungsform, wobei ein Transkript des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle zum Anzeigen verfügbar ist. Wie in Kästchen 565 von 5EE transkribiert, reagiert der DA auf die Frage des Benutzers mit der Äußerung: „Soll ich das Internet nach 'Wie ist es in Paris, Frankreich?' durchsuchen?” Die zweite Instanz der DA-Benutzerschnittstelle zeigt auch eine Schaltfläche „Internet durchsuchen” 545 an, die zum Ausführen einer Internetsuche nach 'Wie ist es in Paris, Frankreich?' konfiguriert ist.
• In einigen Ausführungsformen werden Kontextinformationen von der ersten Instanz der digitalen Benutzerschnittstelle aufgerufen, wenn mindestens ein Abschnitt des ersten Dialogs zwischen dem DA und dem Benutzer von der ersten Instanz der DA-Benutzerschnittstelle in der Benutzerschnittstelle 503 auf dem Berührungsbildschirm 112 infolge einer Benutzeraktion (z. B. einer Tipp- oder Streichgeste auf dem Berührungsbildschirm 112) angezeigt wird. In 5EE leitet der DA nicht ab, dass die Anfrage des Benutzers, die in Kästchen 564 transkribiert ist, sich auf das Wetter bezieht, wenn er auf die Anfrage des Benutzers antwortet, da Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle nicht bei oder vor dem Empfangen der Benutzeranfrage 564 aufgerufen wurden. Der DA ruft Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle nicht auf, wenn er auf die Benutzeranfrage 564 antwortet, da die Benutzervorrichtung 104 keine Benutzeraktion (z. B. Tipp- oder Streichgeste auf dem Berührungsbildschirm 112) zum Anzeigen mindestens eines Abschnitts des ersten Dialogs zwischen dem DA und dem Benutzer von der ersten Instanz der DA-Benutzerschnittstelle bei oder vor dem Empfangen der Benutzeranfrage 564 erkannt hat. 5EE veranschaulicht ferner das Erkennen einer nach unten ziehenden Geste (gelegentlich auch als „Streichgeste” bezeichnet) der Benutzerberührungseingabe 567 von Position 567a zu 567b auf dem Berührungsbildschirm 112.
• 5FF veranschaulicht das Herunterscrollen einer Transkription (z. B. einer Transkription von Sprache zu Text) des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA innerhalb der zweiten Instanz der DA-Benutzerschnittstelle infolge des Erkennens der nach unten ziehenden Geste, die in 5EE erkannt wurde. Die in 5FF angezeigte Transkription umfasst den Dialog von der aktuellen (zweiten) Instanz der DA-Benutzerschnittstelle und den Dialog von der vorherigen (ersten) Instanz der DA-Benutzerschnittstelle. Die in 5FF angezeigte Transkription umfasst den Dialog von der zweiten Instanz der DA-Benutzerschnittstelle (z. B. die Ansprache des DA 563, die Benutzeranfrage 564 und die Antwort des DA 565, 566). In Kästchen 523 umfasst die in 5FF angezeigte Transkription die Frage des Benutzers von der ersten Instanz der DA-Benutzerschnittstelle, „Wie warm ist es in Charleston, South Carolina?” In Kästchen 524 umfasst die in 5FF angezeigte Transkription auch die Antwort des DA, „Es sind derzeit 80°F in Charleston, SC”, auf die Frage des Benutzers in der ersten Instanz der DA-Benutzerschnittstelle.
• 5FF veranschaulicht ferner das Erkennen einer Benutzerberührungseingabe 568 über die DA-Taste 512 auf dem Berührungsbildschirm 112. Infolge einer Benutzerberührungseingabe 568 über die DA-Taste 512 wird der DA aktiviert (z. B. wird das Mikrofon 230 eingeschaltet) und es wird ermöglicht, dass er eine zusätzliche Frage (hierin gelegentlich auch als „Anfrage” bezeichnet) oder Anforderung vom Benutzer empfängt. Nachdem die Benutzervorrichtung 104 eine Benutzerberührungseingabe 568 erkennt, fragt der Benutzer den DA zum Beispiel: „Wie ist es in Paris?”
• 5GG veranschaulicht die Antwort des DA auf eine Anfrage des Benutzers innerhalb der DA-Benutzerschnittstelle. In 5GG antwortet der DA auf die Frage des Benutzers mit der Aussage: „Es sind derzeit 65°F in Paris, Frankreich”, was in Kästchen 670 transkribiert ist. In 5GG leitet der DA ab, dass die Anfrage des Benutzers, die in Kästchen 569 transkribiert ist, sich auf das Wetter bezieht, wenn er auf die Anfrage des Benutzers antwortet, da die Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle bei oder vor dem Empfangen der Benutzeranfrage 569 aufgerufen wurden. Der DA ruft Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle auf, wenn er auf die Benutzeranfrage 569 antwortet, da die Benutzervorrichtung 104 eine Benutzeraktion (z. B. die ziehende Geste, die in 5EE erkannt wurde) zum Anzeigen mindestens eines Abschnitts des ersten Dialogs zwischen dem DA und dem Benutzer von der ersten Instanz der DA-Benutzerschnittstelle (z. B. der Benutzeranfrage 523 und der Antwort des DA 524 auf die Benutzeranfrage 523) bei oder vor dem Empfangen der Benutzeranfrage 569 erkannt hat.
• 5HH veranschaulicht das Aufrufen einer zweiten Instanz eines digitalen Assistenten (DA) infolge des Erkennens des langen Drückens mit einer Benutzerberührungseingabe 526 über die Home-Taste 509 in 5J. 5HH veranschaulicht auch eine Konversationsablaufuhr 528. In einigen Ausführungsformen ist die Konversationsablaufuhr 528 eine Achtminutenuhr, die beginnt, wenn der Benutzer die DA-Benutzerschnittstelle verlässt. 5HH veranschaulicht ferner, dass das Aufrufen der zweiten Instanz eines digitalen Assistenten (DA) in diesem Beispiel ungefähr zwei Minuten nach dem Verlassen der ersten Instanz der DA-Benutzerschnittstelle infolge einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I erfolgt. Deshalb ist die Konversationsablaufuhr 528 nicht abgelaufen, und Konversationsinformationen von der ersten Instanz der DA-Benutzerschnittstelle bleiben in der zweiten Instanz der DA-Benutzerschnittstelle bestehen.
• 5HH veranschaulicht auch das Anzeigen der Schaltfläche „siehe ältere” 572 innerhalb der DA-Benutzerschnittstelle. Die Schaltfläche „siehe ältere” 572 ist zum Anzeigen mindestens eines Abschnitts des Transkripts des Dialogs von der ersten Instanz der DA-Benutzerschnittstelle konfiguriert. 5HH veranschaulicht auch das Erkennen einer Benutzerberührungseingabe 573 über die Schaltfläche „siehe ältere” 572 auf dem Berührungsbildschirm 112. Außerdem wird in 5HH ein Abschnitt des Startbildschirms (z. B. einschließlich der Anwendungssymbole 504a, 504b, 504c, 504d, 504e, 504f, 504g, 504h, 504i, 504j und Leistensymbole 506a, 506b, 506c, 506d) teilweise oder unscharf unter der zweiten Instanz der DA-Benutzerschnittstelle in der Benutzerschnittstelle 503 angezeigt.
• 5II veranschaulicht das Anzeigen mindestens eines Abschnitts des Transkripts des Dialogs von der ersten Instanz der DA-Benutzerschnittstelle in der zweiten Instanz der DA-Benutzerschnittstelle infolge des Erkennens einer Benutzerberührungseingabe 573 über die Schaltfläche „siehe ältere” 572 in 5II. Die in 5II angezeigte Transkription umfasst den Dialog von der aktuellen (zweiten) Instanz der DA-Benutzerschnittstelle und den Dialog von der vorherigen (ersten) Instanz der DA-Benutzerschnittstelle. Die in 5II angezeigte Transkription umfasst das Anzeigen des Dialogs von der zweiten Instanz der DA-Benutzerschnittstelle (z. B. die Ansprache des DA „Womit kann ich Ihnen helfen?”, die in Kästchen 571 transkribiert ist). Die in 5II angezeigte Transkription umfasst auch die Anfrage des Benutzers (in Kästchen 523 transkribiert) und die Antwort des DA (in Kästchen 524 transkribiert) auf die Benutzeranfrage 523 von der ersten Instanz der DA-Benutzerschnittstelle.
• 5II veranschaulicht ferner das Erkennen einer Benutzerberührungseingabe 574 über die DA-Taste 512. Infolge der Benutzerberührungseingabe 574 über die DA-Taste 512 wird der DA aktiviert (z. B. wird das Mikrofon 230 eingeschaltet) und es wird ermöglicht, dass er eine zusätzliche Anfrage oder Anforderung vom Benutzer empfängt. Nachdem die Benutzervorrichtung 104 eine Benutzerberührungseingabe 574 erkennt, fragt der Benutzer den DA zum Beispiel: „Wie ist es in Paris?” 5JJ veranschaulicht die Antwort des DA auf eine Anfrage des Benutzers innerhalb der DA-Benutzerschnittstelle. In 5JJ antwortet der DA auf die Frage des Benutzers mit der Aussage: „Es sind derzeit 65°F in Paris, Frankreich”, was in Kästchen 576 transkribiert ist. In 5JJ leitet der DA ab, dass die Anfrage des Benutzers, die in Kästchen 576 transkribiert ist, sich auf das Wetter bezieht, wenn er auf die Anfrage des Benutzers antwortet, da die Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle bei oder vor dem Empfangen der Benutzeranfrage 576 aufgerufen wurden. Der DA ruft Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle auf, wenn er auf die Benutzeranfrage 576 antwortet, da die Benutzervorrichtung 104 eine Benutzeraktion (z. B. eine Benutzerberührungseingabe 573, die über die Schaltfläche „siehe ältere” 572 in 5HH erkannt wurde) zum Anzeigen mindestens eines Abschnitts des ersten Dialogs zwischen dem DA und dem Benutzer von der ersten Instanz der DA-Benutzerschnittstelle (z. B. Benutzeranfrage 523 und DA-Antwort 524) bei oder vor dem Empfangen der Benutzeranfrage 576 erkannt hat. 5JJ veranschaulicht ferner das Erkennen einer nach oben ziehenden Geste (gelegentlich auch als „Streichgeste” bezeichnet) der Benutzerberührungseingabe 577 von Position 577a zu 577b auf dem Berührungsbildschirm 112.
• 5KK veranschaulicht das Beenden der Anzeige des Abschnitts der Transkription (z. B. Kästchen 523 und 524) des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle in der zweiten Instanz eines digitalen Assistenten (DA) infolge des Erkennens der nach oben ziehenden Geste in 5JJ. In einigen Ausführungsformen werden Konversationsinformationen (oder die Transkription des Dialogs) von der ersten Instanz der DA-Benutzerschnittstelle aus dem Konversationsverlauf 354 infolge des Erkennens einer nach oben ziehenden Geste, die angezeigte Abschnitte der Transkription des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle aus der Benutzerschnittstelle 503 hinaus scrollt, gelöscht (oder ausgeschlossen). Außerdem werden in einigen Ausführungsformen Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle aus dem Kontextverlauf 352 infolge des Erkennens einer nach oben ziehenden Geste, die angezeigte Abschnitte der Transkription des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle aus der Benutzerschnittstelle 503 hinausscrollt, gelöscht (oder ausgeschlossen).
• 5KK veranschaulicht ferner das Erkennen einer Benutzerberührungseingabe 578 über die DA-Taste 512 auf dem Berührungsbildschirm 112. Infolge einer Benutzerberührungseingabe 578 über die DA-Taste 512 wird der DA aktiviert (z. B. wird das Mikrofon 230 eingeschaltet) und es wird ermöglicht, dass er eine zusätzliche Frage (hierin gelegentlich auch als „Anfrage” bezeichnet) oder Anforderung vom Benutzer empfängt. Nachdem die Benutzervorrichtung 104 eine Benutzerberührungseingabe 578 erkennt, fragt der Benutzer den DA zum Beispiel: „Wie ist es in London?”
• 5LL veranschaulicht die zweite Instanz der DA-Benutzerschnittstelle in einer Ausführungsform, wobei Konversations- und Kontextinformationen von der ersten Instanz des DA aus dem Konversationsverlauf 354 bzw. Kontextverlauf 352 gelöscht oder ausgeschlossen wurden. Wie in Kästchen 580 von 5LL transkribiert, reagiert der DA auf die Frage des Benutzers mit der Äußerung: „Soll ich das Internet nach, Wie ist es in London?' durchsuchen?” Die zweite Instanz der DA-Benutzerschnittstelle zeigt auch eine Schaltfläche „Internet durchsuchen” 581 an, die zum Ausführen einer Internetsuche nach, Wie ist es in London?' konfiguriert ist.
• In 5LL leitet der DA nicht ab, dass die Anfrage des Benutzers, die in Kästchen 579 transkribiert ist, sich auf das Wetter bezieht, wenn er auf die Anfrage des Benutzers antwortet, da die Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle aus dem Kontextverlauf 352 bei oder vor dem Empfangen der Benutzeranfrage 579 gelöscht (oder ausgeschlossen) wurden. Der DA ruft Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle nicht auf, wenn er auf die Benutzeranfrage 579 antwortet, da die Benutzervorrichtung 104 eine Benutzeraktion in 5JJ (z. B. die nach oben streichende Geste mit der Benutzerberührungseingabe 577) erkannt hat, um das Anzeigen des ersten Dialogs (z. B. Kästchen 523 und 524) zwischen dem DA und dem Benutzer von der ersten Instanz der DA-Benutzerschnittstelle bei oder vor dem Empfangen der Benutzeranfrage 579 zu beenden.
• 5MM veranschaulicht das Aufrufen einer zweiten Instanz eines digitalen Assistenten (DA) infolge des Erkennens des langen Drückens mit einer Benutzerberührungseingabe 526 über die Home-Taste 509 in 5J. 5MM veranschaulicht auch eine Konversationsablaufuhr 528. In einigen Ausführungsformen ist die Konversationsablaufuhr 528 eine Achtminutenuhr, die beginnt, wenn der Benutzer die DA-Benutzerschnittstelle verlässt. 5MM veranschaulicht ferner, dass das Aufrufen der zweiten Instanz eines digitalen Assistenten (DA) in diesem Beispiel ungefähr zwei Minuten nach dem Verlassen der ersten Instanz der DA-Benutzerschnittstelle infolge einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I erfolgt. Deshalb ist die Konversationsablaufuhr 528 nicht abgelaufen, und Konversationsinformationen von der ersten Instanz der DA-Benutzerschnittstelle bleiben in der zweiten Instanz der DA-Benutzerschnittstelle bestehen. Außerdem veranschaulicht 5MM das teilweise Anzeigen eines Abschnitts der Transkription des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle in Kästchen 524, und eine Transkription der Ansprache des DA wird in Kästchen 582 angezeigt (z. B. „Womit kann ich Ihnen helfen?”).
• 5MM veranschaulicht ferner das Erkennen einer nach oben ziehenden Geste (gelegentlich auch als „Streichgeste” bezeichnet) der Benutzerberührungseingabe 583 von Position 583a zu 583b auf dem Berührungsbildschirm 112. Außerdem wird in 5MM ein Abschnitt des Startbildschirms (z. B. einschließlich der Anwendungssymbole 504a, 504b, 504c, 504d, 504e, 504f, 504g, 504h, 504i, 504j und Leistensymbole 506a, 506b, 506c, 506d) teilweise oder unscharf unter der zweiten Instanz der DA-Benutzerschnittstelle in der Benutzerschnittstelle 503 angezeigt.
• 5NN veranschaulicht das Beenden der Anzeige jedes Abschnitts der Transkription (z. B. Kästchen 524) des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle in der zweiten Instanz eines digitalen Assistenten (DA) infolge des Erkennens der nach oben ziehenden Geste in 5MM. In einigen Ausführungsformen werden Konversationsinformationen (oder die Transkription des Dialogs) von der ersten Instanz der DA-Benutzerschnittstelle aus dem Konversationsverlauf 354 infolge des Erkennens einer nach oben ziehenden Geste, die angezeigte Abschnitte der Transkription des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle aus der Benutzerschnittstelle 503 hinaus scrollt, gelöscht (oder ausgeschlossen). Außerdem werden in einigen Ausführungsformen Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle aus dem Kontextverlauf 352 infolge des Erkennens einer nach oben ziehenden Geste, die angezeigte Abschnitte der Transkription des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle aus der Benutzerschnittstelle 503 hinausscrollt, gelöscht (oder ausgeschlossen). Infolge der Ansprache, die in Kästchen 582 transkribiert ist, fragt der Benutzer den DA zum Beispiel: „Wie ist es in Paris, Frankreich?”
• 5OO veranschaulicht die zweite Instanz der DA-Benutzerschnittstelle in einer Ausführungsform, wobei das Transkript des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz des DA aus dem Konversationsverlauf 354 gelöscht oder ausgeschlossen und nicht mehr angezeigt wird. Wie in Kästchen 585 von 5OO transkribiert, reagiert der DA auf die Frage des Benutzers mit der Äußerung: „Soll ich das Internet nach 'Wie ist es in Paris, Frankreich?' durchsuchen?” Die zweite Instanz der DA-Benutzerschnittstelle zeigt auch eine Schaltfläche „Internet durchsuchen” 586 an, die zum Ausführen einer Internetsuche nach, Wie ist es in Paris, Frankreich?' konfiguriert ist.
• In 5OO leitet der DA nicht ab, dass die Anfrage des Benutzers, die in Kästchen 584 transkribiert ist, sich auf das Wetter bezieht, wenn er auf die Anfrage des Benutzers antwortet, da die Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle aus dem Kontextverlauf 352 bei oder vor dem Empfangen der Benutzeranfrage 584 gelöscht (oder ausgeschlossen) wurden. Der DA ruft Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle nicht auf, wenn er auf die Benutzeranfrage 584 antwortet, da die Benutzervorrichtung 104 keine Benutzeraktion (z. B. Tipp- oder Streichgeste auf dem Berührungsbildschirm 112) zum Anzeigen mindestens eines Abschnitts des ersten Dialogs zwischen dem DA und dem Benutzer von der ersten Instanz der DA-Benutzerschnittstelle bei oder vor dem Empfangen der Benutzeranfrage 584 erkannt hat. Stattdessen hat die Benutzervorrichtung 104 eine Benutzeraktion in 5MM (z. B. die nach oben streichende Geste mit der Benutzerberührungseingabe 583) zum Beenden der Anzeige des ersten Dialogs (z. B. Kästchen 524) zwischen dem DA und dem Benutzer von der ersten Instanz der DA-Benutzerschnittstelle bei oder vor dem Empfangen der Benutzeranfrage 584 erkannt.
• 6A–D veranschaulichen ein Fließschema eines Verfahrens 600 zum Bedienen eines digitalen Assistenten gemäß einigen Ausführungsformen. In einigen Ausführungsformen wird das Verfahren 600 auf einer elektronischen Vorrichtung (z. B. Benutzervorrichtung 104) ausgeführt, die eine Anzeige, einen oder mehrere Prozessoren und Speicher (z. B. einen jeweiligen DA-Client 102 oder DA-Server 106) aufweist. In einigen Ausführungsformen werden Abschnitte des Verfahrens auf der elektronischen Vorrichtung (z. B. ein jeweiliger DA-Client 102) ausgeführt, während andere Abschnitte auf einem Server (z. B. DA-Server 106) ausgeführt werden. In einigen Ausführungsformen wird das Verfahren 600 am digitalen Assistenten 326 ausgeführt, der in 3A–B und 4 dargestellt ist. In einigen Ausführungsformen wird das Verfahren 600 durch einen Satz von Anweisungen geleitet, die im Speicher (z. B. einem nichttransitorischen computerlesbaren Speichermedium) gespeichert sind und die von dem einen oder den mehreren Prozessoren der elektronischen Vorrichtung ausgeführt werden.
• In einigen Ausführungsformen führt vor dem Anzeigen der ersten Instanz der Benutzerschnittstelle des digitalen Assistenten die elektronische Vorrichtung Folgendes aus: Erkennen (602) einer vorherigen Anforderung, den digitalen Assistenten aufzurufen; Erkennen einer Spracheingabe; und Bereitstellen einer Transkription der Spracheingabe, wobei der erste Dialog die Transkription der Spracheingabe aufweist. 5A–B zum Beispiel zeigen, dass ein Benutzer eine erste Instanz eines digitalen Assistenten (DA) infolge eines langen Drückens mit einer Benutzerberührungseingabe 510 über die Home-Taste 509 der Benutzervorrichtung 104 aufruft. 5B–D zum Beispiel zeigen, dass die Benutzervorrichtung 104 eine Spracheingabe von einem Benutzer mit der Frage „Wie warm ist es in Palo Alto?” erkennt und die Spracheingabe zum Anzeigen in Kästchen 514 von 5D in Text umwandelt. 5E zum Beispiel zeigt, dass die Benutzervorrichtung 104 eine Transkription eines Dialogs (oder einer Konversation) zwischen dem Benutzer und dem DA in Kästchen 515, 514 und 513a anzeigt.
• Die elektronische Vorrichtung (604) zeigt einen ersten Dialog (z. B. eine Transkription von Interaktionen zwischen dem Benutzer der Benutzervorrichtung 104 und dem DA) in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten. In einigen Ausführungsformen ist eine Benutzerschnittstelle eine Anwendungsumgebung. In einigen Ausführungsformen nimmt die DA-Benutzerschnittstelle den gesamten Berührungsbildschirm 246 der Benutzervorrichtung 104 ein. 5E zum Beispiel zeigt, dass die Benutzervorrichtung 104 eine Transkription eines Dialogs zwischen dem Benutzer und dem DA in Kästchen 515, 514 und 513a in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten anzeigt.
• Infolge einer Anforderung, eine andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten anzuzeigen, zeigt die elektronische Vorrichtung (606) die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten an. 5J zum Beispiel zeigt, dass die Benutzervorrichtung 104 eine Benutzerschnittstelle (z. B. einen Startbildschirm), die sich von der DA-Benutzerschnittstelle unterscheidet, infolge einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I anzeigt. In einigen Ausführungsformen nimmt die andere Benutzerschnittstelle als die DA-Benutzerschnittstelle den gesamten Berührungsbildschirm 246 der Benutzervorrichtung 104 ein.
• Infolge der Anforderung zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten beendet (608) die elektronische Vorrichtung in einigen Ausführungsformen das Anzeigen der Benutzerschnittstelle des digitalen Assistenten (z. B. werden alle Reste der DA-Benutzerschnittstelle vom Berührungsbildschirm 246 entfernt). 5J zum Beispiel zeigt, dass die Benutzervorrichtung 104 eine andere Benutzerschnittstelle (z. B. einen Startbildschirm) als die DA-Benutzerschnittstelle anzeigt, wobei kein Abschnitt der ersten Instanz der DA-Benutzerschnittstelle von 5C–I auf dem Berührungsbildschirm 246 bleibt.
• In einigen Ausführungsformen entspricht die Anforderung zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten (610) einer Benutzereingabe zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten (z. B. berührt der Benutzer die Home-Schaltfläche oder klickt darauf). 5J zum Beispiel zeigt, dass die Benutzervorrichtung 104 eine Benutzerschnittstelle (z. B. einen Startbildschirm), die sich von der DA-Benutzerschnittstelle unterscheidet, infolge einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I anzeigt.
• In einigen Ausführungsformen entspricht die Benutzereingabe zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten (612) einer Anforderung zum Starten einer Anwendung.
• In einigen Ausführungsformen entspricht die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten (614) nicht dem digitalen Assistenten (z. B. wird die andere Benutzerschnittstelle als die DA-Benutzerschnittstelle nicht vom DA vorgeschlagen oder verlinkt). In 5J zum Beispiel entspricht der Startbildschirm nicht dem digitalen Assistenten. Hingegen entspricht in 5G die Ausgabe ausführlicher Informationen 519 in Bezug auf Restaurant 1 zum Beispiel dem DA, da Restaurant 1 vom DA in 5F vorgeschlagen wurde. Außerdem wird die Ausgabe ausführlicher Informationen 519 infolge der Benutzereingabe 518 über den Informationscontainer 517a in 5F angezeigt.
• In einigen Ausführungsformen ist die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten im Zusammenhang mit (616) einer Anwendung, die sich vom digitalen Assistenten unterscheidet (z. B. wird eine Programmgrenze überschritten). Zum Beispiel beendet infolge der Benutzereingabe 525 über die Home-Taste 509 in 5I die Benutzervorrichtung 104 die Anzeige der DA-Benutzerschnittstelle und zeigt den Startbildschirm in der Benutzerschnittstelle 503 in 5J an.
• Infolge einer Anforderung, den digitalen Assistenten aufzurufen, zeigt (618) die elektronische Vorrichtung ferner eine zweite Instanz der Benutzerschnittstelle des digitalen Assistenten an, die das Anzeigen eines zweiten Dialog in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten einschließt, wobei der erste Dialog zum Anzeigen in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt. In einigen Ausführungsformen wird die zweite Instanz der DA-Benutzerschnittstelle zu einer Zeit im Anschluss an (oder später als) das Verlassen der ersten Instanz der DA-Benutzerschnittstelle angezeigt. Infolge des langen Drückens mit einer Benutzerberührungseingabe 526 über die Home-Taste 509 in 5J zeigt die Benutzervorrichtung 104 zum Beispiel (wie in 5L dargestellt) eine zweite Instanz der DA-Benutzerschnittstelle mit einem scrollbaren Transkript an, wobei mindestens ein Abschnitt des Dialogs (oder der Konversation) von der ersten Instanz der DA-Benutzerschnittstelle zum Anzeigen verfügbar ist. In 5L wird ein Abschnitt der Transkription des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle in Kästchen 524 teilweise angezeigt. Zum Beispiel wird in 5M ein weiterer Abschnitt des Transkripts des Dialogs von der ersten Instanz der DA-Benutzerschnittstelle infolge der ziehenden Geste, in 5L dargestellt, angezeigt.
• In einigen Ausführungsformen führt die elektronische Vorrichtung (620) Folgendes aus: Speichern von Kontextdaten (hierin gelegentlich als „Kontextinformationen” bezeichnet) im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine erste vorgegebene Bedingung erfüllt; und gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die erste vorgegebene Bedingung erfüllt, Verwenden gespeicherter Kontextdaten, während die zweite Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird. In der ersten Instanz der DA-Benutzerschnittstelle fragt ein Benutzer den DA zum Beispiel: „Wie ist das Wetter in New York City?”, empfängt eine Antwort und verlässt die erste Instanz der DA-Benutzerschnittstelle. Danach ruft der Benutzer eine zweite Instanz des DA auf und fragt den DA: „Wie ist es in San Francisco?” In diesem Beispiel speichert der DA das Thema (oder den Kontext) Wetter von der ersten Instanz der DA-Benutzerschnittstelle im Kontextverlauf des DA für den Benutzer und verwendet den Wetterkontext im Kontextverlauf beim Beantworten der Frage des Benutzers in der zweiten Instanz der DA-Benutzerschnittstelle, solange die Anforderung zum Aufrufen der zweiten Instanz des DA eine erste vorgegebene Bedingung erfüllt.
• In der ersten Instanz der DA-Benutzerschnittstelle fragt ein Benutzer den DA in einem anderen Beispiel: „Wie ist das Wetter in New York City?”, empfängt eine Antwort und verlässt die erste Instanz der DA-Benutzerschnittstelle. Danach ruft der Benutzer eine zweite Instanz des DA auf und bittet den DA: „Zeig mir Pizzerien.” In diesem Beispiel speichert der DA den geografischen Kontext (z. B. New York City) von der ersten Instanz der DA-Benutzerschnittstelle im Kontextverlauf des DA für den Benutzer und verwendet den geografischen Kontext im Kontextverlauf beim Beantworten der Frage des Benutzers in der zweiten Instanz der DA-Benutzerschnittstelle, solange die Anforderung zum Aufrufen der zweiten Instanz des DA eine erste vorgegebene Bedingung erfüllt.
• In einigen Ausführungsformen wird die erste vorbestimmte Bedingung erfüllt (622), wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Kontextablaufzeitraums empfangen wird. In der ersten Instanz der DA-Benutzerschnittstelle speichert die Benutzervorrichtung 104 zum Beispiel Kontextinformationen entsprechend dem Dialog in Bezug auf den Wetterkontext, in 5I angezeigt. Dann, infolge einer Anforderung zum Aufrufen einer zweiten Instanz des DA (z. B. eines langen Drückens über die Home-Taste 509 mit der Benutzerberührungseingabe 526 in 5J), zeigt die Benutzervorrichtung 104 eine zweite Instanz der DA-Benutzerschnittstelle in 5K an. 5K zeigt zum Beispiel, dass die Vorrichtung bestimmt, ob die Anforderung zum Aufrufen der zweiten Instanz des DA einen vorgegebenen Kontextablaufzeitraum erfüllt. In einigen Ausführungsformen wird der vorgegebene Kontextablaufzeitraum erfüllt, wenn die Anforderung zum Aufrufen der zweiten Instanz des DA innerhalb von sechzig Sekunden nach dem Verlassen der ersten Instanz des DA erfolgt. Zum Beispiel zeigt in 5K die Kontextablaufuhr 527, dass die Anforderung zum Aufrufen der zweiten Instanz des DA ungefähr dreißig Sekunden nach dem Verlassen der ersten Instanz des DA erfolgte.
• In der zweiten Instanz der DA-Benutzerschnittstelle fragt der Benutzer den DA zum Beispiel: „Wie ist es in Paris, Frankreich?” 5L zeigt zum Beispiel die Antwort des DA auf die Frage des Benutzers mit der Aussage: „Es sind derzeit 65°F in Paris, Frankreich.” Der DA antwortet auf die Frage des Benutzers mithilfe von Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle (z. B. dem Thema oder Kontext Wetter).
• In einigen Ausführungsformen löscht (624) die elektronische Vorrichtung die Kontextdaten im Zusammenhang mit dem ersten Dialog aus dem Kontextverlauf nach Ablauf des vorgegebenen Kontextablaufzeitraums. In einigen Ausführungsformen läuft der vorgegebene Kontextablaufzeitraum ungefähr sechzig Sekunden nachdem die Benutzervorrichtung die erste Instanz des DA verlässt ab. Zum Beispiel zeigt in 5Q die Kontextablaufuhr 527 an, dass die Anforderung zum Aufrufen der zweiten Instanz des DA mehr als sechzig Sekunden nach dem Verlassen der ersten Instanz der DA-Benutzerschnittstelle erfolgt.
• In der zweiten Instanz der DA-Benutzerschnittstelle fragt der Benutzer den DA zum Beispiel: „Wie ist es in Paris, Frankreich?” 5R zeigt zum Beispiel, dass der DA auf die Frage des Benutzers antwortet, indem er sagt: „Soll ich das Internet nach, Wie ist es in Paris, Frankreich'? durchsuchen?” und die Schaltfläche „Internet durchsuchen” 545 anzeigt, die zum Ausführen einer Internetsuche nach, Wie ist es in Paris, Frankreich?' konfiguriert ist. In 5R leitet der DA nicht ab, dass sich die Frage des Benutzers „Wie ist es in Paris, Frankreich?” auf das Wetter bezieht, da Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle aus dem Kontextverlauf gelöscht wurden, da die Kontextablaufuhr vor dem Aufrufen der zweiten Instanz des DA abgelaufen ist.
• In einigen Ausführungsformen wird die erste vorgegebene Bedingung nicht erfüllt (626), wenn die elektronische Vorrichtung gesperrt ist. In einigen Ausführungsformen bleiben Kontextinformationen von einer vorherigen Instanz einer DA-Benutzerschnittstelle nicht bestehen, wenn die Vorrichtung gesperrt ist. Auch wenn auf den DA zugegriffen werden kann, wenn die Vorrichtung gesperrt ist, bleiben Kontext- und Konversationsinformationen von einer vorherigen Instanz der DA-Benutzerschnittstelle nicht bestehen. In der Regel dient dies Sicherheits- oder Datenschutzzwecken, da ein Benutzer der Benutzervorrichtung 104 möglicherweise nicht möchte, dass Kontext- oder Konversationsinformationen von einer vorherigen Instanz der DA-Benutzerschnittstelle für einen Dritten zur Verfügung stehen, der die Benutzervorrichtung 104 nicht entsperren kann.
• 5W zeigt zum Beispiel, dass ein Benutzer den DA aufruft, während die Benutzervorrichtung 104 in einem gesperrten Modus ist. Dann, infolge einer Anforderung zum Aufrufen einer zweiten Instanz des DA (z. B. eines langen Drückens über die Home-Taste 509 mit der Benutzerberührungseingabe 552 in 5W), zeigt die Benutzervorrichtung 104 eine zweite Instanz der DA-Benutzerschnittstelle in 5X an. 5X zeigt zum Beispiel, dass die Vorrichtung bestimmt, ob die Anforderung zum Aufrufen der zweiten Instanz des DA eine erste vorgegebene Bedingung erfüllt. Zum Beispiel zeigt in 5X die Kontextablaufuhr 527, dass die Anforderung zum Aufrufen der zweiten Instanz des DA ungefähr dreißig Sekunden nach dem Verlassen der ersten Instanz des DA erfolgte. In der zweiten Instanz der DA-Benutzerschnittstelle fragt der Benutzer den DA zum Beispiel: „Wie ist es in Budapest?” 5Y zeigt zum Beispiel, dass der DA auf die Frage des Benutzers antwortet, indem er sagt: „Soll ich das Internet nach, Wie ist es in Budapest?' durchsuchen?” und die Schaltfläche „Internet durchsuchen” 556 anzeigt, die zum Ausführen einer Internetsuche nach, Wie ist es in Budapest?' konfiguriert ist. In 5Y leitet der DA nicht ab, dass die Frage des Benutzers „Wie ist es in Budapest?” sich auf das Wetter bezieht, da Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle aus dem Kontextverlauf ausgeschlossen wurden, da die zweite Instanz des DA aufgerufen wurde, während die Benutzervorrichtung 104 im gesperrten Modus war.
• In einigen Ausführungsformen führt die elektronische Vorrichtung (628) Folgendes aus: Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine zweite vorgegebene Bedingung erfüllt; gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die zweite vorgegebene Bedingung erfüllt, Anzeigen der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, einschließlich des Anzeigens des zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt; und gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die zweite vorgegebene Bedingung nicht erfüllt, Anzeigen der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, ohne den ersten Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar zu machen. In einem ersten Beispiel, infolge einer Anforderung zum Aufrufen einer zweiten Instanz des DA (z. B. eines langen Drückens über die Home-Taste 509 mit der Benutzerberührungseingabe 526 in 5J), zeigt die Benutzervorrichtung 104 eine zweite Instanz der DA-Benutzerschnittstelle in 5Q an. 5Q zeigt zum Beispiel, dass die Benutzervorrichtung 104 bestimmt, ob die Anforderung zum Aufrufen der zweiten Instanz des DA eine zweite vorgegebene Bedingung erfüllt. In einigen Ausführungsformen wird die zweite vorgegebene Bedingung erfüllt, wenn die Anforderung zum Aufrufen der zweiten Instanz des DA innerhalb von acht Minuten nach dem Verlassen der ersten Instanz des DA erfolgt. In 5Q gibt die Konversationsablaufuhr 528 an, dass die Anforderung zum Aufrufen der zweiten Instanz des DA ungefähr zwei Minuten nach dem Verlassen der ersten Instanz des DA erfolgte. 5R zeigt zum Beispiel, dass die Benutzervorrichtung 104 die zweite Instanz der DA-Benutzerschnittstelle anzeigt, einschließlich der Schaltfläche „siehe ältere” 541, die zum Anzeigen mindestens eines Abschnitts des Transkripts des Dialogs von der ersten Instanz der DA-Benutzerschnittstelle gemäß der Bestimmung, dass die zweite vorgegebene Bedingung erfüllt wird, konfiguriert ist.
• In einem zweiten Beispiel, infolge einer Anforderung zum Aufrufen einer zweiten Instanz des DA (z. B. eines langen Drückens über die Home-Taste 509 mit der Benutzerberührungseingabe 526 in 5J), zeigt die Benutzervorrichtung 104 eine zweite Instanz der DA-Benutzerschnittstelle in 5T an. 5T zeigt zum Beispiel, dass die Benutzervorrichtung 104 bestimmt, ob die Anforderung zum Aufrufen der zweiten Instanz des DA eine zweite vorgegebene Bedingung (z. B. einen Zeitraum von acht Minuten) erfüllt. In 5T gibt die Konversationsablaufuhr 528 an, dass die Anforderung zum Aufrufen der zweiten Instanz des DA mehr als acht Minuten nach dem Verlassen der ersten Instanz des DA erfolgte. 5T zeigt zum Beispiel, dass die Benutzervorrichtung 104 die zweite Instanz der DA-Benutzerschnittstelle anzeigt, wobei ein Transkript des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle nicht zum Anzeigen verfügbar ist.
• In einigen Ausführungsformen wird die zweite vorbestimmte Bedingung erfüllt (630), wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Konversationsablaufzeitraums empfangen wird. In einigen Ausführungsformen beginnt der Konversationsablaufzeitraum, sobald der Benutzer die erste Instanz der DA-Benutzerschnittstelle verlässt. In einigen Ausführungsformen ist der Konversationsablaufzeitraum eine vorgegebene Zeitspanne (z. B. 3, 5, 8, 10, 15 oder 30 Minuten). In der Regel beträgt der Konversationsablaufzeitraum 8 Minuten. In einigen anderen Ausführungsformen ist der Konversationsablaufzeitraum ein benutzerdefinierter Zeitraum.
• In einigen Ausführungsformen führt die elektronische Vorrichtung Folgendes aus (632): Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine erste vorgegebene Bedingung erfüllt, wobei die erste vorgegebene Bedingung erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Kontextablaufzeitraums empfangen wird; gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die erste vorgegebene Bedingung erfüllt, Verwenden gespeicherter Kontextdaten, während die zweite Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird; und Löschen der Kontextdaten im Zusammenhang mit dem ersten Dialog aus dem Kontextverlauf nach Ablauf des vorgegebenen Kontextablaufzeitraums, wobei der vorgegebene Kontextablaufzeitraum kürzer ist als der vorgegebene Dialogablaufzeitraum. In einigen Ausführungsformen ist der angezeigte Dialog nicht an Kontextdaten gebunden, die in einem Kontextverlauf gespeichert (z. B. auf einem Remote-Server gespeichert) sind. In der Regel beträgt der Kontextablaufzeitraum sechzig Sekunden und der Konversationsablaufzeitraum acht Minuten.
• In einem Beispiel zeigt, infolge einer Anforderung zum Aufrufen einer zweiten Instanz des DA (z. B. eines langen Drückens über die Home-Taste 509 mit der Benutzerberührungseingabe 526 in 5J), die Benutzervorrichtung 104 eine zweite Instanz der DA-Benutzerschnittstelle in 5Q an. 5Q zeigt zum Beispiel, dass die Benutzervorrichtung 104 bestimmt, ob die Anforderung zum Aufrufen der zweiten Instanz des DA einen vorgegebenen Kontextablaufzeitraum und einen vorgegebenen Konversationsablaufzeitraum erfüllt. Zum Beispiel wird der vorgegebene Kontextablaufzeitraum erfüllt, wenn die Anforderung zum Aufrufen der zweiten Instanz des DA innerhalb von sechzig Sekunden nach dem Verlassen der ersten Instanz des DA erfolgt, und der vorgegebene Konversationsablaufzeitraum wird erfüllt, wenn die Anforderung zum Aufrufen der zweiten Instanz des DA innerhalb von acht Minuten nach dem Verlassen der ersten Instanz des DA erfolgt. In 5Q gibt die Kontextablaufuhr 527 an, dass die Anforderung zum Aufrufen der zweiten Instanz des DA mehr als sechzig Sekunden nach dem Verlassen der ersten Instanz des DA erfolgte, und die Konversationsablaufuhr 528 gibt an, dass die Anforderung zum Aufrufen der zweiten Instanz des DA ungefähr zwei Minuten nach dem Verlassen der ersten Instanz des DA erfolgte.
• In der zweiten Instanz der DA-Benutzerschnittstelle fragt der Benutzer den DA zum Beispiel: „Wie ist es in Paris, Frankreich?” 5R zeigt zum Beispiel, dass der DA auf die Frage des Benutzers antwortet, indem er sagt „Soll ich das Internet nach, Wie ist es in Paris, Frankreich?' durchsuchen?” und die Schaltfläche „Internet durchsuchen” 545 anzeigt, die zum Ausführen einer Internetsuche nach, Wie ist es in Paris, Frankreich?' konfiguriert ist. In 5R leitet der DA nicht ab, dass sich die Frage des Benutzers auf das Wetter bezieht, da Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle aus dem Kontextverlauf gemäß einer Bestimmung, dass die Kontextablaufuhr vor dem Aufrufen der zweiten Instanz des DA abgelaufen ist, gelöscht wurden. Andererseits zeigt 5R zum Beispiel, dass die Benutzervorrichtung 104 die zweite Instanz der DA-Benutzerschnittstelle anzeigt, einschließlich der Schaltfläche „siehe ältere” 541, die zum Anzeigen mindestens eines Abschnitts des Transkripts des Dialogs von der ersten Instanz der DA-Benutzerschnittstelle gemäß der Bestimmung, dass die Konversationsablaufuhr nicht abgelaufen ist, konfiguriert ist.
• In einigen Ausführungsformen wird die zweite vorgegebene Bedingung nicht erfüllt (634), wenn die elektronische Vorrichtung gesperrt ist. In einigen Ausführungsformen bleiben die Konversationsinformationen (oder ein Abschnitt des Dialogs) von einer vorherigen Instanz der DA-Benutzerschnittstelle nicht bestehen, wenn die Vorrichtung gesperrt ist (z. B. aus Sicherheitsgründen). Auch wenn auf den DA zugegriffen werden kann, wenn die Vorrichtung gesperrt ist, bleiben Kontext- und Konversationsinformationen von einer vorherigen Instanz der DA-Benutzerschnittstelle nicht bestehen. Wenn die Benutzervorrichtung jedoch in einen gesperrten Zustand übergeht, der Benutzer anschließend die Benutzervorrichtung entsperrt und der Benutzer eine zweite Instanz des DA innerhalb des Konversationsablaufzeitraums aufruft, dann bleiben die Kontext- und Konversationsinformationen in der zweiten Instanz des DA bestehen.
• Nachdem die Benutzervorrichtung 104 zum Beispiel eine erste Instanz der DA-Benutzerschnittstelle in 5I anzeigt, geht die Benutzervorrichtung in einen gesperrten Zustand über, wie in 5W gezeigt. Wie in 5X–Y dargestellt, bleiben Kontext- und Konversationsinformationen nicht bestehen, wenn die Vorrichtung gesperrt ist, obwohl eine Instanz des DA aufgerufen wird, bevor die Kontextablaufuhr 527 und die Konversationsablaufuhr 528 abgelaufen sind. Nach dem Verlassen der DA-Benutzerschnittstelle infolge einer Benutzerberührungseingabe 557 über die Home-Taste 509 in 5Y zeigt 5Z, dass der Benutzer die Benutzervorrichtung 104 durch eine ziehende Geste entsperrt, und 5BB zeigt, dass die Benutzervorrichtung 104 eine zweite Instanz eines digitalen Assistenten infolge des langen Drückens mit Benutzerberührungseingabe 559 über die Home-Taste 509 in 5AA aufruft. In diesem Beispiel zeigt 5BB ferner, dass das Aufrufen der zweiten Instanz eines digitalen Assistenten ungefähr fünfzig Sekunden nach dem Verlassen der ersten Instanz des DA infolge der Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I erfolgt. Daher sind weder die Kontextablaufuhr 527 noch die Konversationsablaufuhr 528 abgelaufen, und sowohl die Kontext- als auch Konversationsinformationen aus der ersten Instanz der DA-Benutzerschnittstelle bleiben in der zweiten Instanz der DA-Benutzerschnittstelle bestehen, wie in 5CC dargestellt.
• In einigen Ausführungsformen umfasst die zweite vorgegebene Bedingung eine Bedingung, die erfüllt wird (636), wenn die Anforderung zum Aufrufen des digitalen Assistenten vor dem Erkennen einer vorgegebenen Anzahl von Benutzerinteraktionen (z. B. Berührungsereignissen oder vom Benutzer angeforderten Anwendungsänderungen) mit der elektronischen Vorrichtung nach dem Anzeigen des ersten Dialogs empfangen wird. In einigen Ausführungsformen sind die vorstehend erörterte Konversationsablaufuhr (z. B. Konversationsauslaufzeit) und eine vorgegebene Anzahl von Berührungsereignissen (z. B. Konversations-Berührungsauslauf) alternative ausreichende Bedingungen, um keinen Abschnitt der Konversation (oder des Dialogs) von der ersten Instanz der DA-Benutzerschnittstelle in der zweiten Instanz der DA-Benutzerschnittstelle anzuzeigen.
• In einigen Ausführungsformen führt die elektronische Vorrichtung Folgendes aus (638): Anzeigen eines ersten Angebots (Angebote werden hierin gelegentlich als Benutzerschnittstellenobjekte oder Schaltflächen bezeichnet) in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten (z. B. einer Schaltfläche „siehe weitere” oder einer Schaltfläche „siehe ältere”); Erkennen einer Benutzerauswahl des ersten Angebots; und infolge der Benutzerauswahl des ersten Angebots Anzeigen mindestens eines Abschnitts des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten. 5R zeigt zum Beispiel eine Schaltfläche „siehe ältere” 541, die in der zweiten Instanz der DA-Benutzerschnittstelle angezeigt wird. 5R zeigt zum Beispiel auch eine Benutzervorrichtung 104, die eine Benutzerberührungseingabe 546 über die Schaltfläche „siehe ältere” 541 erkennt. 5S zeigt zum Beispiel, dass die Benutzervorrichtung 104 in der zweiten Instanz der DA-Benutzerschnittstelle mindestens einen Abschnitt des Transkripts des Dialogs von der ersten Instanz der DA-Benutzerschnittstelle infolge der Benutzerberührungseingabe 546 über die Schaltfläche „siehe ältere” 541 in 5R anzeigt.
• In einigen Ausführungsformen zeigt (640) die elektronische Vorrichtung mindestens einen Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten an. In einigen Ausführungsformen wird die letzte Linie oder ein Teil des ersten Dialogs (z. B. ein durchscheinender Teil) an der Oberseite des Bildschirms oder unter einem halbtransparenten oberen Banner angezeigt (z. B. umfasst das obere Banner einen Träger, eine Signalstärke, Batterielebensdauer und Zeit). Zum Beispiel wird in 5L ein Abschnitt der Transkription des Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle in Kästchen 524 teilweise angezeigt.
• In einigen Ausführungsformen umfasst (642) der zweite Dialog eine Benutzeranfrage an den digitalen Assistenten, und die elektronische Vorrichtung führt Folgendes aus: Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; und während des Anzeigens der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten und gemäß einer Bestimmung, dass eine vorgegebene Kontextbedingung erfüllt wurde, Antworten auf die Benutzeranfrage an den digitalen Assistenten gemäß einer Bestimmung, dass eine vorgegebene Kontextbedingung erfüllt wurde, unter Verwendung der gespeicherten Kontextdaten, während eine Antwort auf die Benutzeranfrage bestimmt wird. In einer ersten Instanz einer DA-Benutzerschnittstelle zeigt 5I zum Beispiel, dass der Benutzer den DA fragt: „Wie warm ist es in Charleston, South Carolina?”, transkribiert in Kästchen 523. Infolge der Benutzeranfrage 523 antwortet der DA mit der Aussage: „Es sind derzeit 80°F in Charleston, SC”, wie in Kästchen 524 in 5I transkribiert. Zum Beispiel speichert die Benutzervorrichtung 104 Kontextinformationen entsprechend einem Wetterthema oder -kontext für eine Benutzeranforderung 523 und die Antwort des DA 524 in 5I.
• 5J zeigt zum Beispiel, dass die Benutzervorrichtung 104 einen Startbildschirm in der Benutzerschnittstelle 503 (z. B. einschließlich Anwendungssymbolen 504a, 504b, 504c, 504d, 504e, 504f, 504g, 504h, 504i, 504j und Leistensymbolen 506a, 506b, 506c, 506d) infolge des Erkennens einer Benutzerberührungseingabe 525 über die Home-Taste 509 in 5I zeigt. 5DD zeigt zum Beispiel, dass die Benutzervorrichtung 104 eine zweite Instanz eines digitalen Assistenten (DA) in der Benutzerschnittstelle 503 infolge eines langen Drückens mit der Benutzerberührungseingabe 526 über die Home-Taste 509 in 5J anzeigt. 5GG zeigt zum Beispiel, dass die zweite Instanz der DA-Benutzerschnittstelle eine Benutzeranfrage aufweist (z. B. „Wie ist es in Paris, Frankreich?”, transkribiert in Kästchen 569).
• 5GG zeigt zum Beispiel, dass der DA die gespeicherten Kontextinformationen entsprechend dem Wetterthema von der ersten Instanz der DA-Benutzerschnittstelle beim Antworten auf die Benutzeranfrage 569 verwendet, indem er sagt: „Es sind derzeit 65°F in Paris, Frankreich”, transkribiert in Kästchen 570. In 5GG verwendet der DA Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle beim Antworten auf die Benutzeranfrage 569 gemäß einer Bestimmung, dass eine vorgegebene Kontextbedingung erfüllt wurde.
• In einigen Ausführungsformen wird die vorgegebene Kontextbedingung erfüllt (644), wenn infolge einer Benutzeraktion, die während der Anzeige der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten ausgeführt wird, mindestens ein Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird. In einem Beispiel zeigt 5FF, dass die Benutzervorrichtung 104 Kästchen 523 und 524 (z. B. eine Benutzeranfrage bzw. die Antwort des DA auf die Benutzeranfrage) entsprechend einem Abschnitt eines ersten Dialogs von der ersten Instanz der DA-Benutzerschnittstelle in der Benutzerschnittstelle 503 infolge des Erkennens der ziehenden Geste in 5EE anzeigt. 5GG zeigt zum Beispiel ferner, dass der DA Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle (z. B. das Thema oder den Kontext Wetter) beim Antworten auf die Benutzeranfrage 569 gemäß einer Bestimmung, dass mindestens ein Abschnitt (z. B. Kästchen 523 und 524) des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten (z. B. Kästchen 523 und 524) infolge einer Benutzeraktion (z. B. der in 5EE erkannten ziehenden Geste) angezeigt wird, aufruft. Zum Beispiel antwortet der DA auf die Anfrage des Benutzers „Wie ist es in Paris, Frankreich?” unter Verwendung des Themas Wetter von der ersten Instanz der DA-Benutzerschnittstelle und sagt: „Es sind derzeit 65°F in Paris, Frankreich.”
• In einem anderen Beispiel zeigt 5II, dass die Benutzervorrichtung 104 Kästchen 523 und 524 (z. B. eine Benutzeranfrage bzw. die Antwort des DA auf die Benutzeranfrage) entsprechend einem Abschnitt eines ersten Dialogs von der ersten Instanz der DA-Benutzerschnittstelle in der Benutzerschnittstelle 503 infolge des Erkennens einer Benutzerberührungseingabe 573 über die Schaltfläche „siehe ältere” 572 auf dem Berührungsbildschirm 112 in 5HH anzeigt. 5JJ zeigt zum Beispiel ferner, dass der DA Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle (z. B. das Thema oder den Kontext Wetter) beim Antworten auf die Benutzeranfrage 575 gemäß einer Bestimmung, dass mindestens ein Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten (z. B. Kästchen 523 und 524) infolge einer Benutzeraktion (z. B. einer in 5HH erkannten Benutzerberührungseingabe 573) angezeigt wird, aufruft. Zum Beispiel antwortet der DA auf die Anfrage des Benutzers „Wie ist es in Paris, Frankreich?” unter Verwendung des Themas Wetter von der ersten Instanz der DA-Benutzerschnittstelle und sagt: „Es sind derzeit 65°F in Paris, Frankreich.”
• In einem weiteren Beispiel zeigt 5EE, dass die Benutzervorrichtung 104 eine Transkription des zweiten Dialogs in der zweiten Instanz der DA-Benutzerschnittstelle (z. B. die Ansprache des DA 563, Benutzeranfrage 564 und die Antwort des DA 565, 566 auf die Benutzeranfrage 564) und einen Abschnitt der Transkription des ersten Dialogs (oder der Konversation) zwischen dem Benutzer und dem DA von der ersten Instanz der DA-Benutzerschnittstelle in Kästchen 524 anzeigt. Jedoch zeigt 5EE zum Beispiel, dass der DA keine Kontextinformationen von der ersten Instanz der DA-Benutzerschnittstelle (z. B. das Thema oder den Kontext Wetter) beim Antworten auf die Benutzeranfrage 564 aufruft, da die Benutzervorrichtung 104 keine Benutzeraktion (z. B. eine Tipp- oder Streichgeste auf dem Berührungsbildschirm 112) zum Anzeigen mindestens eines Abschnitts des ersten Dialogs zwischen dem DA und dem Benutzer von der ersten Instanz der DA-Benutzerschnittstelle bei oder vor dem Empfangen der Benutzeranfrage 564 erkannt hat. Stattdessen antwortet in 5EE der DA auf die Benutzeranfrage 564 mit der Äußerung: „Soll ich das Internet nach, Wie ist es in Paris, Frankreich?' durchsuchen?”, da der DA nicht ableitet, dass die Benutzeranforderung 564 das Wetter betrifft. Die zweite Instanz der DA-Benutzerschnittstelle zeigt auch eine Schaltfläche „Internet durchsuchen” 545 an, die zum Ausführen einer Internetsuche nach, Wie ist es in Paris, Frankreich?' konfiguriert ist.
• In einigen Ausführungsformen führt die elektronische Vorrichtung Folgendes aus (646): Anzeigen eines zweiten Angebots entsprechend einem jeweiligen Unterabschnitt des ersten Dialogs (z. B. ist ein Unterabschnitt ein Gedanke/Thema, Satz, Ausdruck oder Wort); Erkennen einer Benutzerauswahl des zweiten Angebots; und infolge der Benutzerauswahl des zweiten Angebots Beenden der Anzeige mindestens eines Teils des jeweiligen Unterabschnitts des ersten Dialogs. In einigen Ausführungsformen wird eine reduzierbare verzeichnisartige Struktur in der zweiten Instanz der DA-Benutzerschnittstelle bereitgestellt, wobei ein Benutzer Abschnitte des angezeigten Dialogs minimieren kann. Jedoch kann nach Minimierung eines jeweiligen Unterabschnitts ein Titel/Themenname für den jeweiligen Unterabschnitt weiterhin angezeigt werden. 5N zeigt zum Beispiel, dass die Benutzervorrichtung 104 die Transkription des Dialogs von der ersten und zweiten Instanz der DA-Benutzerschnittstelle in ein Thema Essen 532 und ein Thema Wetter 533 unterteilt anzeigt. Die Schaltfläche 535 ist zum Minimieren des Themas Wetter 533 konfiguriert, um das Anzeigen des Abschnitts des Dialogs von der ersten und der zweiten Instanz der DA-Benutzerschnittstelle bezüglich Wetter zu beenden. 5O zeigt zum Beispiel, dass die Benutzervorrichtung 104 das Thema Wetter 533 infolge einer Benutzerberührungseingabe 536 über die Schaltfläche 535 in 5N minimiert. 5O zeigt zum Beispiel, dass die Benutzervorrichtung 104 das Anzeigen mindestens eines Teils des Themas Wetter 533 beendet.
• In einigen Ausführungsformen schließt infolge der Benutzerauswahl des zweiten Angebots die elektronische Vorrichtung (648) Kontextdaten im Zusammenhang mit dem Unterabschnitt des ersten Dialogs aus einem Kontextverlauf des digitalen Assistenten aus. Wenn ein Benutzer einen Unterabschnitt des ersten Dialogs minimiert, werden in einigen Ausführungsformen Kontextinformationen entsprechend dem Unterabschnitt nicht verwendet, wenn der DA eine Benutzerabsicht für eine nachfolgende Anforderung ableitet. Nachdem der Benutzer das Thema Wetter 533 in 5N minimiert, zeigt 5P zum Beispiel, dass der DA auf die Frage des Benutzers „Wie ist es in München?” antwortet. Der DA antwortet auf die Frage des Benutzers mit der Äußerung: „Soll ich das Internet nach, Wie ist es in München?' durchsuchen?” Außerdem wird auch eine Schaltfläche „Internet durchsuchen” 540, die zum Ausführen einer Internetsuche nach, Wie ist es in München?' konfiguriert ist, angezeigt. In 5P zum Beispiel leitet der DA nicht ab, dass sich die Frage des Benutzers auf das Wetter bezieht, obwohl sich die vorherigen Fragen des Benutzers auf das Wetter bezogen. Der DA leitet das Thema „Wetter” nicht ab, da Kontextinformationen bezüglich des Themas Wetter 533 infolge einer Benutzerberührungseingabe 536, die das Thema Wetter 533 in 5N minimiert (oder reduziert) hat, aus dem Kontextverlauf ausgeschlossen wurden.
• Es sollte sich verstehen, dass die bestimmte Reihenfolge, in der die Vorgänge in 6A–D beschrieben wurden, lediglich beispielhaft ist und nicht angeben soll, dass die beschriebene Reihenfolge die einzige Reihenfolge ist, in der die Vorgänge ausgeführt werden könnten. Ein Fachmann erkennt verschiedene Wege zum Umordnen der hierin beschriebenen Vorgänge.
• 7 veranschaulicht ein Blockdiagramm eines Systems, das zwei oder mehr elektronische Vorrichtungen zum Aktivieren von Kontext- und/oder Konversationspersistenz gemäß einigen Ausführungsformen aufweist. In einigen Ausführungsformen ist das System aus mehreren Vorrichtungen, das in 7 dargestellt ist, zum Ausführen der Funktionen, die in 6A–D in Bezug auf eine einzelne Vorrichtung beschrieben sind, konfiguriert. Die Vorrichtungen 104c und 104d sind verschiedene Vorrichtungen, die jeweils mit dem Benutzer 710 verbunden sind. In einigen Ausführungsformen schließt eine erste Instanz eines DA einen Dialog zwischen dem Benutzer 710 und DA-Client 102c auf der Vorrichtung 104c ein. Während der ersten Instanz der DA-Benutzerschnittstelle werden Kontext- und Konversationsinformationen in Bezug auf den Dialog zwischen dem Benutzer 710 und DA-Client 102c im Kontextverlauf 352 bzw. Konversationsverlauf 354 des Persistenzmoduls 350 gespeichert. In einigen Ausführungsformen ist das Persistenzmodul 350 ein Bestandteil des Serversystems 108. Außerdem speichert in einigen Ausführungsformen der DA 326 den Kontextverlauf 352 und Konversationsverlauf 354 auf Benutzerbasis, und somit ist derselbe Kontextverlauf 352 und Konversationsverlauf 354 eines jeweiligen Benutzers 710 beim Bereitstellen von Diensten für den Benutzer 710 für den DA 326 zur Verwendung verfügbar, unabhängig davon, welche Vorrichtung 104 (von den mit dem Benutzer 710 verbundenen Vorrichtungen) der Benutzer 710 gerade verwendet.
• In einigen Ausführungsformen ruft der Benutzer 710 nach dem Verlassen der ersten Instanz des DA auf der Vorrichtung 104c eine zweite Instanz des DA auf der Vorrichtung 104d auf. Die zweite Instanz des DA schließt einen Dialog zwischen dem Benutzer 710 und DA-Client 102d ein. In einigen Ausführungsformen wird während der zweiten Instanz des DA aktiviert, dass der DA-Client 102d Zugriff auf Kontext- und Konversationsinformationen von der ersten Instanz des DA hat, die im Serversystem 108 gespeichert sind. In einigen Ausführungsformen wird aktiviert, dass DA-Client 102d die gespeicherten Kontextinformationen zur Ableitung der Absicht und die gespeicherten Konversationsinformationen zum Anzeigen in der zweiten Instanz des DA verwenden kann.
• Obwohl 7 nicht explizit die Kommunikationsschnittstellen zwischen allen Komponenten des DA-Servers 106 zeigt, sollte es sich verstehen, dass die in 7 dargestellten Komponenten in der Lage sind, mit anderen Komponenten des DA-Servers 106 entweder direkt oder durch eine oder mehrere andere Schnittstellen, wie Programmierschnittstellen (APIs), Datenbankabfrageschnittstellen und/oder andere Schnittstellen, Protokolle und/oder Kommunikationskanäle, zu kommunizieren.
• 8 veranschaulicht ein Fließschema eines Verfahrens 800 des Bedienens eines digitalen Assistenten gemäß einigen Ausführungsformen. In einigen Ausführungsformen wird das Verfahren 800 an zwei oder mehr elektronischen Vorrichtungen ausgeführt, die jeweils eine Anzeige, einen oder mehrere Prozessoren und Speicher aufweisen (z. B. ein DA-Client 102 bzw. DA-Server 106). In einigen Ausführungsformen wird das Verfahren 800 am digitalen Assistenten 326 ausgeführt, der in 3A–B und 4 dargestellt ist. In einigen Ausführungsformen wird das Verfahren 800 durch einen Satz von Anweisungen geleitet, die im Speicher (z. B. einem nichttransitorischen computerlesbaren Speichermedium) gespeichert sind und die von dem einen oder den mehreren Prozessoren einer elektronischen Vorrichtung ausgeführt werden.
• Auf einer ersten Vorrichtung zeigt die erste Vorrichtung (802) einen ersten Dialog in einer ersten Benutzerschnittstelle eines digitalen Assistenten an. Zum Beispiel ist die Vorrichtung 104c, in 7 dargestellt, zum Anzeigen eines ersten Dialogs zwischen Benutzer 710 und DA-Client 102c in einer ersten Benutzerschnittstelle des DA konfiguriert.
• Auf einer zweiten Vorrichtung, die sich von der ersten Vorrichtung unterscheidet, zeigt, infolge einer Anforderung zum Aufrufen des digitalen Assistenten auf der zweiten Vorrichtung, die zweite Vorrichtung (804) einen zweiten Dialog in einer zweiten Benutzerschnittstelle des digitalen Assistenten an, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist. Zum Beispiel wird, infolge einer Anforderung vom Benutzer 710 zum Aufrufen des DA auf der Vorrichtung 104d, die Vorrichtung 104d, in 7 dargestellt, zum Anzeigen eines zweiten Dialogs zwischen dem Benutzer 710 und DA-Client 102d konfiguriert. In einigen Ausführungsformen wird der zweite Dialog zwischen dem Benutzer 710 und DA-Client 102d auf der Vorrichtung 104d angezeigt, während oder nachdem der erste Dialog zwischen dem Benutzer 710 und DA-Client 102c auf der Vorrichtung 104c angezeigt wird. DA-Client 702d ist so konfiguriert, dass er Zugriff auf Konversationsinformationen vom ersten Dialog zwischen demselben Benutzer 710 und DA-Client 102c, die im Konversationsverlauf 354 des Serversystems 108 gespeichert sind, hat, um mindestens einen Abschnitt des ersten Dialogs anzuzeigen. DA-Client 702d ist ferner so konfiguriert, dass er Zugriff auf Kontextinformationen vom ersten Dialog zwischen dem Benutzer 710 und DA-Client 102c, die im Konversationsverlauf 352 des Serversystems 108 gespeichert sind, zum Gebrauch bei der Ableitung der Absicht hat.
• Es sollte sich verstehen, dass die bestimmte Reihenfolge, in der die Vorgänge in 8 beschrieben wurden, lediglich beispielhaft ist und nicht angeben soll, dass die beschriebene Reihenfolge die einzige Reihenfolge ist, in der die Vorgänge ausgeführt werden könnten. Ein Fachmann erkennt verschiedene Wege zum Umordnen der hierin beschriebenen Vorgänge.
• Gemäß einigen Ausführungsformen zeigt 9 ein funktionelles Blockdiagramm einer elektronischen Vorrichtung 900, die gemäß den Prinzipien der verschiedenen beschriebenen Ausführungsformen konfiguriert ist. Die funktionellen Blöcke der Vorrichtung werden wahlweise durch Hardware, Software oder eine Kombination von Hardware und Software implementiert, um die Prinzipien der verschiedenen beschriebenen Ausführungsformen umzusetzen. Fachleute verstehen, dass die in 9 beschriebenen funktionellen Blöcke wahlweise kombiniert oder in Unterblöcke unterteilt werden, um die Prinzipien der verschiedenen beschriebenen Ausführungsformen zu implementieren. Deshalb unterstützt die Beschreibung hierin wahlweise jegliche mögliche Kombination oder Unterteilung oder weitere Definition der hierin beschriebenen funktionellen Blöcke.
• Wie in 9 dargestellt, weist eine elektronische Vorrichtung 900 eine Berührungsbildschirm-Anzeigeeinheit 902, die zum Anzeigen einer Benutzerschnittstelle und zum Empfangen von Berührungseingabe konfiguriert ist, und eine Tonempfangseinheit 904, die zum Empfangen von Toneingabe konfiguriert ist, auf. In einigen Ausführungsformen weist die elektronische Vorrichtung 900 wahlweise eine Lautsprechereinheit 906 auf, die zum Erzeugen von Ton konfiguriert ist. Die elektronische Vorrichtung 900 weist auch eine Verarbeitungseinheit 908 auf, die mit der Berührungsbildschirm-Anzeigeeinheit 902 und der Tonempfangseinheit 904 (und wahlweise mit der Lautsprechereinheit 906) gekoppelt ist. In einigen Ausführungsformen weist die Verarbeitungseinheit 908 eine Anzeigeaktivierungseinheit 910, eine Aufrufeinheit für den digitalen Assistenten (DA) 912, eine Bereitstellungseinheit 914, eine Erkennungseinheit 916, eine Ausschlusseinheit 918, eine Speichereinheit 920, eine Bestimmungseinheit 922, eine Verwendungseinheit 924, eine Löscheinheit 926 und eine Antworteinheit 928 auf.
• Die Verarbeitungseinheit 908 ist zum Aktivieren der Anzeige (z. B. mit einer Anzeigeaktivierungseinheit 910) eines ersten Dialogs in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten an der Berührungsbildschirm-Anzeigeeinheit 902 konfiguriert. Infolge einer Anforderung zum Aktivieren der Anzeige einer anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten wird die Verarbeitungseinheit 908 zum Aktivieren der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 910) der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten an der Berührungsbildschirm-Anzeigeeinheit 902 konfiguriert. Infolge einer Anforderung zum Aufrufen des digitalen Assistenten wird die Verarbeitungseinheit 908 ferner so konfiguriert, dass das Anzeigen (z. B. mit der Anzeigeaktivierungseinheit 910) einer zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten auf der Berührungsbildschirm-Anzeigeeinheit 902 aktiviert wird, einschließlich des Aktivierens der Anzeige eines zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.
• In einigen Ausführungsformen wird vor dem Aktivieren der Anzeige der ersten Instanz der Benutzerschnittstelle des digitalen Assistenten die Verarbeitungseinheit 908 ferner zum Erkennen (z. B. mit der DA-Aufrufeinheit 912) einer vorherigen Anforderung zum Aufrufen des digitalen Assistenten konfiguriert. Vor dem Aktivieren der Anzeige der ersten Instanz der Benutzerschnittstelle des digitalen Assistenten wird die Tonempfangseinheit 904 zum Erkennen einer Spracheingabe konfiguriert. Vor dem Aktivieren der Anzeige der ersten Instanz der Benutzerschnittstelle des digitalen Assistenten wird die Verarbeitungseinheit 908 ferner zum Bereitstellen (z. B. mit der Bereitstellungseinheit 914) einer Transkription der Spracheingabe konfiguriert, wobei der erste Dialog die Transkription der Spracheingabe einschließt.
• In einigen Ausführungsformen wird infolge der Anforderung zum Aktivieren der Anzeige der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten die Verarbeitungseinheit 908 zum Beenden der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 910) der Benutzerschnittstelle des digitalen Assistenten auf der Berührungsbildschirm-Anzeigeeinheit 902 konfiguriert.
• In einigen Ausführungsformen ist die Verarbeitungseinheit 908 konfiguriert zum: Aktivieren der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 910) eines ersten Angebots in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten auf der Berührungsbildschirm-Anzeigeeinheit 902; Erkennen (z. B. mit der Erkennungseinheit 916) einer Benutzerauswahl des ersten Angebots auf der Berührungsbildschirm-Anzeigeeinheit 902; und infolge der Benutzerauswahl des ersten Angebots wird die Verarbeitungseinheit 908 zum Aktivieren der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 910) von mindestens einem Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten auf der Berührungsbildschirm-Anzeigeeinheit 902 konfiguriert.
• In einigen Ausführungsformen wird die Verarbeitungseinheit 908 zum Aktivieren der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 910) von mindestens einem Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten auf der Berührungsbildschirm-Anzeigeeinheit 902 konfiguriert.
• In einigen Ausführungsformen wird die Verarbeitungseinheit 908 zum Aktivieren der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 910) eines zweiten Angebots entsprechend einem jeweiligen Unterabschnitt des ersten Dialogs auf der Berührungsbildschirm-Anzeigeeinheit 902 konfiguriert; Erkennen (z. B. mit der Erkennungseinheit 916) einer Benutzerauswahl des zweiten Angebots auf der Berührungsbildschirm-Anzeigeeinheit 902; und infolge der Benutzerauswahl des zweiten Angebots Beenden der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 910) von mindestens einem Teil des jeweiligen Unterabschnitts des ersten Dialogs auf der Berührungsbildschirm-Anzeigeeinheit 902.
• In einigen Ausführungsformen wird infolge der Benutzerauswahl des zweiten Angebots die Verarbeitungseinheit 908 zum Ausschließen (z. B. mit der Ausschlusseinheit 918) von Kontextdaten im Zusammenhang mit dem Unterabschnitt des ersten Dialogs aus einem Kontextverlauf des digitalen Assistenten konfiguriert.
• In einigen Ausführungsformen ist die Verarbeitungseinheit 908 konfiguriert zum: Speichern (z. B. mit der Speichereinheit 920) von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; Bestimmen (z. B. mit der Bestimmungseinheit 922), ob die Anforderung zum Aufrufen des digitalen Assistenten eine erste vorgegebene Bedingung erfüllt; und gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die erste vorgegebene Bedingung erfüllt, Verwenden (z. B. mit der Verwendungseinheit 924) der gespeicherten Kontextdaten, während das Anzeigen der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten aktiviert wird.
• In einigen Ausführungsformen wird die erste vorbestimmte Bedingung erfüllt, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Kontextablaufzeitraums empfangen wird.
• In einigen Ausführungsformen wird die Verarbeitungseinheit 908 zum Löschen (z. B. mit der Löscheinheit 926) der Kontextdaten im Zusammenhang mit dem ersten Dialog aus dem Kontextverlauf nach Ablauf des vorgegebenen Kontextablaufzeitraums konfiguriert.
• In einigen Ausführungsformen wird die erste vorgegebene Bedingung nicht erfüllt, wenn die elektronische Vorrichtung gesperrt ist.
• In einigen Ausführungsformen weist der zweite Dialog eine Benutzeranfrage an den digitalen Assistenten auf, und die Verarbeitungseinheit 908 ist konfiguriert zum: Speichern (z. B. mit der Speichereinheit 920) von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; und, während des Anzeigens der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, Antworten (z. B. mit der Antworteinheit 928) auf die Benutzeranfrage an den digitalen Assistenten gemäß einer Bestimmung, dass eine vorgegebene Kontextbedingung erfüllt wurde, unter Verwendung der gespeicherten Kontextdaten, während eine Antwort auf die Benutzeranfrage bestimmt wird.
• In einigen Ausführungsformen wird die vorgegebene Kontextbedingung erfüllt, wenn infolge einer Benutzeraktion, die während der Anzeige der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten ausgeführt wird, mindestens ein Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird.
• In einigen Ausführungsformen ist die Verarbeitungseinheit 908 konfiguriert zum: Bestimmen (z. B. mit der Bestimmungseinheit 922), ob die Anforderung zum Aufrufen des digitalen Assistenten eine zweite vorgegebene Bedingung erfüllt; gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die zweite vorgegebene Bedingung erfüllt, Aktivieren der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 910) der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten auf der Berührungsbildschirm-Anzeigeeinheit 902, einschließlich des Aktivierens der Anzeige des zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt; und gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die zweite vorgegebene Bedingung nicht erfüllt, Aktivieren der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 910) der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, ohne den ersten Dialog zur Anzeige auf der Berührungsbildschirm-Anzeigeeinheit 902 verfügbar zu machen.
• In einigen Ausführungsformen wird die zweite vorbestimmte Bedingung erfüllt, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Konversationsablaufzeitraums empfangen wird.
• In einigen Ausführungsformen ist die Verarbeitungseinheit 908 konfiguriert zum: Speichern (z. B. mit der Speichereinheit 920) von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; Bestimmen (z. B. mit der Bestimmungseinheit 922), ob die Anforderung zum Aufrufen des digitalen Assistenten eine erste vorgegebene Bedingung erfüllt, wobei die erste vorgegebene Bedingung erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Kontextablaufzeitraums empfangen wird; gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die erste vorgegebene Bedingung erfüllt, Verwenden (z. B. mit der Verwendungseinheit 924) der gespeicherten Kontextdaten, während die zweite Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird; und Löschen (z. B. mit der Löscheinheit 926) der Kontextdaten im Zusammenhang mit dem ersten Dialog aus dem Kontextverlauf nach Ablauf des vorgegebenen Kontextablaufzeitraums, wobei der vorgegebene Kontextablaufzeitraum kürzer ist als der vorgegebene Konversationsablaufzeitraum.
• In einigen Ausführungsformen wird die zweite vorgegebene Bedingung nicht erfüllt, wenn die elektronische Vorrichtung 900 gesperrt ist.
• In einigen Ausführungsformen umfasst die zweite vorgegebene Bedingung eine Bedingung, die erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten empfangen wird, bevor eine vorgegebene Anzahl von Benutzerinteraktionen mit der elektronischen Vorrichtung nach dem Anzeigen des ersten Dialogs erkannt wird.
• In einigen Ausführungsformen entspricht die Anforderung zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten einer Benutzereingabe zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten.
• In einigen Ausführungsformen entspricht die Benutzereingabe zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten einer Anforderung zum Starten einer Anwendung.
• In einigen Ausführungsformen entspricht die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten nicht dem digitalen Assistenten.
• In einigen Ausführungsformen ist die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten mit einer Anwendung verbunden, die vom digitalen Assistenten verschieden ist.
• Gemäß einigen Ausführungsformen zeigt 10 ein funktionelles Blockdiagramm einer ersten elektronischen Vorrichtung 1000 und einer zweiten elektronischen Vorrichtung 1020, die gemäß den Prinzipien der verschiedenen beschriebenen Ausführungsformen konfiguriert sind. Die funktionellen Blöcke der Vorrichtung werden wahlweise durch Hardware, Software oder eine Kombination von Hardware und Software implementiert, um die Prinzipien der verschiedenen beschriebenen Ausführungsformen umzusetzen. Fachleute verstehen, dass die in 10 beschriebenen funktionellen Blöcke wahlweise kombiniert oder in Unterblöcke unterteilt werden, um die Prinzipien der verschiedenen beschriebenen Ausführungsformen zu implementieren. Deshalb unterstützt die Beschreibung hierin wahlweise jegliche mögliche Kombination oder Unterteilung oder weitere Definition der hierin beschriebenen funktionellen Blöcke.
• Wie in 10 dargestellt, weist eine erste elektronische Vorrichtung 1000 eine Berührungsbildschirm-Anzeigeeinheit 1002, die zum Anzeigen einer Benutzerschnittstelle und zum Empfangen von Berührungseingabe konfiguriert ist, und eine Tonempfangseinheit 1004, die zum Empfangen von Toneingabe konfiguriert ist, auf. In einigen Ausführungsformen weist eine erste elektronische Vorrichtung 1000 wahlweise eine Lautsprechereinheit 1006, die zum Erzeugen von Ton konfiguriert ist, auf. Die erste elektronische Vorrichtung 1000 weist auch eine Verarbeitungseinheit 1008 auf, die mit der Berührungsbildschirm-Anzeigeeinheit 1002 und der Tonempfangseinheit 1004 (und wahlweise der Lautsprechereinheit 1006) gekoppelt ist. In einigen Ausführungsformen weist die Verarbeitungseinheit 1008 eine Anzeigeaktivierungseinheit 1010 auf.
• Eine zweite elektronische Vorrichtung 1020 weist eine Berührungsbildschirm-Anzeigeeinheit 1022, die zum Anzeigen einer Benutzerschnittstelle und zum Empfangen von Berührungseingabe konfiguriert ist, und eine Tonempfangseinheit 1024, die zum Empfangen von Toneingabe konfiguriert ist, auf. In einigen Ausführungsformen weist die zweite elektronische Vorrichtung 1020 wahlweise eine Lautsprechereinheit 1026 auf, die zum Erzeugen von Ton konfiguriert ist. Die zweite elektronische Vorrichtung 1020 weist auch eine Verarbeitungseinheit 1028 auf, die mit der Berührungsbildschirm-Anzeigeeinheit 1022 und der Tonempfangseinheit 1024 (und wahlweise mit der Lautsprechereinheit 1026) gekoppelt ist. In einigen Ausführungsformen weist die Verarbeitungseinheit 1028 eine Anzeigeaktivierungseinheit 1030 auf.
• Die Verarbeitungseinheit 1008 der ersten elektronischen Vorrichtung 1000 ist zum Aktivieren der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 1010) eines ersten Dialogs in einer ersten Benutzerschnittstelle eines digitalen Assistenten auf der Berührungsbildschirm-Anzeigeeinheit 1002 konfiguriert. Infolge einer Anforderung zum Aufrufen des digitalen Assistenten an der zweiten elektronischen Vorrichtung 1020 wird die Verarbeitungseinheit 1028 der zweiten elektronischen Vorrichtung 1020 zum Aktivieren der Anzeige (z. B. mit der Anzeigeaktivierungseinheit 1030) eines zweiten Dialogs in einer zweiten Benutzerschnittstelle des digitalen Assistenten an der Berührungsbildschirm-Anzeigeeinheit 1022 konfiguriert, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist.
• Die vorstehende Beschreibung wurde zum Zweck der Erläuterung in Bezug auf konkrete Ausführungsformen beschrieben. Jedoch sollen die vorstehenden veranschaulichenden Erörterungen nicht erschöpfend sein oder die offenbarten Ausführungsformen auf die genauen offenbarten Formen beschränken. Es sind viele Modifikationen und Variationen angesichts der vorstehenden Lehren möglich. Die Ausführungsformen wurden ausgewählt und beschrieben, um die Prinzipien und praktischen Anwendungen der offenbarten Ideen am besten zu erklären, um dadurch zu ermöglichen, dass andere Fachleute diese mit verschiedenen Modifikationen, wie sie für die bestimmte vorgesehene Verwendung geeignet sind, am besten nutzen können.
• Obwohl die Begriffe „erste/erster/erstes”, „zweite/zweiter/zweites” usw. hierin verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente nicht durch diese Begriffe eingeschränkt werden. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Zum Beispiel könnte eine erste Spracheingabe als eine zweite Spracheingabe bezeichnet werden, und ähnlich könnte eine zweite Spracheingabe als erste Spracheingabe bezeichnet werden, ohne die Bedeutung der Beschreibung zu ändern, solange alle Stellen der „ersten Spracheingabe” einheitlich umbenannt werden und alle Stellen der „zweiten Spracheingabe” einheitlich umbenannt werden. Die erste Spracheingabe und die zweite Spracheingabe sind jeweils Spracheingaben, sie sind jedoch nicht dieselbe Spracheingabe.
• Die hierin verwendete Terminologie dient lediglich dem Zweck des Beschreibens spezieller Ausführungsformen und soll nicht die Ansprüche beschränken. Wie in der Beschreibung der Ausführungsformen und den beiliegenden Ansprüchen verwendet, sollen die Singularformen „ein”, „eine”, „eines” und „der”, „die”, „das” auch die Pluralformen einschließen, sofern es im Kontext nicht eindeutig anders angegeben ist. Es versteht sich auch, dass sich der Begriff „und/oder”, wie hier verwendet, auf jegliche und alle möglichen Kombinationen eines oder mehrerer der damit verbundenen aufgeführten Elemente bezieht und diese umfasst. Es versteht sich ferner, dass die Begriffe „umfasst” und/oder „umfassend” bei Verwendung in dieser Patentschrift das Vorhandensein genannter Merkmale, ganzer Zahlen, Schritte, Vorgänge, Elemente und/oder Komponenten angeben, jedoch das Vorhandensein oder Hinzufügen eines bzw. einer oder mehrerer anderer Merkmale, ganzer Zahlen, Schritte, Vorgänge, Elemente, Komponenten und/oder Gruppen davon nicht ausschließen.
• Wie hier verwendet, kann der Begriff „wenn” als „wenn” oder „bei” oder „infolge des Bestimmens” oder „gemäß einer Bestimmung” oder „infolge des Erkennens”, dass eine genannte vorausgehende Bedingung erfüllt ist, abhängig vom Kontext, verstanden werden. Ähnlich kann die Wendung „wenn bestimmt wird, [dass eine genannte vorausgehende Bedingung erfüllt ist]” oder ”falls [eine genannte vorausgehende Bedingung erfüllt ist]” oder „wenn [eine genannte vorausgehende Bedingung erfüllt ist]” als „bei Bestimmung” oder „bei einer Bestimmung, dass” oder „infolge des Bestimmens” oder „gemäß einer Bestimmung” oder „beim Erkennen” oder „infolge des Erkennens”, dass eine genannte vorausgehende Bedingung erfüllt ist, abhängig vom Kontext, verstanden werden.

Claims (61)

1. Verfahren zum Bedienen eines digitalen Assistenten, das an einer elektronischen Vorrichtung durchgeführt wird, die eine Anzeige, einen oder mehrere Prozessoren und Speicher, der ein oder mehrere Programme zum Ausführen durch den einen oder die mehreren Prozessoren speichert, aufweist, wobei das Verfahren Folgendes umfasst: Anzeigen eines ersten Dialogs in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten; infolge einer Anforderung, eine andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten anzuzeigen, Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten; und infolge einer Anforderung, den digitalen Assistenten aufzurufen, Anzeigen einer zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, die das Anzeigen eines zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten einschließt, wobei der erste Dialog zum Anzeigen in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.
2. Verfahren nach Anspruch 1, ferner umfassend, vor dem Anzeigen der ersten Instanz der Benutzerschnittstelle des digitalen Assistenten: Erkennen einer vorherigen Anforderung, den digitalen Assistenten aufzurufen; Erkennen einer Spracheingabe; und Bereitstellen einer Transkription der Spracheingabe, wobei der erste Dialog die Transkription der Spracheingabe aufweist.
3. Verfahren nach einem der Ansprüche 1 bis 2, ferner umfassend, infolge der Anforderung zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten, das Beenden des Anzeigens der Benutzerschnittstelle des digitalen Assistenten.
4. Verfahren nach einem der Ansprüche 1 bis 3, ferner umfassend: Anzeigen eines ersten Angebots in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten; Erkennen einer Benutzerauswahl des ersten Angebots; und infolge der Benutzerauswahl des ersten Angebots, Anzeigen mindestens eines Abschnitts des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten.
5. Verfahren nach einem der Ansprüche 1 bis 3, ferner umfassend das Anzeigen mindestens eines Abschnitts des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten.
6. Verfahren nach einem der Ansprüche 4 bis 5, ferner umfassend: Anzeigen eines zweiten Angebots, das einem jeweiligen Unterabschnitt des ersten Dialogs entspricht; Erkennen einer Benutzerauswahl des zweiten Angebots; und infolge der Benutzerauswahl des zweiten Angebots, Beenden des Anzeigens mindestens eines Teils des jeweiligen Unterabschnitts des ersten Dialogs.
7. Verfahren nach Anspruch 6, ferner umfassend, infolge der Benutzerauswahl des zweiten Angebots, das Ausschließen von Kontextdaten im Zusammenhang mit dem Unterabschnitt des ersten Dialogs aus einem Kontextverlauf des digitalen Assistenten.
8. Verfahren nach einem der Ansprüche 1 bis 7, ferner umfassend: Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine erste vorgegebene Bedingung erfüllt; und gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die erste vorgegebene Bedingung erfüllt, Verwenden der gespeicherten Kontextdaten, während die zweite Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird.
9. Verfahren nach Anspruch 8, wobei die erste vorgegebene Bedingung erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Kontextablaufzeitraums empfangen wird.
10. Verfahren nach Anspruch 9, ferner umfassend das Löschen der Kontextdaten im Zusammenhang mit dem ersten Dialog aus dem Kontextverlauf nach Ablauf des vorgegebenen Kontextablaufzeitraums.
11. Verfahren nach Anspruch 8, wobei die erste vorgegebene Bedingung nicht erfüllt wird, wenn die elektronische Vorrichtung gesperrt ist.
12. Verfahren nach einem der Ansprüche 1 bis 7, wobei der zweite Dialog eine Benutzeranfrage an den digitalen Assistenten aufweist und das Verfahren ferner Folgendes umfasst: Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; und während des Anzeigens der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, Antworten auf die Benutzeranfrage an den digitalen Assistenten gemäß einer Bestimmung, dass eine vorgegebene Kontextbedingung erfüllt wurde, unter Verwendung der gespeicherten Kontextdaten, während eine Antwort auf die Benutzeranfrage bestimmt wird.
13. Verfahren nach Anspruch 12, wobei die vorgegebene Kontextbedingung erfüllt wird, wenn infolge einer Benutzeraktion, die während der Anzeige der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten ausgeführt wird, mindestens ein Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird.
14. Verfahren nach einem der Ansprüche 1 bis 13, ferner umfassend: Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine zweite vorgegebene Bedingung erfüllt; gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die zweite vorgegebene Bedingung erfüllt, Anzeigen der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, einschließlich Anzeigen des zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt; und gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die zweite vorgegebene Bedingung nicht erfüllt, Anzeigen der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, ohne den ersten Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar zu machen.
15. Verfahren nach Anspruch 14, wobei die zweite vorgegebene Bedingung erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Konversationsablaufzeitraums empfangen wird.
16. Verfahren nach Anspruch 15, ferner umfassend: Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine erste vorgegebene Bedingung erfüllt, wobei die erste vorgegebene Bedingung erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Kontextablaufzeitraums empfangen wird; gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die erste vorgegebene Bedingung erfüllt, Verwenden gespeicherter Kontextdaten, während die zweite Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird; und Löschen der Kontextdaten im Zusammenhang mit dem ersten Dialog aus dem Kontextverlauf nach Ablauf des vorgegebenen Kontextablaufzeitraums, wobei der vorgegebene Kontextablaufzeitraum kürzer ist als der vorgegebene Konversationsablaufzeitraum.
17. Verfahren nach Anspruch 14, wobei die zweite vorgegebene Bedingung nicht erfüllt wird, wenn die elektronische Vorrichtung gesperrt ist.
18. Verfahren nach Anspruch 14, wobei die zweite vorgegebene Bedingung eine Bedingung umfasst, die erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten empfangen wird, bevor eine vorgegebene Anzahl von Benutzerinteraktionen mit der elektronischen Vorrichtung nach dem Anzeigen des ersten Dialogs erkannt wird.
19. Verfahren nach einem der Ansprüche 1 bis 18, wobei die Anforderung zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten einer Benutzereingabe zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten entspricht.
20. Verfahren nach Anspruch 19, wobei die Benutzereingabe zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten einer Anforderung zum Starten einer Anwendung entspricht.
21. Verfahren nach einem der Ansprüche 1 bis 20, wobei die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten nicht dem digitalen Assistenten entspricht.
22. Verfahren nach einem der Ansprüche 1 bis 20, wobei die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten im Zusammenhang mit einer Anwendung, die vom digitalen Assistenten verschieden ist, steht.
23. Verfahren zum Bedienen eines digitalen Assistenten, das an zwei oder mehr elektronischen Vorrichtungen durchgeführt wird, die jeweils eine Anzeige, einen oder mehrere Prozessoren und Speicher, der ein oder mehrere Programme zum Ausführen durch den einen oder die mehreren Prozessoren speichert, aufweisen, wobei das Verfahren Folgendes umfasst: an einer ersten Vorrichtung Anzeigen eines ersten Dialogs in einer ersten Benutzerschnittstelle eines digitalen Assistenten; und an einer zweiten Vorrichtung, die sich von der ersten Vorrichtung unterscheidet: infolge einer Anforderung zum Aufrufen des digitalen Assistenten an der zweiten Vorrichtung Anzeigen eines zweiten Dialogs in einer zweiten Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist.
24. Nichttransitorisches computerlesbares Medium, das Anweisungen zum Bedienen eines digitalen Assistenten speichert, wobei die Anweisungen, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, bewirken, dass die Prozessoren Vorgänge ausführen, umfassend: Anzeigen eines ersten Dialogs in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten; infolge einer Anforderung, eine andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten anzuzeigen, Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten; und infolge einer Anforderung, den digitalen Assistenten aufzurufen, Anzeigen einer zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, die das Anzeigen eines zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten einschließt, wobei der erste Dialog zum Anzeigen in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.
25. Elektronische Vorrichtung, umfassend: einen oder mehrere Prozessoren; und Speicher, der Anweisungen zum Bedienen eines digitalen Assistenten speichert, wobei die Anweisungen, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, bewirken, dass die Prozessoren Vorgänge ausführen, umfassend: Anzeigen eines ersten Dialogs in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten; infolge einer Anforderung, eine andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten anzuzeigen, Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten; und infolge einer Anforderung, den digitalen Assistenten aufzurufen, Anzeigen einer zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, die das Anzeigen eines zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten einschließt, wobei der erste Dialog zum Anzeigen in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.
26. Grafische Benutzerschnittstelle an einer elektronischen Vorrichtung mit einer Anzeige, einem Speicher und einem oder mehreren Prozessoren zum Ausführen eines oder mehrerer Programme, die in dem Speicher gespeichert sind, wobei die grafische Benutzerschnittstelle Folgendes umfasst: ein erster Dialog wird in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten angezeigt; eine andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten wird infolge einer Anforderung zum Anzeigen einer anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten angezeigt; und eine zweite Instanz der Benutzerschnittstelle des digitalen Assistenten wird infolge einer Anforderung zum Aufrufen des digitalen Assistenten angezeigt, einschließlich des Anzeigens eines zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zum Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.
27. Elektronische Vorrichtung, umfassend: Mittel zum Anzeigen eines ersten Dialogs in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten; Mittel, die auf eine Anforderung reagieren, eine andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten anzuzeigen, zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten; und Mittel, die auf eine Anforderung zum Aufrufen des digitalen Assistenten reagieren, zum Anzeigen einer zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, einschließlich des Anzeigens eines zweite Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zum Anzeigen in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.
28. Informationsverarbeitungsvorrichtung zum Gebrauch in einer elektronischen Vorrichtung, umfassend: Mittel zum Anzeigen eines ersten Dialogs in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten; Mittel, die auf eine Anforderung reagieren, eine andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten anzuzeigen, zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten; und Mittel, die auf eine Anforderung zum Aufrufen des digitalen Assistenten reagieren, zum Anzeigen einer zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, einschließlich des Anzeigens eines zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zum Anzeigen in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.
29. Nichttransitorisches computerlesbares Medium, das Anweisungen zum Bedienen eines digitalen Assistenten speichert, wobei die Anweisungen, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, bewirken, dass die Prozessoren Vorgänge ausführen, umfassend: an einer ersten Vorrichtung Anzeigen eines ersten Dialogs in einer ersten Benutzerschnittstelle eines digitalen Assistenten; und an einer zweiten Vorrichtung, die sich von der ersten Vorrichtung unterscheidet: infolge einer Anforderung zum Aufrufen des digitalen Assistenten an der zweiten Vorrichtung, Anzeigen eines zweiten Dialogs in einer zweiten Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist.
30. System, umfassend: zwei oder mehr elektronische Vorrichtungen, jeweils mit einem oder mehreren Prozessoren und Speicher, der Anweisungen zum Bedienen eines digitalen Assistenten speichert, wobei die Anweisungen, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, bewirken, dass die Prozessoren Vorgänge ausführen, umfassend: an einer ersten Vorrichtung Anzeigen eines ersten Dialogs in einer ersten Benutzerschnittstelle eines digitalen Assistenten; und an einer zweiten Vorrichtung, die sich von der ersten Vorrichtung unterscheidet: infolge einer Anforderung zum Aufrufen des digitalen Assistenten an der zweiten Vorrichtung, Anzeigen eines zweiten Dialogs in einer zweiten Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist.
31. Grafische Benutzerschnittstelle an zwei oder mehr elektronischen Vorrichtungen mit jeweils einer Anzeige, einem Speicher und einem oder mehreren Prozessoren zum Ausführen eines oder mehrerer Programme, die in dem Speicher gespeichert sind, wobei die grafische Benutzerschnittstelle Folgendes umfasst: ein erster Dialog wird an einer Anzeige einer ersten Vorrichtung in einer ersten Benutzerschnittstelle eines digitalen Assistent angezeigt; und ein zweiter Dialog wird an einer Anzeige einer zweiten Vorrichtung, die sich von der ersten Vorrichtung unterscheidet, in einer zweiten Benutzerschnittstelle des digitalen Assistenten infolge einer Anforderung zum Aufrufen des digitalen Assistenten an der zweiten Vorrichtung angezeigt, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist.
32. System mit zwei oder mehr elektronischen Vorrichtungen, umfassend: Mittel zum Anzeigen eines ersten Dialogs an einer ersten Vorrichtung in einer ersten Benutzerschnittstelle eines digitalen Assistenten; und Mittel, die auf eine Anforderung zum Aufrufen des digitalen Assistenten an der zweiten Vorrichtung reagieren, zum Anzeigen eines zweiten Dialogs an einer zweiten Vorrichtung, die sich von der ersten Vorrichtung unterscheidet, in einer zweiten Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist.
33. Informationsverarbeitungssystem zum Gebrauch in zwei oder mehr elektronischen Vorrichtungen, umfassend: Mittel zum Anzeigen eines ersten Dialogs an einer ersten Vorrichtung in einer ersten Benutzerschnittstelle eines digitalen Assistenten; und Mittel, die auf eine Anforderung zum Aufrufen des digitalen Assistenten an der zweiten Vorrichtung reagieren, zum Anzeigen eines zweiten Dialogs an einer zweiten Vorrichtung, die sich von der ersten Vorrichtung unterscheidet, in einer zweiten Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist.
34. Nichttransitorisches computerlesbares Speichermedium, das ein oder mehrere Programme speichert, wobei das eine oder die mehreren Programme Anweisungen umfassen, die, wenn sie von einer elektronischen Vorrichtung mit einem oder mehreren Prozessoren ausgeführt werden, bewirken, dass die Vorrichtung ein beliebiges der Verfahren nach Ansprüchen 1 bis 23 ausführt.
35. Elektronische Vorrichtung, umfassend einen oder mehrere Prozessoren und Speicher, der ein oder mehrere Programme zum Ausführen durch den einen oder die mehreren Prozessoren speichert, wobei das eine oder die mehreren Programme Anweisungen zum Ausführen eines beliebigen Verfahrens nach Ansprüchen 1 bis 23 aufweisen.
36. Grafische Benutzerschnittstelle an einer elektronischen Vorrichtung mit einer Anzeige, einem Speicher und einem oder mehreren Prozessoren zum Ausführen eines oder mehrerer Programme, die in dem Speicher gespeichert sind, wobei die grafische Benutzerschnittstelle Benutzerschnittstellen umfasst, die gemäß den Verfahren nach Ansprüchen 1 bis 23 angezeigt werden.
37. Elektronische Vorrichtung, die Mittel zum Ausführen jedes der Verfahren nach Ansprüchen 1 bis 23 umfasst.
38. Informationsverarbeitungsvorrichtung zum Gebrauch in einer elektronischen Vorrichtung, die Mittel zum Ausführen jedes der Verfahren nach Ansprüchen 1 bis 23 umfasst.
39. Elektronische Vorrichtung, umfassend: eine Berührungsbildschirm-Anzeigeeinheit, die zum Anzeigen einer Benutzerschnittstelle und zum Empfangen von Berührungseingabe konfiguriert ist; eine Tonempfangseinheit, die zum Empfangen von Spracheingabe konfiguriert ist; und eine Verarbeitungseinheit, die mit der Berührungsbildschirm-Anzeigeeinheit und der Tonempfangseinheit gekoppelt ist, wobei die Verarbeitungseinheit konfiguriert ist zum: Aktivieren der Anzeige eines ersten Dialogs in einer ersten Instanz einer Benutzerschnittstelle des digitalen Assistenten; infolge einer Anforderung, eine andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten anzuzeigen, Aktivieren der Anzeige der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten; und infolge einer Anforderung, den digitalen Assistenten aufzurufen, Aktivieren der Anzeige einer zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, die das Anzeigen eines zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten einschließt, wobei der erste Dialog zum Anzeigen in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt.
40. Vorrichtung nach Anspruch 39, wobei vor dem Aktivieren der Anzeige der ersten Instanz der Benutzerschnittstelle des digitalen Assistenten: die Verarbeitungseinheit zum Erkennen einer vorherigen Anforderung zum Aufrufen des digitalen Assistenten konfiguriert wird; die Tonempfangseinheit zum Erkennen einer Spracheingabe konfiguriert wird; und die Verarbeitungseinheit zum Bereitstellen einer Transkription der Spracheingabe konfiguriert wird, wobei der erste Dialog die Transkription der Spracheingabe aufweist.
41. Vorrichtung nach einem der Ansprüche 39 bis 40, wobei die Verarbeitungseinheit zum Beenden der Anzeige der Benutzerschnittstelle des digitalen Assistenten infolge der Anforderung zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten konfiguriert wird.
42. Vorrichtung nach einem der Ansprüche 39 bis 41, wobei die Verarbeitungseinheit konfiguriert wird zum: Aktivieren der Anzeige eines ersten Angebots in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten; Erkennen einer Benutzerauswahl des ersten Angebots; und infolge der Benutzerauswahl des ersten Angebots, Aktivieren der Anzeige von mindestens einem Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten.
43. Vorrichtung nach einem der Ansprüche 39 bis 41, wobei die Verarbeitungseinheit zum Aktivieren der Anzeige von mindestens einem Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten konfiguriert wird.
44. Vorrichtung nach einem der Ansprüche 42 bis 43, wobei die Verarbeitungseinheit konfiguriert wird zum: Aktivieren der Anzeige eines zweiten Angebots, das einem jeweiligen Unterabschnitt des ersten Dialogs entspricht; Erkennen einer Benutzerauswahl des zweiten Angebots; und infolge der Benutzerauswahl des zweiten Angebots, Beenden der Anzeige mindestens eines Teils des jeweiligen Unterabschnitts des ersten Dialogs.
45. Vorrichtung nach Anspruch 44, wobei die Verarbeitungseinheit zum Ausschließen von Kontextdaten im Zusammenhang mit dem Unterabschnitt des ersten Dialogs aus einem Kontextverlauf des digitalen Assistenten infolge der Benutzerauswahl des zweiten Angebots konfiguriert wird.
46. Vorrichtung nach einem der Ansprüche 39 bis 45, wobei die Verarbeitungseinheit konfiguriert wird zum: Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine erste vorgegebene Bedingung erfüllt; und gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die erste vorgegebene Bedingung erfüllt, Verwenden gespeicherter Kontextdaten, während die zweite Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird.
47. Vorrichtung nach Anspruch 46, wobei die erste vorgegebene Bedingung erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Kontextablaufzeitraums empfangen wird.
48. Vorrichtung nach Anspruch 47, wobei die Verarbeitungseinheit zum Löschen der Kontextdaten im Zusammenhang mit dem ersten Dialog aus dem Kontextverlauf nach Ablauf des vorgegebenen Kontextablaufzeitraums konfiguriert wird.
49. Vorrichtung nach Anspruch 46, wobei die erste vorgegebene Bedingung nicht erfüllt wird, wenn die elektronische Vorrichtung gesperrt ist.
50. Vorrichtung nach einem der Ansprüche 39 bis 45, wobei der zweite Dialog eine Benutzeranfrage an den digitalen Assistenten aufweist und die Verarbeitungseinheit konfiguriert wird zum: Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; und während des Anzeigens der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, Antworten auf die Benutzeranfrage an den digitalen Assistenten gemäß einer Bestimmung, dass eine vorgegebene Kontextbedingung erfüllt wurde, unter Verwendung der gespeicherten Kontextdaten, während eine Antwort auf die Benutzeranfrage bestimmt wird.
51. Vorrichtung nach Anspruch 50, wobei die vorgegebene Kontextbedingung erfüllt wird, wenn infolge einer Benutzeraktion, die während der Anzeige der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten ausgeführt wird, mindestens ein Abschnitt des ersten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird.
52. Vorrichtung nach einem der Ansprüche 39 bis 51, wobei die Verarbeitungseinheit konfiguriert wird zum: Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine zweite vorgegebene Bedingung erfüllt; gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die zweite vorgegebene Bedingung erfüllt, Aktivieren der Anzeige der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, einschließlich Anzeigen des zweiten Dialogs in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar bleibt; und gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die zweite vorgegebene Bedingung nicht erfüllt, Aktivieren der Anzeige der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten, ohne den ersten Dialog zur Anzeige in der zweiten Instanz der Benutzerschnittstelle des digitalen Assistenten verfügbar zu machen.
53. Vorrichtung nach Anspruch 52, wobei die zweite vorgegebene Bedingung erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Konversationsablaufzeitraums empfangen wird.
54. Vorrichtung nach Anspruch 53, wobei die Verarbeitungseinheit konfiguriert wird zum: Speichern von Kontextdaten im Zusammenhang mit dem ersten Dialog in einem Kontextverlauf des digitalen Assistenten; Bestimmen, ob die Anforderung zum Aufrufen des digitalen Assistenten eine erste vorgegebene Bedingung erfüllt, wobei die erste vorgegebene Bedingung erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten innerhalb eines vorgegebenen Kontextablaufzeitraums empfangen wird; gemäß einer Bestimmung, dass die Anforderung zum Aufrufen des digitalen Assistenten die erste vorgegebene Bedingung erfüllt, Verwenden gespeicherter Kontextdaten, während die zweite Instanz der Benutzerschnittstelle des digitalen Assistenten angezeigt wird; und Löschen der Kontextdaten im Zusammenhang mit dem ersten Dialog aus dem Kontextverlauf nach Ablauf des vorgegebenen Kontextablaufzeitraums, wobei der vorgegebene Kontextablaufzeitraum kürzer ist als der vorgegebene Konversationsablaufzeitraum.
55. Vorrichtung nach Anspruch 52, wobei die zweite vorgegebene Bedingung nicht erfüllt wird, wenn die elektronische Vorrichtung gesperrt ist.
56. Vorrichtung nach Anspruch 52, wobei die zweite vorgegebene Bedingung eine Bedingung umfasst, die erfüllt wird, wenn die Anforderung zum Aufrufen des digitalen Assistenten empfangen wird, bevor eine vorgegebene Anzahl von Benutzerinteraktionen mit der elektronischen Vorrichtung nach dem Anzeigen des ersten Dialogs erkannt wird.
57. Vorrichtung nach einem der Ansprüche 39 bis 56, wobei die Anforderung zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten einer Benutzereingabe zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten entspricht.
58. Vorrichtung nach Anspruch 57, wobei die Benutzereingabe zum Anzeigen der anderen Benutzerschnittstelle als der Benutzerschnittstelle des digitalen Assistenten einer Anforderung zum Starten einer Anwendung entspricht.
59. Vorrichtung nach einem der Ansprüche 39 bis 58, wobei die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten nicht dem digitalen Assistenten entspricht.
60. Vorrichtung nach einem der Ansprüche 39 bis 58, wobei die andere Benutzerschnittstelle als die Benutzerschnittstelle des digitalen Assistenten im Zusammenhang mit einer Anwendung, die vom digitalen Assistenten verschieden ist, steht.
61. System mit zwei oder mehr elektronischen Vorrichtungen, umfassend: eine erste elektronische Vorrichtung, die Folgendes aufweist: eine Berührungsbildschirm-Anzeigeeinheit, die zum Anzeigen einer Benutzerschnittstelle und zum Empfangen von Berührungseingabe konfiguriert ist; eine Tonempfangseinheit, die zum Empfangen von Spracheingabe konfiguriert ist; und eine Verarbeitungseinheit, die mit der Berührungsbildschirm-Anzeigeeinheit und der Tonempfangseinheit gekoppelt ist, wobei die Verarbeitungseinheit konfiguriert ist zum: Aktivieren der Anzeige eines ersten Dialogs in einer ersten Benutzerschnittstelle eines digitalen Assistenten; und eine zweite elektronische Vorrichtung, die sich von der ersten Vorrichtung unterscheidet, aufweisend: eine Berührungsbildschirm-Anzeigeeinheit, die zum Anzeigen einer Benutzerschnittstelle und zum Empfangen von Berührungseingabe konfiguriert ist; eine Tonempfangseinheit, die zum Empfangen von Spracheingabe konfiguriert ist; und eine Verarbeitungseinheit, die mit der Berührungsbildschirm-Anzeigeeinheit und der Tonempfangseinheit gekoppelt ist, wobei die Verarbeitungseinheit konfiguriert ist zum: infolge einer Anforderung zum Aufrufen des digitalen Assistenten an der zweiten Vorrichtung, Aktivieren der Anzeige eines zweiten Dialogs in einer zweiten Benutzerschnittstelle des digitalen Assistenten, wobei der erste Dialog zum Anzeigen in der zweiten Benutzerschnittstelle verfügbar ist.

Images