DE202017105691U1

DE202017105691U1 - Intelligente Assistenz für wiederholte Aktionen

Info

Publication number: DE202017105691U1
Application number: DE202017105691.0U
Authority: DE
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2016-12-19
Filing date: 2017-09-20
Publication date: 2018-01-19
Anticipated expiration: 2027-09-21
Also published as: US20240152249A1; GB201715581D0; JP2020514857A; US11860668B2; US11237696B2; EP4246321A3; WO2018118171A1; KR20190097184A; US20220147227A1; EP3539076A4; EP3539076A1; GB2558036A; EP4246321A2; US20180173403A1; CN108205467A; DE102017121758A1; KR102355481B1; EP3539076B1; JP7274418B2

Abstract

Computerlesbares Speichermedium, das mit Anweisungen codiert ist, die dann, wenn sie durch wenigstens einen Prozessor einer Computervorrichtung ausgeführt werden, bewirken, dass der wenigstens eine Prozessor Operationen ausführt, die Folgendes umfassen: Bestimmen, dass eine aktuelle Folge von Anwenderaktionen mit einer mobilen Anwendung ähnlich einer früheren Folge von Anwenderaktionen ist; Berechnen einer Vertrauensbewertung, die eine Reproduzierbarkeit der früheren Folge widerspiegelt; Initiieren, wenn die Vertrauensbewertung einen Vertrauensschwellenwert erfüllt, der Anzeige einer Aufforderung, die Genehmigung zum Vervollständigen der aktuellen Folge von Anwenderaktionen unter Verwendung der früheren Folge anfordert; und Vervollständigen der früheren Folge in Reaktion auf das Empfangen der Angabe der Genehmigung der Vervollständigung.

Description

ZUGEHÖRIGE ANMELDUNG
Diese Anmeldung beansprucht die Priorität der US-Patentanmeldung Nr.15/383,966, eingereicht am 19. Dezember 2016, mit dem Titel "Smart Assist for Repeated Actions" deren Offenbarung hier durch Bezugnahme vollständig mit aufgenommen ist.
HINTERGRUND
Viele Anwender wiederholen spezielle Aufgaben auf einer mobilen Vorrichtung, wie z. B. Bestellen einer Pizza, Anfordern eines Taxis/Fahrzeugdienstes, Herunterladen von Kontoauszügen, Bezahlen öffentlicher Verkehrsmittel usw. Für diese Aufgaben wiederholt der Anwender einen Arbeitsablauf, der durch eine Folge von Aktionen repräsentiert ist, jedes Mal, wenn der Anwender die Aufgabe ausführt.
Unter Schutz gestellt werden und Gegenstand des Gebrauchsmusters sind dabei, entsprechend den Vorschriften des Gebrauchsmustergesetzes, lediglich Vorrichtungen wie in den beigefügten Schutzansprüchen definiert, jedoch keine Verfahren. Soweit nachfolgend in der Beschreibung gegebenenfalls auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich der beispielhaften Erläuterung der in den beigefügten Schutzansprüchen unter Schutz gestellten Vorrichtung oder Vorrichtungen.
ZUSAMMENFASSUNG
Systeme und Verfahren erkennen Arbeitsabläufe, die durch den Anwender wiederholt werden, verstehen, wenn der Anwender beginnt, sie zu wiederholen, und bieten an, die Folge automatisch zu vervollständigen. Der Arbeitsablauf ist als eine Folge von Aktionen repräsentiert. Jede Aktion in der Folge ist auf hoher Ebene beschrieben, z. B. ohne Bezugnahme auf Bildschirmkoordinaten oder Pixelorte, um Vergleichen mit früher vervollständigten Arbeitsabläufen robuster zu machen. Das System kann einen aktuellen Arbeitsablauf, selbst wenn er nicht vollständig ist, mit früher ausgeführten Arbeitsabläufen vergleichen, um zu bestimmen, ob der aktuelle Arbeitsablauf eine Folge von Aktionen repräsentiert, die früher ausgeführt worden ist. Falls der aktuelle Arbeitsablauf ausreichend ähnlich ist, kann das System anbieten, den Arbeitsablauf für den Anwender zu reproduzieren. In einigen Implementierungen kann das System auch eine Vertrauensbewertung für den aktuellen Arbeitsablauf und einen ähnlichen früheren Arbeitsablauf berechnen und kann nur dann anbieten, den Arbeitsablauf zu reproduzieren, falls das System zuversichtlich ist, dass das System den Arbeitsablauf erfolgreich automatisch vervollständigen kann. Einige Implementierungen können es dem Anwender ermöglichen, einen oder mehrere aus den wiederholten Arbeitsabläufen, die als eine Folge von Aktionen repräsentiert sind, als einen Shortcut, z. B. auf dem Startbildschirm, als eine App-Option und/oder einen Sprachbefehl abzuspeichern.
Gemäß speziellen Aspekten der Offenbarung enthält ein Verfahren Bestimmen, dass eine aktuelle Folge von Anwenderaktionen mit einer mobilen Anwendung ähnlich einer früheren Folge von Anwenderaktionen ist, und Berechnen einer Vertrauensbewertung, die die Reproduzierbarkeit der früheren Folge widerspiegelt. Das Verfahren enthält außerdem Initiieren, wenn die Vertrauensbewertung einen Vertrauensschwellenwert erfüllt, der Anzeige einer Aufforderung, die eine Genehmigung zum Vervollständigen der aktuellen Folge von Anwenderaktionen unter Verwendung der früheren Folge und Vervollständigen der früheren Folge in Reaktion auf das Empfangen einer Angabe der Genehmigung für die Vervollständigung anfordert.
Gemäß speziellen Aspekten der Offenbarung enthält ein Verfahren Bestimmen, dass eine erste aktuelle Folge von Anwenderinteraktionen einen Ähnlichkeitsschwellenwert mit früheren Folgen von Anwenderaktionen nicht erfüllt, Bestimmen, dass eine erste aktuelle Folge von Aktionen vollständig ist, und Speichern der ersten aktuellen Folge als eine erste frühere Folge. Das Verfahren enthält außerdem Identifizieren einer zweiten aktuellen Folge als den Ähnlichkeitsschwellenwert mit der ersten früheren Folge erfüllend und Initiieren der Anzeige einer Aufforderung, die Genehmigung zum Abspeichern der ersten früheren Folge als einen Shortcut anfordert.
Gemäß speziellen Aspekten der Offenbarung enthält ein System wenigstens einen Prozessor und Speicher, der Anweisungen speichert, die dann, wenn sie durch den wenigstens einen Prozessor ausgeführt werden, bewirken, dass das System eine Anwenderschnittstelle erzeugt. Die Anwenderschnittstelle ist konfiguriert, das Aufzeichnen einer Shortcut-Folge von Aktionen zu initiieren, wobei jede Aktion in der Folge eine Beschreibung auf hoher Ebene einer Anwenderinteraktion mit einer Anwenderschnittstelle ist. Die Anwenderschnittstelle kann außerdem konfiguriert sein, eine Angabe zu empfangen, dass Kontendaten in einer Folge von Aktionen in die Aktionen mit aufgenommen werden sollen. Die Anwenderschnittstelle kann außerdem konfiguriert sein, eine Angabe zu empfangen, dass das gemeinsame Verwenden früherer Folgen von Aktionen erlaubt ist. Die Anwenderschnittstelle kann außerdem konfiguriert sein, früher gespeicherte Folgen von Aktionen zu löschen. Die Anwenderschnittstelle kann außerdem konfiguriert sein, die Shortcut-Folge von Aktionen umzubenennen. Die Anwenderschnittstelle kann außerdem konfiguriert sein, Anwendungen auszuwählen, in denen das System eine Folge von Aktionen aufnimmt. Die Anwenderschnittstelle kann außerdem konfiguriert sein, eine Angabe zu empfangen, dass eine frühere Folge von Aktionen gemeinsam verwendet werden kann.
In einem allgemeinen Aspekt enthält ein Computerprogrammprodukt, das auf einer computerlesbaren Speichervorrichtung enthalten ist, Anweisungen, die dann, wenn sie durch wenigstens einen Prozessor, der in einem Substrat gebildet ist, ausgeführt werden, bewirken, dass eine mobile Vorrichtung eines aus den offenbarten Verfahren, Operationen oder Prozessen ausführt. Ein weiterer allgemeiner Aspekt enthält ein System mit einer Anwenderschnittstelle und/oder einem Verfahren zum Erzeugen einer Anwenderschnittstelle, die es einem Anwender ermöglicht, zu steuern und anzupassen, wann und welche Aktionen, die auf der mobilen Vorrichtung ausgeführt werden, in einem Arbeitsablauf zum Vergleich mit zukünftigen potentiell wiederholten Aktionen gespeichert werden können. Ein weiterer allgemeiner Aspekt enthält ein System und/oder Verfahren zum Bestimmen, wann Assistenz zur Vervollständigung einer Aktion angeboten wird, im Wesentlichen wie in wenigstens einer in den Figuren gezeigt und/oder in Verbindung damit beschrieben ist und wie es vollständiger in den Ansprüchen dargelegt ist.
Eine oder mehrere Implementierungen des hier beschriebenen Gegenstands können implementiert sein, um einen oder mehrere aus den folgenden Vorteilen zu realisieren. Als ein Beispiel stellen Implementierungen einen Shortcut zum Wiederholen einer häufig verwendeten Folge von Aktionen bereit. Der Shortcut kann explizit durch den Anwender angefordert werden oder kann dem Anwender basierend auf der Analyse einer ähnlichen Folge von Aktionen, die in der Vergangenheit ausgeführt wurden, vorgeschlagen werden. Wenn der Shortcut durch den Anwender initiiert wird, vervollständigt das System automatisch den durch den Shortcut repräsentierten Arbeitsablauf. Als ein weiteres Beispiel kann das System einen wiederholten Arbeitsablauf identifizieren und anbieten, den Arbeitsablauf für den Anwender automatisch zu vervollständigen. Solche Beispiele für automatische Vervollständigung reduzieren den Batterieverbrauch, die Verarbeitungszyklen, RAM-Speichernutzung und die Verwendung anderer Systembetriebsmittel durch Reduzieren der Zeit, um einen Arbeitsablauf zu vervollständigen, und Reduzieren oder Eliminieren von Anwendereingabe, die verwendet wird, um den Arbeitsablauf zu vervollständigen. Ein fortgesetzter und/oder geführter Mensch-Maschine-Interaktionsprozess kann deshalb bereitgestellt sein. Der Prozess kann den Anwender mit Assistenz bei der Ausführung einer technischen Aufgabe versorgen. Der Anwender kann außerdem bei dem korrekten Bedienen eines technischen Systems wie z. B. einer mobilen Vorrichtung unterstützt werden. Eine verbesserte Mensch-Maschine-Interaktion ist bereitgestellt, und die Eingabe, die von dem Anwender gefordert werden, um eine technische Aufgabe auszuführen, ist reduziert. Der Rahmen zum Aufzeichnen eines Arbeitsablaufs als eine Folge von Aktionen ist flexibel, und die Aktionen werden auf hoher Ebene aufgenommen, was es erlaubt, dass ähnliche Folgen trotz Änderungen an dem Layout einer Anwenderschnittstelle, z. B. Verschieben eines Steuerelements oder eines Eingabetextfelds und Änderungen der Reihenfolge der Aktionen innerhalb der Folge, identifiziert werden können. Einige Implementierungen stellen einen Steuermechanismus bereit, der granular ist, der es dem Anwender z. B. ermöglicht zu bestimmen, welche Informationen als Teil der Folge aufgenommen werden können oder nicht, ob Folgen deaktiviert oder gemeinsam verwendet werden sollen, wann Folgen aufgenommen werden sollen, usw.
Die Einzelheiten einer oder mehrerer Implementierungen sind in den begleitenden Zeichnungen und der nachstehenden Beschreibung dargelegt. Andere Merkmale werden aus der Beschreibung und den Zeichnungen und aus den Ansprüchen offensichtlich.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm, das ein Beispielsystem in Übereinstimmung mit dem offenbarten Gegenstand darstellt.
2 stellt eine Beispielanzeige einer mobilen Computervorrichtung mit einer Aufforderung einer intelligenten Assistenz gemäß einer Implementierung dar.
3 stellt eine Beispielanzeige einer mobilen Computervorrichtung mit einer Shortcut-Aufforderung gemäß einer Implementierung dar.
4 stellt eine Beispiel-Anwenderschnittstelle zum Auswählen von Parametern für einen Aktionsagenten gemäß einer Implementierung dar.
5 stellt ein Ablaufdiagramm eines Beispielprozesses zum Identifizieren wiederholter Aktionen und Bereitstellen einer intelligenten Assistenz in Übereinstimmung mit offenbarten Implementierungen dar.
6 zeigt ein Beispiel einer Computervorrichtung, die verwendet werden kann, um die beschriebenen Techniken zu implementieren.
7 zeigt ein Beispiel einer verteilten Computervorrichtung, die verwendet werden kann, um die beschriebenen Techniken zu implementieren.
Gleiche Bezugszeichen in den verschiedenen Zeichnungen geben gleiche Elemente an.
AUSFÜHRLICHE BESCHREIBUNG
Ein System zum effizienteren Verarbeiten auf einer Computervorrichtung, insbesondere einer mobilen Vorrichtung, erkennt, wenn ein Anwender einen wiederholten und wiederholbaren Arbeitsablauf gestartet hat, und ermöglicht es dem Anwender, die Vorrichtung anzuweisen, den Arbeitsablauf ohne weitere Eingabe oder mit minimaler Eingabe von dem Anwender zu vervollständigen. Beispielsysteme beobachten die sowohl Eingabe, die durch einen Anwender für eine mobile Anwendung oder Website bereitstellt wird, als auch welche/r Text, Bilder und Töne durch die Anwendung für den Anwender bereitgestellt werden. Die Beispielsysteme zeichnen die Folge von Aktionen (Eingaben, Antworten usw.), die den Arbeitsablauf repräsentiert, auf hoher Ebene auf, so dass kleinere Änderungen an dem Bildschirmlayout und variable Abschnitte einer Anwenderschnittstelle (z. B. Werbe-Banner) die Folge nicht beeinflussen. Das System stellt eine Anwendersteuerung darüber, welche Folgen aufgenommen werden, bereit.
Beispielsysteme können die Arbeitsablaufbeschreibungen, z. B. die Folge von Aktionen, speichern und können eine Ähnlichkeits-Engine, die eine teilweise maschinen-erlernte sein kann, verwenden, um zu bestimmen, wenn der Anwender eine frühere Folge wiederholt. Die Ähnlichkeitsmetrik verwendet als Eingaben Signale, die für die Folge aufgezeichnet sind, die irgendeine Eigenschaft der Folge enthalten können, die Tageszeit, Wochentag, verwendete Anwendung, Anzahl und Typ von Eingaben, den ungefähren gedrückten Bereich des Bildschirms, die Reihenfolge von Eingaben usw. enthält. Die Ähnlichkeits-Engine kann konfiguriert sein, eine Ähnlichkeit festzustellen, selbst bei Vorhandensein von leicht veränderten Komponenten, was eine unterschiedliche Reihenfolge von Aktionen innerhalb der Folge enthält. Somit beeinträchtigen ein leicht geändertes Layout, unterschiedliche Banner auf einer Webseite oder unterschiedliche Werbung oder Angebote in einer mobilen App die Fähigkeit zum Vergleichen von Folgen nicht. Die Ähnlichkeits-Engine kann beispielsweise auf "Edit Distance" basieren.
Wenn das System bestimmt, dass eine Folge von Aktionen einer früheren Folge ähnlich genug ist, kann das System anbieten, den Arbeitsablauf zu vervollständigen. In einigen Implementierungen kann das System vor dem Anbieten, den Arbeitsablauf zu vervollständigen, eine Vorhersage darüber erzeugen, ob das System die Aktion, die durch die Folge repräsentiert ist, reproduzieren kann. Ein Aktionsprädiktor kann diese Vorhersage erzeugen, und der Aktionsprädiktor kann ein weiteres maschinen-erlerntes Modell (vollständig oder teilweise erlernt) sein, das eine Vertrauensbewertung basierend auf mehreren Faktoren, wie z. B. Verhalten des Anwenders über mehrere Folgen in demselben Kontext, Kontext der Aktion, ähnliche Folgen durch andere Anwender (falls verfügbar), wie oft sich die Anwenderschnittstelle ändert usw. bereitstellt. Die Vertrauensbewertung kann als niedrig, mittel oder hoch klassifiziert sein. Falls das Vertrauen niedrig ist, kann das System keine Aktion ausführen. Falls es mittel ist, kann das System die Folge als potentiell vorgeschlagene Vervollständigung markieren. Beispielsweise kann das System "beobachten und lernen", um zu sehen, ob der Anwender diese Aktionen wieder ausführt, – was das Vertrauen erhöhen kann, wenn sie zum nächsten Mal angetroffen wird. Falls die Vertrauensbewertung hoch ist, kann das System dem Anwender die Folge vorschlagen. Der Anwender kann optional den Arbeitsablauf als einen Shortcut abspeichern. Falls der Anwender optiert, das System die Folge reproduzieren zu lassen, kann das System entweder die Aktionen im Hintergrund reproduzieren oder dem Anwender zeigen, was durch die Folge eingegeben wird und die Antworten durch die Anwendung. Beispielsysteme können Systeme eine Anwendersteuerung dafür, welche Aktionen aufgenommen werden, welche Informationen aufgenommen werden und ob abgespeicherte Folgen für gemeinsames Verwenden verfügbar sind, bereitstellen.
1 ist ein Blockdiagramm eines intelligenten Assistenzsystems 100 in Übereinstimmung mit einer Beispielimplementierung. Das intelligente Assistenzsystem stellt einen Prozess bereit, der den Betriebsmittelverbrauch und Anwendereingabe zum Vervollständigen spezieller wiederholter Arbeitsabläufe reduziert. In einigen Implementierungen wählt das Assistenzsystem 100 intelligent aus, welche wiederholten Arbeitsabläufe zur Vervollständigung angeboten werden sollen, so dass das System das Vorschlagen von Arbeitsabläufe vermeidet, die nicht automatisch erfolgreich vervollständigt werden können. Das intelligente Assistenzsystem 100 stellt eine konsistente Anwenderwahrnehmung über mobile Anwendungen bereit, so dass mit der Genehmigung des Anwenders eine Folge von Aktionen, die in irgendwelchen Anwendungen wiederholt wird, automatisch vervollständigt werden kann, oder mit anderen Worten durch eine intelligente Assistenz vervollständigt werden kann. In einigen Implementierungen kann das System 100 außerdem einen Prozess enthalten, der es einem Anwender einer mobilen Vorrichtung erlaubt, einen Arbeitsablauf mit einem weiteren Anwender gemeinsam zu verwenden, z. B. die Folge von Aktionen, die durch den Arbeitsablauf repräsentiert sind, zu einer weiteren mobilen Vorrichtung zu übertragen. Eine intelligente Assistenz erlaubt es einer mobilen Vorrichtung, automatisch einen Arbeitsablauf auszuführen oder zu vervollständigen, ohne oder mit minimaler Eingabe von dem Anwender. Das spart Systembetriebsmittel wie z. B. Batterieverbrauch, Speichernutzung, Prozessorzyklen ein, da die Vorrichtung den Arbeitsablauf schneller vervollständigen kann als ein menschlicher Anwender.
Das intelligente Assistenzsystem 100 kann die mobile Vorrichtung 180 enthalten. Die mobile Vorrichtung 180 kann irgendeine mobile persönliche Computervorrichtung sein wie z. B. ein Smartphone oder eine andere in der Hand gehaltene Computervorrichtung, ein Tablet, eine tragbare Computervorrichtung usw., die in eher in einer geschlossenen Mobilumgebung als in einer herkömmlichen offenen webbasierten Umgebung arbeitet. In einigen Implementierungen kann die mobile Vorrichtung ein Personalcomputer, ein Netbook oder ein Laptop sein. Die mobile Vorrichtung 180 kann ein Beispiel der Computervorrichtung 600 sein, wie in 6 abgebildet. Die mobile Vorrichtung 180 kann einen oder mehrere Prozessoren enthalten, die in einem Substrat gebildet sind und die konfiguriert sind, eine oder mehrere maschinenausführbare Anweisungen oder Elemente von Software, Firmware oder einer Kombination daraus auszuführen. Die mobile Vorrichtung 180 kann ein Betriebssystem 115 enthalten. Die mobile Vorrichtung 180 kann einen oder mehrere Computerspeicher enthalten, die konfiguriert sind, eine oder mehrere Dateneinheiten zu speichern, entweder temporär, permanent oder semipermanent oder eine Kombination daraus. Die mobile Vorrichtung 180 kann somit Anwendungen enthalten, die mobile Anwendungen 110, den Aktionsassistenten 120 und/oder die Einstellungen-UI 140 enthalten, die maschinenausführbare Anweisungen in der Form von Software, Firmware oder einer Kombination daraus repräsentieren. Die mobile Vorrichtung 180 kann außerdem eine oder mehrere Ausgabevorrichtungen 103 enthalten. Die Ausgabevorrichtungen können eine Anzeigevorrichtung zum Anzeigen von visuellem Inhalt und Lautsprecher zum Präsentieren von Audioinhalt enthalten.
Die mobile Vorrichtung 180 kann den Aktionsassistenten 120 enthalten. Der Aktionsassistent 120 kann konfiguriert sein, Eingaben zu beobachten, die durch einen Anwender für eine oder mehrere mobile Anwendungen, Web-Anwendungen und/oder Websites, von denen jede als "eine Anwendung" bezeichnet sein kann, bereitgestellt werden. Der Aktionsassistent 120 kann auch Text, Bilder und Töne beobachten, die von der Anwendung für den Anwender bereitgestellt werden. Anwenderaktionen repräsentieren Eingabegesten wie z. B. Tippen, Wischen, Texteingabe oder irgendeine andere Aktion, die der Anwender vornimmt, um mit einer Anwenderschnittstelle der Anwendung zu interagieren. Beispielsweise kann eine Anwenderaktion irgendeine Aktion sein, die der Anwender vornimmt, um mit einem berührungssensitiven Bildschirm der mobilen Vorrichtung 180 zu interagieren. Eine Anwenderaktion kann auch irgendein Text oder eine Auswahl sein, die durch den Anwender über eine Eingabevorrichtung wie z. B. eine Maus, eine Tastatur, ein Trackpad, ein Mikrofon usw. eingegeben wird. Der Aktionsassistent 120 kann die Beobachtungen auf hoher Ebene aufnehmen und die aufgenommenen Beobachtungen als einen Arbeitsablauf, der durch eine Folge von Aktionen repräsentiert ist, speichern. Somit kann eine Folge von Aktionen Eingaben, Ergebnisse, Antworten usw. enthalten, die auf einer hohen Ebene aufgenommen sind. Eine Folge, die auf einer hohen Ebene aufgenommen ist, enthält keine Einzelheiten wie z. B. Pixelorte, die der Anwender ausgewählt hat. Stattdessen identifizieren Aktionen, die an einer hohen Ebene aufgenommen sind, was der Anwender durch diese Aktionen erreichte. Beispielsweise kann ein Pizzabestellungs-Arbeitsablauf als die folgende Folge von Aktionen aufgenommen werden:

1. zum Hauptmenü gehen
2. große Pizza auswählen
3. große Pizza durch Hinzufügen von Salami und Oliven modifizieren
4. Menge 2 eingeben
5. <hinzufügen zum Warenkorb>-Steuerelement auswählen
6. große Pizza auswählen
7. große Pizza durch Hinzufügen von grüner Paprika, Zwiebeln, Oliven und Pilzen modifizieren
8. Menge 1 eingeben
9. <hinzufügen zum Warenkorb>-Steuerelement auswählen
10. <Kasse>-Steuerelement auswählen
11. abgespeicherte Bezahlinformationen bestätigen
12. Lieferzeit als baldmöglichst auswählen
13. <Bestellung bestätigen>-Steuerelement auswählen
14. Anwendung verlassen

Als ein weiteres Beispiel kann der Pizzabestellungs-Arbeitsablauf als die folgende Folge von Aktionen aufgenommen werden, die eine strukturiertere Herangehensweise darstellt:

1. [select:main_menu]
2. [select:size.lg]
3. [select:topping.pep] & [select:topping.bo]
4. [select:q.2]
5. [select:add_cart]
6. [select:size.lg]
7. [select: topping.gp] & [select:topping.o] & [select:topping.bo] & select[topping.mush]
8. [select:q.1]
9. [select:add_cart]
10. [select:checkout]
11. [select:cc1]
12. [select:del.asap]
13. [select:order]
14. [select:exit]

Wie durch die zwei vorstehenden Beispiele dargestellt ist, enthält die Folge Merkmale über den Inhalt, der durch die Anwendung bereitgestellt ist (z. B. eine Steuerung des Belags und seiner Werte), und Merkmale über die Eingabe, die durch den Anwender bereitgestellt werden (welche Steuerelemente ausgewählt werden und mit welchen Werten). Der Aktionsassistent 120 kann die Grenze zwischen einer Aktionsfolge und einer weiteren Aktionsfolge auf eine Reihe von Arten bestimmen. Beispielsweise kann das System bestimmen, dass eine Folge beendet ist, basierend auf einem expliziten Befehl von dem Anwender, der die Folge als fertiggestellt kennzeichnet. Als ein weiteres Beispiel kann das System basierend darauf, dass der Anwender zu einer weiteren Anwendung umschaltet oder dass der Anwender die Anwendung schließt, bestimmen, dass eine Folge beendet ist. Als ein weiteres Beispiel kann das System basierend auf einer Meldung von der Anwendung, z. B. eine Nachricht die "Bestellung ist vollständig", "Bestellung ist empfangen" oder etwas Ähnlichem bestimmen, dass eine Folge beendet ist.
Der Aktionsassistent 120 kann die Folge von Aktionen als eine frühere Folge zur späteren Bezugnahme speichern, beispielsweise in den früheren Folgen 170. Zusätzlich zum Speichern der Folge von Aktionen kann der Aktionsassistent 120 auch Metadaten über die Folge speichern. Die Metadaten können auch als Signale für die Folge bezeichnet sein. Die Signale können irgendeine Eigenschaft der Folge enthalten, die Tageszeit, Wochentag, verwendete Anwendung, Anzahl und Typ von Eingaben, ungefährer Bereich des Bildschirms, der gedrückt ist, Reihenfolge der Eingaben, ob sich die Vorrichtung bewegt hat, usw. enthalten. Beispielsweise kann der Aktionsassistent 120 als Kontext für die Folge einen Zeitstempel für jede Aktion, der angibt, wann die Aktion stattgefunden hat, der Wochentag, Tageszeit, ob der Tag ein Feiertag ist usw., enthält, einen Ortsstempel, der angibt, wo der Anwender war, einen Ortsverlauf, früher verwendete Anwendungen, frühere Folgen von Aktionen usw. aufzeichnen. In einigen Implementierungen können die Signale als ein Array von Werten gespeichert werden, z. B. ein Array aus Gleitkommazahlen, ein Array aus Textzeichenketten, ein Array aus Listenwerten usw. Das System kann die Metadaten mit der Folge von Aktionen speichern, z. B. in den früheren Folgen 170.
Der Aktionsassistent 120 kann eine Ähnlichkeits-Engine 155, die teilweise erlernt sein kann, und die früheren Folgen 170 verwenden, um zu bestimmen, wenn der Anwender beginnt, eine Aktion zu wiederholen. Die Ähnlichkeits-Engine 155 kann ein Vorhersagemodell sein, das eine Ähnlichkeitsmetrik zwischen einer aktuellen Folge von Aktionen und einer oder mehreren aus den früheren Folgen 170 erzeugt. Die Ähnlichkeits-Engine 155 kann als Eingabe eine aktuelle Folge von Aktionen, eine oder mehrere frühere Folgen von Aktionen, z. B. aus den früheren Folgen 170, und die Metadaten oder Signale für jede aus den Folgen verwenden. In einigen Implementierungen können die Metadaten als ein Merkmalsvektor bereitgestellt sein. Die Ähnlichkeits-Engine 155 stellt eine Ähnlichkeitsmetrik zwischen der aktuellen Folge und jeder aus den früheren Folgen bereit. Die Ähnlichkeitsmetrik kann beispielsweise auf einer Anzahl unterschiedlicher Metriken wie z. B. "Edit Distance" basieren. In einigen Implementierungen kann das System nur eine frühere Folge von Aktionen auswählen, wenn die frühere Folge eine minimale Übereinstimmung mit der aktuellen Folge von Aktionen aufweist, wie z. B. das gemeinsame Verwenden derselben Anwendung. Die Ähnlichkeits-Engine 155 ist konfiguriert, die Ähnlichkeit selbst bei Vorhandensein von leicht veränderten Komponenten festzustellen. Somit beeinträchtigen unterschiedliche Banner auf einer Webseite, unterschiedliche Werbung oder Angebote in einer mobilen App, ein leicht verändertes Layout oder eine unterschiedliche Reihenfolge der Aktionen nicht die Fähigkeit der Ähnlichkeits-Engine 155, zwei Folgen zu vergleichen. In einigen Implementierungen kann die Ähnlichkeitsmetrik durch einen maschinen-erlernten Algorithmus erzeugt werden. In einigen Implementierungen kann die Ähnlichkeits-Engine 155 für die mobile Vorrichtung 180 periodisch von einem Server, z. B. dem Server 190, bereitgestellt werden.
Der Aktionsassistent 120 verwendet die Ähnlichkeitsmetrik, um zu bestimmen, ob die aktuelle Menge von Aktionen einer oder mehreren früheren Mengen ausreichend ähnlich ist. Beispielsweise kann der Aktionsassistent 120 die Metrik mit einem Ähnlichkeitsschwellenwert vergleichen. Der Schwellenwert kann basierend auf einer Anzahl von Faktoren angepasst werden, wie z. B. ob das System in der Vergangenheit gute Vorhersagen gemacht hat, ob die frühere Folge als ein Shortcut abgespeichert ist, wie viele frühere Folgen sowohl miteinander als mit der aktuellen Folge übereinstimmen, usw. Die Ähnlichkeitsmetrik, die durch die Ähnlichkeits-Engine 155 berechnet wird, kann davon abhängig sein, wie vollständig der aktuelle Arbeitsablauf ist. Beispielsweise kann nur das Öffnen einer mobilen Anwendung, die verwendet wird, um eine Pizza von einem speziellen Restaurant zu bestellen, einer früheren Folge für diese spezielle Anwendung ausreichend ähnlich sein, weil mehrere frühere Folgen für diese Anwendung ausreichend ähnlich sind. Somit kann die Ähnlichkeits-Engine 155 einen hohen Grad von Vertrauen besitzen, dass der Anwender erneut die gleiche Aktion unter Verwendung der Anwendung ausführen möchte. Im Gegensatz dazu kann der Anwender eine mobile Reservierungs-Anwendung verwenden, um Reservierungen in mehreren unterschiedlichen Restaurants vorzunehmen. Somit ist nur das Öffnen der Reservierungs-Anwendung nicht ausreichend ähnlich irgendeiner speziellen früheren Folge ohne weiteren Kontext. Beispielsweise falls der Anwender eine Reservierung für dasselbe Restaurant zur selben Zeit des Monats oder wenn er an einem speziellen Ort ist vornimmt, können diese Signale verwendet werden, um die Ähnlichkeitsmetrik für eine spezielle frühere Folge für dieses Restaurant zu verstärken, wenn die aktuelle Folge von Aktionen die Signale gemeinsam verwendet.
Wenn der Aktionsassistent 120 bestimmt, dass die aktuelle Folge von Aktionen einer früheren Folge ähnlich genug ist, kann der Aktionsassistent 120 eine Vorhersage darüber erzeugen, ob das System die durch die frühere Folge repräsentierte Aktion reproduzieren kann. Der Aktionsassistent 120 kann einen Aktionsprädiktor 150 verwenden, um die Vorhersage zu erzeugen. In einigen Implementierungen kann der Aktionsprädiktor 150 die Ähnlichkeitsmetrik als eine Vertrauensbewertung verwenden. Mit anderen Worten kann die Ähnlichkeitsmetrik einen Ähnlichkeitsschwellenwert erfüllen und kann, falls sie den Ähnlichkeitsschwellenwert erfüllt, mit einem oder mehreren Vertrauensschwellenwerten verglichen werden. In einigen Implementierungen kann der Aktionsprädiktor 150 ein weiteres maschinen-erlerntes Modell sein, vollständig oder teilweise erlernt, das eine separate Vertrauensbewertung bereitstellt. Die Vertrauensbewertung kann auf mehreren Faktoren basieren wie z. B. dem Verhalten des Anwenders über mehrere Folgen in dem gleichen Kontext, dem Kontext des Arbeitsablaufs, ähnlichen Folgen durch andere Anwender (falls verfügbar), wie häufig sich die Anwenderschnittstelle für den Arbeitsablauf ändert, der Variabilität der Auswahlmöglichkeiten in den Anwenderschnittstellen für den Arbeitsablauf usw. Die Vertrauensbewertung kann als niedrig, mittel oder hoch klassifiziert sein. Falls das Vertrauen niedrig ist, kann der Aktionsassistent 120 den Arbeitsablauf nicht weiter verfolgen und bietet nicht an, den Arbeitsablauf zu reproduzieren. Eine Vertrauensbewertung kann niedrig sein, weil es zu schwierig ist, die früheren Anwenderaktionen in der Folge zuverlässig zu reproduzieren. Falls die Vertrauensbewertung als mittel klassifiziert ist, kann das System die Folge als eine potentiell vorgeschlagene Vervollständigung markieren. Beispielsweise kann in einigen Implementierungen das System in eine "Beobachten und Lernen"-Betriebsart eintreten, um zu bestimmen, ob der Anwender diesen Arbeitsablauf erneut ausführt. In einigen Implementierungen kann das System in einer "Beobachten und Lernen"-Betriebsart sein, sofern Attribute über die Computerumgebung (z. B. Anwendereinstellungen, spezielle Anwendungen) eine solche Betriebsart nicht verhindern. Das nächste Mal, wenn der Aktionsassistent 120 die Folge antrifft, kann der Aktionsprädiktor 150 die Vertrauensbewertung erhöhen. Sobald die gleiche Folge für eine minimale Anzahl von Malen angetroffen worden ist, kann die Vertrauensbewertung als hoch anstatt mittel klassifiziert werden. Andererseits kann der Aktionsassistent 120 nach einiger Zeit bestimmen, dass die Folge über die Zeit nicht wiederholt wird, z. B. die Folge häufig variiert, und der Aktionsprädiktor 150 kann die Vertrauensbewertung von mittel auf niedrig verringern. Eine mittlere Vertrauensbewertung gibt eine Unsicherheit dafür an, ob die Folge von Aktionen vervollständigt werden kann.
Falls die Vertrauensbewertung als hoch klassifiziert ist, kann der Aktionsassistent 120 eine Aufforderung initiieren, die anbietet, die Aktion für den Anwender zu vervollständigen. Falls der Anwender eine Genehmigung dafür, das System die Aktion vervollständigen zu lassen, angibt, kann der Aktionsassistent 120 außerdem eine Aufforderung initiieren, die dem Anwender die Gelegenheit gibt, die Folge von Aktionen, oder mit anderen Worten den Arbeitsablauf, als einen Shortcut abzuspeichern, z. B. in Shortcut-Folgen 172. Die Shortcut-Folgen können frühere Folgen sein, die der Anwender als einen Shortcut festgelegt hat. Das kann in Reaktion auf die Aufforderung ausgeführt werden oder kann in einer expliziten Betriebsart ausgeführt werden, in der der Anwender eine Folge von Aktionen aufzeichnet, die als ein Shortcut festgelegt wird, wenn die Folge vollständig ist. Jede Shortcut-Folge kann einem entsprechenden Sprachbefehl zugeordnet sein, so dass der Anwender den Shortcut über den Sprachbefehl initiieren kann. Der Shortcut kann auch einem Steuerelement zugeordnet sein, z. B. einem auswählbaren Symbol, das auf einem Startbildschirm einer mobilen Vorrichtung oder an einem anderen Ort in einer Anwenderschnittstelle der mobilen Vorrichtung platziert sein kann. In einigen Implementierungen kann der Shortcut-Folge ein Name oder eine Beschreibung zugeordnet sein. In einigen Implementierungen kann der Shortcut-Folge eine spezielle Eingabefolge zugeordnet sein, wie z. B. ein langes Drücken und ein Wischen, die durch den Anwender ausgewählt wird.
Wenn der Anwender optiert, das System einen Arbeitsablauf vervollständigen zu lassen, z. B. Reproduzieren der früheren Folge, verwendet der Aktionsassistent 120 die frühere Folge, um den Arbeitsablauf zu vervollständigen. Somit bedeutet das Reproduzieren des Arbeitsablaufs Beenden des Arbeitsablaufs, z. B. Ausführen der Aktionen in der Folge, die nicht in der aktuellen Folge von Aktionen sind, sondern in der früheren Folge von Aktionen sind. Falls der Anwender einen Arbeitsablauf unter Verwendung eines Shortcut (z. B. des Sprachbefehls oder Auswählen des Symbols für den Shortcut) initiiert, enthält das Reproduzieren des Arbeitsablaufs Ausführen aller Aktionen, die in der Folge von Aktionen für den Shortcut enthalten sind. In einigen Implementierungen kann der Aktionsassistent 120 die Aktionen im Hintergrund ausführen. Das kann nur Anzeigen der letzten Anwenderschnittstelle, die durch die Anwendung am Ende der Folge von Aktionen erzeugt wird, enthalten. Das kann außerdem Anzeigen einiger dazwischen liegender Anwenderschnittstellen anstatt aller Anwenderschnittstellen, während die Aktionen automatisch ausgeführt werden, enthalten. In einigen Implementierungen kann der Aktionsassistent 120 den Arbeitsablauf so reproduzieren, als ob der Anwender tatsächlich Eingaben bereitstellen würde, d. h. dem Anwender zeigen, was durch den Aktionsassistenten 120 bei der Ausführung der Aktion eingegeben wird, und die Anwenderschnittstelle, die durch die Anwendung in Reaktion auf die Eingabe erzeugt wird.
Um einen Arbeitsablauf zu reproduzieren, verwendet der Aktionsassistent 120 die frühere Folge von Aktionen, die der aktuellen Folge von Aktionen ähnlich ist, um Eingaben für die Anwendung bereitzustellen, die der früheren Folge zugeordnet sind. Weil der Aktionsassistent 120 Teil des Betriebssystems ist, hat der Aktionsassistent 120 Zugriff auf die Anwenderschnittstellenkomponenten, die durch die Anwendung (z. B. die mobile Anwendung, die Web-Anwendung oder Website) erzeugt werden. Somit kann der Aktionsassistent 120 beispielsweise ein Texteingabefeld in der Anwenderschnittstelle identifizieren und Text für das Texteingabefeld bereitstellen, oder ein Steuerelement finden und eine Auswahl des Steuerelements simulieren. Die Reproduktion einer Folge von Aktionen kann über Simulieren des Anwenderverhaltens, z. B. Klicks, Tippen, Schreiben usw., oder anderer herkömmlicher Verfahren erreicht werden.
Der Aktionsassistent 120 kann Assistenzparameter 130 verwenden, um zu bestimmen, wann Folgen von Aktionen beobachtet und gespeichert werden sollen, welche Art von Informationen mit einer Folge von Aktionen gespeichert werden soll, welche Informationen zur Reproduktion der Aktionen verwendet werden sollen, ob eine Folge gemeinsam verwendet werden kann usw. Beispielsweise können die Assistenzparameter 130 einen Parameter enthalten, der eine oder mehrere Anwendungen angibt, für die der Aktionsassistent 120 aktiv ist. Als ein weiteres Beispiel können die Assistenzparameter 130 einen Parameter enthalten, der eine oder mehrere Anwendungen angibt, für die der Aktionsassistent 120 niemals aktiv ist. Falls der Aktionsassistent 120 nicht aktiv ist, beobachtet der Aktionsassistent keine Folgen von Aktionen, nimmt sie nicht auf oder speichert sie nicht ab und bietet deshalb nicht an, eine Folge zu vervollständigen.
Die Assistenzparameter 130 können einen oder mehrere Parameter enthalten, die Eingaben identifizieren, die nicht als Teil einer Folge von Aktionen aufgenommen werden sollen. Beispielsweise kann der Anwender spezifizieren, dass der Aktionsassistent 120 keine Anwendernamen, Passwörter, Kontonummern, Anwenderbezeichner usw. aufzeichnen darf. Wenn der Aktionsassistent 120 Eingaben in einer Aktion beobachtet, die nicht aufgenommen/beschrieben/aufgezeichnet werden sollen, kann der Aktionsassistent 120 die aktuelle Folge von Aktionen beenden. Mit anderen Worten beendet in einigen Implementierungen eine Eingabe, die nicht aufgenommen werden soll, die Folge. Die Folge kann als vollständig betrachtet werden, weil irgendwelche weiteren Aktionen nicht automatisch reproduziert werden können. In einigen Implementierungen kann der Aktionsassistent 120 ein Token anstelle der Eingabe, die durch den Anwender bereitgestellt wird, verwenden, so dass die Aktion ohne die Eingabe aufgenommen werden kann. In einer solchen Implementierung kann der Aktionsassistent 120 die Aktion nicht automatisch reproduzieren – es wäre für den Aktionsassistenten 120 notwendig, dass der Anwender die Eingabe bereitstellt, die durch das Token repräsentiert ist, um das Reproduzieren der vollständigen Folge fortzusetzen. In einigen Implementierungen kann eine spezielle Eingabe, wie z. B. Bezahl -oder Konteninformationen, für eine Aktion nicht standardmäßig gesammelt werden, sofern der Anwender nicht spezifisch anfordert, dass solche Informationen für eine Aktion in einer Folge von Aktionen gesammelt werden.
Die mobile Vorrichtung 180 kann außerdem eine Einstellungen-UI 140 enthalten. Die Einstellungen-UI 140 kann konfiguriert sein, dem Anwender zu ermöglichen, die Parameter in den Assistenzparametern 130 anzusehen, hinzuzufügen oder zu ändern. Mit anderen Worten kann in einigen Implementierungen die Einstellungen-UI 140 für den Anwender der mobilen Vorrichtung 180 die Fähigkeit bereitstellen, den Aktionsassistenten 120 zu steuern. Der Grad der Granularität, der durch die Einstellungen-UI 140 bereitstellt ist, kann von der Implementierung abhängen. Beispielsweise kann die Einstellungen-UI 140 dem Anwender ermöglichen, eine mobile Anwendung 110 oder einen Typ einer mobilen Anwendung 110 auszuwählen und den Aktionsassistenten 120 für diese Anwendung 110 oder diesen Typ der Anwendung anzuschalten oder abzuschalten. Als ein weiteres Beispiel kann die Einstellungen-UI 140 dem Anwender ermöglichen, Einschränkungen für Eingaben, die in einer Folge von Aktionen enthalten sind, zu platzieren. Als ein weiteres Beispiel kann die Einstellungen-UI 140 dem Anwender ermöglichen, den Aktionsassistenten 120 zu deaktivieren. Als ein weiteres Beispiel kann die Einstellungen-UI 140 dem Anwender ermöglichen, Ebenen für Eingabeeinschränkungen auszuwählen. Eine Einschränkung kann das Aufnehmen einer Folge von Aktionen auf der mobilen Vorrichtung 180 erlauben, jedoch das gemeinsame Verwenden der Folgen verhindern oder verbieten. Beispielsweise können einige Anwender Shortcut-Folgen 172 mit einer weiteren Vorrichtung gemeinsam verwenden oder können frühere Folgen mit einem Server 190 gemeinsam verwenden, um dazu beizutragen, die Ähnlichkeits-Engine 155 und/oder den Aktionsprädiktor 150 zu trainieren und zu verfeinern. Andere Anwender können die Einstellungen-UI 140 verwenden, um jedes gemeinsame Verwenden zu verhindern. In einigen Implementierungen kann die Einstellungen-UI 140 dem Anwender ermöglichen, alle oder einige Folge von Aktionen in den früheren Folgen 170 zu löschen. In einigen Implementierungen kann der Entwickler des Aktionsassistenten 120 die Einstellungen-UI 140 bereitstellen. In einigen Implementierungen kann ein Entwickler einer mobilen Anwendung 110 einige Funktionalität der Einstellungen-UI 140, die zu der mobilen Anwendung 110 gehören, bereitstellen. Mit anderen Worten kann, wenn ein Anwender die mobile Anwendung 110 herunterlädt und installiert, die mobile Anwendung dem Anwender ermöglichen, den Aktionsassistenten 120 für die mobile Anwendung 110 auf aktiv oder inaktiv einzustellen. Die Einstellungen-UI 140 kann außerdem ein Steuerelement oder eine Option enthalten, um eine Shortcut-Folge explizit aufzuzeichnen. Das ist eine spezielle Trainings-Betriebsart, in der der Anwender explizit eine Menge von Aktionen ausführt und die Menge als eine Shortcut-Folge abspeichert. Wie bei anderen Shortcut-Folgen kann es dem Anwender möglich sein, einen Namen, ein Steuerelement und/oder einen Sprachbefehl für den Shortcut abzuspeichern.
Obwohl die Einstellungen-UI 140, die Ähnlichkeits-Engine 144, der Aktionsprädiktor 150 und der Aktionsassistent 120 als getrennte Anwendungen dargestellt sind, die auf der mobilen Vorrichtung 180 laufen, ist zu verstehen, dass eine oder mehrere der Komponenten, die in der Einstellungen-UI 140, der Ähnlichkeits-Engine 155, dem Aktionsprädiktor 150 und dem Aktionsassistenten 120 identifiziert sind, Teil des Betriebssystems 115 sein können. In einigen Implementierungen können alle Komponenten des Aktionsassistenten 120, der Ähnlichkeits-Engine 155, des Aktionsprädiktors 150 und der Einstellungen-UI 140 Teil des Betriebssystems 115 sein. In einigen Implementierungen können eine oder mehrere der Komponenten der Einstellungen-UI 140 in dem Server 190 ausgeführt werden, so dass beispielsweise der Anwender ein Aktionsassistentenprofil besitzen könnte, das herunterladen wird, um die Assistenzparameter 130 für irgendeine mobile Vorrichtung, in der der Anwender angemeldet ist, zu aktualisieren.
Das intelligente Assistenzsystem 100 kann einen Server 190 enthalten, der eine Computervorrichtung oder Vorrichtungen sein kann, die die Form einer Anzahl unterschiedlicher Vorrichtungen annehmen, beispielsweise eines Standard-Servers, einer Gruppe aus solchen Servern, oder eines Rack-Server-Systems, das über mehrere Computervorrichtungen verteilt sein kann. Zusätzlich kann der Server 190 in einem Personalcomputer, beispielsweise einem Laptop-Computer, implementiert sein. Der Server 190 kann ein Beispiel der Computervorrichtung 600, wie in 6 abgebildet ist, oder der Computervorrichtung 700, wie in 7 abgebildet ist, sein. Der Server 190 kann ein Anwenderkonto für den Anwender der mobilen Vorrichtung 180 enthalten und kann verwendet werden, um Informationen wie z. B. ein Assistenzparameterprofil für den Anwender zu speichern. Der Server 1900 kann auch mit der Erlaubnis des Anwenders frühere Folgen empfangen. Der Server 190 kann die früheren Folgen verwenden, um die Ähnlichkeits-Engine 155 besser zu trainieren und zu verbessern, z. B. über anwenderübergreifendes Training. Der Server 190 kann die früheren Folgen verwenden, um den Aktionsprädiktor 150 besser zu trainieren und zu verbessern, z. B. über anwenderübergreifendes Training. In einigen Implementierungen kann der Server 190 konfiguriert sein, einen Entwickler einer mobilen Anwendung zu benachrichtigen, wenn ein Muster für die mobile Anwendung über mehrere Anwender bestimmt wird. Beispielsweise durch Analysieren früherer anonymisierter Folgen über viele Anwender kann der Server 190 bestimmen, dass 90 % der Anwender einen ähnlichen Arbeitsablauf, d. h. eine ähnliche Folge von Aktionen, gemeinsam verwenden. Eine solche hohe Übereinstimmung zeigt einen Anwenderbedarf für den Arbeitsablauf, und das System kann den Entwickler der Anwendung über den Arbeitsablauf benachrichtigen, so dass der Arbeitsablauf nativ angeboten werden kann (der sogar schneller als die Reproduktion der Folge von Aktionen ausgeführt werden könnte).
Die mobile Vorrichtung 180 kann über das Netz 160 in Kommunikation mit dem Server 190 und mit anderen mobilen Vorrichtungen sein. Das Netz 160 kann beispielsweise das Internet sein, oder das Netz 160 kann ein drahtgebundenes oder drahtloses lokales Netz (LAN), Weitbereichsnetz (WAN) sein, das das Verwenden von beispielsweise Gateway-Vorrichtungen, Bridges, Verteilern und so weiter implementiert. Das Netz 160 kann auch ein zellulares Kommunikationsnetz repräsentieren. Über das Netz 160 kann der Server 190 mit der mobilen Vorrichtung 180 kommunizieren und Daten zu/von ihr übertragen, und die mobile Vorrichtung 180 kann mit dem Server 190 und anderen Computervorrichtungen kommunizieren und Daten zu ihnen übertragen.
Das intelligente Assistenzsystem 100 repräsentiert eine Beispielkonfiguration, und Implementierungen können andere Konfigurationen beinhalten. Beispielsweise können einige Implementierungen eine oder mehrere Komponenten aus der Einstellungen-UI, dem Aktionsassistenten 120, dem Betriebssystem 115, der mobilen Anwendungen 110, der Ähnlichkeits-Engine 155 und dem Aktionsprädiktor 150 in ein/e einzige/s Modul oder Engine kombinieren, und eine oder mehrere der Komponenten der Einstellungen-UI 140 können durch den Server 190 ausgeführt werden. Als ein weiteres Beispiel können einer oder mehrere aus den Datenspeichern, wie z. B. Assistenzparameter 130 und frühere Folgen 170, in einen einzigen Datenspeicher kombiniert sein, können über mehrere Datenspeicher oder Dateien verteilt sein, können über mehrere Computervorrichtungen verteilt sein oder können in dem Server 190 gespeichert sein.
In dem Umfang, in dem das intelligente Assistenzsystem 100 anwenderspezifische Daten sammelt und speichert oder von persönlichen Informationen Gebraucht macht, kann für den Anwender eine Gelegenheit bereitgestellt sein, zu steuern, ob Programme oder Merkmale die Anwenderinformationen (z. B. Informationen über das soziale Netzwerk eines Anwenders, soziale Aktionen oder Aktivitäten, Anwendereingabeaktionen, Beruf, die Vorlieben eines Anwenders oder eine aktuellen Aufenthaltsort eines Anwenders) sammeln, oder zu steuern, ob und/oder wie Inhalt empfangen werden soll, der für den Anwender relevanter sein kann. Zusätzlich können spezielle Daten auf eine oder mehrere Arten behandelt werden, bevor sie gespeichert oder verwendet werden, so dass persönlich identifizierbare Informationen entfernt werden. Beispielsweise kann die Identität eines Anwenders so behandelt werden, dass keine persönlich identifizierbaren Informationen für den Anwender identifiziert werden können, oder ein geographischer Aufenthaltsort des Anwenders kann verallgemeinert werden, wenn Informationen über den Aufenthaltsort erhalten werden (wie z. B. auf eine Stadt, eine Postleitzahl oder auf Staatenebene), so dass ein spezieller Aufenthaltsort eines Anwenders nicht bestimmt werden kann. Somit kann der Anwender die Kontrolle darüber haben, wie Informationen über den Anwender durch ein intelligentes Assistenzsystem gesammelt und verwendet werden.
Es wird hier darauf hingewiesen und ist auf verschiedene Ausführungsformen, die hier beschrieben sind, anwendbar, dass Fähigkeiten, um zu bestimmen, ob das Aufnehmen von Aktionen und andere Funktionalität mit den Rechten zur Verwendung von Inhalt, Layout, Funktionalität und anderen Aspekten des Bilds, das auf dem Vorrichtungsbildschirm angezeigt ist, konsistent sind, und das dementsprechende Einstellen der Möglichkeiten bereitgestellt sein können. Beispielsweise können einige Assistenzparameter 130 das Abspeichern von Folgen von Aktionen einschränken, wenn das ein Verstoß gegen die Nutzungsbedingungen des Dienstes, der Inhaltslizenz oder andere Einschränkungen der Nutzung wäre. Solche Einstellungen können manuell oder automatisch vorgenommen werden, z. B. durch einen Anwender, wenn er einen neuen Dienst oder Genehmigungen zum Verwenden des Geräts einstellt, oder durch eine App-Installationsroutine oder dergleichen, und können über die Einstellungen-UI 140 nicht modifizierbar sein.
2 stellt eine Beispielanzeige einer mobilen Computervorrichtung mit einer Aufforderung einer intelligenten Assistenz gemäß einer Implementierung dar. Ein intelligentes Assistenzsystem wie z. B. das System 100 von 1 kann die Aufforderung 205 in der Anzeige 200 erzeugen. In dem Beispiel von 2 hat der Anwender die Pizzeria-Anwendung wenigstens einmal früher verwendet, um eine große Salamipizza mit dünner Kruste und eine große vegetarische Pizza zu bestellen. Somit hat in dem Beispiel von 2 das System wenigstens eine frühere Folge von Aktionen gespeichert, die die Eingabe aufnehmen, die durch den Anwender bereitgestellt ist, um die Bestellung zu vervollständigen. Beispielsweise kann die frühere Folge von Aktionen gespeichert sein als (z. B. in den früheren Folgen 170):

1. Pizzeria-Anwendung öffnen
2. <Anpassen>-Steuerelement auswählen
3. große Größe auswählen, dünne Kruste auswählen
4. <Nächstes>-Steuerelement auswählen
5. Salami und Oliven auswählen
6. Menge 2 eingeben
7. <hinzufügen zum Warenkorb>-Steuerelement auswählen
8. <Bestellung fortsetzen>-Steuerelement auswählen
9. <Vegetarisch>-Steuerelement auswählen
10. Menge 1 eingeben
11. <hinzufügen zum Warenkorb>-Steuerelement auswählen
12. <Kasse>-Steuerelement auswählen
13. abgespeicherte Zahlungsinformationen bestätigen
14. Lieferzeit baldmöglichst auswählen
15. <Bestellung bestätigen>-Steuerelement auswählen
16. Anwendung verlassen

Das System kann basierend auf einer Anzahl von Faktoren bestimmt haben, dass diese frühere Folge ähnlich einer aktuellen Folge ist. Beispielsweise kann der Anwender des Systems diese Bestellung mehrfach an einem Freitagabend aufgegeben haben, und die aktuelle Zeit entspricht Freitagabend. Als ein weiteres Beispiel kann der Anwender nur diese Bestellung in der Vergangenheit aufgegeben haben. In jedem dieser Fälle kann das System die Aufforderung 205 anbieten, sobald der Anwender die Pizzeria-Anwendung öffnet. Als ein weiteres Beispiel kann das System bestimmen, dass die Bestellung der vorstehenden früheren Folge von Aktionen ähnlich ist, nachdem der Anwender zwei große Pizzas mit dünner Kruste in dem Warenkorb platziert. Das kann auftreten, wenn eine weitere Folge für die Pizzeria-Anwendung vorhanden ist, die eine Bestellung für eine kleine Pizza enthält. Natürlich können andere Faktoren verwendet werden, um zu bestimmen, dass die aktuelle Folge ähnlich ist.
Zusätzlich zum Bestimmen, dass die aktuelle Folge der früheren Folge ähnlich ist, kann das System bestimmen, dass ein hohes Vertrauen vorhanden ist, dass die Aktion reproduziert werden kann. Beispielsweise kann sich die Anwenderschnittstelle der Pizzeria-Anwendung nicht häufig ändern und/oder es kann ein Verlauf zuverlässigen Anwenderverhaltens innerhalb der Anwendung vorhanden sein. Sobald das System entscheidet, dass die aktuelle Folge von Aktionen einer früheren Folge ausreichend ähnlich ist, kann das System die Anzeige der Aufforderung 205 initiieren. Die Aufforderung 205 kann eine Beschreibung 210 der Folge von Aktionen, die reproduziert werden soll, enthalten. Die Beschreibung 210 ist eine Textversion einer Beschreibung auf hoher Ebene der Folge, die unter Verwendung herkömmlicher Techniken erzeugt wird. Die Aufforderung 205 kann außerdem ein Genehmigungs-Steuerelement 215 und ein Nichtgenehmigungs-Steuerelement 220 enthalten. Falls der Anwender das Nichtgenehmigungs-Steuerelement 220 auswählt, kann in einigen Implementierungen das System die Folge als abgelehnt markieren, z. B. über ein Attribut oder Einstellen des Vertrauens auf niedrige Werte, so dass das System nicht erneut anbietet, die Folge von Aktionen für diesen Anwender zu vervollständigen. In einigen Implementierungen kann, wenn der Anwender das Nichtgenehmigungs-Steuerelement 220 auswählt, das System den Vertrauensschwellenwert anheben, was bewirkt, dass das System die Folge weniger häufig anbietet. Falls der Anwender das Genehmigungs-Steuerelement 215 auswählt, kann das System beginnen, die Aktionen zu reproduzieren. Beispielsweise kann das System die Eingabe, die durch den Anwender in der früheren Folge von Aktionen bereitgestellt wurde, simulieren. Weil die Aktionen auf hoher Ebene aufgezeichnet sind, kann das System die Aktionen unabhängig von Änderungen am Layout reproduzieren. Änderungen an der Schnittstelle, die die Steuerelemente betreffen, z. B. die Eingabefelder, Dropdown-Menüs, usw., können die Fähigkeit beeinträchtigen, eine Aktion zu reproduzieren. In einigen Implementierungen kann die Anzeige 200 die Aktionen zeigen, wenn sie reproduziert werden. In einigen Implementierungen kann die Anzeige 200 die Folge im Hintergrund reproduzieren, z. B. ohne dazwischenliegende Bildschirme, die durch die Pizzeria-Anwendung erzeugt werden, anzuzeigen, oder nur spezielle Bildschirme anzeigen, z. B. einen Bildschirm, der bestätigt, dass die Bestellung aufgegeben wurde. Eine solche Implementierung reduziert die Nutzung der Systembetriebsmittel weiter, da mehrere Bildschirme, die andernfalls für die Anzeige wiedergegeben würde, stattdessen durch den Aktionsassistenten gehandhabt werden.
3 stellt eine Beispielanzeige einer mobilen Computervorrichtung mit einer Shortcut-Aufforderung gemäß einer Implementierung dar. Ein intelligentes Assistenzsystem wie z. B. das System 100 von 1 kann die Aufforderung 305 in der Anzeige 300 erzeugen. In dem Beispiel von 3 kann der Anwender das Genehmigungs-Steuerelement 215 von 2 ausgewählt haben, und das System kann bestimmen, dass die früheren Folgen früher nicht als eine Shortcut-Folge abgespeichert worden sind und der Anwender früher keine Nichtgenehmigung für den Shortcut angegeben hat. Vor dem Reproduzieren der Aktionen in der früheren Folge kann das System dann die Aufforderung 305 erzeugen. Die Shortcut-Aufforderung 305 kann ein Genehmigungs-Steuerelement 310 oder 325, ein Unentschieden-Steuerelement 315 und/oder ein Nichtgenehmigungs-Steuerelement 320 enthalten. Falls der Anwender das Nichtgenehmigungs-Steuerelement 210 auswählt, kann das System die frühere Folge als explizit als ein Shortcut nicht genehmigt markieren und fortfahren, die Folge zu reproduzieren. Das kann über ein Status-Flag oder eine Eigenschaft oder ein Attribut der früheren Folge gemacht werden. Somit kann der Anwender nicht erneut gebeten werden, die Folge als ein Shortcut abzuspeichern, sondern die Folge kann in einer Auto-Vervollständigungs-Aufforderung wie z. B. der Aufforderung 205 von 2 angeboten werden.
Falls der Anwender das Unentschieden-Steuerelement 315 auswählt, kann das System mit dem Reproduzieren der früheren Folge von Aktionen fortfahren. Das System kann die Aufforderung 305 das nächste Mal, wenn der Anwender die frühere Folge von Aktionen ausführt, erneut anbieten. Falls der Anwender das Genehmigungs-Steuerelement 310 auswählt, kann das System die frühere Folge von Aktionen als eine Shortcut-Folge abspeichern. In einigen Implementierungen kann das über ein Status-Flag für die frühere Folge oder eine Eigenschaft oder ein Attribut der früheren Folge erreicht werden. In einigen Implementierungen kann das System die frühere Folge speichern oder sie zu einem anderen Datenspeicher verschieben. In einigen Implementierungen kann das Auswählen des Genehmigungs-Steuerelements 310 bewirken, dass das System die Anzeige einer weiteren Anwenderschnittstelle initiiert, die es dem Anwender ermöglicht, einen Namen, ein Symbol und/oder einen Ort für den Shortcut bereitzustellen. Beispielsweise kann das System dem Anwender ermöglichen zu spezifizieren, dass der Shortcut in einen Startbildschirm, ein Widget-Menü oder einen anderen Ort aufgenommen werden soll. In einigen Implementierungen kann das Symbol eine modifizierte Version des Symbols für die mobile Pizzeria-Anwendung sein, das eine visuelle Angabe bereitstellt, dass der Shortcut Aktionen in der mobilen Pizzeria-Anwendung reproduziert. In einigen Implementierungen kann die Aufforderung 305 ein Genehmigungs-Steuerelement 325 enthalten, das konfiguriert ist, den Anwender einen Sprachbefehl für den Shortcut aufzeichnen zu lassen. Der Sprachbefehl kann dem Anwender ermöglichen, den Shortcut durch Sprachaktivierung zu initiieren, d. h. die Aktionen zu reproduzieren, die dem Shortcut zugeordnet sind. Natürlich können andere Implementierungen dem Anwender ermöglichen, dem Shortcut eine Eingabeaktion zuzuordnen, z. B. ein langes Drücken auf das "Speisekarte"-Steuerelement des Hauptmenüs der Pizzeria-Anwendung oder eine andere Eingabeaktion.
4 stellt eine Beispiel-Anwenderschnittstelle zum Auswählen von Parametern für einen Aktionsagenten gemäß einer Implementierung dar. Ein intelligentes Assistenzsystem wie z. B. das System 100 von 1 kann die Anwenderschnittstelle 400 erzeugen. In einigen Implementierungen kann die Anwenderschnittstelle 400 durch die Einstellungen-UI 140 erzeugt werden. In einigen Implementierungen kann die Anwenderschnittstelle 400 durch eine Web-Anwendung, z. B. auf einem Server, der auf ein Konto für den Anwender zugreift, erzeugt werden. In dem Beispiel von 4 ermöglicht die Anwenderschnittstelle 400 dem Anwender, Parameter, die durch einen Aktionsagenten verwendet werden, auszuwählen und anzupassen. Die Einstellungen können für alle Anwendungen gelten, die auf einer mobilen Vorrichtung ablaufen, oder können für spezifische Anwendungen gelten. In einigen Implementierungen kann jede mobile Anwendung eine Einstellungen-Anwenderschnittstelle mit Elementen ähnlich den in der Beispiel-Anwenderschnittstelle 400 dargestellten Elementen aufweisen. In solchen Implementierungen gelten die eingegebenen oder gelöschten Parameter für diese spezielle mobile Anwendung.
In dem Beispiel von 4 enthält die Anwenderschnittstelle 400 Steuerelemente zum Spezifizieren verschiedener Parameter, die durch den Aktionsassistenten verwendet werden können, um zu bestimmen, wann Folgen von Anwenderaktionen gesammelt und gespeichert werden sollen, wie die Aktionen behandelt werden sollen (z. B. als gemeinsam verwendbar oder nicht) und welche Typen von Informationen gesammelt werden sollen. In einigen Implementierungen kann die Anwenderschnittstelle ein Steuerelement 410 enthalten, um den Aktionsassistenten zu deaktivieren. Das Steuerelement 410 ermöglicht es dem Anwender, den Aktionsassistenten abzuschalten. Wenn der Aktionsassistent deaktiviert ist, wird keine Folge von Aktionen beobachtet, aufgenommen und gespeichert. Somit kann der Aktionsassistent keine Aufforderung zum Autovervollständigen einer früheren Folge bereitstellen. In einigen Implementierungen kann das Deaktivieren des Aktionsassistenten auch Shortcut-Folgen deaktivieren. In anderen Implementierungen kann der Aktionsassistent immer noch eine Shortcut-Folge reproduzieren, wenn der Shortcut durch den Anwender aufgerufen wird. Die Anwenderschnittstelle kann außerdem ein Steuerelement 415 enthalten, das die Parameter für gemeinsames Verwenden einstellt oder löscht. Wenn der Parameter für gemeinsames Verwenden ausgewählt wird, kann der Aktionsassistent frühere Folgen mit einem Server gemeinsam verwenden, so dass der Server anwenderübergreifendes Lernen für die Ähnlichkeits-Engine und/oder den Aktionsprädiktor ausführen kann. Natürlich kann der Aktionsassistent persönliche Informationen aus den früheren Folgen vor dem gemeinsamen Verwenden entfernen. Beispielsweise können Anwendernamen, Bezahlinformationen, Adressen usw. vor dem gemeinsamen Verwenden durch Token ersetzt werden, falls solche Informationen in den Folgen erscheinen. Die Parameter für gemeinsames Verwenden können außerdem dem Anwender ermöglichen, eine Shortcut-Folge mit einer weiteren Vorrichtung und/oder einem weiteren Anwender gemeinsam zu verwenden. Beispielsweise kann der Anwender eine Shortcut-Folge zu einer weiteren mobilen Vorrichtung, die dem Anwender gehört, senden. Als ein weiteres Beispiel kann der Anwender eine Shortcut-Folge zu einer mobilen Vorrichtung eines weiteren Anwenders senden. Falls sie mit einem weiteren Anwender gemeinsam verwendet wird, kann der Aktionsassistent die persönlichen Informationen entfernen.
Die Anwenderschnittstelle 400 kann außerdem mehrere Steuerelemente zum Angeben, ob eine spezielle Eingabe nicht Gegenstand der Automatisierung ist, enthalten. Eine Eingabe, die nicht Gegensand der Automatisierung ist, wird nicht als Teil der Folge von Aktionen gespeichert. In einigen Implementierungen kann die Anwenderschnittstelle ein Steuerelement 420 enthalten, das angibt, dass der Aktionsassistent Anwender-Anmeldeinformationen aufnehmen darf, wenn er eine Folge von Aktionen speichert. Beispielsweise kann der Anwendung einen Anwendernamen und ein Passwort benötigen, um sich an einer Anwendung anzumelden. Falls das Steuerelement 420 nicht ausgewählt ist, kann der Aktionsassistent den Anwendernamen oder das Passwort nicht speichern. Somit sind, wenn das Steuerelement 420 nicht ausgewählt ist, Anmeldeinformationen nicht Gegenstand der Automatisierung. In einigen Implementierungen kann das verursachen, dass der Aktionsassistent die Folge abbricht oder die Folge schließt, so dass die Folge an der Schnittstelle endet, die die Anmeldeinformationen anfordert. In einigen Implementierungen kann der Aktionsassistent den Anwendernamen und Passwörter als Token speichern, die angeben, dass der Aktionsassistent die Folge nicht ausführen kann, ohne dass der Anwender einen Wert für das Token eingibt. Somit kann beispielsweise der Aktionsassistent die Folge reproduzieren bis zu der Aktion in der Folge, die den Anwendernamen erfordert; wobei an diesem Punkt die mobile Vorrichtung eine Anwenderschnittstelle anzeigt, die den Anwendernamen und das Passwort anfordert. Sobald der Anwender diese Eingabe geliefert hat, kann der Aktionsassistent mit der Reproduktion der verbleibenden Folge fortfahren. In einer solchen Situation kann der Aktionsassistent eine halbautomatische Reproduktion der Folge ausführen; die Reproduktion ist nicht vollständig automatisch, weil sie an einem Punkt während der Folge eine Anwenderinteraktion erfordert.
Die Anwenderschnittstelle 400 kann außerdem ein Steuerelement 425 enthalten, das einen Parameter einstellt, der angibt, ob Bezahl- oder Konteneingabe in die Folge aufgenommen werden sollen oder nicht. Wie bei den Anmeldedaten kann der Anwender wählen, die Bezahlinformationen aufnehmen zu lassen, obwohl eine Standardoption sein kann, die Bezahlinformationen nicht aufnehmen zu lassen. Somit sind, wenn das Steuerelement 425 nicht ausgewählt ist, Bezahl- und Konteninformationen nicht Gegenstand der Automatisierung. Falls keine Bezahlinformationen enthalten sind, kann der Aktionsassistent eine halbautomatische Reproduktion einer Folge ausführen, wie vorstehend in Bezug auf die Anmeldeinformationen diskutiert ist.
Die Anwenderschnittstelle 400 kann außerdem ein Steuerelement 430 enthalten, das einen Parameter einstellt, der angibt, ob Informationen über den Anwender in die Folge aufgenommen werden sollen oder nicht. Beispielsweise falls das Steuerelement 430 nicht ausgewählt ist, kann der Aktionsassistent den Namen, den Geburtstag, das Geschlecht usw. des Anwenders nicht speichern, falls sie als Teil der Folge von Aktionen bereitgestellt werden. Somit sind, wenn das Steuerelement 430 nicht ausgewählt ist, persönliche Informationen nicht Gegenstand der Automatisierung. Wie bei den Anmelde- und Bezahlinformationen kann, falls die Anwenderinformationen nicht gespeichert sind, der Aktionsassistent die Folge ignorieren, die Folge beenden oder die Eingabeelemente durch ein Token ersetzen.
Die Anwenderschnittstelle 400 kann außerdem ein Steuerelement 435 zum Spezifizieren einer Weißen Liste enthalten, oder die Steuerelemente 610 können außerdem ein Steuerelement 630 enthalten, um das Sammeln von Gesten oder Anwendereingabeaktionen wie z. B. Wischen, Klicks, Verwischen, Tippen usw. zu schützen. Wie vorstehend diskutiert, kann der Aktionsassistent solche Anwenderinteraktionen aufnehmen, beispielsweise um bei der Automatisierung wiederholter Aufgaben zu assistieren. Das Steuerelement 630 kann es ermöglichen, dass ein Anwender das Sammeln solcher Anwendereingabeaktionen abschaltet. Wie bei den anderen Steuerelementen 620 und 625 kann das Steuerelement 630 in einer anwendungsspezifischen Anwenderschnittstelle bereitgestellt sein, so dass der Aktionsassistent keine Anwendereingabeaktionen sammelt, wenn die spezielle Anwendung läuft.
Die Anwenderschnittstelle 400 kann außerdem ein Steuerelement 435 enthalten, das es einem Anwender ermöglicht auszuwählen, in welchen Anwendungen der Aktionsassistent arbeiten darf oder in welchen Anwendungen der Aktionsassistent nicht arbeiten darf. Mit anderen Worten kann der Parameter eine Weiße Liste von Anwendungen, die explizit Anwendungen identifiziert, für die der Aktionsassistent aktiviert ist, oder eine Schwarze Liste von Anwendungen, für die der Aktionsassistent explizit deaktiviert sein kann, enthalten. Die Auswahl des Steuerelements 435 kann die Anzeige eines weiteren Fensters oder einer weiteren Anwenderschnittstelle initiieren, das/die sowohl die Anwendungen in der Weißen Liste oder der Schwarzen Liste als auch Steuerelemente zum Entfernen der Anwendungen aus der Liste oder Hinzufügen von Anwendungen zu der Liste auflistet.
Die Anwenderschnittstelle 400 kann außerdem ein Steuerelement 440 enthalten, das es einem Anwender ermöglicht, eine Shortcut-Folge mit einem weiteren Anwender gemeinsam zu verwenden. Das Auswählen des Steuerelements 440 kann verursachen, dass das System ein weiteres Fenster oder eine weitere Anwenderschnittstelle initiiert, das/die es dem Anwender ermöglicht, eine weitere Vorrichtung, z. B. über einen Vorrichtungsbezeichner, eine Telefonnummer, einen Anwendernamen usw., und eine aus den Shortcut-Folgen, um sie gemeinsam zu verwenden, auszuwählen. In einigen Implementierungen kann das gemeinsame Verwenden über einen Sprachbefehl erreicht werden. Beispielsweise kann die Auswahl des Steuerelements 440 eine Abhörbetriebsart initiieren, die einen Vorrichtungsbezeichner und einen Bezeichner einer Shortcut-Folge erwartet.
Die Anwenderschnittstelle 400 kann außerdem ein Steuerelement 445 enthalten, das es dem Anwender ermöglicht, in eine explizite Trainingsbetriebsart einzutreten. In einer expliziten Trainingsbetriebsart werden die Aktionen, die durch den Anwender ausgeführt werden, als eine Shortcut-Folge abgespeichert. Mit anderen Worten vergleicht das System die Folge nicht mit früheren Folgen, um zu bestimmen, ob sie ausreichend ähnlich ist und dann eine Vertrauensbewertung zur Vervollständigung zu berechnen; stattdessen beobachtet das System nur die Folge von Aktionen, die durch den Anwender ausgeführt wird, und kennzeichnet sie als eine Shortcut-Folge. Die explizite Trainingsbetriebsart kann durch eine Aktion durch den Anwender beendet werden, oder das System kann an einem Punkt, an dem das System typischerweise eine Folge von Aktionen schließt, den Anwender fragen, ob die Shortcut-Folge beendet werden sollte.
Die Anwenderschnittstelle 400 kann außerdem ein Steuerelement 450 enthalten, um die Shortcut-Folgen zu managen. Der Anwender kann Shortcut-Folgen benennen oder umbenennen, Shortcut-Folgen löschen, einen Sprachbefehl für eine Shortcut-Folge aufzeichnen usw. Die Anwenderschnittstelle 400 kann außerdem ein Steuerelement 455 enthalten, das die früheren abgespeicherten Folgen aus dem Datenspeicher löscht. In einigen Implementierungen kann das Betätigen des Steuerelements 455 alle Folgen löschen, die nicht als eine Shortcut-Folge gekennzeichnet sind. Obwohl in einer einzigen Anwenderschnittstelle dargestellt, können Implementierungen mehrere Anwenderschnittstellen mit der beschriebenen Funktionalität enthalten.
5 stellt ein Ablaufdiagramm eines Beispielprozesses 500 zum Identifizieren wiederholter Aktionen und Bereitstellen einer intelligenten Assistenz in Übereinstimmung mit offenbarten Implementierungen dar. Der Prozess 500 kann durch einen Aktionsassistenten ausgeführt werden, der auf einer mobilen Vorrichtung abläuft, wie z. B. den Aktionsassistenten 120 des Systems 100 von 1. Der Prozess 500 kann verwendet werden, um eine Folge von Aktionen zu identifizieren, die der Anwender vorher ausgeführt hat, und anzubieten, die Folge automatisch oder halbautomatisch für den Anwender zu reproduzieren oder zu beenden. Das automatische Ausführen einer Aktionsfolge bedeutet, dass der Anwender keine Eingabe während der Reproduktion der Folge bereitstellt. Stattdessen verwendet der Aktionsassistent eine frühere Folge von Aktionen, um die Eingabe bereitzustellen, die benötigt wird, um ein Ergebnis zu erreichen, das ähnlich dem Ergebnis ist, das durch die frühere Folge erreicht wurde. Halbautomatisches Ausführen einer Aktionsfolge bedeutet, dass der Anwender gebeten werden kann, ein oder mehrere Datenelemente an einem Punkt während der Reproduktion der Folge von Aktionen bereitzustellen. Beispielsweise kann der Anwender Bezahlinformationen oder ein Anmeldepasswort während der Reproduktion der Folge von Aktionen bereitstellen. Der Prozess 500 kann mit der Zustimmung des Anwenders kontinuierlich im Hintergrund ablaufen. In einigen Implementierungen können Teile des Prozesses 500 kontinuierlich ablaufen, so dass das System die Anwenderaktionen überwachen kann und die Aktionen für einen zukünftigen Vergleich organisieren kann. Mit anderen Worten kann das System Teile des Prozesses 500 verwenden, um Informationen in einer Trainingsbetriebsart zu sammeln, z. B. Sammeln früherer Folgen zum Verwenden zum Vergleich mit aktuellen Folgen zu einer späteren Zeit.
Der Prozess 500 kann dadurch beginnen, dass der Aktionsassistent eine aktuelle Anwenderaktions-Folge aufnimmt (505). Das System nimmt die aktuelle Folge von Anwenderaktionen auf einer hohen Ebene, mit anderen Worten auf einer funktionalen Ebene, auf. Somit nimmt das System jede Aktion in der aktuellen Gruppe von Aktionen durch Identifizieren eines Namens oder eines Bezeichners für ein ausgewähltes Steuerelement und Identifizieren, was der Anwender geschrieben oder gesprochen hat, ohne Bezug auf Pixelkoordinaten auf. Das macht das Reproduzieren von Aktionen robuster. Somit kann jede Aktion in der Folge von Aktionen reproduziert werden, solange die Steuerelemente in der Anwenderschnittstelle die Namen nicht ändern. In einigen Implementierungen können die Aktionen mit Namen von Steuerelementen weich abgeglichen werden, um mehr Flexibilität bei der Reproduktion von Aktionen bereitzustellen. In einigen Implementierungen kann jede Aktion eine strukturierte Darstellung aufweisen, die durch einen Menschen nicht lesbar sein kann. Die Aktionen können Informationen sein, die als eine Folge von Datensätzen gespeichert sein können. Der Aktionsassistent nimmt eine aktuelle Folge von Aktionen auf, wenn der Anwender mit der mobilen Vorrichtung interagiert. Mit anderen Worten wird die aktuelle Folge von Aktionen aufgenommen, wenn der Anwender Eingaben bereitstellt. Zusätzlich zum Aufzeichnen der Aktionen kann das System auch Signale für die Aktion aufzeichnen, wie z. B. die Tageszeit, zu der die Anwendung abläuft, den Ort, die Bewegung der mobilen Vorrichtung, relative Position der Eingabe zu anderen Elementen, die auf dem Bildschirm sichtbar sind, und irgendwelche anderen Eigenschaften des Arbeitsablaufs, der durch die Aktionen repräsentiert wird. Somit enthält das Aufnehmen einer aktuellen Folge von Aktionen Aufnehmen der Signale, die für die Aktionen relevant sind.
Der Aktionsassistent kann bestimmen, ob die Folge von Aktionen ähnlich einer früheren Folge von Aktionen ist (510). Der Aktionsassistent kann den Vergleich in einem periodischen Zeitabstand oder jedes Mal, wenn eine Aktion zu der aktuellen Folge von Aktionen hinzugefügt wird, ausführen. Durch Ausführen des Ähnlichkeitsvergleichs, bevor die aktuelle Folge von Aktionen vollständig ist, kann das System dem Anwender anbieten, die Aktion zu reproduzieren. Der Aktionsassistent kann eine Ähnlichkeitsmetrik zum Bestimmen verwenden, ob die aktuelle Folge von Aktionen ähnlich einer früheren Folge von Aktionen ist. Die Ähnlichkeitsmetrik kann ein maschinen-erlerntes Modell sein. Die frühere Folge von Aktionen kann eine Folge sein, die durch den Anwender zu einer früheren Zeit bereitgestellt und in einem Datenspeicher mit Erlaubnis des Anwenders gespeichert wurde. Das System kann als Eingabe Signale, die mit der früheren Folge von Aktionen gespeichert sind, und die aktuelle Folge von Aktionen verwenden und kann eine Ähnlichkeitsmetrik für die zwei Folgen erzeugen. In einigen Implementierungen kann das System nur eine Ähnlichkeitsmetrik zwischen einer früheren Folge und der aktuellen Folge bestimmen, wenn die zwei Folgen spezielle minimale Anforderungen gemeinsam haben, beispielsweise sie auf derselben mobilen Anwendung oder Webseite ablaufen. Die aktuelle Folge und eine frühere Folge können als ähnlich bestimmt werden, wenn die Ähnlichkeitsmetrik einem Ähnlichkeitsschwellenwert genügt, d. h. ihn erfüllt oder übersteigt.
Wenn die aktuelle Folge keiner früheren Folge ähnlich ist (510, Nein), kann der Aktionsassistent bestimmen, ob die aktuelle Folge von Aktionen von Aktionen vollständig ist (515). Der Aktionsassistent kann bestimmen, dass eine Folge vollständig ist, basierend auf einer Anzahl unterschiedlicher Faktoren, wie z. B. dass der Anwender die mobile Anwendung oder Webseite schließt, der Anwender eine Bezahlung oder Bestellung fertigstellt oder bestätigt, Empfang einer Bestätigungs-E-Mail, Empfang einer Bestätigungs-Textnachricht, Auswahl eines Fertigstellungs-Steuerelements (z. B. "beenden", "senden", abmelden usw.), Inaktivität, Auswahl einer "Schlaf"-Betriebsart und anderen ähnlichen Anwenderaktionen und Ereignissen. Falls die Folge von Aktionen nicht vollständig ist (515, Nein), kann das System mit dem Aufnehmen von Aktionen für die aktuelle Folge fortfahren (505). Falls die Folge von Aktionen vollständig ist (515, Ja), kann das System die aktuelle Folge von Aktionen zusammen mit den Signalen für die aktuelle Folge als eine frühere Folge von Aktionen abspeichern (525) abspeichern. In einigen Implementierungen kann das System die aktuelle Folge von Aktionen mit einer Vertrauensbewertung abspeichern. Weil jedoch für eine aktuelle Folge von Aktionen, die nicht einer früheren Folge von Aktionen ähnlich ist, bisher noch keine Vertrauensbewertung erzeugt worden ist, kann das System diesen Typ von Folge nicht mit einer Vertrauensbewertung speichern.
Wenn die aktuelle Folge einer früheren Folge ähnlich ist (510, Ja), kann das System eine Vertrauensbewertung für die aktuelle Folge von Aktionen und die ähnliche(n) frühere(n) Folge(n) von Aktionen berechnen (520). Die Vertrauensbewertung kann ein teilweise oder vollständig maschinen-erlerntes Modell sein, das trainiert ist, um vorherzusagen, ob der Aktionsassistent einen Arbeitsablauf, der durch die frühere Menge von Aktionen repräsentiert ist, korrekt reproduzieren kann. Das Vorhersagemodell kann verschiedene Signale als Eingaben verwenden. Ein Beispielsignal ist das Verhalten des Anwenders über mehrere Arbeitsabläufe (frühere Folgen von Aktionen) in derselben Web-Anwendung, Webseite oder mobilen Anwendung. Das kann die Anzahl der Auswahlvorgänge für Tasten oder andere Steuerelemente enthalten. Beispielsweise falls der Anwender ein "Senden"-Steuerelement fünfmal und ein Anzahl-Steuerelement einmal über mehrere frühere Folgen, die der aktuellen Folge ähnlich sind, ausgewählt hat, kann dieses Signal zu einem hohen Vertrauen beitragen, dass der Anwender wiederholt den gleichen Arbeitsablauf ausführt. Das Vorhersagemodell kann außerdem Kontextsignale verwenden. Beispielsweise kann der Arbeitsablauf zu einer speziellen Tageszeit oder wenn der Anwender an einem speziellen Ort ist konsistent sein, andernfalls jedoch inkonsistent. Falls der Kontext der aktuellen Folge von Aktionen mit dem Kontext der konsistenten Aktionen übereinstimmt, kann das Modell ein höheres Vertrauen, andernfalls jedoch ein niedrigeres Vertrauen, aufweisen. Ein weiteres Beispiel eines Eingangssignals, das als Eingabe verwendet wird, kann das kumulierte Verhalten von Anwendern in demselben Kontext sein. Solche Informationen können unter Verwendung anonymisierter Logs, die von unterschiedlichen Anwendern mit Einverständnis der Anwender zu einem zentralen Server gesendet werden, erzeugt werden. Ein weiteres Beispiel eines Eingangssignals ist die Häufigkeit, mit der sich die Anwenderschnittstelle der mobilen Anwendung oder Webseite ändert. Falls sich Tasten, Textfelder und andere Steuerelemente und Eingaben häufig ändern, kann der Prädiktor weniger Vertrauen in das Reproduzieren des Arbeitsablaufs haben. Ein weiteres Eingangssignal ist die Variabilität der Auswahlmöglichkeiten, die in dem speziellen Arbeitsablauf verfügbar ist, und die Wahrscheinlichkeit für das Folgen desselben. Falls die Variabilität niedrig ist, kann das Vorhersagemodell ein hohes Vertrauen haben, selbst wenn nicht viele frühere Folgen vorhanden sind, falls jedoch die Variabilität hoch ist, kann das Vorhersagemodell ein niedrigeres Vertrauen haben, sofern nicht viele frühere Folgen angeben, dass der Anwender einer speziellen Folge folgt (oder in der Kumulierung viele Anwender einer speziellen Folge folgen). Ein weiteres Eingangssignal ist, ob der Arbeitsablauf durch den Anwender als ein Shortcut abgespeichert worden ist. Falls die aktuelle Folge von Aktionen ähnlich einer früheren Folge von Aktionen ist, die auch als ein Shortcut markiert oder gekennzeichnet ist, kann das Vorhersagemodell eine hohe Vertrauensbewertung ausgeben.
Das Vorhersagemodell kann konfiguriert sein, eine Vertrauensbewertung bereitzustellen, die als niedrig, mittel oder hoch klassifiziert sein kann. Falls die Vertrauensbewertung einem ersten Vertrauensschwellenwert genügt, d. h. ihn erfüllt oder übersteigt, kann sie als hoch betrachtet werden. Falls die Vertrauensbewertung den ersten Vertrauensschwellenwert nicht erfüllt, jedoch einen zweiten Vertrauensschwellenwert erfüllt oder übersteigt, kann die Vertrauensbewertung als mittel betrachtet werden. Falls die Vertrauensbewertung den ersten und den zweiten Vertrauensschwellenwert nicht erfüllt, wird die Bewertung als niedrig betrachtet. Falls die Vertrauensbewertung niedrig ist, kann das System den Aktionsassistenten für diese Folge deaktivieren, da es zu schwierig ist, einen ähnlichen Arbeitsablauf zu reproduzieren. Somit kann das System fortfahren, eine weitere Folge von Aktionen aufzunehmen (505), sobald der Anwender eine neue Folge beginnt. Falls die Vertrauensbewertung als mittel betrachtet wird, kann das System bestimmen, ob die Aktion vollständig ist, und kann, falls sie es ist (515, Ja), die aktuelle Folge in einer Beobachtungs- und Lernbetriebsart abspeichern (525). Beispielsweise kann die aktuelle Folge als eine frühere Folge mit der Vertrauensbewertung abgespeichert werden. Das nächste Mal, wenn das System auf eine ähnliche Folge trifft, kann diese frühere Vertrauensbewertung als ein Eingangssignal für das Vorhersagemodell verwendet werden. Das Vorhersagemodell kann die Vertrauensbewertung modifizieren, so dass schließlich das System ein niedriges oder hohes Vertrauen für den Arbeitsablauf, der durch die Folge von Aktionen repräsentiert ist, erreicht. Falls die Aktion nicht vollständig ist, kann das System fortfahren, zu beobachten und zu lernen, während der Anwender die Folge vervollständigt.
Wenn die Vertrauensbewertung hoch ist, kann das System eine Aufforderung erzeugen, die den Anwender fragt, ob der Anwender die Aktion reproduzieren möchte oder nicht (530). Die Aufforderung kann ähnlich der Aufforderung 205 von 2 sein. Falls der Anwender die Aktion nicht reproduzieren möchte (535, Nein), kann das System fortfahren, einen weiteren Arbeitsablauf aufzunehmen, z. B. beginnend bei Schritt 505. In einigen Implementierungen kann das System frühere ähnliche Arbeitsabläufe als nicht genehmigt markieren, so dass sie nicht erneut angeboten werden oder einen höheren Schwellenwert erfüllen müssen, um erneut präsentiert zu werden. Falls der Anwender die Aktion wiederholen möchte (535, Ja), kann das System bestimmen, ob die frühere Folge von Aktionen bereits als ein Shortcut abgespeichert ist (540). Falls sie es ist (540, Ja), kann das System mit dem Reproduzieren des Arbeitsablaufs, der durch die frühere Folge von Aktionen repräsentiert ist, fortfahren (560). Um den Arbeitsablauf zu reproduzieren, kann das System die Aktionen in der früheren Folge verwenden, um Eingaben bereitzustellen und um Steuerelemente, z. B. Tasten, Menüoptionen, Options- oder Kontrollkästchen-Eingaben, Dropdown-Menüauswahl usw. auszuwählen. Das System kann die Aktionen im Hintergrund oder im Vordergrund reproduzieren. Wenn die im Hintergrund reproduziert werden, kann der Anwender die Anwenderschnittstellen, die in Reaktion auf die bereitgestellten Eingaben und durch das System ausgewählten Steuerelemente erzeugt werden, nicht sehen. Im Vordergrund kann der Anwender die Anwenderschnittstellen sehen.
Falls die frühere Menge von Aktionen nicht bereits als ein Shortcut abgespeichert worden ist (540, Nein), kann das System eine Aufforderung initiieren, um abzufragen, ob der Anwender möchte, dass die Aktion als ein Shortcut abgespeichert wird (545). Diese Aufforderung kann ähnlich der Aufforderung 305 von 3 sein. Wenn der Anwender den Arbeitsablauf nicht als einen Shortcut abspeichern möchte (550, Nein), kann das System mit dem Reproduzieren des Arbeitsablaufs, der durch die frühere Folge von Aktionen repräsentiert ist, fortfahren (560). Wenn der Anwender den Arbeitsablauf als einen Shortcut abspeichern möchte (550, Ja), kann das System eine Art und Weise für den Anwender bereitstellen, einen Shortcut-Bezeichner der früheren Folge von Aktionen zuzuordnen (555). Der Shortcut-Bezeichner kann ein Name, ein Sprachbefehl, eine Eingabefolge, ein Symbol usw. sein, der/die/das verwendet wird, um den Shortcut anzustoßen. In einigen Implementierungen kann das System dem Shortcut auch eine Beschreibung zuordnen. Der Anwender kann die Shortcut-Folge zu jeder Zeit durch Bereitstellen des Sprachbefehls oder Auswahl des Symbols oder Ausführen der Eingabefolge, die dem Shortcut zugeordnet ist, reproduzieren. Somit kann das System, beispielsweise wenn es den Sprachbefehl empfängt, die frühere Folge, die dem Sprachbefehl zugeordnet ist, abrufen und Schritt 560 ausführen. Zusätzlich zum Reproduzieren der Shortcut-Folgen kann das System konfiguriert sein, die Shortcut-Folge mit einer oder mehreren Vorrichtungen und/oder Anwendern gemeinsam zu verwenden. Beispielsweise kann das System einem Anwender erlauben, eine Shortcut-Folge auszuwählen und sie zu einer weiteren Vorrichtung zu senden. Die weitere Vorrichtung kann dem Anwender oder einem weiteren Anwender zugeordnet sein. Falls sie einem weiteren Anwender zugeordnet ist, können in einigen Implementierungen Eingaben in der Folge, die für den Anwender eindeutig sind, z. B. Geburtsdaten, Anwendernamen, Konteninformationen, vor dem Senden anonymisiert werden.
6 zeigt ein Beispiel einer generischen Computervorrichtung 600, die als System 100 betrieben werden kann, und/oder mobilen Vorrichtung 180 von 1, die mit den hier beschriebenen Techniken verwendet werden kann. Die Computervorrichtung 600 soll verschiedene Beispielformen von Computervorrichtungen repräsentieren, wie z. B. Laptops, Desktops, Workstations, persönliche digitale Assistenten, Mobiltelefone, Smartphones, Tablets, Server und andere Computervorrichtungen, einschließlich tragbarer Vorrichtungen. Die hier gezeigten Komponenten, ihre Verbindungen und Beziehungen und ihre Funktionen sind nur als Beispiele gedacht und sollen die Implementierungen der in diesem Dokument beschriebenen und/oder beanspruchten Erfindungen nicht einschränken.
Die Computervorrichtung 600 enthält einen Prozessor 602, einen Speicher 604, eine Speichervorrichtung 606 und Erweiterungsanschlüsse 610, die über eine Schnittstelle 608 verbunden sind. In einigen Implementierungen kann die Computervorrichtung 600 den Sender/Empfänger 646, die Kommunikationsschnittstelle 644 und ein GPS-Empfängermodul (Empfängermodul des globalen Positionierungssystems) 648, unter anderen Komponenten, enthalten, die über die Schnittstelle 608 verbunden sind. Die Vorrichtung 600 kann drahtlos über die Kommunikationsschnittstelle 644 kommunizieren, die, wenn notwendig, eine digitale Signalverarbeitungsschaltungsanordnung enthalten kann. Jede aus den Komponenten 602, 604, 606, 608, 610, 640, 644, 646 und 648 kann auf einer gemeinsamen Hauptplatine oder auf andere Weise, wie jeweils anwendbar, montiert sein.
Der Prozessor 602 kann Anweisungen zur Ausführung innerhalb der Computervorrichtung 680 verarbeiten, die Anweisungen enthalten, die in dem Speicher 604 oder der Speichervorrichtung 606 gespeichert sind, um grafische Informationen für eine GUI auf einer externen Eingabe/Ausgabevorrichtung wie z. B. der Anzeigevorrichtung 616 anzuzeigen. Die Anzeigevorrichtung 616 kann ein Monitor oder eine berührungssensitive Flachbildschirm-Anzeigevorrichtung sein. In einigen Implementierungen können mehrere Prozessoren und/oder mehrere Busse zusammen mit mehreren Speichern und Speichertypen verwendet werden, wie jeweils anwendbar. Außerdem können mehrere Computervorrichtungen 600 verbunden sein, wobei jede Vorrichtung Teile der notwendigen Operationen bereitstellt (z. B. als eine Server-Bank, eine Gruppe von Blade-Servern oder ein Mehrprozessorsystem).
Der Speicher 604 speichert Informationen innerhalb der Computervorrichtung 600. In einer Implementierung ist der Speicher 604 eine flüchtige Speichereinheit oder Speichereinheiten. In einer weiteren Implementierung ist der Speicher 604 eine nichtflüchtige Speichereinheit oder Speichereinheiten. Der Speicher 604 kann auch eine andere Form eines computerlesbaren Mediums sein, wie z. B. eine magnetische oder optische Platte. In einigen Implementierungen kann der Speicher 604 einen Erweiterungsspeicher enthalten, der über eine Erweiterungsschnittstelle bereitgestellt ist.
Die Speichervorrichtung 606 kann Massenspeicher für die Computervorrichtung 600 bereitstellen. In einer Implementierung kann die Speichervorrichtung 606 ein computerlesbaren Medium sein oder es enthalten, wie z. B. eine Diskettenvorrichtung, eine Festplattenvorrichtung, eine Vorrichtung mit einer optischen Platte oder eine Bandvorrichtung, ein Flash-Speicher oder eine ähnliche Festkörperspeichervorrichtung oder ein Array aus Vorrichtungen, das Vorrichtungen in einem Speicherbereichsnetz enthält, oder andere Konfigurationen. Ein Computerprogrammprodukt kann in einem solchen computerlesbaren Medium materiell verwirklicht sein. Das Computerprogrammprodukt kann außerdem Anweisungen enthalten, die dann, wenn sie ausgeführt werden, ein oder mehrere Verfahren wie z. B. die vorstehend beschriebenen ausführen. Das computer- oder maschinenlesbare Medium ist eine Speichervorrichtung wie z. B. der Speicher 604, die Speichervorrichtung 606 oder Speicher auf dem Prozessor 602.
Die Schnittstelle 608 kann eine Hochgeschwindigkeitssteuereinheit, die bandbreitenintensive Operationen für die Computervorrichtung 600 managt, oder eine Niedergeschwindigkeitssteuereinheit, die weniger bandbreitenintensive Operationen managt, oder eine Kombination aus solchen Steuereinheiten sein. Eine externe Schnittstelle 640 kann bereitgestellt sein, um Nahbereichskommunikation der Vorrichtung 600 mit anderen Vorrichtungen zu ermöglichen. In einigen Implementierungen kann die Steuereinheit 608 mit der Speichereinrichtung 606 und dem Erweiterungsanschluss 614 gekoppelt sein. Der Erweiterungsanschluss, der verschiedene Kommunikationsanschlüsse (z. B. USB, Bluetooth, Ethernet, drahtloses Ethernet) enthalten kann, kann mit einer oder mehreren Eingabe/Ausgabevorrichtungen, wie z. B. einer Tastatur, einer Zeigevorrichtung, einem Scanner oder einer Vernetzungsvorrichtung, wie z. B. einem Verteiler oder einem Router, z. B. über einen Netzadapter gekoppelt sein.
Die Computervorrichtung 600 kann in einer Anzahl von unterschiedlichen Formen implementiert sein, wie in der Figur gezeigt ist. Beispielsweise kann sie als ein Standard-Server 630 oder mehrfach in einer Gruppe solcher Server implementiert sein. Sie kann auch als Teil eines Rack-Server-Systems implementiert sein. Zusätzlich kann sie in einer Computervorrichtung implementiert sein, wie z. B. einem Laptop-Computer 632, einem Personalcomputer 634 oder einem Tablet/Smartphone 636. Ein Gesamtsystem kann aus mehreren Computervorrichtungen 600, die miteinander kommunizieren, bestehen. Andere Konfigurationen sind möglich.
7 zeigt ein Beispiel einer generischen Computervorrichtung 700, die ein Beispiel für den Server 190 von 1 sein kann, der mit den hier beschriebenen Techniken verwendet werden kann. Die Computervorrichtung 700 ist dafür vorgesehen, verschiedene Beispielformen von Großdatenverarbeitungsvorrichtungen zu repräsentieren, wie z. B. Servern, Blade-Servern, Datenzentren, Mainframes und anderen Großcomputervorrichtungen. Die Computervorrichtung 700 kann ein verteiltes System sein, das mehrere Prozessoren aufweist, das möglicherweise über das Netz angeschlossene Speicherknoten enthält, die durch ein oder mehrere Kommunikationsnetze miteinander verbunden sind. Die hier gezeigten Komponenten, ihre Verbindungen und Beziehungen und ihre Funktionen sind nur als Beispiele gedacht und sollen die Implementierungen der in diesem Dokument beschriebenen und/oder beanspruchten Erfindungen nicht einschränken.
Das verteilte Computersystem 700 kann irgendeine Anzahl von Computervorrichtungen 780 enthalten. Die Computervorrichtungen können einen Server oder Rack-Server, Mainframes usw. enthalten, die über ein lokales oder Weitbereichsnetz, dedizierte optische Strecken, Modems, Bridges, Router, Verteiler, drahtgebundene oder drahtlose Netze usw. kommunizieren.
In einigen Implementierungen kann jede Computervorrichtung mehrere Racks enthalten. Beispielsweise enthält die Computervorrichtung 780a mehrere Racks 758a–758n. Jedes Rack kann einen oder mehrere Prozessoren enthalten, wie z. B. die Prozessoren 752a–752n und 762a–762n. Die Prozessoren können Datenprozessoren, über das Netz angeschlossene Speichervorrichtungen und andere computergesteuerte Vorrichtungen enthalten. In einigen Implementierungen kann ein Prozessor als ein Master-Prozessor arbeiten und das Planen und die Datenverteilungsaufgaben steuern. Die Prozessoren können über einen oder mehrere Rack-Verteiler 758 verbunden sein, und ein oder mehrere Racks können über den Verteiler 778 verbunden sein. Der Verteiler 778 kann die Kommunikation zwischen mehreren verbundenen Computervorrichtungen 700 handhaben.
Jedes Rack kann einen Speicher enthalten, z. B. den Speicher 754 und den Speicher 764, und eine Speichereinrichtung, wie z. B. 756 und 766. Die Speichereinrichtung 756 und 766 kann Massenspeicher bereitstellen und kann eine flüchtige oder nichtflüchtige Speichereinrichtungen enthalten, wie z. B. über ein Netz angeschlossene Platten, Disketten, Festplatten, optische Platten, Bänder, Flash-Speicher oder andere ähnliche Festkörper-Speichervorrichtungen, oder ein Array von Vorrichtungen, die Vorrichtungen in einem Speicherbereichsnetz oder anderen Konfigurationen enthalten. Die Speichereinrichtung 756 oder 766 kann von mehreren Prozessoren, mehreren Racks oder mehreren Computervorrichtungen gemeinsam verwendet werden und kann ein computerlesbares Medium enthalten, das Anweisungen speichert, die durch einen oder mehrere aus den Prozessoren ausführbar sind. Der Speicher 754 und 764 kann z. B. eine flüchtige Speichereinheit oder -einheiten, eine nichtflüchtige Speichereinheit oder -einheiten und/oder andere Formen von computerlesbaren Medien wie z. B. magnetische oder optische Platten, Flash-Speicher, Cache, Direktzugriffsspeicher (RAM), Festwertspeicher (ROM) und Kombinationen daraus enthalten. Der Speicher wie z. B. der Speicher 754 kann auch durch die Prozessoren 752a–752n gemeinsam verwendet werden. Datenstrukturen wie z. B. ein Index können beispielsweise die Speichereinrichtung 756 und den Speicher 754 übergreifend gespeichert sein. Die Computervorrichtung 700 kann andere nicht gezeigte Komponenten enthalten, wie z. B. Steuereinheiten, Busse, Eingabe/Ausgabevorrichtungen, Kommunikationsmodule usw.
Ein Gesamtsystem, wie z. B. das System 100, kann aus mehreren Computervorrichtungen 700, die miteinander kommunizieren, bestehen. Beispielsweise kann die Vorrichtung 870a mit den Vorrichtungen 780b, 780c und 780d kommunizieren, und diese können gemeinsam als das System 100 bezeichnet sein. Als ein weiteres Beispiel kann das System 100 von 1 eine oder mehrere Computervorrichtungen 700 enthalten. Einige aus den Computervorrichtungen können sich geografisch nahe beieinander befinden, und andere können sich geografisch entfernt befinden. Das Layout von System 700 ist ein nur ein Beispiel, und das System kann andere Layouts oder Konfigurationen annehmen.
Gemäß speziellen Aspekten der Offenbarung enthält ein Verfahren Bestimmen, dass eine aktuelle Folge von Anwenderaktionen mit einer mobilen Anwendung ähnlich einer früheren Folge von Anwenderaktionen ist, und Berechnen einer Vertrauensbewertung, die die Reproduzierbarkeit der früheren Folge widerspiegelt. Das Verfahren enthält außerdem Initiieren, wenn die Vertrauensbewertung einen Vertrauensschwellenwert erfüllt, der Anzeige einer Aufforderung, die eine Genehmigung zum Vervollständigen der aktuellen Folge von Anwenderaktionen unter Verwendung der früheren Folge und Vervollständigen der früheren Folge in Reaktion auf das Empfangen einer Angabe der Genehmigung für die Vervollständigung anfordert.
Diese und andere Aspekte können eines oder mehrere aus den folgenden Merkmalen enthalten. Beispielsweise kann das Verfahren auch Bestimmen, dass die frühere Folge keine Shortcut-Folge ist, Initiieren der Anzeige einer Aufforderung, die Genehmigung für das Abspeichern der früheren Folge als eine Shortcut-Folge anfordert und Abspeichern der früheren Folge als eine Shortcut-Folge in Reaktion auf das Empfangen einer Angabe der Genehmigung für das Abspeichern enthalten. In einigen Implementierungen kann das Verfahren außerdem Hinzufügen eines Symbols zum Reproduzieren von Aktionen in der Shortcut-Folge zu einem Startbildschirm einer mobilen Vorrichtung enthalten. Als ein weiteres Beispiel kann die Vertrauensbewertung auf dem Verhalten des Anwenders über mehrere Folgen von Aktionen in derselben Anwendung basieren, auf Kontextmerkmalen für die Folge von Aktionen basieren und/oder auf einem kumulierten Verhalten von Anwendern über mehrere Folgen von Anwenderaktionen in derselben Anwendung basieren. Als ein weiteres Beispiel kann das Bestimmen, dass die aktuelle Folge von Aktionen ähnlich der früheren Folge von Aktionen ist, Merkmale der Eingabe, die durch den Anwender bereitgestellt ist, und Merkmale von Inhalt, der durch die Anwendung präsentiert wird, enthalten.
Als ein weiteres Beispiel kann das Verfahren auch Bestimmen, dass eine zweite aktuelle Folge von Anwenderinteraktionen nicht ähnlich irgendeiner früheren Folge von Anwenderinteraktionen ist, Bestimmen, ob die zweite aktuelle Folge vollständig ist, und Abspeichern der zweiten aktuellen Folge als eine zweite frühere Folge, wenn die zweite aktuelle Folge vollständig ist, enthalten. In einigen Implementierungen kann die zweite aktuelle Folge mit einer mittleren Vertrauensbewertung abgespeichert werden. Als ein weiteres Beispiel kann der Vertrauensschwellenwert ein erster Vertrauensschwellenwert sein, und das Verfahren enthält ferner Abspeichern, wenn die Vertrauensbewertung den ersten Vertrauensschwellenwert nicht erfüllt, jedoch einen zweiten Vertrauensschwellenwert erfüllt, der aktuellen Folge als eine abgespeicherte Folge mit einem mittleren Vertrauen.
Gemäß speziellen Aspekten der Offenbarung enthält ein Verfahren Bestimmen, dass eine erste aktuelle Folge von Anwenderinteraktionen einen Ähnlichkeitsschwellenwert mit früheren Folgen von Anwenderaktionen nicht erfüllt, Bestimmen, dass eine erste aktuelle Folge von Aktionen vollständig ist, und Abspeichern der ersten aktuellen Folge als erste frühere Folge. Das Verfahren enthält außerdem Identifizieren einer zweiten aktuellen Folge als den Ähnlichkeitsschwellenwert mit der ersten früheren Folge erfüllend und Initiieren der Anzeige einer Aufforderung, die Genehmigung zum Abspeichern der ersten früheren Folge als einen Shortcut anfordert. Das Verfahren kann mit Zustimmung des Anwenders kontinuierlich im Hintergrund ablaufen. Das Verfahren muss nicht spezifisch durch den Anwender angestoßen werden.
Diese und andere Aspekte können eines oder mehrere aus den folgenden Merkmalen enthalten. Beispielsweise kann das Verfahren Erzeugen einer Vertrauensbewertung zwischen der ersten früheren Folge und der zweiten aktuellen Folge, wobei die Vertrauensbewertung ein Vertrauen für das automatische Reproduzieren der ersten früheren Folge angibt, und Initiieren der Anzeige der Aufforderung, wenn die Vertrauensbewertung einen ersten Vertrauensschwellenwert erfüllt, enthalten. Als ein weiteres Beispiel kann das Verfahren Initiieren der Anzeige einer Aufforderung, die Genehmigung zum Reproduzieren der ersten früheren Folge von Aktionen anfordert, und Reproduzieren der ersten früheren Folge von Aktionen, wenn eine Genehmigung für das Reproduzieren angegeben wird, enthalten. Als ein weiteres Beispiel kann das Verfahren Zuordnen eines Sprachbefehls zu der ersten früheren Folge von Aktionen, wenn eine Genehmigung für das Abspeichern empfangen wird, enthalten. Als ein weiteres Beispiel kann das Verfahren Zuordnen eines auswählbaren Symbols zu der ersten früheren Folge von Aktionen, wenn eine Genehmigung für das Abspeichern empfangen wird, enthalten. Als ein weiteres Beispiel kann das Bestimmen, dass eine erste aktuelle Folge von Anwenderinteraktionen vollständig ist, Bestimmen, dass eine aktuelle Aktion in der aktuellen Folge von Aktionen Eingabe enthält, die nicht Gegenstand der Automatisierung ist, und/oder Bestimmen, dass der Anwender eine mobile Anwendung verlassen hat, enthalten.
Gemäß speziellen Aspekten der Offenbarung enthält ein System wenigstens einen Prozessor und einen Speicher, der Anweisungen speichert, die dann, wenn sie durch den wenigstens einen Prozessor ausgeführt werden, bewirken, dass das System eine Anwenderschnittstelle erzeugt. Die Anwenderschnittstelle ist konfiguriert, das Aufzeichnen einer Shortcut-Folge von Aktionen zu initiieren, wobei jede Aktion in der Folge eine Beschreibung auf hoher Ebene einer Anwenderinteraktion mit einer Anwenderschnittstelle ist. Die Anwenderschnittstelle kann außerdem konfiguriert sein, eine Angabe zu empfangen, dass Kontendaten in einer Folge von Aktionen in die Aktionen mit aufgenommen werden sollen. Die Anwenderschnittstelle kann außerdem konfiguriert sein, eine Angabe zu empfangen, dass das gemeinsame Verwenden früherer Folgen von Aktionen erlaubt ist. Die Anwenderschnittstelle kann außerdem konfiguriert sein, früher gespeicherte Folgen von Aktionen zu löschen. Die Anwenderschnittstelle kann außerdem konfiguriert sein, die Shortcut-Folge von Aktionen umzubenennen. Die Anwenderschnittstelle kann außerdem konfiguriert sein, Anwendungen auszuwählen, in denen das System eine Folge von Aktionen aufnimmt. Die Anwenderschnittstelle kann außerdem konfiguriert sein, eine Angabe zu empfangen, dass eine frühere Folge von Aktionen gemeinsam verwendet werden kann.
Gemäß speziellen Aspekten der Offenbarung enthält ein System wenigstens einen Prozessor und einen Speicher, der Anweisungen speichert, die dann, wenn sie durch den wenigstens einen Prozessor ausgeführt werden, bewirken, dass das System eines der hier offenbarten Verfahren ausführt.
Verschiedene Implementierungen können Implementierungen in einem oder mehreren Computerprogrammen enthalten, die auf einem programmierbaren System ausführbar und/oder interpretierbar sind, das wenigstens einen programmierbaren Prozessor, der ein Spezial- oder Allzweck-Prozessor sein kann, der gekoppelt ist, um Daten und Anweisungen von einem Speichersystem zu empfangen oder zu ihm zu übertragen, wenigstens eine Eingabevorrichtung und wenigstens eine Ausgabevorrichtung enthält.
Diese Computerprogramme (auch als Programme, Software, Softwareanwendung oder Code bezeichnet) enthalten Maschinenanweisungen für einen programmierbaren Prozessor, der in einem Substrat gebildet ist, und können in einer prozeduralen und/oder objektorientierten Programmierhochsprache und/oder ein Assembler-/Maschinensprache implementiert sein. Wie sie hier verwendet sind, beziehen sich die Begriffe "maschinenlesbares Medium", "computerlesbares Medium" auf irgendein nicht transitorisches Computerprogrammprodukt, eine Einrichtung und/oder Vorrichtung (z. B. Magnetplatten, optische Platten, Speicher (einschließlich Lesezugriffsspeicher), programmierbare Logikvorrichtungen (PLDs)), die verwendet werden, um Maschinenanweisungen und/oder Daten für einen programmierbaren Prozessor bereitzustellen.
Die Systeme und Techniken, die hier beschrieben sind, können in einem Computersystem implementiert sein, das eine Backend-Komponente (z. B. als einen Daten-Server) enthält oder das eine Middleware-Komponente (z. B. einen Anwendungsserver) enthält, oder der eine Frontend-Komponente (z. B. einen Client-Computer, der eine grafische Anwenderschnittstelle oder einen Web-Browser aufweist, durch den ein Anwender mit einer Implementierung der hier beschriebenen Systeme und Techniken interagieren kann) oder irgendeine Kombination solcher Backend-, Middleware- oder Frontend-Komponenten enthält. Die Komponenten des Systems können durch irgendeine Form oder irgendein Medium zur digitalen Datenkommunikation (z. B. ein Kommunikationsnetz) miteinander verbunden sein. Beispiele für Kommunikationsnetze enthalten ein lokales Netz ("LAN"), ein Weitbereichsnetz ("WAN") und das Internet.
Das Computersystem kann Clients und Server enthalten. Ein Client und ein Server sind im Allgemeinen voneinander entfernt und interagieren typischerweise über ein Kommunikationsnetz. Die Beziehung von Client und Server entsteht aufgrund der Computerprogramme, die auf den jeweiligen Computern laufen und eine Client-Server-Beziehung miteinander aufweisen.
Es sind zahlreiche Implementierungen beschrieben worden. Dennoch können verschiedene Modifikationen vorgenommen werden, ohne vom Erfindungsgedanken und vom Schutzbereich der Erfindung abzuweichen. Zusätzlich erfordern die in den begleitenden Figuren abgebildeten logischen Abläufe nicht die spezielle gezeigte Reihenfolge oder sequenzielle Reihenfolge, um wünschenswerte Ergebnisse zu erreichen. Zusätzlich können andere Schritte bereitgestellt werden, oder es können Schritte aus den beschriebenen Abläufen eliminiert werden, und andere Komponenten können zu den beschriebenen Systemen hinzugefügt oder aus ihnen entfernt werden. Dementsprechend sind andere Implementierungen innerhalb des Schutzbereichs der folgenden Ansprüche.

Claims

Computerlesbares Speichermedium, das mit Anweisungen codiert ist, die dann, wenn sie durch wenigstens einen Prozessor einer Computervorrichtung ausgeführt werden, bewirken, dass der wenigstens eine Prozessor Operationen ausführt, die Folgendes umfassen: Bestimmen, dass eine aktuelle Folge von Anwenderaktionen mit einer mobilen Anwendung ähnlich einer früheren Folge von Anwenderaktionen ist; Berechnen einer Vertrauensbewertung, die eine Reproduzierbarkeit der früheren Folge widerspiegelt; Initiieren, wenn die Vertrauensbewertung einen Vertrauensschwellenwert erfüllt, der Anzeige einer Aufforderung, die Genehmigung zum Vervollständigen der aktuellen Folge von Anwenderaktionen unter Verwendung der früheren Folge anfordert; und Vervollständigen der früheren Folge in Reaktion auf das Empfangen der Angabe der Genehmigung der Vervollständigung.
Computerlesbares Speichermedium nach Anspruch 1, wobei die Operationen ferner Folgendes umfassen: Bestimmen, dass die frühere Folge keine Shortcut-Folge ist; Initiieren der Anzeige einer Aufforderung, die Genehmigung zum Abspeichern der früheren Folge als eine Shortcut-Folge anfordert; und Abspeichern der früheren Folge als eine Shortcut-Folge in Reaktion auf das Empfangen einer Angabe der Genehmigung zum Abspeichern.
Computerlesbares Speichermedium nach Anspruch 2, wobei die Operationen ferner Folgendes umfassen: Hinzufügen eines Symbols zum Reproduzieren von Aktionen in der Shortcut-Folge zu einem Startbildschirm einer mobilen Vorrichtung.
Computerlesbares Speichermedium nach einem der vorhergehenden Ansprüche, wobei die Vertrauensbewertung auf dem Verhalten des Anwenders über mehrere Folgen von Aktionen in derselben Anwendung basiert.
Computerlesbares Speichermedium nach einem der vorhergehenden Ansprüche, wobei die Vertrauensbewertung auf Kontextmerkmalen für die Folge von Aktionen basiert.
Computerlesbares Speichermedium nach einem der vorhergehenden Ansprüche, wobei die Vertrauensbewertung auf einem kumulierten Verhalten von Anwendern über mehrere Folgen von Anwenderaktionen in derselben Anwendung basiert.
Computerlesbares Speichermedium nach einem der vorhergehenden Ansprüche, wobei das Bestimmen, dass die aktuelle Folge von Aktionen ähnlich der früheren Folge von Aktionen ist, Merkmale der Eingabe, die durch den Anwender bereitgestellt wird, und Merkmale von Inhalt, der durch die Anwendung präsentiert wird, enthält.
Computerlesbares Speichermedium nach einem der vorhergehenden Ansprüche, wobei die Operationen ferner Folgendes umfassen: Bestimmen, dass eine zweite aktuelle Folge von Anwenderinteraktionen keiner früheren Folge von Anwenderinteraktionen ähnlich ist; Bestimmen, ob die zweite aktuelle Folge vollständig ist; und Abspeichern der zweiten aktuellen Folge als eine zweite frühere Folge, wenn die zweite aktuelle Folge vollständig ist.
Computerlesbares Speichermedium nach Anspruch 8, wobei die zweite aktuelle Folge mit einer mittleren Vertrauensbewertung abgespeichert wird.
Computerlesbares Speichermedium nach einem der vorhergehenden Ansprüche, wobei der Vertrauensschwellenwert ein erster Vertrauensschwellenwert ist und die Operationen ferner Folgendes umfassen: Abspeichern, wenn die Vertrauensbewertung den ersten Vertrauensschwellenwert nicht erfüllt, jedoch einen zweiten Vertrauensschwellenwert erfüllt, der aktuellen Folge als eine abgespeicherte Folge mit einem mittleren Vertrauen.
Computerlesbares Speichermedium, das Folgendes umfasst: Bestimmen, dass eine erste aktuelle Folge von Anwenderinteraktionen einen Ähnlichkeitsschwellenwert mit früheren Folgen von Anwenderinteraktionen nicht erfüllt; Bestimmen, dass eine erste aktuelle Folge von Aktionen vollständig ist; Abspeichern der ersten aktuellen Folge als eine erste frühere Folge; Identifizieren einer zweiten aktuellen Folge als den Ähnlichkeitsschwellenwert mit der ersten früheren Folge erfüllend; und Initiieren der Anzeige einer Aufforderung, die Genehmigung zum Abspeichern der ersten früheren Folge als einen Shortcut anfordert.
Computerlesbares Speichermedium nach Anspruch 11, wobei die Operationen ferner Folgendes umfassen: Erzeugen einer Vertrauensbewertung zwischen der ersten früheren Folge und der zweiten aktuellen Folge, wobei die Vertrauensbewertung ein Vertrauen in das automatische Reproduzieren der ersten früheren Folge angibt; und Initiieren der Anzeige der Aufforderung, wenn die Vertrauensbewertung einen ersten Vertrauensschwellenwert erfüllt.
Computerlesbares Speichermedium nach Anspruch 11 oder 12, wobei die Operationen ferner Folgendes umfassen: Initiieren der Anzeige einer Aufforderung, die Genehmigung zum Reproduzieren der ersten früheren Folge von Aktionen anfordert; und Reproduzieren der ersten früheren Folge von Aktionen in Reaktion auf das Empfangen der Genehmigung, die erste frühere Folge von Aktionen zu reproduzieren.
Computerlesbares Speichermedium nach einem der Ansprüche 11 bis 13, wobei die Operationen ferner Folgendes umfassen: Zuordnen eines Sprachbefehls zu der ersten früheren Folge von Aktionen, wenn die Genehmigung zum Abspeichern empfangen wird.
Computerlesbares Speichermedium nach einem der Ansprüche 11 bis 14, wobei die Operationen ferner Folgendes umfassen: Zuordnen eines auswählbaren Symbols zu der ersten früheren Folge von Aktionen, wenn die Genehmigung zum Abspeichern empfangen wird.
Computerlesbares Speichermedium nach einem der Ansprüche 11 bis 15, wobei das Bestimmen, dass eine erste aktuelle Folge von Anwenderinteraktionen vollständig ist, enthält: Bestimmen, dass eine aktuelle Aktion in der aktuellen Folge von Aktionen eine Eingabe enthält, die nicht Gegenstand der Automatisierung ist.
Computerlesbares Speichermedium nach einem der Ansprüche 11 bis 16, wobei das Bestimmen, dass eine erste aktuelle Folge von Anwenderinteraktionen vollständig ist, enthält: Bestimmen, dass der Anwender die mobile Anwendung verlassen hat.
System, das Folgendes umfasst: wenigstens einen Prozessor; und einen Speicher, der Anweisungen speichert, die dann, wenn sie durch den wenigstens einen Prozessor ausgeführt werden, bewirken, dass das System eine Anwenderschnittstelle erzeugt, die konfiguriert ist: das Aufzeichnen einer Shortcut-Folge von Aktionen zu initiieren, wobei jede Aktion in der Folge eine Beschreibung auf hoher Ebene einer Anwenderinteraktion mit einer Anwenderschnittstelle ist; eine Angabe zu empfangen, dass Kontendaten in einer Folge von Aktionen in die Aktionen aufgenommen werden sollen; und eine Angabe zu empfangen, dass gemeinsames Verwenden früherer Folgen von Aktionen erlaubt ist.
System nach Anspruch 18, wobei die Anwenderschnittstelle ferner konfiguriert ist: früher abgespeicherte Folgen von Aktionen zu löschen.
System nach Anspruch 18 oder 19, wobei die Anwenderschnittstelle ferner konfiguriert ist: die Shortcut-Folge von Aktionen umzubenennen.
System nach einem der Ansprüche 18 bis 20, wobei die Anwenderschnittstelle ferner konfiguriert ist: Anwendungen auszuwählen, in denen das System eine Folge von Aktionen aufnimmt.
System nach einem der Ansprüche 18 bis 21, wobei die Anwenderschnittstelle ferner konfiguriert ist: eine Angabe zu empfangen, dass eine frühere Folge von Aktionen gemeinsam verwendet werden kann.
System, das Folgendes umfasst: wenigstens einen Prozessor; und einen Speicher, der Anweisungen, wie sie auf dem computerlesbaren Medium nach einem der Ansprüche 1 bis 17 codiert sind, speichert.