DE202017104110U1 - Bildsuchanfragevorhersagen durch eine Tastatur - Google Patents

Bildsuchanfragevorhersagen durch eine Tastatur Download PDF

Info

Publication number
DE202017104110U1
DE202017104110U1 DE202017104110.7U DE202017104110U DE202017104110U1 DE 202017104110 U1 DE202017104110 U1 DE 202017104110U1 DE 202017104110 U DE202017104110 U DE 202017104110U DE 202017104110 U1 DE202017104110 U1 DE 202017104110U1
Authority
DE
Germany
Prior art keywords
image
keyboard
computing device
search
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE202017104110.7U
Other languages
English (en)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of DE202017104110U1 publication Critical patent/DE202017104110U1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G06F16/3323—Query formulation using system suggestions using document space presentation or visualization, e.g. category, hierarchy or range presentation and selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Abstract

Computerlesbares Medium, das Befehle enthält, die, wenn sie von mindestens einem Prozessor einer Rechenvorrichtung ausgeführt werden, eine Tastaturanwendung zu Folgendem veranlassen: Ausgeben einer grafischen Tastatur, die mehrere Tasten enthält, zur Anzeige; Bestimmen eines Textes einer elektronischen Kommunikation basierend auf einer Angabe einer Auswahl einer oder mehrerer Tasten aus den mehreren Tasten; Erzeugen einer bildbasierten Suchanfrage zumindest teilweise basierend auf dem Text; und Ausgeben einer grafischen Angabe, um anzugeben, dass die Tastaturanwendung die bildbasierte Suchanfrage erzeugt hat, zur Anzeige innerhalb der grafischen Tastatur.

Description

  • Hintergrund
  • Obwohl sie dazu in der Lage sind, mehrere Anwendungen gleichzeitig auszuführen, können manche Rechenvorrichtungen zu einem bestimmten Zeitpunkt nur eine grafische Anwenderschnittstelle (GUI) einer einzelnen Anwendung darstellen. Um mit mehreren Anwendungen auf einmal zu interagieren, muss ein Anwender einer mobilen Rechenvorrichtung vielleicht eine Eingabe vornehmen, um zwischen verschiedenen Anwendungs-GUIs zu wechseln, um eine bestimmte Aufgabe zu erledigen. Zum Beispiel kann es sein, dass ein Anwender einer mobilen Rechenvorrichtung ein Eingeben eines Textes in einer Nachrichtenanwendung beenden muss, eine Eingabe vornehmen muss, um die Vorrichtung dazu zu bringen, auf eine Suchanwendung umzuschalten, und noch eine zusätzliche Eingabe bei einer GUI der Suchanwendung vornehmen muss, um nach einer bestimmten Information zu suchen, die der Anwender vielleicht zum Vollenden des Erstellens einer Nachricht oder zur anderweitigen Eingabe von Text in der Nachrichtenanwendung haben möchte. Es kann lästig, monoton und zeitaufwendig sein, die mehreren Eingaben vorzunehmen, die von manchen Rechenvorrichtungen benötigt werden, um verschiedene Aufgaben durchzuführen.
  • Geschützt und Gegenstand des Gebrauchsmusters sind gemäß den Anforderungen des Gebrauchsmustergesetzes nur Vorrichtungen wie sie in den angehängten Ansprüchen definiert sind, jedoch keine Verfahren. In einem Fall, in dem in der Beschreibung Bezug auf Verfahren genommen wird, dient diese Bezugnahme nur zum Veranschaulichen der Vorrichtung oder Vorrichtungen, deren Schutz in den angehängten Ansprüchen beansprucht wird.
  • Zusammenfassung
  • In einem Beispiel umfasst ein Verfahren: Ausgeben einer grafischen Tastatur, die mehrere Tasten umfasst, zur Anzeige durch eine Tastaturanwendung, die an einer Rechenvorrichtung ausgeführt wird, und Bestimmen von Text einer elektronischen Kommunikation basierend auf einer Angabe einer Auswahl einer oder mehrerer Tasten aus den mehreren Tasten durch die Tastaturanwendung. Das Verfahren umfasst ferner: Erzeugen einer bildbasierten Suchanfrage durch die Tastaturanwendung mindestens teilweise basierend auf dem Text und Ausgeben einer grafischen Angabe, um anzugeben, dass die Rechenvorrichtung die bildbasierte Suchanfrage erzeugt hat, durch die Tastaturanwendung zur Anzeige innerhalb der grafischen Tastatur.
  • In einem weiteren Beispiel umfasst eine mobile Vorrichtung eine präsenzempfindliche Anzeigekomponente, mindestens einen Prozessor und einen Speicher, der Befehle, die einer Tastaturanwendung zugeordnet sind, speichert. Die Befehle veranlassen den mindestens einen Prozessor dann, wenn sie ausgeführt werden, zu Folgendem: Ausgeben einer grafischen Tastatur, die mehrere Tasten umfasst, zur Anzeige auf der präsenzempfindlichen Anzeigekomponente, Bestimmen von Text einer elektronischen Kommunikation basierend auf einer Angabe einer Auswahl einer oder mehrerer Tasten aus den mehreren Tasten, die an der präsenzempfindlichen Anzeigekomponente detektiert werden, und Identifizieren einer Auslöserphrase zumindest teilweise basierend auf dem Text. Die Befehle veranlassen dann, wenn sie ausgeführt werden, den mindestens einen Prozessor zu Folgendem: Erzeugen einer bildbasierten Suchanfrage basierend auf der Auslöserphrase und Ausgeben einer grafischen Angaben, um anzugeben, dass die Rechenvorrichtung die bildbasierte Suchanfrage erzeugt hat, zur Anzeige auf der präsenzempfindlichen Anzeigekomponente und innerhalb der grafischen Tastatur.
  • In einem weiteren Beispiel ist ein Verfahren beschrieben, das Folgendes umfasst: Aufrufen einer Tastaturanwendung, die dazu ausgelegt ist, eine grafische Tastatur mit mehreren Tasten bereitzustellen, durch eine erste Anwendung, die in einer Rechenvorrichtung ausgeführt wird, um eine Texteingabe zu empfangen, Bestimmen der Texteingabe durch die Tastaturanwendung basierend auf einer Angabe einer Auswahl einer oder mehrerer Tasten aus den mehreren Tasten; und Erzeugen einer bildbasierten Suchanfrage durch die Tastaturanwendung mindestens teilweise basierend auf der Texteingabe. Das Verfahren umfasst ferner Folgendes: Ausgeben einer grafischen Angabe, um anzugeben, dass die Tastaturanwendung die bildbasierte Suchanfrage erzeugt hat, durch die Tastaturanwendung zur Anzeige innerhalb der grafischen Tastatur und, als Antwort auf ein Empfangen einer Angabe einer Auswahl der bildbasierten Suchanfrage durch die Tastaturanwendung, Initiieren einer Bildsuche basierend auf der bildbasierten Suchanfrage durch die Tastaturanwendung in einer Suchanwendung.
  • Die Einzelheiten eines oder mehrerer Beispiele sind in den begleitenden Zeichnungen und der nachstehenden Beschreibung dargelegt. Andere Merkmale, Aufgaben und Vorteile der Offenbarung sind aus der Beschreibung und den Zeichnungen sowie aus den Ansprüchen ersichtlich.
  • Kurzbeschreibung der Zeichnungen
  • 1 ist eine konzeptionelle Darstellung, die ein Beispiel einer Rechenvorrichtung, die dazu ausgelegt ist, eine grafische Tastatur mit integrierten bildbasierten Suchfunktionen zu zeigen, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellt.
  • 2 ist ein Blockdiagramm, das ein Beispiel einer Rechenvorrichtung, die dazu ausgelegt ist, eine grafische Tastatur mit integrierten bildbasierten Suchmerkmalen darzustellen, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung zeigt.
  • 3 ist ein Blockdiagramm, das ein Beispiel einer Rechenvorrichtung, die grafischen Inhalt zur Anzeige in einer entfernten Vorrichtung ausgibt, gemäß einer oder mehreren Techniken der vorliegenden Offenbarung zeigt.
  • 4A–4F sind konzeptionelle Ansichten, die beispielhafte grafische Anwenderschnittstellen einer beispielhaften Rechenvorrichtung, die dazu ausgelegt ist, eine grafische Tastatur mit integrierten bildbasierten Suchmerkmalen darzustellen, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung zeigen.
  • 5 ist ein Ablaufdiagramm, das Beispieloperationen einer Rechenvorrichtung, die dazu ausgelegt ist, eine grafische Tastatur mit integrierten bildbasierten Suchmerkmalen darzustellen, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung zeigt.
  • 6 ist ein Ablaufdiagramm, das Beispieloperationen einer Rechenvorrichtung, die dazu ausgelegt ist, eine grafische Tastatur mit integrierten bildbasierten Suchmerkmalen darzustellen, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung zeigt.
  • Genaue Beschreibung
  • Im Allgemeinen ist diese Offenbarung auf Techniken ausgerichtet, die es einer Rechenvorrichtung ermöglichen, bildbasierte Suchanfragen basierend auf Text, der mit einer grafischen Tastatur eingeben wird, automatisch vorherzusagen und die vorhergesagten bildbasierten Suchanfragen in der grafischen Tastatur anzuzeigen. In verschiedenen Beispielen können die Techniken es der Rechenvorrichtung auch ermöglichen, eine bildbasierte Suche (d. h. eine Suche nach einem Bild) basierend auf den gezeigten bildbasierten Suchanfragen auszuführen, um direkt aus der grafischen Tastatur grafische Angaben von Bildern als Suchergebnisse aus der bildbasierten Suche zu erhalten, die für den unter Verwendung der grafischen Tastatur eingegebenen Text relevant sein können. Zum Beispiel kann ein Anwender mit einer grafischen Tastatur interagieren, die durch eine Tastaturanwendung auf einem präsenzempfindlichen Bildschirm (z. B. einem Berührungsbildschirm) dargestellt wird. Die Interaktion kann im Zusammenhang mit einer Kommunikationsanwendung oder dergleichen, die sich von der Suchanwendung unterscheidet, zum Beispiel als Teil einer grafischen Anwenderschnittstelle (GUI) einer Nachrichten- oder Texteingabeanwendung stattfinden. Wenn die Rechenvorrichtung eine Eingabe, die der grafischen Tastatur zugeordnet ist (wenn z. B. der Anwender eine Nachricht eintippt), detektiert, kann die grafische Tastaturanwendung Worte aus der Eingabe bestimmen und suchbare Entitäten, Begriffe oder Auslöserphrasen basierend auf den Worten identifizieren.
  • Die Tastaturanwendung kann automatisch eine vorgeschlagene bildbasierte Suchanfrage zum Erhalten von Bildern, Videos, Animationen, Grafiken oder anderen Typen von grafischem Inhalt, der sich auf den Inhalt oder die Worte aus der Eingabe bezieht, erzeugen und anzeigen. Wenn der Anwender daran interessiert ist, eine bildbasierte Suche basierend auf der angezeigten bildbasierten Suchanfrage durchzuführen, kann der Anwender die vorgeschlagene bildbasierte Suche auswählen und dadurch die Tastaturanwendung dazu veranlassen, die bildbasierte Suche zu beginnen (die wahlweise an Inhalt, der auf der Rechenvorrichtung gespeichert ist, und/oder durch eine Suchmaschine an Inhalt, der entfernt von der Rechenvorrichtung gespeichert ist, durchgeführt werden kann). In manchen Beispielen kann die Rechenvorrichtung die bildbasierten Suchergebnisse als Teil von oder anstelle von einem Abschnitt der Tastatur (z. B. anstelle der grafischen Tasten) innerhalb der oder durch die Tastaturanwendung darstellen.
  • Durch Bereitstellen einer GUI, die eine grafische Tastatur mit integrierter bildbasierter Suchanfragevorhersage umfasst, kann eine beispielhafte Rechenvorrichtung eine Möglichkeit für einen Anwender bieten, schnell bildbasierte Suchergebnisse erhalten, die relevant für die Eingabe sind, die der Anwender schon in der grafischen Tastatur geleistet hat, und zwar ohne zwischen mehreren verschiedenen Anwendungen und Anwendungs-GUIs hin- und herschalten, ohne den schon eingegebenen Text erneut auf der grafischen Tastatur eintippen und ohne sich eine relevante bildbasierte Suchanfrage selbstständig ausdenken zu müssen. Auf diese Weise können Techniken dieser Offenbarung die Zeitspanne und die Anzahl von Anwendereingaben, die für das Erhalten der bildbasieren Suchergebnisse nötig sind, verringern, was das Anwendererlebnis vereinfachen kann und den Energieverbrauch der Rechenvorrichtung verringern kann.
  • Die Begriffe "bildbasierte Suche" oder "Bildsuche" beziehen sich, wie sie hierin verwendet werden, auf ein Suchen nach sowohl "statischem" grafischen Inhalt oder Bildern als auch nach "dynamischem" grafischen Inhalt oder Bildern (z. B. mehreren zeitlich beabstandeten Grafiken, Bildern oder anderem grafischen Inhalt), sowie nach Animationen oder animierten Bildern und Videos. Obwohl oft unter Bezugnahme auf Bilder, die nach dem "gif"-Datenformat komprimiert sind, beschrieben wird, ist gif nur ein beispielhaftes Datenformat, das innerhalb des Umfangs dieser Offenbarung liegt. Andere beispielhafte Datenformate umfassen Stickers, png, apng, jped, Flash® und Diskret-Vektor, und andere Bildtypen und Dateiformate werden ebenso in Betracht gezogen und liegen innerhalb des Geltungsbereichs dieser Offenbarung.
  • Durch die Offenbarung hindurch werden Beispiele beschrieben, in denen eine Anwendung, eine Rechenvorrichtung und/oder ein Rechensystem Informationen (z. B. Text, der in eine grafische Tastatur eingegeben wird, Kontext, Orte, Geschwindigkeiten, Suchanfragen etc.), die einer Rechenvorrichtung und einem Anwender einer Rechenvorrichtung zugeordnet sind, nur analysiert, wenn der Anwender der Rechenvorrichtung Erlaubnis zum Analysieren der Informationen gibt. Zum Beispiel kann in den unten erörterten Situationen dem Anwender, bevor eine Anwendung, Rechenvorrichtung oder Rechensystem die einem Anwender zugeordneten Informationen sammelt oder davon Gebrauch macht, eine Möglichkeit gegeben werden, eine Eingabe vorzunehmen, um zu steuern, welche Anwendung, welche Rechenvorrichtung und/oder welches Rechensystem Informationen (z. B. Informationen über Text, der in eine grafische Tastatur eingegeben wird etc.) sammeln kann oder davon Gebrauch machen kann, oder um vorzuschreiben, ob und/oder wie die Anwendung, die Vorrichtung und/oder das System Inhalt, der für den Anwender relevant sein kann, empfangen kann. Zusätzlich können bestimmte Daten auf eine oder mehrere Weisen behandelt werden, bevor sie gespeichert oder durch die Anwendung, die Rechenvorrichtung und/oder das Rechensystem verwendet werden, so dass persönliche, identifizierbare Informationen entfernt werden. Zum Beispiel kann eine Anwenderidentität so behandelt werden, dass keine persönlichen, identifizierbaren Informationen über den Anwender bestimmt werden können, oder der geografische Standort eines Anwenders kann verallgemeinert werden kann, wobei Ortsinformationen (wie beispielsweise eine Stadt, eine Postleitzahl oder Bundeland) erhalten werden, mit denen ein spezifischer Standort eines Anwenders nicht bestimmt werden kann. Somit kann der Anwender Kontrolle darüber erhalten, wie Informationen über den Anwender gesammelt werden und durch die Rechenvorrichtung und das Rechensystem verwendet werden.
  • 1 ist eine konzeptionelle Darstellung, die ein Beispiel einer Rechenvorrichtung 110, die dazu ausgelegt ist, eine grafische Tastatur mit integrierten bildbasierten Suchmerkmalen darzustellen, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung zeigt. Die Rechenvorrichtung 110 kann eine Mobilvorrichtung wie beispielsweise ein Smartphone, ein Tablet, einen Laptop, eine Smartwatch, eine Datenbrille, digitale Handschuhe oder jeden anderen Typ einer tragbaren Rechenvorrichtung repräsentieren. Zusätzliche Beispiele der Rechenvorrichtung 110 umfassen Desktopcomputer, Fernseher, persönliche digitale Assistenten (PDA), tragbare Spielsysteme, Medienabspieler, E-Book-Lesegeräte, mobile Fernsehplattformen, Automobil-Navigations- und Unterhaltungssysteme, Fahrzeugcockpitanzeigen (z. B. in Auto, Flugzeug oder anderen Fahrzeugen) oder jeden anderen Typ tragbarer und nicht tragbarer, mobiler und nicht mobiler Rechenvorrichtungen, die eine grafische Tastatur zur Anzeige ausgeben können.
  • Die Rechenvorrichtung 110 umfasst eine präsenzempfindliche Anzeige (PSD) 112, ein Anwenderschnittstellenmodul (UI-Modul) 120 und ein Tastaturmodul 122. Die Module 120 und 122 können beschriebene Operationen unter Verwendung von Software, Hardware, Firmware oder einer Mischung aus Hardware, Software und Firmware, die sich in der Rechenvorrichtung 110 befindet und/oder in ihr ausgeführt wird, durchführen. Ein oder mehrere Prozessoren der Rechenvorrichtung 110 können Befehle ausführen, die in einem Speicher oder anderem nichtflüchtigen Speichermedium der Rechenvorrichtung 110 gespeichert sind, um die Operationen der Module 120 und 122 durchzuführen. Die Rechenvorrichtung 110 kann die Module 120 und 122 als virtuelle Maschinen, die darunterliegende Hardware ausführen, ausgeführt werden. Die Module 120 und 122 können als ein oder mehrere Dienste eines Betriebssystems oder einer Rechenplattform ausgeführt werden. Die Module 120 und 122 können als ein oder mehrere Programme in einer Anwendungsschicht einer Rechenplattform ausgeführt werden.
  • Die PSD 112 der Rechenvorrichtung 110 kann als jeweilige Eingabe- und/oder Ausgabevorrichtung für die Rechenvorrichtung 110 fungieren. Die PSD 112 kann unter Verwendung verschiedener Technologien implementiert sein. Zum Beispiel kann die PSD 112 als Eingabevorrichtung fungieren, die präsenzempfindliche Eingabebildschirme wie beispielsweise resistive Berührungsbildschirme, Berührungsbildschirme unter Verwendung akustischer Oberflächenwellen, projektivkapazitive Berührungsbildschirme, druckempfindliche Berührungsbildschirme, Berührungsbildschirme mit Akustikpulserkennung oder andere präsenzempfindliche Anzeigetechnologien verwendet. Die PSD 112 kann ebenso als Ausgabevorrichtung (z. B. Anzeige) fungieren, die eine beliebige oder mehrere Anzeigevorrichtungen wie beispielsweise Flüssigkristallanzeigen (LCD), Punktmatrixanzeigen, Leuchtdiodenanzeigen (LED), organische Leuchtdiodenanzeigen (OLED), E-Papier oder ähnliche monochrome oder farbige Anzeigen, die dazu fähig sind, einem Anwender der Rechenvorrichtung 110 sichtbare Informationen auszugeben, verwendet.
  • Die PSD 112 kann eine Eingabe (z. B. Berührungs- und Nichtberührungs-Eingabe) von einem Anwender einer jeweiligen Rechenvorrichtung 110 detektieren. Die PSD 112 kann Angaben einer Eingabe detektieren, indem sie eine oder mehrere Gesten eines Anwenders detektiert (wenn der Anwender z. B. bei oder nahe bei einer oder mehreren Stellen der PSD 112 mit einem Finger oder einem Eingabestift eine Berührung vornimmt, zeigt und/oder wischt). Die PSD 112 kann Informationen an einen Anwender in der Form einer Anwenderschnittstelle (z. B. Anwenderschnittstelle 114), die mit Funktionalitäten verbunden sein kann, die die Rechenvorrichtung 110 bereitstellt, ausgeben. Solche Anwenderschnittstellen können mit Rechenplattformen, Betriebssystemen, Anwendungen und/oder Dienstleistungen, die in der Rechenvorrichtung 110 ausgeführt werden oder von der Rechenvorrichtung aus zugänglich sind, (z. B. Anwendungen für elektronische Nachrichten, Chatanwendungen, Internetbrowseranwendungen, Mobil- oder Desktopbetriebssystemen, Anwendungen der sozialen Medien, elektronischen Spielen und anderen Typen von Anwendungen) verknüpft sein. Zum Beispiel kann die PSD 112 die Anwenderschnittstelle 114 darstellen, die wie in 1 gezeigt eine grafische Anwenderschnittstelle einer Chatanwendung ist, die in der Rechenvorrichtung 110 ausgeführt wird, und verschiedene grafische Elemente umfasst, die an verschiedenen Stellen der PSD 112 angezeigt werden.
  • Wie in 1 gezeigt ist die Anwenderschnittstelle 114 eine Chat-Anwenderschnittstelle. Die Anwenderschnittstelle 114 kann jedoch eine beliebige grafische Anwenderschnittstelle sein, die eine grafische Tastatur mit integrierten Suchfunktionen umfasst. Die Anwenderschnittstelle 114 umfasst einen Ausgabebereich 116A, eine grafische Tastatur 116B und einen Bearbeitungsbereich 116C. Ein Anwender der Rechenvorrichtung 110 kann eine Eingabe in eine grafische Tastatur 116B vornehmen, um Textzeichen innerhalb des Bearbeitungsbereichs 116C zu produzieren, die den Inhalt der elektronischen Nachrichten, die innerhalb des Ausgebereichs 116A angezeigt werden, bilden. Die Nachrichten, die innerhalb des Ausgabebereichs 116A angezeigt werden, bilden eine Chatgespräch zwischen einem Anwender der Rechenvorrichtung 110 und einem Anwender einer anderen Rechenvorrichtung.
  • Das UI-Modul 120 verwaltet Anwenderinteraktionen mit der PSD 112 und anderen Komponenten der Rechenvorrichtung 110. Mit anderen Worten kann das UI-Modul 120 als ein Vermittler zwischen verschiedenen Komponenten der Rechenvorrichtung 110 fungieren, um Bestimmungen basierend auf durch die PSD 112 detektierten Anwendereingaben vorzunehmen und um Ausgaben auf der PSD 112 als Antwort auf die Anwendereingaben zu erzeugen. Das UI-Modul 120 kann Befehle aus einer Anwendung, einem Dienst, einer Plattform oder anderen Modulen der Rechenvorrichtung 110 empfangen, um die PSD 112 dazu zu veranlassen, eine Anwenderschnittstelle (z. B. Anwenderschnittstelle 114) auszugeben. Das UI-Modul 120 kann Eingaben verwalten, die durch die Rechenvorrichtung 110 empfangen werden, wenn ein Anwender die Anwenderstelle, die in der PSD 112 gezeigt wird, betrachtet und damit interagiert, und kann die Anwenderschnittstelle als Antwort auf ein Empfangen zusätzlicher Befehle von der Anwendung, dem Dienst, der Plattform oder dem anderen Modul der Rechenvorrichtung 110, das die Anwendereingaben verarbeitet, aktualisieren.
  • Das Tastaturmodul 122 repräsentiert eine Anwendung, einen Dienst oder eine Komponente, die in der Rechenvorrichtung 110 ausgeführt wird oder für sie zugänglich ist und die die Rechenvorrichtung 110 mit einer grafischen Tastatur mit integrierten bildbasierten Suchfunktionen einschließlich bildbasierter Suchanfragevorhersage und -ausführung versieht. Das Tastaturmodul 122 kann zwischen einem Betrieb in einem Texteingabemodus, in dem das Tastaturmodul 122 ähnlich einer herkömmlichen Tastatur funktioniert, oder einem Suchmodus, in dem das Tastaturmodul 122 verschiedene integrierte Suchfunktionen, bildbasierte Suchfunktionen durchführt oder mit einer oder mehreren such- und bildbasierten Suchanwendungen oder Funktionalitäten interagiert, wechseln.
  • In manchen Beispielen kann das Tastaturmodul 122 eine eigenständige Anwendung, Dienst oder Modul sein, das in der Rechenvorrichtung 110 ausgeführt wird, und in anderen Beispielen kann das Tastaturmodul 122 eine Unterkomponente sein, die als Dienst für andere Anwendungen oder Vorrichtungsfunktionen fungiert. Zum Beispiel kann das Tastaturmodul 122 in eine Chat- oder Nachrichtenanwendung integriert sein, die in der Rechenvorrichtung 110 ausgeführt wird, wobei in anderen Beispielen das Tastaturmodul 122 eine eigenständige Anwendung oder Subroutine sein kann, die durch eine Anwendung oder Betriebsplattform der Rechenvorrichtung 110 jedes Mal aufgerufen wird, wenn eine Anwendung oder Betriebsplattform eine Eingabefunktionalität einer grafischen Tastatur benötigt. In manchen Beispielen kann die Rechenvorrichtung 110 das Tastaturmodul 122 aus einem Anwendungsdepot eines Dienstanbieters (z. B. über das Internet) herunterladen und installieren. In anderen Beispielen kann das Tastaturmodul 122 während der Herstellung der Rechenvorrichtung 110 vorinstalliert werden.
  • Wenn das Tastaturmodul 122 der Rechenvorrichtung 110 in dem Texteingabemodus arbeitet, kann es herkömmliche Operationen einer grafischen Tastatur, die zur Texteingabe verwendet werden, durchführen wie beispielsweise: Erzeugen eines Layouts einer grafischen Tastatur zur Anzeige in der PSD 112, Zuordnen detektierter Eingaben in der PSD 112 zu Auswahlen grafischer Tasten, Bestimmen von Zeichen basierend auf ausgewählten Tasten oder Vorhersagen oder Autokorrigieren von Worten und/oder Phrasen basierend auf den Zeichen, die aus den ausgewählten Tasten bestimmt werden.
  • Die grafische Tastatur 116B umfasst grafische Elemente, die als grafische Tasten 118A angezeigt werden. Das Tastaturmodul 122 kann Informationen an das UI-Modul 120 ausgeben, die das Layout der grafischen Tastatur 116B in der Anwenderschnittstelle 114 spezifizieren. Zum Beispiel können Informationen Befehle umfassen, die Orte, Größen, Farben und andere Merkmale der grafischen Tasten 118A spezifizieren. Basierend auf den von dem Tastaturmodul 122 empfangenen Informationen kann das UI-Modul 120 die PSD 112 dazu veranlassen, die grafische Tastatur 116B als Teil der Anwenderschnittstelle 114 anzuzeigen.
  • Jede Taste der grafischen Tasten 118A kann einem oder mehreren Zeichen (z. B. einem Buchstaben, einer Nummer, einem Interpunktionszeichen oder einem anderem Zeichen) zugeordnet sein, das innerhalb der Taste angezeigt wird. Ein Anwender der Rechenvorrichtung 110 kann eine Eingabe an Orten der PSD 112 vornehmen, an denen eine oder mehrere der grafischen Tasten 118A angezeigt werden, um Inhalt (z. B. Zeichen, Suchergebnisse etc.) in einen Bearbeitungsbereich 116C einzugeben (z. B. zum Erstellen von Nachrichten, die innerhalb des Ausgebebereichs 116A gesendet und angezeigt werden, oder zum Eingeben einer bildbasierten Suchanfrage, die die Rechenvorrichtung 110, aus der grafischen Tastatur 116B heraus). Das Tastaturmodul 122 kann Informationen aus dem UI-Modul 120 empfangen, die Orte, die der durch die PSD 112 detektierten Eingabe zugeordnet sind, angeben und die mit den Orten jeweiliger grafischer Tasten in Beziehung stehen. Unter Verwendung eines Raum- und/oder Sprachmodells kann das Tastaturmodul 122 die Eingaben in Auswahlen von Tasten und Zeichen, Worte und/oder Phrasen übersetzen.
  • Zum Beispiel kann die PSD 112 Anwendereingaben detektieren, wenn ein Anwender der Rechenvorrichtung 110 die Anwendereingaben bei oder nahe bei einem Ort der PSD 112, an dem die PSD 112 grafische Tasten 118A darstellt, vornimmt. Der Anwender kann die grafischen Tasten 118A zum Eingeben der Phrase "Bis später dann" in einem Bearbeitungsbereich 116C antippen. Das UI-Modul 120 kann von der PSD 112 eine Angabe der Anwendereingabe, die durch die PSD 112 detektiert wird, empfangen und an das Tastaturmodul 122 Informationen über die Anwendereingabe ausgeben. Informationen über die Anwendereingabe können eine Angabe eines oder mehrerer Berührungsereignisse (z. B. Orte und andere Informationen über die Eingabe), die durch die PSD 112 detektiert werden, umfassen.
  • Basierend auf den aus dem UI-Modul 120 empfangenen Informationen kann das Tastaturmodul 122 detektierte Eingaben in der PSD 112 einer Auswahl von grafischen Tasten 118A zuordnen, Zeichen basierend auf ausgewählten Tasten 118A bestimmen und bestimmte Worte und/oder Phrasen basierend auf den den ausgewählten Tasten 118A zugeordneten Zeichen vorhersagen oder autokorrigieren. Zum Beispiel kann das Tastaturmodul 122 ein Raummodell umfassen, das basierend auf den Orten der Tasten 118A und den Informationen über die Eingabe eine oder mehrere Tasten 118A, die am wahrscheinlichsten als Tasten ausgewählt sind, bestimmt. Als Antwort auf das Bestimmen der am wahrscheinlichsten ausgewählten einen oder mehreren Tasten 118A kann das Tastaturmodul 122 ein oder mehrere Zeichen, Worte und/oder Phrasen bestimmen. Zum Beispiel kann jede der einen oder mehreren Tasten 118A, die von einer Anwendereingabe in der PSD 112 ausgewählt werden, für ein individuelles Zeichen oder eine Tastaturfunktion stehen. Das Tastaturmodul 122 kann eine Folge von Zeichen, die basierend auf der einen oder den mehreren ausgewählten Tasten 118A ausgewählt werden, bestimmen. In manchen Beispielen kann das Tastaturmodul 122 ein Sprachmodell auf die Folge von Zeichen anwenden, um einen oder mehrere Buchstaben, Morpheme, Worte und/oder Phrasen, die ein Anwender basierend auf der Auswahl der Tasten 118A am wahrscheinlichsten versucht einzugeben, zu bestimmen. In dem Beispiel von 1 kann das Tastaturmodul 122 die Folge von Zeichen, die den Buchstaben des Satzes "Bis später dann" entspricht, bestimmen.
  • Das Tastaturmodul 122 kann die Folge von Zeichen und/oder mögliche Worte und Phrasen (z. B. "Bis später dann") an das UI-Modul 120 senden und das UI-Modul 120 kann die PSD 112 dazu veranlassen, die Zeichen und/oder möglichen Worte, die aus einer Auswahl von einer oder mehrerer Tasten 118A bestimmt werden, als Text innerhalb des Bearbeitungsbereichs 116C darzustellen. In manchen Beispielen kann das Tastaturmodul 122 dann, wenn es als herkömmliche Tastatur zum Durchführen von Texteingabefunktionen fungiert, und als Antwort auf das Empfangen einer Anwendereingabe an den grafischen Tasten 118A (z. B. wenn ein Anwender auf der grafischen Tastatur 116B tippt, um einen Text innerhalb des Bearbeitungsbereichs 116C einzugeben), das UI-Modul 120 dazu veranlassen, die möglichen Worte und/oder Phrasen als eine oder mehrere auswählbare Rechtschreibkorrekturen und/oder auswählbare Wort- und/oder Phrasenvorschläge innerhalb des Vorschlagsbereichs 118B anzuzeigen.
  • Zusätzlich zum Durchführen herkömmlicher Operationen einer grafischen Tastatur, die zur Texteingabe genutzt werden, stellt das Tastaturmodul 122 der Rechenvorrichtung 110 ebenfalls eine integrierte Bildsuchfähigkeit bereit. Das heißt, anstelle davon, dass ein Anwender der Rechenvorrichtung 110 von der Anwenderschnittstelle 114, die die grafische Tastatur 116B bereitstellt, weg navigieren muss (z. B. zu einer anderen Anwendung oder einem anderen Dienst, die/der in der Rechenvorrichtung 110 ausgeführt wird oder von dort zugänglich ist), kann das Tastaturmodul 122 im Suchmodus arbeiten, in dem das Tastaturmodul 122 such- und bildbasierte Operationen durchführt und dabei Suchanfragen und bildbasierte Suchanfragen basierend auf dem Text, der auf der grafischen Tastatur 116B eingegeben wird, vorhersagen und darstellen, und Suchergebnisse und bildbasierte Suchergebnisse an einem oder mehreren möglichen Orten und in einem oder mehreren möglichen Formaten wie beispielsweise als Ergebnisse innerhalb desselben Bereichs der PSD 112, in dem die grafische Tastatur 116B angezeigt wird, darstellen.
  • Wie oben angegeben kann das Tastaturmodul 122 als eigenständige Anwendung, Dienst oder Modul ausgeführt werden, das in einer Rechenvorrichtung 110 oder als eine einzelne, integrierte Unterkomponente davon ausgeführt wird. Daher kann das Tastaturmodul 122, wenn das Tastaturmodul 122 Teil einer Chat- oder Nachrichtenanwendung ist, die in einer Rechenvorrichtung 110 ausgeführt wird, die Chat- oder Nachrichtenanwendung mit einer Texteingabemöglichkeit sowie einer Suchmöglichkeit versehen. Wenn das Tastaturmodul 122 eine eigenständige Anwendung oder Subroutine ist, die durch eine Anwendung oder Betriebsplattform der Rechenvorrichtung 110 jedes Mal aufgerufen wird, wenn eine Anwendung oder Betriebsplattform eine Eingabefunktion einer grafischen Tastatur benötigt, kann das Tastaturmodul 122 ebenso die aufrufende Anwendung oder Betriebsplattform mit einer Texteingabemöglichkeit sowie einer Suchmöglichkeit versehen.
  • Beim Arbeiten im Suchmodus kann das Tastaturmodul 122 verschiedene suchbezogene Funktionen ausführen. Zum Beispiel kann das Tastaturmodul 122 manuelle Suchen (z. B. boolesch, mit natürlicher Sprache etc.), vorhergesagte Suchanfragen, bildbasierte Suchanfragen, Emojisuchen, Übersetzungen und andere suchbezogene Merkmale erzeugen und anzeigen.
  • In manchen Beispielen kann das Tastaturmodul 122 beim Arbeiten im Suchmodus die grafische Tastatur 116B dazu veranlassen, ein Suchelement 118C aufzunehmen. Das Suchelement 118C stellt ein auswählbares Element (z. B. ein Piktogramm, eine Taste etc.) der grafischen Tastatur 116C zum manuellen Aufrufen eines oder mehrerer der verschiedenen such- oder bildbasierten Suchmerkmale der grafischen Tastatur 116B dar. Zum Beispiel kann ein Anwender durch Auswählen des Suchelements 118C (z. B. durch Tippen oder Gestikulieren an einem Ort innerhalb eines Bereichs der PSD 112, in dem das Suchelement 118C angezeigt wird) die Rechenvorrichtung 110 dazu veranlassen, ein oder mehrere der verschiedenen integrierten bildbasierten Suchmerkmale aufzurufen, ohne dass der Anwender ausdrücklich zu einer separaten Anwendung, einem separaten Dienst oder einem anderem Merkmal, das in der Rechenvorrichtung 110 ausgeführt wird oder von dort zugänglich ist, navigieren muss.
  • In manchen Beispielen kann das Suchelement 118C auch als Indikator eines Zustands, der einem Suchmerkmal oder einem bildbasierten Suchmerkmal zugeordnet ist, verwendet werden. Wenn das Tastaturmodul 122 z. B. eine bildbasierte Suchanfrage vorhersagt, die wahrscheinlich bildbasierte Suchergebnisse, die mit einem Chatgespräch eines Anwenders in Beziehung stehen, erzeugen würde, kann das Tastaturmodul 122 das Suchelement 118C dazu veranlassen, aufzublitzen, zu pulsieren, seine Farbe zu ändern, sich zu bewegen oder eine andere Animation durchzuführen, um anzugeben, dass die bildbasierte Suchanfrage identifiziert wurde. In manchen Beispielen kann das Tastaturmodul 122 das Suchelement 118C dazu veranlassen, sich anstelle eines nichtbildbasierten Suchsymbols (z. B. ein Vergrößerungssymbol) in ein bildbasiertes Suchsymbol (z. B. ein Fotosymbol) zu verwandeln, um anzugeben, dass die bildbasierte Suchanfrage identifiziert wurde.
  • In manchen Beispielen kann das Tastaturmodul 122, wenn es im Suchmodul arbeitet, automatisch verschiedene Suchfunktionen ausführen, und zwar unabhängig davon, ob die grafische Tastatur 116B das Suchelement 118C umfasst oder nicht. Zum Beispiel kann das Tastaturmodul 122 eine bildbasierte Suchanfrage vorhersagen, eine Übersetzung bestimmen oder anderen vorgeschlagenen Inhalt basierend auf Text, den das Tastaturmodul 122 aus Anwendereingaben ableitet, erzeugen und den vorgeschlagenen Inhalt innerhalb der grafischen Tastatur 116B anzeigen. Zum Beispiel kann das Tastaturmodul 122 einen Vorschlagsbereich 118B ausbilden, um vorgeschlagenen Inhalt (z. B. vorhergesagte bildbasierte Suchanfragen, vorhergesagte nichtbildbasierte Suchanfragen, vorhergesagte Emoticons oder sogenannte "Emojis", anderen vorgeschlagenen Inhalt oder ein beliebiges anderes ikonografisches Symbol) als auswählbare Elemente innerhalb des Suchelements 118C anstelle von oder zusätzlich zu vorhergesagten Zeichen, Worten oder Phrasen oder anderen primär linguistischen Informationen, die das Tastaturmodul 122 aus einem Sprachmodell, Lexikon oder Wörterbuch ableitet, darstellen. Mit anderen Worten kann die Rechenvorrichtung 110 anstelle nur Rechtschreibungs- oder Wortvorschläge aus einem Wörterbuch innerhalb des Vorschlagsbereichs 118B bereitzustellen, zusätzlich oder anstelle von vorgeschlagenem linguistischem Inhalt innerhalb des Vorschlagsbereichs 118B vorgeschlagenen suchbezogenen Inhalt aufnehmen, von dem die Rechenvorrichtung 110 (oder eine andere Vorrichtung in Verbindung oder Kommunikation mit der Vorrichtung 110) bestimmt, dass er einem Anwender zu einem gegebenen Zeitpunkt (z. B. beim Bereitstellen von Inhalt in Bezug auf eine elektronische Kommunikation) hilft.
  • Das Tastaturmodul 122 kann, wenn es im Suchmodus arbeitet, eine automatische Vorhersage von bildbasierten Suchanfragen, die mit dem Text in Beziehung stehen, der unter Verwendung der grafischen Tastatur 116B zum aktuellen Zeitpunkt eingegeben wird, durchführen. Mit anderen Worten kann das Tastaturmodul 122 die Rechenvorrichtung 110 dazu befähigen, einem Anwender eine Möglichkeit zu bieten, schnell Informationen zu erhalten, und zwar in der Form einer vorgeschlagenen bildbasierten Suche oder bildbasierter Suchergebnisse, die in Beziehung zu der Eingabe stehen, die der Anwender bereits auf der grafischen Tastatur 116B vorgenommen hat, ohne zwischen mehreren verschiedenen Anwendungen oder Anwendungs-GUIs wechseln, schon eingegebenen Text erneut in die grafische Tastatur 116B eingeben oder sich selbst eine relevante bildbasierte Suchanfrage einfallen lassen zu müssen. Das Tastaturmodul 122 kann automatisch eine bildbasierte Suchanfrage (z. B. in dem Vorschlagsbereich 118C) erzeugen und anzeigen. Wenn der Anwender daran interessiert ist, eine bildbasierte Suche basierend auf der angezeigten Anfrage durchzuführen, kann der Anwender wahlweise eine Eingabe an dem Ort der PSD 112, an dem die vorgeschlagene bildbasierte Anfrage angezeigt wird, vornehmen, um die bildbasierte Suchanfrage auszuwählen und das Tastaturmodul 122 dazu zu veranlassen, die bildbasierte Suche zu initiieren. In manchen Beispielen kann das Tastaturmodul 122 das UI-Modul 120 und die PSD 112 dazu veranlassen, die bildbasierten Suchergebnisse anstelle eines Abschnitts der grafischen Tasten 118A darzustellen.
  • Zum Beispiel möchte ein Anwender der Rechenvorrichtung 110 vielleicht wie in 1 gezeigt bestätigen, dass ein Freund in einem Kurs später am Abend sein wird, in dem beide eingeschrieben sind, und kann elektronische Kommunikation (z. B. Nachrichten) mit dem Freund aus der Anwenderschnittstelle 114 heraus austauschen. Der Anwender kann das Gespräch durch Vornehmen von Gesteneingaben an Orten der PSD 112, an denen die Tasten 118A angezeigt werden, beginnen und ein Raum- und/oder Sprachmodell des Tastaturmoduls 122 kann basierend auf den Eingaben bestimmen, dass die Gesteneingaben einer Auswahl von Tasten 118A zum Eingeben der Phrase "Gehst du heute in den Unterricht?" entsprechen. Der Anwender kann eine Eingabe an einem Ort der Eingabetaste der Tasten 118A vornehmen und als Antwort kann die Nachrichtenanwendung, die der Anwenderschnittstelle 114 zugeordnet ist, eine elektronische Kommunikation, die den Text "Kommst du heute in den Unterricht?" enthält, an eine Rechenvorrichtung, die dem Freund zugeordnet ist, senden. Nach Empfangen einer Antwortnachricht, die den Text "Ja...leider" enthält, von der Rechenvorrichtung, die dem Freund zugeordnet ist, kann die Nachrichtenanwendung den Text der Antwort innerhalb der Anwenderschnittstelle 114 darstellen.
  • In manchen Beispielen kann das Tastaturmodul 122 eine auf die lokale Vorrichtung beschränkte Suche nach Informationen, die in der Rechenvorrichtung 110 gespeichert sind, (z. B. grafischem Inhalt) starten, ohne auf eine entfernte Rechenvorrichtung wie einen Server zuzugreifen. Zum Beispiel kann das Tastaturmodul 122 selbst ein lokal gespeichertes Modul zur bildbasierten Suche ausführen oder aufrufen, das eine Suche nach Informationen, die durch die Rechenvorrichtung 110 gespeichert werden, ausführt.
  • In manchen Beispielen kann das Tastaturmodul 122 eine bildbasierte Suche durchführen. Und in manchen Beispielen kann das Tastaturmodul 122 auf Betriebsmittel einer separaten Vorrichtung oder entfernte Betriebsmittel zurückgreifen, um die bildbasierte Suche zu erledigen. Zum Beispiel kann das Tastaturmodul 122 mit einem Befehl, eine bildbasierte Suche durchzuführen, eine bildbasierte Suchanfrage an ein internes Modul zur bildbasierten Suche, das in der Rechenvorrichtung 110 ausgeführt wird, senden. Und in manchen Beispielen kann das Tastaturmodul 122 die bildbasierte Anfrage mit dem Befehl, die bildbasierte Suche durchzuführen, an ein externes Modul zur bildbasierten Suche, das in einer entfernten Rechenvorrichtung wie beispielsweise einem Server ausgeführt wird, senden. In jedem Fall kann das interne oder externe Modul zur bildbasierten Suche die bildbasierten Suchergebnisse an das Tastaturmodul 122 zurücksenden.
  • Der Anwender der Rechenvorrichtung 110 kann weitere Eingaben an Orten der PSD 112 vornehmen, an denen die grafische Tastatur 116B angezeigt wird, um eine oder mehrere Tasten 118A zum Erstellen einer zweiten Nachricht an den Freund, die "Bis später dann" lautet, auszuwählen. Das Tastaturmodul 122 kann eine Angabe (z. B. ein oder mehrere Berührungsereignisse) der Auswahl einer oder mehreren Tasten 118A aus dem UI-Modul 120 empfangen.
  • Basierend auf der Angabe der Auswahl einer oder mehreren Tasten 118A kann das Tastaturmodul 122 einen Text einer elektronischen Kommunikation bestimmen. Zum Beispiel kann ein Raum- und/oder Sprachmodell des Tastaturmoduls 122 die individuellen Tastenauswahlen, die den Eingaben zugeordnet sind, in einen String oder eine Folge von Textzeichen und/oder Worten, die die Phrase "Bis später dann" repräsentieren, übersetzen.
  • Das Tastaturmodul 122 kann zumindest teilweise basierend auf dem Text eine "suchbare Entität", eine "Auslöserphrase" oder einen Abschnitt des Textinhalts, aus dem das Tastaturmodul 122 eine bildbasierte Suchanfrage erzeugen kann, identifizieren. Der Begriff "suchbare Entität" bezieht sich im Allgemeinen auf ein Deskriptorwort, eine Phrase oder einen Namen, das/den/die der Anwender in einem Satz tippen kann, der als Basis für eine bildbasierte Suche verwendet werden kann. Manche Beispiele von Suchentitäten umfassen die Namen von professionellen Sportmannschaften, Schauspielern oder anderen Berühmtheiten, Politikern, Marken, Filmen, Restaurants, Wahrzeichen, Orten oder irgendeiner anderen Attraktion, irgendeines anderen Ereignisses oder Objekts, das möglicherweise gesucht werden könnte. Der Begriff "Auslöserphrase" bezieht sich im Allgemeinen auf herkömmliche Phrasen, die Leute verwenden, wenn eine suchbare Entität diskutiert wird, ohne tatsächlich die suchbare Entität zu nennen. Zum Beispiel kann die Auslöserphrase "Wir sehen uns dann" oder einfach nur "Bis später" anstelle von "Tschüss" oder "Auf Wiedersehen" verwendet werden, um ein Gespräch zu beenden. Oder man die Auslöserphrase "Wie steht´s beim Fußballspiel?" kann verwendet werden, anstelle eine bestimmte Mannschaft mit Namen zu erwähnen, oder es kann "Wie steht´s" verwendet werden, anstelle eine bestimmte Sportart zu nennen.
  • In manchen Beispielen kann das Tastaturmodul 122 eine bildbasierte Anfrage direkt aus dem Text und ohne Bestimmen irgendeiner suchbaren Entität oder irgendwelcher Auslöserphrasen bestimmen. Zum Beispiel kann das Tastaturmodul 122 eine bildbasierte Suchanfrage bestimmen, die ein oder mehrere Worte, die aus der Rohtexteingabe identifiziert werden, enthält. In anderen Beispielen kann das Tastaturmodul 122 die bildbasierten Anfragen unter Verwendung irgendeiner Kombination aus Rohtext, suchbaren Entitäten oder Auslöserphrasen bestimmen, um eine bildbasierte Suchanfrage zu bestimmen.
  • Das Tastaturmodul 122 kann auf verschiedene "vorrichtungsinterne" Annotatoren oder Textanalysemaschinen, die Text, der in die grafische Tastatur 116B eingegeben wird, parsen und analysieren, zurückgreifen, um zu detektieren, ob ein Anwender etwas auf der grafischen Tastatur 116B eingetippt hat, das über eine bildbasierte Suche suchbar ist. Die Annotatoren des Tastaturmoduls 122 können lokal auf einem oder mehreren Prozessoren der Rechenvorrichtung 110 ausgeführt werden, anders als andere herkömmliche Suchsysteme, die auf einen entfernten Annotator zurückgreifen, der in einem entfernten Rechensystem (z. B. Server) ausgeführt wird. Durch Zurückgreifen auf vorrichtungsinterne Annotatoren kann das Tastaturmodul 122 bildbasierte Suchanfragevorhersagen scheinbar nahezu in Echtzeit durchführen, um ein Unterbrechen oder einen Verzug in einem textbasierten Gespräch, das ein Anwender führen kann, wenn er auf der grafischen Tastatur 116B tippt, zu vermeiden.
  • In einigen Beispielen kann das Tastaturmodul 122 bildbasierte Suchanfragevorhersagen zusätzlich oder als Alternative zu einem Verwenden der vorrichtungsinternen Annotatoren durch Zurückgreifen auf vorrichtungsexterne oder entfernte Annotatoren durchführen. Zum Beispiel kann das Tastaturmodul 122 zum Erhalten der bildbasierten Suchanfragevorhersagen auf einen Cloud-Dienst durch Senden eines Texts, der von der grafischen Tastatur 116B abgeleitet wird, und/oder anderen Informationen über die Rechenvorrichtung 110 an die Cloud zugreifen und als Antwort eine oder mehrere relevante bildbasierte Suchanfragen empfangen.
  • Die Annotatoren des Tastaturmoduls 122 können den Text, der auf einer grafischen Tastatur 116B eingegeben wird, so parsen, dass suchbare Entitäten und Auslöserphrasen unter Verwendung von sowohl globalen als auch lokalen Modellen detektiert werden. Das Tastaturmodul 122 kann in den Modellen solche Entitäten und Auslöserphrasen, die wahrscheinlich relevant sein könnten oder sehr häufig in einem Textnachrichtengespräch auftauchen, umfassen. Das Tastaturmodul 122 kann Text, der aus der Anwendereingabe in die grafische Tastatur 116B abgeleitet wird, in ein lokales und/oder globales Modell einspeisen und als Ausgabe aus den/m Modell(en) eine oder mehrere suchbare Entitäten empfangen.
  • Die globalen Modelle können die Annotatoren des Tastaturmoduls 122 dazu befähigen, möglicherweise nützliche Suchentitäten zu identifizieren, die über verschiedene Geolokalisierungen hinweg gemeinsam existieren (z. B. internationale Marken und Berühmtheiten). Die lokalen Modelle können die Annotatoren des Tastaturmoduls 122 dazu befähigen, möglicherweise nützliche Suchentitäten zu identifizieren, die nicht über verschiedene Geolokalisierungen hinweg gemeinsam existieren, sondern über bestimmte Geolokalisierungen gemeinsam existieren (z. B. Namen von lokalen Unternehmen, lokale Ereignisse und Attraktionen, lokale Politiker etc.).
  • Das Tastaturmodul 122 kann automatisch aktualisierte lokale Modelle als Antwort auf eine Änderung des Orts der Rechenvorrichtung herunterladen. Als Beispiel kann der Annotator des Tastaturmoduls 122 den Text, der aus einer Auswahl der Tasten 118A bestimmt wird, als Eingabe in sowohl das vorrichtungsinterne globale als auch das lokale Modell einspeisen und als Ausgabe aus dem globalen und lokalen Modell eine Angabe (z. B. Daten) einer suchbaren Entität empfangen.
  • Alternativ oder zusätzlich zu dem lokalen und globalen Modell können sich die Annotatoren des Tastaturmoduls 122 ferner auf eine künstliche Intelligenz und Maschinenlerntechniken zurückgreifen, um mit einem Grad an Sicherheit zu bestimmen, ob ein Anwender eine suchbare Entität oder eine Auslöserphrase eintippt. Zum Beispiel kann das Tastaturmodul 122 auf ein maschinenerlerntes Modell zurückgreifen, das künstliche neuronale Netze, rekurrierende neurale Netze, Lang-Kurz-Zeit-Gedächtnis-Modelle (LSTM-Modelle), Markov-Modelle mit verborgenen Zuständen oder irgendeinen anderen beliebigen Typ von maschinengelernten Modellen umfasst, der gelernte Regeln zum Bestimmen mit einem Grad an Sicherheit, ob auf einer grafischen Tastatur 116B eingegebener Text mit einer suchbaren Entität oder einem Auslöserphrase in Zusammenhang steht, verwendet. Zum Beispiel kann in dem Fall eines LSTM-Modells das LSTM-Modell anfangs trainiert werden, in Chatgesprächen mehrerer Anwender und mehrerer Vorrichtungen mit einer Sicherheit zu detektieren, ob ein Anwender aktuell über etwas schreibt oder ein Gespräch führt, bei dem ein Bild (wie beispielsweise ein gif) relevant wäre. Nach dem Identifizieren einer möglichen suchbaren Entität oder Auslöserphrase unter Verwendung eines lokalen und/oder globalen Modells, kann ein Annotator des Tastaturmodells 122 unter Verwendung eines LSTM-Modells eine Punktzahl bestimmen, die der suchbaren Entität oder der Auslöserphrase zugordnet ist und eine Wahrscheinlichkeit angibt, dass die suchbare Entität oder der Auslöserphrase relevant für ein oder mehrere Worte ist, die der Annotator aus der originalen Texteingabe parst. Wenn die Punktzahl, der der suchbaren Entität oder der Auslöserphrase zugeordnet ist, einen Grenzwert erreicht, kann das Tastaturmodul 122 die suchbare Entität oder die Auslöserphrase dazu verwenden, eine bildbasierte Suchanfrage zu erzeugen.
  • In manchen Beispielen können die lokalen und/oder globalen Modelle eine Anfangspunktzahl bestimmen, die einer möglichen suchbaren Entität oder Auslöserphrase zugeordnet ist, und das Tastaturmodul 122 kann ein LSTM-Modell dazu verwenden, die Anfangspunktzahl, die aus dem lokalen und/oder globalen Modell bestimmt wird, zu verstärken oder zu verbessern. Zum Beispiel kann die Anfangspunktzahl, die aus dem lokalen und/oder globalen Modell bestimmt wird, durch ein LSTM-Modell des Tastaturmoduls 122 erhöht oder verringert werden, das dazu trainiert worden ist, bei Chatgesprächen mit einer Sicherheit zu detektieren, dass der Anwender über eine bestimmte Entität spricht. Das LSTM-Modell kann auf Kontextinformationen der Rechenvorrichtung 110 sowie (in einem Chatkontext, der Text von anderen Anwendern in einem Gespräch mit einem Anwender der Rechenvorrichtung 110 oder Text auf einem Bildschirm der Rechenvorrichtungen der anderen Anwender enthält) den Inhalt vorheriger Nachrichten und folgender Nachrichten zurückgreifen, um mit größerer Sicherheit als das lokale oder globale Modell allein zu bestimmen, ob ein Anwender über eine bestimmte suchbare Entität oder Auslöserphrase chattet.
  • Zusätzlich zum Identifizieren suchbarer Entitäten können das lokale und/oder globale Modell des Tastaturmoduls 122 auch ausgesuchte Kategorien von Bildsuchen vorschlagen, um sie beim Erzeugen von bildbasierten Suchanfragen zu verwenden. Zum Beispiel kann das Tastaturmodul 122 Text (z. B. die Phrase "Bis später dann"), der aus der Anwendereingabe in die grafische Tastatur 116B abgeleitet ist, in das lokale und globale Modell einspeisen und als Ausgabe aus dem/n Modell(en) eine oder mehrere ausgesuchte Kategorien von Bildsuchen (z. B. "Tschüss", "Auf Wiedersehen", "Ciao" etc.) empfangen. Das Tastaturmodul 122 kann den Text in ein lokales Modell eingeben und als Antwort darauf, dass das lokale Modell die Phrase als vorbestimmten Auslöser erkennt, kann das Tastaturmodul 122 die ausgesuchte Kategorie "Tschüss" oder "Auf Wiedersehen" als Ausgabe von dem lokalen Modell empfangen. In manchen Beispielen können die Annotatoren des Tastaturmodells 122 weiterhin auf künstliche Intelligenz und Maschinenlerntechniken zurückgreifen, um mit einem Grad an Sicherheit zu bestimmen, ob ein Anwender über eine bestimmte ausgesuchte Kategorie schreibt. Zum Beispiel können die Annotatoren unter Verwendung einer oder mehrerer Regeln darüber, was andere Personen in Chatgesprächen in verschiedenen Kontexten schreiben, Regeln zum Ableiten ausgesuchter Kategorien von Bildsuchen basierend auf der Texteingabe und einem bestimmten Kontext erzeugen. Unter Verwendung der Regeln können die Annotatoren mit einem Grad an Sicherheit vorhersagen, ob ein Anwender über eine bestimmte betreute Kategorie einer Bildsuche wie beispielsweise "Gib mir 5", "Klatschen", "Daumen hoch", "Nein", "Ja", "Achselzucken", "Mikro-Fallenlassen" oder eine andere betreute Kategorie der Bildsuche, die mit der Texteingabe in Zusammenhang stehen kann, chattet. Wenn der Grad an Sicherheit (z. B. eine Wahrscheinlichkeit) einen Grenzwert erreicht, kann das Tastaturmodul 122 die ausgesuchte Kategorie der Bildsuche zum Erzeugen einer bildbasierten Suchanfrage verwenden.
  • Das Tastaturmodul 122 kann basierend auf der suchbaren Entität oder Auslöserphrase eine bildbasierte Suchanfrage erzeugen. Zum Beispiel kann das Tastaturmodul 122 die Ausgabe aus den Annotatoren und dem globalen und lokalen Modell in ein bildbasiertes Suchanfrageformat formatieren, das durch eine Suchmaschine erkannt wird, die in dem Tastaturmodul 122 ausgeführt wird oder auf die daraus zugegriffen wird. Das heißt, dass das Tastaturmodul 122 eine Suchanfrage mit natürlicher Sprache oder boolesche Suchanfrage basierend auf den/r Suchentität(en) und durch die Modelle identifizierten ausgesuchten Kategorien erzeugen kann. Um bei dem Beispiel von 1 zu bleiben, kann das Tastaturmodul 122 "Tschüss" als eine suchbare Entität oder ausgesuchte Kategorie, die dem Text "Bis später dann" zugeordnet ist, identifizieren.
  • Das Tastaturmodul 122 kann eine grafische Angabe, um anzugeben, dass die Rechenvorrichtung die Suchanfrage erzeugt hat, zur Anzeige innerhalb der grafischen Tastatur 116C ausgeben. Zum Beispiel kann das Tastaturmodul 122 das Suchelement 118C dazu veranlassen, dass es aufblitzt oder das Format ändert, die Form ändert, die Farbe ändert, sich bewegt oder eine andere Animation durchführt, um anzugeben, dass die Suchanfrage identifiziert wurde. Zusätzlich oder alternativ kann das Tastaturmodul 122 den Text der erzeugten Suchanfrage als blauen Hyperlink (z. B. unterstrichen oder nicht unterstrichen) ausgeben. Zum Beispiel veranlasst das Tastaturmodul 122 wie in 1 gezeigt das UI-Modul 120 dazu, die Suchanfrage "Tschüss" innerhalb des Vorschlagsbereichs 118B darzustellen. Alternativ oder als weitere Angabe, dass das Tastaturmodul 122 die Suchanfrage bestimmt hat, kann das Tastaturmodul 122 das UI-Modul 120 dazu veranlassen, ein Piktogramm, das der bildbasierten Suchanfrage zugeordnet ist, darzustellen. Zum Beispiel kann das Tastaturmodul 122 das UI-Modul 120 dazu veranlassen, ein Piktogramm darzustellen, das auf bildbasierte Suchen hinweist (z. B. ein "GIF"-Symbol, ein Fotosymbol, ein Stickersymbol oder ein anderes Piktogramm, das mit den bildbasierten Suchen verknüpft wird). Zum Beispiel kann die PSD 112 wie in 1 gezeigt ein GIF-Symbol neben dem Wort innerhalb des Vorschlagsbereichs 118B anzeigen – wobei das GIF-Symbol nicht einer bestimmten bildbasierten Suchanfrage, sondern stattdessen einem bestimmten Typ eines Bildkompressionsformats (d. h. gif) von üblicherweise übertragenen statischen und animierten Bilddateien zugeordnet ist.
  • Nach dem automatischen Darstellen einer bildbasierten Suchanfrage innerhalb der grafischen Tastatur 116B kann ein Anwender die bildbasierte Suchanfrage auswählen und das Tastaturmodul 122 dazu veranlassen, aus der Anwenderschnittstelle 114 heraus eine bildbasierte Suche basierend auf der bildbasierten Anfrage auszuführen. Zum Beispiel kann ein Anwender eine Tipp- oder Wischgeste an einem Ort der PSD 112 vornehmen, an dem der Vorschlagsbereich 118B angezeigt wird, und als Antwort auf das Empfangen einer Angabe der Tipp- und Wischgeste von dem UI-Modul 120 kann das Tastaturmodul 122 eine bildbasierte Suche basierend auf der bildbasierten Anfrage ausführen. Das Tastaturmodul 122 kann das UI-Modul dazu veranlassen, Ergebnisse der bildbasierten Suche innerhalb der Anwenderschnittstelle 114 darzustellen, von der aus ein Anwender ein oder mehrere der bildbasierten Ergebnisse auswählen und die Informationen, die den bildbasierten Ergebnissen zugeordnet sind, in eine neue elektronische Nachricht eingeben kann.
  • Durch Bereitstellen einer GUI, die eine grafische Tastatur mit integrierter bildbasierter Suchanfragevorhersage umfasst, kann eine beispielhafte Rechenvorrichtung einem Anwender eine Möglichkeit bieten, schnell bildbasierte Suchergebnisse, die relevant für die Eingabe sind, die der Anwender bereits in der grafischen Tastatur vorgenommen hat, zu erhalten, ohne zwischen mehreren verschiedenen Anwendungs-GUIs hin- und herschalten, schon eingegebenen Text in die grafische Tastatur erneut eingeben oder sich selbst eine relevante bildbasierte Suchanfrage ausdenken zu müssen. Anders als andere Rechenvorrichtungen, bei denen es notwendig ist, dass ein Anwender eine Chatanwendungs-GUI verlässt und eine nachfolgende Texteingabe (z. B. durch Einfügen oder Wiedereintippen eines vorher schon eingegebenen Textes in der Chatanwendung) in einer anderen bildbasierten Suchanwendung-GUI vornimmt, um nach einem Bild zu suchen, das mit einem vorher in der Chatanwendung eingegebenen Thema in Zusammenhang steht, sagt die beispielhafte Rechenvorrichtung mit anderen Worten automatisch eine bildbasierte Suchanfrage vorher und führt die bildbasierte Suchanfrage aus, ohne dass der Anwender eine zusätzliche Eingabe über das hinaus, was er oder sie anfänglich eingegeben hat, als er oder sie die originale Chatnachricht schrieb, vornehmen muss. Die bildbasierte Suche ist nicht auf den Text der ursprünglichen Nachricht beschränkt, sondern kann mit dem Thema der ursprünglichen Nachricht in Zusammenhang stehen. Auf diese Weise können Techniken dieser Offenbarung die Zeitspanne und die Anzahl der benötigten Anwendereingaben, um bildbasierte Suchergebnisse, die mit dem Gespräch in Zusammenhang stehen, zu erhalten, verringern, was das Anwendererlebnis vereinfachen kann und den Energieverbrauch der Rechenvorrichtung reduzieren kann.
  • 2 ist ein Blockdiagramm, das eine Rechenvorrichtung 210 als beispielhafte Rechenvorrichtung, die dazu ausgelegt ist, eine grafische Tastatur mit integrierter bildbasierten Suchmerkmalen darzustellen, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung zeigt. Die Rechenvorrichtung 210 von 2 wird unten als Beispiel der Rechenvorrichtung 110 von 1 beschrieben. 2 zeigt nur ein bestimmtes Beispiel der Rechenvorrichtung 210 und viele andere Beispiele der Rechenvorrichtung 210 können in anderen Fällen verwendet werden und können eine Teilmenge der Komponenten, die in der beispielhaften Rechenvorrichtung 210 enthalten sind, umfassen oder können zusätzliche nicht in 2 gezeigte Komponenten umfassen.
  • Wie in dem Beispiel von 2 gezeigt umfasst die Rechenvorrichtung 210 eine PSD 212, einen oder mehrere Prozessoren 240, eine oder mehrere Kommunikationseinheiten 242, eine oder mehrere Eingabekomponenten 244, eine oder mehrere Ausgabekomponenten 246 und eine oder mehrere Speicherkomponenten 248. Die präsenzempfindliche Anzeige 112 umfasst eine Anzeigekomponente 202 und eine präsenzempfindliche Eingabekomponente 204. Die Speicherkomponente 248 der Rechenvorrichtung 210 umfasst ein UI-Modul 220, ein Tastaturmodul 222 und ein oder mehrere Anwendungsmodule 224. Das Tastaturmodul 222 kann ein Raummodell ("RM") 226, ein Sprachmodell ("SM") 228 und ein Suchmodul 230 umfassen. Die Speichervorrichtungen 248 enthalten auch lokale Modelle 232A und globale Modelle 232B (kollektiv "Modelle 232"). Kommunikationskanäle 250 können jede der Komponenten 212, 240, 242, 246 und 248 zur Zwischenkomponentenkommunikation (physisch, kommunikationstechnisch und/oder betriebstechnisch) untereinander verbinden. In manchen Beispielen können die Kommunikationskanäle 250 eine Systemsammelschiene, eine Netzverbindung, eine Zwischenprozesskommunikations-Datenstruktur oder ein beliebiges anderes Verfahren zur Datenkommunikation umfassen.
  • Eine oder mehrere Kommunikationseinheiten 242 der Rechenvorrichtung 210 können mit externen Vorrichtungen über ein oder mehrere verdrahtete und/oder drahtlose Netze durch Senden und/oder Empfangen von Netzsignalen auf dem einen oder den mehreren Netzen kommunizieren. Beispiele der Kommunikationseinheiten 242 umfassen eine Netzschnittstellenkarte (z. B. eine Ethernetkarte), einen optischen Sendeempfänger, einen Radiowellen-Sendeempfänger, einen GPS-Empfänger oder einen beliebigen anderen Vorrichtungstypen, der Informationen senden und/oder empfangen kann. Andere Beispiele der Kommunikationseinheiten 242 können Kurzwellenfunk, Mobildatenfung, Drahtlosnetzfunk sowie USB-Controller umfassen.
  • Eine oder mehrere Eingabekomponenten 244 der Rechenvorrichtung 210 können Eingaben empfangen. Beispiele für Eingaben sind taktile Eingaben und Audio- und Videoeingaben. Die Eingabekomponenten 242 der Rechenvorrichtung 210 umfassen in einem Beispiel eine präsenzempfindliche Eingabevorrichtung (z. B. einen berührungsempfindlichen Bildschirm, eine PSD), eine Maus, eine Tastatur, ein auf Sprach ansprechendes System, eine Videokamera, ein Mikrofon oder einen beliebigen anderen Vorrichtungstypen zum Detektieren von Eingaben von einem Menschen oder einer Maschine. In manchen Beispielen können Eingabekomponenten 242 einen oder mehrere Sensorkomponenten, einen oder mehrere Ortungssensoren (GPS-Komponenten, Wi-Fi-Komponenten, Handykomponenten), einen oder mehrere Temperatursensoren, einen oder mehrere Bewegungssensoren (z. B. Beschleunigungsmesser, Gyroskope), einen oder mehrere Drucksensoren (z. B. Barometer), einen oder mehrere Umgebungslichtsensoren und einen oder mehrere andere Sensoren (z. B. Mikrofon, Kamera, Infrarotnäherungssensoren, Luftfeuchtigkeitsmesser und ähnliche) umfassen. Andere Sensoren können einen Herzpulssensor, ein Magnetometer, einen Glukosesensor, einen Luftfeuchtigkeitsmesssensor, einen olfaktorischen Sensor, einen Kompasssensor, Schrittzählersensor umfassen, um einige wenige andere nichtbeschränkende Beispiele zu nennen.
  • Die eine oder die mehreren Ausgabekomponenten 246 der Rechenvorrichtung 110 können Ausgaben erzeugen. Beispiele für Ausgaben sind taktile Ausgaben und Audio- und Videoausgaben. Die Ausgabekomponenten 246 der Rechenvorrichtung 210 umfassen in einem Beispiel eine PSD, eine Soundkarte, eine Videografikadapterkarte, einen Lautsprecher, einen Kathodenstrahlröhrenmonitor (CRT-Monitor), eine Flüssigkristallanzeige (LCD) oder einen beliebigen anderen Vorrichtungstypen zum Erzeugen von Ausgaben für einen Menschen oder eine Maschine.
  • Die PSD 212 der Rechenvorrichtung 210 kann der PSD 112 der Rechenvorrichtung 110 ähnlich sein und umfasst die Anzeigekomponente 202 und die präsenzempfindliche Eingabekomponente 204. Die Anzeigekomponente 202 kann ein Bildschirm sein, auf dem Informationen durch die PSD 212 angezeigt werden, und die präsenzempfindliche Eingabekomponente 204 kann ein Objekt bei und/oder nahe bei der Anzeigekomponente 202 detektieren. Als Beispielsbereich kann die präsenzempfindliche Eingabekomponente 204 ein Objekt wie beispielsweise einen Finger oder einen Eingabestift detektieren, das sich innerhalb von zwei Zoll oder weniger von der Anzeigekomponente 202 befindet. Die präsenzempfindliche Eingabekomponente 204 kann einen Ort (z. B. eine Koordinate [x, y]) der Anzeigekomponente 202, bei der das Objekt detektiert wurde, bestimmen. In einem weiteren Beispielbereich kann die präsenzempfindliche Eingabekomponente 204 ein Objekt innerhalb von sechs Zoll oder weniger von der Anzeigekomponente 202 entfernt detektieren und andere Bereiche sind ebenfalls möglich. Die präsenzempfindliche Eingabekomponente 204 kann den Ort der Anzeigekomponente 202, der durch einen Anwenderfinger unter Verwendung kapazitiver, induktiver und/oder optischer Erkennungstechniken ausgewählt wird, bestimmen. In manchen Beispielen liefert die präsenzempfindliche Eingabekomponente 204 auch unter Verwendung von taktilen Reizen, Audio- oder Videostimuli, wie sie in Bezug auf die Anzeigekomponente 202 beschrieben sind, Ausgaben an einen Anwender. In dem Beispiel von 2 kann die PSD 212 eine Anwenderschnittstelle (wie beispielsweise eine grafische Anwenderschnittstelle 114 von 1) darstellen.
  • Obwohl die PSD 212 als interne Komponente der Rechenvorrichtung 210 gezeigt ist, kann sie auch eine externe Komponente darstellen, die sich einen Datenweg zum Senden und/oder Empfangen von Eingaben und Ausgaben mit der Rechenvorrichtung 210 teilt. Zum Beispiel stellt in einem Fall die PSD 212 eine eingebaute Komponente der Rechenvorrichtung 210 dar, die innerhalb angeordnet ist und mit der externen Umhäusung der Rechenvorrichtung 210 (z. B. ein Bildschirm an einem Handy) physisch verbunden ist. In einem weiteren Beispiel stellt die PSD 212 eine externe Komponente der Rechenvorrichtung 210 dar, die außerhalb angeordnet ist und von der Umhäusung oder dem Gehäuse der Rechenvorrichtung 210 physisch getrennt ist (z. B. einen Monitor, einen Projektor, etc., der sich einen verdrahteten und/oder drahtlosen Datenweg mit der Rechenvorrichtung 210 teilt).
  • Die PSD 212 der Rechenvorrichtung 210 kann zweidimensionale und/oder dreidimensionale Gesten als Eingaben von einem Anwender der Rechenvorrichtung 210 detektieren. Zum Beispiel kann ein Sensor der PSD 212 eine Bewegung des Anwenders (z. B. ein Bewegen einer Hand, eines Arms, eines Stifts, eines Eingabestifts etc.) innerhalb einer Schwellendistanz zu dem Sensor der PSD 212 detektieren. Die PSD 212 kann eine zwei- oder dreidimensionale Vektordarstellung der Bewegung bestimmen und die Vektordarstellung mit einer Gesteneingabe (z. B. einem Winken, einem Kneifen, einem Klatschen, einem Federstrich etc.), die mehrere Dimensionen aufweist, korrelieren. Mit anderen Worten kann die PSD 212 eine multidimensionale Geste detektieren, ohne dass es erforderlich ist, dass der Anwender bei oder nahe bei einem Bildschirm oder einer Oberfläche, an der die PSD 212 Informationen zur Anzeige ausgibt, gestikuliert. Anstelle dessen kann die PSD 212 eine multidimensionale Geste detektieren, die bei oder nahe bei einem Sensor, der nahe bei dem Bildschirm oder der Oberfläche, an der die PSD 212 Informationen zur Anzeige ausgibt, platziert sein kann oder nicht.
  • Ein oder mehrere Prozessoren 240 können Funktionalitäten implementieren und/oder Befehle ausführen, die der Rechenvorrichtung 210 zugeordnet sind. Beispiele von Prozessoren 240 umfassen Anwendungsprozessoren, Anzeigecontroller, Hilfsprozessoren, einen oder mehrere Sensorknoten und beliebige andere Hardware, die dazu ausgelegt ist, als Prozessor, Prozessoreinheit oder eine verarbeitende Vorrichtung zu fungieren. Die Module 220, 222, 224, 226, 228 und 230 können durch die Prozessoren 240 betreibbar sein, um verschiedene Aktionen, Operationen oder Funktionen der Rechenvorrichtung 210 durchzuführen. Zum Beispiel können die Prozessoren 240 der Rechenvorrichtung 20 Befehle, die durch die Speicherkomponenten 248 gespeichert sind, erhalten und ausführen, die die Prozessoren 240 dazu veranlassen, die Operationsmodule 220, 222, 224, 226, 228 und 230 durchzuführen. Die Befehle können, wenn sie durch die Prozessoren 240 ausgeführt werden, die Rechenvorrichtung 210 dazu veranlassen, Informationen innerhalb der Speicherkomponenten 248 zu speichern.
  • Eine oder mehrere Speicherkomponenten 248 innerhalb der Rechenvorrichtung 210 können Informationen zum Verarbeiten während des Betriebs der Rechenvorrichtung 210 speichern (z. B. kann die Rechenvorrichtung 210 Daten speichern, auf die durch die Module 220, 222, 224, 226, 228 und 230 und Modelle 232 und 233 während der Ausführung in der Rechenvorrichtung 210 zugegriffen wird). In manchen Beispielen ist die Speicherkomponente 248 ein temporärer Speicher, womit gemeint ist, dass ein primärer Zweck der Speicherkomponente 248 nicht in der Langzeitspeicherung liegt. Die Speicherkomponenten 248 auf der Rechenvorrichtung 210 können als Kurzzeitspeicher von Informationen als flüchtige Speicher ausgelegt sein und daher keine gespeicherten Inhalte erhalten, wenn sie ausgeschaltet werden. Beispiele flüchtiger Speicher umfassen einen Direktzugriffsspeicher (RAM), dynamischen Direktzugriffsspeicher (DRAM), statischen Direktzugriffsspeicher (SRAM) und andere Formen von flüchtigen Speichern des Stands der Technik.
  • Die Speicherkomponenten 248 umfassen in manchen Beispielen zudem ein oder mehrere computerlesbare Speichermedien. Die Speicherkomponenten 248 umfassen in manchen Beispielen ein oder mehrere nichtflüchtige computerlesbare Speichermedien. Die Speicherkomponenten 248 können dazu ausgelegt sein, größere Mengen von Informationen zu speichern, als typischerweise durch flüchtige Medien gespeichert werden. Die Speicherkomponenten 248 können ferner zur Langzeitspeicherung von Informationen als nichtflüchtiger Speicherraum ausgelegt sein und Informationen nach Ein-/Ausschaltzyklen erhalten. Beispiele für nichtflüchtige Speicher sind magnetische Festplatten, optische Festplatten, Disketten, Flash-Speicher oder Formen von elektrisch programmierbaren Speichern (EPROM) oder elektrisch löschbaren und programmierbaren (EEPROM) Speichern. Die Speicherkomponenten 248 können Programmbefehle und/oder Informationen (z. B. Daten) speichern, die den Modellen 232 und 233 und den Modulen 220, 222, 224, 226, 228 und 230 zugeordnet sind. Die Speicherkomponenten 248 können einen Speicher umfassen, der dazu ausgelegt ist, Daten oder andere Informationen zu speichern, die den Modellen 232 und 233 und den Modulen 220, 222, 224, 226, 228 und 230 zugeordnet sind.
  • Das UI-Modul 220 kann jegliche Funktionalität des UI-Moduls 120 der Rechenvorrichtung 110 von 1 umfassen und kann ähnliche Operationen wie das UI-Modul 120 zum Verwalten einer Anwenderschnittstelle (z. B. der Anwenderschnittstelle 114) durchführen, die die Rechenvorrichtung 210 an der präsenzempfindlichen Anzeige 212 zur Handhabung von Eingaben von einem Anwender bereitstellt. Beispielsweise kann das UI-Modul 220 der Rechenvorrichtung 210 das Tastaturmodul 222 nach einem Tastaturlayout (z. B. einer englischen QWERTY-Tastatur usw.) abfragen. Das UI-Modul 220 kann eine Anforderung bezüglich eines Tastaturlayouts über die Kommunikationskanäle 250 an das Tastaturmodul 222 senden. Das Tastaturmodul 222 kann die Anforderung empfangen und dem UI-Modul 220 mit Daten, die dem Tastaturlayout zugeordnet sind, antworten. Das UI-Modul 220 kann die Tastaturlayout-Daten über die Kommunikationskanäle 250 empfangen und die Daten verwenden, um eine Anwenderschnittstelle zu erzeugen. Das UI-Modul 220 kann einen Anzeigebefehl und Daten über Kommunikationskanäle 250 senden, um zu veranlassen, dass die PSD 212 die Anwenderschnittstelle auf der PSD 212 darstellt.
  • In einigen Beispielen kann das UI-Modul 220 eine Angabe einer oder mehrerer Anwendereingaben, die an dem PSD 212 detektiert werden, empfangen und kann Informationen über die Anwendereingaben an das Tastaturmodul 222 ausgeben. Beispielsweise kann die PSD 212 eine Anwendereingabe detektieren und Daten über die Anwendereingabe an das UI-Modul 220 senden. Das UI-Modul 220 kann ein oder mehrere Berührungsereignisse basierend auf der detektierten Eingabe erzeugen. Ein Berührungsereignis kann Informationen enthalten, die eine Anwendereingabe charakterisieren, wie beispielsweise eine Ortskomponente (z. B. Koordinaten [x, y]) der Anwendereingabe, eine Zeitkomponente (z. B. wann die Anwendereingabe empfangen wurde), eine Kraftkomponente (z. B. eine von der Anwendereingabe ausgeübte Druckmenge) oder andere Daten (z. B. Geschwindigkeit, Beschleunigung, Richtung, Dichte etc.) über die Anwendereingabe.
  • Auf der Basis der Ortsinformationen der von der Anwendereingabe erzeugten Berührungsereignisse kann das UI-Modul 220 bestimmen, dass die detektierte Anwendereingabe der grafischen Tastatur zugeordnet ist. Das UI-Modul 220 kann eine Angabe des einen oder der mehreren Berührungsereignisse zur weiteren Interpretation an das Tastaturmodul 222 senden. Das Tastaturmodul 22 kann basierend auf den aus dem UI-Modul 220 empfangenen Berührungsereignissen bestimmen, dass die detektierte Anwendereingabe eine anfängliche Auswahl einer oder mehrerer Tasten der grafischen Tastatur darstellt.
  • Die Anwendungsmodule 224 stellen alle verschiedenen individuellen Anwendungen und Dienste dar, die von der Rechenvorrichtung 210 ausgeführt werden und von dieser aus zugänglich sind und die sich auf eine grafische Tastatur mit integrierten Suchmerkmalen stützen können. Ein Anwender der Rechenvorrichtung 210 kann mit einer grafischen Anwenderschnittstelle interagieren, die einem oder mehreren Anwendungsmodulen 224 zugeordnet ist, um zu veranlassen, dass die Rechenvorrichtung 210 eine Funktion ausführt. Es können zahlreiche Beispiele von Anwendungsmodulen 224 existieren und eine Fitnessanwendung, eine Kalenderanwendung, einen persönlichen Assistenten oder eine Vorhersagemaschine, eine Suchanwendung, eine Karten- oder Navigationsanwendung, eine Transportdienstanwendung (z. B. eine Bus- oder Zugverfolgungsanwendung), eine Anwendung für soziale Medien, eine Spielanwendung, eine E-Mail-Anwendung, eine Chat- oder Nachrichtenanwendung, eine Internetbrowser-Anwendung oder alle anderen Anwendungen, die auf der Rechenvorrichtung ausgeführt werden können, umfassen.
  • Das Tastaturmodul 222 kann jegliche Funktionalität des Tastaturmoduls 122 der Rechenvorrichtung 110 von 1 umfassen und kann ähnliche Operationen wie das Tastaturmodul 122 ausführen, um eine grafische Tastatur mit integrierten Suchmerkmalen bereitzustellen. Das Tastaturmodul 222 kann verschiedene Untermodule wie das SM-Modul 226, das LM-Modul 228 und das Suchmodul 230 umfassen, die die Funktionalität des Tastaturmoduls 222 ausführen können.
  • Das SM-Modul 226 kann ein oder mehrere Berührungsereignisse als Eingaben empfangen und ein Zeichen oder eine Folge von Zeichen ausgeben, die wahrscheinlich das eine oder die mehreren Berührungsereignisse darstellen, zusammen mit einem Grad an Sicherheit oder räumlichem Modell, der/das angibt, wie wahrscheinlich oder mit welcher Genauigkeit das eine oder die mehreren Zeichen die Berührungsereignisse definieren. Mit anderen Worten kann das SM-Modul 226 Berührungsereignisse als Auswahl einer oder mehrerer Tasten einer Tastatur ableiten und basierend auf der Auswahl der einen oder mehreren Tasten ein Zeichen oder eine Folge von Zeichen ausgeben.
  • Wenn das Tastaturmodul 222 im Texteingabemodus arbeitet, kann das LM-Modul 228 ein Zeichen oder eine Folge von Zeichen als Eingabe empfangen und ein oder mehrere Kandidatenzeichen, Worte oder Phrasen ausgeben, die das LM-Modul 228 aus einem Lexikon als potentielle Ersetzungen für eine Folge von Zeichen identifiziert, die das LM-Modul 228 als Eingabe für einen gegebenen Sprachkontext empfängt (z. B. einen Satz in einer schriftlichen Sprache) empfängt. Das Tastaturmodul 222 kann veranlassen, dass das UI-Modul 220 eines oder mehrere der Kandidatenworte in den Vorschlagsbereichen 118C der Anwenderschnittstelle 114 darstellt.
  • Das Lexikon der Rechenvorrichtung 210 kann eine Liste von Worten innerhalb eines geschriebenen Sprachschatzes (z. B. ein Wörterbuch) enthalten. Zum Beispiel kann das Lexikon eine Datenbank von Worten (z. B. Worte in einem Standardwörterbuch und/oder Worte, die einem Wörterbuch durch einen Anwender oder eine Rechenvorrichtung 210 hinzugefügt werden) enthalten. Das LM-Modul 228 kann ein Nachschlagen nach einer Zeichenfolge in dem Lexikon durchführen, um ein oder mehrere Buchstaben, Worte und/oder Phrasen zu identifizieren, die einige oder alle Zeichen der Zeichenfolge enthalten. Beispielsweise kann das LM-Modul 228 eine Sprachmodellwahrscheinlichkeit oder einen Ähnlichkeitskoeffizienten (z. B. einen Jaccard-Ähnlichkeitskoeffizienten oder einen anderen Ähnlichkeitskoeffizienten) einem oder mehreren Kandidatenworten zuordnen, die sich in einem Lexikon der Rechenvorrichtung 210 befinden und die zumindest einige gleiche Zeichen wie das eingegebene Zeichen oder die Zeichenfolge enthalten. Die Sprachmodellwahrscheinlichkeit, die jedem der einen oder mehreren Kandidatenworten zugewiesen ist, gibt einen Grad an Sicherheit oder einen Grad an Wahrscheinlichkeit an, dass das Kandidatenwort typischerweise nach, vor und/oder innerhalb einer Folge von Worten (z. B. einem Satz) positioniert gefunden wird, die aus der Texteingabe erzeugt wird, die durch die präsenzempfindliche Eingabekomponente 204 vor und/oder nach dem Empfangen der aktuellen Folge von Zeichen, die durch das LM-Modul 228 analysiert wird, detektiert wird. Als Antwort auf das Bestimmen des einen oder der mehreren Kandidatenworte kann das LM-Modul 228 das eine oder die mehreren Kandidatenworte, die die höchsten Ähnlichkeitskoeffizienten aufweisen, aus Lexikon-Datenspeichern 260A ausgeben.
  • Das Suchmodul 230 des Tastaturmoduls 222 kann im Auftrag des Tastaturmoduls 222 integrierte bildbasierte Suchfunktionen ausführen. Das heißt, wenn es aufgerufen wird (z. B. manuell als Antwort darauf, dass ein Anwender der Rechenvorrichtung 210 ein auswählbares Element 218C der Anwenderschnittstelle 114 auswählt, oder automatisch als Antwort auf das Identifizieren einer suchbaren Entität oder Auslöserphrase aus einer Texteingabe), kann das Tastaturmodul 222 im Suchmodus arbeiten, in dem das Tastaturmodul 222 die Rechenvorrichtung 210 dazu befähigt, Suchfunktionen wie beispielsweise das Vorhersagen und Anzeigen von Suchabfragen, die ein Anwender der Rechenvorrichtung 210 für ein Chatgespräch für relevant halten könnte, von der grafischen Tastatur 118A aus durchzuführen.
  • Die Modelle 232 repräsentieren mehrere "vorrichtungsinterne" (z. B. lokal gespeicherte und ausgeführte) Modelle zur Verwendung durch Annotatoren oder Textanalysemaschinen des Suchmoduls 230, um Text zu parsen und zu analysieren, der auf der grafischen Tastatur 116B eingegeben wird, um zu detektieren, ob ein Anwender etwas auf der grafischen Tastatur 116B eingegeben hat, das mit einer bildbasierten Suche suchbar ist. Die Modelle 232 können als Eingabe Text, der aus Anwendereingaben auf der grafischen Tastatur 116B abgeleitet ist, empfangen und als Antwort eine oder mehrere suchbare Entitäten oder Auslöserphrasen, die mit Abschnitten der Texteingabe in Beziehung stehen können, ausgeben. In einigen Beispielen können die Modelle 232 eine Punktzahl, die einer suchbaren Entität oder einer Auslöserphrase zugeordnet ist, als Angabe einer Wahrscheinlichkeit, dass die suchbare Entität oder Auslöserphrase mit der Texteingabe zusammenhängt, ausgeben.
  • Durch das lokale "vorrichtungsinterne" Speichern und Ausführen von Modellen 232 (im Gegensatz zu "vorrichtungsextern" wie bei anderen herkömmliche Suchsystemen, die auf entfernte Annotatoren, die in einem entfernten Computersystem ausgeführt werden, zurückgreifen) kann die Rechenvorrichtung 210 Suchabfragevorhersagen in Echtzeit oder nahezu Echtzeit ausführen, um so zu vermeiden, ein Textgespräch, das ein Anwender beim Tippen auf der grafischen Tastatur 116B führen kann, zu unterbrechen oder zu verzögern. Mit anderen Worten können die vorrichtungsinternen Annotatoren, die alleine oder in Kombination mit entfernten Annotatoren verwendet werden, es der Rechenvorrichtung 210 ermöglichen, eine bildbasierte Suchanfrage schneller zu bestimmen, da die Rechenvorrichtung 210 keine Informationen mit einer entfernten Rechenvorrichtung oder einem Cloud-Dienst austauschen muss, der Vorhersagen handhabt.
  • Das Suchmodul 230 kann als Antwort darauf, dass sich der Standort der Rechenvorrichtung 210 ändert, automatisch neue lokale Modelle 232A herunterladen. Beispielsweise kann das Suchmodell 230 Informationen über den aktuellen Standort der Rechenvorrichtung 210 von einer oder mehreren Kommunikationseinheiten 242 und/oder Eingabekomponenten 232 (z. B. einem GPS-Empfänger) empfangen. Als Antwort darauf, dass bestimmt wird, dass der aktuelle Standort nicht dem lokalen Modell 232A zugeordnet ist, kann das Suchmodell 230 ein entferntes Rechen System bezüglich eines lokalen Modells für den aktuellen Standort abfragen. Nach dem Empfangen des lokalen Modells für den aktuellen Standort von dem entfernten Rechensystem ersetzt das Suchmodell 230 das vorherige lokale Modell 232A durch eine Kopie des lokalen Modells für den aktuellen Standort. Mit anderen Worten kann das Suchmodul 230 in einigen Beispielen als Antwort darauf, dass bestimmt wird, dass sich die aktuelle Position der Rechenvorrichtung 210 von einem ersten Standort zu einem zweiten Standort geändert hat, von einem entfernten Computersystem ein lokales Modell von suchbaren Entitäten für den zweiten Standort erhalten und kann das vorherige lokale Modell 232A durch das lokale Modell für den zweiten Standort ersetzen.
  • Das Suchmodul 230 kann den Text, der in die grafische Tastatur 116B eingegeben wird, parsen, um suchbare Entitäten und Auslöserphrasen zu detektieren, wobei sowohl das globale Modell 232B als auch das lokale Modell 232A verwendet werden. Beispielsweise kann das LM-Modul 228 basierend auf zumindest einem Teil des Textes, den das Tastaturmodul 222 aus einer Auswahl von grafischen Tasten 118 ableitet, ein oder mehrere Worte aus einem Lexikon des LM-Moduls 228 bestimmen. Das Suchmodell 230 kann das eine oder die mehreren Worte in das lokale Modell 232A eingeben, um eine oder mehrere lokale Suchentitäten zu bestimmen, die das lokale Modell 232A als relevant für das eine oder die mehreren Worte bestimmt. Das Suchmodul 230 kann auch von dem lokalen Modell 232A eine jeweilige Punktzahl erhalten, die jeder der einen oder mehreren lokalen Suchentitäten zugeordnet ist und die Wahrscheinlichkeit angibt, dass die Suchentität für das eine oder die mehreren Worte relevant ist. Beim Identifizieren einer Suchentität, die beim Erzeugen einer bildbasierten Suchabfrage verwendet werden soll, kann das Suchmodul 230 kann die jeweiligen Punktzahlen, die den lokalen Suchentitäten zugeordnet sind, mit einer Schwelle vergleichen. Als Antwort darauf, dass bestimmt wird, dass die Punktzahl, die einer lokalen suchbaren Einheit zugewiesen ist, die Schwelle erreicht, kann das Suchmodul 230 die lokale suchbare Entität als geeignet zum Erzeugen einer vorhergesagten bildbasierten Suchabfrage identifizieren.
  • Das Suchmodell 230 kann das eine oder die mehreren Worte in das globale Modell 232B eingeben, um eine oder mehrere globale Suchentitäten zu bestimmen, die das globale Modell 232B als relevant für das ein oder mehrere Worte bestimmt. Das Suchmodul 230 kann auch aus dem globalen Modell 232B eine jeweilige Punktzahl erhalten, die jeder der einen oder mehreren globalen Suchentitäten zugeordnet ist und eine Wahrscheinlichkeit angibt, dass die Suchentität für das eine oder die mehreren Worte relevant ist. Beim Identifizieren einer Suchentität, die beim Erzeugen einer bildbasierten Suchabfrage verwendet werden soll, kann das Suchmodul 230 die jeweiligen Punktzahlen, die den globalen Suchentitäten zugeordnet sind, mit einer Schwelle vergleichen. Als Antwort darauf, dass bestimmt wird, dass die Punktzahl, die einer lokalen suchbaren Einheit zugewiesen ist, die Schwelle erreicht, kann das Suchmodul 230 die lokale suchbare Entität als geeignet zum Erzeugen einer vorhergesagten bildbasierten Suchabfrage identifizieren.
  • Das Suchmodul 230 kann unter den identifizierten globalen und lokalen Suchentitäten die eine oder die mehreren Suchentitäten mit der höchsten Punktzahl aus den lokalen und globalen Modellen 232 auswählen. Aus den Suchentitäten mit der höchsten Punktzahl kann das Suchmodul 230 eine bildbasierte Suchabfrage erzeugen.
  • Zusätzlich zum Identifizieren suchbarer Entitäten können lokale und/oder globale Modelle 232, die von dem Suchmodul 230 verwendet werden, auch ausgesuchte Kategorien von Bildsuchen vorschlagen, die beim Erzeugen von bildbasierten Suchabfragen verwendet werden sollen. Das Suchmodell 230 kann zumindest teilweise basierend auf der suchbaren Entität oder einer in der suchbaren Entität enthaltenen Auslöserphrase eine ausgesuchte Kategorie von Bildsuchen bestimmen, die der suchbaren Entität zugeordnet ist, und aus der ausgesuchten Bildsuchkategorie die bildbasierte Suchabfrage erzeugen. Beispielsweise kann das Tastaturmodul 222 Text (z. B. die Phrase "Wann ist Anstoß?"), der aus der Anwendereingabe auf der grafischen Tastatur 116B bestimmt wird, in das lokale und/oder globale Modell 232 eingeben und als Antwort darauf, dass das lokale Modell 232A erkennt, dass der Text Text eines vorgegebenen Auslösers enthält, als Ausgabe von dem Modell 232, eine oder mehrere ausgesuchte Bildsuchkategorien wie z. B. "Warten" wie in Warten auf eine Antwort empfangen.
  • Die maschinenerlernten Modelle 233 repräsentieren "vorrichtungsinterne" (z. B. lokal gespeicherte und ausgeführte) LSTM-Modelle zur Verwendung durch Annotatoren oder Textanalysemaschinen des Suchmoduls 230, um die mit lokalen und/oder globalen Modellen 232 gemachten Bestimmungen, ob ein Anwender etwas auf der grafischen Tastatur 116B eingegeben hat, das über eine bildbasierte Such suchbar ist, zu verbessern und weiter zu verfeinern. Beispielsweise kann das Suchmodul 230 das eine oder die mehreren Worte, die aus Anwenderinteraktionen mit der grafischen Tastatur 116B abgeleitet werden in die in maschinenerlernten Modelle 233 eingeben, um verfeinerte oder aktualisierte Punktzahlen zu bestimmen, die jeweils der einen oder den mehreren globalen Suchentitäten oder lokalen Suchentitäten zugeordnet sind, die von den Modellen 232 identifiziert worden sind. Auf diese Weise können die maschinenerlernten Modelle 233 die Sicherheit der Rechenvorrichtung 220 verbessern, ob ein Anwender Eingabe liefert, die mit einer suchbaren Entität in Beziehung steht.
  • In einigen Beispielen können die Annotatoren des Suchmodells 230 (die z. B. auf maschinenerlernte Modelle 233 zurückgreifen) ferner auf einen aktuellen Kontext der Rechenvorrichtung 210 zurückgreifen, um eine suchbare Entität und/oder eine ausgesuchte Bildsuchkategorie zur Verwendung beim Erzeugen einer vorhergesagten bildbasierten Suchabfrage zu bestimmen. Wie hierin verwendet spezifiziert ein aktueller Kontext die Eigenschaften der physischen und/oder virtuellen Umgebung einer Rechenvorrichtung wie beispielsweise der Rechenvorrichtung 210 und eines Anwenders der Rechenvorrichtung zu einem bestimmten Zeitpunkt. Zusätzlich wird der Begriff "Kontextinformationen" verwendet, um beliebige Informationen zu beschreiben, die von einer Rechenvorrichtung verwendet werden können, um die virtuellen und/oder physischen Umgebungseigenschaften zu definieren, die die Rechenvorrichtung und der Anwender der Rechenvorrichtung zu einer bestimmten Zeit erfahren können.
  • Beispiele für Kontextinformationen sind zahlreich und können umfassen: Sensorinformationen, die durch Sensoren (z. B. Positionssensoren, Beschleunigungsmesser, Kreisel, Barometer, Umgebungslichtsensoren, Näherungssensoren, Mikrofone und beliebige anderen Sensoren) der Rechenvorrichtung 210 erhalten werden, Kommunikationsinformationen (z. B. textbasierte Kommunikation, hörbare Kommunikation, Videokommunikation usw.), die von Kommunikationsmodulen der Rechenvorrichtung 210 gesendet und empfangen werden (z.B. einschließlich Text von anderen Anwendern in einem Gespräche mit einem Anwender der Rechenvorrichtung 210 oder Text auf einem Bildschirm von Rechenvorrichtungen der anderen Anwender), und Anwendungsnutzungsinformationen, die Anwendungen zugeordnet sind, die auf der Rechenvorrichtung 210 ausgeführt werden (z. B. Anwendungsdaten, die Anwendungen zugeordnet sind, Textkommunikation, Sprach- und Videokommunikation, Kalenderinformationen, Beiträge in sozialen Medien und damit zusammenhängende Informationen usw.). Weitere Beispiele für Kontextinformationen umfassen Signale und Informationen, die von Sendevorrichtungen erhalten werden, die sich außerhalb der Rechenvorrichtung 210 befinden.
  • Das maschinenerlernte Modell 233 kann auf Kontextinformationen zurückgreifen, die Informationen enthalten, die einem elektronischen Gespräch zugeordnet sind, das die elektronische Kommunikation, die ein Anwender zusammenstellen kann, während der Anwender eine Eingabe auf der grafischen Tastatur 116B bereitstellt, sowie eine oder mehrere andere elektronische Kommunikationsvorgänge, die von der Rechenvorrichtung 220 gesendet oder empfangen worden sind, enthält. Beispielsweise kann das Tastaturmodul 222 basierend auf den Kontextinformationen (z. B. Text oder anderen Informationen, die vorherigen Nachrichten zugeordnet sind, die von der Rechenvorrichtung 220 gesendet worden sind. und Text oder anderen Informationen, die vorherigen Nachrichten zugeordnet sind, die von der Rechenvorrichtung 220 empfangen worden sind) und aus dem maschinenerlernten Modell 233 eine Punktzahl, die einer suchbaren Entität durch das globale Modell 232B oder das lokale Modell 232A zugewiesen ist, modifizieren. Nach dem Modifizieren oder Verfeinern der Punktzahl, die der suchbaren Entität zugewiesen ist, und als Antwort auf das Bestimmen der Punktzahl, die der suchbaren Entität zugewiesen ist, kann ein Tastaturmodul 222 die suchbare Entität identifizieren.
  • Das Suchmodul 230 kann auf künstliche Intelligenz und Maschinenlerntechniken, die von den maschinenerlernten Modellen 233 durchgeführt werden, zurückgreifen, um mit einem Grad an Sicherheit zu bestimmen, ob ein Anwender über eine bestimmte ausgesuchte Bildsuchkategorie für einen bestimmten Kontext schreibt. Beispielsweise können die Annotatoren des Suchmoduls 230 unter Verwendung einer oder mehrerer Regeln von maschinenerlernten Modellen 233 über das, was andere Personen in Chatgesprächen für verschiedene Kontexte eingeben, Regeln zum Ableiten von ausgesuchten Bildsuchkategorien basierend auf Texteingaben und einem bestimmten Kontext erzeugen. Unter Verwendung der Regeln können die Annotatoren mit einem Grad an Sicherheit vorhersagen, ob ein Anwender mit dem Chatten aufgehört hat oder ob der Anwender über eine ausgesuchte Bildsuchkategorie chattet, die mit der Texteingabe in Beziehung stehen kann. Wenn der Grad an Sicherheit (z. B. eine Wahrscheinlichkeit) eine Schwelle erreicht, kann das Tastaturmodul 122 die ausgesuchte Bildsuchkategorie beim Erzeugen einer Abfrage verwenden.
  • Unter Verwendung von maschinenerlernten Modellen 233 kann das Suchmodul 230 auf den aktuellen Kontext der Rechenvorrichtung 210 zurückgreifen, um eine Mehrdeutigkeit beim Bestimmen von suchbaren Einheiten zu beheben. Wenn z. B. der Text eines Chatgesprächs die Phrase "Wann ist Anstoß" enthält, kann das Suchmodul 230 aus dem globalen Modell 232B die Namen von mehreren Profifußballmannschaften, die voraussichtlich an diesem Tag spielen, erhalten. Das Suchmodell 230 kann auf der Basis des aktuellen Standortes der Rechenvorrichtung 210 und unter Verwendung von maschinenerlernten Modellen 233 ableiten, dass der Anwender wahrscheinlich auf die Profimannschaft Bezug nimmt, die einem Standort zugeordnet ist, die dem aktuellen Standort der Rechenvorrichtung 210 am nächsten ist, und zwar als die Profimannschaft, auf die sich der Anwender bezieht.
  • Zusätzlich zum Zurückgreifen auf den Text einer aktuellen Nachricht, die an der Rechenvorrichtung 210 eingegeben wird, können die maschinenerlernten Modelle 233 das Suchmodul 230 aktivieren, um auf vorhergehende Wörter, Sätze usw. zurückzugreifen, die vorherigen Nachrichten zugeordnet sind, die von der Rechenvorrichtung 210 gesendet und/oder empfangen worden sind, um eine Suchanfrage vorzuschlagen. Mit anderen Worten kann das Suchmodul 230 unter Verwendung von maschinenerlernten Modellen 233 auf den Text eines ganzen Gesprächs mit mehreren Nachrichten, die die Rechenvorrichtung 210 gesendet und empfangen hat, zurückgreifen, um eine bildbasierte Suchanfrage zu bestimmen, die wahrscheinlich für ein aktuelles Gespräch relevant ist.
  • 3 ist ein Blockdiagramm, das eine beispielhafte Rechenvorrichtung, die grafischen Inhalt zur Anzeige auf einer entfernten Vorrichtung ausgibt, gemäß einer oder mehreren Techniken der vorliegenden Offenbarung darstellt. Grafischer Inhalt kann im Allgemeinen alle visuellen Informationen enthalten, die zur Anzeige ausgegeben werden können, wie beispielsweise Text, Bilder, eine Gruppe von bewegten Bildern, um nur einige Beispiele zu nennen. Das in 3 gezeigte Beispiel enthält eine Rechenvorrichtung 310, eine PSD 312, eine Kommunikationseinheit 342, eine mobile Vorrichtung 386 und eine visuelle Anzeigekomponente 390. In einigen Beispielen kann die PSD 312 eine präsenzempfindliche Anzeige sein, wie sie in 1–2 beschrieben ist. Obwohl für Beispielzwecke sie in 1 und 2 als eigenständige Rechenvorrichtung 110 gezeigt ist, kann eine Rechenvorrichtung wie beispielsweise die Rechenvorrichtung 310 im Allgemeinen eine beliebige Komponente oder ein beliebiges System sein, das einen Prozessor oder eine andere geeignete Rechenumgebung zum Ausführen von Softwarebefehlen enthält und muss beispielsweise keine präsenzempfindliches Anzeige enthalten.
  • Wie in dem Beispiel von 3 gezeigt kann die Rechenvorrichtung 310 ein Prozessor sein, der eine Funktionalität aufweist, wie sie mit Bezug auf die Prozessoren 240 in 2 beschrieben ist. In solchen Beispielen kann die Rechenvorrichtung 310 betriebstechnisch über einen Kommunikationskanal 362A, der ein Systembus oder eine andere geeignete Verbindung sein kann, mit der PSD 312 gekoppelt sein. Die Rechenvorrichtung 310 kann auch betriebstechnisch über einen Kommunikationskanal 362B, der auch ein Systembus oder eine andere geeignete Verbindung sein kann, mit der Kommunikationseinheit 342, die weiter unten beschrieben ist, gekoppelt sein. Obwohl als Beispiel in 3 separat gezeigt, kann die Rechenvorrichtung 310 betriebstechnisch mit der PSD 312 und der Kommunikationseinheit 342 über eine beliebige Anzahl von einem oder mehreren Kommunikationskanälen gekoppelt sein.
  • In anderen Beispielen, wie sie zuvor von der Rechenvorrichtung 110 in 1–2 veranschaulicht werden, kann sich eine Rechenvorrichtung auf eine tragbare oder mobile Vorrichtung wie Mobiltelefone (einschließlich Smartphones), Laptop-Computer usw. beziehen. In einigen Beispielen kann eine Rechenvorrichtung ein Desktop-Computer, ein Tablet-Computer, eine intelligente Fernsehplattform, eine Kamera, ein persönlicher digitaler Assistent (PDA), ein Server oder Großrechner sein.
  • Die PSD 312 kann eine Anzeigekomponente 302 und eine präsenzempfindliche Eingabekomponente 304 umfassen. Die Anzeigekomponente 302 kann beispielsweise Daten von der Rechenvorrichtung 310 empfangen und den grafischen Inhalt anzeigen. In einigen Beispielen kann die präsenzempfindliche Eingabekomponente 304 eine oder mehrere Anwendereingaben (z. B. kontinuierliche Gesten, Mehrfachberührungsgesten, Einzelberührungsgesten) an der PSD 312 unter Verwendung kapazitiver, induktiver und/oder optischer Erkennungstechniken bestimmen und Angaben einer solchen Anwendereingabe unter Verwendung des Kommunikationskanals 362A an die Rechenvorrichtung 310 senden. In einigen Beispielen kann die präsenzempfindliche Eingabekomponente 304 physisch auf der Oberseite der Anzeigekomponente 302 positioniert sein, so dass dann, wenn ein Anwender eine Eingabeeinheit über einem grafischen Element positioniert, das durch die Anzeigekomponente 302 angezeigt wird, die Stelle, an der die präsenzempfindliche Eingabekomponente 304 ist, der Position der Anzeigekomponente 302, an der das grafische Element angezeigt wird, entspricht.
  • Wie in 3 gezeigt kann die Rechenvorrichtung 310 auch eine Kommunikationseinheit 342 umfassen und/oder betriebstechnisch mit dieser gekoppelt sein. Die Kommunikationseinheit 342 kann die Funktionalität der Kommunikationseinheit 242 umfassen, wie sie in 2 beschrieben ist. Beispiele der Kommunikationseinheit 342 können eine Netzschnittstellenkarte, eine Ethernet-Karte, einen optischen Sendeempfänger, einen Hochfrequenz-Sendeempfänger oder irgendeine andere Art von Vorrichtung umfassen, die Informationen senden und empfangen kann. Andere Beispiele solcher Kommunikationseinheiten können Bluetooth-, 3G- und WiFi-Funkvorrichtungen, USB-Schnittstellen usw. umfassen. Die Rechenvorrichtung 310 kann auch mit einer oder mehreren anderen Vorrichtungen (z. B. Eingabevorrichtungen, Ausgabekomponenten, Speicher, Speichervorrichtungen), die in 3 der Kürze und Veranschaulichung halber nicht gezeigt sind, betriebstechnisch gekoppelt sein.
  • 3 stellt zudem die mobile Vorrichtung 386 und die visuelle Anzeigekomponente 390 dar. Die mobile Vorrichtung 386 und die visuelle Anzeigekomponente 390 können jeweils Rechen- und Verbindungsfähigkeiten umfassen. Beispiele der mobilen Vorrichtung 386 können E-Reader-Vorrichtungen, konvertierbare Notebook-Vorrichtungen, Hybridtafelvorrichtungen usw. umfassen. Beispiele für die visuelle Anzeigekomponente 390 können andere Vorrichtungen wie Fernseher, Computermonitore usw. umfassen. In einigen Beispielen kann die visuelle Anzeigekomponente 390 eine Fahrzeugkabinenanzeige oder eine Navigationsanzeige (z. B. in einem Auto, Flugzeug oder einem anderen Fahrzeug) sein. In einigen Beispielen kann die visuelle Anzeigekomponente 390 eine Haushaltsautomatisierungsanzeige oder eine andere Art von Anzeige sein, die von der Rechenvorrichtung 310 getrennt ist.
  • Wie in 3 gezeigt kann die mobile Vorrichtung 386 eine präsenzempfindliche Anzeige 388 enthalten. Die visuelle Anzeigekomponente 390 kann eine präsenzempfindliche Anzeige 392 enthalten. Die präsenzempfindlichen Anzeigen 388, 392 können eine Untermenge oder die Gesamtheit der Funktionalität der präsenzempfindlichen Anzeige 112, 212 und/oder 312 umfassen, wie sie in dieser Offenbarung beschrieben ist. In einigen Beispielen können die präsenzempfindlichen Anzeigen 388, 392 zusätzliche Funktionalität umfassen. In jedem Fall kann die präsenzempfindliche Anzeige 392 beispielsweise Daten von der Rechenvorrichtung 310 empfangen und den grafischen Inhalt anzeigen. In einigen Beispielen kann die präsenzempfindliche Anzeige 392 eine oder mehrere Anwendereingaben (z. B. kontinuierliche Gesten, Mehrfachberührungsgesten, Einzelberührungsgesten) auf dem Projektorbildschirm unter Verwendung kapazitiver, induktiver und/oder optischer Erkennungstechniken bestimmen und Angaben einer solchen Anwendereingabe unter Verwendung einer oder mehrerer Kommunikationseinheiten an die Rechenvorrichtung 310 senden.
  • Wie oben beschrieben kann die Rechenvorrichtung 310 in einigen Beispielen grafischen Inhalt zur Anzeige auf der PSD 312 ausgeben, die mit der Rechenvorrichtung 310 über einen Systembus oder einen anderen geeigneten Kommunikationskanal gekoppelt ist. Die Rechenvorrichtung 310 kann auch grafischen Inhalt zur Anzeige auf einer oder mehreren entfernten Vorrichtungen wie etwa einer solchen mobilen Vorrichtung 386 und einer visuellen Anzeigekomponente 390 ausgeben. Beispielsweise kann die Rechenvorrichtung 310 einen oder mehrere Befehle ausführen, um den grafischen Inhalt gemäß den Techniken der vorliegenden Offenbarung zu erzeugen und/oder zu modifizieren. Die Rechenvorrichtung 310 kann die Daten, die den grafischen Inhalt enthalten, an eine Kommunikationseinheit der Rechenvorrichtung 310 wie beispielsweise die Kommunikationseinheit 342 ausgeben. Die Kommunikationseinheit 342 kann die Daten an eine oder mehrere der entfernten Vorrichtungen wie beispielsweise die mobile Vorrichtung 386 und/oder die visuelle Anzeigekomponente 390 senden. Auf diese Weise kann die Rechenvorrichtung 310 den grafischen Inhalt zur Anzeige auf einer oder mehreren der entfernten Vorrichtungen ausgeben. In einigen Beispielen können eine oder mehrere der entfernten Vorrichtungen den grafischen Inhalt auf einer präsenzempfindlichen Anzeige ausgeben, die in den jeweiligen entfernten Vorrichtungen enthalten ist und/oder betriebstechnisch mit diesen gekoppelt ist.
  • In einigen Beispielen kann die Rechenvorrichtung 310 keinen grafischen Inhalt an die PSD 312 ausgeben, die betriebstechnisch mit der Rechenvorrichtung 310 gekoppelt ist. In anderen Beispielen kann die Rechenvorrichtung 310 grafischen Inhalt zur Anzeige auf sowohl der PSD 312, die mit der Rechenvorrichtung 310 über den Kommunikationskanal 362A gekoppelt ist, als auch auf einer oder mehreren entfernten Vorrichtungen ausgeben. In solchen Beispielen kann der grafische Inhalt im Wesentlichen gleichzeitig auf jeder jeweiligen Vorrichtung angezeigt werden. In einigen Beispielen kann der grafische Inhalt, der durch die Rechenvorrichtung 310 erzeugt wird und zur Anzeige auf der PSD 312 ausgegeben wird, sich von dem grafischen Inhalt, der zur Anzeige auf einer oder mehreren entfernten Vorrichtungen ausgegeben wird, unterscheiden.
  • Die Rechenvorrichtung 310 kann Daten unter Verwendung irgendwelcher geeigneten Kommunikationstechniken senden und empfangen. Beispielsweise kann die Rechenvorrichtung 310 mit dem externen Netz 374 unter Verwendung der Netzverbindung 373A betriebstechnisch gekoppelt sein. Jede der in 3 gezeigten entfernten Vorrichtungen kann betriebstechnisch mit einem netzexternen Netz 374 durch eine der jeweiligen Netzverbindungen 373B oder 373C gekoppelt sein. Das externe Netz 374 kann Netz-Hubs, Netz-Switches, Netz-Router usw. umfassen, die betriebstechnisch miteinander gekoppelt sind, wodurch der Austausch von Informationen zwischen der Rechenvorrichtung 310 und den in 3 gezeigten entfernten Vorrichtungen bereitgestellt wird. In einigen Beispielen können die Netzverbindungen 373A–373C Ethernet, ATM oder andere Netzverbindungen sein. Solche Verbindungen können drahtlose und/oder drahtgebundene Verbindungen sein.
  • In einigen Beispielen kann die Rechenvorrichtung 310 betriebstechnisch mit einer oder mehreren der in 1 enthaltenen entfernten Vorrichtungen unter Verwendung direkter Vorrichtungskommunikation 378 gekoppelt sein. Die direkte Vorrichtungskommunikation 378 kann Kommunikation umfassen, durch die die Rechenvorrichtung 310 direkt Daten mit einer entfernten Vorrichtung austauscht, wobei eine drahtgebundene oder drahtlose Kommunikation verwendet wird. Das heißt, in einigen Beispielen der direkten Vorrichtungskommunikation 378 können Daten, die von der Rechenvorrichtung 310 gesendet werden, nicht durch eine oder mehrere zusätzliche Vorrichtungen weitergeleitet werden, bevor sie an der entfernten Vorrichtung empfangen werden, und umgekehrt. Beispiele für die direkte Vorrichtungskommunikation 378 können Bluetooth, Nahfeldkommunikation, USB, WiFi, Infrarot usw. umfassen. Eine oder mehrere der entfernten Vorrichtungen, die in 3 dargestellt sind, kann betriebstechnisch mit der Rechenvorrichtung 310 über Kommunikationsverbindungen 376A–376C gekoppelt sein. In einigen Beispielen können die Kommunikationsverbindungen 376A–376C Verbindungen sein, die Bluetooth, Nahfeldkommunikation, USM, Infrarot usw. verwenden. Solche Verbindungen können drahtlose und/oder drahtgebundene Verbindungen sein.
  • Gemäß den Techniken der Offenbarung kann die Rechenvorrichtung 310 mit der visuellen Anzeigekomponente 390 unter Verwendung eines externen Netzes 374 betriebstechnisch gekoppelt sein. Die Rechenvorrichtung 310 kann eine grafische Tastatur zur Anzeige auf der PSD 392 ausgeben. Zum Beispiel kann die Rechenvorrichtung 310 Daten, die eine Darstellung der grafischen Tastatur enthalten, an die Kommunikationseinheit 342 senden. Die Kommunikationseinheit 342 kann die Daten, die die Darstellung der grafischen Tastatur enthalten, unter Verwendung eines externen Netzes 374 an die visuelle Anzeigekomponente 390 senden. Die visuelle Anzeigekomponente 390 kann als Antwort auf ein Empfangen der Daten unter Verwendung eines externen Netzes 374 veranlassen, dass die PSD 392 die grafische Tastatur ausgibt. Als Antwort auf ein Empfangen einer Anwendereingabe an der PSD 392, um eine oder mehrere Tasten der Tastatur auszuwählen, kann die visuelle Anzeigevorrichtung 130 eine Angabe der Anwendereingabe unter Verwendung eines externen Netzes 374 an die Rechenvorrichtung 310 senden. Die Kommunikationseinheit 342 kann die Angabe der Anwendereingabe empfangen und die Angabe an die Rechenvorrichtung 310 senden.
  • Die Rechenvorrichtung 310 kann basierend auf der Anwendereingabe eine Auswahl einer oder mehrerer Tasten bestimmen. Die Rechenvorrichtung 310 kann basierend auf der Auswahl einer oder mehrerer Tasten ein oder mehrere Worte bestimmen. Die Rechenvorrichtung 310 kann zumindest teilweise basierend auf dem einen oder den mehreren Worte eine suchbare Entität identifizieren und auf der Basis der suchbaren Entität eine bildbasierte Suchanfrage erzeugen. Die Rechenvorrichtung 310 kann eine grafische Angabe, um anzugeben, dass die Rechenvorrichtung die bildbasierte Suchanfrage erzeugt hat, zur Anzeige innerhalb der grafischen Tastatur ausgeben. Die Kommunikationseinheit 342 kann die Darstellung der aktualisierten grafischen Anwenderschnittstelle empfangen und kann die Darstellung an die visuelle Anzeigekomponente 390 senden, so dass die visuelle Anzeigekomponente 390 veranlassen kann, dass die PSD 392 die aktualisierte grafische Tastatur einschließlich der grafischen Angabe, um anzugeben, dass die Rechenvorrichtung die Suchanfrage erzeugt hat, ausgibt.
  • 4A–4E sind konzeptionelle Darstellungen, die beispielhafte grafische Anwenderschnittstellen einer beispielhaften Rechenvorrichtung, die dazu ausgelegt ist, eine grafische Tastatur mit integrierten Suchmerkmalen darzustellen, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung zeigen. 4A–4E zeigen beispielhafte grafische Anwenderschnittstellen 414A–414E (gemeinsam Anwenderschnittstellen 414). Jedoch können viele andere Beispiele von grafischen Anwenderschnittstellen in anderen Fällen verwendet werden. Jede der grafischen Anwenderschnittstellen 414 kann einer grafischen Anwenderschnittstelle entsprechen, die durch die Rechenvorrichtungen 110 oder 210 von 1 bzw. 2 angezeigt werden. 4A–4E sind nachfolgend im Zusammenhang mit der Rechenvorrichtung 110 beschrieben.
  • Die grafischen Anwenderschnittstellen 414 umfassen einen Ausgabebereich 416A, einen Bearbeitungsbereich 416C und die grafische Tastatur 416B. Die grafische Tastatur 416B enthält einen Vorschlagsbereich 418B, mehrere Tasten 418A und ein Suchelement 418C.
  • Wie in 4A gezeigt kann die Rechenvorrichtung 110 eine elektronische Kommunikation (z. B. eine Textnachricht) von einer Vorrichtung, die einem Freund zugeordnet ist, empfangen. Die Rechenvorrichtung 110 kann den Inhalt der elektronischen Kommunikation zur Anzeige innerhalb des Ausgabebereichs 416A ausgeben. Der Inhalt der Nachricht kann die Phrase " Du musst mich heute nicht mitnehmen, sondern wir sehen uns dort" enthalten.
  • Der Anwender der Rechenvorrichtung 110 kann mit der grafischen Tastatur 416B interagieren, um eine Antwort auf die Nachricht von dem Freund zusammenzustellen. Wie in 4B durch halbtransparente Kreise, die verschiedenen einzelnen grafischen Tasten 418A überlagert sind, (die durch die Rechenvorrichtung 110 angezeigt werden können oder nicht) dargestellt kann der Anwender auf eine oder mehrere Tasten 418A tippen oder gestikulieren, um die Antwort einzugeben. Das Tastaturmodul 122 der Rechenvorrichtung 110 kann eine Angabe der Anschläge oder Gesten an den Tasten 418A empfangen und auf der Basis der Anwendereingabe einen Text bestimmen, den die Rechenvorrichtung 110 formatiert und in dem Bearbeitungsbereich 416C anzeigt. Zum Beispiel kann die Rechenvorrichtung 110 dann, wenn der Anwender "kling" eintippt, veranlassen, dass der Bearbeitungsbereich 416C "kling" anzeigt. Zusätzlich kann das Tastaturmodul 122 der Rechenvorrichtung 110 dann, wenn der Anwender auf den grafischen Tasten 418A tippt, ein oder mehrere Kandidatenworte basierend auf der Anwendereingabe vorhersagen und ein oder mehrere der Kandidatenworte innerhalb des Vorschlagsbereichs 418B anzeigen.
  • Wie in 4C gezeigt kann das Tastaturmodul 122 der Rechenvorrichtung 110 zusätzliche Angaben von Anschlägen oder Gesten an den Tasten 418A empfangen und weiterhin auf der Basis der Anwendereingabe den Text bestimmen, den die Rechenvorrichtung 110 formatiert und in dem Bearbeitungsbereich 416C anzeigt. Zum Beispiel kann das Tastaturmodul 122 der Rechenvorrichtung 110 dann, wenn der Anwender "kling" eintippt, veranlassen, dass der Bearbeitungsbereich 416C "kling" anzeigt. Zusätzlich kann das Tastaturmodul 122 der Rechenvorrichtung 110 dann, wenn der Anwender auf den grafischen Tasten 418A tippt, ein oder mehrere Kandidatenworte basierend auf der Anwendereingabe vorhersagen und ein oder mehrere der Kandidatenworte innerhalb des Vorschlagsbereichs 418B anzeigen. Beispielsweise kann die Rechenvorrichtung wie in 4C gezeigt, 110 "klingt", "klingt gut" und "Klingel" als vorgeschlagene Worte aus einem Lexikon in dem Vorschlagsbereich 418B präsentieren. Als Antwort auf ein Detektieren einer Auswahl eines vorgeschlagenen Wortes in dem Vorschlagsbereich 418B und ferner nach Detektieren einer Auswahl der "Sendetaste" der grafischen Tasten 418A kann die Rechenvorrichtung 110 eine elektronische Nachricht, die den Text "Klingt gut" enthält, zusammenstellen und an die Rechenvorrichtung, die dem Freund zugeordnet ist, senden. Wie in 4D gezeigt kann die Rechenvorrichtung 110 den Inhalt der elektronischen Nachricht zur Anzeige innerhalb des Ausgabebereichs 416A ausgeben.
  • Nachdem der Anwender das Eintippen des einer elektronischen Kommunikation zugeordneten Textes beendet hat, kann das Tastaturmodul 122 der Rechenvorrichtung 110 automatisch darauf schließen, dass der Anwender mit dem Eintippen fertig ist, und als Antwort eine oder mehrere bildbasierte Suchabfragen vorhersagen, die einen Anwender der Rechenvorrichtung 110 interessieren können, um zusätzlichen Text zusammenzustellen, der dem elektronischen Gespräch zugeordnet ist, das der Anwender mit dem Freund hat. Beispielsweise kann das Tastaturmodul 122 der Rechenvorrichtung 110 die bildbasierte Suchanfrage als Antwort auf ein Bestimmen eines Endes des Textes, der einer elektronischen Kommunikation zugeordnet ist, bestimmen, indem zumindest bestimmt wird, dass eine letzte Taste einer Auswahl einer oder mehrerer Tasten 418A einer Interpunktionstaste entspricht, der einem Interpunktionszeichen zugeordnet ist. Mit anderen Worten kann das Tastaturmodul 122 eine Suchanfrage, die dem Text zugeordnet ist, als Antwort darauf bestimmen, dass ein letztes Zeichen in dem Text ein Interpunktionszeichen (z. B. '?', '.', '!' oder ein anderes Interpunktionszeichen) ist. In anderen Beispielen kann das Tastaturmodul 122 der Rechenvorrichtung 110 die bildbasierte Suchanfrage als Antwort auf ein Bestimmen eines Endes des Textes, der einer elektronischen Kommunikation zugeordnet ist, bestimmen, indem zumindest bestimmt wird, dass eine letzte Taste einer Auswahl einer oder mehrerer Tasten 418A einer Sendetaste der grafischen Tastatur zum Senden der elektronischen Kommunikation entspricht. Mit anderen Worten kann das Tastaturmodul 122 eine bildbasierte Suchanfrage, die dem Text zugeordnet ist, als Antwort darauf vorhersagen, dass eine von einem Anwender ausgewählte letzte Taste die "Sendetaste" oder "Eingabetaste" ist, die, wenn sie ausgewählt ist, die Chatanwendung der Rechenvorrichtung 110 dazu veranlasst, eine Nachricht zu senden.
  • Als Antwort auf das Bestimmen des Endes des Textes oder ein anderweitiges Ableiten, dass der Anwender das Zusammenstellen zumindest eines Teils des Inhalts einer elektronischen Kommunikation beendet hat, kann das Tastaturmodul 122 in den Suchmodus eintreten und eine bildbasierte Suchanfrage vorhersagen, die für den Text relevant sein kann. In dem Beispiel von 4D kann das Tastaturmodul 122 den Text "klingt gut" analysieren und bestimmen, dass die Phrase "klingt gut" eine Auslöserphrase für den Verweis auf eine "Daumen hoch"-Kategorie der Bildsuche ist. Das Tastaturmodul 122 kann automatisch eine ausgesuchte Bildsuchkategorie "Daumen hoch" Text zuordnen, wenn das Tastaturmodul 122 die Auslöserphrase "klingt gut" identifiziert. Darüber hinaus kann das Tastaturmodul 122 den Inhalt des Textes innerhalb des aktuellen Kontextes der Rechenvorrichtung 110 analysieren, um mehr Sicherheit zu erhalten, dass der Anwendertext auf eine "Daumen hoch"-Kategorie der bildbasierten Suche bezogen sein könnte. Das heißt, dass der aktuelle Kontext der Rechenvorrichtung 110 eine zuvor empfangene Nachricht enthält, in der der Text "Sehen uns dort" enthalten ist. Das Tastaturmodul 122 kann eine Punktzahl, die der "Daumen hoch"-Kategorie der bildbasierten Suche zugeordnet ist, als Antwort auf das Bestimmen, dass sich die vorherige Nachricht "Sehen uns dort" bezieht, erhöhen und eine bildbasierte Suchanfrage zum Durchführen einer bildbasierten Suche, um verschiedene Bilder in der "Daumen hoch"-Kategorie der Suche zu identifizieren, erzeugen.
  • In einigen Beispielen kann die Rechenvorrichtung 110 ein visuelles Format einer Suchtaste aus den mehreren Tasten modifizieren, um anzugeben, dass die Rechenvorrichtung die bildbasierte Suchanfrage erzeugt hat. Beispielsweise hat sich das Suchelement 418C wie in 4D gezeigt von einem ersten visuellen Format, in dem das Suchelement 418C eine erste Farbpalette aufweist, zu einem zweiten visuellen Format, in dem das Suchelement 418C mit einer zweiten Farbpalette angezeigt wird, geändert. In anderen Beispielen kann die Rechenvorrichtung 110 veranlassen, dass das Suchelement 418C aufblitzt, sich bewegt, die Größe ändert oder sich in einer anderen Weise verändert, mit der ein Anwender darüber alarmiert werden kann, dass die Rechenvorrichtung 110 automatisch eine bildbasierte Suchabfrage basierend auf Texteingaben auf der grafischen Tastatur 416B erzeugt hat.
  • In einigen Beispielen kann die Rechenvorrichtung 110 angeben, dass die Rechenvorrichtung die bildbasierte Suchanfrage erzeugt hat, indem sie Text der erzeugten Abfrage ausgibt. Beispielsweise kann die Rechenvorrichtung 110 den Text einer automatisch erzeugten Suchanfrage als Vorschlag innerhalb des Vorschlagsbereichs 418B der grafischen Tastatur 416B ausgeben, so dass die bildbasierte Suchanfrage, wenn sie innerhalb des Vorschlagsbereichs 418B angezeigt wird, in und unter Sprache, Kandidatenworten oder Phrasen (z. B. nicht suchbezogenen Vorschlägen) angezeigt wird. In anderen Beispielen kann die Rechenvorrichtung 110 angeben, dass die Rechenvorrichtung die bildbasierte Suchanfrage erzeugt hat, indem sie ein Piktogramm ausgibt, das bildbasierte Suchen repräsentiert oder generisch dafür ist. Beispielsweise kann die Rechenvorrichtung 110 wie in 4D gezeigt das Symbol "GIF" ausgeben, das bildbasierte Suchen für animierte und nicht-animierte Bilder des GIF-Komprimierungsformats repräsentiert und üblicherweise damit verknüpft wird.
  • In einigen Beispielen kann die Rechenvorrichtung 110 Text einer bildbasieren Suchanfrage innerhalb eines separaten Suchbereichs der grafischen Tastatur anzeigen. Der Suchbereich kann sich von einem Vorschlagsbereich 418B der grafischen Tastatur 416B, in dem vorgeschlagene Wörter zur Texteingabe angezeigt werden, unterscheiden. Beispielsweise kann der Suchbereich zwischen den grafischen Tasten 418A und dem Vorschlagsbereich 418C positioniert sein oder der Suchbereich kann zwischen dem Bearbeitungsbereich 416C oder dem Ausgangsbereich 416A und dem Vorschlagsbereich 418B positioniert sein. In einigen Beispielen kann die Rechenvorrichtung 110 sogar den Vorschlagsbereich 418B mit dem Suchbereich ersetzen.
  • Nach Anzeigen einer vorgeschlagenen bildbasierten Suchabfrage kann die Rechenvorrichtung 110 eine Angabe einer Auswahl der grafischen Anzeige empfangen und als Antwort auf das Empfangen der Anzeige der Auswahl der grafischen Angabe kann die Rechenvorrichtung 110 auf der Basis der Suchanfrage eine Suche nach Informationen durchführen. Beispielsweise kann das Tastaturmodul 122 wie in 4D gezeigt eine Angabe der Anwendereingabe empfangen, die an einer Stelle detektiert wird, an der das Piktogramm, das für bildbasierte Suchen repräsentativ ist, innerhalb des Vorschlagsbereichs 418B angezeigt wird. Als Antwort auf das Empfangen der Angabe der Anwendereingabe kann das Tastaturmodul 122 eine bildbasierte Suche basierend auf der ausgewählten bildbasierten Suchanfrage ausführen.
  • Nach dem Ausführen der Suche nach Informationen kann die Rechenvorrichtung 110 durch Ersetzen zumindest eines Teils der mehreren Tasten 418A der grafischen Tastatur 416B eine grafische Angabe eines oder mehrerer Suchergebnisse, die durch die bildbasierte Suche erhalten werden, zur Anzeige ausgeben. Beispielsweise kann das Tastaturmodul 122 wie in 4E gezeigt bildbasierte Suchergebnisse basierend auf der ausgewählten bildbasierten Suchabfrage erhalten und die bildbasierten Suchergebnisse in einzelne Suchkarten 418D formatieren, wobei das Tastaturmodul 122 die Rechenvorrichtung 110 dazu veranlasst, diese als Überlagerungen auf den grafischen Tasten 418A anzuzeigen. Der Inhalt jeder der einzelnen Suchkarten 418D kann jede Art von grafischem Inhalt sein, einschließlich statischer Bilder, dynamischer Bilder oder irgendeines anderen grafischen Inhalts, der von einer bildbasierten Suche zurückgegeben wird. Wenn der Inhalt einer der einzelnen Suchkarten 418D auf ein dynamisches Bild (z. B. eine Animation oder einen Film) Bezug nimmt, kann die Rechenvorrichtung 110 veranlassen, dass die UID 112 das dynamische Bild als ein sich bewegendes oder sich änderndes Bild darstellt. Mit anderen Worten kann dann. wenn ein Suchergebnis ein Video, eine Animation usw. ist, das Video oder die Animation automatisch abgespielt werden, während sie in dem Karussell angezeigt wird. In anderen Beispielen kann der dynamische Inhalt pausiert werden oder sich nicht bewegen (z. B. als statisches Bild). Anders gesagt kann die Rechenvorrichtung 110 veranlassen, dass Suchergebnisse als dynamische Bilder in der grafischen Tastatur 416B dargestellt werden.
  • In dem Beispiel von 4E sind die Suchkarten 418D in einem Karussellformat dargestellt, so dass ein Anwender nach links oder rechts wischen kann, um zu einem nachfolgenden Suchergebnis zu gelangen, oder ein Suchergebnis aus dem Karussell in einen Bearbeitungsbereich 416C oder Ausgabebereich 416A ziehen kann. In einigen Beispielen kann die Rechenvorrichtung 110 ferner einen Suchkasten zusätzlich zu den Suchkarten 418D bereitstellen, so dass ein Anwender manuell nachfolgende Suchvorgänge eingeben kann und die Rechenvorrichtung 110 dazu veranlassen kann, diese durchzuführen. Auf diese Weise stellt das Tastaturmodul 122 zweckmäßigerweise eine selbsterzeugte bildbasierte Suchanfrage innerhalb der grafischen Tastatur 416B dar, die nach der Auswahl die Rechenvorrichtung 110 dazu veranlasst, bildbasierte Suchergebnisse direkt in der grafischen Tastatur 416B darzustellen. Auch in dem Beispiel von 4E sind die Suchkarten 418D einer bestimmten, ausgesuchten Kategorie einer bildbasierten Suche zugeordnet (z. B. der "Daumen hoch"-Kategorie). Ein Anwender kann zu einer anderen Kategorie der Suche blättern, indem er eine Eingabe in dem Text einer anderen ausgesuchten bildbasierten Suchkategorie liefert. In einigen Beispielen kann die Rechenvorrichtung 110 dann, wenn eine vorgeschlagene bildbasierte Suchanfrage nicht einer bestimmten ausgesuchten bildbasierten Suchkategorie zugeordnet ist, veranlassen, dass den grafischen Tasten 418A ein Menü überlagert wird, von dem aus ein Anwender durch bildbasierte Suchergebnisse für diese vorhergesagte bildbasierte Suchanfrage blättern kann, und obwohl das Suchfeld mit der vorhergesagten bildbasierten Abfrage gefüllt sein kann, kann vielleicht keine der ausgesuchten Kategorien ausgewählt werden.
  • In einigen Beispielen kann das Tastaturmodul 122 als Antwort auf das Bestimmen des Endes des Textes oder auf ein anderweitiges Ableiten, dass der Anwender das Zusammenstellen zumindest eines Teils des Inhalts einer elektronischen Kommunikation beendet hat, in den Suchmodus eintreten, eine bildbasierte Suchabfrage, die für den Text relevant sein kann, vorhersagen und dann sofort ausführen und bildbasierte Suchergebnisse darstellen, aus denen ein Anwender auswählen und eine nachfolgende Kommunikation eingehen kann. Wenn der Anwender beispielsweise eine Eingabe auf der Sendetaste (wie in 4C gezeigt) vornimmt, kann die Rechenvorrichtung 110 automatisch veranlassen, dass die UID 112 die in 4F gezeigte grafische Anwenderschnittstelle 414F darstellt.
  • Wie in 4F gezeigt kann das Tastaturmodul 122 auf der Grundlage der ausgewählten bildbasierten Suchabfrage bildbasierte Suchergebnissen erhalten und die bildbasierten Suchresultate in einzelne Suchkarten 418D formatieren, wobei das Tastaturmodul 122 veranlasst, dass die Rechenvorrichtung 110 diese in der grafischen Tastatur 416B und über grafischen Tasten 418A anzeigt. In dem Beispiel von 4F können Suchkarten 418D in einem Karussellformat dargestellt werden, so dass ein Anwender nach links oder rechts wischen kann, um zu einem nachfolgenden Suchergebnis zu gelangen, oder ein Suchergebnis aus dem Karussell in einen Bearbeitungsbereich 416C oder den Ausgabebereich 416A ziehen kann. Und in einigen Beispielen können die Suchkarten 418D mit einer "Mehr-Ergebnisse-Karte" dargestellt werden, die, wenn sie basierend auf Anwendereingaben ausgewählt wird, veranlassen kann, dass zusätzliche Suchergebnisse angezeigt werden (z. B. durch Öffnen einer ausgesuchten Suchkategorieseite). Ähnlich wie in 4E kann ein Anwender in der Lage sein, sofort auf die Karte 418D zu tippen, um diese in einer Kommunikation zu teilen.
  • 5 ist ein Ablaufdiagramm, das beispielhafte Operationen einer Rechenvorrichtung, die dazu ausgelegt ist, eine grafische Tastatur mit integrierten bildbasierten Suchmerkmalen darzustellen, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung veranschaulicht. Die Operationen von 5 können von einem oder mehreren Prozessoren einer Rechenvorrichtung wie beispielsweise den Rechenvorrichtungen 110 von 1 oder der Rechenvorrichtung 210 von 2, durchgeführt werden. Nur zu Darstellungszwecken wird 5 nachfolgend im Zusammenhang mit der Rechenvorrichtung 110 von 1 beschrieben.
  • Im Betrieb kann die Rechenvorrichtung 110 eine grafische Tastatur zur Anzeige ausgeben (500). Beispielsweise kann eine Chatanwendung, die auf der Rechenvorrichtung 110 ausgeführt wird, das Tastaturmodul 122 (z. B. eine eigenständige Anwendung oder Funktion der Rechenvorrichtung 110, die von der Chatanwendung getrennt ist) aufrufen, um die grafische Tastatur 116B auf der PSD 112 darzustellen.
  • Die Rechenvorrichtung 110 kann anhand einer Angabe einer Auswahl von Tasten aus der grafischen Tastatur einen Text einer elektronischen Kommunikation bestimmen (502). Beispielsweise kann das Tastaturmodul 122 Informationen über Berührungseingaben empfangen, die an einer Stelle der PSD 112 detektiert werden, an der die grafischen Tasten 118A der grafischen Tastatur 116B angezeigt werden. Das Tastaturmodul 122 kann Text (z. B. "Danke für das Erinnern daran, Milch zu holen") basierend auf den Informationen bestimmen.
  • In einigen Beispielen kann die Rechenvorrichtung 110 wahlweise eine suchbare Entität zumindest teilweise basierend auf dem Text identifizieren (504). Beispielsweise kann ein globales Modell des Tastaturmoduls 122 eine Auslöserphrase "Dankeschön" innerhalb der Texteingabe identifizieren.
  • Die Rechenvorrichtung 110 kann basierend auf der suchbaren Entität oder direkt auf dem Text eine bildbasierte Suchanfrage erzeugen (506). Beispielsweise kann das Tastaturmodul 122 eine bildbasierte Suchanfrage zum Erhalten von Bildern aus der bildbasierten Suchkategorie vom "Dankeschön"-Typ oder Bildern, die sich auf Dank, Dankeschön oder die Phrase Danke beziehen, erzeugen. In einigen Beispielen kann die bildbasierte Suchanfrage einen Teil des Texts oder den gesamten Text enthalten.
  • Die Rechenvorrichtung 110 kann eine grafische Angabe, um anzugeben, dass die Rechenvorrichtung 110 die bildbasierte Suchanfrage (508) erzeugt hat, zur Anzeige innerhalb der grafischen Tastatur ausgeben. Beispielsweise kann das Tastaturmodul 122 veranlassen, dass die Rechenvorrichtung 110 Text der erzeugten Abfrage innerhalb der grafischen Tastatur 116B (z. B. als Vorschlag im Vorschlagsbereich 118B) darstellt, und/oder veranlassen, dass die Rechenvorrichtung 100 ein Piktogramm darstellt, das eine bildbasierte Suche angibt.
  • 6 ist ein Ablaufdiagramm, das beispielhafte Operationen einer Rechenvorrichtung, die dazu ausgelegt ist, eine grafische Tastatur mit integrierten bildbasierten Suchmerkmalen darzustellen, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung veranschaulicht. Die Operationen von 6 können von einem oder mehreren Prozessoren einer Rechenvorrichtung wie beispielsweise der Rechenvorrichtungen 110 von 1 oder der Rechenvorrichtung 210 von 2, durchgeführt werden. Nur zu Darstellungszwecken wird 6 nachfolgend im Zusammenhang mit der Rechenvorrichtung 210 von 2 beschrieben.
  • Im Betrieb kann eine erste Anwendung, die auf der Rechenvorrichtung 210 ausgeführt wird, zum Empfangen von Texteingaben eine Tastaturanwendung aufrufen, die dazu ausgelegt ist, eine grafische Tastatur bereitzustellen, die mehrere Tasten enthält (600). Beispielsweise kann das Anwendungsmodul 224 eine Chatanwendung sein, die eine Sofortnachrichten- oder Chatanwendungs-Anwenderoberfläche zum Austauschen von elektronischen Nachrichten in elektronischen Gesprächen zwischen einem Anwender der Rechenvorrichtung 210 und Anwendern anderer Rechenvorrichtungen auf der PSD 212 bereitstellt. Als Teil der Anwenderoberfläche der Chatanwendung kann das Anwendungsmodul 224 das Tastaturmodul 222 aufrufen, um eine grafische Tastatur 116B bereitzustellen. Das Anwendungsmodul 224 kann einen Befehl an das Tastaturmodul 222 senden, der das Tastaturmodul 222 aufruft (z. B. als eine Anwendung oder ein Dienst, der auf der Rechenvorrichtung 210 ausgeführt wird und sich von dem Anwendungsmodul 224 unterscheidet).
  • Sobald sie aufgerufen worden ist, kann die Tastaturanwendung basierend auf einer Angabe einer Auswahl einer oder mehrerer Tasten aus den mehreren Tasten die Texteingabe bestimmen (602). Beispielsweise kann das Tastaturmodul 222, sobald es aufgerufen worden ist, eine Angabe der Anwendereingabe an einer Stelle, an der eine oder mehrere Tasten 118A auf der PSD 212 angezeigt werden, empfangen und Text aus der Anwendereingabe ableiten.
  • Die Tastaturanwendung kann wahlweise zumindest teilweise basierend auf der Texteingabe eine suchbare Entität identifizieren (604). Beispielsweise kann das Tastaturmodul 222 auf lokale und/oder globale Modelle 232 und das maschineerlernte Modell 233 zurückgreifen, um eine oder mehrere suchbare Entitäten aus der Texteingabe sowie suchbare Entitäten aus vorherigen Texteingaben, die durch das Tastaturmodul 222 detektiert worden sind, zu identifizieren.
  • Die Tastaturanwendung kann basierend auf der suchbaren Entität und/oder direkt auf der Texteingabe eine bildbasierte Suchanfrage erzeugen (606). Beispielsweise kann das Tastaturmodul 222 eine oder mehrere der suchbaren Entitäten, die aus der Texteingabe identifiziert werden, oder Teile oder die Gesamtheit der Texteingabe in ein Suchabfrageformat formatieren und verpacken, das von einer Suchmaschine verwendet wird, die an der Rechenvorrichtung 210 oder entfernt davon ausgeführt wird, um Informationen, insbesondere grafische Informationen wie Bilder, Videos, Grafiken, Animationen oder andere bildbasierte Suchergebnisse, die mit den Suchentitäten zusammenhängen, zu erhalten.
  • Die Tastaturanwendung kann eine grafische Angabe, um anzugeben, dass die Tastaturanwendung die bildbasierte Suchanfrage (608) erzeugt hat, zur Anzeige innerhalb der grafischen Tastatur ausgeben. Beispielsweise kann das Tastaturmodul 222 nach dem Erzeugen der bildbasierten Suchanfrage die PSD 212 dazu veranlassen, die bildbasierte Abfrage (z. B. als Text und/oder ein Piktogramm) entweder als Ersatz oder zusätzlich zu anderen Wortvorschlägen in dem Vorschlagsbereich 118B darzustellen.
  • Die Tastaturanwendung kann eine Angabe einer Auswahl der bildbasierten Suchanfrage (610) empfangen. Beispielsweise kann das Tastaturmodul 222 Informationen von dem UI-Modul 220, die angeben, dass ein Anwender der Rechenvorrichtung 220 (z. B. durch Gestikulieren) an oder nahe einer Stelle der PSD 212, an der die bildbasierte Suchanfrage angezeigt wurde, empfangen und aus den Informationen ableiten, dass der Anwender die Abfrage ausgewählt hat.
  • Als Antwort auf das Empfangen der Angabe der Auswahl kann die Tastaturanwendung in einer Suchanwendung eine bildbasierte Suche basierend auf der bildbasierten Suchanfrage initiieren (612). Beispielsweise kann das Tastaturmodul 222 eine separate Suchanwendung aufrufen, um eine lokale Informationssuche in auf der Rechenvorrichtung 220 gespeicherten Informationen auszuführen oder eine Ferninformationssuche (z. B. durch Aufruf einer Suchanwendung, die auf einer entfernten Rechenvorrichtung wie z. B. einem Server ausgeführt wird) von Informationen, die entfernt von der Recheneinrichtung 220 gespeichert sind, basierend auf der bildbasierten Suchanfrage auszuführen.
  • Die Suchanwendung kann die bildbasierte Suche basierend auf der Suchanfrage ausführen (614). Beispielsweise kann die von dem Tastaturmodul 222 aufgerufene Suchanwendung die bildbasierte Suche basierend auf der bildbasierten Suchanfrage als eine vorrichtungsinterne Suche nach bildbasierten Suchergebnissen ausführen, die lokal gespeicherten Informationen auf der Rechenvorrichtung 210 zugeordnet sind. Die durch das Tastaturmodul 222 aufgerufene Suchanwendung kann die bildbasierte Suche basierend auf der bildbasierten Suchanfrage als eine Fernsuche nach bildbasierten Suchergebnissen ausführen, die entfernt von der Rechenvorrichtung 210 gespeicherten Informationen zugeordnet sind. In jedem Fall kann die Chatanwendung über die Tastaturanwendung und aus der Suchanwendung ein oder mehrere bildbasierte Suchergebnisse empfangen, die aus der Ausführung der bildbasierten Suche erhalten werden.
  • Die Chatanwendung kann eine grafische Angabe eines oder mehrerer bildbasierter Suchergebnisse, die durch die Tastaturanwendung erhalten werden, nachdem die Tastaturanwendung die bildbasierte Suche initiiert hat, zur Anzeige anstelle mindestens eines Teils der grafischen Tastatur ausgeben (616). Beispielsweise kann das Anwendungsmodul 224 die bildbasierten Suchergebnisse, die aus der Suche erhalten werden, in ein Karussell von Suchkarten packen, wobei das Anwendungsmodul 224 veranlassen kann, dass das Tastaturmodul 122 dieses auf der PSD 212 vor oder anstelle einiger oder aller grafischen Tasten 118A überlagert.
  • Die Chatanwendung kann eine Angabe einer Auswahl eines bildbasierten Suchergebnisses empfangen (618). Beispielsweise kann das Anwendungsmodul 224 Informationen von dem UI-Modul 220 empfangen, die angeben, dass ein Anwender der Rechenvorrichtung 210 an oder nahe an einer Stelle, an der eines der bildbasierten Suchergebnisse in der grafischen Tastatur 116B auf der PSD 212 angezeigt wurde, gewischt oder anderweitig gestikuliert hat.
  • Als Antwort auf das Empfangen der Angabe der Auswahl mindestens eines des einen oder der mehreren bildbasierten Suchergebnisse kann die Chatanwendung das bildbasierte Suchergebnis als eine Nachricht des elektronischen Gesprächs ausgeben (620). Beispielsweise kann das Anwendungsmodul 224 als Antwort auf das Detektieren der Anwendereingabe zum Auswählen eines bildbasierten Suchergebnisses die dem bildbasierten Suchergebnis zugeordneten Informationen in ein Nachrichtenformat formatieren und die formatierten Informationen als eine teilweise oder vollständige Nachricht ausgeben, die das Anwendungsmodul 224 an eine andere Rechenvorrichtung als Teil eines elektronischen Gesprächs zwischen einem Anwender der Rechenvorrichtung 210 und einem Anwender der anderen Rechenvorrichtung ausgibt.
  • Die folgenden nummerierten Klauseln können einen oder mehrere Aspekte der Offenbarung veranschaulichen:
    Klausel 1: Verfahren, das umfasst: Ausgeben einer grafischen Tastatur, die mehrere Tasten enthält, durch eine Tastaturanwendung, die auf einer Rechenvorrichtung ausgeführt wird; Bestimmen eines Textes einer elektronischen Kommunikation durch die Tastaturanwendung basierend auf einer Angabe einer Auswahl einer oder mehrerer Tasten aus den mehreren Tasten; Erzeugen einer bildbasierten Suchanfrage durch die Tastaturanwendung zumindest teilweise basierend auf dem Text; und Ausgeben einer grafischen Angabe, um anzugeben, dass die Tastaturanwendung die bildbasierte Suchanfrage erzeugt hat, durch die Tastaturanwendung zur Anzeige innerhalb der grafischen Tastatur.
  • Klausel 2. Verfahren nach Klausel 1, wobei die bildbasierte Suchanfrage als Antwort auf ein Bestimmen eines Endes des Textes bestimmt wird, wobei das Verfahren ferner umfasst: Bestimmen des Endes des Textes durch die Tastaturanwendung als Antwort auf ein Bestimmen, dass eine letzte Taste der Auswahl einer oder mehrerer Tasten einer einem Interpunktionszeichen zugeordneten Interpunktionstaste entspricht.
  • Klausel 3. Verfahren nach einer der Klauseln 1–2, wobei die bildbasierte Suchanfrage als Antwort auf ein Bestimmen eines Endes des Textes bestimmt wird, wobei das Verfahren ferner umfasst: Bestimmen des Endes des Textes durch die Tastaturanwendung als Antwort darauf, dass eine letzte Taste der Auswahl einer oder mehrerer Tasten einer Sendetaste der grafischen Tastatur zum Senden der elektronischen Kommunikation entspricht.
  • Klausel 4. Verfahren nach einer der Klauseln 1–3, wobei das Ausgeben der grafischen Angabe ein Modifizieren eines visuellen Formats einer Suchtaste aus den mehreren Tasten, um anzugeben, dass die Rechenvorrichtung die bildbasierte Suchanfrage erzeugt hat, umfasst.
  • Klausel 5. Verfahren nach einer der Klauseln 1 bis 4, wobei die grafische Angabe einen Text und/oder ein Piktogramm enthält, das die bildbasierte Suchanfrage angibt, und das Ausgeben der grafischen Angabe ein Ausgeben des Textes und/oder des Piktogramms der bildbasierten Suchanfrage als Vorschlag innerhalb eines Vorschlagsbereichs der grafischen Tastatur umfasst.
  • Klausel 6. Verfahren nach einer der Klauseln 1 bis 5, wobei die grafische Angabe einen Text und/oder ein Piktogramm enthält, das die bildbasierte Suchanfrage angibt, und das Ausgeben der grafischen Angabe ein Ausgeben des Textes und/oder des Piktogramms der bildbasierten Suchanfrage zur Anzeige innerhalb eines Suchbereichs der grafischen Tastatur als vorgeschlagene bildbasierte Suchanfrage zum Suchen umfasst, wobei der Suchbereich sich von einem Vorschlagsbereich der grafischen Tastatur, in dem vorgeschlagene Wörter zur Texteingabe angezeigt werden, unterscheidet.
  • Klausel 7. Verfahren nach Klausel 6, wobei das Ausgeben der grafischen Angabe ein Ersetzen des Vorschlagsbereich mit dem Suchbereich durch die Rechenvorrichtung umfasst.
  • Klausel 8. Verfahren nach einer der Klauseln 1–7, wobei das Erzeugen der bildbasierten Suchanfrage umfasst: Bestimmen eines oder mehrerer Worte durch die Tastaturanwendung basierend auf mindestens einem Teil des Textes; Bestimmen einer Punktzahl, die der suchbaren Entität zugewiesen ist und eine Wahrscheinlichkeit angibt, dass die suchbare Entität für das eine oder mehrere Wörter relevant ist, durch die Tastaturanwendung basierend auf dem einen oder den mehreren Worten und aus einem lokalen Modell von suchbaren Entitäten, wobei das lokale Modell einem aktuellen Standort der Rechenvorrichtung zugeordnet ist; als Antwort auf ein Bestimmen, dass die Punktzahl, die einer suchbaren Entität zugewiesen ist, eine Schwelle erreicht, Identifizieren der suchbaren Entität durch die Tastaturanwendung; und Erzeugen der bildbasierten Suchanfrage durch die Tastaturanwendung basierend auf der suchbaren Entität.
  • Klausel 9. Verfahren nach Klausel 8, wobei das lokale Modell ein erstes lokales Modell ist, wobei das Verfahren ferner umfasst: als Antwort auf ein Bestimmen einer Änderung des aktuellen Standorts der Rechenvorrichtung von einem ersten Standort zu einem zweiten Standort: Erhalten eines zweiten Modells von suchbaren Einheiten durch die Tastaturanwendung von einem entfernten Rechensystem, wobei das zweite Modell dem zweiten Standort zugeordnet ist; und Ersetzen des ersten lokalen Modells mit dem zweiten Modell durch die Tastaturanwendung.
  • Klausel 10. Verfahren nach einer der Klauseln 1–9, wobei das Erzeugen der bildbasierten Suchanfrage umfasst: Bestimmen eines oder mehrerer Worte durch die Tastaturanwendung basierend auf mindestens einem Teil des Textes; Bestimmen einer Punktzahl, die einer suchbaren Entität zugewiesen ist und die eine Wahrscheinlichkeit angibt, dass die suchbare Entität für das eine oder die mehreren Worte relevant ist, durch die Tastaturanwendung basierend auf dem einen oder den mehreren Worten und aus einem globalen Modell von suchbaren Entitäten, wobei das globale Modell einer geografischen Region zugeordnet ist, die jeweilige Standorte enthält, die zwei oder mehr Modellen von suchbaren Entitäten zugeordnet sind; als Antwort auf ein Bestimmen, dass die Punktzahl, die einer suchbaren Entität zugewiesen ist, eine Schwelle erreicht, Identifizieren der suchbaren Entität durch die Rechenvorrichtung; und Erzeugen der bildbasierten Suchanfrage durch die Tastaturanwendung basierend auf der suchbaren Entität.
  • Klausel 11. Verfahren nach einer der Klauseln 1–10, wobei das Erzeugen der bildbasierten Suchanfrage umfasst: Bestimmen eines oder mehrerer Worte durch die Tastaturanwendung basierend auf mindestens einem Teil des Textes; Bestimmen einer Punktzahl, die einer suchbaren Entität zugewiesen ist und die eine Wahrscheinlichkeit angibt, dass die suchbare Entität für das eine oder die mehreren Worte relevant ist, durch die Tastaturanwendung basierend auf dem einen oder den mehreren Worten und aus einem globalen Modell von suchbaren Entitäten oder einem lokalen Modell von suchbaren Entitäten, wobei das globale Modell einer geografischen Region zugeordnet ist, die jeweilige Standorte enthält, die zwei verschiedenen lokalen Modellen von suchbaren Einheiten zugeordnet sind, die das lokale Modell von suchbaren Einheiten umfassen; Modifizieren der Punktzahl, die der suchbaren Entität zugeweisen ist, durch die Tastaturanwendung basierend auf Kontextinformationen und aus einem maschinenerlernten Modell; und nach dem Modifizieren der Punktzahl, die der suchbaren Entität zugewiesen ist, und als Antwort darauf, dass bestimmt wird, dass die Punktzahl, die der suchbaren Entität zugewiesen ist, eine Schwelle erreicht, Erzeugen der bildbasierten Suchanfrage durch die Tastaturanwendung auf der Basis der suchbaren Entität, wobei die Kontextinformationen Informationen enthalten, die einem elektronischen Gespräche zugeordnet sind, das die elektronische Kommunikation und eine oder mehrere andere elektronische Kommunikationen, die von der Rechenvorrichtung gesendet oder empfangen wurden, umfasst.
  • Klausel 12. Verfahren nach einer der Klauseln 1–11, das ferner umfasst: Initiieren einer bildbasierten Suche durch die Tastaturanwendung, basierend auf der bildbasierten Suchanfrage; Ausgeben einer grafischen Angabe eines oder mehrerer bildbasierter Suchergebnisse, die aus der bildbasierten Suche erhalten werden, durch die Tastaturanwendung zur Anzeige innerhalb der grafischen Tastatur, wobei das eine oder die mehreren bildbasierten Suchergebnisse mindestens ein dynamisches Bild umfassen und mindestens ein dynamisches Bild als gerenderte Animation des mindestens einen dynamischen Bildes zur Anzeige ausgegeben wird.
  • Klausel 13. Verfahren nach einer der Klauseln 1–12, wobei das Erzeugen der bildbasierten Suchanfrage umfasst: Identifizieren einer suchbaren Entität durch die Tastaturanwendung basierend zumindest teilweise auf dem Text; Bestimmen einer ausgesuchten Kategorie von bildbasierter Suche, die der suchbaren Entität zugeordnet ist, durch die Tastaturanwendung zumindest teilweise basierend auf der suchbaren Entität; und Erzeugen der bildbasierten Suchanfrage durch die Tastaturanwendung aus der ausgesuchten Kategorie der bildbasierten Suche, wobei die suchbare Entität eine Auslöserphrase umfasst und wobei die ausgesuchte Kategorie der bildbasierten Suche, die der suchbaren Entität zugeordnet ist, ferner zumindest teilweise basierend auf einem aktuellen Kontext der Rechenvorrichtung bestimmt wird.
  • Klausel 14. Mobile Vorrichtung, die umfasst: eine präsenzempfindlichen Anzeigekomponente; mindestens einen Prozessor; und einen Speicher, der Befehle speichert, die einer Tastaturanwendung zugeordnet sind und die, wenn sie ausgeführt werden, den mindestens einen Prozessor zu Folgendem veranlassen: Ausgeben einer grafischen Tastatur, die mehrere Tasten enthält, zur Anzeige auf der präsenzempfindlichen Anzeigekomponente; Bestimmen eines Textes einer elektronischen Kommunikation auf der Basis einer Angabe einer Auswahl einer oder mehreren Tasten aus den mehreren Tasten, die auf der präsenzempfindlichen Anzeigekomponente detektiert werden; Identifizieren einer Auslöserphrase zumindest teilweise basierend auf dem Text; Erzeugen einer bildbasierten Suchanfrage basierend auf der Auslöserphrase; und Ausgeben einer grafischen Angabe, um anzugeben, dass die Rechenvorrichtung die bildbasierte Suchanfrage erzeugt hat, zur Anzeige auf der präsenzempfindlichen Anzeigekomponente und innerhalb der grafischen Tastatur.
  • Klausel 15. Verfahren, das umfasst: Aufrufen einer Tastaturanwendung, die dazu ausgelegt ist, eine grafische Tastatur bereitzustellen, die mehrere Tasten enthält, durch eine erste Anwendung, die auf einer Rechenvorrichtung ausgeführt wird, zum Empfangen einer Texteingabe; Bestimmen der Texteingabe durch die Tastaturanwendung basierend auf einer Angabe einer Auswahl einer oder mehrerer Tasten aus den mehreren Tasten; Erzeugen einer bildbasierten Suchanfrage durch die Tastaturanwendung zumindest teilweise basierend auf der Texteingabe; Ausgeben einer grafischen Angabe, um anzugeben, dass die Tastaturanwendung die bildbasierte Suchanfrage erzeugt hat, durch die Tastaturanwendung zur Anzeige innerhalb der grafischen Tastatur; und als Antwort darauf, dass durch die Tastaturanwendung eine Angabe einer Auswahl der bildbasierten Suchanfrage empfangen wird, Initiieren einer bildbasierten Suche basierend auf der bildbasierten Suchanfrage durch die Tastaturanwendung in einer Suchanwendung.
  • Klausel 16. Verfahren nach Klausel 15, wobei die Suchanwendung auf der Rechenvorrichtung ausgeführt wird, wobei das Verfahren ferner umfasst: Ausführen der bildbasierten Suche durch die Suchanwendung basierend auf der bildbasierten Suchanfrage als eine vorrichtungsinterne Suche nach bildbasierten Suchergebnissen, die lokal auf der Rechenvorrichtung gespeicherten Informationen zugeordnet sind.
  • Klausel 17. Verfahren nach einer der Klauseln 15 bis 16, wobei die Suchanwendung auf einer entfernten Rechenvorrichtung ausgeführt wird, wobei das Verfahren ferner umfasst: Ausführen der bildbasierten Suche durch die Suchanwendung auf der Basis der bildbasierten Suchabfrage als Fernsuche nach bildbasierten Suchergebnissen, die entfernt von der Rechenvorrichtung gespeicherten Information zugeordnet sind.
  • Klausel 18. Verfahren nach einer der Klauseln 15–17, wobei die erste Anwendung eine Chatanwendung ist und die Texteingabe einem elektronischen Gespräch innerhalb der Chatanwendung zugeordnet ist.
  • Klausel 19. Verfahren nach Klausel 18, das ferner umfasst: Ausgeben einer grafischen Angabe eines oder mehrerer bildbasierter Suchergebnisse, die durch die Tastaturanwendung erhalten werden, nachdem die Tastaturanwendung die bildbasierte Suche initiiert hat, durch die erste Anwendung zur Anzeige anstelle mindestens eines Teils der mehreren Tasten.
  • Klausel 20. Verfahren nach einer der Klauseln 15 bis 19, das ferner umfasst: als Antwort auf ein Empfangen einer Angabe mindestens eines der einen oder der mehreren bildbasierten Suchergebnisse durch die erste Anwendung, Ausgeben einer grafischen Angabe eines oder mehrerer bildbasierter Suchergebnisse, die durch die Tastaturanwendung erhalten werden, nachdem die Tastaturanwendung die bildbasierte Suche initiiert hat, durch die Chatanwendung als Nachricht eines elektronischen Gesprächs.
  • Klausel 21. System, das Mittel zum Durchführen eines der Verfahren nach einer der Klauseln 1–13 umfasst.
  • Klausel 22. Rechenvorrichtung, die Mittel zum Durchführen eines der Verfahren nach einer der Klauseln 1–13 umfasst.
  • Klausel 22. Computerlesbares Speichermedium, das Befehle enthält, die, wenn sie von mindestens einem Prozessor einer Rechenvorrichtung ausgeführt werden, veranlassen, dass der mindestens eine Prozessor irgendwelche der Verfahren nach den Klauseln 1–13 ausführt.
  • In einem oder mehreren Beispielen können die beschriebenen Funktionen in Hardware, Software, Firmware oder jeder Kombination davon implementiert werden. Wenn sie in Software implementiert werden, können die Funktionen als ein oder mehrere Befehle oder Codes auf einem computerlesbaren Medium gespeichert oder dahin transmittiert und durch eine hardwarebasierte Verarbeitungseinheit ausgeführt werden. Computerlesbare Medien können computerlesbare Speichermedien umfassen, die einem konkretem Medium wie Datenspeichermedien oder Kommunikationsmedien einschließlich jedes Mediums, das einen Transfer eines Computerprogramms von einem Ort zu einem anderen beispielsweise gemäß einem Kommunikationsprotokoll vereinfacht, entsprechen. Auf diese Weise können computerlesbare Medien im Allgemeinen (1) konkreten computerlesbaren Speichermedien, die nichtflüchtig sind, oder (2) einem Kommunikationsmedium wie beispielsweise einer Signal- oder Trägerwelle entsprechen. Datenspeichermedien können alle verfügbaren Medien sein, auf die durch einen oder mehrere Computer oder einen oder mehrere Prozessoren zugegriffen werden kann, um Befehle, Codes und/oder Datenstrukturen zum Implementieren von den in dieser Offenlegung beschriebenen Techniken abzurufen. Ein Computerprogrammprodukt kann ein computerlesbares Medium umfassen.
  • Beispielhaft und nicht einschränkend können solche computerlesbaren Speichermedien RAM, ROM, EEPROM, CD-ROM und andere optische Diskettenspeicher, magnetische Diskettenspeicher oder andere magnetische Speichervorrichtungen, Flash-Speicher oder jedes andere Medium, das dazu verwendet werden kann, um erwünschten Programmcode in Form von Befehlen oder Datenstrukturen zu speichern, und auf das durch einen Computer zugegriffen werden kann, umfassen. Ebenso ist jede Verbindung korrekterweise als ein computerlesbares Medium bezeichnet. Wenn zum Beispiel Befehle von einer Webseite, einem Server oder einer entfernten Quelle unter Verwendung eines Koaxialkabels, eines Glasfaserkabels, eines Twisted-Pair-Kabels, einer digitalen Teilnehmeranschlussleitung (DSL) oder drahtloser Technologien wie beispielsweise Infrarot, Funk und Mikrowellen übertragen werden, dann sind das Koaxialkabel, das Glasfaserkabel, das Twisted-Pair-Kabel, die digitale Teilnehmeranschlussleitung (DSL) oder die drahtlosen Technologien wie beispielsweise Infrarot, Funk und Mikrowellen in der Definition eines Mediums eingeschlossen. Es wird allerdings darauf hingewiesen, dass computerlesbare Speichermedien und Datenspeichermedien nicht Verbindungen, Trägerwellen, Signale oder andere flüchtige Medien umfassen, sondern anstelle dessen auf nichtflüchtige, konkrete Speichermedien ausgerichtet sind. Disketten und Datenscheiben (Discs) umfassen wie gewohnt CD, Laserdisc, optische Platten, DVD, Floppy-Diskette und Blue-Ray-Disc, wobei Disketten üblicherweise Daten magnetisch wiedergeben, während Datenscheiben Daten optisch mit Lasern wiedergeben. Kombinationen der oben beschriebenen sollten auch innerhalb des Geltungsbereichs von computerlesbaren Medien eingeschlossen sein.
  • Befehle können durch einen oder mehrere Prozessoren wie beispielsweise einen oder mehrere digitale Signalprozessoren (DSPs), Universalmikroprozessoren, anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare Logikanordnungen (FPGAs) oder andere äquivalente integrierte oder diskrete logische Schaltungen ausgeführt werden. Dementsprechend kann sich der Begriff "Prozessor" wie hierin verwendet auf jede der vorangehenden Strukturen oder jede andere zur Implementierung der beschriebenen Techniken geeignete Strukturen beziehen. Zusätzlich kann in manchen Aspekten die beschriebene Funktionalität innerhalb der dedizierten Hardware- und/oder Softwaremodule vorgesehen sein. Auch können die Techniken gänzlich in einer oder mehreren Schaltungen oder logischen Elementen implementiert sein.
  • Die Techniken dieser Offenlegung können in einer großen Bandbreite von Vorrichtungen oder Geräten implementiert sein, worin ein drahtloses Mobilteil, eine integrierte Schaltung (IC) oder ein Satz von ICs (z. B. ein Chipsatz) eingeschlossen sind. Verschiedene Komponenten, Module oder Einheiten werden in dieser Offenlegung beschrieben, um funktionale Aspekte von Vorrichtungen zu unterstreichen, die dazu ausgelegt sind, die offengelegten Techniken durchzuführen, doch sie erfordern nicht notwendigerweise eine Umsetzung durch verschiedene Hardwareeinheiten. Eher können wie oben beschrieben verschiedene Einheiten in einer Hardwareeinheit kombiniert sein oder durch eine Sammlung von zusammenwirkenden Hardwareeinheiten bereitgestellt sein, worin wie oben beschrieben ein oder mehrere Prozessoren im Zusammenhang mit geeigneter Software und/oder Firmware eingeschlossen sind.
  • Verschiedene Beispiele beschrieben worden. Diese und andere Beispiele liegen innerhalb des Geltungsbereichs der folgenden Ansprüche.

Claims (20)

  1. Computerlesbares Medium, das Befehle enthält, die, wenn sie von mindestens einem Prozessor einer Rechenvorrichtung ausgeführt werden, eine Tastaturanwendung zu Folgendem veranlassen: Ausgeben einer grafischen Tastatur, die mehrere Tasten enthält, zur Anzeige; Bestimmen eines Textes einer elektronischen Kommunikation basierend auf einer Angabe einer Auswahl einer oder mehrerer Tasten aus den mehreren Tasten; Erzeugen einer bildbasierten Suchanfrage zumindest teilweise basierend auf dem Text; und Ausgeben einer grafischen Angabe, um anzugeben, dass die Tastaturanwendung die bildbasierte Suchanfrage erzeugt hat, zur Anzeige innerhalb der grafischen Tastatur.
  2. Computerlesbares Speichermedium nach Anspruch 1, wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung dazu veranlassen, die bildbasierte Suchanfrage als Antwort auf ein Bestimmen eines Endes des Textes zu erzeugen, und ferner die Tastaturanwendung zu Folgendem veranlassen: Bestimmen des Endes des Textes durch die Tastaturanwendung als Antwort auf ein Bestimmen, dass eine letzte Taste der Auswahl einer oder mehrerer Tasten einer einem Interpunktionszeichen zugeordneten Interpunktionstaste entspricht.
  3. Computerlesbares Speichermedium nach Anspruch 1 oder 2, wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung dazu veranlassen, die bildbasierte Suchanfrage als Antwort auf ein Bestimmen eines Endes des Textes zu erzeugen, und ferner die Tastaturanwendung zu Folgendem veranlassen: Bestimmen des Endes des Textes durch die Tastaturanwendung als Antwort darauf, dass eine letzte Taste der Auswahl einer oder mehrerer Tasten einer Sendetaste der grafischen Tastatur zum Senden der elektronischen Kommunikation entspricht.
  4. Computerlesbares Speichermedium nach einem der Ansprüche 1–3, wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung dazu veranlassen, die grafische Angabe durch mindestens ein Modifizieren eines visuellen Formats einer Suchtaste aus den mehreren Tasten, um anzugeben, dass die Rechenvorrichtung die bildbasierte Suchanfrage erzeugt hat, auszugeben.
  5. Computerlesbares Speichermedium nach einem der Ansprüche 1–4, wobei die grafische Angabe einen Text und/oder ein Piktogramm enthält, das die bildbasierte Suchanfrage angibt, und wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung dazu veranlassen, die grafische Angabe zumindest durch ein Ausgeben des Textes und/oder des Piktogramms der bildbasierten Suchanfrage als Vorschlag innerhalb eines Vorschlagsbereichs der grafischen Tastatur auszugeben.
  6. Computerlesbares Speichermedium nach einem der Ansprüche 1–5, wobei die grafische Angabe einen Text und/oder ein Piktogramm enthält, das die bildbasierte Suchanfrage angibt, und wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung dazu veranlassen, die grafische Angabe durch mindestens ein Ausgeben des Textes und/oder des Piktogramms der bildbasierten Suchanfrage zur Anzeige innerhalb eines Suchbereichs der grafischen Tastatur als vorgeschlagene bildbasierte Suchanfrage zum Suchen auszugeben, wobei sich der Suchbereich von einem Vorschlagsbereich der grafischen Tastatur, in dem vorgeschlagene Wörter zur Texteingabe angezeigt werden, unterscheidet.
  7. Computerlesbares Speichermedium nach Anspruch 6, wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung dazu veranlassen, die grafische Angabe mindestens durch ein Ersetzen des Vorschlagsbereichs mit dem Suchbereich auszugeben.
  8. Computerlesbares Speichermedium nach einem der Ansprüche 1–7, wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung dazu veranlassen, die bildbasierte Suchanfrage durch mindestens Folgendes zu erzeugen: Bestimmen eines oder mehrerer Worte basierend auf mindestens einem Teil des Textes; Bestimmen einer Punktzahl, die der suchbaren Entität zugewiesen ist und eine Wahrscheinlichkeit angibt, dass die suchbare Entität für das eine oder mehrere Wörter relevant ist, basierend auf dem einen oder den mehreren Worten und aus einem lokalen Modell von suchbaren Entitäten, wobei das lokale Modell einem aktuellen Standort der Rechenvorrichtung zugeordnet ist; als Antwort auf ein Bestimmen, dass die Punktzahl, die einer suchbaren Entität zugewiesen ist, eine Schwelle erreicht, Identifizieren der suchbaren Entität; und Erzeugen der bildbasierten Suchanfrage basierend auf der suchbaren Entität.
  9. Computerlesbares Speichermedium nach Anspruch 8, wobei das lokale Modell ein erstes lokales Modell ist, wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung zu Folgendem veranlassen: als Antwort auf ein Bestimmen einer Änderung des aktuellen Standorts der Rechenvorrichtung von einem ersten Standort zu einem zweiten Standort: Erhalten eines zweiten Modells von suchbaren Einheiten von einem entfernten Rechensystem, wobei das zweite Modell dem zweiten Standort zugeordnet ist; und Ersetzen des ersten lokalen Modells mit dem zweiten Modell durch die Tastaturanwendung.
  10. Computerlesbares Speichermedium nach einem der Ansprüche 1–9, wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung dazu veranlassen, die bildbasierte Suchanfrage durch mindestens Folgendes zu erzeugen: Bestimmen eines oder mehrerer Worte basierend auf mindestens einem Teil des Textes; Bestimmen einer Punktzahl, die einer suchbaren Entität zugewiesen ist und die eine Wahrscheinlichkeit angibt, dass die suchbare Entität für das eine oder die mehreren Worte relevant ist, basierend auf dem einen oder den mehreren Worten und aus einem globalen Modell von suchbaren Entitäten, wobei das globale Modell einer geografischen Region zugeordnet ist, die jeweilige Standorte enthält, die zwei oder mehr Modellen von suchbaren Entitäten zugeordnet sind; als Antwort auf ein Bestimmen, dass die Punktzahl, die einer suchbaren Entität zugewiesen ist, eine Schwelle erreicht, Identifizieren der suchbaren Entität; und Erzeugen der bildbasierten Suchanfrage basierend auf der suchbaren Entität.
  11. Computerlesbares Speichermedium nach einem der Ansprüche 1–10, wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung dazu veranlassen, die bildbasierte Suchanfrage durch mindestens Folgendes zu erzeugen: Bestimmen eines oder mehrerer Worte basierend auf mindestens einem Teil des Textes; Bestimmen einer Punktzahl, die einer suchbaren Entität zugewiesen ist und die eine Wahrscheinlichkeit angibt, dass die suchbare Entität für das eine oder die mehreren Worte relevant ist, basierend auf dem einen oder den mehreren Worten und aus einem globalen Modell von suchbaren Entitäten oder einem lokalen Modell von suchbaren Entitäten, wobei das globale Modell einer geografischen Region zugeordnet ist, die jeweilige Standorte enthält, die zwei verschiedenen lokalen Modellen von suchbaren Einheiten zugeordnet sind, die das lokale Modell von suchbaren Einheiten umfassen; Modifizieren der Punktzahl, die der suchbaren Entität zugeweisen ist, basierend auf Kontextinformationen und aus einem maschinenerlernten Modell; und nach dem Modifizieren der Punktzahl, die der suchbaren Entität zugewiesen ist, und als Antwort darauf, dass bestimmt wird, dass die Punktzahl, die der suchbaren Entität zugewiesen ist, eine Schwelle erreicht, Erzeugen der bildbasierten Suchanfrage auf der Basis der suchbaren Entität, wobei die Kontextinformationen Informationen enthalten, die einem elektronischen Gespräche zugeordnet sind, das die elektronische Kommunikation und eine oder mehrere andere elektronische Kommunikationen, die von der Rechenvorrichtung gesendet oder empfangen worden sind, umfasst.
  12. Computerlesbares Speichermedium nach einem der Ansprüche 1–11, wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung zu Folgendem veranlassen: Initiieren einer bildbasierten Suche basierend auf der bildbasierten Suchanfrage; Ausgeben einer grafischen Angabe eines oder mehrerer bildbasierter Suchergebnisse, die aus der bildbasierten Suche erhalten werden, zur Anzeige innerhalb der grafischen Tastatur, wobei das eine oder die mehreren bildbasierten Suchergebnisse mindestens ein dynamisches Bild umfassen und mindestens ein dynamisches Bild als gerenderte Animation des mindestens einen dynamischen Bildes zur Anzeige ausgegeben wird.
  13. Computerlesbares Speichermedium nach einem der Ansprüche 1–12, wobei die Befehle, wenn sie ausgeführt werden, die Tastaturanwendung dazu veranlassen, die bildbasierte Suchanfrage durch Folgendes zu erzeugen: Identifizieren einer suchbaren Entität durch die Tastaturanwendung basierend zumindest teilweise auf dem Text; Bestimmen einer ausgesuchten Kategorie von bildbasierter Suche, die der suchbaren Entität zugeordnet ist, durch die Tastaturanwendung zumindest teilweise basierend auf der suchbaren Entität; und Erzeugen der bildbasierten Suchanfrage durch die Tastaturanwendung aus der ausgesuchten Kategorie der bildbasierten Suche, wobei die suchbare Entität eine Auslöserphrase umfasst und wobei die ausgesuchte Kategorie der bildbasierten Suche, die der suchbaren Entität zugeordnet ist, ferner zumindest teilweise basierend auf einem aktuellen Kontext der Rechenvorrichtung bestimmt wird.
  14. Computerlesbares Speichermedium, das Befehle enthält, die, wenn sie von mindestens einem Prozessor einer Rechenvorrichtung ausgeführt werden, Folgendes veranlassen: Aufrufen einer Tastaturanwendung, die dazu ausgelegt ist, eine grafische Tastatur bereitzustellen, die mehrere Tasten enthält, unter Verwendung einer ersten Anwendung, die auf einer Rechenvorrichtung ausgeführt wird, zum Empfangen einer Texteingabe; Bestimmen der Texteingabe mit der Tastaturanwendung basierend auf einer Angabe einer Auswahl einer oder mehrerer Tasten aus den mehreren Tasten; Erzeugen einer bildbasierten Suchanfrage mit der Tastaturanwendung zumindest teilweise basierend auf der Texteingabe; Ausgeben einer grafischen Angabe, um anzugeben, dass die Tastaturanwendung die bildbasierte Suchanfrage erzeugt hat, mit der Tastaturanwendung zur Anzeige innerhalb der grafischen Tastatur; und als Antwort darauf, dass mit der Tastaturanwendung eine Angabe einer Auswahl der bildbasierten Suchanfrage empfangen wird, Initiieren einer bildbasierten Suche basierend auf der bildbasierten Suchanfrage mit der Tastaturanwendung in einer Suchanwendung.
  15. Computerlesbares Speichermedium nach Anspruch 14, wobei die Suchanwendung auf der Rechenvorrichtung ausgeführt wird und die Befehle, wenn sie ausgeführt werden, den Prozessor zu Folgendem veranlassen: Ausführen der bildbasierten Suche mit der Suchanwendung basierend auf der bildbasierten Suchanfrage als eine vorrichtungsinterne bildbasierte Suche nach bildbasierten Suchergebnissen, die lokal auf der Rechenvorrichtung gespeicherten Informationen zugeordnet sind.
  16. Computerlesbares Speichermedium nach Anspruch 15, wobei die Suchanwendung auf einer entfernten Rechenvorrichtung ausgeführt wird und die Befehle, wenn sie ausgeführt werden, den Prozessor zu Folgendem veranlassen: Ausführen der bildbasierten Suche durch die Suchanwendung auf der Basis der bildbasierten Suchabfrage als bildbasierte Fernsuche nach bildbasierten Suchergebnissen, die entfernt von der Rechenvorrichtung gespeicherten Information zugeordnet sind.
  17. Computerlesbares Speichermedium nach einem der Ansprüche 14–16, wobei die erste Anwendung eine Chatanwendung ist und die Texteingabe einem elektronischen Gespräch innerhalb der Chatanwendung zugeordnet ist.
  18. Computerlesbares Speichermedium nach Anspruch 17, wobei die Befehle, wenn sie ausgeführt werden, den Prozessor zu Folgendem veranlassen: Ausgeben einer grafischen Angabe eines oder mehrerer bildbasierter Suchergebnisse, die durch die Tastaturanwendung erhalten werden, nachdem die Tastaturanwendung die bildbasierte Suche initiiert hat, durch die erste Anwendung zur Anzeige anstelle mindestens eines Teils der mehreren Tasten.
  19. Computerlesbares Speichermedium nach einem der Ansprüche 14–18, wobei die Befehle, wenn sie ausgeführt werden, den Prozessor zu Folgendem veranlassen: als Antwort auf ein Empfangen einer Angabe mindestens eines der einen oder der mehreren bildbasierten Suchergebnisse durch die erste Anwendung, Ausgeben einer grafischen Angabe eines oder mehrerer bildbasierter Suchergebnisse, die durch die Tastaturanwendung erhalten werden, nachdem die Tastaturanwendung die bildbasierte Suche initiiert hat, durch die Chatanwendung als Nachricht eines elektronischen Gesprächs.
  20. Mobile Vorrichtung, die umfasst: eine präsenzempfindliche Anzeigekomponente; mindestens einen Prozessor; und das computerlesbare Speichermedium nach einem der Ansprüche 1 bis 19.
DE202017104110.7U 2016-08-03 2017-07-10 Bildsuchanfragevorhersagen durch eine Tastatur Active DE202017104110U1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662370643P 2016-08-03 2016-08-03
US62/370,643 2016-08-03
US15/246,091 2016-08-24
US15/246,091 US10664157B2 (en) 2016-08-03 2016-08-24 Image search query predictions by a keyboard

Publications (1)

Publication Number Publication Date
DE202017104110U1 true DE202017104110U1 (de) 2017-09-21

Family

ID=60082085

Family Applications (1)

Application Number Title Priority Date Filing Date
DE202017104110.7U Active DE202017104110U1 (de) 2016-08-03 2017-07-10 Bildsuchanfragevorhersagen durch eine Tastatur

Country Status (4)

Country Link
US (1) US10664157B2 (de)
EP (1) EP3479213B1 (de)
DE (1) DE202017104110U1 (de)
WO (1) WO2018026467A1 (de)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
US10313506B2 (en) 2014-05-30 2019-06-04 Apple Inc. Wellness aggregator
US9043196B1 (en) 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
CN107209655B (zh) 2015-02-02 2020-08-11 苹果公司 建立两个设备之间的关系和连接
WO2016144385A1 (en) 2015-03-08 2016-09-15 Apple Inc. Sharing user-configurable graphical constructs
US10275116B2 (en) 2015-06-07 2019-04-30 Apple Inc. Browser with docked tabs
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US10873786B2 (en) 2016-06-12 2020-12-22 Apple Inc. Recording and broadcasting application visual output
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
CA2939395A1 (en) * 2016-08-15 2016-10-17 Richard S. Brown Method and device for invoking a search from a text message
US20180101599A1 (en) * 2016-10-08 2018-04-12 Microsoft Technology Licensing, Llc Interactive context-based text completions
US11635872B2 (en) * 2016-11-22 2023-04-25 Snap Inc. Smart carousel of image modifiers
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
KR102392297B1 (ko) * 2017-04-24 2022-05-02 엘지전자 주식회사 전자기기
US20190087466A1 (en) * 2017-09-21 2019-03-21 Mz Ip Holdings, Llc System and method for utilizing memory efficient data structures for emoji suggestions
US11223723B2 (en) * 2017-10-23 2022-01-11 Accenture Global Solutions Limited Call center system having reduced communication latency
KR102607208B1 (ko) * 2017-11-16 2023-11-28 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 디바이스
US10459998B1 (en) * 2018-04-09 2019-10-29 W.W. Grainger, Inc. System and method for providing a user interface with contextual search result filtering capability
DK180171B1 (en) * 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
KR102625254B1 (ko) * 2018-06-05 2024-01-16 삼성전자주식회사 입력기를 통해 이미지와 관련된 정보를 어플리케이션에 제공하는 전자 장치 및 방법
US11062084B2 (en) 2018-06-27 2021-07-13 Microsoft Technology Licensing, Llc Generating diverse smart replies using synonym hierarchy
US11658926B2 (en) * 2018-06-27 2023-05-23 Microsoft Technology Licensing, Llc Generating smart replies involving image files
KR20230156166A (ko) * 2018-08-31 2023-11-13 구글 엘엘씨 동적 키보드 인터페이스에 의해 제시하기 위한 애니메이션 이미지 생성 방법 및 시스템
JP7114800B2 (ja) 2018-08-31 2022-08-08 グーグル エルエルシー 動的キーボードインターフェース内にアニメーション画像を配置するための方法およびシステム
US11397770B2 (en) * 2018-11-26 2022-07-26 Sap Se Query discovery and interpretation
USD914051S1 (en) 2019-04-22 2021-03-23 Facebook, Inc. Display screen with an animated graphical user interface
USD913314S1 (en) 2019-04-22 2021-03-16 Facebook, Inc. Display screen with an animated graphical user interface
USD912697S1 (en) 2019-04-22 2021-03-09 Facebook, Inc. Display screen with a graphical user interface
USD913313S1 (en) 2019-04-22 2021-03-16 Facebook, Inc. Display screen with an animated graphical user interface
USD914058S1 (en) 2019-04-22 2021-03-23 Facebook, Inc. Display screen with a graphical user interface
USD912693S1 (en) 2019-04-22 2021-03-09 Facebook, Inc. Display screen with a graphical user interface
USD930695S1 (en) 2019-04-22 2021-09-14 Facebook, Inc. Display screen with a graphical user interface
USD914049S1 (en) 2019-04-22 2021-03-23 Facebook, Inc. Display screen with an animated graphical user interface
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US10817142B1 (en) 2019-05-20 2020-10-27 Facebook, Inc. Macro-navigation within a digital story framework
US11388132B1 (en) * 2019-05-29 2022-07-12 Meta Platforms, Inc. Automated social media replies
US10757054B1 (en) 2019-05-29 2020-08-25 Facebook, Inc. Systems and methods for digital privacy controls
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11074408B2 (en) 2019-06-01 2021-07-27 Apple Inc. Mail application features
USD924255S1 (en) 2019-06-05 2021-07-06 Facebook, Inc. Display screen with a graphical user interface
USD914739S1 (en) 2019-06-05 2021-03-30 Facebook, Inc. Display screen with an animated graphical user interface
USD914705S1 (en) 2019-06-05 2021-03-30 Facebook, Inc. Display screen with an animated graphical user interface
USD912700S1 (en) 2019-06-05 2021-03-09 Facebook, Inc. Display screen with an animated graphical user interface
USD918264S1 (en) 2019-06-06 2021-05-04 Facebook, Inc. Display screen with a graphical user interface
USD914757S1 (en) 2019-06-06 2021-03-30 Facebook, Inc. Display screen with an animated graphical user interface
USD917533S1 (en) 2019-06-06 2021-04-27 Facebook, Inc. Display screen with a graphical user interface
USD916915S1 (en) 2019-06-06 2021-04-20 Facebook, Inc. Display screen with a graphical user interface
WO2021061435A1 (en) 2019-09-27 2021-04-01 Apple Inc. User interfaces for customizing graphical objects
US11567584B2 (en) * 2019-10-25 2023-01-31 John I. M. Choate Powered communication system for treatment of carpal tunnel syndrome
JP2023513095A (ja) * 2020-02-05 2023-03-30 ループ ナウ テクノロジーズ インコーポレイテッド 選択および表示のための機械学習によるビデオのキュレーション
US11609640B2 (en) * 2020-06-21 2023-03-21 Apple Inc. Emoji user interfaces
KR20220012599A (ko) * 2020-07-23 2022-02-04 삼성전자주식회사 전자 장치에서 키패드를 이용한 컨텐츠 검색을 제공하는 방법 및 장치
US11853381B2 (en) * 2020-11-13 2023-12-26 Google Llc Hybrid fetching using a on-device cache
KR20220101821A (ko) * 2021-01-12 2022-07-19 라인 가부시키가이샤 메신저 어플리케이션의 대화방과 연관하여 검색 서비스를 제공하는 방법 및 장치
WO2022245669A1 (en) 2021-05-15 2022-11-24 Apple Inc. User interfaces for group workouts
KR102628773B1 (ko) * 2021-06-21 2024-01-23 주식회사 카카오 이모티콘 추천 방법 및 이모티콘 추천을 제공하는 사용자 단말
US11778484B2 (en) * 2021-11-02 2023-10-03 Qualcomm Technologies, Inc. Mobility and zone management in zone-based federated learning

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09288666A (ja) 1996-04-19 1997-11-04 Toshiba Corp 文字列予測方法及びこの文字列予測方法を用いた文書作成装置
US6104397A (en) 1997-06-30 2000-08-15 Sun Microsystems, Inc. Method and system for generating improved progress indicators
US7599847B2 (en) 2000-06-09 2009-10-06 Airport America Automated internet based interactive travel planning and management system
JP2002014954A (ja) 2000-06-28 2002-01-18 Toshiba Corp 中国語入力変換処理装置、中国語入力変換処理方法及び記録媒体
US7043422B2 (en) 2000-10-13 2006-05-09 Microsoft Corporation Method and apparatus for distribution-based language model adaptation
US20090006543A1 (en) 2001-08-20 2009-01-01 Masterobjects System and method for asynchronous retrieval of information based on incremental user input
US7363295B2 (en) 2004-04-19 2008-04-22 Yahoo! Inc. Techniques for inline searching in an instant messenger environment
US8028250B2 (en) 2004-08-31 2011-09-27 Microsoft Corporation User interface having a carousel view for representing structured data
US7788248B2 (en) 2005-03-08 2010-08-31 Apple Inc. Immediate search feedback
US7590699B2 (en) 2005-06-23 2009-09-15 Microsoft Corporation Instant messaging with built-in search
CN101814005B (zh) * 2005-07-22 2013-02-27 运行移动系统公司 最适宜拇指的触摸屏用户界面的系统和方法
US7676517B2 (en) 2005-10-14 2010-03-09 Microsoft Corporation Search results injected into client applications
US7925716B2 (en) 2005-12-05 2011-04-12 Yahoo! Inc. Facilitating retrieval of information within a messaging environment
US20070300177A1 (en) 2006-06-23 2007-12-27 Microsoft Corporation User interface for specifying multi-valued properties
WO2008011454A2 (en) 2006-07-18 2008-01-24 Chacha Search, Inc. Anonymous search system using human searchers
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US20080201434A1 (en) 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
US20080249764A1 (en) 2007-03-01 2008-10-09 Microsoft Corporation Smart Sentiment Classifier for Product Reviews
US20080244446A1 (en) 2007-03-29 2008-10-02 Lefevre John Disambiguation of icons and other media in text-based applications
US8745168B1 (en) 2008-07-10 2014-06-03 Google Inc. Buffering user interaction data
US10191654B2 (en) 2009-03-30 2019-01-29 Touchtype Limited System and method for inputting text into electronic devices
CN101876878A (zh) 2009-04-29 2010-11-03 深圳富泰宏精密工业有限公司 单词预测输入系统及方法
US10705692B2 (en) 2009-05-21 2020-07-07 Sony Interactive Entertainment Inc. Continuous and dynamic scene decomposition for user interface
US20110063231A1 (en) 2009-09-14 2011-03-17 Invotek, Inc. Method and Device for Data Input
US9116615B2 (en) 2009-10-13 2015-08-25 Blackberry Limited User interface for a touchscreen display
US20110112824A1 (en) 2009-11-06 2011-05-12 Craig Peter Sayers Determining at least one category path for identifying input text
US20110191321A1 (en) 2010-02-01 2011-08-04 Microsoft Corporation Contextual display advertisements for a webpage
US9129012B2 (en) 2010-02-03 2015-09-08 Google Inc. Information search system with real-time feedback
US8650210B1 (en) 2010-02-09 2014-02-11 Google Inc. Identifying non-search actions based on a search query
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US8621379B2 (en) 2010-03-12 2013-12-31 Apple Inc. Device, method, and graphical user interface for creating and using duplicate virtual keys
US9483175B2 (en) 2010-07-26 2016-11-01 Apple Inc. Device, method, and graphical user interface for navigating through a hierarchy
US8918734B2 (en) 2010-07-28 2014-12-23 Nuance Communications, Inc. Reduced keyboard with prediction solutions when input is a partial sliding trajectory
AU2011291544B2 (en) 2010-08-19 2015-03-26 Google Llc Predictive query completion and predictive search results
CN103348353B (zh) 2010-10-06 2016-07-06 西里克斯系统公司 基于移动设备的物理位置对资源访问进行中介调节
US10346479B2 (en) 2010-11-16 2019-07-09 Microsoft Technology Licensing, Llc Facilitating interaction with system level search user interface
US8515984B2 (en) 2010-11-16 2013-08-20 Microsoft Corporation Extensible search term suggestion engine
EP2641145A4 (de) 2010-11-20 2017-05-03 Nuance Communications, Inc. Systeme und verfahren zur verwendung von texteingaben für den zugriff auf und die verarbeitung von kontextinformationen
US20120146955A1 (en) 2010-12-10 2012-06-14 Research In Motion Limited Systems and methods for input into a portable electronic device
US9111238B2 (en) 2010-12-17 2015-08-18 Microsoft Technology Licensing, Llc Data feed having customizable analytic and visual behavior
US9104992B2 (en) 2010-12-17 2015-08-11 Microsoft Technology Licensing, Llc Business application publication
JP2012185681A (ja) 2011-03-04 2012-09-27 Nec Casio Mobile Communications Ltd 情報端末及びプログラム
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US20120256840A1 (en) 2011-04-10 2012-10-11 Mahmoud Razzaghi Virtual keyboard
US9176944B1 (en) 2011-08-23 2015-11-03 Google Inc. Selectively processing user input
CN102955658B (zh) 2011-08-25 2017-03-22 腾讯科技（深圳）有限公司 交互界面中的页面切换方法及装置
WO2013054957A1 (en) 2011-10-13 2013-04-18 Lg Electronics Inc. Input interface controlling apparatus and method thereof
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US8914451B2 (en) 2012-02-17 2014-12-16 Blackberry Limited Electronic device configured with messaging composition interface
US9310888B2 (en) 2012-03-16 2016-04-12 Microsoft Technology Licensing, Llc Multimodal layout and rendering
US9685160B2 (en) 2012-04-16 2017-06-20 Htc Corporation Method for offering suggestion during conversation, electronic device using the same, and non-transitory storage medium
US20130285916A1 (en) 2012-04-30 2013-10-31 Research In Motion Limited Touchscreen keyboard providing word predictions at locations in association with candidate letters
US9460237B2 (en) 2012-05-08 2016-10-04 24/7 Customer, Inc. Predictive 411
US8484573B1 (en) 2012-05-23 2013-07-09 Google Inc. Predictive virtual keyboard
US9582146B2 (en) 2012-05-29 2017-02-28 Nokia Technologies Oy Causing display of search results
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
JP5585695B2 (ja) 2012-06-29 2014-09-10 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに情報処理システム、その制御方法、及びプログラム
US9489293B2 (en) 2012-08-17 2016-11-08 Netapp, Inc. Techniques for opportunistic data storage
US20140115070A1 (en) 2012-10-22 2014-04-24 Nokia Corporation Apparatus and associated methods
US9305114B2 (en) 2012-12-17 2016-04-05 Microsoft Technology Licensing, Llc Building long search queries
US10228819B2 (en) 2013-02-04 2019-03-12 602531 British Cilumbia Ltd. Method, system, and apparatus for executing an action related to user selection
WO2014139120A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Search intent preview, disambiguation, and refinement
US20140282203A1 (en) 2013-03-15 2014-09-18 Research In Motion Limited System and method for predictive text input
US9626960B2 (en) 2013-04-25 2017-04-18 Nuance Communications, Inc. Systems and methods for providing metadata-dependent language models
US9529856B2 (en) 2013-06-03 2016-12-27 Google Inc. Query suggestion templates
US9449079B2 (en) 2013-06-28 2016-09-20 Yandex Europe Ag Method of and system for displaying a plurality of user-selectable refinements to a search query
US20150100537A1 (en) * 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US9461945B2 (en) 2013-10-18 2016-10-04 Jeffrey P. Phillips Automated messaging response
US9530416B2 (en) 2013-10-28 2016-12-27 At&T Intellectual Property I, L.P. System and method for managing models for embedded speech and language processing
KR102157264B1 (ko) 2013-10-30 2020-09-17 삼성전자주식회사 디스플레이 장치 및 그 ui 제공 방법
KR20150081181A (ko) 2014-01-03 2015-07-13 삼성전자주식회사 디스플레이 장치 및 이의 추천 문자 제공 방법
KR102225031B1 (ko) 2014-01-14 2021-03-09 엘지전자 주식회사 단말기 및 그 동작 방법
US10050926B2 (en) 2014-02-05 2018-08-14 Facebook, Inc. Ideograms based on sentiment analysis
US20150242086A1 (en) 2014-02-21 2015-08-27 Markport Limited Drag and drop event system and method
US10845982B2 (en) * 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
US9471570B2 (en) 2014-04-30 2016-10-18 Excalibur Ip, Llc Method and system for user selection of query suggestions
KR20150126213A (ko) 2014-05-02 2015-11-11 삼성전자주식회사 정보 검색 시스템 및 방법
KR102177607B1 (ko) 2014-05-16 2020-11-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN104063427A (zh) 2014-06-06 2014-09-24 北京搜狗科技发展有限公司 一种基于语义理解的表情输入方法和装置
US9671956B2 (en) 2014-06-18 2017-06-06 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Presenting search term suggestions on graphical user interfaces
JP6413391B2 (ja) 2014-06-27 2018-10-31 富士通株式会社 変換装置、変換プログラム、及び変換方法
US9043196B1 (en) 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US9930167B2 (en) * 2014-07-07 2018-03-27 Verizon Patent And Licensing Inc. Messaging application with in-application search functionality
US20160034977A1 (en) 2014-08-01 2016-02-04 Yahoo! Inc. System and method for embedded search within messaging applications
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US10275152B2 (en) 2014-10-28 2019-04-30 Idelan, Inc. Advanced methods and systems for text input error correction
US20160180560A1 (en) * 2014-12-17 2016-06-23 Created To Love, Inc. Image insertion in a message
US20160224524A1 (en) * 2015-02-03 2016-08-04 Nuance Communications, Inc. User generated short phrases for auto-filling, automatically collected during normal text use
US10547571B2 (en) 2015-05-06 2020-01-28 Kakao Corp. Message service providing method for message service linked to search service and message server and user terminal to perform the method
US10496275B2 (en) 2015-10-12 2019-12-03 Microsoft Technology Licensing, Llc Multi-window keyboard
US10140017B2 (en) 2016-04-20 2018-11-27 Google Llc Graphical keyboard application with integrated search
US10305828B2 (en) 2016-04-20 2019-05-28 Google Llc Search query predictions by a keyboard
US10222957B2 (en) 2016-04-20 2019-03-05 Google Llc Keyboard with a suggested search query region
US9965530B2 (en) 2016-04-20 2018-05-08 Google Llc Graphical keyboard with integrated search features
US10078673B2 (en) 2016-04-20 2018-09-18 Google Llc Determining graphical elements associated with text
US20180173692A1 (en) 2016-12-19 2018-06-21 Google Inc. Iconographic symbol predictions for a conversation

Also Published As

Publication number Publication date
EP3479213A4 (de) 2020-01-08
EP3479213B1 (de) 2023-06-07
EP3479213A1 (de) 2019-05-08
US10664157B2 (en) 2020-05-26
US20180039406A1 (en) 2018-02-08
WO2018026467A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
DE202017104110U1 (de) Bildsuchanfragevorhersagen durch eine Tastatur
DE102016125760A1 (de) Vorhersagen von Suchanfragen durch eine Tastatur
DE202017105673U1 (de) Ikonografische Symbolvorhersagen für eine Konversation
DE202017104090U1 (de) Grafische Tastaturanwendung mit integrierter Suche
EP3400539B1 (de) Bestimmung von mit text assoziierten grafischen elementen
CN108027873B (zh) 基于捕捉到的笔画信息来与助理组件交互
DE202017106558U1 (de) Anwendungserweiterung zum Erzeugen automatischer Suchabfragen
US9946773B2 (en) Graphical keyboard with integrated search features
US20170308289A1 (en) Iconographic symbol search within a graphical keyboard
DE112016001104T5 (de) Aktivierung von virtuellen Assistenten
DE202017000991U1 (de) Identifikation von Spracheingaben zum Bereitstellen von Anmeldeinformationen
DE112016001105T5 (de) Reagieren von konkurrierenden Vorrichtungen auf Sprachauslöser
DE202011110334U1 (de) System zum Orthogonales Ziehen auf Scrollbalken
DE112011105305T5 (de) Gesten zur Textauswahl
US20190034080A1 (en) Automatic translations by a keyboard
WO2021185098A1 (zh) 基于字符识别的字符选择方法、装置和终端设备
WO2021147421A1 (zh) 用于人机交互的自动问答方法、装置和智能设备
CN111708444A (zh) 输入方法、装置和用于输入的装置
Verjans et al. D. 2 Usability guidelines for websites and products of statistical organisations
DE202011110335U1 (de) System zum An-die-Oberfläche-Bringen von außerhalb des Bildschirms sichtbaren Objekten

Legal Events

Date Code Title Description
R207 Utility model specification
R081 Change of applicant/patentee

Owner name: GOOGLE LLC (N.D.GES.D. STAATES DELAWARE), MOUN, US

Free format text: FORMER OWNER: GOOGLE INC., MOUNTAIN VIEW, CALIF., US

R082 Change of representative

Representative=s name: BETTEN & RESCH PATENT- UND RECHTSANWAELTE PART, DE

R150 Utility model maintained after payment of first maintenance fee after three years
R151 Utility model maintained after payment of second maintenance fee after six years