DE202017104084U1

DE202017104084U1 - Kontextinformation für eine angezeigte Ressource, die ein Bild enthält

Info

Publication number: DE202017104084U1
Application number: DE202017104084.4U
Authority: DE
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2016-07-11
Filing date: 2017-07-07
Publication date: 2017-10-02
Anticipated expiration: 2027-07-08
Also published as: US11507253B2; US10802671B2; CN109791545A; EP3482308A1; US20210019026A1; US20180011611A1; WO2018013360A1; EP3482308B1; CN109791545B

Abstract

Vorrichtung, bestehend aus mindestens einem Prozessor und mindestens einem Speicher einschließlich einem Computerprogrammcode, der bei Ausführung durch den Prozessor die Vorrichtung zur Durchführung eines Verfahrens veranlasst, umfassend: Empfangen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen von einem Benutzergerät durch einen Server für Kontextinformationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzerendgerät angezeigt wird, wobei die Anfrage Inhalt der aktiven Ressource spezifiziert und weiter spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht; Bestimmen durch den Server für Kontextinformationen, dass der durch die Anfrage spezifizierte Inhalt nicht ausreichend ist, um kontextbezogene Informationen über die aktive Ressource bereitzustellen; als Reaktion auf das Bestimmen, dass der durch die Anfrage spezifizierte Inhalt nicht ausreichend ist, um kontextbezogene Informationen über die aktive Ressource bereitzustellen, Bereitstellen einer Anfrage an das Benutzergerät nach dem Bild in der aktiven Ressource durch den Server für Kontextinformationen; Empfangen des Bildes in der aktiven Ressource durch den Server für Kontextinformationen von dem Benutzergerät; Bestimmen eines Benutzeroberflächenelements durch den Server für Kontextinformationen, das kontextbezogene Informationen über das Bild beinhaltet, und Bereitstellen des Benutzeroberflächenelements durch den Server für Kontextinformationen für das Benutzergerät.

Description

HINTERGRUND
Diese Spezifikation betrifft das Bereitstellen kontextbezogener Informationen für einen Benutzer.
Ein Gerät kann einem Benutzer kontextbezogene Informationen für eine angezeigte Ressource bereitstellen, die ein Bild beinhaltet. Zum Beispiel, kann ein Gerät eine Webseite über ein bestimmtes Thema anzeigen, eine Suchabfrage vom Benutzer über das bestimmte Thema empfangen, Suchergebnisse in Reaktion auf die Suchabfrage abrufen und die Suchergebnisse dem Benutzer bereitstellen. Typische Interaktionsmodelle verlangen vom Benutzer eine Art von Benutzerabfrage an ein Benutzergerät. Zum Beispiel kann ein Benutzer ein Bild von der Webseite speichern und das Bild dann als Abfragebild hochladen. Ein Suchprozess führt dann eine Suche nach Ressourcen unter Verwendung des Abfragebildes aus, um Ressourcen zu identifizieren, die das Informationsbedürfnis des Benutzers befriedigen.
ZUSAMMENFASSUNG
Wie unten näher erörtert, reduzieren Vorrichtungen und Systeme in dieser Spezifikation Verarbeitungs- und Bandbreitenanforderungen und/oder bieten andere technische Vorteile gegenüber bekannten Vorrichtungen und Systemen zur Bereitstellung kontextbezogener Informationen. Im Allgemeinen kann ein innovativer Aspekt des Gegenstandes, der in dieser Spezifikation beschrieben ist, in Computersystemen, Vorrichtungen und Computerprogrammen ausgeführt sein, die auf einem oder mehreren Computerspeichergeräten gespeichert sind und jeweils dazu konfiguriert sind, Verfahren durchzuführen, die die Aktionen des Bereitstellens, von einem Benutzergerät für einen Server für Kontextinformationen, einer abfrageunabhängigen Anfrage für kontextbezogene Informationen, die für eine aktive Ressource in einer Anwendungsumgebung auf dem Benutzergerät relevant sind, beinhalten, wobei die Anfrage Inhalte der aktiven Ressource spezifiziert und weiterhin spezifiziert, dass die aktive Ressource auf dem Benutzergerät ein Bild beinhaltet, aber das Bild nicht in der Anfrage enthalten ist, Empfangen, durch das Benutzergerät, einer Anfrage nach dem Bild von dem Server für Kontextinformationen, in Reaktion auf das Empfangen der Anfrage nach einem Bild von dem Server für Kontextinformationen, Bereitstellen, durch das Benutzergerät, des Bildes für den Server für Kontextinformationen, Empfangen, durch das Benutzergerät, eines Benutzeroberflächenelements, das kontextbezogene Informationen über das Bild beinhaltet, und Anzeigen, durch das Benutzergerät, des Benutzeroberflächenelements auf dem Benutzergerät mit der aktiven Ressource.
Ein System von einem oder mehreren Computern kann dazu konfiguriert sein, bestimmte Vorgänge oder Aktionen aufgrund von Software, Firmware, Hardware oder einer Kombination davon, die auf dem System installiert sind, durchzuführen, deren Betrieb bewirkt, dass das System die Aktion durchführt. Ein oder mehrere Computerprogramme können dazu konfiguriert sein, bestimmte Vorgänge oder Aktionen dadurch durchzuführen, dass sie Anweisungen beinhalten, die, wenn sie durch eine Datenverarbeitungsvorrichtung ausgeführt werden, das Gerät zur Durchführung der Aktion veranlassen.
Die vorstehenden und andere Ausführungsformen können jeweils optional eines oder mehrere der folgenden Merkmale allein oder in Kombination beinhalten. In einigen Implementierungen beinhaltet das Bereitstellen einer abfrageunabhängigen Anfrage nach kontextbezogenen Informationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzergerät angezeigt wird, durch ein Benutzergerät für einen Server für Kontextinformationen, wobei die Anfrage Inhalt der aktiven Ressource spezifiziert und weiter spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht, das Bereitstellen einer abfrageunabhängigen Anfrage, die einen oder mehrere Abfragebegriffe nicht beinhaltet, die ein Benutzer eingegeben hat, und keine Inhalte aus dem Bild beinhaltet. In einigen Aspekten beinhaltet das Bereitstellen einer abfrageunabhängigen Anfrage nach kontextbezogenen Informationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzergerät angezeigt wird, durch ein Benutzergerät für einen Server für Kontextinformationen, wobei die Anfrage Inhalt der aktiven Ressource spezifiziert und weiter spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht, das Bereitstellen einer abfrageunabhängigen Anfrage, die eine Datenrepräsentation der angezeigten aktiven Ressource beinhaltet und keine Inhalte aus dem Bild beinhaltet.
In einigen Aspekten beinhaltet das Empfangen, durch das Benutzergerät, einer Anfrage nach einem Bild von dem Server für Kontextinformationen, das Empfangen, durch das Benutzergerät, einer Anfrage für alle Bilder, die aktuell auf dem Benutzergerät angezeigt werden, und das Bereitstellen, durch das Benutzergerät, des Bildes an den Server für Kontextinformationen beinhaltet das Bereitstellen, durch das Benutzergerät, aller Bilder, die aktuell auf dem Benutzergerät angezeigt werden, für den Server für Kontextinformationen. In einigen Implementierungen, in Reaktion auf das Empfangen der Anfrage nach dem Bild von dem Server für Kontextinformationen, beinhaltet das Bereitstellen, durch das Benutzergerät, des Bildes für den Server für Kontextinformationen das Bereitstellen eines Screenshots vom Benutzergerät, wenn mehrere Bilder auf dem Benutzergerät angezeigt werden. In bestimmten Aspekten, beinhalten Aktionen das Bestimmen, dass ein Benutzer kontextbezogene Informationen für die aktive Ressource wünscht, und in Reaktion auf das Bestimmen, dass der Benutzer kontextbezogene Informationen für die aktive Ressource wünscht, das Bestimmen, ob aktuell ein oder mehrere Bilder angezeigt werden, wobei das Bereitstellen, durch das Benutzergerät für den Server für Kontextinformationen, der abfrageunabhängigen Anfrage nach kontextbezogenen Informationen für die aktive Ressource in der Anwendungsumgebung auf dem Benutzergerät in Reaktion auf das Bestimmen ist, dass ein oder mehrere Bilder aktuell angezeigt werden.
In einigen Implementierungen beinhaltet das Bestimmen, ob ein oder mehrere Bilder aktuell angezeigt werden, das Erhalten eines Screenshots des Benutzergeräts und Identifizieren eines oder mehrerer rechteckiger Abschnitte des Screenshots, die nicht textuellen Inhalt wie das eine oder die mehreren Bilder beinhalten. In bestimmten Aspekten ist das Bestimmen, ob eines oder mehrere Bilder aktuell angezeigt werden, weiterhin in Reaktion auf das Bestimmen, durch das Benutzergerät, dass das Benutzergerät eine getaktete Netzwerkverbindung verwendet.
Im Allgemeinen kann ein innovativer Aspekt des Gegenstands, der in dieser Spezifikation beschrieben wird, in Computersystemen, Vorrichtungen und Computerprogrammen, die auf einem oder mehreren Computerspeichergeräten gespeichert sind, ausgeführt werden, die jeweils dazu konfiguriert sind, Verfahren durchzuführen, die die Aktionen des Empfangens, durch einen Server für Kontextinformationen von einem Benutzergerät, einer abfrageunabhängigen Anfrage für kontextbezogene Informationen, die für eine aktive Ressource in einer Anwendungsumgebung auf dem Benutzergerät relevant sind, wobei die Anfrage Inhalte der aktiven Ressource spezifiziert und weiterhin spezifiziert, dass die aktive Ressource auf dem Benutzergerät ein Bild beinhaltet, aber das Bild nicht in der Anfrage enthalten ist, das Bestimmen, durch den Server für Kontextinformationen, dass die durch die Anfrage spezifizierten Inhalte nicht ausreichend sind, um kontextbezogene Informationen über die aktive Ressource bereitzustellen, in Reaktion auf das Bestimmen, dass die durch die Anfrage spezifizierten Inhalte nicht ausreichend sind, um kontextbezogene Informationen über die aktive Ressource bereitzustellen, das Bereitstellen, durch den Server für Kontextinformationen an das Benutzergerät, einer Anfrage nach dem Bild in der aktive Ressource, das Empfangen, durch den Server für Kontextinformationen vom Benutzergerät, des Bildes in der aktiven Ressource und das Bereitstellen, durch den Server für Kontextinformationen an das Benutzergerät, eines Benutzeroberflächenelements, das kontextbezogene Informationen über das Bild beinhaltet, beinhalten.
Ein System von einem oder mehreren Computern kann dazu konfiguriert sein, bestimmte Vorgänge oder Aktionen aufgrund von Software, Firmware, Hardware oder einer Kombination davon, die auf dem System installiert sind, durchzuführen, deren Betrieb bewirkt, dass das System die Aktion durchführt. Ein oder mehrere Computerprogramme können dazu konfiguriert sein, bestimmte Vorgänge oder Aktionen dadurch durchzuführen, dass sie Anweisungen beinhalten, die, wenn sie durch eine Datenverarbeitungsvorrichtung ausgeführt werden, das Gerät zur Durchführung der Aktion veranlassen. Die vorstehenden und andere Ausführungsformen können jeweils optional eines oder mehrere der folgenden Merkmale allein oder in Kombination beinhalten. In einigen Implementierungen beinhaltet das Bestimmen, durch den Server für Kontextinformationen, dass die durch die Anfrage spezifizierten Inhalte nicht ausreichend sind, um kontextbezogene Informationen über die aktive Ressource bereitzustellen, das Bestimmen, dass die Anfrage spezifiziert, dass die angezeigte aktive Ressource auf dem Benutzergerät ein Bild beinhaltet, aber das Bild nicht in der Anfrage enthalten ist, wobei das Bereitstellen, durch den Server für Kontextinformationen an das Benutzergerät, der Anfrage nach einem Bild in der aktive Ressource in Reaktion auf das Bestimmen erfolgt, dass die Anfrage spezifiziert, dass die angezeigte aktive Ressource auf dem Benutzergerät ein Bild beinhaltet, aber das Bild nicht in der Anfrage enthalten ist. In bestimmten Aspekten, beinhaltet das Bestimmen, durch den Server für Kontextinformationen, dass die durch die Anfrage spezifizierten Inhalte nicht ausreichend sind, um kontextbezogene Informationen über die aktive Ressource bereitzustellen, das Identifizieren eines oder mehrerer Suchelemente aus den durch die Anfrage spezifizierten Inhalten und das Bestimmen, keines der einen oder mehreren Suchelementen auszuwählen, um kontextbezogene Informationen bezüglich der Suche bereitzustellen. In einigen Aspekten beinhaltet das Empfangen, durch einen Server für Kontextinformationen von einem Benutzergerät, einer abfrageunabhängigen Anfrage für kontextbezogene Informationen, die für eine aktive Ressource in einer Anwendungsumgebung auf dem Benutzergerät relevant sind, das Empfangen einer abfrageunabhängigen Anfrage, die einen oder mehrere Suchbegriffe, die vom Benutzer eingegeben werden, nicht beinhaltet und keinen Inhalt aus dem Bild beinhaltet.
Bestimmte Ausführungsformen des in dieser Spezifikation beschriebenen Gegenstands können so implementiert werden, dass sie einen oder mehrere der folgenden Vorteile verwirklichen. Kontextbezogene Informationen, die wahrscheinlich ein Informationsbedürfnis des Benutzer befriedigen würden, wenn er eine Ressource, die ein Bild beinhaltet, betrachtet, können durch ein Gerät für einen Benutzer bereitgestellt werden, ohne dass der Benutzer eine Abfrage an das Gerät bereitstellt. Dies resultiert in einem komfortablen Weg für den Benutzer, um kontextbezogene Informationen für eine angezeigte Ressource zu erhalten. Die Benutzer muss keine Begriffe für eine Abfrage eingeben, um kontextbezogene Informationen zu erhalten, oder ein Bild in einer angezeigten Ressource speichern und dann das gespeicherte Bild hochladen, um kontextbezogene Informationen zu erhalten. Dementsprechend erhalten Benutzer kontextbezogene Informationen in einer Weise, die für die Benutzer komfortabel ist. Außerdem, da der Benutzer keine Anfrage bereitstellen muss, kann der Benutzer in einigen Implementierungen kontextbezogene Informationen empfangen, wenn der Benutzer ansonsten nicht in der Lage wäre, eine Abfrage effektiv zu tippen, z. B. wenn der Benutzer nur eine Hand frei hat.
Da die kontextbezogenen Informationen ohne Abfrage bereitgestellt werden können, führt dies zu weniger Eingabefehlern und irrtümlich eingegebenen Abfragen. Dementsprechend werden in der Gesamtbetrachtung Tausende von fehlerhaften und ungenauen Abfragen vermieden, was wiederum eine effektivere Verwendung von Suchsystemressourcen gestattet. In anderen Worten werden mehrere fehlerhafte Abfrageverarbeitungszyklen vermieden, was die erforderlichen Verarbeitungsressourcen reduziert und die gesamten Systembandbreitenanforderungen reduziert (oder, alternativ, die Bedienung einer größere Anzahl von Benutzern ohne entsprechende Erhöhung von Verarbeitungsressourcen ermöglicht). Diese Verbesserung auf dem technischen Gebiet der Suchverarbeitung ist somit ein weiterer charakteristischer Vorteil, der sich aus den nachfolgend beschriebenen Systemen und Vorrichtungen ergibt.
Zusätzlich kann das vom Benutzer verwendete Gerät zuerst textuellen Inhalt der angezeigten Ressource für einen Server bereitstellen, und wenn der Server keine kontextbezogenen Informationen basierend auf dem textuellen Inhalt der angezeigten Ressource bereitstellen kann, dann Bildinhalte der angezeigten Ressource bereitstellen, sodass der Server versuchen kann, kontextbezogene Informationen unter Verwendung der Bildinhalte zu identifizieren. Auf diese Weise kann das Gerät das Bereitstellen von Bildern, die große Dateigrößen aufweisen können, auf diejenigen Fälle beschränken, in denen textueller Inhalt für eine angezeigte Ressource unzureichend ist, um kontextbezogene Informationen bereitzustellen. Dementsprechend kann ein Benutzer kontextbezogene Informationen für eine angezeigte Ressource auf eine Weise erhalten, die Bandbreitennutzung und Energieverbrauch des Geräts wenn möglich reduziert. Diese Verbesserung auf dem technischen Gebiet der Suchverarbeitung ist somit ein weiterer charakteristischer Vorteil, der sich aus den nachfolgend beschriebenen Systemen und Vorrichtungen ergibt.
Die Details von einer oder mehreren Ausführungsformen des in dieser Spezifikation beschriebenen Gegenstandes sind in den begleitenden Zeichnungen und der nachfolgenden Beschreibung dargelegt. Weitere Merkmale, Aspekte und Vorteile des Gegenstands werden anhand der Beschreibung, der Zeichnungen und der Patentansprüche offensichtlich.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm einer beispielhaften Umgebung, in der kontextbezogene Informationen für eine angezeigte Ressource, die ein Bild beinhaltet, bereitgestellt werden.
2 ist ein ausführlicheres Blockdiagramm der beispielhaften Umgebung, in der kontextbezogene Informationen für eine angezeigte Ressource, die ein Bild beinhaltet, bereitgestellt werden.
3A und 3B sind Interaktionsdiagramme beispielhafter Interaktionen zum Bereitstellen kontextbezogener Informationen für eine angezeigte Ressource, die ein Bild beinhaltet.
4 und 5 sind Flussdiagramme von beispielhaften Prozessen zum Bereitstellen kontextbezogener Informationen für eine Ressource, die ein Bild beinhaltet.
6 ist ein schematisches Diagramm eines Computersystems.
In den unterschiedlichen Zeichnungen werden gleiche Bezugszeichen und Bezeichnungen für gleiche Elemente verwendet.
AUSFÜHRLICHE BESCHREIBUNG
Ein Benutzer könnte wünschen, zusätzliche Informationen bezüglich einer Ressource auf einem Gerät zu erhalten, die ein Bild beinhaltet. Zum Beispiel kann ein Benutzer eine Webseite besuchen, die ein Logo von „Paul's Diner” beinhaltet, und zusätzliche Informationen über „Paul's Diner” wünschen. Dementsprechend kann der Benutzer das Logo speichern, eine Webseite einer Suchmaschine öffnen, das Logo als Abfragebild für die Suchmaschine bereitstellen und dann ein Suchergebnis zur Ansicht auswählen. Jedoch, kann dieser Prozess zeitintensiv sein und mehrere Interaktionen durch den Benutzer erfordern. Zusätzlich kann das Logo eine große Dateigröße besitzen, und der Benutzer hätte kontextbezogene Informationen mit weniger Bandbreiten- und Energieverbrauch erhalten können. Zum Beispiel kann eine Suchabfrage, die die Begriffe „Paul's Diner” beinhaltet, durch nur wenigen Bytes von Daten anstatt Megabytes von Daten repräsentiert werden, die erforderlich sind, um das Logo von „Paul's Diner” zu repräsentieren, benötigt weniger Bandbreite und Energie, um die weniger Bytes, die die Begriffe „Paul's Diner” repräsentieren, zu übertragen, und könnte ähnliche Suchergebnisse zeigen.
Nachfolgend werden Systeme und Vorrichtungen zum Bereitstellen kontextbezogener Informationen für eine Ressource beschrieben, die ein Bild beinhaltet. Statt des Bereitstellens kontextbezogener Informationen auf Basis einer Abfrage, die von einem Benutzer eingegeben wird, kann das System kontextbezogene Informationen, die für eine Ressource, die ein Bild beinhaltet, relevant sind, ohne eine Eingabe einer Abfrage empfangen. Zusätzlich kann das System anfänglich versuchen, kontextbezogene Informationen bereitzustellen, ohne das Bild in der angezeigten Ressource zu übertragen, und dann das Bild übertragen, wenn kontextbezogene Informationen für die angezeigte Ressource nicht ohne das Bild bereitgestellt werden können.
Um die kontextbezogenen Informationen bereitzustellen, kann ein Gerät, das von einem Benutzer verwendet wird, bestimmen, dass eine angezeigte Ressource ein Bild beinhaltet, und einem Server textuelle bildfreie Inhalte der angezeigten Ressource und einen Hinweis, dass die angezeigte Ressource ein Bild beinhaltet, bereitstellen. Wenn der Server kontextbezogene Informationen identifiziert, um sie aus den textuellen bildfreien Inhalten der angezeigten Ressource bereitzustellen, kann der Server die kontextbezogenen Informationen für das Gerät bereitstellen, und das Bild aus der angezeigten Ressource wird nicht vom Gerät für den Server bereitgestellt. Wenn der Server keine kontextbezogenen Informationen identifiziert, um sie aus den textuellen bildfreien Inhalten der angezeigten Ressource bereitzustellen, fordert der Server das Bild in der angezeigten Ressource vom Gerät an und versucht kontextbezogene Informationen aus dem empfangenen Bild bereitzustellen.
1 ist ein Diagramm einer beispielhaften Umgebung 100, in der kontextbezogene Informationen für eine angezeigte Ressource, die ein Bild beinhaltet, bereitgestellt wird. Die Umgebung 100 beinhaltet ein Benutzergerät 110 und einen Server für Kontextinformationen 150.
Ein Benutzergerät 110 wird von einem Benutzer verwendet, um kontextbezogene Informationen für eine Ressource, die ein Bild beinhaltet, zu erhalten. Das Benutzergerät 110 ist ein elektronisches Gerät, das in der Lage ist, Ressourcen anzuzeigen, die Bilder beinhalten. Beispielhafte Benutzergeräte 110 beinhalten PCs (z. B. Desktops oder Laptops), mobile Kommunikationsgeräte (z. B. Smartphones oder Tablets) und andere Geräte, die Daten über das Netzwerk senden und empfangen können (z. B. Fernsehgeräte und Brillen oder Uhren mit Netzwerkverbindungsfunktionalität). Ein Benutzergerät beinhaltet normalerweise eine Benutzeranwendung, z. B. einen Webbrowser, um das Senden und Empfangen von Daten über das Netzwerk zu erleichtern. Der Webbrowser kann es einem Benutzer ermöglichen, Text, Bilder, Videos, Musik und andere Informationen, die typischerweise auf einer Webseite auf einer Website im World Wide Web oder einem lokalen Netzwerk angesiedelt sind, anzuzeigen und damit zu interagieren. Das Benutzergerät 110 kann jedwede geeignete Anwendung zum Senden und Empfangen von Daten über das Netzwerk und zum Präsentieren von Daten für einen Benutzer verwenden.
Eine Ressource sind Daten, die Inhalte beinhalten, die durch das Benutzergerät 110 sichtbar wiedergegeben werden können. Zum Beispiel können Ressourcen HTML Seiten, elektronische Dokumente, Bilddateien, Videodateien, Textnachrichtenkonversationen, E-Mails, grafische Benutzeroberflächen von Anwendungen usw. beinhalten. Eine aktive Ressource kann als eine Ressource angesehen werden, die aktuell auf dem Benutzergerät 110 angezeigt wird. Typischerweise wird die aktive Ressource durch eine Anwendung wiedergegeben, die in einem Vordergrund eines Benutzergeräts läuft.
Das Benutzergerät 110 bestimmt, dass ein Benutzer kontextbezogene Informationen für eine angezeigte Ressource wünscht. Zum Beispiel kann das Benutzergerät 110 eine Ressource anzeigen, die von einer Website gehostet wird, wobei die Ressource Restaurants beschreibt, die gute Hamburger servieren, und aktuell wird ein Abschnitt der Ressource einschließlich des Textes „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” und einschließlich eines Bildes eines Logos des Restaurants „Paul's Diner” angezeigt. Der Benutzer kann einen Hinweis auf kontextbezogene Informationen erstellen, z. B. durch Drücken einer Taste für drei Sekunden (als langes Drücken bezeichnet) oder Antippen des Bildschirms nach einem vorgegebenen Tippmuster usw. Zu Zwecken der Veranschaulichung sei angenommen, dass der Benutzer ein langes Drücken ausführt, das anzeigt, dass der Benutzer kontextbezogene Informationen für eine angezeigte Ressource wünscht.
In Reaktion auf das Erkennen, dass ein Benutzer kontextbezogene Informationen für eine angezeigte Ressource wünscht, kann das Benutzergerät 110 bestimmen, ob die angezeigte Ressource ein oder mehrere Bilder beinhaltet. Zum Beispiel kann das Benutzergerät 110 bestimmen, dass eine angezeigte Ressource ein Bild beinhaltet, z. B. ein Logo „Paul's Diner” in einer Mitte der Anzeige.
In Reaktion auf ein Bestimmen, dass die angezeigte Ressource ein oder mehrere Bilder beinhaltet, kann das Benutzergerät 110 eine Anfrage an den Server für Kontextinformationen 150 nach kontextbezogenen Informationen für die angezeigte Ressource stellen, wobei die Anfrage angezeigten textuellen Inhalt und einen Hinweis spezifiziert, dass ein oder mehrere Bilder angezeigt werden, aber die Anfrage keine Bilder beinhaltet. Zum Beispiel kann das Benutzergerät 110 dem Server für Kontextinformationen 150 ein Dokumentobjektmodell bereitstellen, das spezifiziert, dass der textuelle Inhalt „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” derzeit auf dem Benutzergerät 110 angezeigt wird, und einen Platzhalter für das angezeigte Bild, z. B. das Logo „Paul's Diner”, angibt. Die Anfrage kann als eine abfrageunabhängige Abfrage aufgefasst werden, wenn das Benutzergerät 110 die Anfrage an den Server für Kontextinformationen 150 stellt, ohne vom Benutzer zu verlangen, Begriffe für eine Abfrage oder ein Bild für eine Abfrage einzugeben, wie durch Flussdiagramm-Element A angegeben.
In Reaktion auf ein Bereitstellen einer Anfrage an den Server für Kontextinformationen 150 nach kontextbezogenen Informationen für die angezeigte Ressource, wobei die Anfrage angezeigten textuellen Inhalt und einen Hinweis beinhaltet, dass ein oder mehrere Bilder angezeigt werden, aber keine Bilder enthalten sind, kann der Server für Kontextinformationen 150 bestimmen, ob der Server für Kontextinformationen 150 eine Kontextkarte aus dem Inhalt der angezeigten Ressource, die in der Anfrage spezifiziert wird, bereitstellen kann. Zum Beispiel kann der Server für Kontextinformationen 150 bestimmen, ob der textuelle Inhalt „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen”, der durch die Anfrage spezifiziert wird, ausreichend ist, um kontextbezogene Informationen bereitzustellen.
Wenn der Server für Kontextinformationen 150 bestimmt, dass der spezifizierte Inhalt nicht ausreicht, um eine Kontextkarte bereitzustellen, kann der Server für Kontextinformationen 150 eine Bildanforderung für das Benutzergerät 110 nach beliebigen Bildern in der angezeigten Ressource stellen, wie durch Flussdiagramm-Element B angegeben wird. Das Benutzergerät 110 kann die Bildanforderung empfangen und, in Reaktion, jedwedes angezeigte Bild für den Server für Kontextinformationen 150 bereitstellen. Zum Beispiel kann das Benutzergerät 110 die Bildanforderung empfangen und in Reaktion das angezeigte Logo von „Paul's Diner”, das in der Ressource enthalten ist, bereitstellen, wie durch Flussdiagramm-Element C angegeben wird.
Der Server für Kontextinformationen 150 kann alle vom Benutzergerät 110 bereitgestellten Bilder empfangen und kontextbezogene Informationen bereitstellen, die aus den Bildern identifiziert werden. Zum Beispiel kann der Server für Kontextinformationen 150 ein Bild, das ein Logo von „Paul's Diner” ist, empfangen, bestimmen, dass das Bild ein Logo von „Paul's Diner” ist, und in Reaktion kontextbezogene Informationen über „Paul's Diner” in einem Benutzeroberflächenelement bereitstellen, wie durch Flussdiagramm-Element D angegeben wird.
Das Benutzergerät 110 empfängt dann ein oder mehrere Benutzeroberflächenelemente vom Server für Kontextinformationen 150. Zum Beispiel kann das Benutzergerät 110 ein Benutzeroberflächenelement für „Paul's Diner” vom Server für Kontextinformationen 150 empfangen. Zu Zwecken der Veranschaulichung werden die Benutzeroberflächenelemente als Karten beschrieben. Jedoch können andere Benutzeroberflächenelemente verwendet werden, beispielsweise Chatblasen, auswählbare verbundene Notizen oder Fußnoten, synthetisierte Stimmantworten oder andere Formen. Eine Kontextkarte kann aus Daten bestehen, die kontextbezogene Informationen über ein Suchelement beinhalten. Zum Beispiel kann eine Kontextkarte für „Paul's Diner” kontextbezogene Informationen beinhalten, die beschreiben, dass „Paul's Diner” „ein familiäres Hamburgerlokal” ist. Die Kontextkarte kann Folgeaktionen angeben. Zum Beispiel kann die Kontextkarte für „Paul's Diner” auswählbare Optionen zum Durchführen von Suchen nach Webseiten über „Paul's Diner” beinhalten, ein Öffnen einer Karte bei einer Adresse von „Paul's Diner”, Anrufen der Telefonnummer von „Paul's Diner” und Buchen einer Reservierung bei „Paul's Diner.”
Das Benutzergerät 110 stellt die empfangenen Kontextkarten für den Benutzer bereit. Zum Beispiel kann das Benutzergerät 110 die Kontextkarten durch Erzeugen einer grafischen Anzeige 160 bereitstellen, die die angezeigte Ressource überlagert. Die grafische Anzeige 160 identifiziert, dass die grafische Anzeige für das Element „Paul's Diner” ist, und dass Paul's Diner „ein familiäres Hamburgerlokal” ist, und beinhaltet auswählbare Optionen 162 zum Durchführen von Suchen nach Webseiten über „Paul's Diner”, Öffnen einer Karte bei einer Adresse von „Paul's Diner”, Anrufen der Telefonnummer von „Paul's Diner” und Buchen einer Reservierung bei „Paul's Diner.” In einem anderen Beispiel kann das Benutzergerät 110 aufhören, die Ressource anzuzeigen, sondern stattdessen die grafische Anzeige 160 anzeigen.
Das Benutzergerät 110 kann es dem Benutzer ermöglichen, schnell zu der angezeigten Ressource zurückzukehren. Zum Beispiel kann das Benutzergerät 110 aufhören, die grafische Anzeige 160 anzuzeigen, in Reaktion auf das Erkennen, dass ein Benutzer mit einem Abschnitt der Ressource, der nicht von der grafischen Anzeige 160 überlagert ist, interagiert hat, z. B. sie angeklickt oder berührt hat. In einem anderen Beispiel kann das Benutzergerät 110 aufhören, die grafische Anzeige 160 anzuzeigen, und die Ressource anzeigen, in Reaktion auf das Erkennen, dass ein Benutzer mit einer auswählbaren Option zum Schließen der grafischen Anzeige 160 interagiert hat, z. B. sie angeklickt oder berührt hat.
In einigen Implementierungen, in Reaktion auf das Erkennen, dass ein Benutzer kontextbezogene Informationen für eine angezeigte Ressource wünscht, kann das Benutzergerät 110 bestimmen, ob das Benutzergerät 110 sich in einem Modus befindet, in dem das Bereitstellen angezeigten Bilder nur dann wünschenswert ist, wenn angezeigter textueller Inhalt unzureichend ist, um kontextbezogene Informationen bereitzustellen. Zum Beispiel kann das Benutzergerät 110 bestimmen, ob das Benutzergerät 110 eine getaktete Netzwerkverbindung verwendet, z. B. eine Mobilfunkverbindung statt einer WLAN-Verbindung, wobei eine Begrenzung der Bandbreitennutzung wünschenswert ist, oder das Benutzergerät 110 kann bestimmen, ob das Benutzergerät 110 eine geringe Batterieladung besitzt, sodass eine Begrenzung des Stromverbrauchs durch Datenübertragung wünschenswert ist. In Reaktion auf das Bestimmen, dass das Benutzergerät 110 sich in einem Modus befindet, in dem das Bereitstellen angezeigter Bilder nur dann wünschenswert ist, wenn angezeigter textueller Inhalt unzureichend ist, um kontextbezogene Informationen bereitzustellen, kann das Benutzergerät 110 dann bestimmen, ob die angezeigte Ressource ein Bild beinhaltet, wie oben beschrieben. In Reaktion auf das Bestimmen, dass das Benutzergerät 110 sich nicht in einem Modus befindet, in dem das Bereitstellen angezeigter Bilder nur dann wünschenswert ist, wenn angezeigter textueller Inhalt unzureichend ist, um kontextbezogene Informationen bereitzustellen, kann das Benutzergerät 110 jegliche Bilder in der Ursprungsanfrage oder einen Screenshot des Benutzergeräts 110 in der Ursprungsanfrage einbeziehen.
In einigen Implementierungen, in Reaktion auf das Erkennen, dass ein Benutzer kontextbezogene Informationen für eine angezeigten Ressource wünscht, kann das Benutzergerät 110 bestimmen, ob das Benutzergerät 110 über eine Netzwerkverbindung verfügt. Wenn das Benutzergerät 110 bestimmt, dass das Benutzergerät 110 keine Netzwerkverbindung besitzt, kann das Benutzergerät 110 angezeigte Bilder zuschneiden und eines oder mehrere aus dem Durchführen von lokalen Suchen unter Verwendung der zugeschnittenen Bilder oder dem Speichern der zugeschnittene Bilder und Warten, bis das Benutzergerät 110 über eine Netzwerkverbindung verfügt, um die gespeicherten Bilder als Abfragebilder zu verwenden, durchführen.
2 ist ein ausführlicheres Blockdiagramm der beispielhaften Umgebung 100, in der kontextbezogene Informationen für eine angezeigte Ressource, die ein Bild beinhaltet, bereitgestellt werden. Die Umgebung 100 beinhaltet ein Client-Kontextmodul 210 auf einem Benutzergerät und den Server für Kontextinformationen 150. Der Server für Kontextinformationen 150 beinhaltet ein Elementidentifikationsmodul 220, eine Element-Wissenskurve 222, eine Relevanz-Scoring-Engine 230, eine Element-Auswahl-Engine 240, einen Kontextkartenanbieter 250 und eine Karteninformationsdatenbank 260. In einigen Implementierungen kann das Client-Kontextmodul 210 auf dem Benutzergerät 110 bereitgestellt werden, gezeigt in 1. In anderen Implementierungen kann das Client-Kontextmodul 210 auf einem anderen Benutzergerät bereitgestellt werden, das verschieden ist vom Benutzergerät 110, gezeigt in 1.
Das Client-Kontextmodul 210 bestimmt, dass ein Benutzer kontextbezogene Informationen für eine Ressource wünscht, die ein Bild beinhaltet. Zum Beispiel kann das Client-Kontextmodul 210 bestimmen, dass ein Benutzer eine Taste dreimal schnell gedrückt hat, als er eine Ressource mit dem Text „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen”, und das ein Logo „Paul's Diner” beinhaltet, betrachtet hat (in diesem Beispiel gibt schnelles dreimaliges Drücken der Taste an, dass der Benutzer kontextbezogene Informationen wünscht, aber auch andere Interaktionen können verwendet werden, um diesen Wunsch anzugeben).
In Reaktion auf das Bestimmen, dass ein Benutzer kontextbezogene Informationen für eine Ressource wünscht, bestimmt das Client-Kontextmodul 210, ob Bilder angezeigt werden, und erzeugt eine Anfrage an den Server für Kontextinformationen 212 nach kontextbezogenen Informationen für die angezeigte Ressource, wobei die Anfrage textuellen Inhalt der angezeigten Ressource spezifiziert und ob die angezeigte Ressource Bilder beinhaltet, aber nicht die tatsächlichen Bilder beinhaltet. Zum Beispiel kann das Client-Kontextmodul 210 bestimmen, dass ein Bild in der Mitte des Bildschirms angezeigt wird, und eine Anfrage erzeugen, die spezifiziert, dass das Text „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” angezeigt wird und dass zumindest ein Bild angezeigt wird.
Das Client-Kontextmodul 210 kann bestimmen, ob die angezeigten Ressource zumindest ein Bild beinhaltet, basierend auf dem Aufnehmen eines Screenshots und Identifizieren rechteckiger Bereiche im Screenshot, die nicht textuellen Inhalt beinhalten. Zum Beispiel kann das Client-Kontextmodul 210 einen Kontrast benachbarter Bildpunkte in einem Screenshot analysieren, um rechteckige Bereiche zu identifizieren, die nicht textuellen Inhalt beinhalten. Zusätzlich oder alternativ kann das Client-Kontextmodul 210 bestimmen, ob die angezeigte Ressource ein oder mehrere Bilder beinhaltet, basierend auf einem Dokumentobjektmodell, das repräsentiert, was gerade auf dem Benutzergerät 110 angezeigt wird. Zum Beispiel kann das Benutzergerät 110 bestimmen, dass Hypertext Markup Language (HTML) einer angezeigten Webseite das Anzeigen eines Bildes spezifiziert.
In einigen Implementierungen kann das Client-Kontextmodul 210 möglicherweise nur die Bilder berücksichtigen, die ein Bildkriterium erfüllen. Zum Beispiel kann das Client-Kontextmodul 210 Bilder ignorieren, die weniger als einhundert, zweihundert, fünfhundert Bildpunkte groß sind, oder eine andere Anzahl von Bildpunkten pro Fläche, sodass, wenn Bilder angezeigt werden, aber kein Bild zumindest die Anzahl von Bildpunkten pro Fläche beinhaltet, das Client-Kontextmodul 210 angeben kann, dass keine Bilder angezeigt werden.
In Reaktion auf das Bestimmen, dass die angezeigte Ressource zumindest ein Bild beinhaltet, erzeugt das Benutzergerät 110 eine Anfrage, die den textuellen Inhalt der angezeigten Ressource spezifiziert und einen Hinweis, dass zumindest ein Bild in der angezeigten Ressource enthalten ist, aber keine Bilder von der angezeigten Ressource beinhaltet. Zum Beispiel kann das Client-Kontextmodul 210 eine Anfrage erzeugen, die den Text „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” und „Bild = True” beinhaltet, was angibt, dass ein Bild angezeigt wird, aber kein Bild des Logos von „Paul's Diner” beinhaltet
Das Client-Kontextmodul 210 stellt dann die Anfrage für das Elementidentifikationsmodul 220 bereit. Zum Beispiel stellt das Client-Kontextmodul 210 die Anfrage für das Elementidentifikationsmodul 220 bereit, ohne dass der Benutzer Suchbegriffe bereitstellt oder eine Abfragebild spezifiziert. Diese Anfrage wird durch Flussdiagramm-Element A angegeben.
Die Elementidentifikationsmodul 220 empfängt die Anfrage nach kontextbezogenen Informationen für die angezeigte Ressource und versucht, ein oder mehrere Suchelemente aus den durch die Anfrage spezifizierten Inhalten zu identifizieren. Zum Beispiel kann das Elementidentifikationsmodul 220 eine Anfrage erhalten, die den Text „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” spezifiziert und angibt, dass ein Bild angezeigt wird, und identifiziert, in Reaktion darauf, das Suchelement „Hamburger” aus dem durch die Anfrage spezifizierten Text.
Wie in dieser Spezifikation verwendet, ist ein „Suchelement” ein Konzept oder Gegenstand, das/der von einem Suchsystem verwendet werden kann, um eine Suche nach Informationen durchzuführen. Ein Suchelement kann durch ein Textfragment angegeben werden, z. B. einen Begriff oder Ausdruck, und Suchelemente sind voneinander unterscheidbar, z. B. basierend auf Kontext. Zum Beispiel kann ein Suchelement ein Schlüsselwort und Auftreten einer bestimmten Entität sein, ein Eigenname, eine Entität oder Beziehung, die durch einen Knoten oder eine Kante in einer Wissenskurve abgebildet wird, und dergleichen.
Das Elementidentifikationsmodul 220 kann Suchelemente durch Extrahieren von Text aus der Anfrage identifizieren. Zum Beispiel kann das Elementidentifikationsmodul 220 den Text „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” aus der Anfrage extrahieren. Das Elementidentifikationsmodul 220 kann den Text durch Parsen eines Dokumentobjektmodells extrahieren, das die angezeigte Ressource repräsentiert.
Das Elementidentifikationsmodul 220 kann das eine oder die mehreren Suchelemente aus dem extrahierten Text unter Verwendung der Element-Wissenskurve 222 identifizieren. Zum Beispiel kann das Elementidentifikationsmodul 220 identifizieren, dass der Text „Hamburger” in der angezeigten Ressource mit dem Namen eines Nahrungsmittels „Hamburger” in der Element-Wissenskurve 222 übereinstimmt. Die Element-Wissenskurve 222 kann eine Wissenskurve sein, die Knoten für Suchelemente, Kanten, die Beziehungen zwischen den Knoten angeben, und kontextbezogene Informationen beinhaltet, die die von den Knoten repräsentierten Suchelemente beschreiben. In einem anderen Beispiel kann das Elementidentifikationsmodul 220 das eine oder die mehreren Suchelemente aus dem extrahierten Text durch Durchführen von Suchen unter Verwendung des Texts identifizieren. Zum Beispiel kann das Elementidentifikationsmodul 220 bestimmen, dass eine Suchabfrage einschließlich des Begriffs „Hamburger” eine Definition des Begriffs „Hamburger” ergibt.
Während die Ursprungsanforderung, die vom Client-Kontextmodul 210 erhalten wird, keine Bilder beinhaltet, ist das Elementidentifikationsmodul 220 des Weiteren in der Lage Suchelemente aus Bildern zu identifizieren. Zum Beispiel kann das Elementidentifikationsmodul 220 gekennzeichnete Bilder identifizieren, die optisch einem Bild, das das Client-Kontextmodul 210 bereitgestellt hat, ähneln, wobei die gekennzeichneten Bilder mit Kennungen für Suchelemente gekennzeichnet werden. In einem anderen Beispiel kann das Elementidentifikationsmodul 220 optische Zeichenerkennung auf ein Bild, das vom Client-Kontextmodul 210 bereitgestellt wurde, anwenden, um Text zu extrahieren und dann Suchelemente aus dem extrahierten Text zu identifizieren. Während die Ursprungsanforderung vom Client-Kontextmodul 210 keine Bilder beinhaltet, kann das Elementidentifikationsmodul 220 jedoch möglicherweise keine Suchelemente aus Bildern für die Ursprungsanfrage nach kontextbezogenen Informationen vom Client-Kontextmodul 210 identifizieren.
Die Relevanz-Scoring-Engine 230 kann die Suchelemente empfangen, die durch das Elementidentifikationsmodul 220 identifiziert wurden, wie durch Flussdiagramm-Element B angegeben, und eine Relevanzbewertung für jedes der Suchelemente bestimmen. Die Relevanzbewertung kann auf eine Reihe geeigneter Arten bestimmt werden. Zum Beispiel kann die Relevanzbewertung ein Vertrauen, dass das Suchelement relevant für den Benutzer ist, abbilden, d. h. einen Vertrauensgrad, dass der Benutzer gerne kontextbezogene Informationen über das Suchelement sehen möchte. Zum Beispiel kann die Relevanz-Scoring-Engine 230 einen Hinweis empfangen, dass das Suchelement „Hamburger” aus dem textuellen Inhalt, der durch eine Anfrage spezifiziert wird, identifiziert wurde und eine Relevanzbewertung von 30 % für das Suchelement „Hamburger” bestimmen, was einen geringen Vertrauensgrad angibt, dass der Benutzer gerne kontextbezogene Informationen über das Suchelement „Hamburger” sehen würde.
Die Relevanz-Scoring-Engine 230 kann eine Relevanzbewertung für ein Suchelement bestimmen, basierend auf einer Beschäftigung von Benutzern mit den Suchelementen. Beispiele für Beschäftigung beinhalten das Bereitstellen von Suchabfragen nach Ressourcen, die für das Suchelement relevant sind, Anfordern einer Ressource, die als relevant für das Suchelement indexiert ist, oder andere signifikante Zeichen von Interesse am Suchelement. Die Relevanz Scoring-Engine 230 kann Relevanzbewertungen bestimmen, die höhere Vertrauensgrade angeben, dass der Benutzer, mit stärkerer Beschäftigung damit, gerne kontextbezogene Informationen über ein Suchelement sehen würde, und kann Relevanz-Bewertungen bestimmen, die geringere Vertrauensgrade angeben, dass der Benutzer mit geringerer Beschäftigung gerne kontextbezogene Informationen über ein Suchelement sehen würde. Die Relevanz Scoring-Engine 230 kann die Beschäftigung mit einem Suchelement aus, beispielsweise, einem Analysieren von Suchabfragenverlaufsprotokollen oder Ressourcenanfrageprotokollen bestimmen.
Zusätzlich oder alternativ kann die Relevanz-Scoring-Engine 230 eine Relevanzbewertung für ein Suchelement basierend auf einem Aussehen des Textes, aus dem das Suchelement identifiziert wurde, bestimmen. Zum Beispiel kann die Relevanz-Scoring-Engine 230 Relevanzbewertungen, die einen höheren Vertrauensgrad angeben, für Suchelemente bestimmen, die aus Text identifiziert werden, der fett gesetzt ist, da der Text fett gesetzt sein kann, weil der Text wichtig ist. In einem anderen Beispiel kann die Relevanz-Scoring-Engine 230 Relevanzbewertungen, die einen höheren Vertrauensgrad widerspiegeln, für Suchelemente bestimmen, die aus Text identifiziert werden, der eine größere Schriftgröße, eine andere Farbe besitzt oder anders ausgerichtet ist als der Großteil des Texts in der angezeigten Ressource, da ein unterschiedliches Aussehen des Texts anzeigen kann, dass der Text wichtig ist.
Der Elementauswahl-Engine 240 kann die Relevanzbewertungen empfangen und ein oder mehrere Suchelemente auswählen, für die kontextbezogene Informationen für den Benutzer bereitgestellt werden. Zum Beispiel kann die Elementauswahl-Engine 240 eine Identifizierung des Suchelements „Hamburger” empfangen, das mit einer Relevanzbewertung von 30 % gekennzeichnet ist, wie durch Flussdiagramm-Element C angegeben, und, in Reaktion darauf, kein Suchelement auswählen, um kontextbezogene Informationen bereitzustellen.
Die Elementauswahl-Engine 240 kann die Suchelemente basierend auf dem Bestimmen auswählen, ob die Suchelemente jeweils Relevanzbewertungen besitzen, die einen Relevanz-Schwellenwert erfüllt. Zum Beispiel kann die Elementauswahl-Engine 240 das Suchelement „Hamburger” nicht auswählen, da die Relevanzbewertung von 30 % kleiner ist als ein Relevanz-Schwellenwert von 60 %, 65 %, 85 % oder ein anderer Prozentsatz über 30 %. In einem anderen Beispiel kann die Elementauswahl-Engine 240 möglicherweise keine Suchelemente auswählen, da das Elementidentifikationsmodul 220 möglicherweise keine Suchelemente identifiziert.
In Reaktion auf das Auswählen keiner Suchelemente, die aus textuellem Inhalt identifiziert wurden, der durch eine Anfrage spezifiziert wurde, kann die Elementauswahl-Engine 240 bestimmen, ob die Anfrage angibt, dass die angezeigte Ressource zumindest ein Bild beinhaltet. Zum Beispiel kann die Elementauswahl-Engine 240 bestimmen, ob die Anfrage eine Variable „Bild” mit einem Variablenwert von „True” beinhaltet. In einem anderen Beispiel kann die Elementauswahl-Engine 240 bestimmen, ob die Anfrage einen Platzhalter für ein Bild beinhaltet.
In Reaktion auf das Auswählen keiner Suchelemente, die aus textuellem Inhalt identifiziert wurden, der durch eine Anfrage spezifiziert wurde, und Bestimmen, dass das Angezeigte zumindest ein Bild beinhaltet, kann die Elementauswahl-Engine 240 Bilder vom Client-Kontextmodul 210 anfordern. Zum Beispiel kann die Elementauswahl-Engine 240 eine Bildanforderung für das Client-Kontextmodul 210 bereitstellen, wobei die Bildanforderung eine Anweisung an das Client-Kontextmodul 210 ist, Bilder, die aktuell auf dem Benutzergerät 110 angezeigt werden, bereitzustellen. Diese Anfrage wird durch Flussdiagramm-Element D angegeben.
Das Client-Kontextmodul 210 kann die Bildanforderung empfangen und, in Reaktion, alle Bilder, die aktuell angezeigt werden für das Elementidentifikationsmodul 220 bereitstellen. Zum Beispiel kann das Client-Kontextmodul 210 die Bildanforderung empfangen und, in Reaktion, das Bild, das ein Logo von „Paul's Diner” ist, bereitstellen. In einigen Implementierungen kann das Client-Kontextmodul 210 beim Bereitstellen von Bildern bestimmen, ob mehrere Bilder vom Benutzergerät 110 angezeigt werden. Zum Beispiel kann das Client-Kontextmodul 210 bestimmen, dass ein Screenshot des Benutzergeräts 110 mehrere separate rechteckige Abschnitte beinhaltet, die nicht textuellen Inhalt beinhalten. In Reaktion auf das Bestimmen, dass mehrere Bilder angezeigt werden, kann das Client-Kontextmodul 210 einen gesamten Screenshot des Benutzergeräts 110 bereitstellen. In Reaktion auf das Bestimmen, dass nur ein einziges angezeigt wird, kann das Client-Kontextmodul 210 einen Abschnitt eines Screenshots bereitstellen, der dem rechteckigen Abschnitt entspricht, der nicht textuellen Inhalt beinhaltet, wie durch Flussdiagramm-Element E angegeben.
Das Elementidentifikationsmodul 220 kann das Bild empfangen und Suchelemente aus dem Bild identifizieren. Zum Beispiel kann das Elementidentifikationsmodul 220 ein Bild, das ein Logo von „Paul's Diner” ist, vom Client-Kontextmodul 110 empfangen, bestimmen, dass das empfangenen Bild visuell einem Bild ähnelt, das als Logo von „Paul's Diner” gekennzeichnet ist und, in Reaktion darauf, „Paul's Diner” als Suchelement aus der Kennzeichnung identifizieren. In einem anderen Beispiel kann das Elementidentifikationsmodul 220 ein Bild, das ein Logo von „Paul's Diner” ist, vom Client-Kontextmodul 110 empfangen, eine optische Zeichenerkennung auf das Bild anwenden, um den Text „Paul's Diner” zu extrahieren und, in Reaktion darauf, „Paul's Diner” als Suchelement aus dem extrahierten Text identifizieren, wie durch Flussdiagramm-Element F angegeben.
Die Relevanz-Scoring-Engine 230 kann die Identifizierung von Suchelementen, die aus Bildern identifiziert werden, empfangen und, wie oben beschrieben, eine Relevanzbewertung für jedes der Suchelemente bestimmen. Zum Beispiel kann die Relevanz Scoring-Engine 230 die Identifizierung des Suchelements „Paul's Diner” empfangen und, wie oben beschrieben, eine Relevanzbewertung von 90 % für das Suchelement „Paul's Diner” bestimmen, was eine hohes Vertrauen angibt, dass das Suchelement relevant ist. In einigen Implementierungen kann die Relevanz-Scoring-Engine 230 zusätzlich Attribute des Bildes, aus dem das Suchelement identifiziert wird, berücksichtigen. Zum Beispiel kann die Relevanz-Scoring-Engine 230 zusätzlich für Bilder, die größere Anzeigefläche einnehmen, Relevanzbewertungen bestimmen, die einen höheren Vertrauensgrad angeben, dass ein Suchelement relevant ist, und für Bilder, die kleinere Anzeigefläche einnehmen, Relevanzbewertungen bestimmen, die einen niedrigeren Vertrauensgrad angeben, dass ein Suchelement relevant ist.
Zusätzlich oder alternativ kann die Relevanz-Scoring-Engine 230 textuellen Inhalt, der durch die Anfrage spezifiziert wird, mit dem empfangenen Bild kombinieren, um eine Relevanzbewertung zu bestimmen. Zum Beispiel kann die Relevanz-Scoring-Engine 230 bestimmen, dass das Suchelement „Paul's Diner” aus dem Bild identifiziert wird, das ein Logo von „Paul's Diner” ist, dass das Suchelement „Paul's Diner” eine Beschreibung „ein familiäres Hamburgerrestaurant” besitzt, die das Wort „Hamburger” beinhaltet, dass die Anfrage den Text „Hamburger” beinhaltet und, in Reaktion, einer Relevanzbewertung bestimmen, die einen höheren Vertrauensgrad angibt, dass das Suchelement „Paul's Diner” für die angezeigte Ressource relevant ist.
Die Elementauswahl-Engine 240 kann, wie oben beschrieben, die Relevanzbewertungen erhalten und ein oder mehrere Suchelemente auswählen, für die für den Benutzer kontextbezogene Informationen bereitgestellt werden. Zum Beispiel kann die Elementauswahl-Engine 240 die Relevanzbewertung von 90 % für das Suchelement „Paul's Diner” erhalten, wie durch Flussdiagramm-Element G angegeben, und, in Reaktion darauf, das Suchelement „Paul's Diner” auswählen, um kontextbezogene Informationen bereitzustellen, da die Relevanzbewertung von 90 % über einem Relevanz-Schwellenwert von 65 %, 75 %, 80 % oder einem anderen Prozentsatz unter 90 % liegt.
Der Kontextkartenanbieter 250 kann Kontextkarten einschließlich kontextbezogener Informationen für die ausgewählten Suchelemente erhalten und die Kontextkarten für das Client-Kontextmodul 210 bereitstellen. Zum Beispiel kann der Kontextkartenanbieter 250 eine Identifizierung des Suchelement „Paul's Diner” von der Elementauswahl-Engine 240 erhalten, wie durch Flussdiagramm-Element H angegeben, und eine Kontextkarte für das Suchelement „Paul's Diner” für das Client-Kontextmodul 210 bereitstellen. Im Beispiel beinhaltet die Kontextkarte einen vollständigen Namen und eine kurze Beschreibung für das Suchelement „Paul's Diner” und auswählbare Optionen zum Durchführen von Suchen nach Webseiten über „Paul's Diner”, Öffnen einer Karte bei einer Adresse von „Paul's Diner”, Anrufen einer Telefonnummer für „Paul's Diner” und Buchen einer Reservierung bei „Paul's Diner.”
Der Kontextkartenanbieter 250 kann Kontextkarten durch Erzeugen von Kontextkarten für Suchelemente erhalten. Zum Beispiel kann der Kontextkartenanbieter 250 von der Element-Wissenskurve 222 einen vollständigen Namen, eine kurze Beschreibung, eine physikalische Adresse, eine Telefonnummer und einen Hinweis, dass Reservierungen für „Paul's Diner” gebucht werden können, erhalten. In einem anderen Beispiel kann der Kontextkartenanbieter 250 Suchen unter Verwendung des Suchelement „Paul's Diner” durchführen, um einen vollständigen Namen, eine kurze Beschreibung, eine physikalische Adresse, eine Telefonnummer und einen Hinweis, dass Reservierungen für „Paul's Diner” gebucht werden können, zu erhalten.
In einigen Implementierungen, vor Erzeugen einer Kontextkarte für ein Suchelement, kann der Kontextkartenanbieter 250 bestimmen, ob eine Kontextkarte für das Suchelement bereits in einer Karteninformationsdatenbank 260 existiert. Zum Beispiel kann der Kontextkartenanbieter 250 die Karteninformationsdatenbank 260 nach einer Kontextkarte für das Suchelement „Paul's Diner” abfragen. Wenn die Karteninformationsdatenbank 260 eine vorhandene Kontextkarte für das Suchelement beinhaltet, kann die Karteninformationsdatenbank 260 die Kontextkarte für den Kontextkartenanbieter 250 bereitstellen, sodass der Kontextkartenanbieter 250 die vorhandene Kontextkarte für das Client-Kontextmodul 210 bereitstellen kann, anstatt eine neue Kontextkarte zu erzeugen. Die Kontextkarte wird dann für das Benutzergerät bereitgestellt, wie durch Flussdiagramm-Element I angegeben.
3A ist ein Interaktionsdiagramm einer beispielhaften Interaktion 300 zum Bereitstellen kontextbezogener Informationen für eine angezeigte Ressource, die ein Bild beinhaltet. Die Interaktion 300 findet zwischen dem Benutzergerät 110 und dem Server für Kontextinformationen 150 statt, wenn eine angezeigte Ressource zumindest ein Bild beinhaltet, und textueller Inhalt in der Ressource unzureichend ist, um eine Kontextkarte bereitzustellen. Zum Beispiel betrachtet ein Benutzer eine Textnachrichten-Konversation mit dem Text „Ich habe ein paar tolle Fotos gemacht”, der durch den Benutzer eingegeben wurde, und „Schick mir eins”, was von einem Empfänger empfangen wurde, gefolgt von einem Bild der „Golden Gate Bridge.” Hier wünscht der Benutzer, kontextbezogene Informationen über die „Golden Gate Bridge” zu erhalten.
Zunächst beinhaltet die Interaktion 300 das Bestimmen, dass eine angezeigte Ressource ein Bild (310) beinhaltet. Zum Beispiel kann das Benutzergerät 110 bestimmen, dass ein Benutzer lange eine Taste gedrückt hat und, in Reaktion darauf bestimmen, dass ein Abschnitt einer Ressource, die aktuell angezeigt wird, das Bild beinhaltet, z. B. ein Bild der „Golden Gate Bridge,” das mehr als fünfhundert Bildpunkte beinhaltet.
Die Interaktion beinhaltet ein Bereitstellen einer abfrageunabhängige Anfrage, die Inhalte der Ressource spezifiziert und die angibt, dass zumindest ein Bild angezeigt wird, jedoch nicht das Bild (320). Zum Beispiel kann das Benutzergerät 110 eine abfrageunabhängige Anfrage bereitstellen, die den Text „Ich habe ein paar tolle Fotos gemacht” und „Schick mir eins“ spezifiziert und anzeigt, dass die angezeigte Ressource zumindest ein Bild beinhaltet, aber nicht das Bild beinhaltet.
Die Interaktion beinhaltet das Bestimmen, dass die spezifizierten Inhalte unzureichend sind, eine Kontextkarte bereitzustellen, und dass die Ressource ein Bild beinhaltet (330). Zum Beispiel kann der Server für Kontextinformationen 150 möglicherweise keine Suchelemente aus dem textuellen Inhalt, der durch die Anfrage spezifiziert wird, identifizieren oder ein oder mehrere Suchelemente aus dem textuellen Inhalt, der durch die Anfrage spezifiziert werden, identifizieren, aber nicht auswählen, kontextbezogene Informationen über eines der identifizierten Suchelemente bereitzustellen, z. B. können Relevanzbewertungen für identifizierte Suchelemente einen Vertrauensgrad für Relevanz angeben, der einen Relevanzschwellenwert nicht erfüllt.
Die Interaktion beinhaltet ein Anfordern jedweder angezeigten Bilder in der Ressource (340). Zum Beispiel kann der Server für Kontextinformationen 150 dem Benutzergerät 110 eine Anfrage nach allen Bildern, die aktuell für die angezeigte Ressource angezeigt werden, bereitstellen.
Die Interaktion beinhaltet das Bereitstellen jedweder angezeigten Bilder für den Server für Kontextinformationen 150 (350). Zum Beispiel kann das Benutzergerät 110 dem Server für Kontextinformationen 150 das Bild der „Golden Gate Bridge” in der Nachrichtenkonversation bereitstellen.
Die Interaktion beinhaltet das Bereitstellen einer Kontextkarte bezüglich des Bildes (360). Zum Beispiel kann der Server für Kontextinformationen 150 bestimmen, dass das Bild der „Golden Gate Bridge” visuell einem Bild ähnelt, das als ein repräsentatives Bild für das Suchelement „Golden Gate Bridge” gespeichert ist, und, in Reaktion darauf, dem Benutzergerät 110 eine Kontextkarte für das Suchelement „Golden Gate Bridge” bereitstellen.
3B ist ein Interaktionsdiagramm einer beispielhaften Interaktion 380 zum Bereitstellen kontextbezogener Informationen für eine angezeigte Ressource, die ein Bild beinhaltet. Die Interaktion 380 findet zwischen dem Benutzergerät 110 und der Server für Kontextinformationen 150 statt, wenn eine angezeigte Ressource zumindest ein Bild beinhaltet, und textueller Inhalt in der Ressource ausreicht, um eine Kontextkarte bereitzustellen. Zum Beispiel betrachtet ein Benutzer eine Nachrichtenkonversation mit dem Text „Ich habe ein paar tolle Fotos von der Golden Gate Bridge gemacht” und „Schick mit eins”, gefolgt von einem Bild der „Golden Gate Bridge”, wobei der Benutzer wünscht, kontextbezogene Informationen über die „Golden Gate Bridge” zu erhalten.
Zunächst beinhaltet die Interaktion 300 das Bestimmen, dass eine angezeigte Ressource ein Bild (382) beinhaltet. Zum Beispiel kann das Benutzergerät 110 bestimmen, dass ein Benutzer lange eine Taste gedrückt hat, und dass ein Abschnitt einer Ressource, die aktuell angezeigt wird, das Bild beinhaltet, z. B. ein Bild der „Golden Gate Bridge”, das mehr als fünfhundert Bildpunkte beinhaltet.
Die Interaktion beinhaltet das Bereitstellen einer abfrageunabhängigen Anfrage, die den Inhalt der Ressource spezifiziert und die angibt, dass zumindest ein Bild angezeigt wird, und das Bild (384) nicht einschließt. Zum Beispiel kann das Benutzergerät 110 eine abfrageunabhängige Anfrage bereitstellen, die den Text „Ich habe ein paar tolle Fotos von der Golden Gate Bridge gemacht” und „Schick mir eins” spezifiziert und angibt, dass die angezeigte Ressource zumindest ein Bild beinhaltet, aber keine Bilder beinhaltet.
Die Interaktion beinhaltet das Bestimmen, dass die spezifizierten Inhalte ausreichen, um eine Kontextkarte bereitzustellen (386). Zum Beispiel kann der Server für Kontextinformationen 150 das Suchelement „Golden Gate Bridge” aus dem Text „Golden Gate Bridge”, das durch die Anfrage spezifiziert wird, identifizieren und das Suchelement „Golden Gate Bridge” auswählen, um eine Kontextkarte bereitzustellen.
Die Interaktion beinhaltet ein Bereitstellen einer Kontextkarte bezüglich der spezifizierten Inhalte (388). Zum Beispiel kann der Server für Kontextinformationen 150 eine Kontextkarte für das Suchelement „Golden Gate Bridge” bereitstellen, das aus dem Text „Golden Gate Bridge”, der durch die Anfrage spezifiziert wird, identifiziert wird, ohne das Benutzergerät 110 zum Bereitstellen aktuell angezeigter Bilder zu veranlassen.
4 ist ein Flussdiagramm eines Prozesses 400 für ein Benutzergerät, um kontextbezogene Informationen für eine angezeigte Ressource bereitzustellen, die ein Bild beinhaltet. Zum Beispiel kann der Prozess 400 durch das Benutzergerät 110 aus der Umgebung 100 verwendet werden.
Der Prozess 400 beinhaltet das Bereitstellen einer abfrageunabhängigen Anfrage, die die Inhalte einer angezeigten Ressource spezifiziert, und dass die Ressource ein Bild beinhaltet, aber kein Bild beinhaltet (410). Zum Beispiel kann das Benutzergerät 110 bestimmen, dass ein angezeigter Abschnitt einer Webseite den Text „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” und ein Bild, z. B. ein Logo von „Paul's Diner” beinhaltet und, in Reaktion darauf, dem Server für Kontextinformationen 150 eine Anfrage bereitstellen, die den Text „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” spezifiziert und angibt, dass die Anfrage ein Bild beinhaltet.
Der Prozess 400 beinhaltet das Empfangen einer Anfrage nach dem Bild (420). Zum Beispiel kann das Benutzergerät 110 eine Bildanforderung vom Server für Kontextinformationen 150 in Reaktion darauf empfangen, dass der Server für Kontextinformationen 150 bestimmt, dass der textuelle Inhalt der angezeigten Ressource, der durch die Anfrage spezifiziert wird, nicht ausreichend ist, ein Benutzeroberflächenelement einschließlich kontextbezogener Informationen für die angezeigte Ressource bereitzustellen, wobei die Anfrage eine Anweisung an das Benutzergerät 110 ist, jedwede angezeigten Bilder für den Server für Kontextinformationen 150 bereitzustellen.
Der Prozess 400 beinhaltet das Bereitstellen des Bildes (430). Zum Beispiel kann das Benutzergerät 110 in Reaktion auf das Empfangen der Bildanforderung dem Server für Kontextinformationen 150 ein Bild des Logos von „Paul's Diner” bereitstellen.
Der Prozess beinhaltet das Empfangen eines Benutzeroberflächenelements, das kontextbezogene Informationen über das Bild beinhaltet (440). Zum Beispiel kann das Benutzergerät 110 eine Kontextkarte für „Paul's Diner” empfangen, die kontextbezogene Informationen über das Logo von „Paul's Diner” beinhaltet.
Der Prozess beinhaltet das Anzeigen eines Benutzeroberflächenelements mit der Ressource (450). Zum Beispiel kann das Benutzergerät 110 die Kontextkarte für „Paul's Diner” überlagert auf dem angezeigten Abschnitt der Webseite anzeigen, der den Text „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” und das Logo von „Paul's Diner” beinhaltet.
In einigen Implementierungen kann der Prozess 400 zusätzliche Schritte oder weniger Schritte beinhalten, oder einige der Schritte können in mehrere Schritte aufgeteilt werden. Zum Beispiel kann das Benutzergerät 110 zusätzlich Funktionen des Servers für Kontextinformationen 150 durchführen.
5 ist ein Flussdiagramm eines Prozesses 500 für einen Server für Kontextinformationen, um kontextbezogene Informationen für eine Ressource bereitzustellen, die ein Bild beinhaltet. Zum Beispiel kann der Prozess 500 vom Server für Kontextinformationen 150 aus der Umgebung 100 verwendet werden.
Der Prozess 500 beinhaltet das Empfangen einer abfrageunabhängigen Anfrage, die Inhalte einer angezeigten Ressource spezifiziert, und dass die Ressource ein Bild beinhaltet, aber das Bild nicht beinhaltet (510). Zum Beispiel kann der Server für Kontextinformationen 150 eine Anfrage nach kontextbezogenen Informationen für eine angezeigte Webseite empfangen, wobei die Anfrage textuellen Inhalt „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” spezifiziert und angibt, dass die angezeigte Ressource zumindest ein Bild beinhaltet.
Der Prozess 500 beinhaltet das Bestimmen, dass die Inhalte, die durch die Anfrage spezifiziert werden, nicht ausreichend sind, um kontextbezogene Informationen über die Ressource bereitzustellen, und dass die Ressource ein Bild (520) beinhaltet. Zum Beispiel kann der Server für Kontextinformationen 150 bestimmen, dass kein Suchelement durch den angezeigten textuellen Inhalt „ist Nummer vier auf unserer Liste von tollen Hamburgerlokalen” identifiziert werden kann, der durch die Anfrage spezifiziert wird, oder dass kein Suchelement, das aus dem textuellen Inhalt der angezeigten Ressource identifiziert wurde, eine Relevanzbewertung besitzt, die einen Relevanzschwellenwert erfüllt.
Der Prozess 500 beinhaltet das Anfordern des Bildes in der angezeigten Ressource (530). Zum Beispiel kann der Server für Kontextinformationen 150 eine Bildanforderung für das Benutzergerät 110 bereitstellen, wobei die Bildanforderung das Benutzergerät 110 auffordert, jedwede angezeigten Bilder von der Webseite für den Server für Kontextinformationen 150 bereitzustellen.
Der Prozess 500 beinhaltet das Bestimmen eines Benutzeroberflächenelements, das kontextbezogene Informationen über das Bild beinhaltet (540). Zum Beispiel kann der Server für Kontextinformationen 150 ein Bild empfangen, das das Logo von „Paul's Diner” ist, bestimmen, dass das empfangene Bild mit einem Bild übereinstimmt, das als Logo von „Paul's Diner” gekennzeichnet ist, das Suchelement „Paul's Diner” basierend auf der Übereinstimmung identifizieren, bestimmen, dass das Suchelement „Paul's Diner” eine Relevanzbewertung besitzt, die einen hohen Relevanzgrad angibt, basierend darauf, dass das Bild einen großen Bereich des Bildschirms einnimmt, das Suchelement „Paul's Diner” auswählen, um ein Benutzeroberflächenelement basierend auf der Relevanzbewertung bereitzustellen, und, in Reaktion darauf, dem Benutzergerät 110 das Benutzeroberflächenelement für das Suchelement „Paul's Diner” bereitstellen. Wie oben erörtert, kann das Benutzeroberflächenelement für das Suchelement „Paul's Diner” eine Kontextkarte für das Restaurant „Paul's Diner” sein, die Informationen für das Restaurant direkt in der Karte beinhaltet, z. B. Öffnungszeiten, Zahl der Bewertungssterne, Telefonnummer usw., oder auswählbare Optionen bezüglich des Restaurants beinhaltet, z. B. eine auswählbare Option, in einer Kartenanwendung eine Wegbeschreibung zum Restaurant zu betrachten, eine auswählbare Option zur Anzeige der Öffnungszeiten des Restaurants, eine auswählbare Option zum Betrachten der Bewertungen des Restaurants in einer Restaurantbewertungsanwendung oder andere auswählbare Optionen.
In einigen Implementierungen kann der Prozess 500 zusätzliche Schritte oder weniger Schritte beinhalten, oder einige der Schritte können in mehrere Schritte aufgeteilt werden. Zum Beispiel kann der Server für Kontextinformationen 150 zusätzlich Funktionen des Benutzergeräts 110 durchführen.
In Situationen, in denen die hier erörterten Systeme persönliche Informationen über Benutzer sammeln oder persönliche Informationen nutzen können, kann den Benutzern die Möglichkeit eingeräumt werden, zu steuern, ob Programme oder Merkmale Benutzerinformationen sammeln (z.°B. Informationen über das soziale Netzwerk eines Benutzers, soziale Handlungen oder Aktivitäten, Beruf, Benutzerpräferenzen oder der aktuelle Standort eines Benutzers), oder um zu steuern, ob und/oder wie Inhalte von dem Inhaltsserver empfangen werden, die für den Benutzer von größerer Relevanz sein können. Darüber hinaus können bestimmte Daten auf eine oder mehrere Weisen behandelt werden, bevor sie gespeichert oder verwendet werden, sodass personenbezogene Informationen entfernt werden. Beispielsweise kann die Identität eines Benutzers so behandelt werden, dass keine personenbezogenen Informationen für den Benutzer bestimmt werden können oder der geografische Standort eines Benutzers verallgemeinert werden kann, wenn Standortinformationen (z. B. eine Stadt, eine Postleitzahl oder ein Bundesstaat) erhalten werden, sodass ein bestimmter Standort eines Benutzers nicht bestimmt werden kann. Somit kann der Benutzer die Kontrolle darüber haben, inwiefern Informationen über den Benutzer gesammelt und von einem Inhaltsserver verwendet werden.
Ausführungsformen des Gegenstands sowie die in dieser Spezifikation beschriebenen Vorgänge können in einer digitalen elektronischen Schaltung oder in Computersoftware, Firmware oder Hardware, darunter auch in aus dieser Spezifikation hervorgehenden Strukturen und deren strukturellen Entsprechungen oder in Kombinationen daraus, implementiert werden. Ausführungsformen des in dieser Spezifikation beschriebenen Gegenstands können als ein oder mehrere Computerprogramme implementiert werden, d. h. als ein oder mehrere Module mit Computerprogrammanweisungen, die auf einem Computerspeichermedium codiert sind, um von einem Datenverarbeitungsgerät ausgeführt zu werden bzw. den Betrieb desselben zu steuern. Alternativ oder ergänzend dazu können die Programmanweisungen auf einem künstlich erzeugten sich ausbreitendem Signal, wie beispielsweise einem maschinenerzeugten elektrischen, optischen oder elektromagnetischen Signal kodiert werden, welches erzeugt wird, um Informationen zur Übertragung an ein geeignetes Empfängergerät zu kodieren, welche dann von einem Datenverarbeitungsgerät ausgeführt werden. Ein Computerspeichermedium kann ein computerlesbares Speichergerät, ein computerlesbares Speichersubstrat, ein frei adressierbares oder serielles Zugriffsspeicher-Array oder -Gerät oder eine Kombination daraus sein bzw. darin beinhaltet sein. Ein Computerspeichermedium ist zwar kein sich verbreitendes Signal, ein Computerspeichermedium kann jedoch eine Quelle oder ein Ziel von Computerprogrammbefehlen sein, die in einem künstlich erzeugten verbreiteten Signal kodiert sind. Bei dem Computerspeichermedium kann es sich auch um eine oder mehrere unterschiedliche physische Komponenten oder Medien (z. B. mehrere CDs, Disks oder andere Speichergeräte) handeln, bzw. kann das Speichermedium darin enthalten sein.
Die in dieser Spezifikation beschriebenen Vorgänge können als Vorgänge implementiert sein, die durch eine Datenverarbeitungsvorrichtung an Daten ausgeführt werden, die auf einer oder mehreren computerlesbaren Speichergerät(en) gespeichert, oder von anderen Quellen empfangen werden.
Der Begriff „Datenverarbeitungsgerät“ umfasst verschiedene Apparate, Geräte und Maschinen zur Verarbeitung von Daten, einschließlich z. B. eines programmierbaren Prozessors, eines Computers, eines oder mehrerer Systeme auf einem Chip bzw. einer Kombination daraus. Das Gerät kann eine logische Schaltung für spezielle Zwecke wie z. B. eine FPGA (feldprogrammierbares Gate-Array) oder eine ASIC (anwendungsspezifische integrierte Schaltung) beinhalten. Das Gerät kann zusätzlich zur Hardware auch Code beinhalten, der eine Ausführungsumgebung für das entsprechende Computerprogramm erzeugt, wie z. B. Code, der Prozessorfirmware, einen Protokollstapel, ein Datenbankverwaltungssystem, ein Betriebssystem, eine plattformübergreifende Laufzeitumgebung, einen virtuellen Computer oder eine Kombination daraus darstellt. Das Gerät und die Ausführungsumgebung können verschiedene Computermodellinfrastrukturen, wie z. B. Webdienste, sowie verteilte Rechen- und räumlich verteilte Rechen-Infrastrukturen realisieren.
Ein Computerprogramm (auch als Programm, Software, Softwareanwendung, Script oder Code bezeichnet) kann in einer beliebigen Form von Programmiersprache geschrieben sein, darunter auch in kompilierten oder interpretierten Sprachen, deklarativen oder verfahrensorientierten Sprachen, wobei das Programm in jeder beliebigen Form eingesetzt werden kann, darunter auch als unabhängiges Programm oder als Modul, Komponente, Subroutine, Objekt oder eine andere Einheit, die zur Verwendung in einer Rechenumgebung geeignet ist. Ein Computerprogramm kann, muss jedoch nicht einer Datei in einem Dateisystem entsprechen. Ein Programm kann in einem Teil einer Datei gespeichert sein, das andere Programme oder Daten enthält (wie z. B. ein oder mehrere Scripts, die in einem Auszeichnungssprachen-Dokument gespeichert sind), in einer einzelnen dem betreffenden Programm gewidmeten Datei, oder in mehreren koordinierten Dateien (wie beispielsweise Dateien, die ein oder mehrere Module, Teilprogramme oder Code-Abschnitte enthalten). Ein Computerprogramm kann auf einem Computer oder auf mehreren Computern bereitgestellt und ausgeführt werden, die sich an einem Standort oder auf mehreren Standorten verteilt befinden und über ein Kommunikationsnetzwerk miteinander verbunden sind.
Die in dieser Beschreibung dargestellten Prozesse und Logikabläufe können durch einen oder mehrere programmierbare Prozessoren durchgeführt werden, die ein oder mehrere Computerprogramme ausführen, um Aktionen durch das Bearbeiten von Eingabedaten und das Erzeugen von Ausgaben auszuführen. Die Prozesse und Logikabläufe können auch durch eine Logikschaltung für spezielle Zwecke, wie z. B. ein FPGA (feldprogrammierbares Gate-Array) oder eine ASIC (anwendungsspezifische integrierte Schaltung) ausgeführt und die Vorrichtung in Form derselben implementiert werden.
Prozessoren, die für die Ausführung eines Computerprogramms geeignet sind, beinhalten beispielsweise sowohl allgemeine als auch spezielle Mikroprozessoren, sowie jegliche Arten eines oder mehrerer Prozessoren einer beliebigen Art von digitalen Computern. In der Regel empfängt ein Prozessor Anweisungen und Daten von einem Nur-Lese-Speicher oder einem Direktzugriffsspeicher oder auch von beiden. Die wesentlichen Bestandteile eines Computers sind ein Prozessor zum Ausführen von Aktionen in Übereinstimmung mit Befehlen, sowie ein oder mehrere Speichergeräte zum Speichern von Befehlen und Daten. In der Regel enthält ein Computer ein oder mehrere Massenspeichergeräte zum Speichern von Daten, wie z. B: magnetische, magneto-optische oder optische Festplatten, bzw. wird er operativ gekoppelt, um Daten von denselben zu empfangen oder auf dieselben zu übertragen. Ein Computer muss jedoch nicht über solche Geräte verfügen. Darüber hinaus kann ein Computer u. a. in ein anderes Gerät, wie beispielsweise ein Mobiltelefon, einen persönlichen digitalen Assistenten (PDA), einen mobilen Audio- oder Video-Player, eine Spielkonsole, einen GPS-Empfänger oder ein tragbares Speichergerät (z. B. USB-Flash-Laufwerk) integriert sein. Zu den zum Speichern von Computerprogrammanweisungen und Daten geeigneten Medien gehören sämtliche Arten von Festspeichern, Medien und Speichergeräten, darunter auch Halbleiterspeicherelemente, wie beispielsweise EPROM, EEPROM und Flash-Speichergeräte; magnetische Festplatten, wie z. B. interne Festplatten oder Wechselplatten; magneto-optische Festplatten; und CD-ROM- und DVD-ROM-Laufwerke. Der Prozessor und der Speicher können durch eine logische Logikschaltung für spezielle Zwecke ergänzt oder in dieselbe integriert werden.
Um die Interaktion mit einem Benutzer zu ermöglichen, können in dieser Spezifikation beschriebene Ausführungsformen des Gegenstands auf einem Computer mit einem Anzeigegerät implementiert werden, z. B. einem CRT-(Kathodenstrahlröhre) oder LCD-(Flüssigkristallanzeige)Monitor, mit welchem dem Benutzer Informationen angezeigt werden, sowie einer Tastatur und einem Anzeigegerät, z. B. einer Maus oder einem Trackball, mit denen der Benutzer Eingaben in den Computer vornehmen kann. Darüber hinaus können andere Geräte verwendet werden, um die Interaktion mit einem Benutzer zu ermöglichen; zum Beispiel kann es sich bei der Rückmeldung an den Benutzer um jegliche Art von sensorischer Rückmeldung, wie z. B. visuelle, akustische oder taktile Rückmeldungen, handeln; auch die Eingaben des Benutzers können in beliebiger Form, d. h. auch akustisch, sprachlich oder taktil, empfangen werden. Darüber hinaus kann ein Computer mit einem Benutzer interagieren, indem er Dokumente an ein vom Benutzer verwendetes Benutzergerät sendet und Dokumente von demselben Gerät empfängt; z. B. Webseiten auf einem Client-Gerät des Benutzers in Reaktion auf vom Web-Browser empfangene Anfragen an einen Web-Browser sendet.
Die in dieser Spezifikation beschriebenen Ausführungsformen des Gegenstandes können in einem Computersystem implementiert werden, das eine Backend-Komponente, wie z. B. einen Datenserver, oder eine Middleware-Komponente, wie z. B. einen Anwendungsserver oder eine Frontend-Komponente, wie z. B. einen Benutzer-Computer mit einer grafischen Benutzeroberfläche oder eine beliebige Kombination einer oder mehrerer der besagten Backend-, Middleware- oder Frontend-Komponenten oder einen Web-Browser beinhaltet, durch den ein Benutzer mit einer in dieser Spezifikation beschriebenen Implementierung des Gegenstandes interagieren kann. Die Komponenten des Systems können durch eine beliebige Form oder ein beliebiges Medium digitaler Datenkommunikation, wie z. B. ein Kommunikationsnetzwerk, miteinander verbunden sein. Beispiele für Kommunikationsnetzwerke beinhalten ein lokales Netzwerk („LAN“) und ein Großraumnetzwerk („WAN“), ein Inter-Netzwerk (z. B. das Internet) und Peer-to-Peer-Netzwerke (z. B. ad hoc Peer-to-Peer-Netzwerke).
Das Computersystem kann Benutzer und Server beinhalten. Ein Benutzer und Server befinden sich im Allgemeinen entfernt voneinander und interagieren typischerweise über ein Kommunikationsnetzwerk. Die Beziehung zwischen Benutzer und Server entsteht aufgrund von Computerprogrammen, die auf den jeweiligen Computern ausgeführt werden und die eine Benutzer-Server-Beziehung zueinander aufweisen. In einigen Ausführungsformen überträgt ein Server Daten, z. B. eine HTML-Seite zu einem Benutzergerät, z. B. für Zwecke zum Anzeigen von Daten für, und Empfangen von Benutzereingaben von einem Benutzer, der mit dem Benutzergerät interagiert. Daten, die am Benutzergerät erzeugt werden (z. B. ein Ergebnis der Benutzerinteraktion) können vom Benutzergerät auf dem Server empfangen werden.
Ein Beispiel für eine solche Art von Computer wird in 6 gezeigt, die ein schematisches Diagramm eines generischen Computersystems 600 zeigt. Das System 600 kann gemäß einer Implementierung für die Vorgänge, die in Verbindung mit einem der zuvor beschriebenen computerimplementierten Verfahren beschrieben wurden, verwendet werden. Das System 600 beinhaltet einen Prozessor 610, einen Speicher 620, eine Speichervorrichtung 630 und eine Eingabe-/Ausgabe-Vorrichtung 640. Die jeweiligen Komponenten 610, 620, 630 und 640 sind durch die Verwendung eines Systembusses 650 miteinander verbunden. Der Prozessor 610 kann Anweisungen zur Ausführung innerhalb des Systems 600 verarbeiten. In einer Implementierung ist der Prozessor 610 ein Einzel-Thread-Prozessor. In einer weiteren Implementierung ist der Prozessor 610 ein Multi-Thread-Prozessor. Der Prozessor 610 kann Anweisungen verarbeiten, die in dem Speicher 620 oder auf dem Speichergerät 630 gespeichert sind, um graphische Informationen für eine Benutzerschnittstelle auf der Eingabe-/Ausgabe-Vorrichtung 640 anzuzeigen.
Der Speicher 620 speichert Informationen im System 600. In einer Implementierung ist der Speicher 620 ein computerlesbares Medium. In einer Implementierung ist der Speicher 620 eine flüchtige Speichereinheit. In einer anderen Implementierung ist der Speicher 620 eine nicht flüchtige Speichereinheit.
Das Speichergerät 630 ist in der Lage Massenspeicher für das System 600 bereitzustellen. In einer Implementierung ist das Speichergerät 630 ein computerlesbares Medium. In verschiedenen Implementierungen kann das Speichergerät 630 ein Diskettenlaufwerk, ein Festplattenlaufwerk, ein optisches Laufwerk oder ein Bandgerät sein.
Das Eingabe-/Ausgabegerät 640 liefert Eingabe-/Ausgabevorgänge für das System 600. In einer Implementierung umfasst das Eingabe-/Ausgabegerät 640 eine Tastatur und/oder Pointergerät. In einer anderen Implementierung umfasst das Eingabe-/Ausgabegerät 640 eine Anzeigeeinheit zum Anzeigen von grafischen Benutzeroberflächen.
Zwar enthält diese Spezifikation viele spezifische Implementierungsdetails, jedoch sollten diese nicht als Beschränkungen des Anspruchs ausgelegt werden, sondern vielmehr als Beschreibungen spezifischer Merkmale bestimmter Ausführungsformen. Bestimmte Merkmale, die in dieser Spezifikation im Kontext der unterschiedlichen Ausführungsformen beschrieben werden, können auch in Kombination in einer einzelnen Ausführungsform implementiert werden. Andererseits können verschiedene Merkmale, die im Kontext einer einzelnen Ausführungsform beschrieben werden, in mehreren Ausführungsformen oder in jeder geeigneten Unterkombination implementiert werden. Außerdem können, auch wenn die Merkmale vorstehend ggf. als in bestimmten Kombinationen wirkend beschrieben und zunächst auch als solche beansprucht werden, in einigen Fällen ein oder mehrere Merkmale einer beanspruchten Kombination aus der Kombination herausgenommen und die beanspruchte Kombination auf eine Teilkombination oder eine Variante einer Teilkombination gerichtet werden.
Ebenso werden Vorgänge in den Zeichnungen zwar in einer bestimmten Reihenfolge dargestellt, dies sollte jedoch nicht als Anforderung verstanden werden, dass die besagten Vorgänge in der bestimmten dargestellten Reihenfolge oder in einer aufeinanderfolgenden Reihenfolge ausgeführt werden müssen, oder dass alle dargestellten Vorgänge ausgeführt werden müssen, um erwünschte Ergebnisse zu erzielen. Unter bestimmten Umständen können Multitasking und Parallelverarbeitung von Vorteil sein. Darüber hinaus sollte die Trennung verschiedener Systemkomponenten in den oben beschriebenen Ausführungsformen nicht in allen Ausführungsformen als erforderlich aufgefasst werden, und es versteht sich, dass die beschriebenen Programmkomponenten und Systeme im Allgemeinen zusammen in ein einziges Softwareprodukt integriert oder in mehrere Softwareprodukte zusammengefasst werden können.
Somit werden bestimmte Ausführungsformen des Gegenstands beschrieben. Weitere Ausführungsformen liegen innerhalb des Schutzumfangs der folgenden Ansprüche. So können in einigen Fällen die in den Ansprüchen angegebenen Aktionen in einer anderen Reihenfolge durchgeführt werden und dennoch erwünschte Ergebnisse erzielen. Zusätzlich setzen beispielsweise die in den beigefügten Figuren dargestellten Prozesse nicht unbedingt die gezeigte spezielle Reihenfolge oder fortlaufende Reihenfolge voraus, um erwünschte Ergebnisse zu erzielen. Bei bestimmten Implementierungen können Multitasking und eine Parallelverarbeitung vorteilhaft sein.

Claims

Vorrichtung, bestehend aus mindestens einem Prozessor und mindestens einem Speicher einschließlich einem Computerprogrammcode, der bei Ausführung durch den Prozessor die Vorrichtung zur Durchführung eines Verfahrens veranlasst, umfassend: Empfangen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen von einem Benutzergerät durch einen Server für Kontextinformationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzerendgerät angezeigt wird, wobei die Anfrage Inhalt der aktiven Ressource spezifiziert und weiter spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht; Bestimmen durch den Server für Kontextinformationen, dass der durch die Anfrage spezifizierte Inhalt nicht ausreichend ist, um kontextbezogene Informationen über die aktive Ressource bereitzustellen; als Reaktion auf das Bestimmen, dass der durch die Anfrage spezifizierte Inhalt nicht ausreichend ist, um kontextbezogene Informationen über die aktive Ressource bereitzustellen, Bereitstellen einer Anfrage an das Benutzergerät nach dem Bild in der aktiven Ressource durch den Server für Kontextinformationen; Empfangen des Bildes in der aktiven Ressource durch den Server für Kontextinformationen von dem Benutzergerät; Bestimmen eines Benutzeroberflächenelements durch den Server für Kontextinformationen, das kontextbezogene Informationen über das Bild beinhaltet, und Bereitstellen des Benutzeroberflächenelements durch den Server für Kontextinformationen für das Benutzergerät.
Vorrichtung nach Anspruch 1, wobei das Bestimmen durch den Server für Kontextinformationen, dass der durch die Anfrage spezifizierte Inhalt nicht ausreichend ist, um kontextbezogene Informationen über die aktive Ressource bereitzustellen, Folgendes umfasst: Bestimmen, dass die Anfrage spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht, wobei das Bereitstellen der Anfrage nach dem Bild in der aktiven Ressource durch den Server für Kontextinformationen als Reaktion auf das Bestimmen erfolgt, dass die Anfrage spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht.
Vorrichtung nach Anspruch 1 oder 2, wobei das Bestimmen durch den Server für Kontextinformationen, dass der durch die Anfrage spezifizierte Inhalt nicht ausreichend ist, um kontextbezogene Informationen über die aktive Ressource bereitzustellen, Folgendes umfasst: Identifizieren eines oder mehrerer Suchelemente aus dem durch die Anfrage spezifizierten Inhalt; und Bestimmen, keines von dem einen oder den mehreren Suchelementen auszuwählen, um kontextbezogene Informationen über das Suchelement bereitzustellen.
Vorrichtung nach einem der vorangegangenen Ansprüche, wobei das Empfangen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen von einem Benutzergerät durch einen Server für Kontextinformationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzerendgerät angezeigt wird, Folgendes umfasst: Empfangen einer abfrageunabhängigen Anfrage, die einen oder mehrere Abfragebegriffe nicht beinhaltet, die durch einen Benutzer eingegeben wurden, und keinen Inhalt von dem Bild beinhaltet.
Vorrichtung, bestehend aus mindestens einem Prozessor und mindestens einem Speicher einschließlich einem Computerprogrammcode, der bei Ausführung durch den Prozessor die Vorrichtung zur Durchführung eines Verfahrens veranlasst, umfassend: Bereitstellen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzergerät angezeigt wird, durch ein Benutzergerät für einen Server für Kontextinformationen, wobei die Anfrage Inhalt der aktiven Ressource spezifiziert und weiter spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht; Empfangen einer Anfrage nach dem Bild von dem Server für Kontextinformationen durch das Benutzergerät; als Reaktion auf die Anfrage nach dem Bild von dem Server für Kontextinformationen das Bereitstellen des Bildes durch das Benutzergerät für den Server für Kontextinformationen; Empfangen eines Benutzeroberflächenelements, das kontextbezogene Informationen über das Bild beinhaltet, durch das Benutzergerät; und Anzeigen des Benutzeroberflächenelements auf dem Benutzergerät mit der aktiven Ressource, durch das Benutzergerät.
Vorrichtung nach Anspruch 5, wobei das Bereitstellen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzergerät angezeigt wird, durch ein Benutzergerät für einen Server für Kontextinformationen, wobei die Anfrage Inhalt der aktiven Ressource spezifiziert und weiter spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht, umfasst: Bereitstellen einer abfrageunabhängigen Anfrage, die einen oder mehrere Abfragebegriffe nicht beinhaltet, die durch einen Benutzer eingegeben wurden, und keinen Inhalt von dem Bild beinhaltet.
Vorrichtung nach Anspruch 5 oder Anspruch 6, wobei das Bereitstellen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzergerät angezeigt wird, durch ein Benutzergerät für einen Server für Kontextinformationen, wobei die Anfrage Inhalt der aktiven Ressource spezifiziert und weiter spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht, Folgendes umfasst: Bereitstellen einer abfrageunabhängigen Anfrage, die eine Datendarstellung der angezeigten aktiven Ressource beinhaltet und keinen Inhalt von dem Bild beinhaltet.
Vorrichtung nach einem der Ansprüche 5 bis 7, wobei das Empfangen einer Anfrage nach dem Bild von dem Server für Kontextinformationen, durch das Benutzergerät Folgendes umfasst: Empfangen einer Anfrage nach allen aktuell auf dem Benutzergerät angezeigten Bildern durch das Benutzergerät; und Bereitstellen des Bildes für den Server für Kontextinformationen durch das Benutzergerät Bereitstellen aller aktuell auf dem Benutzergerät angezeigten Bilder durch das Benutzergerät für den Server für Kontextinformationen umfasst.
Vorrichtung nach einem der Ansprüche 5 bis 8, wobei als Reaktion auf die Anfrage nach dem Bild von dem Server für Kontextinformationen Bereitstellen des Bildes durch das Benutzergerät für den Server für Kontextinformationen Folgendes umfasst: Bereitstellen eines Screenshots von dem Benutzergerät, wenn mehrere Bilder auf dem Benutzergerät angezeigt werden.
Vorrichtung nach einem der Ansprüche 5 bis 9, umfassend: Bestimmen, dass ein Benutzer kontextbezogene Informationen wünscht, die für die aktive Ressource relevant sind; und als Reaktion auf das Bestimmen, dass der Benutzer kontextbezogene Informationen wünscht, die für die aktive Ressource relevant sind, Bestimmen, ob eines oder mehrere Bilder aktuell angezeigt werden, wobei das Bereitstellen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzergerät angezeigt wird, durch ein Benutzergerät für einen Server für Kontextinformationen, als Reaktion auf das Bestimmen erfolgt, ob eines oder mehrere Bilder aktuell angezeigt werden.
Vorrichtung nach Anspruch 10, wobei das Bestimmen, ob eines oder mehrere Bilder aktuell angezeigt werden, Folgendes umfasst: Erhalten eines Screenshots von dem Benutzergerät; und Identifizieren eines oder mehrerer rechteckiger Abschnitte des Screenshots, die nicht-textuellen Inhalt als das eine oder die mehreren Bilder beinhalten.
Vorrichtung nach Anspruch 10 oder Anspruch 11, wobei das Bestimmen, ob eines oder mehrere Bilder aktuell angezeigt werden, weiterhin als Reaktion auf das Bestimmen durch das Benutzergerät erfolgt, dass das Benutzergerät eine getaktete Netzwerkverbindung verwendet.
System, umfassend: eine Datenverarbeitungsvorrichtung; und ein nicht transitorisches computerlesbares Speichermedium in Datenkommunikation mit der Datenverarbeitungsvorrichtung, das durch die Datenverarbeitungsvorrichtung ausführbare Anweisungen speichert, und auf diese Ausführung hin veranlasst, dass die Datenverarbeitungsvorrichtung Vorgänge ausführt, umfassend: Bereitstellen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzergerät angezeigt wird, durch ein Benutzergerät für einen Server für Kontextinformationen, wobei die Anfrage Inhalt der aktiven Ressource spezifiziert und weiter spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht; Empfangen einer Anfrage nach dem Bild von dem Server für Kontextinformationen durch das Benutzergerät; als Reaktion auf die Anfrage nach dem Bild von dem Server für Kontextinformationen das Bereitstellen des Bildes durch das Benutzergerät für den Server für Kontextinformationen; Empfangen eines Benutzeroberflächenelements, das kontextbezogene Informationen über das Bild beinhaltet, durch das Benutzergerät; und Anzeigen des Benutzeroberflächenelements auf dem Benutzergerät mit der aktiven Ressource, durch das Benutzergerät.
System nach Anspruch 13, wobei das Bereitstellen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzergerät angezeigt wird, durch ein Benutzergerät für einen Server für Kontextinformationen, wobei die Anfrage Inhalt der aktiven Ressource spezifiziert und weiter spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht, Folgendes umfasst: Bereitstellen einer abfrageunabhängigen Anfrage, die einen oder mehrere Abfragebegriffe nicht beinhaltet, die durch einen Benutzer eingegeben wurden, und keinen Inhalt von dem Bild beinhaltet.
System nach Anspruch 13 oder 14, wobei das Bereitstellen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzergerät angezeigt wird, durch ein Benutzergerät für einen Server für Kontextinformationen, wobei die Anfrage Inhalt der aktiven Ressource spezifiziert und weiter spezifiziert, dass die auf dem Benutzergerät angezeigte aktive Ressource ein Bild beinhaltet, aber das Bild nicht in die Anfrage einbezieht, Folgendes umfasst: Bereitstellen einer abfrageunabhängigen Anfrage, die eine Datendarstellung der angezeigten aktiven Ressource beinhaltet und keinen Inhalt von dem Bild beinhaltet.
System nach einem der Ansprüche 13 bis 15, wobei das Empfangen einer Anfrage nach dem Bild von dem Server für Kontextinformationen, durch das Benutzergerät Folgendes umfasst: Empfangen einer Anfrage nach allen aktuell auf dem Benutzergerät angezeigten Bildern durch das Benutzergerät; und Bereitstellen des Bildes für den Server für Kontextinformationen durch das Benutzergerät Bereitstellen aller aktuell auf dem Benutzergerät angezeigten Bilder durch das Benutzergerät für den Server für Kontextinformationen umfasst.
System nach einem der Ansprüche 13 bis 16, wobei als Reaktion auf die Anfrage nach dem Bild von dem Server für Kontextinformationen das Bereitstellen des Bildes durch das Benutzergerät für den Server für Kontextinformationen Folgendes umfasst: Bereitstellen eines Screenshots von dem Benutzergerät, wenn mehrere Bilder auf dem Benutzergerät angezeigt werden.
System nach einem der Ansprüche 13 bis 17, wobei die Vorgänge umfassen: Bestimmen, dass ein Benutzer kontextbezogene Informationen wünscht, die für die aktive Ressource relevant sind; und als Reaktion auf das Bestimmen, dass der Benutzer kontextbezogene Informationen wünscht, die für die aktive Ressource relevant sind, Bestimmen, ob eines oder mehrere Bilder aktuell angezeigt werden, wobei das Bereitstellen einer abfrageunabhängigen Anfrage nach kontextbezogene Informationen, die relevant für eine aktive Ressource sind, die in einer Anwendungsumgebung auf dem Benutzergerät angezeigt wird, durch ein Benutzergerät für einen Server für Kontextinformationen, als Reaktion auf das Bestimmen erfolgt, ob eines oder mehrere Bilder aktuell angezeigt werden.
Vorrichtung nach Anspruch 18, wobei das Bestimmen, ob eines oder mehrere Bilder aktuell angezeigt werden, Folgendes umfasst: Erhalten eines Screenshots von dem Benutzergerät; und Identifizieren eines oder mehrerer rechteckiger Abschnitte des Screenshots, die nicht-textuellen Inhalt als das eine oder die mehreren Bilder beinhalten.
System nach Anspruch 18 oder Anspruch 19, wobei das Bestimmen, ob eines oder mehrere Bilder aktuell angezeigt werden, weiterhin als Reaktion auf das Bestimmen durch das Benutzergerät erfolgt, dass das Benutzergerät eine getaktete Netzwerkverbindung verwendet.