DE112015005293T5

DE112015005293T5 - Presentation of information cards for events associated with entities

Info

Publication number: DE112015005293T5
Application number: DE112015005293.3T
Authority: DE
Inventors: Matthew Sharifi; David Petrou
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2014-11-26
Filing date: 2015-10-16
Publication date: 2017-08-17
Also published as: WO2016085585A1; CN106663112A

Abstract

Verfahren, Systeme und Vorrichtungen beinhalten Computerprogramme, die auf einem computerlesbaren Speichermedium codiert sind, einschließlich eines Verfahrens für die Bereitstellung von Inhalt. Schnappschüsse, die mit der Verwendung eines Computergeräts durch einen Benutzer verbunden sind, werden empfangen. Jeder Schnappschuss basiert auf Inhalten, die dem Benutzer präsentiert werden. Die Schnappschüsse werden bewertet. Für jeden jeweiligen Schnappschuss wird einjeweiliger Satz von Entitäten, die durch den jeweiligen Schnappschuss angegeben werden, identifiziert. Angaben des jeweiligen Satzes von Entitäten und einjeweiliger Zeitstempel, der eine jeweilige Zeit angibt, zu der der jeweilige Schnappschuss aufgenommen wurde, werden verknüpft und gespeichert. Auf Basis eines ersten Schnappschusses der Schnappschüsse wird eine erste Zeit für die Präsentation der einen oder der mehreren Informationskarten für den Benutzer bestimmt. Zur ersten Zeit werden Entitäten mit einem Zeitstempel, der der ersten Zeit entspricht, gesucht. Eine Informationskarte wird auf Basis der gefundenen Entitäten erzeugt. Die erzeugte Informationskarte wird für die Präsentation für den Benutzer bereitgestellt.Methods, systems and devices include computer programs that are encoded on a computer-readable storage medium, including a method for providing content. Snapshots associated with the use of a computing device by a user are received. Each snapshot is based on content presented to the user. The snapshots are rated. For each respective snapshot, a respective set of entities indicated by the respective snapshot is identified. Information of the respective set of entities and a respective time stamp indicating a respective time at which the respective snapshot was taken are linked and stored. Based on a first snapshot of the snapshots, a first time is determined for the presentation of the one or more information cards to the user. For the first time entities are searched with a timestamp corresponding to the first time. An information card is generated based on the found entities. The generated information card is provided for presentation to the user.

Description

HINTERGRUNDBACKGROUND

Das Internet bietet Zugang zu einer großen Vielfalt an Ressourcen. So sind zum Beispiel Video- und/oder Audiodateien sowie Webseiten für bestimmte Themen oder bestimmte Nachrichtenartikel über das Internet zugänglich. Der Zugriff auf diese Ressourcen bietet Möglichkeiten, andere Inhalte (z. B. Werbung) mit den Ressourcen bereitzustellen. Eine Webseite kann zum Beispiel Slots beinhalten, in denen Inhalt präsentiert werden kann. Diese Slots können in der Webseite definiert werden oder für eine Präsentation mit einer Webseite, zum Beispiel zusammen mit Suchergebnissen, präsentiert werden. Inhalt in diesen Beispielen kann verschiedene Formate annehmen, während die Geräte, die den Inhalt verbrauchen (z. B. präsentieren) in Bezug auf ihre Art und Fähigkeiten gleichermaßen unterschiedlich sein können.The Internet provides access to a wide variety of resources. For example, video and / or audio files as well as web pages for certain topics or certain news articles are accessible via the Internet. Accessing these resources provides opportunities to provide other content (such as advertising) with the resources. For example, a web page may contain slots in which content can be presented. These slots can be defined in the webpage or presented for presentation with a webpage, for example along with search results. Content in these examples may take on various formats, while the devices that consume (eg, present) the content may be equally diverse in terms of their nature and capabilities.

KURZDARSTELLUNGSUMMARY

Im Allgemeinen kann ein innovativer Aspekt des in dieser Spezifikation beschriebenen Gegenstands in Verfahren implementiert werden, die computerimplementierte Verfahren für die Bereitstellung von Inhalt beinhalten. Das Verfahren kann das Empfangen einer Vielzahl von Schnappschüssen, die mit der Verwendung eines Computergeräts durch einen Benutzer verbunden sind, durch ein Servergerät beinhalten, wobei jeder Schnappschuss aus der Vielzahl von Schnappschüssen auf Inhalt basiert, der dem Benutzer auf dem Computergerät präsentiert wird. Das Verfahren kann ferner die Bewertung der Vielzahl von Schnappschüsse beinhalten, einschließlich für jeden jeweiligen Schnappschuss: Identifizieren eines jeweiligen Satzes von Entitäten, der durch den jeweiligen Schnappschuss angegeben wird, und Speichern von Hinweisen des jeweiligen Satzes von Entitäten und eines jeweiligen Zeitstempels, der eine jeweilige Zeit angibt, zu der der jeweilige Schnappschuss aufgenommen wurde, wobei der jeweilige Satz von Entitäten und der jeweilige Zeitstempel im Speicher verknüpft sind. Das Verfahren kann ferner auf Basis eines ersten Schnappschusses aus der Vielzahl der Schnappschüsse die Bestimmung einer ersten Zeit für die Präsentation der einen oder mehreren Informationskarten für den Benutzer beinhalten. Das Verfahren kann ferner zum ersten Zeitpunkt das Suchen von Entitäten im Speicher mit einem Zeitstempel, der der ersten Zeit entspricht, beinhalten. Das Verfahren kann ferner das Erzeugen einer Informationskarte auf Basis der einen oder mehreren der gefundenen Entitäten beinhalten. Das Verfahren kann ferner das Bereitstellen der erzeugten Informationskarte für die Präsentation für den Benutzer beinhalten.In general, an innovative aspect of the subject matter described in this specification may be implemented in methods that include computer-implemented methods for providing content. The method may include receiving, by a server device, a plurality of snapshots associated with the use of a computing device by a user, each snapshot of the plurality of snapshots based on content presented to the user on the computing device. The method may further include evaluating the plurality of snapshots, including for each respective snapshot, identifying a respective set of entities indicated by the respective snapshot and storing indicia of the respective set of entities and a respective timestamp having a respective one Specifies the time at which the particular snapshot was taken, with the respective set of entities and the respective timestamp in memory associated. The method may further include determining a first time to present the one or more information cards to the user based on a first snapshot of the plurality of snapshots. The method may further include, at the first time, searching for entities in memory having a time stamp corresponding to the first time. The method may further include generating an information map based on the one or more found entities. The method may further include providing the generated information card for presentation to the user.

KURZBESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS

1 ist ein Blockdiagramm einer Beispielumgebung für die Lieferung von Inhalt. 1 Figure 12 is a block diagram of an example environment for the delivery of content.

2A zeigt ein Beispielsystem für die Präsentation von Informationskarten auf Basis von Entitäten, die mit Schnappschüssen des Inhalts verknüpft sind, der Benutzern präsentiert wird. 2A Figure 10 shows an example system for presenting information cards based on entities associated with snapshots of the content presented to users.

2B zeigt eine Beispielinformationskarte, die mit einer Telefonnummernentität verknüpft ist. 2 B shows a sample information card associated with a telephone number entity.

2C zeigt eine Beispielinformationskarte, die mit einer Ortsentität verknüpft ist. 2C shows a sample information map associated with a place entity.

2D zeigt eine Beispielinformationskarte, die mit einer Themenentität verknüpft ist. 2D shows a sample information map associated with a topic entity.

3 ist ein Flussdiagramm eines Beispielprozesses für das Bereitstellen von Informationskarten auf Basis von Schnappschüssen, die aus Inhalt extrahiert sind, der einem Benutzer präsentiert wird. 3 FIG. 10 is a flow chart of an example process for providing information cards based on snapshots extracted from content presented to a user.

4 ist ein Blockdiagramm eines Beispielcomputersystems, das zur Implementierung der in dieser Offenbarung beschriebenen Verfahren, Systeme und Prozesse verwendet werden kann. 4 FIG. 10 is a block diagram of an example computer system that may be used to implement the methods, systems and processes described in this disclosure.

Gleiche Bezugszahlen und Kennzeichnungen in den verschiedenen Zeichnungen zeigen gleiche Elemente an.Like reference numerals and labels in the various drawings indicate like elements.

AUSFÜHRLICHE BESCHREIBUNGDETAILED DESCRIPTION

Systeme, Verfahren und Computerprogrammprodukte für die Bereitstellung einer Informationskarte oder anderer Formen der Benachrichtigung werden beschrieben, die auf Basis von einem oder mehreren bewerteten Schnappschüssen von Inhalt, der einem Benutzer präsentiert wird, bestimmt werden. Schnappschüsse können auf Basis des Inhalts, der einem oder mehreren Benutzern auf ihren jeweiligen Benutzergeräten präsentiert wird, laufend aufgenommen und bewertet werden. Inhalt kann einem Benutzer zum Beispiel in einem Browser, in einer Anwendung (z. B. einer mobilen App), einer Website, einer Werbung, einer Seite eines sozialen Netzwerks oder anderen digitalen Inhaltsumgebungen angezeigt werden. Jeder Schnappschuss kann mindestens einen Teil eines oder mehrerer der folgenden Elemente beinhalten: einen Kalendereintrag, eine Karte, eine E-Mail-Nachricht, einen Eintrag auf einer Seite eines sozialen Netzwerks, ein Webseitenelement, ein Bild oder sonstige Inhalte. Die Bewertung eines bestimmten Schnappschusses kann das Identifizieren zugehöriger Entitäten (z. B. Personen, Orte (z. B. spezifische Standorte, Adressen, Städte, Staaten, Länder, Raumnummern, Gebäude oder andere spezifische geografische Orte), Dinge (z. B. Telefonnummern), Themen, geplante Ereignisse (z. B. Mittagessen-Termine, Geburtstage, Besprechungen) oder andere identifizierbare Einheiten beinhalten. Ein mit dem Empfang eines Schnappschusses verknüpfter Zeitstempel kann ebenfalls in Verbindung mit dem Schnappschuss und/oder Entitäten gespeichert werden, auf denen der Schnappschuss basiert. Zielpräsentationszeiten können zum Beispiel auf Basis eines Zeitstempels bestimmt werden, der mit dem Empfang des Schnappschusses verknüpft ist, und/oder auf Basis von Zeiten eines oder mehrerer Ereignisse, die mithilfe des Schnappschusses identifiziert wurden. Zu Zeiten, die den Zielpräsentationszeiten entsprechen, können eine oder mehrere Informationskarten, die eine oder mehrere Entitäten identifizieren, bereitgestellt werden (z. B. für die Präsentation für den Benutzer). Jede Informationskarte kann außerdem zum Beispiel einen Kontext angeben, den der Benutzer verwenden kann, um den Grund für die Anzeige der bestimmten Informationskarte zu verstehen. Mindestens eine Handlungsaufforderung kann in der Informationskarte enthalten sein, um es dem Benutzer zum Beispiel zu ermöglichen, eine Handlung durchzuführen, die mit einer Entität verbunden ist (z. B. Wählen einer Telefonnummer, Erhalt von Wegbeschreibungen oder Empfangen zusätzlicher Informationen). Eine Informationskarte kann als Eingabeaufforderung jeglicher Art dienen (z. B. damit sich der Benutzer ein Konzept und/oder eine andere Information merken kann), oder die Informationskarte kann als Erinnerung an ein kommendes Ereignis dienen.Systems, methods, and computer program products for providing an information card or other forms of notification are determined based on one or more scored snapshots of content presented to a user. Snapshots may be continually recorded and evaluated based on the content presented to one or more users on their respective user devices. Content may be displayed to a user in, for example, a browser, an application (eg, a mobile app), a website, an advertisement, a social networking site, or other digital content environment. Each snapshot may include at least a portion of one or more of the following: a calendar entry, a card, an email message, an entry on a social network page, a web page item, an image, or other content. The evaluation of a particular snapshot may include identifying related entities (e.g., people, locations (e.g., specific locations, addresses, cities, states, countries, room numbers, buildings, or other specific geographic locations), things (eg, phone numbers), topics, scheduled events (eg, lunch appointments, birthdays, meetings) or other identifiable units. A timestamp associated with receiving a snapshot may also be stored in association with the snapshot and / or entities upon which the snapshot is based. For example, target presentation times may be determined based on a timestamp associated with receiving the snapshot and / or based on times of one or more events identified by the snapshot. At times that correspond to the target presentation times, one or more information cards that identify one or more entities may be provided (eg, for presentation to the user). For example, each information card may also indicate a context that the user may use to understand the reason for displaying the particular information card. At least one action request may be included in the information card to allow the user, for example, to perform an action associated with an entity (eg dial a telephone number, obtain directions or receive additional information). An information card may serve as a prompt of any kind (eg, to allow the user to remember a concept and / or other information), or the information card may serve as a reminder of an upcoming event.

In Situationen, in denen die hier erörterten Systeme Informationen einschließlich persönliche Informationen über Benutzer sammeln und/oder nutzen, kann den Benutzern eine Möglichkeit bereitgestellt werden, Programme oder Merkmale zu aktivieren/zu deaktivieren oder zu kontrollieren, die persönliche Informationen sammeln und/oder nutzen können (z. B. Informationen über das soziale Netzwerk eines Benutzers, soziale Aktionen oder Aktivitäten, die Voreinstellungen eines Benutzers oder den aktuellen Standort eines Benutzers). Zusätzlich können gewisse Daten auf eine oder mehrere Weisen behandelt werden, bevor sie gespeichert oder verwendet werden, um personenbezogene Informationen, die mit dem Benutzer verbunden sind, zu entfernen. Die Identität eines Benutzers kann beispielsweise anonymisiert werden, sodass keine personenbezogenen Informationen für den Benutzer bestimmt werden können, oder es kann ein geographischer Standort des Benutzers verallgemeinert werden, wenn Standortinformationen abgerufen werden (wie beispielsweise eine Stadt, Postleitzahl oder Bundesland), sodass ein bestimmter Benutzerstandort nicht festgestellt werden kann.In situations where the systems discussed herein collect and / or use information, including personal information about users, users may be provided with a way to enable / disable or control programs or features that may collect and / or use personal information (for example, information about a user's social network, social actions or activities, a user's preferences, or a user's current location). Additionally, certain data may be treated in one or more ways before being stored or used to remove personally identifiable information associated with the user. For example, the identity of a user may be anonymized so that no personally identifiable information can be determined for the user, or a user's geographic location may be generalized when retrieving location information (such as a city, zip code, or state), such that a particular user location can not be determined.

Bestimmte Implementierungen können keinen, einen oder mehrere der folgenden Vorteile umsetzen. Benutzern kann automatisch eine Informationskarte präsentiert werden, die für ein Ereignis oder ein Thema relevant ist, das mit Inhalten verknüpft ist, die er empfangen hat.Certain implementations may not implement one, one or more of the following advantages. Users can be automatically presented with an information card relevant to an event or topic associated with content that they have received.

Die Details einer oder mehrerer Implementierungen des in dieser Spezifikation beschriebenen Gegenstands werden in den begleitenden Zeichnungen und in der nachfolgenden Beschreibung dargelegt. Andere Merkmale, Aspekte und Vorteile des Gegenstands werden aus der Beschreibung, den Zeichnungen und den Ansprüchen offensichtlich.The details of one or more implementations of the subject matter described in this specification are set forth in the accompanying drawings and the description below. Other features, aspects and advantages of the subject matter will become apparent from the description, drawings and claims.

1 ist ein Blockdiagramm einer Beispielumgebung 100 für die Lieferung von Inhalt. Die Beispielumgebung 100 beinhaltet ein Content-Management-System 110 für das Auswählen und Bereitstellen von Inhalt in Reaktion auf Inhaltsanforderungen. Die Beispielumgebung 100 beinhaltet das Netzwerk 102, z. B. ein lokales Netzwerk (LAN), ein Weitverkehrsnetz (WAN), das Internet oder eine Kombination davon. Das Netzwerk 102 verbindet die Websites 104, die Benutzergeräte 106, die Content-Sponsoren 108 (z. B. Inserenten), die Publisher 109 und das Content-Management-System 110. Die Beispielumgebung 100 kann viele tausend Websites 104, Benutzergeräte 106, Content-Sponsoren 108 und Publisher 109 beinhalten. 1 is a block diagram of an example environment 100 for the delivery of content. The example environment 100 includes a content management system 110 for selecting and delivering content in response to content requests. The example environment 100 includes the network 102 , z. A local area network (LAN), a wide area network (WAN), the Internet or a combination thereof. The network 102 connects the websites 104 , the user devices 106 , the content sponsors 108 (for example, advertisers), the publishers 109 and the content management system 110 , The example environment 100 can be many thousand sites 104 , User devices 106 , Content Sponsors 108 and publishers 109 include.

Die Umgebung 100 kann mehrere Datenspeicher beinhalten, die lokal durch das Content-Management-System 110 gespeichert werden können, an einem anderen Ort gespeichert werden und über das Netzwerk 102 zugänglich sein, bei Bedarf aus verschiedenen Datenquellen erzeugt werden können oder eine Kombination davon. Ein Datenspeicher der Entitäten 131 kann zum Beispiel eine Liste der Entitäten beinhalten, die zur Identifizierung von Entitäten in Schnappschüssen des Inhalts, der Benutzern präsentiert wird, verwendet werden kann. Entitäten können zum Beispiel Telefonnummern, Standorte (z. B. Adressen, Städte, Staaten, Länder, Raumnummern, Gebäude, spezifische geografische Orte), Themen (z. B. verbundene Themen), Namen von Personen, geplante Ereignisse (z. B. Mittagessen-Termine, Geburtstage, Besprechungen), E-Mail-Adressen, Organisationsnamen, Produkte, Filme, Musik und andere Themen beinhalten, die dargestellt werden können, z. B. in einer Wissensgrafik oder einer anderen Informationsdarstellung.The environment 100 can include multiple datastores locally through the content management system 110 can be stored in a different location and over the network 102 be accessible, can be generated from different data sources if required, or a combination thereof. A data store of the entities 131 For example, it may include a list of the entities that may be used to identify entities in snapshots of the content presented to users. For example, entities may include phone numbers, locations (eg, addresses, cities, states, countries, room numbers, buildings, specific geographic locations), topics (e.g., connected topics), names of people, scheduled events (e.g. Lunch appointments, birthdays, meetings), e-mail addresses, organization names, products, movies, music, and other topics that may be presented, such as: In a knowledge graph or other information representation.

Ein Datenspeicher der Entitäten 131 kann zum Beispiel mehrere Einträge beinhalten, einen für jeden bewerteten Schnappschuss. Ein Schnappschuss kann nach der Aufnahme bewertet werden, und eine oder mehrere am höchsten eingestufte oder wichtigste Entitäten, die in einem Schnappschuss enthalten sind oder auf die in ihm verwiesen wird, können als Gruppe gespeichert werden (z. B. als Eintrag im Datenspeicher der Entitäten 131).A data store of the entities 131 For example, it may contain multiple entries, one for each rated snapshot. A snapshot may be scored after inclusion, and one or more highest ranked or most important entities included in or referenced in a snapshot may be stored as a group (eg, as an entry in the entities data store 131 ).

Ein Datenspeicher der Zeitstempel 132 kann zum Beispiel Zeitstempel beinhalten, die mit Zeiten verknüpft sind, zu denen die jeweiligen Schnappschüsse aufgenommen wurden. Die Zeitstempel können mit den Entitäten verknüpft sein, die aus den jeweiligen Schnappschüssen identifiziert werden. A data store of the timestamp 132 For example, it may include timestamps associated with times when the respective snapshots were taken. The timestamps may be associated with the entities identified from the respective snapshots.

Ein Datenspeicher der Ereignisse 133 kann zum Beispiel Informationen beinhalten, die mit Ereignissen verknüpft sind, die aus einem jeweiligen Schnappschuss identifiziert wurden. Informationen für ein Ereignis können zum Beispiel eines oder mehrere der folgenden Elemente beinhalten: ein Datum, eine Startzeit, eine Endzeit, eine Dauer, Namen von Teilnehmern, einen zugehörigen Standort, zugehörige Telefonnummern und/oder andere Kontaktinformationen (z. B. E-Mail-Adressen), einen Ereignistyp (z. B. Besprechung, Geburtstag, Mittagessen-Termin) und eine Beschreibung oder einen Kontext (z. B. aus dem jeweiligen Schnappschuss erhalten).A data store of events 133 For example, it may include information associated with events identified from a respective snapshot. For example, information for an event may include one or more of the following: date, start time, end time, duration, subscriber names, associated location, associated telephone numbers, and / or other contact information (eg, e-mail Addresses), an event type (eg, meeting, birthday, lunch appointment) and a description or context (eg, obtained from the respective snapshot).

Ein Datenspeicher der Zielpräsentationszeiten 134 kann zum Beispiel eine oder mehrere Zeiten beinhalten, die vom Content-Management-System 110 für die Präsentation einer jeweiligen Informationskarte festgelegt werden. Eine Zielpräsentationszeit, die für einen Mittagessen-Termin festgelegt wurde, kann zum Beispiel eine Zeit beinhalten, die eine Stunde vor dem Mittagessen-Termin liegt (z. B. als Erinnerung, loszugehen oder sich auf den Mittagessen-Termin vorzubereiten), und eine designierte Tages- oder Nachtzeit vor dem Mittagessen-Termin, um den Benutzer über den Mittagessen-Termin am nächsten Tag zu informieren. Einige oder alle der oben erörterten Datenspeicher können in einem einzigen Datenspeicher kombiniert werden, zum Beispiel einem Datenspeicher, der eine Kombinationaus identifizierten Entitäten, Ereignissen, Zeitstempeln und Zielpräsentationszeiten beinhaltet, die alle mit einem einzigen Schnappschuss verknüpft sind.A data store of the target presentation times 134 For example, one or more times may be included by the content management system 110 for the presentation of a respective information card. For example, a target presentation time set for a lunch appointment may include a time one hour before the lunch appointment (eg, as a reminder to start or prepare for the lunch appointment), and a designated one Day or night before the lunch appointment to inform the user about the lunch appointment the next day. Some or all of the data stores discussed above may be combined in a single data store, for example, a data store containing a combination of identified entities, events, timestamps, and destination presentation times, all associated with a single snapshot.

Das Content-Management-System 110 kann mehrere Engines beinhalten, von denen einige oder alle kombiniert oder getrennt und an einem gemeinsamen Ort oder verteilt (z. B. über das Netzwerk 102 verbunden) sein können. Eine Schnappschuss-Bewertungsengine 121 kann zum Beispiel Schnappschüsse von Inhalt bewerten, der einem Benutzer auf einem Gerät präsentiert wird. Für jeden Schnappschuss kann die Schnappschuss-Bewertungsengine 121 zum Beispiel Entitäten und/oder Ereignisse identifizieren, die im Schnappschuss enthalten sind, und die identifizierten Entitäten/Ereignisse zusammen mit einem Zeitstempel speichern, der mit einer Zeit, zu der der jeweilige Schnappschuss aufgenommen wurde, oder mit der Präsentationszeit verknüpft ist.The content management system 110 can involve multiple engines, some or all of them combined or separated and distributed in a common location or distributed (eg over the network 102 connected). A snapshot rating engine 121 For example, it may rate snapshots of content presented to a user on a device. For each snapshot, the snapshot rating engine 121 For example, identify entities and / or events contained in the snapshot and store the identified entities / events along with a timestamp associated with a time at which the particular snapshot was taken or with the presentation time.

Eine Informationskarten-Engine 122 kann zum Beispiel Funktionen durchführen, die mit dem Sammeln von Informationen für die Verwendung in Informationskarten, dem Erzeugen der Informationskarten und dem Bestimmen von Zeiten für die Präsentation der Informationskarten verknüpft sind. Nachdem die empfangenen Schnappschüsse bewertet wurden, kann die Informationskarten-Engine 122 zum Beispiel den Inhalt für die Einbeziehung in eine Informationskarte und eine Zeit für die Präsentation einer oder mehrerer Informationskarten für den Benutzer bestimmen, einschließlich der Bestimmung einer Zielzeit für die Präsentation. Auswahl des Inhalts und Zeitpunkt der Präsentation werden unten näher erörtert.An information card engine 122 For example, it may perform functions associated with gathering information for use in information cards, generating the information cards, and determining times for presenting the information cards. After the received snapshots have been evaluated, the information card engine 122 for example, determining the content for inclusion in an information card and a time for presenting one or more information cards to the user, including determining a target time for the presentation. Selection of the content and timing of the presentation will be discussed in more detail below.

Eine Webseite 104 beinhaltet eine oder mehrere Ressourcen 105, die mit einem Domain Namen verknüpft sind und durch einen oder mehrere Server gehostet werden. Eine Beispielwebsite ist eine Sammlung von in HTML (Hypertext Markup Language) formatierten Webseiten, die Text, Bilder, multimediale Inhalte und Programmierelemente wie Skripte enthalten können. Jede Website 104 kann von einem Publisher, der die Steuerung und Verwaltung durchführt bzw. Inhaber der Website 104 ist, gepflegt werden.A website 104 includes one or more resources 105 that are associated with a domain name and hosted by one or more servers. An example website is a collection of hypertext markup language (HTML) formatted web pages that may contain text, images, multimedia content, and programming elements such as scripts. Every website 104 may be owned by a publisher who controls and manages or owns the site 104 is, to be cared for.

Eine Ressource 105 kann beliebige Daten umfassen, die über das Netzwerk 102 bereitgestellt werden können. Eine Ressource 105 kann durch eine Ressourcenadresse identifiziert werden, die mit der Ressource 105 verknüpft ist. Zu den Ressourcen gehören HTML-Seiten, Textverarbeitungsdokumente, Portable Document Format(PDF)-Dokumente, Bilder, Videos und Newsfeed-Quellen, um nur einige zu nennen. Die Ressourcen können Inhalt wie Wörter, Sätze, Bilder, Videos und Töne beinhalten, die eingebettete Informationen (wie Meta-Informationen-Hyperlinks) und/oder eingebettete Anweisungen beinhalten können.A resource 105 can include any data over the network 102 can be provided. A resource 105 can be identified by a resource address associated with the resource 105 is linked. Resources include HTML pages, word processing documents, Portable Document Format (PDF) documents, images, videos, and newsfeed sources, just to name a few. Resources may include content such as words, phrases, pictures, videos, and sounds that may include embedded information (such as meta-information hyperlinks) and / or embedded instructions.

Ein Benutzergerät 106 ist ein elektronisches Gerät, das der Kontrolle eines Benutzers unterliegt und in der Lage ist, Ressourcen über das Netz 102 anzufordern und entgegenzunehmen. Beispielbenutzergeräte 106 beinhalten Personalcomputer (PCs), Fernsehgeräte mit einem oder mehreren darin eingebetteten oder damit gekoppelten Prozessoren, Set-Top-Boxen, Spielekonsolen, mobile Kommunikationsgeräte (z. B. Smartphones), Tablet-Computer und andere Geräte, die Daten über das Netzwerk 102 senden und empfangen können. Ein Benutzergerät 106 beinhaltet normalerweise ein oder mehrere Benutzerprogramme, wie etwa einen Webbrowser, um das Senden und Empfangen von Daten über das Netzwerk 102 zu ermöglichen.A user device 106 is an electronic device that is subject to the control of a user and is capable of distributing resources over the network 102 request and receive. Example user devices 106 include personal computers (PCs), televisions having one or more processors embedded therein or coupled thereto, set-top boxes, game consoles, mobile communication devices (eg, smartphones), tablet computers, and other devices that share data over the network 102 can send and receive. A user device 106 typically includes one or more user programs, such as a web browser, for sending and receiving data over the network 102 to enable.

Ein Benutzergerät 106 kann Ressourcen 105 von einer Website 104 anfordern. Im Gegenzug können Daten, die die Ressource 105 repräsentieren, dem Benutzergerät 106 für die Präsentation durch das Benutzergerät 106 bereitgestellt werden. Die Daten, die die Ressource 105 repräsentieren, können auch Daten beinhalten, die einen Teil der Ressource oder einen Teil des Benutzerbildschirms spezifizieren, z. B. einen Präsentationsstandort eines Popup-Fensters oder einen Slot einer Inhaltsseite oder Website Dritter, auf der Inhalt präsentiert werden kann. Diese spezifizierten Teile der Ressource oder des Benutzerbildschirms werden als Slots bezeichnet (z. B. Werbeslots).A user device 106 can resources 105 from a website 104 Request. In return, you can Data representing the resource 105 represent the user device 106 for presentation by the user device 106 to be provided. The data that the resource 105 may also include data specifying a portion of the resource or a portion of the user's screen, e.g. For example, a presentation location of a pop-up window, or a slot on a content page or third-party site on which content may be presented. These specified portions of the resource or user screen are referred to as slots (eg, advertising slots).

Zur Erleichterung der Suche in diesen Ressourcen kann die Umgebung 100 ein Suchsystem 112 beinhalten, das die Ressourcen durch Crawlen und Indizieren von Ressourcen, die durch die Content-Publisher auf den Websites 104 bereitgestellt werden, identifiziert. Daten bezüglich der Ressourcen können auf Basis der Ressourcen, denen die Daten entsprechen, indiziert werden. Die indizierten und optional zwischengespeicherten Kopien der Ressourcen können in einem indizierten Cache 114 gespeichert werden.To facilitate the search in these resources, the environment 100 a search system 112 Include the resources by crawling and indexing resources provided by the content publishers on the websites 104 be identified identified. Data regarding resources may be indexed based on the resources to which the data corresponds. The indexed and optionally cached copies of the resources may be in an indexed cache 114 get saved.

Die Benutzergeräte 106 können über das Netzwerk 102 Suchanfragen 116 an das Suchsystem 112 übermitteln. In Reaktion darauf kann das Suchsystem 112 zum Beispiel auf den indizierten Cache 114 zugreifen, um Ressourcen zu identifizieren, die für die Suchanfrage 116 relevant sind. Das Suchsystem 112 identifiziert die Ressourcen in Form von Suchergebnissen 118 und liefert die Suchergebnisse 118 in Suchergebnisseiten an die Benutzergeräte 106. Bei einem Suchergebnis 118 kann es sich um Daten handeln, die durch das Suchsystem 112 erstellt wurden, die eine Ressource identifizieren, die als Reaktion auf eine bestimmte Suchanfrage ermittelt wurde, und sie beinhalten einen Link zur Ressource. Suchergebnisseiten können außerdem einen oder mehrere Slots beinhalten, in denen andere Inhaltselemente (z. B. Werbung) präsentiert werden können.The user devices 106 can over the network 102 searches 116 to the search system 112 to transfer. In response, the search system can 112 for example, on the indexed cache 114 access resources to identify the query 116 are relevant. The search system 112 Identifies the resources in the form of search results 118 and delivers the search results 118 in search results pages to the user devices 106 , For a search result 118 it can be data processed by the search system 112 they identify a resource that has been identified in response to a particular query, and include a link to the resource. Search results pages may also include one or more slots in which other content items (eg, advertising) may be presented.

Wenn eine Ressource 105, Suchergebnisse 118 und/oder andere Inhalte (z. B. ein Video) von einem Benutzergerät 106 angefordert werden, empfängt das Content-Management-System 110 eine Inhaltsanforderung. Die Inhaltsanforderung kann Eigenschaften der Slots beinhalten, die für die angeforderte Ressource oder Suchergebnisseite definiert sind und dem Content-Management-System 110 präsentiert werden können.If a resource 105 , Search results 118 and / or other content (eg, a video) from a user device 106 to be requested receives the content management system 110 a content request. The content request may include properties of the slots defined for the requested resource or search results page and the content management system 110 can be presented.

Es kann zum Beispiel eine Referenz (z. B. URL) zur Ressource, für die Slots definiert sind, eine Größe des Slots und/oder Medientypen, die im Slot für die Präsentation verfügbar sind, dem Content-Management-System 110 in Verbindung mit einer bestimmten Anforderung bereitgestellt werden. Ähnlich können Schlüsselwörter, die mit einer angeforderten Ressource („Ressourcen-Schlüsselwörter”) oder einer Suchanfrage 116 verbunden sind, für die Suchergebnisse anfordert werden, ebenfalls dem Content-Management-System 110 bereitgestellt werden, um die Identifizierung von Inhalt zu ermöglichen, der für die Ressource oder Suchanfrage 116 relevant ist.For example, a reference (eg, URL) to the resource for which slots are defined, a size of the slot, and / or media types available in the slot for presentation may be to the content management system 110 be provided in connection with a particular request. Similarly, keywords that match a requested resource ("resource keywords") or a search query 116 for which search results are requested, also to the content management system 110 be provided to enable the identification of content relevant to the resource or query 116 is relevant.

Zumindest teilweise basierend auf Daten, die in der Anforderung enthalten sind, kann das Content-Management-System 110 Inhalt auswählen, der für die Bereitstellung in Reaktion auf die Anforderung geeignet ist („geeignete Inhaltselemente”). Geeignete Inhaltselemente können zum Beispiel geeignete Werbung beinhalten, die Eigenschaften hat, die mit den Eigenschaften eines Werbungsslots übereinstimmen und die für spezifizierte Ressourcen-Schlüsselwörter oder Suchanfragen 116 als relevant identifiziert wurden. Außerdem können, wenn keine Suche durchgeführt wird oder keine Schlüsselwörter verfügbar sind (z. B. weil der Benutzer keine Webseite betrachtet), andere Informationen, zum Beispiel Informationen, die aus einem oder mehreren Schnappschüssen erhalten wurden, verwendet werden, um auf die empfangene Anforderung zu reagieren. In einigen Implementierungen kann die Auswahl der geeigneten Inhaltselemente ferner von Benutzersignalen abhängen, zum Beispiel demografischen Signalen, Verhaltenssignalen oder anderen Signalen, die aus einem Benutzerprofil abgeleitet wurden.At least in part, based on data contained in the request, the content management system may 110 Select content suitable for deployment in response to the request ("appropriate content items"). For example, eligible content items may include appropriate advertising that has properties that match the characteristics of an advertising slot and that are for specified resource keywords or search queries 116 identified as relevant. In addition, if no search is performed or no keywords are available (eg because the user is not viewing a web page), other information, for example information obtained from one or more snapshots, may be used to respond to the request received to react. Further, in some implementations, the selection of appropriate content items may depend on user signals, for example, demographic signals, behavioral signals, or other signals derived from a user profile.

Das Content-Management-System 110 kann aus den geeigneten Inhaltselementen, die für die Präsentation in Slots einer Ressource oder Suchergebnisseite bereitgestellt werden sollen, zumindest teilweise auf Basis der Ergebnisse einer Auktion (oder durch einen anderen Auswahlprozess) auswählen. Für geeignete Inhaltselemente kann das Content-Management-System 110 zum Beispiel Angebote von Content-Sponsoren 108 empfangen und die Slots zumindest teilweise auf Basis der empfangenen Angebote zuweisen (z. B. auf Basis der höchsten Bieter bei Abschluss der Auktion oder auf Basis anderer Kriterien, zum Beispiel solchen, die mit der Erfüllung offener Reservierungen oder einem Wert des Lernens verbunden sind). Die Angebote stellen die Beträge dar, die Content-Sponsoren für die Präsentation von (oder Auswahl von oder andere Interaktion mit) ihrem Inhalt bei einer Ressource oder Suchergebnisseite zu zahlen bereit sind. Ein Angebot kann zum Beispiel den Betrag angeben, den ein Content-Sponsor für jeweils 1000 Impressionen (d. h. Präsentationen) des Inhaltselements zu zahlen bereit ist, als CPM-Angebot bezeichnet. Alternativ kann das Angebot einen Betrag angeben, den der Content-Sponsor für eine Auswahl (z. B. ein Click-Through) des Inhaltselements oder eine Konversion nach Auswahl des Inhaltselements zu zahlen bereit ist (z. B. Kosten pro Engagement). Das ausgewählte Inhaltselement kann zum Beispiel allein auf Basis der Angebote oder auf Basis der Angebote des jeweiligen Content-Sponsors multipliziert mit einem oder mehreren Faktoren, zum Beispiel Qualitätsbenotungen, die aus der Inhaltsleistung, Einstiegsseitenbenotungen, einem Wert des Lernens und/oder anderen Faktoren bestimmt werden.The content management system 110 may select from the appropriate content items to be presented for presentation in slots of a resource or search results page based at least in part on the results of an auction (or through another selection process). For suitable content elements, the content management system 110 for example, offers from content sponsors 108 and at least partially allocate the slots on the basis of the offers received (eg on the basis of the highest bidders at the conclusion of the auction or on the basis of other criteria, such as those associated with the fulfillment of open reservations or a value of learning) , The offers represent the amounts that content sponsors are willing to pay to present (or select from or otherwise interact with) their content on a resource or search results page. For example, an offer may indicate the amount a content sponsor is prepared to pay for each 1000 impressions (ie, presentations) of the content item, referred to as a CPM offer. Alternatively, the offer may indicate an amount that the content sponsor is willing to pay for a selection (eg, a click-through) of the content item or a conversion upon selection of the content item (eg, cost per engagement). For example, the selected content item may be multiplied by one or more factors, for example quality ratings, based solely on the offers or on the offerings of the respective content sponsor. which are determined from content performance, entry page grading, a value of learning and / or other factors.

Eine Konversion kann als stattgefunden gelten, wenn ein Benutzer eine bestimmte Transaktion oder Aktion in Verbindung mit einem Inhaltselement durchführt, das mit einer Ressource oder einer Suchergebnisseite bereitgestellt wird. Was eine Konversion darstellt, kann sich von Fall von Fall unterscheiden und kann auf eine Vielzahl von Arten bestimmt werden. Eine Konversion kann zum Beispiel erfolgen, wenn ein Benutzer auf ein Inhaltselement (z. B. eine Werbung) klickt, zu einer Webseite geleitet wird und einen Kauf abschließt, bevor er diese Webseite verlässt. Eine Konversion kann durch einen Inhaltsanbieter auch als jede beliebige messbare oder beobachtbare Benutzeraktion definiert werden, zum Beispiel Herunterladen eines Whitepaper, Navigation mindestens bis zu einer bestimmten Tiefe einer Website, Anzeigen mindestens einer bestimmten Anzahl von Webseiten, Verbringen mindestens eines vorher bestimmten Zeitraums auf einer Website oder Webseite, Registrieren auf einer Website, Erleben von Medien oder Durchführen einer sozialen Aktion in Verbindung mit einem Inhaltselement (z. B. einer Werbung), wie zum Beispiel Unterstützen, erneutes Veröffentlichen oder Teilen des Inhaltselements. Andere Aktionen, die eine Konversion darstellen, können ebenfalls verwendet werden.A conversion may be considered to have occurred when a user performs a particular transaction or action associated with a content item provided with a resource or a search results page. What constitutes a conversion may differ from case to case and may be determined in a variety of ways. For example, a conversion may occur when a user clicks on a content item (eg, an advertisement), is directed to a web page, and makes a purchase before leaving that web page. A conversion may also be defined by a content provider as any measurable or observable user action, for example, downloading a white paper, navigating at least to a certain depth of a web site, displaying at least a certain number of web pages, spanning at least a predetermined time period on a web site or web page, registering on a web site, experiencing media, or performing a social action associated with a content item (eg, an advertisement), such as supporting, republishing, or sharing the content item. Other actions that are a conversion can also be used.

2A ist ein Blockdiagramm eines Systems 200 für die Präsentation von Informationskarten 201 auf Basis von Entitäten, die mit Schnappschüssen 202 des Inhalts verknüpft sind, der Benutzern präsentiert wird. Schnappschüsse 202 können zum Beispiel mit der Zeit von Inhalt 204a, 204b erstellt werden, der einem Benutzer 206 auf einem Benutzergerät 106a präsentiert wird. Der Inhalt 204a, 204b kann der gesamte oder ein Teil des Inhalts (z. B. nur Inhalt in einem aktiven Fenster) in einem Anzeigebereich sein, der mit einem Benutzergerät verbunden ist. Der Inhalt 204a, 204b kann in einem oder mehreren Browsern, einer Anwendung, einer Website, einer Werbung, einer Seite eines sozialen Netzwerks oder einer anderen Benutzerschnittstelle oder Anwendung präsentiert werden. Der Inhalt 204a, 204b kann zum Beispiel eines oder mehrere der folgenden Elemente beinhalten: einen Kalendereintrag, eine Karte, eine E-Mail-Nachricht, einen Eintrag auf einer Seite eines sozialen Netzwerks, ein Webseitenelement, ein Bild oder sonstige Inhalte oder Elemente. Der Schnappschuss 202 des Inhalts 204a, 204b kann bewertet werden, zum Beispiel um zugehörige Entitäten 131 zu identifizieren, wie zum Beispiel Telefonnummern, Standorte (z. B. Adressen, Städte, Staaten, Länder, Raumnummern, Gebäude, spezifische geografische Orte), Themen, Namen von Personen, geplante Ereignisse (z. B. Mittagessen-Termine, Geburtstage, Besprechungen) oder andere identifizierbare Einheiten. Zeitstempel 132, die mit den empfangenen Schnappschüssen 202 verknüpft sind, können mit den identifizierten Entitäten 131 verwendet werden, zum Beispiel um Zielpräsentationszeiten 133 von Informationskarten 201 zu identifizieren, die mit den Entitäten 131 verknüpft sind. Zu Zeiten, die den Zielpräsentationszeiten 133 entsprechen, kann das Content-Management-System 110 zum Beispiel Informationskarten 201 für die Präsentation für den Benutzer 206 bereitstellen. 2A is a block diagram of a system 200 for the presentation of information cards 201 based on entities with snapshots 202 content presented to users. snapshots 202 For example, with the time content 204a . 204b to be created by a user 206 on a user device 106a is presented. The content 204a . 204b For example, all or part of the content (eg, only content in an active window) may be in a display area connected to a user device. The content 204a . 204b may be presented in one or more browsers, an application, a website, an advertisement, a social networking site, or another user interface or application. The content 204a . 204b For example, it may include one or more of the following: a calendar entry, a card, an e-mail message, an entry on a social network page, a web page item, an image, or other content or items. The snapshot 202 of content 204a . 204b can be evaluated, for example, to associated entities 131 identify, such as phone numbers, locations (eg, addresses, cities, states, countries, room numbers, buildings, specific geographic locations), topics, names of people, scheduled events (eg, lunch appointments, birthdays, Meetings) or other identifiable units. time stamp 132 that with the snapshots received 202 can be linked to the identified entities 131 used, for example, at target presentation times 133 of information cards 201 to identify with the entities 131 are linked. At times, the target presentation times 133 can match the content management system 110 for example information cards 201 for the presentation to the user 206 provide.

In einigen Implementierungen können eines oder mehrere Ereignisse (z. B. ein Mittagessen-Termin) auf Basis der Entitäten identifiziert werden, die in einem Schnappschuss enthalten sind (z. B. ein Kalendereintrag, der eine Person identifiziert, ein Ort und eine Telefonnummer). Es kann eine erste Zeit (z. B. in der Zukunft), zu der das Ereignis eintreten soll (z. B. die Zeit für das Treffen zum Mittagessen-Termin), bestimmt werden, und das Ereignis kann zusammen mit der ersten Zeit gespeichert werden (z. B. im Repository der Ereignisse 133). Eine zweite Zeit, die vor dem Ereignis liegt, kann bestimmt werden, zum Beispiel eine Zeit, zu der der Benutzer 206 darüber benachrichtigt werden soll, dass er losgehen muss, um rechtzeitig zum Ereignis anzukommen. Die zweite Zeit kann im Allgemeinen eine Zeit zur Durchführung einer Aktion in Verbindung mit dem Ereignis sein, bevor das Ereignis erfolgen soll, z. B. Bestellen von Blumen für einen Jahrestag oder Senden einer Karte für einen Geburtstag. Das Bestimmen einer Zeit für das Präsentieren einer Informationskarte (z. B. mit dem Mittagessen-Termin verknüpft) kann die Bestimmung beinhalten, dass eine aktuelle Zeit (z. B. die gegenwärtige Zeit) gleich der zweiten Zeit ist (z. B. eine Stunde vor dem Mittagessen-Termin). Die Informationskarte kann zur zweiten Zeit für das Ereignis präsentiert werden. In einigen Implementierungen können die folgenden Beispielphasen für die Bereitstellung von Informationskarten verwendet werden.In some implementations, one or more events (eg, a lunch appointment) may be identified based on the entities contained in a snapshot (eg, a calendar entry identifying a person, a location, and a telephone number). , A first time (eg, in the future) to which the event is to occur (eg, the time for the lunch-appointment meeting) may be determined, and the event may be stored along with the first time (for example, in the repository of events 133 ). A second time before the event may be determined, for example, a time at which the user 206 to be notified that he must go to arrive in time for the event. The second time may generally be a time to perform an action associated with the event before the event is to occur, e.g. B. Order flowers for an anniversary or send a card for a birthday. Determining a time for presenting an information card (eg, associated with the lunch appointment) may include determining that a current time (eg, the current time) is equal to the second time (eg, one Hour before the lunch appointment). The information card can be presented for the second time for the event. In some implementations, the following example phases may be used to provide information cards.

In Phase 1 kann das Content-Management-System 110 z. B. Schnappschüsse 202 empfangen, z. B. eine Vielzahl von Schnappschüssen, die mit der Verwendung eines Benutzergeräts 106a durch einen Benutzer 206 verknüpft sind. Die empfangenen Schnappschüsse 202 können zum Beispiel Schnappschüsse des Inhalts 204a, 204b beinhalten, der dem Benutzer 206 auf dem Benutzergerät 106a präsentiert wird. Die Schnappschüsse 202 können zum Beispiel Schnappschüsse beinhalten, die aus einer E-Mail-Nachricht (z. B. Inhalt 204a) oder aus einem Bild (z. B. Inhalt 204b) und/oder von anderem Inhalt, der dem Benutzer 206 präsentiert wurde, entnommen wurden.In Phase 1, the content management system 110 z. B. snapshots 202 received, z. B. a variety of snapshots, with the use of a user device 106a by a user 206 are linked. The received snapshots 202 For example, snapshots of the content 204a . 204b involve the user 206 on the user device 106a is presented. The snapshots 202 For example, they may include snapshots taken from an e-mail message (eg content 204a ) or from a picture (eg content 204b ) and / or other content belonging to the user 206 was presented.

In Phase 2 kann zum Beispiel die Schnappschuss-Bewertungsengine 121 die empfangenen Schnappschüsse 202 bewerten. Für jeden Schnappschuss kann die Schnappschuss-Bewertungsengine 121 zum Beispiel Entitäten 131 identifizieren, die in einem Schnappschuss 202 enthalten sind. Die Entitäten, die für den Schnappschuss 202 identifiziert werden, der von Inhalt 204a erhalten wurde, können zum Beispiel Bob, Carol, J's Restaurant und Carols Handynummer beinhalten. Die Schnappschuss-Bewertungsengine 121 kann identifizierte Entitäten (oder eine Teilmenge davon, z. B. die wichtigsten Entitäten) zusammen mit einem Zeitstempel speichern, der mit einer Zeit verknüpft ist, zu der der jeweilige Schnappschuss aufgenommen wurde. In einigen Implementierungen kann als Teil des Prozesses der Bestimmung von Entitäten eine Bestimmung erfolgen, ob bestimmte Entitäten miteinander verbunden sind, z. B. mit einem gemeinsamen Ereignis verbunden sind. Die Verbundenheit kann auf Nähe (z. B. die Entitäten erscheinen in dichter Nähe zueinander) oder einer anderen Beziehung im Schnappschuss basieren. In einigen Implementierungen können Zeitstempel im Datenspeicher der Zeitstempel 132 gespeichert werden, z. B. für die spätere Verwendung bei der Erzeugung und Präsentation von Informationskarten 201 in Verbindung mit den Schnappschüssen 202. In einigen Implementierungen können eine oder mehrere Entitäten mit einem Ereignis verbunden sein. Das heißt, eine Entität kann eine Person sein und das Ereignis kann sich auf ein Treffen mit der Person beziehen (wie durch den Inhalt angegeben, der in einer E-Mail enthalten ist, die in dem Schnappschuss angezeigt wird, der bewertet wird). Wenn ein Ereignis durch die Schnappschuss-Bewertungsengine 121 identifiziert wird, kann ein Kalenderelement im Kalender des Benutzers und optional in Kalendern anderer Benutzer, die mit dem Ereignis verknüpft sind (z. B. einschließlich Benutzer, die nicht notwendigerweise Teilnehmer des Ereignisses sind), eingerichtet werden. In einigen Implementierungen können identifizierte Ereignisse beinhalten, an denen der Benutzer nicht teilnimmt, aber bei denen der Benutzer trotzdem einen Nutzen davon haben kann, wenn er eine Informationskarte erhält (z. B. einen Gutscheinablauf für einen Online-Verkauf). Ereignisse werden unten näher erörtert.In Phase 2, for example, the snapshot rating engine 121 the snapshots received 202 rate. For each snapshot, the snapshot rating engine 121 for example, entities 131 Identify in a snapshot 202 are included. The entities responsible for the snapshot 202 be identified by content 204a For example, Bob, Carol, J's Restaurant, and Carol's cell phone number may be included. The snapshot rating engine 121 can store identified entities (or a subset thereof, such as the most important entities) along with a timestamp associated with a time the snapshot was taken. In some implementations, as part of the entity determination process, a determination may be made as to whether certain entities are interconnected, e.g. B. connected to a common event. Bonding may be based on proximity (for example, the entities appear close together) or another relationship in the snapshot. In some implementations, timestamps in the datastore may be timestamped 132 be stored, for. For later use in the generation and presentation of information cards 201 in conjunction with the snapshots 202 , In some implementations, one or more entities may be associated with an event. That is, an entity may be a person and the event may refer to a meeting with the person (as indicated by the content contained in an e-mail displayed in the snapshot being scored). When an event through the snapshot rating engine 121 is identified, a calendar item can be set up in the user's calendar and optionally in other users' calendars associated with the event (e.g., including users who are not necessarily participants of the event). In some implementations, events may include identified events that the user does not attend, but where the user may still benefit from receiving an information card (eg, a coupon expiration for an online sale). Events are discussed below.

Die Bewertung von Schnappschuss 202, der mit dem Inhalt 204a verbunden ist, kann zum Beispiel bestimmen, dass ein Ereignis Mittagessen-Termin zwischen dem Benutzer 206 (z. B. Bob) und Carol besteht. Andere Informationen, die aus dem Schnappschuss 202 identifiziert werden, können Zeit, Ortsinformationen und eine Telefonnummer beinhalten. In diesem Beispiel können die identifizierten Entitäten Bob, Carol, das Restaurant (z. B. J's) und die Telefonnummer von Carol beinhalten. Als Teil der Schnappschussbewertung kann ein Kontext bestimmt werden, der mit dem Schnappschuss und/oder Ereignis verbunden ist. Auf Basis der Entitäten Bob, Carol, Restaurant und Telefonnummer von Carol kann zum Beispiel ein Kontext „Mittagessen-Termin um 12 Uhr am X. mit Carol im J's” bestimmt werden. Kontextinformationen können bestimmt, gespeichert und später aufgerufen werden, um zum Beispiel einem Benutzer Informationen dahingehend zu geben, warm eine bestimmte Informationskarte präsentiert wurde. In einigen Implementierungen können weitere Informationen in einem Kontext enthalten sein, z. B. Identifizierung der App oder anderen Quelle, von der der Schnappschuss extrahiert wurde, die Art, wie die Informationen bewertet wurden, oder ein Kontext, der mit einem Screenshot verknüpft ist. In einigen Implementierungen können die Kontextinformationen in Form eines Textauszugs vorliegen, aus dem die Entität oder das Ereignis extrahiert wurde. In einigen Implementierungen kann, wenn die Kontextinformationen nachfolgend präsentiert werden, der Textauszug, auf dem der Kontext basiert, so formatiert sein, dass die relevanten Informationsteile hervorgehoben sind.The rating of snapshot 202 that with the content 204a For example, it may determine that an event is lunch-appointment between the user 206 (eg Bob) and Carol. Other information from the snapshot 202 may include time, location information and a telephone number. In this example, the identified entities may include Bob, Carol, the restaurant (e.g., J's), and Carol's phone number. As part of the snapshot score, a context associated with the snapshot and / or event may be determined. For example, on the basis of Carol's Carol's Bob, Carol, Restaurant, and Phone Numbers, a context may be set to "Lunch Appointment at 12 o'clock pm on the Xth with Carol in J's". Context information may be determined, stored, and later invoked, for example, to provide information to a user that a particular information card has been presented. In some implementations, further information may be included in a context, e.g. Identifying the app or other source from which the snapshot was extracted, the way the information was evaluated, or a context associated with a screenshot. In some implementations, the context information may be in the form of a text extract from which the entity or event was extracted. In some implementations, when the context information is presented below, the text digest on which the context is based may be formatted so that the relevant pieces of information are highlighted.

In Phase 3 kann, nachdem einer oder mehrere empfangene Schnappschüsse bewertet wurden, die Informationskarten-Engine 122 zum Beispiel eine Zeit für die Präsentation einer oder mehrerer Informationskarten für den Benutzer einschließlich Bestimmung einer Zielzeit bestimmen. In einigen Implementierungen können Zielzeiten im Datenspeicher der Zielpräsentationszeiten 134 gespeichert werden. Für den anstehenden Mittagessen-Termin von Bob mit Carol kann zum Beispiel die Informationskarten-Engine 122 eine Erinnerungszeit für Bob bestimmen, die eine Stunde vor dem geplanten Mittagessen-Termin um 12 Uhr liegt. In einigen Implementierungen können mehrere Zeiten für das Präsentieren von Informationskarten bestimmt werden, z. B. um eine Erinnerung einzubeziehen, die am Abend vor dem Tag gesendet wird, an dem Bob einen Mittagessen-Termin mit Carol hat. In einigen Implementierungen können Zielzeiten mithilfe verschiedener Faktoren bestimmt werden, z. B. ein Transportmittel, eine Entfernung, einen Ort und/oder andere Faktoren. Für Informationskarten, die als Aufforderung für den Benutzer dienen, können Zielzeiten zum Beispiel eine oder mehrere Zeiten beinhalten, seitdem das Konzept dem Benutzer ursprünglich präsentiert wurde, z. B. in Form von Inhalt, aus dem ein jeweiliger Schnappschuss erhalten wurde.In Phase 3, after one or more received snapshots have been scored, the information card engine may be used 122 For example, determine a time for the presentation of one or more information cards to the user including determining a target time. In some implementations, target times may be in the datastore of the target presentation times 134 get saved. For example, for Bob's upcoming lunch appointment with Carol, the information card engine can be used 122 Set a reminder time for Bob, which is one hour before the scheduled lunch appointment at 12 o'clock. In some implementations, multiple times may be determined for presenting information cards, e.g. For example, to include a reminder that is sent the evening before the day Bob has a lunch appointment with Carol. In some implementations, target times may be determined by various factors, e.g. As a means of transport, a distance, a place and / or other factors. For example, for information cards that serve as a prompt for the user, target times may include one or more times since the concept was originally presented to the user, e.g. In the form of content from which a respective snapshot was obtained.

In Phase 4 kann die Informationskarten-Engine 122 zum Beispiel Entitäten aus den gespeicherten Entitäten 131 auf Basis eines Vergleichs der Zielzeit mit Zeitstempeln identifizieren, die mit einer jeweiligen Entität der gespeicherten Entitäten verknüpft sind. Für den Mittagessen-Termin, der für Carol und Bob geplant ist, kann die Informationskarten-Engine 122 zum Beispiel Informationen identifizieren, die in einer Informationskarte verwendet werden sollen, die mit dem anstehenden Mittagessen-Termin verknüpft ist. Die Telefonnummer von Carol kann zum Beispiel eine Entität sein, die für die Erzeugung einer Informationskarte identifiziert werden kann, z. B. für eine Erinnerung an Bob, die zu einer Zielzeit eine Stunde vor dem Mittagessen-Termin gesendet wird, und die außerdem die Handynummer von Carol enthält.In Phase 4, the information card engine 122 for example, entities from the stored entities 131 identify based on a comparison of the target time with timestamps associated with a respective entity of the stored entities. For the lunch appointment, which is planned for Carol and Bob, the information card engine 122 for example, to identify information to be used in an information card associated with the upcoming lunch appointment. For example, Carol's phone number may be an entity that can be identified for generating an information card, e.g. B. for a A reminder to Bob that will be sent at a target time one hour before the luncheon appointment, and will also include Carol's mobile number.

In Phase 5 kann die Informationskarten-Engine 122 zum Beispiel die Informationskarte 201 auf Basis von einer oder mehreren identifizierten Entitäten 131 erzeugen. Informationskarte 201 kann zum Beispiel Informationen beinhalten, die mit dem Mittagessen-Termin und der Handynummer von Carol verknüpft sind. In einigen Implementierungen kann die Informationskarte 201 für die Verwendung in mehreren nachfolgenden Präsentationen der gleichen Informationskarte gespeichert werden, z. B. im Content-Management-System 110.In Phase 5, the information card engine 122 for example the information card 201 based on one or more identified entities 131 produce. information card 201 For example, it may include information associated with Carol's lunchtime appointment and mobile phone number. In some implementations, the information card may 201 stored for use in several subsequent presentations of the same information card, e.g. In the content management system 110 ,

In Phase 6 kann das Content-Management-System 110 zum Beispiel die Informationskarte 201 zur Präsentation für den Benutzer bereitstellen. Die Informationskarte 201 kann dem Benutzergerät 106a zum Beispiel für die Präsentation auf einem Bildschirm 208c bereitgestellt werden, der derselbe oder ein anderer Bildschirm als Bildschirme 208a, 208b sein kann, von denen die Schnappschüsse 202 aus mehreren Benutzersitzungen 210 für den Benutzer 206 erhalten wurden. In einigen Implementierungen können die Bildschirme 208a, 208b, 208c Bildschirme sein, die auf mehreren der Benutzergeräte 106a präsentiert werden, die mit dem Benutzer 206 verknüpft sind. Die Zeit, zu der die Informationskarte präsentiert wird, kann zum Beispiel eine Zeit sein, seit der das Konzept, das mit der Informationskarte verknüpft ist, dem Benutzer ursprünglich präsentiert wurde, z. B. in Form von Inhalten, aus denen ein jeweiliger Schnappschuss erhalten wurde. In diesem Beispiel kann die Informationskarte verwendet werden, um das Gedächtnis des Benutzers aufzufrischen. Die Zeit, zu der die Informationskarte präsentiert wird, kann zum Beispiel auch eine Zeit in Verbindung mit einem Ereignis (z. B. der Mittagessen-Termin) sein, das mit der Informationskarte verknüpft ist.In Phase 6, the content management system 110 for example the information card 201 provide for presentation to the user. The information card 201 can be the user device 106a for example, for presentation on a screen 208c be provided, the same or a different screen than screens 208a . 208b can be, of which the snapshots 202 from several user sessions 210 for the user 206 were obtained. In some implementations, the screens may be 208a . 208b . 208c Screens that are on multiple of the user devices 106a be presented with the user 206 are linked. For example, the time at which the information card is presented may be a time since the concept associated with the information card was originally presented to the user, e.g. In the form of content from which a respective snapshot was obtained. In this example, the information card can be used to refresh the user's memory. For example, the time at which the information card is presented may also be a time associated with an event (eg, the lunch appointment) associated with the information card.

In einigen Implementierungen können Informationskarten 201 für mehr als einen Benutzer gelten. Das Content-Management-System 110 kann zum Beispiel Informationskarten 201 allen Parteien bereitstellen, die mit einem Ereignis verknüpft sind, z. B. sowohl Bob und Carol in Bezug auf ihren anstehenden Mittagessen-Termin.In some implementations, information cards may 201 apply to more than one user. The content management system 110 can, for example, information cards 201 provide to all parties associated with an event, e.g. B. Both Bob and Carol regarding their upcoming lunch appointment.

In einigen Implementierungen kann, wenn die Schnappschüsse im Vorgriff auf die potenzielle Bereitstellung von Informationskarten für den Benutzer bewertet werden, der Benutzer optional eine Benachrichtigung erhalten (z. B. etwa „Sie könnten Informationskarten auf Basis von X erhalten ...”). In einigen Implementierungen können Benutzer die Möglichkeit haben, zu ändern, wann und wo Informationskarten präsentiert werden sollen, entweder einzeln nach Gruppen (oder Arten von Informationskarten) oder global. In einigen Implementierungen können Benutzern Steuerungen für die Angabe der Art von Informationen präsentiert werden, die für Informationskarten verwendet werden können, z. B. Kontrollkästchen etwa für „Keine Informationen aus meinen E-Mails für die Erzeugung von Informationskarten verwenden”. In einigen Implementierungen können Benutzer die Zeiten kontrollieren, zu denen Informationskarten präsentiert werden sollen, z. B. Tageszeiten oder Zeiten für spezifische Schnappschüsse. In einigen Implementierungen können Benutzern Transparenzsteuerungen für eine bestimmte Informationskarte bereitgestellt werden, zum Beispiel um zu erfahren, wie oder warum eine Informationskarte erstellt und präsentiert wurde.In some implementations, when the snapshots are evaluated in anticipation of the potential provision of information cards to the user, the user may optionally receive a notification (eg, "You could get information cards based on X's ..."). In some implementations, users may be able to change when and where information cards are to be presented, either individually by group (or types of information cards) or globally. In some implementations, controls may be presented to users for indicating the type of information that may be used for information cards, e.g. For example, check the box for "Do not use information from my e-mails to create information cards." In some implementations, users may control the times at which information cards are to be presented, e.g. Eg times of day or times for specific snapshots. In some implementations, users may be provided with transparency controls for a particular information card, for example, to learn how or why an information card has been created and presented.

2B zeigt eine Beispielinformationskarte 220a, die mit einer Telefonnummernentität verknüpft ist. Unter Fortsetzung des oben mit Bezug auf 2A beschriebenen Beispiels kann die Informationskarte 220a zum Beispiel eine Stunde vor dem anstehenden Mittagessen-Termin von Bob und Carol präsentiert werden. Die Informationskarte 220a kann zum Beispiel eine Benachrichtigungsbeschriftung 222a (z. B. „Wähleinrichtung ...”) beinhalten, die den Benutzer benachrichtigt, dass die Informationskarte ein Typ ist, der mit einer Telefonnummer verknüpft ist, z. B. der Handynummer von Carol. Ein Kontext 224a kann zum Beispiel den Kontext identifizieren, der mit der Informationskarte verknüpft ist. In diesem Beispiel kann Kontext 224a einen Teil des Schnappschusses 202 beinhalten (oder daraus bestimmt werden), einschließlich eines Textauszugs der E-Mail-Nachricht von Bob, die von Carol empfangen wurde und die Informationen (z. B. Ort, Telefonnummer, Datum 226a) enthält, die mit dem anstehenden Mittagessen-Termin verknüpft sind. Die Informationskarte 220a kann außerdem zum Beispiel eine Handlungsaufforderung 228a beinhalten, z. B. eine Steuerung, die mit der Informationskarte auf dem Smartphone von Bob angezeigt wird, um die Handynummer von Carol zu wählen. Andere Handlungsaufforderungen 228a sind in diesem Beispiel möglich, z. B. eine Handlungsaufforderung, eine Karte zum Restaurant anzuzeigen. 2 B shows a sample information card 220a that is linked to a telephone number entity. Under continuation of the above with reference to 2A described example, the information card 220a For example, an hour before the upcoming lunch appointment will be presented by Bob and Carol. The information card 220a For example, a notification label 222a (e.g., "dialer ...") which notifies the user that the information card is a type associated with a telephone number, e.g. For example, the mobile number of Carol. A context 224a For example, it may identify the context associated with the information card. In this example, context 224a a part of the snapshot 202 include (or be determined from) a text excerpt of the Bob's email message received from Carol and the information (eg, location, phone number, date 226a ) associated with the upcoming lunch appointment. The information card 220a can also, for example, an action request 228a include, for. For example, a controller that displays the information card on Bob's smartphone to dial Carol's mobile number. Other calls for action 228a are possible in this example, for. For example, an action request to display a map to the restaurant.

2C zeigt eine Beispielinformationskarte 220b, die mit einer Ortsentität verknüpft ist. Die Informationskarte 220b kann zum Beispiel eine Benachrichtigungsbeschriftung 222b (z. B. „Ort...”) beinhalten, die den Benutzer benachrichtigt, dass die Informationskarte mit einem Ort verknüpft ist, z. B. Paris, Frankreich. Die Informationskarte 220b kann zum Beispiel aus einem Schnappschuss 202 erzeugt werden, der mit dem Durchsuchen von Online-Informationen durch den Benutzer verknüpft ist, die mit Paris verknüpft sind, z. B. Online-Reise- oder -Urlaubsinformationen. Ein Kontext 224b kann zum Beispiel den Kontext identifizieren, der mit der Informationskarte verknüpft ist. In diesem Beispiel kann Kontext 224b zum Beispiel einen Teil des Schnappschusses 202 beinhalten (oder daraus bestimmt werden), einschließlich einer Karte, die in einem Schnappschuss enthalten sein oder aus Informationen im Schnappschuss identifiziert werden kann. Die Informationskarte 220b kann außerdem zum Beispiel eine Handlungsaufforderung 228b beinhalten, z. B. eine Steuerung, die auf dem Smartphone von Bob angezeigt wird, um eine Wegbeschreibung nach oder in Paris zu erhalten. Eine Zeit, die mit der Präsentation der Informationskarte 220b verknüpft ist, kann auf Basis einer gegenwärtigen Zeit und dem aktuellen Ort des Benutzers (z. B. Ankunft am Flughafen in Paris) bestimmt werden. 2C shows a sample information card 220b that is linked to a place entity. The information card 220b For example, a notification label 222b (e.g., "Location ...") which notifies the user that the information card is associated with a location, e.g. B. Paris, France. The information card 220b for example, from a snapshot 202 generated by the user browsing online information associated with Paris, e.g. For example, online travel or vacation information. A context 224b For example, it may identify the context associated with the information card. In this example, context 224b for example a part of the snapshot 202 include (or be determined from) a map that may be included in a snapshot or identified from information in the snapshot. The information card 220b can also, for example, an action request 228b include, for. For example, a control displayed on Bob's smartphone for directions to or in Paris. A time with the presentation of the information card 220b can be determined based on a current time and location of the user (eg arrival at the airport in Paris).

2D zeigt eine Beispielinformationskarte 220c, die mit einer Informationsentität verknüpft ist. Die Informationskarte 220c kann zum Beispiel eine Benachrichtigungsbeschriftung 222c (z. B. „Antwort...”) beinhalten, die den Benutzer benachrichtigt, dass die Informationskarte mit einem Thema verknüpft ist, z. B. der New Yorker Börse (NYSE). In diesem Beispiel kann die NYSE ein Ort sein. Informationskarten des Typs „Antwort” können zum Beispiel für internationale Entitäten gelten, z. B. aus einem Textauszug, einer Biographie, einer Notierung (z. B. einer Aktiennotierung, die auf dem Bildschirm des Benutzers angezeigt wird) oder anderen Informationsinhalten. Die Informationskarte 220c kann zum Beispiel aus einem Schnappschuss erzeugt werden, der mit dem Durchsuchen von Online-Informationen durch den Benutzer verbunden ist, die mit der NYSE verknüpft sind. oder Informationen aus anderen Quellen. Ein Kontext 224c kann zum Beispiel den Kontext identifizieren, der mit der Informationskarte verknüpft ist. In diesem Beispiel kann der Kontext 224c einen Teil des Schnappschusses beinhalten (oder daraus bestimmt werden), einschließlich eines Textauszugs über die NYSE, die dem Benutzer möglicherweise als Inhalt von einer Website präsentiert wurde. Die Informationskarte 220c kann außerdem zum Beispiel eine Handlungsaufforderung 228c beinhalten, z. B. ein Bedienelement, das auf dem Smartphone von Bob angezeigt wird, um mehr Informationen über die NYSE zu erhalten. 2D shows a sample information card 220c that is linked to an information entity. The information card 220c For example, a notification label 222c (eg, "answer ...") that notifies the user that the information card is associated with a topic, e.g. New York Stock Exchange (NYSE). In this example, the NYSE may be a location. For example, information cards of the "answer" type may apply to international entities, e.g. From a text excerpt, a biography, a quotation (eg, a stock quote displayed on the user's screen) or other informational content. The information card 220c For example, it may be generated from a snapshot associated with user browsing of online information associated with the NYSE. or information from other sources. A context 224c For example, it may identify the context associated with the information card. In this example, the context may be 224c include (or be determined to include) a portion of the snapshot, including a NYSE snippet that may have been presented to the user as content from a web site. The information card 220c can also, for example, an action request 228c include, for. For example, a control that appears on Bob's smartphone for more information about the NYSE.

3A ist ein Flussdiagramm eines Beispielprozesses 300 für die Bereitstellung von Informationskarten auf Basis von Schnappschüssen, die aus Inhalten extrahiert sind, die einem Benutzer präsentiert werden. Koinzidenz kann zum Beispiel die gleichzeitige, fast gleichzeitige oder kürzliche Präsentation des sensorischen Inhaltselements für einen Benutzer beinhalten. In einigen Implementierungen kann das Content-Management-System 110 zum Beispiel Phasen des Prozesses 300 unter Verwendung von Anweisungen beinhalten, die von einem oder mehreren Prozessoren ausgeführt werden. 1–2C werden verwendet, um Beispielstrukturen für die Durchführung der Schritte des Prozesses 300 bereitzustellen. 3A is a flowchart of an example process 300 for providing information cards based on snapshots extracted from content presented to a user. Coincidence may include, for example, concurrent, near simultaneous, or recent presentation of the sensory content item to a user. In some implementations, the content management system may 110 for example phases of the process 300 using instructions executed by one or more processors. 1 - 2C are used to provide example structures for performing the steps of the process 300 provide.

Eine Vielzahl von Schnappschüssen, die mit der Verwendung eines Computergeräts durch einen Benutzer verknüpft sind, werden durch ein Servergerät (302) empfangen. Jeder Schnappschuss aus der Vielzahl von Schnappschüssen basiert auf Inhalten, die dem Benutzer auf dem Computergerät präsentiert werden. Ein Servergerät, z. B. das Content-Management-System 110, kann Schnappschüsse 202 empfangen, die mit der Verwendung des Benutzergeräts 106a verbunden sind, einschließlich Schnappschüsse 202 der Inhalte 204a, 204b, die dem Benutzer 206 präsentiert werden.A variety of snapshots associated with the use of a computing device by a user are generated by a server device ( 302 ) received. Each snapshot of the plurality of snapshots is based on content presented to the user on the computing device. A server device, e.g. For example, the content management system 110 Can take snapshots 202 received with the use of the user device 106a including snapshots 202 the content 204a . 204b that the user 206 to get presented.

In einigen Implementierungen kann der Prozess 300 ferner den Empfang der Vielzahl von Schnappschüssen durch das Gerät beinhalten. Das Benutzergerät 106a kann zum Beispiel die Schnappschüsse 202 aufnehmen und sie für das Content-Management-System 110 bereitstellen. In einigen Implementierungen können die Schnappschüsse 202 durch das Content-Management-System 110 aus dem Inhalt erhalten werden, den das Content-Management-System 110 für das Benutzergerät 106a bereitstellt.In some implementations, the process may be 300 further include receiving the plurality of snapshots by the device. The user device 106a For example, the snapshots 202 record and use it for the content management system 110 provide. In some implementations, the snapshots 202 through the content management system 110 be obtained from the content that the content management system 110 for the user device 106a provides.

In einigen Implementierungen können die Schnappschüsse, die mit der Verwendung des Geräts durch den Benutzer verknüpft sind, Ton beinhalten, der dem Benutzer präsentiert oder durch ihn wahrgenommen wird. Schnappschüsse 202 können zum Beispiel Aufzeichnungen beinhalten, die für das Benutzergerät 106a bereitgestellt wurden. In diesem Beispiel kann das Erhalten der Schnappschüsse 202 außerdem die Verwendung von Spracherkennung oder anderer Erkennungstechniken beinhalten, um eine Textübersetzung oder Identifizierung (z. B. Titel) des Tons zu erhalten, der präsentiert wird. In einigen Implementierungen kann das Erhalten von Schnappschuss 202 das Erhalten eines Audio-Fingerabdrucks (z. B. von einem bestimmten Song) für die Verwendung bei der Identifizierung des Tons beinhalten.In some implementations, the snapshots associated with the use of the device by the user may include sound presented to or perceived by the user. snapshots 202 For example, records may include records for the user device 106a were provided. In this example, getting the snapshots 202 also include the use of speech recognition or other recognition techniques to obtain a text translation or identification (eg, title) of the sound being presented. In some implementations, getting snapshot may be 202 include obtaining an audio fingerprint (eg, from a particular song) for use in identifying the sound.

In einigen Implementierungen können die Schnappschüsse, die mit der Verwendung des Geräts durch den Benutzer verknüpft sind, Inhalt beinhalten, der nicht mit einem Browser verknüpft ist. Schnappschüsse 202 können zum Beispiel von Nicht-Browser-Quellen wie Anwendungen, Websites, Sites sozialer Netzwerke, Werbung und/oder anderen Quellen erhalten werden.In some implementations, the snapshots associated with the use of the device by the user may include content that is not associated with a browser. snapshots 202 For example, they may be obtained from non-browser sources such as applications, websites, social networking sites, advertisements, and / or other sources.

In einigen Implementierungen kann das Erhalten der Vielzahl von Schnappschüssen durch das Gerät regelmäßig oder auf Basis eines Umgebungsereignisses erfolgen. Schnappschüsse 202 können zum Beispiel regelmäßig erhalten werden, z. B. in Intervallen von N Sekunden oder M Minuten, oder Schnappschüsse 202 können erhalten werden, wenn bestimmte Auslöser erfolgen, z. B. Benutzerhandlungen oder andere Auslöser. In einigen Implementierungen kann das Umgebungsereignis durch das Gerät (z. B. das Benutzergerät 106a), durch eine Anwendung (z. B. wenn der Benutzer die App startet oder eine auslösende Aktion durchführt), durch einen Dienst (z. B. Kartenanwendung, Kalender oder E-Mail), der mit dem Gerät kommuniziert, durch das Betriebssystem, das mit dem Gerät verknüpft ist, oder auf Basis einer Änderung des Kontextes, einer Änderung des Schauplatzes oder Änderung der Verwendung des Geräts durch den Benutzer ausgelöst werden. Der neue Schnappschuss 202 kann zum Beispiel erfolgen, wenn bestimmt wird, dass sich ein Schwellenprozentsatz des Bildschirms auf dem Benutzergerät 106a geändert hat.In some implementations, obtaining the plurality of snapshots by the device may be periodic or based on an environmental event. snapshots 202 For example, they can be obtained regularly, e.g. At intervals of N seconds or M minutes, or snapshots 202 can be obtained when certain triggers occur, e.g. B. User actions or other triggers. In some implementations, the environmental event may be performed by the device (eg, the user device 106a ), by an application (e.g., when the user starts the app or initiates a triggering action) through a service (eg, card application, calendar, or e-mail) that communicates with the device by the operating system, that is associated with the device, or triggered based on a change in context, a change in location, or a change in use of the device by the user. The new snapshot 202 for example, if it is determined that a threshold percentage of the screen is on the user device 106a has changed.

In einigen Implementierungen kann das Umgebungsereignis eine Änderung beim Kontext einer Anwendung sein, die auf dem Gerät ausgeführt wird, wobei eine Zeit, die für die Erkennung der Änderung des Kontextes verwendet wird, mindestens eine im Wesentlichen aktuelle Zeit und/oder eine frühere Zeit beinhaltet. Das Umgebungsereignis kann zum Beispiel durch den Benutzer 206 ausgelöst werden, der sich von einer Ebene einer Anwendung oder eines Spiels zu einer anderen Ebene bewegt, oder indem ein Meilenstein erreicht wird, der mit der Anwendung oder dem Spiel verknüpft ist. Die Änderung des Kontextes (z. B. Änderung der Ebenen oder Erreichung eines Meilensteins) kann bestimmt werden, z. B. durch Vergleichen von Kontexten zur früheren Zeit und zur aktuellen Zeit.In some implementations, the environment event may be a change in the context of an application running on the device, wherein a time used to detect the change in context includes at least a substantially current time and / or time. The environment event may be, for example, by the user 206 by moving from one layer of an application or game to another, or by reaching a milestone associated with the application or game. The change of context (eg changing the levels or achieving a milestone) can be determined, e.g. By comparing contexts to the prior time and to the current time.

Die Vielzahl von Schnappschüssen wird bewertet (304). Die Schnappschuss-Bewertungsengine 121 kann zum Beispiel die empfangenen Schnappschüsse 202 bewerten. Die Schnappschuss-Bewertungsengine 121 kann zum Beispiel für jeden Schnappschuss Entitäten 131 identifizieren, die in einem Schnappschuss 202 enthalten sind. Die Schnappschuss-Bewertungsengine 121 kann identifizierte Entitäten zusammen mit einem Zeitstempel speichern, der mit einer Zeit verknüpft ist, zu der der jeweilige Schnappschuss aufgenommen wurde.The multitude of snapshots is evaluated ( 304 ). The snapshot rating engine 121 can, for example, receive the snapshots received 202 rate. The snapshot rating engine 121 For example, entities can be entities for each snapshot 131 Identify in a snapshot 202 are included. The snapshot rating engine 121 can store identified entities along with a timestamp associated with a time the snapshot was taken.

In einigen Implementierungen kann das Empfangen von Schnappschüssen, die mit der Verwendung des Geräts durch den Benutzer verknüpft sind, das Empfangen eines Hash beinhalten, der den Inhalt darstellt, der in einem jeweiligen Schnappschuss enthalten ist, und die Bewertung der empfangenen Schnappschüsse beinhaltet die Verwendung des Hash statt des ursprünglichen Inhalts bei der Bewertung. Statt der (oder zusätzlich zur) Bewertung des Schnappschusses 202 kann die Schnappschuss-Bewertungsengine 121 Hash-Informationen bewerten, die mit dem bereitgestellten Inhalt verknüpft sind. Die Informationen können zum Beispiel Text beinhalten, der dem Inhalt entspricht (z. B. „Ihre Kreditkarte, die mit *1437 endet”), oder Metadaten, die mit dem Inhalt verknüpft sind, die beschreiben, was im Inhalt enthalten ist (z. B., „Ihre Adresse plus PLZ”).In some implementations, receiving snapshots associated with use of the device by the user may include receiving a hash representing the content contained in a respective snapshot, and evaluating the received snapshots includes using the Hash instead of the original content in the rating. Instead of (or in addition to) rating the snapshot 202 can the snapshot rating engine 121 Evaluate hash information associated with the content provided. For example, the information may include text corresponding to the content (eg, "your credit card ending with * 1437") or metadata associated with the content describing what is included in the content (e.g. Eg, "your address plus postcode").

In einigen Implementierungen kann das Bewerten der empfangenen Schnappschüsse ferner das Identifizieren von einem oder mehreren Ereignissen auf Basis der Entitäten beinhalten, die in einem Schnappschuss enthalten sind, das Ermitteln einer ersten Zeit in der Zukunft, zu der das Ereignis erfolgen soll, das Speichern des Ereignisses zusammen mit der ersten Zeit, das Ermitteln einer zweiten Zeit vor dem Ereignis, und das Ermitteln der Zeit für das Präsentieren kann das Ermitteln beinhalten, dass eine aktuelle Zeit gleich der zweiten Zeit ist, und das Präsentieren einer Informationskarte beinhaltet das Präsentieren einer Informationskarte für das Ereignis zu der zweiten Zeit. Wie oben in Bezug auf 2A beschrieben, kann das Bewerten des Schnappschusses 202 zum Beispiel das Vorhandensein eines Mittagessen-Termins zwischen Bob und Carol angeben. Die Zeit/der Ort des Mittagessen-Termins und die Handynummer von Carol können ebenfalls aus Schnappschuss 202 bestimmt werden. Das Content-Management-System 110 kann diese Informationen verwenden, um den Mittagessen-Termin zu identifizieren und eine oder mehrere Informationskarten zu vorbestimmten Zeiten zu erzeugen, bevor der Mittagessen-Termin erfolgt.In some implementations, evaluating the received snapshots may further include identifying one or more events based on the entities contained in a snapshot, determining a first time in the future to which the event is to occur, saving the event along with the first time, determining a second time prior to the event, and determining the time for presentation may include determining that a current time is equal to the second time, and presenting an information card includes presenting an information card for the event Event at the second time. As above regarding 2A described, can be the rating of the snapshot 202 For example, specify the presence of a lunch appointment between Bob and Carol. The time / location of the lunch appointment and the mobile number of Carol can also be taken from snapshot 202 be determined. The content management system 110 may use this information to identify the lunch appointment and generate one or more information cards at predetermined times before the lunch appointment occurs.

In einigen Implementierungen kann das Identifizieren von Entitäten, die in einem Schnappschuss enthalten sind, ferner das Identifizieren einer Beschreibung eines Ereignisses im Text in natürlicher Sprache beinhalten. Die Schnappschuss-Bewertungsengine 121 kann zum Beispiel Text im Inhalt 204a identifizieren, der das Ereignis (z. B. einen Mittagessen-Termin) beschreibt oder die Entitäten angibt, die mit dem Ereignis verknüpft sind (z. B. Bob, Carol, J's Restaurant und die Telefonnummer von Carol).In some implementations, identifying entities included in a snapshot may further include identifying a description of an event in the text in natural language. The snapshot rating engine 121 can for example text in content 204a identifying the event (eg, a lunch appointment) or identifying the entities associated with the event (eg, Bob, Carol, J's Restaurant, and Carol's phone number).

In einigen Implementierungen kann das Ereignis eine für den Benutzer interessante Aktivität sein, die in der Zukunft stattfindet. Als Beispiel kann das Ereignis, das durch die Schnappschuss-Bewertungsengine 121 identifiziert wird, der Mittagessen-Termin sein, den Bob mit Carol hat, was für Bob von Interesse ist.In some implementations, the event may be an interesting activity for the user that takes place in the future. As an example, the event that is triggered by the snapshot rating engine 121 Being the lunch appointment that Bob has with Carol, which is of interest to Bob.

Für jeden jeweiligen Schnappschuss wird ein jeweiliger Satz von Entitäten, die durch den jeweiligen Schnappschuss angegeben werden, identifiziert (306). Die Schnappschuss-Bewertungsengine 121 kann zum Beispiel Entitäten 131 identifizieren, die in dem Schnappschuss 202 enthalten sind, der aus dem Inhalt 204a erhalten wurde. Die Entitäten, die für den Schnappschuss 202 identifiziert werden, können zum Beispiel Bob, Carol, J's Restaurant und Carols Handynummer beinhalten.For each snapshot, a respective set of entities indicated by the respective snapshot is identified ( 306 ). The snapshot rating engine 121 For example, entities can be entities 131 identify in the snapshot 202 contained in the content 204a was obtained. The entities responsible for the snapshot 202 can be identified include, for example, Bob, Carol, J's restaurant and Carol's mobile number.

Angaben des jeweiligen Satzes von Entitäten und ein jeweiliger Zeitstempel, der eine jeweilige Zeit angibt, zu der der jeweilige Schnappschuss aufgenommen wurde, werden in einen Speicher gespeichert (308). Der jeweilige Satz von Entitäten und der jeweilige Zeitstempel sind im Speicher verknüpft. Als Beispiel kann die Schnappschuss-Bewertungsengine 121 die wichtigsten identifizierten Entitäten zusammen mit einem Zeitstempel speichern, der mit einer Zeit verknüpft ist, zu der der jeweilige Schnappschuss aufgenommen wurde. Die Zeitstempel können zum Beispiel im Datenspeicher der Zeitstempel 132 für die spätere Verwendung bei der Erzeugung und Präsentation von Informationskarten 201 in Verbindung mit den Schnappschüssen 202 und zugehörigen Entitäten gespeichert werden. Information of the respective set of entities and a respective time stamp indicating a respective time at which the respective snapshot was taken are stored in a memory ( 308 ). The respective set of entities and the respective timestamp are linked in memory. As an example, the snapshot rating engine 121 Save the most important identified entities along with a timestamp associated with a time the snapshot was taken. For example, the timestamps can be timestamped in the datastore 132 for later use in the production and presentation of information cards 201 in conjunction with the snapshots 202 and related entities are stored.

Auf Basis eines ersten Schnappschusses aus der Vielzahl der Schnappschüsse wird eine erste Zeit für die Präsentation der einen oder der mehreren Informationskarten für den Benutzer bestimmt (310). Die Informationskarten-Engine 122 kann zum Beispiel eine Zeit für die Präsentation einer oder mehrerer Informationskarten für den Benutzer einschließlich Bestimmung einer Zielzeit bestimmen. Für den anstehenden Mittagessen-Termin von Bob mit Carol kann zum Beispiel die Informationskarten-Engine 122 eine Erinnerungszeit für Bob bestimmen, die eine Stunde vor dem geplanten Mittagessen-Termin um 12 Uhr liegt. In einigen Implementierungen können mehrere Zeiten für das Präsentieren von Informationskarten bestimmt werden, z. B. um eine Erinnerung einzubeziehen, die am Abend vor dem Tag gesendet wird, an dem Bob einen Mittagessen-Termin mit Carol hat. Für Nicht-Ereignis-Schnappschüsse, die verarbeitet wurden, zum Beispiel ein Schnappschuss 202, der in Verbindung mit der NYSE erhalten wurde, kann die Zielzeit relativ zum Zeitstempel sein, der mit dem Schnappschuss 202 verknüpft ist, um dem Benutzer die Informationskarte 220c zu einer späteren Zeit zu zeigen. In einigen Implementierungen können Zielzeiten näher zu einer Startzeit eines Ereignisses berechnet oder sie können auf Basis eines aktuellen Standorts des Benutzer, der die Informationskarte empfängt, neu berechnet werden (z. B. Bob benötigt auf Basis des aktuellen Standorts von Bob möglicherweise 90 Minuten, um zum Mittagessen-Termin zu fahren).Based on a first snapshot of the plurality of snapshots, a first time is determined for the presentation of the one or more information cards for the user ( 310 ). The information card engine 122 For example, it may determine a time for the presentation of one or more information cards to the user, including the determination of a target time. For example, for Bob's upcoming lunch appointment with Carol, the information card engine can be used 122 Set a reminder time for Bob, which is one hour before the scheduled lunch appointment at 12 o'clock. In some implementations, multiple times may be determined for presenting information cards, e.g. For example, to include a reminder that is sent the evening before the day Bob has a lunch appointment with Carol. For non-event snapshots that have been processed, such as a snapshot 202 which was obtained in conjunction with the NYSE may be the target time relative to the time stamp with the snapshot 202 is linked to the user the information card 220c to show at a later time. In some implementations, target times may be calculated closer to a start time of an event, or they may be recalculated based on a current location of the user receiving the information card (eg, Bob may need 90 minutes, based on Bob's actual location to drive to the lunch appointment).

In einigen Implementierungen kann die Zielzeit eine Zeit in der Vergangenheit sein und die Informationskarte kann eine Erinnerung für ein Ereignis oder eine Entität bereitstellen, die dem Benutzer in der Vergangenheit angezeigt wurde. Die Informationskarte 220c kann zum Beispiel nicht auf einem Ereignis, sondern auf einer Präsentation des Inhalts in Verbindung mit der NYSE aus der Vergangenheit basieren.In some implementations, the target time may be a time in the past and the information card may provide a reminder for an event or entity that has been displayed to the user in the past. The information card 220c For example, it may not be based on an event, but on a presentation of the content in conjunction with the NYSE from the past.

In einigen Implementierungen kann die Bestimmung der Zeit für die Präsentation von einer oder mehreren Informationskarten die Bestimmung einer oder mehrerer vorbestimmter Zeiten in der Vergangenheit und für jede Zeit die Bestimmung von einer oder mehreren Informationskarten für die Präsentation für den Benutzer beinhalten. Die Informationskarten-Engine 122 kann zum Beispiel mehrere Zeiten für die Präsentation der Informationskarte 220c bestimmen, und die Zeiten können darauf basieren, wann dem Benutzer der mit der NYSE verknüpfte Inhalt, auf dem die Informationskarte 220c basiert, erstmals präsentiert wurde.In some implementations, determining the time for presentation of one or more information cards may include determining one or more predetermined times in the past, and for each time determining one or more information cards for presentation to the user. The information card engine 122 For example, there may be several times for the presentation of the information card 220c determine and times can be based on when the user of the content associated with the NYSE on which the information card 220c was first presented.

In einigen Implementierungen können sich die vorher bestimmten Zeiten je nach aktuellem Kontext des Benutzers unterscheiden. Auf Basis der aktuellen Aktionen des Benutzers 206, der z. B. mitten in einer App ist oder beiläufig im Internet surft, kann die Informationskarten-Engine 122 zum Beispiel die Erzeugung der Datenkarte verzögern oder beschleunigen (z. B. auf Basis des aktuellen Orts des Benutzers). In einigen Implementierungen können Informationskarten angezeigt werden, wenn sie vom Benutzer angefordert werden, z. B. beim Öffnen einer Anwendung oder eines Tools, die/das Informationskarten anzeigt und/oder verwaltet, und/oder durch Anfordern, dass alle oder bestimmte Informationskarten präsentiert werden. Es können andere Signale für das Anzeigen von Informationskarten verwendet werden.In some implementations, the predetermined times may differ depending on the current context of the user. Based on the user's current actions 206 , the z. B. in the middle of an app or casually surfing the Internet, the information card engine 122 for example, delaying or speeding up the generation of the data card (eg, based on the current location of the user). In some implementations, information cards may be displayed when requested by the user, e.g. When opening an application or tool that displays and / or manages information cards, and / or by requesting that all or certain information cards be presented. Other signals can be used to display information cards.

Zur ersten Zeit werden Entitäten mit einem Zeitstempel, der der ersten Zeit entspricht, im Speicher gesucht (312). Die Informationskarten-Engine 122 kann zum Beispiel Entitäten für die Verwendung bei der Erzeugung von Informationskarten aus den gespeicherten Entitäten 131 auf Basis eines Vergleichs der Zielzeit mit Zeitstempeln identifizieren, die mit einer jeweiligen Entität der gespeicherten Entitäten verknüpft sind. Für den Mittagessen-Termin, der für Carol und Bob geplant ist, kann die Informationskarten-Engine 122 zum Beispiel Informationen identifizieren, die in einer Informationskarte verwendet werden sollen, die mit dem anstehenden Mittagessen-Termin verknüpft ist. Die Telefonnummer von Carol kann zum Beispiel eine Entität sein, die für die Erzeugung der Informationskarte, die eine Erinnerung für Bob beinhaltet, identifiziert wird. Die Informationskarte kann zu einer Zielzeit eine Stunde vor dem Mittagessen-Termin gesendet werden und kann die Handynummer von Carol beinhalten.For the first time, entities with a timestamp corresponding to the first time are searched in memory ( 312 ). The information card engine 122 For example, entities may be entities for use in generating information cards from the stored entities 131 identify based on a comparison of the target time with timestamps associated with a respective entity of the stored entities. For the lunch appointment, which is planned for Carol and Bob, the information card engine 122 for example, to identify information to be used in an information card associated with the upcoming lunch appointment. For example, the phone number of Carol may be an entity that is identified for generating the information card that includes a reminder for Bob. The information card may be sent at a target time one hour before the lunch appointment and may include Carol's mobile number.

In einigen Implementierungen kann das Identifizieren von Entitäten ferner das Erkennen von Text im Schnappschuss und das Analysieren des Texts zur Identifizierung von Entitäten beinhalten. Die Schnappschuss-Bewertungsengine 121 kann zum Beispiel erkennen, dass der Schnappschuss 202 Text enthält. Die Schnappschuss-Bewertungsengine 121 kann den Text auf verschiedene Weise extrahieren, zum Beispiel mit optischer Zeichenerkennung (OCR) oder anderen Zeichenerkennungstechniken, durch Extrahieren von Text aus Hyper-Text Markup Language (HTML) oder anderem Code, der für die Erzeugung des Inhalts (z. B. Inhalt 204a oder 204b) verwendet wurde, oder durch andere Techniken. In einigen Implementierungen kann die Erkennung von Text in einem Schnappschuss die Verwendung natürlicher Sprachverarbeitungstechniken beinhalten, die z. B. eine Grammatik verwenden, die mit Wörtern oder Sätzen im Text verknüpft ist, oder Quellen von Schnappschüssen (z. B. auf Basis von E-Mail-Formaten, Kalendereintragsformaten oder anderen Formaten). In anderen Implementierungen können andere visuelle Erkennungstechniken auf die Schnappschüsse angewandt werden, z. B. Objekterkennung, Wahrzeichenerkennung und/oder andere Wege, um Entitäten aus Bildern zu erkennen.In some implementations, identifying entities may further include detecting text in the snapshot and analyzing the text to identify entities. The snapshot rating engine 121 For example, you can see that the snapshot 202 Contains text. The snapshot rating engine 121 can extract the text in a variety of ways, such as optical character recognition (OCR) or other character recognition techniques, by extracting text from Hyper-Text Markup Language (HTML) or other code used to generate the content (e.g., content 204a or 204b ) or by other techniques. In some implementations, the recognition of text in a snapshot may involve the use of natural language processing techniques, e.g. For example, use a grammar that is linked to words or phrases in the text, or snapshot sources (for example, based on email formats, calendar entry formats, or other formats). In other implementations, other visual recognition techniques may be applied to the snapshots, e.g. As object recognition, landmark recognition and / or other ways to recognize entities from images.

Eine Informationskarte wird auf Basis der einen oder mehreren der gefundenen Entitäten erzeugt (314). Die Informationskarten-Engine 122 kann zum Beispiel die Informationskarte 201 einschließlich der einen oder mehreren identifizierten Entitäten 131 erzeugen (z. B. eine Informationskarte, die die Handynummer von Carol beinhaltet).An information card is generated based on the one or more found entities ( 314 ). The information card engine 122 can, for example, the information card 201 including one or more identified entities 131 (for example, an information card containing Carol's mobile number).

Die erzeugte Informationskarte wird für die Präsentation für den Benutzer bereitgestellt (316). Sobald die Informationskarte 201 erzeugt ist, kann die Informationskarte 201 zum Beispiel mehrmals präsentiert werden, zum Beispiel auf dem Bildschirm 208c des Benutzergeräts 106a.The generated information card is provided for presentation to the user ( 316 ). Once the information card 201 is generated, the information card can 201 For example, be presented several times, for example, on the screen 208c of the user device 106a ,

In einigen Implementierungen kann das Speichern der identifizierten Entitäten das Speichern von Kontextinformationen beinhalten, die mit einer identifizierten Entität verknüpft sind, und das Präsentieren der Informationskarte kann ferner das Präsentieren von Kontextinformationen zusammen mit den Informationen über die identifizierte Entität auf der Informationskarte beinhalten. Wenn zum Beispiel der Schnappschuss 202 von der Schnappschuss-Bewertungsengine 121 bewertet wird, können auch Informationen als Kontextinformationen bestimmt und gespeichert werden, dass ein Kontext mit einem jeweiligen Schnappschuss verknüpft ist, der die Entitäten beinhaltet (z. B. die E-Mail-Nachricht und den anstehenden Mittagessen-Termin identifiziert). Zu der Zeit, zu der die Informationskarte 201 für die Präsentation bereitgestellt wird, kann die Informationskarte 201 zum Beispiel den Kontext 224a beinhalten (z. B. die E-Mail für den Mittagessen-Termin oder zugehörige Informationen identifizieren). Andere Beispielkontexte sind in Kontexten 224b und 224c dargestellt.In some implementations, storing the identified entities may include storing context information associated with an identified entity, and presenting the information card may further include presenting context information along with the information about the identified entity on the information card. If, for example, the snapshot 202 from the snapshot rating engine 121 Also, information may be determined as contextual information and stored so that a context is associated with a respective snapshot that includes the entities (eg, the e-mail message and the upcoming lunch appointment identified). At the time, to the information card 201 provided for the presentation, the information card can 201 for example, the context 224a include (eg, identify the email for the lunch appointment or related information). Other example contexts are in contexts 224b and 224c shown.

4 ist ein Blockdiagramm von Beispielcomputergeräten 400, 450, die zur Implementierung der hierin beschriebenen Systeme und Verfahren benutzt werden können, entweder als Client oder als Server oder als eine Vielzahl von Server. Das Computergerät 400 soll verschiedene digitale Computer, wie Laptops, Desktops, Workstations, Personal Digital Assistants, Server, Blade Server, Mainframes und andere geeignete Computer repräsentieren. Das Computergerät 400 soll ferner alle anderen normalerweise nicht mobilen Geräte repräsentieren, zum Beispiel Fernsehgeräte oder andere elektronischen Geräte, auf denen einer oder mehrere Prozessoren eingebettet oder damit verbunden sind. Das Computergerät 450 soll verschiedene Formen mobiler Geräte repräsentieren, wie Personal Digital Assistants, Mobiltelefone, Smartphones und andere Computergeräte. Die hier gezeigten Komponenten, ihre Verbindungen und Beziehungen und ihre Funktionen sollen nur Beispiele sein und sollen Implementierungen der in diesem Dokument beschriebenen und/oder beanspruchten Technologien nicht einschränken. 4 is a block diagram of example computer devices 400 . 450 , which may be used to implement the systems and methods described herein, either as a client or as a server or as a plurality of servers. The computer device 400 is intended to represent various digital computers such as laptops, desktops, workstations, personal digital assistants, servers, blade servers, mainframes and other suitable computers. The computer device 400 is also intended to represent all other normally non-mobile devices, such as televisions or other electronic devices, on which one or more processors are embedded or connected. The computer device 450 is intended to represent various forms of mobile devices, such as personal digital assistants, mobile phones, smart phones and other computing devices. The components shown here, their connections and relationships, and their functions are intended to be examples only and are not intended to limit implementations of the technologies described and / or claimed in this document.

Computergerät 400 beinhaltet einen Prozessor 402, einen Speicher 404, ein Speichergerät 406, einen High-Speed-Controller 408, der sich mit Speicher 404 und High-Speed-Erweiterungsanschlüssen 410 verbindet, und einen Low-Speed-Controller 412, der sich mit dem 414 und Speichergerät 406 verbindet. Jede der Komponenten 402, 404, 406, 408, 410 und 412 sind miteinander über verschiedene Busse verbunden und können auf einer gemeinsamen Hauptplatine oder auf eine andere angemessene Weise installiert werden. Der Prozessor 402 kann Anweisungen zur Ausführung innerhalb des Computergeräts 400 verarbeiten, die Anweisungen beinhalten, die in dem Speicher 404 oder auf dem Speichergerät 406 gespeichert sind, um grafische Informationen für eine GUI auf einem externen Eingabe-/Ausgabegerät wie der Anzeige 416, die mit High-Speed-Controller 408 verbunden ist, anzuzeigen. In anderen Implementierungen können mehrere Prozessoren und/oder mehrere Busse je nach Bedarf zusammen mit mehreren Speichern und Speichertypen verwendet werden. Ebenso können mehrere Computer 400 angeschlossen werden, wobei jedes Gerät Teile der notwendigen Operationen bereitstellt (z. B. ein Server, eine Gruppe von Blade-Servern oder ein Multiprozessorsystem).computing device 400 includes a processor 402 , a store 404 , a storage device 406 , a high-speed controller 408 who deals with memory 404 and high-speed expansion ports 410 connects, and a low-speed controller 412 who deals with the 414 and storage device 406 combines. Each of the components 402 . 404 . 406 . 408 . 410 and 412 are interconnected via different buses and can be installed on a common motherboard or in some other appropriate way. The processor 402 may instructions for execution within the computing device 400 process, which contain instructions in the memory 404 or on the storage device 406 are stored to provide graphical information for a GUI on an external input / output device such as the display 416 that with high-speed controller 408 connected to display. In other implementations, multiple processors and / or multiple buses may be used as needed along with multiple memories and storage types. Likewise, several computers can 400 Each device provides parts of the necessary operations (such as a server, a group of blade servers, or a multiprocessor system).

Der Speicher 404 speichert Informationen innerhalb des Computergeräts 400. In einer Implementierung ist der Speicher 404 ein computerlesbares Medium. In einer Implementierung stellt der Speicher 404 eine oder mehrere flüchtige Speichereinheiten dar. In einer anderen Implementierung stellt der Speicher 404 eine oder mehrere nichtflüchtige Speichereinheiten dar.The memory 404 stores information within the computing device 400 , In one implementation, the memory is 404 a computer readable medium. In one implementation, the memory represents 404 one or more volatile storage devices. In another implementation, the storage device 404 one or more non-volatile storage units.

Das Speichergerät 406 ist in der Lage, Massenspeicher für das Computergerät 400 bereitzustellen. In einer Implementierung ist das Speichergerät 406 ein computerlesbares Medium. In verschiedenen unterschiedlichen Implementierungen kann das Speichergerät 406 ein Diskettenlaufwerk, ein Festplattenlaufwerk, ein optisches Datenträgergerät, ein Magnetbandlaufwerk, ein Flash-Speicher oder anderes ähnliches Solid-State-Speichergerät oder eine Reihe anderer Geräte, einschließlich Geräte in einem Speichernetzwerk oder anderen Konfigurationen sein. In einer Implementierung ist ein Computerprogrammprodukt physisch in einem Informationsträger ausgeführt. Das Computerprogrammprodukt enthält Anweisungen, die bei Ausführung ein oder mehrere Verfahren wie die oben beschriebenen durchführen. Der Informationsträger ist ein computer- oder maschinenlesbarer Datenträger wie der Speicher 404, das Speichergerät 406 oder der Speicher des Prozessors 402.The storage device 406 is capable of mass storage for the computing device 400 provide. In one implementation, the storage device is 406 a computer readable medium. In different Different implementations may be the storage device 406 a floppy disk drive, hard disk drive, optical disk device, magnetic tape drive, flash memory or other similar solid state storage device, or a variety of other devices, including devices in a storage network or other configurations. In one implementation, a computer program product is physically implemented in an information carrier. The computer program product contains instructions that, when executed, perform one or more methods, such as those described above. The information carrier is a computer- or machine-readable data carrier such as the memory 404 , the storage device 406 or the memory of the processor 402 ,

Der High-Speed-Controller 408 verwaltet bandbreitenintensive Operationen für das Computergerät 400, während der Low-Speed-Controller 412 weniger bandbreitenintensive Operationen verwaltet. Eine solche Zuordnung von Aufgaben ist nur ein Beispiel. In einer Implementierung ist der High-Speed-Controller 408 an den Speicher 404, den Bildschirm 416 (z. B. durch einen Grafikprozessor oder -Beschleuniger) und die High-Speed-Expansionsports 410 gekoppelt, die gegebenenfalls verschiedene Erweiterungskarten (nicht dargestellt) akzeptieren. In der Implementierung ist Low-Speed-Controller 412 mit Speichergerät 406 und Low-Speed-Bus 414 gekoppelt. Der Low-Speed-Bus 414 (z. B. eine Low-Speed-Erweiterungskarte) kann verschiedene Kommunikationsanschlüsse (z. B. USB, Bluetooth^®, Ethernet, Funkethernet) beinhalten, er kann an ein oder mehrere Eingabe-/Ausgabegeräte, wie eine Tastatur, ein Zeigegerät, einen Scanner oder ein Netzwerkgerät, wie einen Switch oder Router, z. B. durch einen Netzwerkadapter gekoppelt sein.The high-speed controller 408 Manages bandwidth-intensive operations for the computing device 400 while the low-speed controller 412 managed less bandwidth-intensive operations. Such assignment of tasks is just one example. In one implementation is the high-speed controller 408 to the store 404 , the screen 416 (eg through a graphics processor or accelerator) and the high-speed expansion ports 410 optionally accepting different expansion cards (not shown). In the implementation is low-speed controller 412 with storage device 406 and low-speed bus 414 coupled. The low-speed bus 414 (eg. as a low-speed expansion card) may include various communication ports (eg. as USB, Bluetooth ^®, Ethernet, wireless Ethernet), he can on one or more input / output devices such as a keyboard, a pointing device, a Scanner or a network device, such as a switch or router, e.g. B. be coupled by a network adapter.

Das Computergerät 400 kann, wie aus der Abbildung hervorgeht, auf verschiedene Weise implementiert werden. Beispielsweise kann es als Standardserver 420 oder mehrfach in einer Gruppe von Servern implementiert werden. Es kann ebenfalls als Bestandteil eines Rack-Serversystems 424 implementiert werden. Darüber hinaus kann es in einem PC wie einem Laptopcomputer 422 implementiert werden. Alternativ können Komponenten von Computergerät 400 mit anderen Komponenten in einem mobilen Gerät kombiniert sein (nicht dargestellt), z. B. Gerät 450. Jedes dieser Geräte kann eines oder mehrere Computergeräte 400, 450 enthalten, und ein gesamtes System kann aus mehreren Computergeräten 400, 450, die miteinander kommunizieren, zusammengesetzt sein.The computer device 400 can be implemented in various ways, as shown in the figure. For example, it can be called a standard server 420 or implemented multiple times in a group of servers. It can also be part of a rack server system 424 be implemented. In addition, it can work in a PC like a laptop computer 422 be implemented. Alternatively, components of computer device 400 combined with other components in a mobile device (not shown), e.g. B. device 450 , Each of these devices can be one or more computer devices 400 . 450 included, and an entire system can be made up of multiple computing devices 400 . 450 Being composed communicate with each other.

Das Computergerät 450 beinhaltet unter anderen Komponenten einen Prozessor 452, einen Speicher 464, ein Ein-/Ausgabegerät wie einen Bildschirm 454, eine Kommunikationsschnittstelle 466 und einen Empfänger 468. Das Computergerät 450 kann ebenfalls mit einem Speichergerät z. B. einem Mikrolaufwerk oder einem anderen Gerät ausgestattet werden, um zusätzlichen Speicher bereitzustellen. Alle Komponenten 450, 452, 464, 454, 466 und 468 sind miteinander über verschiedene Busse verbunden, und verschiedene Komponenten können auf einer gemeinsamen Hauptplatine oder auf eine andere angemessene Weise installiert werden.The computer device 450 includes a processor among other components 452 , a store 464 , an input / output device like a screen 454 , a communication interface 466 and a receiver 468 , The computer device 450 can also be used with a storage device z. B. a micro-drive or other device to provide additional memory. All components 450 . 452 . 464 . 454 . 466 and 468 are connected to each other via different buses, and various components can be installed on a common motherboard or in some other appropriate way.

Der Prozessor 452 kann Anweisungen im Computergerät 450 für die Ausführung verarbeiten, darunter im Speicher 464 gespeicherte Anweisungen. Der Prozessor kann außerdem separate analoge oder digitale Prozessoren beinhalten. Der Prozessor kann beispielsweise zur Koordinierung der anderen Komponenten des Computergeräts 450, wie etwa Steuerung von Benutzerschnittstellen, Anwendungen, die vom Computergerät 450 ausgeführt werden, und drahtlose Kommunikation durch Computergerät 450 bereitstellen.The processor 452 can be instructions in the computer device 450 to process for execution, including in memory 464 stored instructions. The processor may also include separate analog or digital processors. For example, the processor may coordinate the other components of the computing device 450 such as control of user interfaces, applications that are accessible from the computing device 450 and wireless communication through computer equipment 450 provide.

Der Prozessor 452 kann mit einem Benutzer über die Kontrollschnittstelle 458 und die Displayschnittstelle 456 gekoppelt an ein Display 454 kommunizieren. Die Anzeige 454 kann zum Beispiel eine TFT-LCD-Anzeige oder eine OLED-Anzeige oder sonstige geeignete Anzeigetechnologie sein. Die Displayschnittstelle 456 kann aus geeigneten Schaltungen für das Betreiben des Displays 454 bestehen, um einem Benutzer grafische und andere Informationen bereitzustellen. Die Steuerschnittstelle 458 kann Befehle von einem Benutzer erhalten und diese für die Übermittlung an den Prozessor 452 konvertieren. Zusätzlich kann eine externe Schnittstelle 462 in Verbindung mit Prozessor 452 vorgesehen sein, um Nahbereichskommunikation von Computergerät 450 mit anderen Geräten zu ermöglichen. Externe Schnittstellen 462 können zum Beispiel drahtgebundene Kommunikation (z. B. über ein Docking-Verfahren) oder drahtlose Kommunikation (z. B. über Bluetooth^® oder andere solche Technologien) bereitstellen.The processor 452 can with a user through the control interface 458 and the display interface 456 coupled to a display 454 communicate. The ad 454 For example, it may be a TFT LCD display or an OLED display or other suitable display technology. The display interface 456 may consist of appropriate circuits for operating the display 454 exist to provide graphical and other information to a user. The control interface 458 can receive commands from a user and submit them for transmission to the processor 452 convert. In addition, an external interface 462 in conjunction with processor 452 be provided to close range communication of computing device 450 to allow with other devices. External interfaces 462 For example, wired communication (eg., via a docking procedure) or wireless communication may provide (for. example, via Bluetooth ^® or other such technologies).

Der Speicher 464 speichert Informationen innerhalb des Computergeräts 450. In einer Implementierung ist der Speicher 464 ein computerlesbares Medium. In einer Implementierung stellt der Speicher 464 eine oder mehrere flüchtige Speichereinheiten dar. In anderen Implementierungen stellt der Speicher 464 eine oder mehrere nichtflüchtige Speichereinheiten dar. Erweiterungsspeicher 474 kann ebenfalls bereitgestellt und mit dem Computergerät 450 über Erweiterungsschnittstelle 472 verbunden werden, die zum Beispiel eine Subscriber Identification Module(SIM)-Kartenschnittstelle beinhalten kann. Ein solcher Erweiterungsspeicher 474 kann zusätzlichen Speicherplatz für Computergerät 450 bereitstellen oder kann auch Anwendungen oder andere Informationen für Computergerät 450 speichern. Insbesondere kann die Speichererweiterung 474 Anweisungen beinhalten, die zur Ausführung oder Ergänzung der vorstehend beschriebenen Prozesse erforderlich sind; zudem kann sie vertrauliche Informationen beinhalten. Demnach kann Erweiterungsspeicher 474 beispielsweise als ein Sicherheitsmodul für Computergerät 450 vorgesehen sein und mit Anweisungen programmiert sein, die eine sichere Benutzung von Computergerät 450 ermöglichen. Zusätzlich dazu können über die SIM-Karten sichere Anwendungen bereitgestellt werden, zusammen mit zusätzlichen Informationen, wie dem Ablegen von Identifizierungsinformationen auf der SIM-Karte auf eine Weise, die nicht gehackt werden kann.The memory 464 stores information within the computing device 450 , In one implementation, the memory is 464 a computer readable medium. In one implementation, the memory represents 464 one or more volatile storage devices. In other implementations, the storage device 464 One or more non-volatile storage devices. Expansion memory 474 can also be provided and with the computer device 450 via extension interface 472 which may, for example, include a Subscriber Identification Module (SIM) card interface. Such an expansion memory 474 Can take extra storage space for computing device 450 can also provide applications or other information for computing device 450 to save. In particular, the memory extension 474 Include instructions for execution or Addition of the processes described above are required; It can also contain confidential information. Accordingly, expansion memory 474 for example as a security module for computing device 450 be provided and programmed with instructions for safe use of computer equipment 450 enable. In addition, secure applications can be provided through the SIM cards, along with additional information such as storing identification information on the SIM card in a manner that can not be hacked.

Der Speicher kann beispielsweise Flash-Speicher und/oder MRAM-Speicher beinhalten, wie nachstehend diskutiert. In einer Implementierung ist ein Computerprogrammprodukt physisch in einem Informationsträger ausgeführt. Das Computerprogrammprodukt enthält Anweisungen, die bei Ausführung ein oder mehrere Verfahren wie die oben beschriebenen durchführen. Der Informationsträger ist ein computer- oder maschinenlesbares Medium wie der Speicher 464, der Erweiterungsspeicher 474 oder Speicher des Prozessors 452.The memory may include, for example, flash memory and / or MRAM memory, as discussed below. In one implementation, a computer program product is physically implemented in an information carrier. The computer program product contains instructions that, when executed, perform one or more methods, such as those described above. The information carrier is a computer- or machine-readable medium such as the memory 464 , the expansion memory 474 or memory of the processor 452 ,

Computergerät 450 kann über Kommunikationsschnittstelle 466, die bei Bedarf eine digitale Signalverarbeitungsschaltung beinhalten kann, drahtlos kommunizieren. Die Kommunikationsschnittstelle 466 kann Verbindungen mit verschiedenen Kommunikationstypen oder -protokollen aufbauen, darunter GSM-Sprachanrufe, SMS, EMS, oder MMS-Messaging, CDMA, TDMA, PDC, WCDMA, CDMA2000 oder GPRS unter anderen. Solche Kommunikation kann beispielsweise durch Sender-Empfänger 468 (z. B. einen Funkfrequenz-Sender-Empfänger) stattfinden. Zusätzlich kann eine Kurzstreckenkommunikation stattfinden, wie unter Verwendung eines Bluetooth^®-, WLAN- oder anderen solchen Sender-Empfängers (nicht dargestellt). Zusätzlich kann GPS-Empfängermodul 470 Computergerät 450 zusätzliche drahtlose Daten bereitstellen, die ggf. durch Anwendungen, die auf Computergerät 450 laufen, verwendet werden können.computing device 450 can via communication interface 466 which may include, if necessary, a digital signal processing circuit, communicate wirelessly. The communication interface 466 can establish connections to various types of communication or protocols, including GSM voice calls, SMS, EMS, or MMS messaging, CDMA, TDMA, PDC, WCDMA, CDMA2000, or GPRS among others. Such communication may be, for example, by transceivers 468 (eg a radio frequency transceiver). In addition, a short-range communication may occur, such as using a Bluetooth ^® -, WLAN, or other such transceiver (not shown). In addition, GPS receiver module 470 computing device 450 provide additional wireless data, if necessary, through applications running on computing device 450 run, can be used.

Computergerät 450 kann ebenfalls unter Verwendung des Audio-Codec 460, der gesprochene Informationen von einem Benutzer empfangen und diese in nutzbare digitale Informationen konvertieren kann, hörbar kommunizieren. Audio-Codec 460 kann ebenso akustische Töne für einen Benutzer erzeugen, zum Beispiel durch einen Lautsprecher zum Beispiel in einem Handgerät von Gerät 450. Dieser Ton kann Ton von Sprachtelefonanrufen umfassen, kann aufgezeichneten Ton (z. B. Sprachnachrichten, Musikdateien usw.) umfassen und kann außerdem Ton enthalten, der durch Anwendungen erzeugt wird, die auf Computergerät 450 betrieben werden.computing device 450 can also be done using the audio codec 460 who audibly communicate spoken information from a user and convert it into usable digital information. Audio codec 460 may also generate audible tones to a user, for example through a speaker, for example in a handset of the device 450 , This sound may include sound from voice telephone calls, may include recorded sound (eg, voice messages, music files, etc.), and may also include sound generated by applications that rely on computer equipment 450 operate.

Das Computergerät 450 kann, wie aus der Abbildung hervorgeht, auf verschiedene Weise implementiert werden. Er kann zum Beispiel als Mobiltelefon 480 implementiert sein. Er kann ebenfalls als Bestandteil eines Smartphones 482, eines Personal Digital Assistant oder eines anderen mobilen Geräts implementiert sein.The computer device 450 can be implemented in various ways, as shown in the figure. He can, for example, as a mobile phone 480 be implemented. He can also be part of a smartphone 482 , a Personal Digital Assistant or any other mobile device.

Verschiedene Implementierungen der hier beschriebenen Systeme und Techniken können in digitalen elektronischen Schaltungen, integrierten Schaltungen, in speziell konstruierten ASICs (anwendungsspezifische integrierte Schaltungen), in Computer-Hardware, Firmware, Software und/oder Kombinationen davon realisiert werden. Diese verschiedenen Implementierungen können eine Implementierung in einem oder mehreren Computerprogrammen beinhalten, die auf einem programmierbaren System ausführbar und/oder interpretierbar sind, das mindestens einen programmierbaren Prozessor beinhaltet, der ein spezieller Prozessor oder ein Prozessor für allgemeine Zwecke sein kann, und der zum Empfangen von Daten und Anweisungen von und zum Übertragen von Daten und Anweisungen an ein Speichersystem, mindestens eine Eingabevorrichtung und mindestens eine Ausgabevorrichtung gekoppelt ist.Various implementations of the systems and techniques described herein may be implemented in digital electronic circuits, integrated circuits, in specially designed ASICs (application specific integrated circuits), in computer hardware, firmware, software, and / or combinations thereof. These various implementations may include implementation in one or more computer programs executable and / or interpretable on a programmable system including at least one programmable processor, which may be a special purpose processor or processor, and for receiving Data and instructions of and for transmitting data and instructions to a storage system, at least one input device and at least one output device is coupled.

Diese Computerprogramme (auch bekannt als Programme, Software, Anwendungen oder Code) enthalten Maschinenanweisungen für einen programmierbaren Prozessor und können in eine hochrangige verfahrens- und/oder objektorientierte Programmiersprache und/oder in eine Assemblier-/Maschinensprache umgesetzt werden. Andere Programmierparadigmen können verwendet werden, z. B. funktionelle Programmierung, logische Programmierung und andere Programmierung. Die hier verwendeten Begriffe „maschinenlesbares Medium”, „computerlesbares Medium” bezeichnen ein beliebiges Computerprogrammprodukt, eine beliebige Vorrichtung und/oder ein beliebiges Gerät (z. B. Magnetplatten, optische Platten, Speicher, programmierbare Logikbausteine (PLDs)), die verwendet werden, um einem programmierbaren Prozessor Maschinenanweisungen und/oder Daten bereitzustellen, einschließlich eines maschinenlesbaren Mediums, das Maschinenanweisungen als maschinenlesbares Signal empfängt. Der Begriff „maschinenlesbares Signal” bezeichnet ein beliebiges Signal, das verwendet wird, um für einen programmierbaren Prozessor Maschinenanweisungen und/oder Daten bereitzustellen.These computer programs (also known as programs, software, applications, or code) contain machine instructions for a programmable processor and may be translated into a high-level procedural and / or object-oriented programming language and / or assembly / machine language. Other programming paradigms may be used, e.g. Functional programming, logic programming and other programming. As used herein, the terms "machine-readable medium", "computer-readable medium" refer to any computer program product, device, and / or device (eg, magnetic disks, optical disks, memory, programmable logic devices (PLDs)) that are used. to provide machine instructions and / or data to a programmable processor, including a machine-readable medium that receives machine instructions as a machine-readable signal. The term "machine-readable signal" refers to any signal used to provide machine instructions and / or data to a programmable processor.

Zur Interaktion mit einem Benutzer können die hier beschriebenen Techniken und Systeme auf einem Computer mit einem Bildschirm (z. B. einem CRT-(Cathode Ray Tube) oder LCD-(Liquid Crystal Display)Monitor) für die Anzeige von Informationen für den Benutzer und mit einer Tastatur und einem Zeigegerät (z. B. einer Maus oder einem Trackball), durch die der Benutzer Eingaben an den Computer weiterleiten kann, implementiert werden. Andere Arten von Geräten können auch verwendet werden, um eine Interaktion mit einem Benutzer bereitzustellen; zum Beispiel kann eine dem Benutzer bereitgestellte Rückmeldung eine Form von sensorischer Rückmeldung sein (z. B. visuelle Rückmeldung, auditive Rückmeldung oder Tastrückmeldung); und eine Eingabe vom Benutzer kann in einer beliebigen Form empfangen werden, einschließlich akustischer, Sprach- oder Tasteingaben.For interaction with a user, the techniques and systems described herein may be used on a computer with a display (eg, a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display) monitor) for displaying information to the user and with a keyboard and a pointing device (eg, a mouse or a trackball) through which the user can forward input to the computer. Other types of devices may also be used to provide interaction with a user; for example, a feedback provided to the user may be some form of sensory feedback (eg, visual feedback, auditory feedback, or tactile feedback); and an input from the user may be received in any form, including acoustic, voice or touch inputs.

Die hier beschriebenen Systeme und Techniken können in einem Computersystem implementiert werden, das eine Backend-Komponente beinhaltet (z. B. als Datenserver) oder das eine Middleware-Komponente (z. B. einen Anwendungsserver) beinhaltet oder das eine Frontend-Komponente (z. B. einen Client-Computer, der eine grafische Benutzerschnittstelle oder einen Webbrowser aufweist, durch die ein Benutzer mit einer Implementierung der hier beschriebenen Systeme und Techniken interagieren kann) oder eine beliebige Kombination solcher Backend, Middleware- oder Frontend-Komponenten beinhaltet. Die Komponenten des Systems können durch eine beliebige Form oder ein beliebiges Medium von digitaler Datenkommunikation (z. B. ein Kommunikationsnetzwerk) miteinander verbunden sein. Beispiele von Kommunikationsnetzwerken beinhalten ein lokales Netzwerk („LAN”), ein Fernnetz („WAN”) und das Internet.The systems and techniques described herein may be implemented in a computer system that includes a backend component (eg, as a data server) or that includes a middleware component (eg, an application server) or that has a front end component (e.g. B. a client computer having a graphical user interface or web browser through which a user may interact with an implementation of the systems and techniques described herein) or any combination of such backend, middleware or frontend components. The components of the system may be interconnected by any form or medium of digital data communication (e.g., a communications network). Examples of communication networks include a local area network ("LAN"), a wide area network ("WAN"), and the Internet.

Das Rechensystem kann Client und Server beinhalten. Ein Client und Server befinden sich im Allgemeinen ortsfern voneinander und interagieren typischerweise über ein Kommunikationsnetz. Die Beziehung zwischen Client und Server entsteht aufgrund von Computerprogrammen, die auf den jeweiligen Computer laufen und die eine Client-Server-Beziehung zueinander haben.The computing system may include client and server. A client and server are generally remote from each other and typically interact over a communications network. The relationship between client and server is due to computer programs that run on each computer and that have a client-server relationship.

Auch wenn diese Spezifikation viele spezifische Implementierungsdetails enthält, sollten diese nicht als Einschränkungen des Umfangs von Technologien oder der Ansprüche ausgelegt werden, sondern als Beschreibungen von Merkmalen, die für bestimmte Implementierungen bestimmter Technologien spezifisch sind. Bestimmte Eigenschaften, die in dieser Spezifikation im Kontext gesonderter Implementierungen beschrieben sind, können auch in Kombination in einer einzelnen Implementierung implementiert werden. Umgekehrt können verschiedene, im Kontext einer einzelnen Implementierung beschriebenen Merkmale auch in mehreren Implementierungen gesondert oder in einer geeigneten Unterkombination implementiert werden. Außerdem können ein oder mehrere Merkmale einer beanspruchten Kombination in einigen Fällen aus der Kombination herausgelöst werden, auch wenn die Merkmale vorstehend als in gewissen Kombinationen funktionierend beschrieben oder gar als eine Kombination beansprucht werden, und die beanspruchte Kombination kann an eine Unterkombination oder eine Variation einer Unterkombination verwiesen werden.While this specification contains many specific implementation details, these should not be construed as limitations on the scope of technologies or claims, but rather as descriptions of features specific to particular implementations of particular technologies. Certain features described in this specification in the context of separate implementations may also be implemented in combination in a single implementation. Conversely, various features described in the context of a single implementation may also be implemented in multiple implementations separately or in a suitable subcombination. In addition, one or more features of a claimed combination may in some instances be released from the combination, even if the features are described above as functioning in some combinations or even claimed as a combination, and the claimed combination may be attached to a subcombination or variation of a subcombination to get expelled.

Ebenso werden Tätigkeiten in den Zeichnungen zwar in einer bestimmten Reihenfolge dargestellt, doch sollte dies nicht als Anforderung verstanden werden, dass solche Tätigkeiten in der bestimmten dargestellten Reihenfolge oder in einer aufeinanderfolgenden Reihenfolge ausgeführt werden müssen oder dass alle dargestellten Tätigkeiten ausgeführt werden müssen, um erwünschte Ergebnisse zu erzielen. Unter bestimmten Umständen können Multitasking und eine Parallelbearbeitung vorteilhaft sein. Darüber hinaus sollte die Trennung verschiedener Systemkomponenten in den oben beschriebenen Implementierungen nicht als eine solche Trennung in allen Implementierungen erfordernd aufgefasst werden, und es versteht sich, dass die beschriebenen Programmkomponenten und Systeme grundsätzlich zusammen in ein einziges Softwareprodukt integriert oder zu mehreren Softwareprodukten gebündelt integriert werden können.Also, while activities in the drawings are presented in a particular order, this should not be construed as a requirement that such activities be performed in the particular order shown or in a sequential order, or that all activities shown must be performed to achieve desired results to achieve. Under certain circumstances, multitasking and parallel processing can be beneficial. Moreover, the separation of various system components in the implementations described above should not be construed as requiring such disconnection in all implementations, and it should be understood that the described program components and systems may generally be integrated together into a single software product or bundled into multiple software products ,

Somit wurden bestimmte Implementierungen des Gegenstands beschrieben. Diese und andere Ausführungsformen fallen in den Umfang der folgenden Ansprüche. In einigen Fällen können die in den Ansprüchen beschriebenen Handlungen in einer anderen Reihenfolge ausgeführt werden und dennoch erwünschte Ergebnisse erzielen. Zusätzlich erfordern die in den beigefügten Figuren dargestellten Prozesse nicht notwendigerweise die bestimmte dargestellte Reihenfolge oder aufeinander folgende Reihenfolge, um erwünschte Ergebnisse zu erzielen. Bei bestimmten Implementierungen können Multitasking und eine Parallelbearbeitung vorteilhaft sein.Thus, certain implementations of the subject have been described. These and other embodiments are within the scope of the following claims. In some cases, the acts described in the claims may be performed in a different order and still achieve desirable results. In addition, the processes illustrated in the attached figures do not necessarily require the particular order or sequence shown to achieve desirable results. In certain implementations, multitasking and parallel processing may be beneficial.

Claims

A method comprising: receiving, by a server device, a plurality of snapshots associated with the use of a computing device by a user, each snapshot of the plurality of snapshots based on content presented to the user on the computing device; Evaluating the plurality of snapshots, including for each respective snapshot: identifying a respective set of entities indicated by the respective snapshot; and storing in memory hints of the respective set of entities and a respective timestamp indicating a respective time at which the respective snapshot was taken, the respective set of entities and the respective timestamp being linked in memory; Determining, based on a first snapshot of the plurality of snapshots, a first time for presentation of the one or more information cards to the user; first finding entities in memory with a timestamp corresponding to the first time; Generating an information card based on the one or more found entities; and providing the generated information card for presentation to the user.

The method of claim 1, wherein: evaluating the received snapshots further comprises identifying one or more events based on the entities contained in a snapshot, determining a first time in the future to which the event is to occur, storing the event along with the first time, determining includes a second time before the event, and determining the time for the presentation includes determining that a current time is equal to the second time, and providing an information card includes providing an information card for the second time event.

The method of claim 2, wherein identifying entities contained in a snapshot further includes identifying a description of an event in the text in natural language.

The method of claim 2, wherein the event is an activity of interest to the user that takes place in the future.

The method of claim 1, wherein: the finish time is a time in the past, and the information card provides a reminder for an event or entity that has been displayed to the user in the past.

The method of claim 1, wherein the storing includes storing context information associated with the identified entity, and wherein the providing further includes providing context information along with information about the identified entity on the information card.

The method of claim 1, wherein identifying entities included in the snapshot further includes detecting text in the snapshot and analyzing the text to identify entities.

The method of claim 1, wherein determining a time to present one or more information cards includes determining one or more predetermined times in the past and for each time determining one or more information cards for presentation to the user.

The method of claim 8, wherein the predetermined times differ according to a current context of the user.

The method of claim 1, further comprising receiving the plurality of snapshots by the device.

The method of claim 10, wherein obtaining snapshots is on a regular basis or based on an environmental event.

The method of claim 11, wherein the environment event is triggered by the device, by an application, by a service communicating with the device, by the operating system associated with the device, or by a change of context, a change of scene or a change in the use of the device by the user.

The method of claim 12, wherein: the environment event is a change in the context of an application running on the device, and a time used to detect the change in context includes at least a substantially current time and / or time.

The method of claim 1, wherein the snapshots associated with the use include sound presented to or perceived by the user.

The method of claim 1, wherein the snapshots associated with the use include content that is not associated with a browser.

The method of claim 1, wherein receiving the snapshots associated with the use includes receiving a hash representing the content contained in a respective snapshot, and wherein the rating of the received snapshots comprises using the hash instead of the hash original content in the evaluation.

The method of claim 1, wherein providing the information card includes providing an operator control for an associated user action selected from a group comprising a call, a navigation, or an e-mail.

A computer program embodied in a non-transitory, computer-readable medium containing instructions that, when executed, cause the one or more processors to: receive, by a server device, a plurality of snapshots associated with the use of a computing device by a user each snapshot of the plurality of snapshots is based on content presented to the user on the computing device; Evaluating the plurality of snapshots, including for each respective snapshot: identifying a respective set of entities indicated by the respective snapshot; and storing in memory hints of the respective set of entities and a respective timestamp indicating a respective time at which the respective snapshot was taken, the respective set of entities and the respective timestamp being linked in memory; Determining, based on a first snapshot of the plurality of snapshots, a first time for presentation of the one or more information cards to the user; At first, look for entities in memory with a timestamp corresponding to the first time; Generating an information card based on the one or more found entities; and providing the generated information card for presentation to the user.

System comprising: one or more processors; and one or more memory elements containing instructions that, when executed, cause the one or more processors to: Receiving, by a server device, a plurality of snapshots associated with the use of a computing device by a user, each snapshot of the plurality of snapshots based on content presented to the user on the computing device; Rate the variety of snapshots, including one for each snapshot: identify a respective set of entities indicated by the respective snapshot; and Storing in memory hints of the respective set of entities and a respective timestamp indicating a respective time at which the respective snapshot was taken, the respective set of entities and the respective timestamp being linked in memory; Determining based on a first snapshot of the plurality of snapshots a first time for presentation of the one or more information cards to the user; At first, look for entities in memory with a timestamp corresponding to the first time; Generating an information card based on the one or more found entities; and Providing the generated information card for presentation to the user.

The system of claim 19, wherein the evaluation of the received snapshots further comprises identifying one or more events based on the entities contained in a snapshot, determining a first time in the future to which the event is to occur, storing the Event along with the first time, including determining a second time prior to the event, and wherein determining the time for presenting includes determining that a current time is equal to the second time, and providing an information card providing an information card for includes the event at the second time.