DE202010018557U1

DE202010018557U1 - Verknüpfen von gerenderten Werbeanzeigen mit digitalen Inhalten

Info

Publication number: DE202010018557U1
Application number: DE202010018557.2U
Authority: DE
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2009-03-20
Filing date: 2010-03-19
Publication date: 2017-08-24
Anticipated expiration: 2020-03-20
Also published as: CN102356405A; EP2409269A2; WO2010108159A2; WO2010108159A3; EP2409269A4; EP2409269B1

Abstract

Computerlesbares Medium, dessen Inhalte ein mobiles Gerät dazu veranlassen, eine Aktion auszuführen, die mit einer gerenderten Werbeanzeige verknüpft ist, wobei die Inhalte Folgendes umfassen:
das Erfassen eines Bildes der gerenderten Werbeanzeige unter Verwendung einer Bilderfassungskomponente des mobilen Geräts, wobei das Erfassen eines Bildes der gerenderten Werbeanzeige das Erfassen von textbasierten Inhalten aus der Werbeanzeige beinhaltet;
das Identifizieren der gerenderten Werbeanzeige basierend auf Informationen innerhalb des erfassten Bildes, wobei das Identifizieren der gerenderten Werbeanzeige basierend auf den Informationen innerhalb des erfassten Bildes das Identifizieren der gerenderten Werbeanzeige unter Verwendung der textbasierten Inhalte und eines oder mehrerer visueller Eigenschaften des erfassten Bildes beinhaltet, wobei das Identifizieren der gerenderten Werbeanzeige unter Verwendung der textbasierten Inhalte und einem oder mehreren visuellen Eigenschaften des erfassten Bildes das Auswählen eines oder mehrerer Bilder basierend auf den textbasierten Inhalten sowie das Identifizieren der gerenderten Werbeanzeige aus dem ausgewählten oder mehreren Bildern basierend auf dem einen oder mehreren visuellen Eigenschaften des erfassten Bildes umfasst;
das Identifizieren einer oder mehrerer ausführbarer Aktionen, die mit der gerenderten Werbeanzeige verknüpft sind;
das Ausführen der identifizierten einen oder mehreren Aktionen unter Verwendung einer Anzeigekomponente des mobilen Geräts.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht die Priorität der US-Patentanmeldung Nr. 61/162,212, eingereicht am 20. März 2009, mit dem Titel WERBESYSTEM UND VERFAHREN, der vorläufigen US-Patentanmeldung Nr. 61/184,273, eingereicht am 4. Juni 2009 mit dem Titel DOKUMENTINTERAKTION, WIE z. B. DIE INTERAKTION MITHILFE EINES MOBILEN GERÄTS, sowie der vorläufigen US-Patentanmeldung Nr. 61/267,936, eingereicht am 9. Dezember 2009, mit dem Titel BILDSUCHE UNTER VERWENDUNG VON TEXTBASIERTEN ELEMENTEN INNERHALB DER BILDINHALTE, die hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.
Diese Anmeldung ist eine partielle Fortsetzung (CIP) der PCT-Anmeldung Nr. PCT/EP/2007/008075 , eingereicht am 17. September 2007 mit dem Titel ERFASSEN UND ANZEIGEN VON ANMERKUNGEN IN PAPIER- UND ELEKTRONISCHEN DOKUMENTEN; der US-Patentanmeldung Nr. 12/660,146, eingereicht am 18. Februar 2010, mit dem Titel AUTOMATISCHE ERFASSUNG VON INFORMATIONEN, WIE Z. B. DAS ERFASSEN VON INFORMATIONEN MIT EINEM DOKUMENTERKENNUNGSGERÄT; sowie der US-Patentanmeldung Nr. 12/660,151, eingereicht am 18. Februar 2010, mit dem Titel INTERAKTION MIT GERENDERTEN DOKUMENTEN MIT EINEM MULTIFUNKTIONSMOBILGERÄT, WIE Z. B. EINEM MOBILTELEFON, die hiermit alle durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.
ALLGEMEINER STAND DER TECHNIK
Auf Papier und andere gerenderte Dokumente haben eine anhaltende Wirkung, wie aus der Verbreitung von Papierdokumenten im Computerzeitalter hervorgeht. Nie war es einfacher, Papierdokumente zu drucken und zu veröffentlichen, als heutzutage. Papierdokumente herrschen weiterhin vor, obgleich elektronische Dokumente oft einfacher zu duplizieren, zu übertragen, zu durchsuchen und zu bearbeiten sind.
Angesichts der Beliebtheit von Papierdokumenten und der Vorzüge von elektronischen Dokumenten wäre es sinnvoll, die Vorteile beider zu kombinieren.
1A ist ein Datenflussdiagramm, das den Informationsfluss in einigen Ausführungsformen des Systems darstellt.
1B ist ein Datenflussdiagramm, das den Informationsfluss in einigen Ausführungsformen des Systems darstellt.
2 ist ein Komponentendiagramm von Komponenten, die in einer typischen Implementierung des Systems im Rahmen einer typischen Betriebsumgebung enthalten sind.
3 ist ein Blockdiagramm, das eine geeignete Erfassungsvorrichtung zur Verwendung mit dem System darstellt.
4 zeigt ein Blockdiagramm, das ein mobiles Gerät zur Verwendung als Erfassungsgerät darstellt.
5 zeigt ein Ablaufdiagramm, das eine Routine zur Darstellung einer interaktiven Erfahrung mit einer Werbeanzeige unter Verwendung eines Multifunktionsgeräts darstellt.
6A–6E zeigen schematische Diagramme, die ein Multifunktionsgerät veranschaulichen, das mit einer Werbeanzeige interagiert.
7 zeigt ein Blockdiagramm, das eine Rechenumgebung zur Bereitstellung eines Portals für Werbetreibende darstellt, um gerenderte Werbeanzeigen mit digitalen Inhalten zu verknüpfen.
8 ist ein Ablaufdiagramm, das eine Routine zum Verknüpfen eines gerenderten Dokuments mit digitalen Inhalten darstellt.
9A–9G zeigen Darstellungen, die verschiedene Bildschirme veranschaulichen, die durch das Portal präsentiert werden.
BESCHREIBUNG
Überblick
Die Interaktion mit gerenderten Werbeanzeigen und anderen Darstellungen von Informationen in der physischen Welt, die ein Erfassungsgerät verwenden, wird beschrieben. In einigen Beispielen erfasst das System Informationen aus einer gerenderten Werbeanzeige und es ermittelt die Werbeanzeige und/oder eine Position innerhalb der Werbeanzeige, sucht eine ausführbare Aktion, die mit der ermittelten Werbeanzeige verknüpft ist, und führt die Aktion aus.
In einigen Beispielen verknüpft das System die gerenderte Werbeanzeige mit mehreren ausführbaren Aktionen. Das System kann die ausführbaren Aktionen mit einer gesamten gerenderten Werbeanzeige oder einem Teil oder einem Bereich einer gerenderten Werbeanzeige verknüpfen. Somit kann das Erfassen von Informationen aus einem ersten Bereich einer gerenderten Werbeanzeige das System dazu veranlassen, eine bestimmte Aktion zu lokalisieren und auszuführen, während das Erfassen von Informationen aus einem zweiten Bereich das System dazu veranlassen kann, eine andere Aktion zu lokalisieren und auszuführen.
In einigen Beispielen erleichtert das System die Verknüpfung von ausführbaren Aktionen und anderen digitalen Inhalten mit Werbeanzeigen durch Bereitstellung eines Portals für Werbetreibende und andere Entitäten, die physische Objekte mit digitalen Inhalten verknüpfen möchten. Das Portal kann die Eingabe eines physischen Objekts, wie beispielsweise eines Bildes einer gedruckten Werbeanzeige, die Eingabe von digitalen Inhalten und eine Eingabe, die eine gewünschte Verknüpfung zwischen dem physischen Objekt und dem digitalen Inhalt ermittelt, erleichtern.
Verschiedene Beispiele und Ausführungsformen werden nachfolgend beschrieben. Die folgende Beschreibung liefert spezifische Details für ein gründliches Verständnis und ermöglicht die Beschreibung dieser Ausführungsformen. Fachleute werden jedoch verstehen, dass das System auch ohne viele dieser Details umgesetzt werden kann Zudem können einige allgemein bekannte Strukturen oder Funktionen nicht im Detail gezeigt oder beschrieben sein, um eine unnötige Verschleierung der relevanten Beschreibung der verschiedenen Ausführungsformen zu vermeiden.
Die in der nachstehend dargelegten Beschreibung verwendete Terminologie soll in ihrer breitesten sinnvollen Weise interpretiert werden, auch wenn sie in Verbindung mit einer detaillierten Beschreibung bestimmter spezifischer Ausführungsformen der Erfindung verwendet wird. Auch können nachstehend bestimmte Begriffe hervorgehoben sein; jedoch wird jegliche Terminologie, die in beliebiger einschränkender Weise interpretiert werden soll, in diesem detaillierten Beschreibungsabschnitt offenkundig und spezifisch als solche definiert.
TEIL I – EINFÜHRUNG
1. Das System und seine Benutzer
Menschen konsumieren visuelle Informationen aus gerenderten (gedruckten und angezeigten) Medien, einschließlich Informationen, die in Texten, Bildern, Videos und anderen Formen präsentiert werden. Personen lesen beispielsweise Zeitungen, Zeitschriften, Bücher, Blogs, Textnachrichten, Werbetafeln, Kassenzettel, Notizen und so weiter; betrachten Fotos, Bilder, Objekte, Werbeanzeigen und so weiter; und schauen sich Filme, Videos, Vorführungen, andere Personen und so weiter an. Genau genommen empfangen und beziehen Personen unaufhörlich Informationen, indem sie die Welt um sich herum beobachten.
Dieses Betrachten oder Konsumieren von Informationen kann aktiver Natur sein (der Benutzer ist bewusst auf der Suche nach Informationen und kommt oft mit diesen in Berührung) oder inaktiver Natur sein (der Benutzer ist nicht bewusst auf der Suche nach Informationen, erhält diese aber dennoch). Eine Person kann Informationen wissentlich erhalten, indem sie dieselben z. B. häufig „abruft”, oder unwissentlich erhalten, wenn dieselben „zugeführt” werden (inaktiver Konsum). In gewisser Hinsicht ähneln Personen hinsichtlich ihrer Interaktion mit der Umwelt Vorrichtungen (Computer, Mobiltelefonen und anderen Vorrichtungen), die Informationen anziehen und an sie herangetragene Informationen empfangen.
Geräte sind jedoch keine Menschen und aktuelle Geräte schneiden oft schlecht darin ab, Informationen in einer Umgebung oder in der Nähe des Geräts zu erfassen. Die hierin offenbarte Technologie beschreibt Systeme und Verfahren, die die Wahrnehmung in Vorrichtungen ermöglichen und begünstigen. Die Technologie kann eine Wahrnehmung von textbasierten Informationen nahe einer Vorrichtung, eine Wahrnehmung von bildbasierten Informationen nahe einer Vorrichtung, eine Wahrnehmung von einer Anzeige von Informationen nahe einer Vorrichtung (wie etwa einem wiedergegebenen Dokument) und so weiter begünstigen. Unter Verwendung der offenbarten Technologie können Vorrichtungen Personen darin, wie sie mit der Welt interagieren, nachahmen.
1.1. Physische/Digitale Interaktionen
Fast jede physische Anzeige von Informationen ist mit zusätzlichen digitalen Informationen verbunden, oder kann dies sein. Zum Beispiel kann ein Bild mit einer Beschreibung (z. B. Metadaten), einer Webseite und so weiter verbunden sein; ein einzelnes Wort kann mit einer Definition, einem Wikipedia-Eintrag, einer Werbeanzeige und so weiter verbunden sein; ein Dokument kann mit seinem elektronischen Gegenstück, einer Webseite, einer Slideshow und so weiter verbunden sein; ein geografischer Standort (oder ein Objekt an dem Standort) kann mit Metadaten, Bildern, Informationen zu dem Standort verbunden sein; ein Audiostream kann mit einer Slideshow verbunden sein; und so weiter. In Gegenwart einer physischen Anzeige von Informationen muss das System nur die Anzeige von Informationen (oder Teilaspekte der Anzeige von Informationen, wie etwa Text in der Anzeige von Informationen) identifizieren, um Zugang zu verbundenen Informationen zu erhalten. Das System ermöglicht es der physischen Anzeige von Informationen, als Plattform zu fungieren, aus der eine reichhaltige, digitale, dritte Interaktivitätsdimension erzeugt wird, die Benutzer und Inhalte umspannt.
1.2. Identifikation eines wiedergegebenen Dokuments
In einigen Fällen kann das Identifizieren eines gerenderten Dokuments einem Leser den Zugang zu einer Fülle von zusätzlichen Informationen bieten, die das Dokument selbst ergänzen und somit die Erfahrung des Lesers bereichern. Bei jedem wiedergegebenen Dokument, das ein elektronisches Gegenstück aufweist, können Teile der Informationen in dem wiedergegebenen Dokument verwendet werden, um das elektronische Gegenstück zu identifizieren. In einigen Beispielen erfasst und verwendet das System ein Muster von Text aus einem wiedergegebenen Dokument, um ein elektronisches Gegenstück des Dokuments zu identifizieren und ausfindig zu machen. In einigen Fällen ist die Stichprobe des Textes, die vom System benötigt wird, sehr klein, da ein paar Wörter oder Teilwörter aus einem Dokument oft als Erkennungsmarke für das gerenderte Dokument und als Link zu dessen elektronischem Gegenstück fungieren können. Darüber hinaus kann das System diese wenigen Wörter nicht nur verwenden, um das Dokument, sondern auch eine Position innerhalb des Dokuments zu identifizieren. Somit können wiedergegebene Dokumente und deren digitale Gegenstücke unter Verwendung des hierin besprochenen Systems in vielerlei nutzbringender Hinsicht verknüpft werden.
Somit können wiedergegebene Dokumente und deren elektronische Gegenstücke unter Verwendung des hierin besprochenen Systems in vielerlei nutzbringender Hinsicht verknüpft werden.
Einfach ausgedrückt kann das System, wenn ein Benutzer einige Wörter, Zeichen oder Bereiche in einem wiedergegebenen Dokument scannt, das elektronische Dokument-Gegenstück oder einen gewissen Teil davon abrufen, das elektronische Gegenstück oder einen gewissen Teil davon anzeigen, es jemanden per E-Mail zuschicken, es erwerben, es drucken, es auf eine Webseite posten oder andere Aktionen durchführen, die es dem Benutzer ermöglichen, mit dem Dokument oder zugehörigen Inhalten zu interagieren. Beispielsweise kann ein Benutzer sein mobiles Gerät (und dessen Kamera) über einen Teil eines Zeitungs- oder Zeitschriftenartikels halten, wodurch bewirkt wird, dass das mobile Gerät des Benutzers eine elektronische Version des Artikels auf dem Touchscreen des mobilen Geräts anzeigt und dem Benutzer Optionen bereitgestellt werden, die es dem Benutzer ermöglichen, mit dem Artikel weiter zu interagieren. In einigen Fällen kann das Halten über dem Artikel das Mobilgerät veranlassen, in einen Dokumenterkennungs- oder Interaktionsmodus zu wechseln, wie etwa wenn das Mobilgerät eine bestimmte Nähe zu dem Artikel erkennt.
Das System implementiert diese und viele andere Beispiele für „digitale Integrationen und Integrationen auf Papier”, ohne dass Änderungen an den aktuellen Prozessen des Schreibens, des Druckens und des Veröffentlichen von Dokumenten und anderen Anzeigen von Informationen erforderlich sind, um gerenderten Dokumenten und physischen Objekten eine völlig neue digitale Funktionalität zu verleihen.
Sobald durch das System eine Verbindung von einem Textteil in einem wiedergegebenen Dokument mit einem bestimmten digitalen Eintrag vorgenommen wurde, ist das System in der Lage, eine Unmenge an Funktionalität basierend auf dieser Verbindung zu schaffen.
Es ist zunehmend der Fall, dass die meisten wiedergegebenen Dokumente ein elektronisches Gegenstück aufweisen, auf das im World Wide Web oder von einer anderen Online-Datenbank oder einem Dokumentkorpus aus zugegriffen werden kann, oder das zugänglich gemacht werden kann, wie etwa in Reaktion auf eine Zahlung eines Entgelts oder eines Abonnements. Im einfachsten Fall kann das System anschließend, wenn ein Benutzer einige Wörter in einem wiedergegebenen Dokument erfasst, dieses elektronische Dokument oder einen Teil davon abrufen, es anzeigen, es jemandem per E-Mail zuschicken, es erwerben, es drucken und/oder es auf eine Webseite posten. Darüber hinaus könnte beispielsweise das Erfassen einiger Worte eines Buches, das von einer Person während des Frühstücks gelesen wird, dazu führen, dass die Audio-Buchversion in dem Auto der Person ab dem Punkt vorgelesen wird, ab dem sie zur Arbeit fährt, oder das Erfassen der Seriennummer einer Druckerpatrone könnte den Bestellungsvorgang einer Ersatzpatrone einleiten.
Eine typische Verwendung des Systems beginnt mit der Verwendung einer Erfassungsvorrichtung, um Text aus einem wiedergegebenen Dokument zu erfassen, wobei es jedoch wichtig ist anzumerken, dass andere Verfahren zur Erfassung von anderen Arten von Objekten gleichermaßen anwendbar sind. Daher wird das System gelegentlich als Erfassen oder Scannen von Text aus einem wiedergegebenen Dokument beschrieben, wobei diese Begriffe folgendermaßen definiert sind:
Ein wiedergegebenes Dokument ist ein gedrucktes Dokument oder ein Dokument, das auf einer Anzeige oder einem Monitor gezeigt wird. Es ist ein Dokument, das für einen Menschen wahrnehmbar ist, egal ob in permanenter Form oder auf einer flüchtigen Anzeige. Es ist ein physisches Objekt, das Informationen mittels einer Präsentationsebene bereitstellt. Wiedergegebene Dokumente beinhalten Papierdokumente, Werbetafeln, Schilder, Informationen die mittels einer Präsentationsebene einer Computervorrichtung bereitgestellt sind, Informationen, die durch eine Welle ausgebreitet werden, wie etwa ein Audio- oder Videostream von Informationen, und/oder physische Objekte, die Informationen präsentieren oder anzeigen.
Erfassen oder Scannen ist der Prozess der systematischen Untersuchung, um Informationen aus einem wiedergegebenen Dokument zu erhalten. Der Prozess kann optische Erfassung beispielsweise unter Verwendung einer Kamera in einem Mobiltelefon oder eines optischen Handscanners, beinhalten oder kann Vorlesen aus dem Dokument in eine Audioerfassungsvorrichtung oder seine Eingabe auf einem Tastenfeld oder einer Tastatur beinhalten. Für weitere Beispiele siehe Abschnitt 15.
Neben der Erfassung von Text aus wiedergegebenen Dokumenten kann das System Informationen aus anderen Quellen, wie etwa RFID-Tags (Radio Frequency Identification), QR-Codes, Barcodes, anderen physischen Objekten (z. B. Bilder, Skulpturen), Informationen direkt aus der Präsentationsebene einer Computervorrichtung und so weiter erfassen. Andere Quellen können audio- und/oder videobasierte Dokumente, wie etwa Rundfunksendungen und andere Inhalte auf Rundfunkkanälen; Videos und andere Inhalte auf Videokanälen, einschließlich Fernsehsendungen, Fernsehwerbung, Filme und so weiter, egal ob von einem lokalen Medium wie einer Video-Disk oder von einem entfernten Server wiedergegeben, und so weiter, beinhalten. Als ein Beispiel kann das System Informationen aus einer Audioquelle erfassen und Informationen oder ergänzende Inhalte in Verbindung mit der Audioquelle oder den Inhalten des von der Quelle erzeugten Audiostreams anzeigen.
2. Einführung in das System
Dieser Abschnitt beschreibt einige der Vorrichtungen, Prozesse und Systeme, die ein System zur Papier-Digital-Integration ausmachen. In verschiedenen Beispielen baut das System eine breite Palette von Diensten und Anwendungen auf diesem zugrunde liegenden Kern auf, welcher die Basisfunktionalität zur Verfügung stellt.
2.1. Die Prozesse
1A ist ein Datenflussdiagramm, das den Informationsfluss in einigen Beispielen eines geeignetes Systems darstellt. Andere Beispiele verwenden eventuell nicht alle hier dargestellten Stufen oder Elemente, wohingegen einige viele weitere verwenden.
Ein Erfassungsgerät wie z. B. ein mobiles Gerät mit einer Kamera und/oder einem Sprachrekorder, erfasst 100 Textdaten und/oder andere Informationen von einem gerenderten Dokument oder von Informationen, die in der Nähe des Geräts angezeigt werden. Die Vorrichtung kann die erfassten Daten verarbeiten 102, zum Beispiel, um Artefakte des Erfassungsprozesses zu entfernen und das Signal-Rausch-Verhältnis zu verbessern, um gewünschte Informationen innerhalb der Daten zu identifizieren oder aufzufinden und so weiter. Mittels einer Erkennungskomponente (wie etwa einer OCR-Vorrichtung, Spracherkennungsvorrichtung, Autokorrelationseinheit oder anderen hierin beschriebenen Techniken) konvertiert 104 das System die Daten optional zu einer oder mehreren Signaturen, wie etwa Textsegmenten, Textoffsets oder anderen Symbolen oder Zeichen Alternativ führt das System eine alternative Form des Extrahierens von einer oder mehreren Dokumentsignaturen aus dem wiedergegebenen Dokument durch. In einigen Fällen stellt die Signatur einen Satz von möglichen Texttranskriptionen dar. In einigen Fällen kann der Prozess durch Feedback aus anderen zuvor oder nachfolgend durchgeführten Schritten beeinflusst oder eingeschränkt werden. Wenn das System beispielsweise zuvor bereits Kandidatendokumente, aus denen die Erfassung wahrscheinlich entstanden ist, erzeugt hat, ist es in der Lage, die möglichen Interpretationen der ursprünglichen Erfassung zu begrenzen.
Nachbearbeitungskomponenten können Daten aus dem Erkennungsprozess empfangen und die Daten 106 filtern oder beliebige Operationen ausführen. In einigen Beispielen kann das System direkte Aktionen 107 unmittelbar, und ohne mit den nachfolgenden Schritten in der Routine fortzufahren, herleiten, bestimmen, identifizieren und/oder durchführen, wie etwa wenn das System einen Satz oder ein Symbol erfasst, der/das ausreichend Informationen enthält, um die Intention des Benutzers abzuleiten. In diesen Fällen muss das System nicht notwendigerweise ein digitales Dokument als Gegenstück identifizieren oder referenzieren, um die Wünsche des Benutzers durchzuführen.
Das System kann in Schritt 108 anschließend eine Abfrage oder einen Satz von Anfragen zur Verwendung beim Suchen nach einem elektronischen Gegenstück oder anderen Inhalten in Verbindung mit der Erfassung erstellen. Einige Aspekte der Abfrageerstellung können von dem verwendeten Suchprozess abhängig sein und das System kann sie in einem späteren Schritt durchführen (wie etwa, nachdem eine Suche durchgeführt wird), wobei es jedoch typischerweise einige Operationen gibt, wie etwa die Entfernung von offensichtlich falsch erkannten oder irrelevanten Zeichen, die das System im Voraus durchführen kann.
Das System übermittelt 110 die Abfrage oder Abfragen an eine Such- und Kontextanalysekomponente. Das System kann versuchen, das Dokument zu identifizieren, aus dem die ursprünglichen Daten erfasst worden sind. Um dies zu tun, kann das System Suchindizes und Suchmaschinen 112, Kenntnisse über den Benutzer 114 und/oder Kenntnisse über den Kontext des Benutzers oder den Kontext, in dem die Erfassung stattgefunden hat 116, verwenden. Das System kann zum Beispiel mit einer Suchmaschine 112 interagieren, die Informationen speziell über wiedergegebene Dokumente, über deren digitale Dokument-Gegenstücke und/oder über Dokumente, die über eine Web(Internet)-Präsenz verfügen, nutzt oder indexiert. Das System kann Informationen mit diesen Informationsquellen hin- und hertransferieren und kann identifizierte Informationen in verschiedene andere Schritte der Routine einspeisen. Das System kann, basierend auf einem Empfang von Kenntnissen über Kandidatendokumente während Schritt 110, beispielsweise Informationen über die Sprache, Schriftart, Darstellung und voraussichtlich folgende Wörter einer Erfassung empfangen.
Das System kann in Schritt 120 eine Kopie des Dokuments oder der Dokumente abrufen, die zuvor als elektronische Gegenstücke des wiedergegebenen Dokuments identifiziert wurden. Das System kann einen direkten Zugriff auf Dokumentquellen und -archive 124 (z. B. ein lokales Archiviersystem oder eine Datenbank oder einen Webserver) haben, oder das System kann einen Zugriffsdienst 122 kontaktieren, um ein Dokument oder Dokumente abzurufen. Der Zugriffsdienst 122 kann eine Authentifizierung, einen Schulz oder Zahlungen für Dokumente verlangen oder kann andere Dienste bereitstellen, wie etwa, neben anderen Dingen, eine Konvertierung des Dokuments in ein gewünschtes Format oder eine gewünschte Sprache.
Die Anwendung des Systems kann sich die Vorteile der Verknüpfung der Zusatzfunktionen oder Daten mit einem Teil oder einem Dokument zunutze machen. Werbeanwendungen beispielsweise können bestimmte Werbenachrichten oder -themen mit Teilen eines Dokuments, wie etwa Schlüsselwörtern, Wortverbindungen oder Nähe zu bestimmten Inhalten, verknüpfen. Diese zusätzlich verknüpfte Funktionalität oder Daten, die spezifizieren, dass sie in Verbindung mit bestimmen Teilen des Dokuments verfügbar sein sollte, kann als eine oder mehrere Überlagerungen auf dem Dokument angesehen werden und wird hierin als Markup bezeichnet. Somit identifiziert das System, in Schritt 130, jegliches Markup, das für die erfassten Daten und/oder ein identifiziertes elektronisches Gegenstück relevant ist. In einigen Fällen wird das Markup durch den Benutzer, den Urheber, den Herausgeber des Dokuments, andere Benutzer des Dokuments und so weiter bereitgestellt und kann auf einer direkt zugänglichen Quelle 132 gespeichert sein oder durch einen Markup-Dienst 134 dynamisch erzeugt werden. In einigen Beispielen kann das Markup mit einem wiedergegebenen Dokument und/oder dem digitalen Gegenstück eines wiedergegebenen Dokuments oder mit Gruppen aus einem oder beiden dieser Dokumente verknüpft werden und auf diese anwendbar sein.
Als Ergebnis einiger oder aller der vorhergehenden Schritte kann das System Aktionen einleiten oder durchführen 140. Die Aktionen können Standard-Systemaktionen, wie etwa einfaches Aufzeichnen der gefundenen Informationen sein, können von den Daten oder dem Dokument abhängig sein oder können von der Markup-Analyse abgeleitet sein. In einigen Fällen kann das System Daten einfach an ein anderes System übermitteln. In einigen Fällen werden die möglichen Aktionen, die für eine Erfassung an einem bestimmten Punkt in einem gerenderten Dokument geeignet sind, dem Benutzer als Menü in einer zugehörigen Anzeige, wie zum Beispiel der Anzeige eines Erfassungsgeräts (dem Touchscreen eines mobilen Geräts) oder einer zugehörigen Anzeige (dem Laptop-Bildschirm des Benutzers), präsentiert. Das System kann eine Aktion oder Aktionen in Reaktion auf die Erfassung als Reaktion auf eine Benutzeranfrage zur Durchführung von einer Aktion oder Aktionen oder zu einem späteren Zeitpunkt identifizieren oder durchführen.
Als Beispiel dafür, wie das Erfassungsgerät verwendet werden kann, kann ein Leser mit einer Kamera, die mit dessen mobilem Gerät verknüpft ist, Text aus einem Zeitungsartikel erfassen. Der Text wird über die Kamera als Bitmap-Bild erfasst. Die Logik speichert das gerasterte Bild im Speicher, versieht das Bild mit einem Zeitstempel und erfasst andere Daten, die mit der Aufzeichnung verknüpft sind (z. B. Position eines Geräts, Geo-Lokalisierungsdaten usw.). Die Logik führt außerdem eine optische Zeichenerkennung (OCR) durch und konvertiert das Bild zu Text. Das System lädt den Text in einen Index von Inhalten, die mit der Zeitung in Verbindung stehen, und identifiziert und mit ein elektronisches Gegenstück für den Artikel ab. Anschließend zeigt die Erfassungsvorrichtung das elektronische Gegenstück über einen verbundenen Touchscreen an, zusammen mit einer oder mehreren durchzuführenden Aktionen, wie etwa Herunterladen und Anschauen von verbundenen Artikeln oder von Artikeln, die zusätzliche Hintergrundinformationen bereitstellen, Hervorheben bestimmter Begriffe innerhalb eines Artikels und Bereitstellen von Links zu Definitionen für diese Begriffe oder Anschauen von Werbeanzeigen oder Kaufinformationen für in oder um den Artikel herum besprochene Produkte.
Weitere Details bezüglich Systemprozessen, Komponenten und/oder Vorrichtungen lassen sich in den Anwendungen finden, die hierin durch Bezugnahme aufgenommen sind.
1B ist ein Datenflussdiagramm, das den Informationsfluss in einem Beispiel eines geeigneten Systems darstellt. Eine Erfassungsvorrichtung 155 erfasst präsentierte Informationen wie Text, Audio, Video, GPS-Koordinaten, Benutzergesten, Barcodes und so weiter aus Informationsquellen 150 und anderen Quellen, wie etwa Quellen in drahtloser Kommunikation mit der Vorrichtung (nicht gezeigt). Bei Schritt 160 sammelt und speichert die Informiationssicherungskomponente von der Erfassungsvorrichtung 155 erfasste Informationen. Bei Schritt 165 übergibt das System die aus der Erfassungsvorrichtung zusammengetragenen Informationen einer Verarbeitungskomponente für erfasste Informationen. Die Verarbeitungskomponente für erfasste Informationen 165 ist konfiguriert, die Gegenwart von wiedergegebenen Dokumenten zu erkennen, Textbereiche aus Dokumenten zu extrahieren und die Dokumentinformtionen zu analysieren, um Dokument- und Textmerkmale, wie etwa absolute und relative Layout-Informationen, Absatz, Zeilen- und Wortschatten oder -profile, zeichenbezogene Merkmale und Zeichencodierungen zu erkennen. In einigen Beispielen kann die Verarbeitungskomponente für erfasste Informationen konfiguriert sein, Typen von Daten zu verarbeiten, die kein Text sind, wie etwa Audio, Kompassdaten, GPS, Beschleunigung, Verlauf, Temperatur, Feuchtigkeit, Körperwärme usw. In einigen Beispielen wird die Verarbeitungseinheit für erfasste Informationen Informationen in Laufe der Zeit akkumulieren und die akkumulierten Informationen zusammensetzen, um beispielsweise größere oder höherauflösende Bilder der Informationsquelle zu bilden, während die Erfassungsvorrichtung weitere Informationen erfasst oder sendet. In einigen Beispielen kann die Verarbeitungskomponente für erfasste Informationen den Kontext, wie etwa vorherige von einem Benutzer erfasste Informationen, nutzen (siehe Abschnitt 13 und 14), um die Verarbeitung erfasster Informationen zu lenken, z. B. durch Einschränken oder Ausweiten des Verarbeitungsumfangs und Lenken der Annahmen darüber, was verarbeitet wird. Wenn das System zum Beispiel kürzlich identifiziert hat, dass der Benutzer Informationen aus einer bestimmten Quelle erfasst hat, kann im Anschluss weniger Verarbeitung erforderlich sein, um ein ähnliches Maß an Gewissheit über die neu erfassten Informationen zu erhalten, da eine Suche innerhalb eines begrenzten Möglichkeitsraums schnell zu einer Übereinstimmung führen kann, welche anschließend, wenn erwünscht, noch weiter bestätigt werden kann. Die Verarbeitungskomponente für erfasste Informationen kann die identifizierten Informationen verifizieren, wie etwa durch automatisches Bestätigen oder Ablehnen von Vorhersagen in den Informationen basierend auf vorläufigen Annahmen oder durch Nutzen eines Concierge-Dienstes 170 (siehe Abschnitt 19.8) oder durch Anfordern von Benutzerfeedback In Schritt 175 speichert das System die erfassten und verarbeiteten Informationen als einen Teil von Systemverlauf und Kontext.
In Schritt 180 führt das System eine Suche basierend auf den verarbeiteten Informationen und dem Kontext durch (siehe Abschnitte 4.2.2, 13 und 14). In einigen Beispielen können die Suchergebnisse, z. B. sich basierend auf Teilmengen der im Laufe der Zeit erfassten Informationen überschneidende Suchergebnisse, im Laufe der Zeit akkumuliert und korreliert werden, um Unklarheiten (z. B. mehrere Abschnitte der aufgezeichneten Audiodaten, Audiodaten mehrerer Frequenzbändern, mehrere Bilder usw.) aufzulösen. In einigen Beispielen können die Suchergebnisse durch die Komponente zum Verarbeiten von erfassten Informationen, z. B. basierend auf dem Prinzip, dass die Bildverarbeitungskomponente eine zusätzliche Analyse der Suchergebnisse (oder der durch die Dokumentverwaltungskomponente 185 abgerufenen Dokumentinformationen) und den erfassten Informationen durchführen kann, weiter nachgeprüft werden. Wenn die Suchkomponente beispielsweise 10 mögliche Ergebnisse erzeugt, kann die Verarbeitungskomponente für erfasste Informationen bestimmen, dass 6 davon, wie etwa das Muster vertikaler Striche in dem Text, sehr unwahrscheinlich mit den Suchergebnissen übereinstimmen. In Schritt 185 kann eine Dokumentenverwaltungskomponente des Systems, wenn ein Dokument identifiziert wurde, eine Darstellung des Dokuments abrufen. In Schritt 190 kann eine Markup-Komponente des Systems ein dynamisches und/oder statisches Markup, das sich auf die Textausgabe bezieht, aus dem Verarbeitungsschritt der erfassten Informationen und/oder dem ermittelten Dokument oder der abgerufenen Darstellung des Dokuments berechnen und/oder abrufen. Für weitere Informationen zu statischem und dynamischem Markup siehe Abschnitt 5. In einigen Beispielen erzeugt die Markup-Komponente Markup parallel zu der Dokumentenidentifikation basierend auf identifiziertem Text, sobald dieser erkannt ist.
In Schritt 195 können dem Benutzer Informationen übermittelt werden. In einigen Beispielen können diese Informationen Folgendes beinhalten: Feedback, wie z. B. ein Vorschlag, um das Erfassungsgerät für einen besseren Fokus zu bewegen: Überdecken der hellsten Bildteile auf den aufgenommenen Bilder, um mögliche interessierende Bereiche anzuzeigen, darunter auch ggf. den interessierenden Bereich, der implizit ausgewählt werden würde, wenn die Benutzer das Erfassungsgerät über denselben Bereich halten; eine saubere, frisch gerenderte Version des gerasterten Textes, die mit der Bildskala, dem Layout. der Modellierung des aktuellen Sichtfeldes des Erfassungsgeräts übereinstimmt usw.; eine Liste der verfügbaren Aktionen basierend auf den aktuellen interessierenden Bereichen; die Ergebnisse einer einzigen Aktion basierend auf den aktuellen interessierenden Bereichen, wie z. B. das automatische Wählen einer Telefonnummer; Präsentieren von audiovisuellen Materialien unter Verwendung einer Vorlage, die für die Art oder die Arten von Informationen geeignet ist, die vor Benutzer als dessen interessierende Bereiche angegeben werden Präsentieren einer Darstellung von Informationen und/oder Audiodaten basierend auf den interessierenden Bereichen. In einigen Beispielen können sich Bereiche von Interesse aus einem Bereich, der durch den Benutzer implizit oder explizit angegeben wird, und aus sukzessive größeren Bereichen, wie etwa Wortverbindungen, Sätze, Zeilen, Absätzen, Spalten, Artikeln, Seiten, Ausgaben, Veröffentlichungen usw., die den zentralen Bereich von Interesse umgeben, zusammensetzen. In einigen Beispielen wird ein zentraler Bereich von Interesse durch das System basierend auf der Position in dem Bild, wie etwa der Mitte eines Bildschirms einer Erfassungsvorrichtung, vorgeschlagen und kann durch explizite Benutzerinteraktion oder durch Halten über diesem Bereich für einen kurzen Zeitraum ausgewählt werden – oder durch Benutzerinteraktion mit einem Bildschirm, wie etwa durch Wischen eines Fingers über den Bereich von Interesse oder durch Tippen irgendwo innerhalb eines vorgeschlagenen Bereichs von Interesse.
2.2. Die Komponenten
Wie hierin besprochen beinhaltet ein geeignetes System oder eine geeignete Betriebsumgebung eine Reihe unterschiedlicher Komponenten. Zum Beispiel kann das System eine oder mehrere optische Erfassungsvorrichtungen oder Stimmerfassungsvorrichtungen beinhalten (wie etwa Mobiltelefone und andere mobile Multifunktions-Computervorrichtungen, Handscanner-Vorrichtungen und so weiter). Die Erfassungsvorrichtungen kommunizieren mit anderen Komponenten des Systems, wie etwa einem Computer oder anderen Mobilgeräten, entweder unter Verwendung von drahtgebundenen oder drahtlosen Verbindungen oder über ein Netzwerk.
Die Erfassungsvorrichtung, Computer und anderen Komponenten in dem Netzwerk können Speicher beinhalten, der computerausführbare Anweisungen zur Verarbeitung von empfangenen Daten oder Informationen, die aus wiedergegebenen Dokumenten und anderen Quellen erfasst wurden (wie etwa Informationen, die auf einem Bildschirm oder Monitor angezeigt werden) enthält.
2 ist ein Komponentendiagramm von Komponenten, die in einer typischen Implementierung des Systems im Rahmen einer typischen Betriebsumgebung enthalten sind. Wie dargestellt beinhaltet die Betriebsumgebung eine oder mehrere Erfassungsvorrichtungen 216. In einigen Beispielen unterstützt ein Erfassungsgerät entweder das optische Erfassen oder das Kopieren mithilfe von „Audiodaten”. Jede Erfassungsvorrichtung ist in der Lage, mit anderen Teilen des Systems, wie etwa einem Computer 212, entweder unter Verwendung von einer direkten drahtgebundenen oder drahtlosen Verbindung oder über das Netzwerk 220 zu kommunizieren, mit welchem sie unter Verwendung einer drahtlosen oder drahtgebundenen Verbindung kommunizieren kann, wobei letztere typischerweise eine drahtlose Basisstation 214 beinhaltet. In einigen Beispielen kommuniziert das Erfassungsgerät mit anderen Komponenten des Systems über ein mobiles Telekommunikationsnetz (z. B. GSM oder CDMA), in anderen Beispielen ist das Erfassungsgerät in ein mobiles Gerät integriert und es nutzt optional einige der akustischen und/oder optischen Komponenten, die in dem Gerät für die Sprachkommunikation und Bildaufnahme verwendet werden.
Der Computer 212 kann einen Speicher beinhalten, der von einem Computer ausführbare Anweisungen zum Verarbeiten eines Auftrags vom Erfassungsgerät 216 enthält. Als ein Beispiel kann ein Auftrag eine Kennung (wie etwa eine Seriennummer der Erfassungsvorrichtung 216 oder eine Kennung, die den Benutzer der Erfassungsvorrichtung teilweise oder eindeutig identifiziert), Erfassungskontextinformationen (z. B. Zeit der Erfassung, Ort der Erfassung usw.) und/oder erfasste Informationen (wie etwa eine Textfolge) beinhalten, die verwendet wird, um die Quelle, aus welcher Daten erfasst werden, eindeutig zu identifizieren. In alternativen Beispielen kann die Betriebsumgebung mehr oder weniger Komponenten beinhalten.
Ebenfalls in dem Netzwerk 220 verfügbar sind Suchmaschinen 232, Dokumentenquellen 234, Benutzerkontodienste 236, Markup-Dienste 238 und andere Netzwerkdienste 239. Das Netzwerk 220 kann ein firmeneigenes Intranet sein, das öffentliche Internet, ein Mobilfunknetz oder ein anderes Netzwerk oder eine beliebige Vernetzung dieser sein. Unabhängig von der Art, in der die Vorrichtungen und Komponenten miteinander verbunden sind, können sie alle gemäß allgemein bekannten kommerziellen Transaktion- und Kommunikationsprotokollen (z. B. Transmission Control Protocol (TCP), Internet Protocol (IP)) betreibbar sein. In einigen Beispielen können viele der Funktionen und Fähigkeiten des Systems in die Erfassungsvorrichtung eingebunden oder integriert sein.
In verschiedenen Beispielen können die Funktionen und Fähigkeiten der Erfassungsvorrichtung 216 und Computer 212 vollständig oder teilweise in eine Vorrichtung integriert sein. Somit können sich die Begriffe Erfassungsvorrichtung und Computer, abhängig davon, ob die Vorrichtung Funktionen oder Fähigkeiten von der Erfassungsvorrichtung 216 und dem Computer 212 einbindet, auf dieselbe Vorrichtung beziehen. Zudem können einige oder alle der Funktionen der Suchmaschinen 232, Dokumentenquellen 234, Benutzerkontodienste 236, Markup-Dienste 238 und anderer Netzwerkdienste 239 in jedweder Vorrichtung und/oder anderen, nicht gezeigten Vorrichtungen implementiert sein.
2.3. Die Erfassungsvorrichtung
Die Erfassungsvorrichtung kann Text unter Verwendung einer optischen oder Abbildungskomponente, welche Bilddaten von einem Objekt, einer Darstellung von Informationen und/oder einen wiedergegebenen Dokument erfasst, oder unter Verwendung einer Audioaufnahmevorrichtung, die das Vorlesen durch einen Benutzer von angezeigtem Text erfasst, oder anderen Verfahren erfassen. In einigen Beispielen kann die Erfassungsvorrichtung außerdem Bilder, Filme, grafische Zeichen und Symbole und so weiter erfassen, einschließlich maschinenlesbarer Codes wie etwa Barcodes, RFID-Tags usw., obgleich diese nicht erforderlich sind, um ein Dokument zu erkennen oder Aktionen in Verbindung mit dem Dokument oder erfasstem Text durchzuführen. In einigen Fällen kann die Erfassungsvorrichtung Bilder aus der Umgebung der Vorrichtung aufnehmen, einschließlich Bilder von Objekten, die die Vorrichtung umgeben. Das Gerät kann außerordentlich einfach gehalten sein und wenig mehr als einen Wandler. etwas Speicher und eine Datenschnittstelle beinhalten, die von anderen Funktionen abhängig sind, welche sich an anderer Stelle im System befinden, oder es kann sich dabei um ein voll ausgestattetes Gerät, wie z. B. ein Smartphone, handeln. In einigen Fällen kann die Vorrichtung ein Mobilgerät mit Bild- und Videoerfassungs- sowie Abspielfähigkeiten sein, das eine oder mehrere Anwendungen, die einen Teil oder die Gesamtheit der hierin beschriebenen Funktionalität erbringen, in einem Speicher speichert und startet oder ausführt.
Das Erfassungsgerät beinhaltet ein Erfassungselement, das Text, Symbole, Grafiken usw., aus gerenderten Dokumenten und anderen Darstellungen von Informationen erfasst. Das Erfassungselement kann eine Abbildungskomponente, wie etwa einen optischen Abtastkopf, eine Kamera, optische Sensoren und so weiter, beinhalten.
In einigen Beispielen ist das Erfassungsgerät ein tragbarer Scanner, der zum Scannen von Text, Grafiken oder Symbolen aus gerenderten Dokumenten verwendet wird. Der tragbare Scanner beinhaltet ein Abtastelement, das Text, Symbole, Grafiken und so weiter aus wiedergegebenen Dokumenten erfasst. Neben Dokumenten, die auf Papier gedruckt sind, beinhalten wiedergegebene Dokumente in einigen Beispielen Dokumente, die auf einem Bildschirm, wie etwa einem CRT-Monitor oder einer LCD-Anzeige, angezeigt wurden.
3 ist ein Blockdiagramm, das ein Beispiel einer Erfassungsvorrichtung 300 veranschaulicht. Die Erfassungsvorrichtung 300, die ein Mobiltelefon und/oder eine andere mobile oder tragbare Vorrichtung oder Reihe von Kommunikationsvorrichtungen, einschließlich eines Laptops, eines Tablets oder Netbooks, von Personen getragener Gegenstände (Brillen, Kleidung, Hüte, Accessoires und so weiter), sein kann, kann eine Erfassungskomponente 310 beinhalten, wie etwa eine Kamera, eine Abbildungskomponente, einen Abtastkopf, ein Mikrofon oder einen anderen Audiorecorder und so weiter. In Fällen, in denen die Erfassungsvorrichtung 300 ein Mobiltelefon ist, kann die Erfassungskomponente 310 die Kamera sein, die mit dem Telefon verbunden ist, wie etwa ein bildbasierter CMOS-Sensor, der in vielen kommerziell verfügbaren Telefonen verwendet wird. In Fällen, in denen die Erfassungsvorrichtung 300 eine Digitalkamera ist, kann die Erfassungskomponente 310 Spiegelsystem, Prisma, Linse und/oder Sucher der Kamera beinhalten In anderen Fällen kann die Erfassungskomponente eine getrennte Komponente oder zusätzliche Komponenten sein, die nicht in die Kamera des Telefons (nicht gezeigt) integriert sind, einschließlich, in einigen Fällen, nichtoptischer Komponenten.
Die Erfassungsvorrichtung 300 kann außerdem eine Anzeigekomponente 320 beinhalten, wie etwa Benutzeroberfläche, Touchscreen und/oder sonstige, die in der Lage ist, einem Benutzer der Vorrichtung 300 Informationen anzuzeigen. Die angezeigten Informationen können von der Erfassungskomponente 310 aufgenommene Bilder, Bilder innerhalb eines Sichtfelds der Erfassungskomponente 310, Inhalte im Zusammenhang mit erfassten Informationen (wie etwa elektronische Gegenstücke erfasster Dokumente oder Inhalte, die die erfassten Informationen ergänzen), Inhalte, die Markierungen und andere Informationen für Inhalte im Sichtfeld der Erfassungskomponente 310 hervorheben oder überlagern, Auswahlmenüs, die Aktionen anzeigen, die in Reaktion auf das Erfassen von Informationen durchgeführt werden sollen, und so weiter beinhalten. Die Anzeigekomponente 320 kann außerdem Informationen von einem Benutzer empfangen, wie etwa über durch den Benutzer auswählbare Optionen, die auf der Anzeige präsentiert werden.
In einigen Beispielen des Systems beinhaltet die Erfassungsvorrichtung 300 eine oder mehrere Komponenten, die in der Lage sind, den Betrieb der Erfassungsvorrichtung 300 und/oder anderer Computervorrichtungen und Systeme zu verändern. Die Erfassungsvorrichtung 300 kann außerdem eine Erkennungskomponente 330 beinhalten, die erkennt, wann die Vorrichtung in der Nähe von Informationen ist, die von der Vorrichtung 300 erfasst werden können. Die Erkennungskomponente 330 kann Teil der Erfassungskomponente 310 oder darin integriert sein (wie etwa eine Komponente, die Text innerhalb von Bildern identifiziert, die von einer Abbildungskomponente aufgenommen werden), kann ein Abstandssensor sein, der Abstände zwischen der Erfassungsvorrichtung 300 und Objekten (Dokumenten, Werbetafeln usw.) in der Umgebung der Vorrichtung misst, kann ein Ausrichtungssensor sein, der die Ausrichtung (Neigungswinkel in Bezug auf die x-, y- oder z-Achse und so weiter) der Erfassungsvorrichtung 300 misst, und so weiter. Weitere Details hinsichtlich der Interaktionen zwischen der Erfassungskomponente 310, der Anzeigekomponente und/oder der Erkennungskomponente 330, einschließlich Routinen, die durch diese Komponenten durchgeführt werden, sind hierin beschrieben.
Die Erkennungskomponente 330 kann außerdem Informationen von einer Laufzeitkomponente (nicht gezeigt) beinhalten oder empfangen welche die Dauer bestimmter Zustände der Erfassungsvorrichtung misst. Zum Beispiel kann die Laufzeitkomponente, die Teil der Erkennungskomponente 330 sein kann, messen, wie lange die Erfassungsvorrichtung 300 parallel zu einer Achse gehalten wird, die durch ein wiedergegebenes Dokument, das auf einem Tisch platziert ist, definiert ist, oder kann messen, wie lange die Erfassungsvorrichtung 300 innerhalb einer bestimmten Nähe zu einem Straßenschild ist, und so weiter.
Die Erfassungsvorrichtung 300 kann außerdem eine Betriebsanpassungskomponente 340 beinhalten, die den Betrieb oder Modus der Erfassungsvorrichtung 300 ändert. In einigen Beispielen des Systems ändert die Betriebsanpassungskomponente 340 (automatisch) den Betriebsmodus der Erfassungsvorrichtung 300 bei Empfangen einer Angabe oder eines Signals von der Erkennungskomponente 330 darüber, dass die Erfassungsvorrichtung 300 in der Nähe von aufzunehmenden Informationen ist, von einem Standardmodus zu einem Informationserfassungsmodus (wie etwa einem Texterfassungsmodus). Zusätzlich kann die Betriebsanpassungskomponente den Betriebsmodus der Erfassungsvorrichtung 300 bei Empfangen einer Angabe oder eines Signals von der Erkennungskomponente 330 darüber, dass die Erfassungsvorrichtung 300 nicht länger in der Nähe von etwaigen Informationen ist, zurück zu einem Standardmodus ändern. In einigen Fällen startet die Betriebsanpassungskomponente 340, ohne den Betriebsmodus der Vorrichtung zu ändern, eine Anwendung, wie etwa eine Anwendung, die konfiguriert ist, Informationen zu erfassen und eine Aktion für einen Benutzer der Erfassungsvorrichtung 300 durchzuführen.
Zum Beispiel kann das Erfassungsgerät 300, wenn es im Informationserfassungsmodus arbeitet oder wenn es durch eine laufende Anwendung gesteuert wird, die von der Betriebseinstellkomponente 340 gestartet wird, einige oder alle der hierin beschriebenen Routinen und Verfahren ausführen, darunter auch das Identifizieren von Dokumenten und Informationen (z. B. der Kauf von Produkten, die Darstellung von Werbeanzeigen, die Bereitstellung von ergänzenden Informationen, die Aktualisierung von Weblogs usw.), die mit den erfassten Informationen verknüpft sind. Die Erfassungsvorrichtung 300 kann einige oder alle der Routinen und Verfahren über Programme durchführen, die in dem Speicher der Erfassungsvorrichtung 300 gespeichert sind, wie etwa Programme, die auf die Erfassungsvorrichtung 300 heruntergeladen wurden, Programme, die in das Betriebssystem der Erfassungsvorrichtung 300 integriert sind, und so weiter.
Die Erfassungsvorrichtung 300 kann auch andere Komponenten beinhalten, wie etwa Gerätebetriebskomponenten 350 im Zusammenhang mit dem Betrieb der Vorrichtung (Verarbeitungskomponenten, Speicherkomponenten, Stromkomponenten, SIM- und andere Sicherheitskomponenten, Eingabekomponenten wie Tastenfelder und Tasten und so weiter), Kommunikationskomponenten 360 (drahtlose Sender, GSM-/Zellkomponenten, SMS-/MMS- und andere Benachrichtigungskomponenten, Bluetooth^TM-Komponenten, RFID-Komponenten und so weiter) zur Kommunikation mit einem externen Netzwerk und/oder einer anderen Computervorrichtung, Komponenten 370, die der Vorrichtung Kontextinformationen bereitstellen (GPS- und andere Geolokations-Sensoren, Beschleunigungssensoren und andere Bewegungssensoren, Ausrichtungssensoren, Temperatur- und andere Umgebungsmesskomponenten und so weiter) und andere Komponenten 380, wie etwa einen Audiowandler, externe Leuchten oder Vibrationskomponenten, um dem Benutzer Feedback zu geben, und/oder Tasten, Scrollräder oder taktile Sensoren zum Empfangen von Eingaben von einem Benutzer oder einen Touchscreen, um Benutzern Informationen mitzuteilen und Eingaben von den Benutzern zu empfangen, wie hierin beschrieben.
Die Erfassungsvorrichtung 300 kann außerdem eine Logikkomponente (nicht gezeigt) beinhalten, um mit den verschiedenen anderen Komponenten zu interagieren, die die empfangenen Signale eventuell zu unterschiedlichen Formaten und/oder Auswertungen verarbeitet. Die Logikkomponente kann betreibbar sein, um Daten und Programmanweisungen, die in einem verbundenen Speicher (nicht gezeigt) wie etwa RAM, ROM, Flash- oder anderem geeigneten Speicher gespeichert sind, zu lesen und zu schreiben. Die Erfassungsvorrichtung 300 kann Informationen in Form von Datenstrukturen, Routinen, Algorithmen, Skripten und so weiter in einem Speicher oder anderen Speicherkomponenten, wie etwa computerlesbaren Medien, speichern oder enthalten.
Die Logikkomponente kann ein Zeitsignal von einer Takteinheit (nicht gezeigt) ablesen. In einigen Beispielen kann die Erfassungsvorrichtung eine eingebaute Stromversorgung (nicht gezeigt) aufweisen. In anderen Beispielen kann der Scanner 302 über eine kabelgebundene Verbindung mit einer anderen Vorrichtung, wie etwa einer Universal Serial Bus(USB)-Verbindung, mit Strom versorgt werden. In einigen Beispielen kann die Erfassungsvorrichtung 300 auf mehrere einzelne Vorrichtungen verteilt sein.
2.3.1. Informationserkennende Erfassungsvorrichtungen
Das System kann eine Komponente zum Bestimmen, dass eine Erfassungsvorrichtung nahe von Informationen wie etwa einem wiedergegebenen Dokument ist, und zum Ändern des Betriebs der Erfassungsvorrichtung basierend auf der Bestimmung, beinhalten. In einigen Beispielen beinhaltet die Erfassungsvorrichtung eine Kamera, die Bilder wiedergegebener Dokumente oder anderer Informationsanzeigen erfasst, und eine Lagekomponente, die eine Nähe zu wiedergegebenen Dokumenten oder den anderen Informationsanzeigen erkennt. Die Lagekomponente kann eine optische Komponente innerhalb der Kamera sein oder verwenden, oder kann eine eigenständige Komponente, wie etwa ein Abstandssensor, sein. Das System kann, bei Bestimmen, dass die Erfassungsvorrichtung in der Nähe von Informationen ist, die Erfassungsvorrichtung veranlassen, den Modus zu einem zu ändern, der Text, Dokumente und/oder andere Informationsanzeigen, wie etwa Objekte, die Text anzeigen, erkennt und damit interagiert. In einem Dokumenterfassungsmodus kann das System zum Beispiel, mittels der Erfassungsvorrichtung, einen oder mehrere Prozesse initiieren, die Bilder von wiedergegebenen Dokumenten oder Informationsanzeigen erfassen und Aktionen basierend auf diesen Erfassungen durchführen.
TEIL II – ÜBERBLICK ZU DEN BEREICHEN DES SYSTEMS
Da Papier-Digital-Integration üblicher wird, gibt es viele Aspekte bereits vorhandener Technologien, die verändert werden können, um diese Integration besser auszunutzen oder ihr zu ermöglichen, effektiver implementiert zu werden. Dieser Abschnitt beleuchtet einige dieser Themen.
3. Suche
Einen Dokumentenkorpus zu durchsuchen, selbst in der Größe des World Wide Web, ist mittlerweile alltäglich für den durchschnittlichen Benutzer, der eine Tastatur verwendet, um eine Suchanfrage aufzubauen, die an eine Suchmaschine gesendet wird. Dieser und der folgende Abschnitt besprechen Aspekte sowohl hinsichtlich des Ausbaus einer Abfrage, die durch eine Erfassung eines wiedergegebenen Dokuments veranlasst wird, als auch der Suchmaschine, die eine solche Abfrage bearbeitet.
3.1. Erfassen/Sprechen/Eingeben als Suchabfrage
Die Verwendung des beschriebenen Systems beginnt normalerweise damit, dass unter Verwendung eines beliebigen von mehreren Verfahren, einschließlich der vorstehend genannten, einige Wörter aus einem wiedergegebenen Dokument erfasst werden Wenn die Eingabe eine Deutung erfordert, um sie in Text umzuwandeln, wie beispielsweise im Fall von OCR oder Spracheingabe, kann es in dem System ein End-to-End-Feedback geben, sodass der Dokumentenkorpus verwendet werden kann, um den Erkennungsprozess zu verbessern. End-to-End-Feedback kann durch Durchführen einer Approximation der Erkennung oder Deutung, Identifizieren eines Satzes von einem oder mehreren übereinstimmenden Kandidatendokumenten und anschließendem Verwenden von Informationen aus den möglichen Übereinstimmungen in den Kandidatendokumenten, um die Erkennung oder Deutung weiter zu verfeinem oder zu beschränken, angewendet werden. Unterlagen von Bewerbern können nach ihrer wahrscheinlichen Relevanz (z. B. basierend auf der Anzahl der anderen Benutzer, die Informationen aus diesen Dokumenten erfasst haben, oder deren Popularität im Internet) gewichtet werden, wobei diese Gewichtungen in diesem iterativen Erkennungsprozess angewendet werden können.
3.2. Suche nach kurzen Wortverbindungen
Da das selektive Leistungsvermögen einer auf wenigen Wörtern basierenden Suchabfrage deutlich verbessert wird, wenn die relativen Positionen dieser Wörter bekannt sind, muss nur eine kleine Menge an Text erfasst werden, damit das System den Ort des Textes in einem Korpus identifizieren kann In den meisten Fällen wird der Eingabetext eine zusammenhängende Wortfolge sein, wie etwa ein kurzer Satz.
3.2.1. Finden des Dokuments und der Position im Dokument aus der Kurzerfassung
Neben dem Auffinden des Dokuments, aus welchem eine Wortverbindung stammt, kann das System die Stelle in diesem Dokument identifizieren und kann Aktionen basierend auf dieser Kenntnis einleiten.
3.2.2. Andere Verfahren zum Auffinden der Stelle
Das System kann auch andere Verfahren zur Auffindung des Dokuments und der Stelle einsetzen, wie etwa durch Verwenden von Wasserzeichen oder anderen speziellen Markierungen auf dem wiedergegebenen Dokument.
3.3. Einbeziehung weiterer Faktoren in die Suchabfrage
Neben dem erfassten Text können auch andere Faktoren (d. h. Informationen über Benutzeridentität, Profit und Kontext) Teil der Suchabfrage sein, wie etwa die Erfassungszeit, die Identität und der geografische Standort des Benutzers, Kenntnisse über die Gewohnheiten und jüngsten Aktivitäten des Benutzers usw.
Dokumentidentität und andere Informationen im Zusammenhang mit vorherigen Erfassungen, besonders, wenn sie erst kürzlich erfolgt sind, können Teil einer Suchabfrage sein.
Die Identität des Benutzers kann aus einer eindeutigen Kennung, die mit einer Erfassungsvorrichtung assoziiert ist, und/oder aus biometrischen oder anderen ergänzenden Informationen (Sprache, Fingerabdrücke usw.) bestimmt werden
3.4. Wissen um die Art der Unzuverlässigkeit bei Suchabfragen (OCR-Fehler etc)
Die Suchabfrage kann unter Berücksichtigung der Fehlertypen, die bei dem jeweiligen verwendeten Erfassungsverfahren wahrscheinlich auftreten, aufgebaut werden. Ein Beispiel dafür ist eine Anzeige vermuteter Fehler bei der Erkennung spezieller Zeichen; in diesem Fall kann eine Suchmaschinen diese Zeichen als Platzhalter behandeln oder ihnen eine geringere Priorität zuweisen.
3.5. Lokales Zwischenspeichern des Index zur Leistungssteigerung/Offline-Verwendung
Gelegentlich kann die Erfassungsvorrichtung zum Zeitpunkt der Datenerfassung nicht in Verbindung mit der Suchmaschine oder dem Korpus stehen. Aus diesem Grund können Informationen, die für die Offline-Verwendung der Vorrichtung hilfreich sind, im Voraus auf die Vorrichtung oder eine Entität, mit der die Vorrichtung kommunizieren kann, heruntergeladen werden. In einigen Fällen kann die Gesamtheit oder ein wesentlicher Teil eines Indexes, der mit einem Korpus assoziiert ist, heruntergeladen werden. Dieses Thema wird in Abschnitt 15.3 näher besprochen.
3.6. Abfragen, egal in welcher Form, können aufgezeichnet und später durchgeführt werden.
Wenn es wahrscheinlich ist, dass mit dem Übermitteln einer Abfrage oder dem Empfangen der Ergebnisse Verzögerungen oder Kosten verbunden sind, können diese vorgeladenen Informationen die Leistungsfähigkeit der lokalen Vorrichtung verbessern, Kommunikationskosten reduzieren und hilfreiches und zeitnahes Benutzerfeedback bereitstellen.
In der Situation, in der keine Kommunikation möglich ist (die lokale Vorrichtung ist „offline”), können die Abfragen gespeichert und zu einem Zeitpunkt, wenn die Kommunikation wiederhergestellt ist, an das restliche System übertragen werden.
In diesen Fällen kann es wichtig sein, mit jeder Abfrage einen Zeitstempel zu übertragen. Die Erfassungszeit kann einen erheblichen Faktor bei der Auslegung der Abfrage darstellen. Abschnitt 13.1 bespricht beispielsweise die Bedeutung der Erfassungszeit im Verhältnis zu früheren Erfassungen. Es ist wichtig zu beachten, dass der Erfassungszeitpunkt nicht immer derselbe sein wird wie der Zeitpunkt, zu dem die Abfrage ausgeführt wird.
3.7. Paralleles Suchen
Aus Gründen der Leistungsfähigkeit können in Reaktion auf eine einzelne Erfassung mehrere Abfragen gestartet werden, entweder nacheinander oder parallel. In Reaktion auf eine einzelne Erfassung können etliche Abfragen gesendet werden, beispielsweise wenn neue Wörter zu der Erfassung hinzugefügt werden, oder um mehrere Suchmaschinen parallel abzufragen.
In einigen Beispielen sendet das System Abfragen beispielsweise an einen speziellen Index für das aktuelle Dokument, an eine Suchmaschine auf einer lokalen Maschine, an eine Suchmaschine im Unternehmensnetzwerk und an entfernte Suchmaschinen im Internet.
Den Ergebnissen bestimmter Suchen kann eine höhere Priorität eingeräumt werden, als denen anderer.
Die Antwort auf eine gegebene Abfrage kann anzeigen, dass andere ausstehende Abfragen überflüssig sind; diese können vor Beendigung abgebrochen werden.
4. Papier und Suchmaschinen
Es ist oftmals erstrebenswert, dass eine Suchmaschine, die herkömmliche Online-Abfragen bearbeitet, auch solche verarbeitet, die aus wiedergegebenen Dokumenten stammen. Herkömmliche Suchmaschinen können auf vielfältige Weise verbessert oder modifiziert werden, damit sie sich besser zur Verwendung mit dem beschriebenen System eignen.
Die Suchmaschine und/oder anderen Komponenten des Systems können Indizes erstellen und verwalten, die unterschiedliche oder zusätzliche Funktionen haben Das System kann eine eingehende, aus Papier stammende Abfrage modifizieren oder die Art verändern, wie die Abfrage in der resultierenden Suche bearbeitet wird, und diese aus Papierdokumenten stammenden Abfragen somit von denen unterscheiden, die aus Abfragen, die in einen Webbrowser eingetippt wurden, und aus anderen Quellen stammen. Zudem kann das System, wenn die Ergebnisse ausgegeben werden, die aus den aus Papier stammenden Suchen hervorgegangen sind, unterschiedliche Aktionen im Vergleich zu denen aus anderen Quellen einleiten oder unterschiedliche Optionen anbieten. Jeder dieser Ansätze wird nachstehend besprochen.
4.1. Indexierung
Oft kann der selbe Index unter Verwendung von entweder aus Papier stammenden oder herkömmlichen Abfragen durchsucht werden, wobei der Index für die Verwendung in dem aktuellen System jedoch auf vielfältige Weise verbessert werden kann.
4.1.1. Kenntnisse über die Papierform
Zu einem solchen Index können zusätzliche Felder hinzugefügt werden, die im Fall einer papierbasierten Suche helfen werden.
Indexeintrag, der Dokumentenverfügbarkeit in Papierform angibt
Das erste Beispiel ist ein Feld, das anzeigt, dass das Dokument in Papierform existiert oder verbreitet wird. Das System kann solchen Dokumenten eine höhere Priorität geben, wenn die Abfrage papierbasiert ist.
Kenntnisse über die Beliebtheit der Papierform
In diesem Beispiel werden statistische Daten bezüglich der Beliebtheit von Papierdokumenten (und optional hinsichtlich der Teilbereiche innerhalb dieser Dokumente) – zum Beispiel der Umfang der Erfassungsaktivität, Umlaufzahlen, die von den Herausgebern oder anderen Quellen bereitgestellt werden, usw. – verwendet, um solchen Dokumenten eine höhere Priorität zu geben, um die Priorität von digitalen Dokumentgegenstücken anzuheben (zum Beispiel bei browserbasierten Abfragen oder Websuchen) usw.
Kenntnisse über wiedergegebenes Format
Ein weiteres wichtiges Beispiel ist das Aufzeichnen von Informationen über das Layout einer bestimmten Wiedergabe eines Dokuments.
Für eine bestimmte Ausgabe eines Buches, kann beispielsweise der Index Informationen darüber beinhalten, an welchen Stellen Zeilenumbrüche und Seitenumbrüche auftreten, welche Schriftarten und ungewöhnlichen Großschreibungen verwendet wurden.
Der Index kann außerdem Informationen über die Nähe zu anderen Elementen auf der Seite beinhalten, wie etwa Bilder, Textboxen, Tabellen und Werbeanzeigen beinhalten.
Verwendung semantischer Informationen im Original
Zuletzt können auch semantische Informationen, die aus dem Quellemarkup abgeleitet werden können, in dem Papierdokument jedoch nicht offensichtlich sind, wie etwa der Umstand, dass ein bestimmter Textteil auf ein zum Verkauf angebotenes Produkt verweist oder dass ein bestimmter Absatz Programmcode enthält, in dem Index aufgezeichnet werden.
4.1.2. Indexierung bei Kenntnis des Erfassungsverfahrens
Ein zweiter Faktor, der die Art des Indexes verändern kann, ist die Kenntnis der wahrscheinlich verwendeten Erfassungsart. Einer Suche, die durch ein erfasstes Bild von Text initiiert wird, kann es nützen, wenn der Index Zeichen berücksichtigt, die beim OCR-Prozess leicht verwechselt werden können, oder einige Kenntnisse über die in dem Dokument verwendeten Schriftarten beinhaltet. Beispielsweise kann die Reihenfolge des Buchstabens „r”, gefolgt von dem Buchstaben „n”, mit dem Buchstaben „m” im OCR-Prozess verwechselt werden Dementsprechend können die Zeichenfolgen „m” oder „m” mit denselben Dokumentgruppen im Index verknüpft sein Gleichermaßen kann, wenn die Abfrage aus einer Spracherkennung hervorgeht, ein Index, der auf ähnlich klingenden Phonemen basiert, wesentlich effizienter durchsucht werden. Als weiteres Beispiel kann das System ein Dokument vor Indexieren des Dokuments künstlich verwackeln, um die Unschärfe, die wahrscheinlich auftreten wird, wenn ein Benutzer Bilder des Dokuments durch Bewegen einer Erfassungsvorrichtung über dem Dokument aufnimmt, widerzuspiegeln Ähnliche Techniken können das System widerstandsfähig gegenüber schlechter Optik, Rauschen usw. machen. Ein weiterer Faktor, der sich auf die Verwendung des Indexes in dem beschriebenen Modell auswirken kann, ist die Bedeutung iterativen Feedbacks während des Erkennungsprozesses. Wenn die Suchmaschine in der Lage ist, Feedback von dem Index bereitzustellen, während der Text erfasst wird, kann sie die Genauigkeit der Erfassung erheblich erhöhen.
Indexierung unter Verwendung von Offsets
Wenn der Index voraussichtlich mit den in Abschnitt 9 beschriebenen Offset-basierten/Autokorrelations-OCR-Verfahren durchsucht wird, speichert das System in einigen Beispielen die entsprechenden Offset- oder Signaturinformationen in einem Index.
4.1.3. Mehrere Indizes
Zuletzt kann es, in dem beschriebenen System, üblich sein, Suchen in mehreren Indizes durchzuführen Indizes können auf mehreren Maschinen in einem Unternehmensnetzwerk verwaltet werden. Teilindizes können auf die Erfassungsvorrichtung oder auf eine Maschine in der Nähe der Erfassungsvorrichtung heruntergeladen werden. Für Benutzer oder Gruppen von Benutzern mit bestimmten Interessen, Gewohnheiten oder Berechtigungen können getrennte Indizes erstellt werden Für jedes Dateisystem, jedes Verzeichnis, selbst für jede Datei auf der Festplatte eines Benutzers kann ein Index vorhanden sein. Indizes werden von Benutzern und von Systemen veröffentlicht und abonniert. Es wird daher wichtig sein, Indizes zu erstellen, die effizient verteilt, hochgeladen, zusammengeführt und getrennt werden können.
4.2. Bearbeiten der Abfragen
4.2.1. Kenntnis, dass die Erfassung von Papier erfolgt
Eine Suchmaschine kann unterschiedliche Aktionen einleiten, wenn sie erkennt, dass eine Suchabfrage aus einem Papierdokument stammt. Die Maschine kann die Abfrage derart bearbeiten, dass sie beispielsweise toleranter gegenüber Fehlertypen ist, die bei bestimmten Erfassungsverfahren eher auftreten.
Sie kann in der Lage sein, dies aus einem Indikator abzuleiten, der in der Abfrage enthalten ist (zum Beispiel eine Flagge, die die Art der Erfassung anzeigt), oder kann dies von der Abfrage selbst ableiten (zum Beispiel kann sie Fehler oder Unsicherheiten erkennen, die typisch für OCR-Prozesse sind).
Alternativ können Abfrage von einer Erfassungsvorrichtung die Maschine über einen Kanal oder Anschluss oder eine Verbindungsart erreichen, die sich von denen der anderen Quellen unterscheiden, und können auf diese Weise unterschieden werden Einige Beispiele des Systems leiten Abfragen beispielsweise mittels eines dedizierten Gateways an die Suchmaschine weiter. Somit weiß die Suchmaschine, dass alle Abfragen, die über das dedizierte Gateway laufen, aus einem Papierdokument stammen.
4.2.2. Verwenden von Kontext
Der nachstehende Abschnitt 13 beschreibt eine Vielzahl von unterschiedlichen Faktoren, die in Bezug auf den erfassten Text selbst extern sind, die aber dennoch eine große Hilfe beim Identifizieren eines Dokuments darstellen können. Dazu gehören solche Dinge wie der Verlauf kürzlich erfolgter Erfassungen, die längerfristigen Lesegewohnheiten eines bestimmten Benutzers, der geografische Standort eines Benutzers und die kürzlich erfolgte Verwendung von bestimmten elektronischen Dokumenten. Diese Faktoren werden hierin als „Kontext” bezeichnet.
Ein Teil des Kontextes kann durch die Suchmaschine selbst bearbeitet werden und sich in den Suchergebnissen widerspiegeln. Beispielsweise kann die Suchmaschine der Erfassungsverlauf eines Benutzers verfolgen und kann dieser Erfassungsverlauf außerdem mit einem Querverweis auf herkömmliche tastaturbasierte Abfragen versehen. In diesen Fallen kann die Suchmaschine mehr Zustandsinformationen als die meisten herkömmlichen Suchmaschinen über jeden einzelnen Benutzer verwalten und verwenden, und jede Interaktion mit einer Suchmaschine kann derart angesehen werden, dass sie sich über mehrere Suchen und einen längeren Zeitraum als heutzutage üblich erstreckt.
Ein Teil des Kontextes kann in der Suchabfrage an die Suchmaschine übertragen werden (Abschnitt 3.3) und kann eventuell in der Maschine gespeichert werden, um bei zukünftigen Abfragen mitzuwirken. Zuletzt wird ein Teil des Kontextes besser anderswo bearbeitet und wird so zu einem Filter oder einer sekundären Suche, die auf die Ergebnisse der Suchmaschine angewendet wird.
Beitrag eines Datenstroms zur Suche
Eine wichtiger Beitrag zu dem Suchprozess ist der breitere Kontext davon, wie die Benutzergemeinschaft mit der wiedergegebenen Version der Dokumente interagiert – zum Beispiel, welche Dokumente am häufigsten gelesen werden, und von wem. Es gibt Analogien zu einer Websuche, die die Seiten, auf die am häufigsten verlinkt wird, oder solche, die aus vergangenen Suchergebnissen am häufigsten ausgewählt wurden, ausgibt. Für weitere Diskussion zu diesem Thema siehe Abschnitt 13.4 und 14.2.
4.2.3. Dokument-Teilbereiche
Das beschriebene System kann nicht nur Informationen über Dokumente als Ganzes, sondern auch Informationen über Teilbereiche von Dokumenten, sogar bis hin zu einzelnen Wörtern, ausgeben und verwenden. Viele der bestehenden Suchmaschinen konzentrieren sich einfach darauf, ein Dokument oder eine Datei zu lokalisieren, die für eine bestimmte Abfrage relevant ist. Diejenigen, die mit einer feineren Körnung arbeiten und eine Stelle innerhalb eines Dokuments identifizieren können, bieten einen erheblichen Vorteil für das beschriebene System.
4.3. Ausgeben der Ergebnisse
Die Suchmaschine kann einige der zusätzlichen Informationen, die sie nun verwaltet, verwenden, um die ausgegebenen Suchergebnisse zu beeinflussen.
Das System kann außerdem bestimmte Dokumente ausgeben, auf die der Benutzer nur infolgedessen Zugang hat, dass er im Besitz der Papierausgabe ist (Abschnitt 7.4).
Die Suchmaschine kann über den einfachen Abruf des Textes hinaus auch neue Aktionen oder Optionen anbieten, die für das beschriebene System geeignet sind.
5. Markup. Anmerkungen. Verbesserung. Metadaten
Neben dem Durchführen des Erfassen-Suchen-Abrufen Prozesses, verknüpft das beschriebene System außerdem zusätzliche Funktionalität mit einem Dokument, und insbesondere mit spezifischen Stellen oder Segmenten von Text innerhalb eines Dokuments. Diese zusätzliche Funktionalität ist oftmals, wenn auch nicht exklusiv, mit dem wiedergegebenen Dokument verbunden, indem es mit dessen elektronischem Gegenstück verknüpft ist. Als ein Beispiel könnten Hyperlinks auf einer Webseite dieselbe Funktionalität aufweisen, wenn ein Ausdruck dieser Webseite erfasst wird. In einigen Fällen ist diese Funktionalität nicht in dem elektronischen Dokument definiert, sondern ist gespeichert oder wird anderswo erzeugt.
Diese Schicht der zusätzlichen Funktionalität wird hierin als „Markup” bezeichnet.
5.1. Überlagerungen, statisch und dynamisch
Eine Möglichkeit, sich das Markup vorzustellen, ist als eine „Überlagerung” auf dem Dokument, welche weitere Informationen über das Dokument oder einen Teil davon bereitstellt – und Aktionen spezifizieren kann, die damit in Verbindung stehen. Das Markup kann für Menschen lesbare Inhalte beinhalten, ist für einen Benutzer aber oftmals unsichtbar und/oder zur Maschinennutzung bestimmt. Zu Beispielen gehören Optionen, die in einem Popup-Menü auf einer nahegelegenen Anzeige angezeigt werden sollen, wenn ein Benutzer Text aus einem bestimmten Bereich in einem wiedergegebenen Dokument erfasst, oder Audiosamples, die die Aussprache einer bestimmten Wortverbindung veranschaulichen. Als ein weiteres Beispiel kann das System einen Jingle abspielen, der mit einer Werbeanzeige assoziiert ist, wenn ein Benutzer die Werbeanzeige aus dem wiedergegebenen Dokument erfasst.
5.1.1. Mehrere Ebenen, womöglich aus mehreren Quellen
Jedes Dokument kann mehrere Überlagerungen gleichzeitig aufweisen, und diese können von einer Reihe von Orten stammen. Markup-Daten können von dem Autor des Dokuments oder vom Benutzer oder von Dritten erstellt oder bereitgestellt werden.
Markup-Daten können an das elektronische Dokument angehängt werden oder darin eingebettet sein. Sie können sich an einem herkömmlichen Ort befinden (zum Beispiel an dem selben Ort wie das Dokument, jedoch mit einer anderen Dateinamenendung). Markup-Daten können in den Suchergebnissen der Abfrage enthalten sein, die das Originaldokument gefunden hat, oder können durch eine separate Abfrage an dieselbe oder eine andere Suchmaschine gefunden werden. Markup-Daten können unter Verwendung des ursprünglichen erfassten Textes und anderer Erfassungsinformationen oder Kontextinformationen gefunden werden, oder können unter Verwendung bereits abgeleiteter Informationen über das Dokument und den Ort der Erfassung gefunden werden. Markup-Daten können selbst dann an einem Ort gefunden werden, der in dem Dokument spezifiziert ist, wenn das Markup selbst nicht in dem Dokument enthalten ist.
Das Markup kann, in ähnlicher Weise dazu, wie Links auf einer herkömmlichen HTML-Webseite oftmals als statische Daten innerhalb des HTML-Dokuments eingebettet sind, größtenteils statisch und spezifisch für das Dokument sein, wobei Markup jedoch auch dynamisch erzeugt und/oder auf eine große Anzahl von Dokumenten angewendet werden kann. Ein Beispiel für dynamisches Markup sind an ein Dokument angehängte Informationen, die aktuelle Aktienpreise von Unternehmen beinhalten, die in diesem Dokument erwähnt werden. Ein Beispiel für ein vielseitig angewendetes Markup sind Übersetzungsinformationen, die in mehreren Dokumenten oder Abschnitten von Dokumenten automatisch in einer bestimmten Sprache verfügbar sind.
5.1.2. Persönliche „Plugin”-Ebenen
Benutzer können Markupdaten auch installieren oder bestimmte Quellen dafür abonnieren und somit die Reaktion des Systems auf bestimmte Erfassungen personalisieren.
5.2. Schlüsselwörter und Phrasen, Marken und Logos
Einige Elemente in Dokumenten können ein bestimmtes „Markup” oder eine Funktionalität, die mit ihnen assoziiert ist, basierend auf ihren eigenen Eigenschaften anstatt auf ihrer Position in einem bestimmten Dokument, aufweisen Zu Beispielen gehören spezielle Markierungen, die in dem Dokument nur zu dem Zweck abgedruckt sind, erfasst zu werden, sowie Logos und Handelsmarken, die den Benutzer mit weiteren Informationen über die betreffende Organisation verbinden können. Dasselbe gilt für „Schlüsselwörter” oder „Schlüsselwortverbindungen” in dem Text. Organisationen können bestimmte Wortverbindungen registrieren, mit denen sie assoziiert sind oder mit denen sie gerne assoziiert sein würden, und diesen bestimmtes Markup beifügen, das überall dort verfügbar wäre, wo diese Wortverbindung erfasst wird.
Jedes Wort, jede Wortverbindung usw. kann dazugehöriges Markup aufweisen Zum Beispiel kann das System bestimmte Items zu einem Popup-Menü (z. B. einen Link auf eine Online-Buchhandlung) immer dann hinzufügen, wenn der Benutzer das Wort „Buch” oder den Titel eines Buches oder eines Themas im Zusammenhang mit Büchern erfasst. In einigen Beispielen des Systems werden digitale Dokumentgegenstücke oder Indizes herangezogen, um zu bestimmen, ob eine Erfassung in der Nähe des Wortes „Buch” oder des Titels eines Buches oder eines Themas im Zusammenhang mit Büchern stattgefunden hat – und das Systemverhalten wird gemäß dieser Nähe zu Schlüsselwort-Elementen verändert. In dem vorstehenden Beispiel ist zu beachten, dass das Markup Daten, die aus einem nicht kommerziellen Text oder Dokumenten erfasst wurden, ermöglicht, eine kommerzielle Transaktion auszulösen.
5.3. Vom Benutzer bereitgestellte Inhalte
5.3.1. Benutzerkommentare und Anmerkungen, einschließlich Multimedia
Anmerkungen sind eine andere Art elektronischer Informationen, die mit einem Dokument verbunden sein können. Zum Beispiel kann ein Benutzer eine Audiodatei seiner Überlegungen zu einem bestimmten Dokument als Sprachanmerkungen zum späteren Abrufen anfügen. Als ein anderes Beispiel für eine Multimedia-Anmerkung kann ein Benutzer Fotos von Orten anfügen, auf die in dem Dokument Bezug genommen wird. Der Benutzer stellt im Allgemeinen Anmerkungen für das Dokument bereit, doch das System kann Anmerkungen aus anderen Quellen assoziieren (andere Benutzer in einer Arbeitsgruppe können beispielsweise Anmerkungen teilen).
5.3.2. Notizen vom Korrekturlesen
Ein wichtiges Beispiel für Markup vom Benutzer ist die Kommentierung von Papierdokumenten als Teil eines Korrekturlese-, Bearbeitungs-, oder Überprüfungsvorgangs.
5.4. Inhalte Dritter
Wie zuvor erwähnt können oftmals Dritte Markup-Daten bereitstellen, wie etwa durch andere Leser des Dokuments. Ein gutes Beispiel sind Onlineunterhaltungen und Rezensionen, sowie von einer Community verwaltete Informationen im Zusammenhang mit bestimmten Werken, von Freiwilligen beigesteuerte Übersetzungen und Erklärungen.
Ein weiteres Beispiel für Markup Dritter ist das, das von Werbekunden bereitgestellt wird.
5.5. Dynamisches Markup auf Basis von Datenströmen anderer Benutzer
Indem die aus Dokumenten erfassten Daten durch mehrere oder alle Benutzer des Systems analysiert werden, kann Markup basierend auf den Aktivitäten und Interessen einer Community erzeugt werden. Ein Beispiel kann eine Online-Buchhandlung sein, die Markup oder Anmerkungen erstellt, die dem Benutzer faktisch mitteilen „Personen, denen dieses Buch gefallen hat, haben auch Gefallen gefunden an ...”. Das Markup kann weniger anonym sein und kann dem Benutzer mitteilen, welche der Personen in seiner Kontaktliste dieses Buch ebenfalls vor Kurzem gelesen haben. Weitere Beispiele für die Datenstromanalyse sind in Abschnitt 14 enthalten.
5.6. Markup auf Basis von externen Ereignissen und Datenquellen
Markup wird oftmals auf externen Ereignissen und Datenquellen, wie etwa Eingaben aus einer Unternehmensdatenbank, Informationen aus dem öffentlichen Internet oder Statistiken, die von dem lokalen Betriebssystem zusammengetragen wurden, basiert sein.
Datenquellen können auch lokal sein und insbesondere Informationen über den Kontext des Benutzers – dessen Identität, dessen Standort und dessen Aktivitäten – liefern. Beispielsweise könnte das System mit einer Mobiltelefonkomponente des Erfassungsgeräts des Benutzers kommunizieren und eine Markup-Schicht anbieten, die dem Benutzer die Möglichkeit gibt, ein Dokument an jemanden zu senden, den der Benutzer kürzlich am Telefon gesprochen hat.
5.7 Bildverbesserungen und Kompensation
In einigen Beispielen stellt das System durch Überlagern mit einer Darstellung, die das Dokument mit verschiedenen Anzeigeelementen zeigt, eine erweiterte Ansicht eines Dokuments bereit. Die erweiterte Ansicht kann ein Echtzeitbild eines Teils des Dokuments innerhalb eines Sichtfeldes eines Erfassungsgeräts mit verschiedenen Anzeigeelementen überlagern, die mit dem Dokument verknüpft sind, oder kann zugehörige elektronische Versionen oder Bilder des Dokuments, das vom System abgerufen oder erzeugt wurde, mit verschiedenen Anzeigeelementen präsentieren oder überlagern, die dem Dokument zugeordnet sind; in einigen Beispielen stellt das System Dokumenteninteraktionstechniken bereit, die verschiedene Hardwarekonfigurationen von Erfassungsgeräten, wie z. B. die Positionen von Kameras und anderen Bilderfassungskomponenten in Bezug auf die Anzeige oder einen Mittelpunkt eines Dokuments, die Größe eines Erfassungsgeräts und/oder der Anzeige des Erfassungsgeräts, kompensieren Das System kann Dokumentinteraktionstechniken bereitstellen, die es einem Benutzer ermöglichen, Papierdokumente zu navigieren, Markup in Verbindung mit Dokumenten zu identifizieren, Papierdokumente heran- oder herauszuzoomen und so weiter. Das System kann zum Beispiel auf Gesten reagieren, die von einem Benutzer einer Erfassungsvorrichtung durchgeführt werden, wie etwa Gesten, die eine Erfassungsvorrichtung im Verhältnis zu einem Papierdokument in verschiedenen Richtungen bewegen Neben anderen Vorteilen ermöglicht das System Benutzern somit, mit Papierdokumenten, Zielobjekten und anderen Anzeigen von Informationen unter Verwendung von Multifunktionsmobilgeräten zu interagieren, die nicht notwendigerweise nur dafür hergestellt wurden, mit Informationen zu interagieren oder Informationen aus der Umgebung um die Vorrichtung herum zu erfassen.
6. Authentifizierung, Personalisierung und Sicherheit
In vielen Situationen wird die Identität des Benutzer bekannt sein. Diese kann gelegentlich eine „anonyme Identität” sein, wobei der Benutzer beispielsweise nur über die Seriennummer der Erfassungsvorrichtung identifiziert wird. Normalerweise wird jedoch davon ausgegangen, dass das System über wesentlich detailliertere Kenntnisse über den Benutzer verfügt, die verwendet werden können, um das System zu personalisieren und zu erlauben, dass Aktivitäten und Transaktionen im Namen des Benutzers durchgeführt werden.
6.1. Benutzerverlauf und „Lebensbibliothek”
Eine der einfachsten und dennoch nützlichsten Funktionen, die das System durchführen kann, ist es, Aufzeichnungen für einen Benutzer über den Text, den er/sie erfasst hat, und über jegliche weitere Informationen in Verbindung mit der Erfassung, einschließlich der Details über jedes gefundene Dokument, der Stelle innerhalb des Dokuments und aller als Ergebnis eingeleiteten Aktionen, zu machen. In einigen Beispielen kann das System erfasste Informationen an eine benutzerdefinierte E-Mail-Adresse senden, wobei ein Benutzer mittels eines E-Mail-Clients über ein E-Mail-Protokoll, wie etwa POP3, IMAP usw., auf die erfassten Informationen zugreifen kann. Darüber hinaus können die erfassen Informationen, die als E-Mail gespeichert werden, einen Link zu einer umfangreicheren Lebensbibliothekserfahrung beinhalten. wie etwa die, die in Abschnitt 16.1 beschrieben sind.
Die gespeicherten Informationen sind sowohl für den Benutzer, als auch für das System nützlich.
6.1.1. Für den Benutzer
Dem Benutzer kann eine „Lebensbibliothek” präsentiert werden, eine Aufzeichnung über alles, was er/sie gelesen und erfasst hat. Diese kann allein zum eigenen Interesse dienen, kann aber beispielsweise auch in einer Bibliothek von einem Akademiker verwendet werden, der Material für die Bibliografie seiner nächsten Arbeit zusammenträgt.
Unter einigen Umständen kann der Benutzer wünschen, die Bibliothek öffentlich zu machen, wie etwa durch Veröffentlichen dieser im Netz ähnlich zu einem Weblog, sodass andere sehen können, was er/sie liest und interessant findet.
Zuletzt kann die Erfassung, in Situationen, in denen der Benutzer Text erfasst und das System nicht unmittelbar bei Erfassung agieren kann (zum Beispiel, weil eine elektronische Version des Dokuments noch nicht zur Verfügung steht), in der Bibliothek gespeichert werden und kann später, entweder automatisch oder in Reaktion auf eine Benutzeranfrage, verarbeitet werden. Ein Benutzer kann außerdem neue Markup-Dienste abonnieren und diese auf vorherige Erfassungen anwenden.
6.1.2. Für das System
Eine Aufzeichnung über zurückliegende Erfassungen eines Benutzers ist auch für das System nützlich. Die Lesegewohnheiten und den -verlauf des Benutzer zu kennen, kann viele Aspekte des Systembetriebs verbessern. Das einfachste Beispiel ist, dass jede Erfassung, die von einem Benutzer durchgeführt wird, wahrscheinlicher aus einem Dokument stammt, aus dem der Benutzer in der jüngeren Vergangenheit Informationen erfasst hat, wobei es insbesondere dann, wenn die vorherige Erfassung innerhalb der letzten paar Minuten erfolgt ist, sehr wahrscheinlich ist, dass sie aus demselben Dokument stammt. Gleichermaßen ist es wahrscheinlicher, dass ein Dokument in einer Anfang-bis-Ende-Reihenfolge gelesen wird. Bei englischen Dokumenten ist es daher ebenfalls wahrscheinlicher, dass spätere Erfassungen weiter unten in dem Dokument erfolgen werden. Derartige Faktoren können dem System dabei helfen, in Fällen von Mehrdeutigkeit den Ort der Erfassung festzustellen, und können zudem die Menge an Text reduzieren, der erfasst werden muss.
6.2. Erfassungsvorrichtung als Zahlungs-, Identitäts- und Authentifizierungsvorrichtung
Da der Erfassungsprozess im Allgemeinen mit irgendeiner Art Vorrichtung beginnt, kann die Vorrichtung als ein Schlüssel verwendet werden, der den Benutzer identifiziert und bestimmte Aktionen autorisiert.
6.2.1. Erfassungsvorrichtung mit Benutzerkonto verknüpfen
Die Erfassungsvorrichtung kann mit einem Mobiltelefonkonto verknüpft werden. Die Erfassungsvorrichtung kann mit einem Mobilfunkkonto beispielsweise durch Einsetzen einer SIM-Karte, die mit dem Konto verbunden ist, in die Erfassungsvorrichtung verknüpft werden. Gleichermaßen kann die Vorrichtung in einer Kreditkarte oder anderen Zahlungskarte eingebettet sein oder die Möglichkeit bieten, dass eine solche Karte mit ihr verbunden wird. Die Vorrichtung kann daher als ein Zahlungstoken verwendet werden und Finanztransaktionen können durch die Erfassung aus dem wiedergegebenen Dokument initiiert werden.
6.2.2. Verwenden von Erfassung zur Authentifizierung
Die Erfassungsvorrichtung kann zudem mit einem bestimmten Benutzer oder Konto verknüpft werden, über den Prozess des Erfassen eines Tokens, Symbols oder Textes in Verbindung mit diesem Benutzer oder Konto. Darüber hinaus kann die Erfassungsvorrichtung zur biometrischen Identifikation verwendet werden, zum Beispiel durch Erfassen eines Fingerabdrucks des Benutzers. Im Fall einer audiobasierten Erfassungsvorrichtung kann das System den Benutzer durch Abgleichen des Stimmmusters des Benutzers oder durch Erfordern, dass der Benutzer ein bestimmtes Passwort oder einen Satz sagt, identifizieren.
Wenn ein Benutzer beispielsweise ein Zitat aus einem Buch erfasst und ihm die Option bereitgestellt wird, das Buch von einem Onlinehändler zu kaufen, kann der Benutzer diese Option auswählen und wird anschließend aufgefordert, seinen/ihren Fingerabdruck zu erfassen, um die Transaktion zu bestätigen
Siehe auch Abschnitte 15.5 und 15.6.
6.2.3. Sichere Erfassungsvorrichtung
Wenn die Erfassungsvorrichtung verwendet wird, um den Benutzer zu identifizieren und zu authentifizieren, und um Transaktionen im Namen des Benutzers zu initiieren, ist es wichtig, dass Kommunikationen zwischen der Vorrichtung und anderen Teilen des Systems sicher sind. Außerdem ist es wichtig, vor Situationen, wie dass eine andere Vorrichtung eine Erfassungsvorrichtung imitiert, und sogenannten „Man-In-The-Middle”-Angriffen, bei denen eine Kommunikation zwischen der Vorrichtung und anderen Komponenten abgehört wird, zu schützen.
Techniken zum Bereitstellen einer solcher Sicherheitsmaßnahmen sind auf dem Gebiet hinlänglich bekannt; in verschiedenen Beispielen sind die Hardware und Software in der Vorrichtung und anderswo in dem System konfiguriert, solche Techniken zu implementieren.
7. Veröffentlichungsmodelle und -elemente
Ein Vorteil des beschriebenen Systems ist, dass es, um viele der Vorteile des Systems zu erhalten, nicht erforderlich ist, die üblichen Prozesse des Erzeugen, Druckens oder Veröffentlichen von Dokumenten zu verändern. Es gibt jedoch Gründe, dass die Ersteller oder Herausgeber eines Dokuments – nachstehend einfach als „Herausgeber” bezeichnet – die Funktionalität zur Unterstützung des beschriebenen Systems ggf. herstellen möchten.
Dieser Abschnitt befasst sich hauptsächlich mit den veröffentlichten Dokumenten selbst. Für Informationen über andere damit im Zusammenhang stehende kommerzielle Transaktionen, wie etwa Werbung, siehe Abschnitt 10 mit der Überschrift „P-Commerce”.
7.1. Elektronische Pendants zu gedruckten Dokumenten
Das System ermöglicht es, dass gedruckte Dokumente einen zugehörigen elektronischen Auftritt aufweisen. Üblicherweise liefern Herausgeber oftmals eine CD-ROM mit einem Buch aus, die weitere digitale Informationen, Anleitungsvideos und andere Multimediadaten, Beispielcode oder Dokumente oder weiteres Referenzmaterial enthält. Zusätzlich unterhalten einige Herausgeber Webseiten in Verbindung mit bestimmten Veröffentlichungen, welche derartige Materialien sowie Informationen, die nach dem Zeitpunkt der Veröffentlichung aktualisiert werden können, wie etwa Fehlerverzeichnisse, weitere Kommentare, aktualisierte Referenzmaterialien, Bibliografien und weitere Quellen für relevante Daten und Übersetzungen in andere Sprachen, zur Verfügung stellen. Online-Foren ermöglichen es den Lesern, ihre Kommentare zu der Veröffentlichung einzubringen.
Das beschriebene System ermöglicht es, dass derartige Materialien wesentlich enger als je zuvor mit dem wiedergegebenen Dokument in Verbindung stehen, und ermöglicht es dem Benutzer, diese wesentlich einfacher aufzufinden und damit zu interagieren. Durch Erfassen eines Teils eines Textes aus dem Dokument kann das System den Benutzer automatisch mit digitalen Materialien, die mit dem Dokument verknüpft sind und insbesondere mit dem spezifischen Teil des Dokuments verknüpft sind, vernetzen und diese Materialien auf der Erfassungsvorrichtung anzeigen. Gleichermaßen kann der Benutzer über die Erfassungsvorrichtung mit Onlinecommunities, die sich mit diesem Abschnitt des Textes auseinandersetzen, oder mit Anmerkungen und Kommentaren von anderen Lesern vernetzt werden. In der Vergangenheit hätten derartige Informationen typischerweise durch Suchen nach einer bestimmten Seitenzahl oder einem Kapitel aufgefunden werden müssen.
Eine beispielhafte Anwendung hierfür findet sich auf dem Gebiet wissenschaftlicher Lehrbücher (Abschnitt 17.5).
7.2. „Abonnements” für gedruckte Dokumente
Einige Herausgeber können über Mailinglisten verfügen, für die sich die Leser anmelden können, wenn sie über neues relevantes Material, oder wenn eine neue Ausgabe des Buches veröffentlicht wird, benachrichtigt werden wollen. Mit dem beschriebenen System kann der Benutzer sein Interesse an bestimmten Dokumenten oder Teilen von Dokumenten leichter bekunden, in einigen Fällen sogar bevor der Herausgeber ein Bereitstellen einer derartigen Funktionalität erwogen hat. Das Interesse des Lesers kann dem Herausgeber mitgeteilt werden, wodurch dessen Entscheidung darüber, wann und wo Aktualisierungen, weitere Informationen, Neuauflagen oder sogar ganz neue Publikationen zu Themen verfügbar sind, die sich für bestehende Bücher als interessant erwiesen haben, möglicherweise beeinflusst wird.
7.3. Gedruckte Markierungen, die eine spezielle Bedeutung aufweisen oder spezielle Daten enthalten
Viele Aspekte des Systems werden schlichtweg durch die Verwendung des bereits vorhandenen Textes in einem Dokument ermöglicht. Wenn das Dokument jedoch in dem Wissen hergestellt wird, dass es in Verbindung mit dem System verwendet werden kann, kann zusätzliche Funktionalität durch Drucken zusätzlicher Informationen in Form spezieller Markierungen hinzugefügt werden, welche verwendet werden können, um den Text oder eine erforderliche Aktion genauer zu identifizieren oder die Interaktion des Dokuments mit dem System anderweitig zu verbessern. Das einfachste und wichtigste Beispiel ist ein Hinweis für den Leser, dass das Dokument durch das System definitiv abrufbar ist. Beispielsweise kann ein spezielles Symbol verwendet werden, um anzuzeigen, dass dieses Dokument mit einem zugehörigen Online-Diskussionsforum verknüpft ist.
Derartige Symbole können ausschließlich für den Benutzer gedacht sein, oder sie können beim Erfassen durch das System erkannt und verwendet werden, um eine Aktion zu initiieren. In dem Symbol können ausreichend Daten codiert sein, um mehr als nur das Symbol zu identifizieren: Es kann beispielsweise außerdem Informationen über das Dokument, die Ausgabe und den Ort des Symbols speichern, die durch das System erkannt und gelesen werden können.
7.4. Autorisierung durch Besitz des Papierdokuments
Es gibt einige Situationen, in denen Besitz oder Zugriff auf das gedruckte Dokument dem Benutzer bestimmte Rechte einräumen würden, beispielsweise den Zugriff auf eine elektronische Kopie des Dokuments oder auf zusätzliche Materialien. Mit dem beschriebenen System könnten solche Rechte in einfach als Ergebnis einer Erfassung von Abschnitten des Textes aus dem Dokument oder einer Erfassung spezieller gedruckter Symbole gewährt werden. In Fällen, in denen das System sicherstellen muss, dass der Benutzer im Besitz des gesamten Dokuments war, fordert es den Benutzer ggf. dazu auf, bestimmte Elemente oder Phrasen von bestimmten Seiten, z. B. „Die zweite Zeile von Seite 46”, zu erfassen.
7.5. Dokumente, die ablaufen
Wenn das gedruckte Dokument ein Gateway zu zusätzlichen Materialien und Funktionalität ist, kann ein Zugriff auf Funktionalitäten auch zeitlich beschränkt sein. Nach dem Ablaufdatum kann von einem Benutzer verlangt werden, dass er eine Gebühr bezahlt, um eine neuere Ausgabe des Dokuments zu erhalten, um erneut auf die Funktionalitäten zugreifen zu können. Das Papierdokument kann natürlich weiterhin verwendet werden, verliert jedoch einen Teil seiner erweiterten elektronischen Funktionalität. Dies kann wünschenswert sein, zum Beispiel, weil es für den Herausgeber von Nutzen ist, Gebühren für einen Zugang zu elektronischen Materialien zu beziehen, oder es erforderlich zu machen, dass der Benutzer gelegentlich neue Ausgaben erwirbt, oder weil es Nachteile in Verbindung mit veralteten Ausgaben der gedruckten Dokumente, die im Umlauf verbleiben, gibt. Gutscheine sind ein Beispiel für eine Art kommerziellen Dokuments, das ein Ablaufdatum aufweisen kann.
7.6. Popularitätsanalyse und Veröffentlichungsentscheidungen
Abschnitt 10.5 bespricht die Verwendung der Statistiken des Systems, um die Vergütung von Autoren und die Preisgestaltung für Werbung zu beeinflussen.
In einigen Beispielen leitet das System die Popularität einer Veröffentlichung aus der Aktivität in der elektronischen Gemeinschaft, die mit dieser verknüpft ist, sowie aus der Verwendung des Papierdokuments ab. Diese Faktoren können Herausgebern helfen, Entscheidungen darüber zu treffen, was sie in Zukunft veröffentlichen werden. Wenn sich ein Kapitel in einem vorhandenen Buch beispielsweise als überaus populär herausstellt, kann es sich lohnen, dieses auf eine separate Veröffentlichung auszuweiten.
8. Dokumentzugriffsdienste
Ein wichtiger Aspekt des beschriebenen Systems ist die Fähigkeit, einem Benutzer, der Zugriff auf eine wiedergegebene Kopie eines Dokuments hat, Zugriff auf ein eine elektronische Ausgabe dieses Dokuments bereitzustellen. In einigen Fällen ist ein Dokument in einem öffentlichen Netzwerk oder einem privaten Netzwerk, zu dem der Benutzer Zugang hat, frei verfügbar. Das System verwendet den erfassten Text, um das Dokument zu identifizieren, aufzufinden und abzurufen, wobei es in einigen Fällen auf der Erfassungsvorrichtung angezeigt oder im E-Mail-Posteingang abgelegt wird.
In einigen Fällen steht ein Dokument in elektronischer Form zur Verfügung, kann dem Benutzer jedoch aus einer Vielzahl an Gründen nicht zugänglich sein. Es kann vorkommen, dass die Konnektivität nicht ausreicht, um das Dokument abzurufen, dass der Benutzer nicht berechtigt ist, es abzurufen, es können Kosten mit der Erteilung des Zugriffs darauf verbunden sein oder das Dokument kann zurückgezogen und womöglich durch eine neue Version ersetzt worden sein, um nur einige Möglichkeiten zu nehmen. Das System stellt dem Benutzer typischerweise Feedback über diese Situationen bereit.
Wie in Abschnitt 7.4 erwähnt, kann sich der Umfang oder die Art des Zugriffs, der einem bestimmten Benutzer gewährt wird, unterscheiden, wenn bekannt ist, dass der Benutzer bereits Zugriff auf eine gedruckte Ausgabe des Dokuments hat.
8.1. Authentifizierter Dokumentenzugriff
Der Zugriff auf das Dokument kann auf bestimmte Benutzer, oder solche, die bestimmte Kriterien erfüllen, beschränkt sein oder kann nur unter bestimmten Umständen möglich sein, zum Beispiel, wenn der Benutzer mit einem sicheren Netzwerk verbunden ist. Abschnitt 6 beschreibt einige der Möglichkeiten, wie die Anmeldedaten eines Benutzers und einer Erfassungsvorrichtung ermittelt werden können.
8.2. Dokumenterwerb-Urheberrechtsinhabervergütung
Dokumente, die für die allgemeine Öffentlichkeit nicht frei verfügbar sind, können bei Zahlung einer Gebühr, oftmals als Vergütung für den Herausgeber oder Urheberrechtsinhaber, dennoch zugänglich sein. Das System kann Zahlungsmöglichkeiten direkt implementieren oder kann andere Zahlungsmethoden im Zusammenhang mit dem Benutzer verwenden, einschließlich der in Abschnitt 6.2 beschriebenen.
8.3. Dokumenthinterlegung und proaktiver Abruf
Elektronische Dokumente sind oftmals flüchtig; die digitale Ausgangsversion eines wiedergegebenen Dokuments kann gegenwärtig verfügbar sein, in Zukunft jedoch unzugänglich sein. Das System kann die existierende Version im Interesse des Benutzers selbst dann, wenn der Benutzer dies nicht angefordert hat, abrufen und speichern und garantiert somit deren Verfügbarkeit, falls sie der Benutzer in Zukunft anfordern sollte. Dadurch wird sie außerdem dem System zur Verwendung bereitgestellt, zum Beispiel als Teil des Prozesses der Identifikation zukünftiger Erfassungen.
Für den Fall, dass eine Zahlung für den Zugriff auf das Dokument erforderlich ist, kann ein vertrauenswürdiger „Dokumenthinterlegungsdienst” das Dokument im Auftrag des Nutzers, z. B. bei Zahlung einer bescheidenen Gebühr, mit der Zusicherung abrufen, dass der Urheberrechtsinhaber vollständig in Zukunft entschädigt wird, wenn der Benutzer das Dokument von dem Dienst anfordern sollte.
Variationen diesbezüglich können implementiert werden, wenn das Dokument zum Zeitpunkt der Erfassung nicht in elektronischer Form verfügbar ist. Der Benutzer kann den Dienst autorisieren, in seinem/ihrem Namen eine Anfrage für das Dokument abzuschicken oder eine Zahlung dafür durchzuführen, wenn das elektronische Dokument zu einem späteren Zeitpunkt verfügbar sein sollte.
8.4. Verknüpfung mit anderen Abonnements und Konten
Zahlungen können basierend auf der bereits vorhandenen Verknüpfung des Benutzers mit einem anderen Konto oder Abonnement gelegentlich erlassen, verringert oder abgegolten werden. Abonnenten der gedruckten Version einer Zeitung können beispielsweise automatisch berechtigt sein, die elektronische Version abzurufen.
In anderen Fällen kann die Verknüpfung auch weniger direkt sein: einem Benutzer kann basierend auf einem Konto, das von dessen Arbeitgeber angelegt wurde, oder basierend auf seiner Erfassung einer gedruckten Kopie, die einem Freund gehört, der ein Abonnent ist, Zugriff gewährt werden.
8.5. Ersetzen des Fotokopierens durch Erfassen-und-Drucken
Der Prozess des Erfassen von Text von einem Papierdokument, des Identifizieren eines elektronischen Originals und des Drucken dieses Originals oder einen Teil dieses Originals, das mit der Erfassung verknüpft ist, stellt eine Alternative zum herkömmlichen Fotokopierprozess dar und bietet viele Vorteile:

• Das Papierdokument muss sich nicht am selben Ort befinden wie der endgültige Ausdruck und muss in keinem Fall zur gleichen Zeit da sein.
• die Abnutzung und Beschädigung, die an Dokumenten durch den Fotokopierprozess verursacht wird, besonders bei alten, brüchigen und wertvollen Dokumenten, kann verhindert werden
• die Qualität der Kopie ist typischerweise wesentlich höher
• es können Aufzeichnungen darüber geführt werden, welche Dokumente oder Teile von Dokumenten am häufigsten kopiert werden
• als Teil des Prozesses kann eine Zahlung an den Urheberrechteinhaber erfolgen
• nicht autorisiertes Kopieren kann untersagt werden

8.6. Auffinden wertvoller Originale aus Fotokopien
Wenn Dokumente besonders wertvoll sind, wie im Fall von Rechtspapieren oder -dokumenten, die historische oder anderweitig spezielle Bedeutung haben, können Personen typischerweise mit Kopien dieser Dokumente arbeiten, oftmals über mehrere Jahre hinweg, während die Originale an einem sicheren Ort aufbewahrt werden.
Das beschriebene System könnte mit einer Datenbank verbunden sein, welche den Standort eines Originaldokuments, beispielsweise in einem Archivierungslager, aufzeichnet, was es für jemanden mit Zugang zu einer Kopie leicht macht, das archivierte Originalpapierdokument aufzufinden.
9. Informationsverarbeitungstechnologien
Techniken zur optischen Zeichenerkennung (OCR) konzentrieren sich klassischerweise auf Bilder, die eine große Menge Text beinhalten, zum Beispiel aus einem Flachbettscanner, der eine ganze Seite aufnimmt. OCR-Technologien benötigen oftmals umfassendes Training und Korrektur durch den Benutzer, um einen brauchbaren Text zu erzeugen. OCR-Technologien erfordern eine erhebliche Verarbeitungsleistung der Maschine, die die OCR durchführt, und obwohl viele Systeme ein Wörterbuch verwenden, sollen sie im Allgemeinen mit einem quasi unendlichen Vokabular arbeiten können.
Alle der vorstehend genannten üblichen Eigenschaften können in dem beschriebenen System verbessert werden. Die hier beschriebenen Techniken, wie z. B. das Erkennen von Text, das Identifizieren von Dokumenten, das Identifizieren von Informationen und anderes, kann natürlich auch mit typischen OCR-Technologien implementiert werden.
Viele der besprochenen Probleme lassen sich direkt auf andere Erkennungstechnologien, insbesondere Spracherkennung, übertragen. Wie in Abschnitt 3.1 erwähnt, kann der Prozess des Erfassen von Papier erreicht werden, indem ein Benutzer den Text einer Vorrichtung, die Audio erfasst, laut vorliest. Fachleute werden erkennen, dass die hier in Bezug auf Bilder, Schriftarten und Textfragmente besprochenen Prinzipien oftmals auch für Audiosamples, Benutzersprachmodelle und Phoneme gelten.
Eine Erfassungsvorrichtung zur Verwendung mit dem beschriebenen System wird häufig klein sein, tragbar und einen geringen Energieverbrauch aufweisen, oder nicht nur zur Erfassung von Text hergestellt sein. Die Erfassungsvorrichtung kann optische Elemente aufweisen, die für OCR nicht ideal geeignet sein können, oder keine optischen Elemente aufweisen, die bei OCR behilflich sind.
Die Erfassungsvorrichtung erfasst möglicherweise nur wenige Wörter gleichzeitig und erfasst in einigen Implementierungen nicht mal ein ganzes Zeichen auf einmal, sondern eher einen horizontalen Teil des Textes, wobei viele solcher Teile zusammengefügt werden, um ein erkennbares Signal zu bilden, aus dem der Text abgeleitet werden kann. Die Erfassungsvorrichtung kann zudem eine sehr eingeschränkte Verarbeitungsleistung oder Speicher aufweisen, weshalb, obgleich sie in einigen Beispielen sämtliche OCR-Prozesse selbst durchführen kann, viele Beispiele auf eine Verbindung zu einer leistungsstärkeren Vorrichtung, möglicherweise zu einem späteren Zeitpunkt, angewiesen sind, um die erfassten Signale in Text umzuwandeln. Schließlich können die Möglichkeiten für Benutzerinteraktionen begrenzt sein, sodass möglicherweise alle Anfragen für Benutzereingaben auf einen späteren Zeitpunkt verschoben werden müssen oder in einem höheren Grad als bisher üblich in einem „Beste Schätzung”-Modus gearbeitet werden muss.
In einigen Beispielen verarbeitet das System erfasste Informationen durch anfängliches Ermitteln des Vorhandenseins von zu erkennenden Informationen von Interesse, wie etwa Text oder Sprache, Extrahieren von Merkmalen entsprechend der Lage der Informationen von Interesse innerhalb der erfassten Informationen, wie etwa die Position von Wörtern, Zeilen, Absätzen, Spalten usw. innerhalb einer Seite oder den spezifischen Frequenzbereich für einen bestimmten Sprecher innerhalb einer Menschenmenge, und Erkennen von Eigenschaften der Informationen von Interesse, wie etwa dem Textlayout innerhalb eines wiedergegebenen Dokuments, oder die Identifikation von Unicode-Zeichen, die erkannten Buchstaben innerhalb eines wiedergegebenen Dokuments entsprechen, um beispielsweise die Quelle des aufgenommenen Bildes zu identifizieren oder eine Markup-Ebene über dem erfassten Bild zu erzeugen und anzuzeigen. Obgleich diese Prozesse auf jedweder Art von Informationen durchgeführt werden können, beschreiben die nachstehenden Beispiele diese Prozesse in Bezug auf textbasierte wiedergegebene Dokumente.
9.1 Identifikation und Extraktion
Identifikation ist der Prozess des Bestimmens der Wahrscheinlichkeit, dass ein aufgenommenes Bild Text enthält. Da die Erfassungsvorrichtung Bilder ständig aufnehmen kann, kann das System bevor es versucht, Textmerkmale aus des erfassten Informationen zu extrahieren oder den Text zu erkennen, zunächst bestimmen, ob ein aufgenommenes Bild Text enthält. Mit anderen Worten, das System ist „Textbewusst”, sodass es jederzeit feststellen kann, ob es sich in der Gegenwart von Text befindet.
Sobald das System bestimmt, das Text vorhanden ist kann das System den Extraktionsprozess beginnen. Der Extraktionsprozess identifiziert die Lage des Textes innerhalb einer Erfassung. Der Extraktionsprozess kann zum Beispiel Bereichsgrenzen erzeugen, die Wörtern und Absätzen innerhalb des aufgenommenen Bildes entsprechen.
In den Identifikations- und Extraktionsprozessen können mehrere Faktoren enthalten sein. Wenn zum Beispiel Text analysiert wird, kann das System verschiedene Merkmale, die mit Strichen innerhalb des Textes verknüpft sind, wie beispielsweise das Vorhandensein von Kontrastkanten, das Fehlen einer Farbveränderung innerhalb von Strichen (z. B. Vergleich des Vorhandenseins von Hintergrund- und Vordergrundfarben innerhalb einer Kontur), das Vorhandensein einer gleichbleibenden Breite (horizontal, vertikal oder beides), das Vorhandensein von geraden Kanten, das Vorhandensein von glatten Kantenkurven usw., identifizieren. Als weiteres Beispiel kann das System die Periodizität oder Wiederholung von Merkmalen von potenziellem Text innerhalb eines aufgenommenen Bildes identifizieren, wie z. B. Schlagkanten, das Vorhandensein von horizontalen und/oder vertikalen Strichen, Basislinien, Höhenlinien, Winkeln zwischen dominanten vertikalen Linien und Basislinien, das Vorhandensein von Glyphen oder Glyph-Teilkomponenten (z. B. Ecken, Kurven, Diagonalen, Brücken zwischen den Abschnitten) einer Glyphe, wie z. B. einen schmalen Strich zwischen breiten Konturen in einem kalligrafischen Buchstaben, Serifen, gleichbleibende Zeilenobergrenze und Gehrungskanten usw.). Das System kann zudem Bewegungsunschärfe verwenden, um das Vorhandensein von Text basierend auf dem Vorhandensein von hellen und dunkelfarbigen Bändern in der Bewegungsrichtung, wie z. B. Hintergrund- und Vordergrundstreifenbildung im Falle einer extremen Bewegungsunschärfe entlang der horizontalen Textachse in von links nach rechts verlaufenden Skripten, identifizieren.
Zusätzliche Faktoren, die während der Identifikation und Extraktion von Text berücksichtigt werden können, beinhalten:

• Zeilen – Glyphen-Vertikale innerhalb einer Linie – Glyphen-Horizontale innerhalb einer Linie – Grundlinie – Höhe der Glyphen oder Symbole innerhalb einer Linie – Horizontale Freiräume zwischen Zeichen, Wörtern und/oder Strichen – Vertikale Freiräume zwischen Zeilen – Kanten und Ränder
• Dichte – Kontur-Hintergrund-Verhältnis – Dichte innerhalb der und zwischen den Linien
• Zeichenfolgen – N-Begriffsgruppen (Folge von N aufeinanderfolgenden Wörtern)
• Wörter
• Großbuchstaben
• Interpunktion
• Sätze (Großbuchstabe, Satzzeichen Punkt)
• Absätze
• Überschriften
• Beschriftungen – Basierend auf Nähe zu einem Bild
• Erklärungen – Felder, Symbole usw.
• Text auf Grafiken – Kurzer Text – Höherer Kontrast, Periodizität usw. als Hintergrundbild
• Logos – Firmen-/Produkt-/Servicenamen – der Hauptgeschäftslogos – Abgrenzung vom Hintergrund (z. B. ovale Umrandungen).

Ein Fachmann wird erkennen, dass das System beim Durchführen von Textidentifikation und -extraktion, und auf jeder Stufe der Analyse, beliebige oder alle der vorstehend genannten Merkmale verwenden kann. Während des Identifikationsprozesses kann sich das System zum Beispiel allein auf die Anzahl horizontaler Freiräume zwischen Zeichen stützen, während es sich während des Extraktionsprozesses auf Entfernungen zwischen den horizontalen Freiräumen und ihrer Beziehung zu Kanten innerhalb des erfassten Bildes stützt.
Das System kann eine Identifikation und Extraktion auch mit nichttextuellen Informationen durchführen, beispielsweise basierend auf großen Bereichen mit weichen Übergängen, Zufälligkeiten (z. B. Position von Stellen mit hohem Kontrast, Länge von Kanten mit hohem Kontrast, Unebenheit von Kanten mit hohem Kontrast), dem Vorhandensein von Gesichtern, Körpern oder Gebäuden innerhalb eines aufgenommenen Bildes, uneinheitlichen Liniengrößen oder verbundenen Komponenten usw.
9.2. Texterkennung
Basierend auf den extrahierten Lageinformationen kann das System versuchen, den Text oder Merkmale des Textes innerhalb des aufgenommenen Bildes zu erkennen. Das System kann den Text zum Beispiel an eine OCR-Komponente senden oder auf Basis identifizierter Merkmale des Textes (z. B. Muster von Oberlängen und/oder Unterlängen innerhalb des Textes) eine Signatur erzeugen.. Vor dem Durchführen der Texterkennung kann das System Text normalisieren oder kanonisieren, beispielsweise durch Umwandeln jedes kursiven oder fetten Texts in eine Standardformatierung.
Der Texterkennungsprozess kann sich auf mehrere Merkmale stützen, um Eigenschaften des Textes zu erkennen oder eine Signatur für ein wiedergegebenes Dokument zu erzeugen, wie etwa Zeichenmerkmale (z. B. eingeschlossene Räume, vertikale und horizontale Striche usw.), Zeichensetzung, Großschreibung, Zeichenzwischenräume, Zeilenmerkmale, Absatzmerkmale, Spaltenmerkmale, Überschriftmerkmale, Beschriftungsmerkmale, Zeichenerklärungs-/Legendenmerkmale, Logomerkmale, Text-auf-Grafik-Merkmale, usw. Darüber hinaus können beim Texterkennungsprozess Wortmerkmale, wie etwa Abstand und Dichte, behilflich sein. Das System kann zum Beispiel Informationen im Zusammenhang mit Zwischenräumen zwischen Wörtern, die auf ein Dokument gedruckt sind, wie etwa Entfernungen zwischen Räumen (horizontal, vertikal, orthogonal und so weiter), der Breite der Zwischenräume und so weiter verwenden. Das System kann bei der Analyse des Weiteren Kenntnisse über Zeilenumbrüche einbeziehen. Wenn Zeilenumbrüche bekannt sind, kann sich das System zum Beispiel auf die vertikale Ausrichtung von Wortpositionen stützen, wohingegen sich das System, wenn Zeilenumbrüche unbekannt sind, auf benachbarte Folgen von relativen Wortlängen stützen kann. Als ein weiteres Beispiel kann das System Informationen im Zusammenhang mit der Zeichendichte verwenden, wie etwa relative Dichten zwischen Zeichen (horizontal, vertikal, orthogonal und so weiter), relative Dichten zwischen gruppierten Zeichenpaaren oder absolute Dichteinformationen. Bestimmte Merkmale können für Schriftart, Schriftgröße usw. unveränderlich sein, wie etwa Punkt- und Liniensymmetrien (z. B. Autokorrelationen innerhalb von Zeichen, um Punkte und/oder Linien herum). Das System kann dynamisch auswählen, welche Merkmale innerhalb eines aufgenommenen Bildes analysiert werden sollen. Bei Vorhandensein von optischer und Bewegungsunschärfe kann das System zum Beispiel weniger detaillierte Aspekte des Textes verwenden, wie etwa relative Wortbreiten. In einigen Beispielen kann sich das System eindeutige N-Begriffsgruppen zunutze machen, indem es bestimmt, ob unbekannte oder seltene N-Begriffsgruppen Rauschen oder Hochsignalinformationen (Schreibfehler, E-Mail-Adressen, URLs usw.) sind, zum Beispiel basierend auf der Gewissheit von Zeichen, die von üblichen N-Begriffsgruppen abweichen, der Länge der Abweichung, der Zuordnung regulärer Ausdrücke (z. B. für E-Mail-Adressen und URLs) und so weiter.
Das System kann Ressourcen außerhalb eines wiedergegebenen Dokuments nutzen, um Text innerhalb des wiedergegebenen Dokuments zu erkennen, wie etwa Kenntnisse im Zusammenhang mit der ungefähren Anzahl von Zeichen innerhalb eines Wortes, Wörterbücher (z. B. Worthäufigkeitswörterbücher), Grammatik- und Interpunktionsregeln, Wahrscheinlichkeiten für ein Auffinden bestimmter Wortgruppen oder Zeichengruppen innerhalb eines Korpus, reguläre Ausdrücke zum Abgleichen verschiedener Zeichenketten, wie etwa E-Mail-Adressen, URL und so weiter. Darüber hinaus kann das System Ressourcen wie etwa DNS-Server Adressbücher und Telefonbücher verwenden, um erkannten Text, wie etwa URLs. E-Mail-Adressen und Telefonnummern, zu verifizieren. Als ein weiteres Beispiel kann das System Schriftartmatrizen verwenden, um bei der Erkennung und Verifizierung verschiedener Zeichen zu helfen. Nicht erkannte Zeichen in einer gegebenen Schriftart können mit erkannten Zeichen in derselben Schriftart verglichen werden, um basierend auf der Beziehung zwischen den nicht erkannten und erkannten Zeichen, die sich in einer Schriftartmatrix zeigt, bei ihrer Erkennung zu helfen. Ein unerkanntes „d” kann beispielsweise basierend darauf, dass ein „c” und ein „l” erkannt wird, als „d” erkannt werden, wenn eine Schriftarten-Matrix anzeigt, dass die Darstellung eines „d” der Kombination aus „c” und „l” ähnelt.
Das System kann den erkannten Text oder die Merkmale verwenden, um das Dokument, das in dem aufgenommenen Bild dagestellt ist, unter den Dokumenten in einem Dokumentenkorpus zu identifizieren. Die Menge und Art der zum Identifizieren verwendeten Informationen kann basierend auf einer Reihe von Faktoren variieren, wie etwa dem Dokumenttyp, der Größe des Korpus, den Dokumentinhalten usw. Eine Folge von 5 oder 6 Wörtern innerhalb eines erfassten Bildes oder die relative Position von Zwischenräumen zwischen den Wörtern können ein entsprechendes Dokument innerhalb eines relativ großen Korpus zum Beispiel eindeutig identifizieren. In einigen Beispielen kann das System eine Umwandlungstabelle verwenden, um die Wahrscheinlichkeit zu bestimmen, mit der Informationen zu bestimmten Merkmalen oder die Kombination von Informationen die bestimmte Merkmale betreffen ein Dokument eindeutig identifizieren. Beispielsweise kann die Umrechnungstabelle anzeigen, dass eine Wortfolge aus 5 Wörtern die gleiche Wahrscheinlichkeit für ein eindeutiges Identifizieren eines Dokuments aufweist, wie zwei unterschiedliche Folgen aus 3 Wörtern, das Oberlängen-/Unterlängenmuster von 2 aufeinanderfolgenden Zeilen und so weiter. In einigen Beispielen kann das System erfasste Bilder automatisch sammeln oder „zusammenfügen”, um beispielsweise ein zusammengesetztes Bild eines gerenderten Dokuments zu erzeugen, das mit höherer Wahrscheinlichkeit ein entsprechendes Dokument als die erfassten Bilder einzeln identifiziert.
In einigen Beispielen kann der Texterkennungsprozess die Erfassung von Informationen beeinflussen Wenn der Text zum Beispiel als unscharf oder unvollständig erkannt wird, kann das System den Fokus der Kamera der Erfassungsvorrichtung anpassen oder den Benutzer auffordern, die Erfassungsvorrichtung neu zu positionieren oder einzustellen. Verschiedene Techniken, die das System einsetzen kann, um Text zu erkennen, sind nachstehend detaillierter beschrieben.
9.2.1 „Ungewisse” OCR
Das primäre neue Merkmal der OCR innerhalb des beschriebenen Systems ist die Tatsache, dass sie im Allgemeinen Bilder mit Text untersuchen wird, der anderswo existiert und in digitaler Form abgerufen werden kann. Eine exakte Transkription des Textes wird von der OCR-Engine daher nicht immer erfordert. Das OCR-System kann einen Satz oder eine Matrix aus möglichen Übereinstimmungen ausgeben, die in einigen Fällen Wahrscheinlichkeitsrichtungen beinhaltet, die nach wie vor verwendet werden können, um nach dem digitalen Original zu suchen.
9.2.2 Iterative OCR-Schätzen, Disambiguieren, Schätzen ...
Wenn die Vorrichtung, die die Erkennung durchführt, in der Lage ist, zum Zeitpunkt der Verarbeitung mit dem Dokumentenindex Verbindung aufzunehmen, dann kann der OCR-Prozess, während er voranschreitet, durch die Inhalte des Dokumentenkorpus Informationen erhalten, was potenziell eine wesentlich höhere Erkennungsgenauigkeit ermöglicht.
Eine derartige Verbindung ermöglicht es der Vorrichtung auch, den Benutzer zu informieren, wenn genug Text erfasst wurde, um die digitale Quelle zu identifizieren.
9.2.3 Verwenden von Kenntnis über voraussichtliche Wiedergabe
Wenn das System Kenntnis über Aspekte der wahrscheinlichen gedruckten Wiedergabe eines Dokuments besitzt – wie etwa die beim Drucken verwendete Schriftart oder das Layout der Seite oder darüber, welche Abschnitte kursiv sind –, kann dies den Erkennungsprozess ebenfalls unterstützen (Abschnitt 4.1.1).
9.2.4 Zwischenspeichern von Schriftarten – Bestimmen der Schriftart auf Host, Herunterladen auf Client
Wenn Kandidatenausgangstexte in dem Dokumentenkorpus identifiziert werden, kann die Schriftart, oder eine Wiedergabe davon, auf die Vorrichtung heruntergeladen werden, um die Erkennung zu unterstützen.
9.2.5 Autokorrelation und Zeichenabstände
Während Zeichenbestandteile eines Textfragments die am meisten anerkannte Art sein können, um ein Textfragment darzustellen, das als eine Dokumentsignatur verwendet werden kann, können andere Darstellungen des Textes ebenfalls ausreichend gut funktionieren sodass der eigentliche Text eines Textfragments nicht verwendet werden muss, wenn versucht wird, das Textfragment in einem digitalen Dokument und/oder einer Datenbank aufzufinden, oder wenn die Darstellung eines Textfragments in eine lesbare Form disambiguiert wird. Andere Darstellungen von Textfragmenten können Vorteile bereitstellen, die den eigentlichen Textdarstellungen fehlen. Eine optische Zeichenerkennung von Textfragmenten ist zum Beispiel oftmals fehlerhaft, im Gegensatz zu anderen Darstellungen von erfassten Textfragmenten, die verwendet werden können, um nach einem Textfragment zu suchen und/oder dieses nachzubilden, ohne auf optische Zeichenerkennung für das gesamte Fragment zurückgreifen zu müssen. Derartige Verfahren können für einige Vorrichtungen, die mit dem aktuellen System verwendet werden, besser geeignet sein.
Der Durchschnittsfachmann und andere werden erkennen, dass es viele Arten gibt, das Aussehen von Textfragmenten zu beschreiben. Derartige Charakterisierungen von Textfragmenten können Wortlängen, relative Wortlängen, Zeichenhöhen, Zeichenbreiten, Zeichenformen, Zeichenhäufigkeiten, Tokenhäufigkeiten und dergleichen beinhalten, sind aber nicht darauf beschränkt. In einigen Beispielen werden die Versätze zwischen übereinstimmenden Texttoken (d. h. der Anzahl von dazwischenliegenden Token plus eins) verwendet, um Textfragmente zu charakterisieren.
Herkömmliche OCR nutzt Kenntnisse über Schriftarten, Buchstabenstruktur und Form, um Zeichen in einem gescannten Text zu erfassen. Die Beispiele für die vorliegende Erfindung sind anders; sie nutzen eine Vielzahl von Verfahren, die den wiedergegebenen Text selbst zur Unterstützung beim Erkennungsprozess verwenden. Diese verwenden Merkmale (oder Token), um „sich gegenseitig zu erkennen”. Eine Möglichkeit, um auf die besagte Selbsterkennung zu verweisen, ist die „Vorlagenabstimmung” und diese ähnelt der „Konvolution”. Um eine solche Selbsterkennung durchzuführen schiebt das System eine Kopie des Textes horizontal über sich selbst und zeichnet übereinstimmende Bereiche der Textbilder auf Frühere Templateabgleichs- und Faltungstechniken umfassen eine Vielzahl verwandter Techniken. Diese Techniken zum Tokenisieren und/oder Erkennen von Zeichen/Tokens werden hierin insgesamt als „Autokorrelation” bezeichnet, da beim Abgleichen von Zeichen/Token der Text verwendet wird, um mit seinen eigenen Komponenten zu korrelieren.
Bei der Autokorrelation sind vollständige übereinstimmende Bereiche von Interesse. Diese treten auf wenn Zeichen (oder Zeichengruppen) andere Instanzen desselben Zeichens (oder der Gruppe) überlagern. Vollständige verbundene Bereiche, die übereinstimmen, bieten automatisch eine Tokenisierung des Textes zu zusammengesetzten Token. Während die zwei Exemplare des Textes aneinander vorbeibewegt werden, werden die Bereiche aufgezeichnet, an denen eine perfekte Übereinstimmung auftritt (d. h. sämtliche Pixel in einem vertikalen Schnitt werden abgeglichen). Wenn sich ein Zeichen/Token mit sich selbst übereinstimmt, stimmt auch die horizontale Ausdehnung dieser Übereinstimmung (z. B. der verbundene übereinstimmende Abschnitt des Textes) überein.
Es ist zu beachten, dass es zu diesem Zeitpunkt nicht erforderlich ist, die tatsächliche Identität eines jeden Tokens zu bestimmen (d. h. den bestimmten Buchstaben, die Zahl oder das Symbol oder eine Gruppe aus diesen, die dem mit dem Tokenbild übereinstimmt), sondern nur den Versatz zu der nächsten Vorkommnis desselben Tokens in dem erfassten Text. Die Versatzzahl ist die Entfernung (Anzahl von Tokens) zum nächsten Auftreten des gleichen Tokens. Wenn das Token innerhalb der Textfolge einzigartig ist, ist der Versatz Null (0). Die Folge von Tokenversätzen, die somit erzeugt wird, ist eine Signatur, die verwendet werden kann, um den erfassten Text zu identifizieren.
In einigen Beispielen werden die für eine Folge erfasster Token bestimmten Tokenversätze mit einem Index verglichen, der einen Korpus von elektronischen Dokumenten basierend auf den Tokenversätzen ihrer Inhalte indexiert (Abschnitt 4.1.2). In anderen Beispielen werden die für eine Folge erfasster Token bestimmten Tokenversätze zu Text umgewandelt und mit einem konventionelleren Index verglichen, der einen Korpus von elektronischen Dokumenten basierend auf ihren Inhalten indexiert.
Wie zuvor angemerkt, kann ein ähnlicher Token-Korrelationsprozess auf Sprachfragmente angewendet werden, wenn der Erfassungsprozess aus Audiosamples gesprochener Wörter besteht.
9.2.6 Schriftart/Zeichen – „Selbsterkennung”
Die herkömmliche Template-Abgleich-OCR vergleicht gescannte Bilder mit einer Bibliothek von Zeichenbildern. Im Wesentlichen wird das Alphabet für jede Schriftart gespeichert und neu gescannte Bilder werden mit den gespeicherten Bildern verglichen, um zusammenpassende Zeichen zu finden. Der Prozess weist im Allgemeinen eine anfängliche Verzögerung auf, solange bis die korrekte Schriftart identifiziert ist. Danach ist der OCR-Prozess relativ schnell, da die meisten Dokumente durchgehend dieselbe Schriftart verwenden. Nachfolgende Bilder können daher durch Vergleich mit der zuletzt identifizierten Schriftartbibliothek in Text umgewandelt werden.
Die Formen von Zeichen stehen bei den am häufigsten verwendeten Schriftarten in Beziehung miteinander. Zum Beispiel sind in den meisten Schriften der Buchstabe „c” und der Buchstabe „e” visuell verwandt – wie auch „T” und „f” usw. Der OCR-Prozess wird durch die Verwendung dieser Beziehung erweitert, um Vorlagen für Buchstaben zu erstellen, die noch nicht eingescannt wurden. Wenn ein Leser zum Beispiel eine kurze Textfolge aus einem Papierdokument in einer bisher nicht vorgefundenen Schriftart erfasst, sodass das System keinen Satz von Bildtemplates hat, mit denen es die aufgenommenen Bilder vergleichen kann, kann das System die wahrscheinliche Beziehung zwischen bestimmten Zeichen nutzen, um die Schriftarttemplatebibliothek zu erstellen, obwohl es bisher noch nicht alle der Buchstaben in dem Alphabet gefunden hat. Das System kann die erstellte Schrifttemplatebibliothek anschließend verwenden, um später erfasste Text zu erkennen und die erstellte Schriftartbibliothek zu verfeinern.
9.2.7 Senden von allen unerkannten Objekten (einschließlich Grafiken) an den Server
Wenn Bilder nicht in eine Form maschinentranskribiert werden können, die zur Verwendung in einem Suchprozess geeignet ist, können die Bilder selbst zur späteren Verwendung durch den Benutzer, zur möglichen manuellen Transkription oder zur Verarbeitung zu einem späteren Zeitpunkt, wenn dem System eventuell andere Ressourcen zur Verfügung stehen, gespeichert werden.
10. P-Commerce
Viele der Aktionen, die durch das System ermöglicht werden, führen dazu, dass irgendeine Transaktion stattfindet. Das Wort P-Commerce wird hierin verwendet, um kommerzielle Aktivitäten zu beschreiben, die über das System aus Papier initiiert werden.
10.1. Verkauf von Dokumenten von deren physischen Druckexemplaren.
Wenn ein Benutzer Text aus einem Dokument erfasst, kann dem Benutzer dieses Dokument zum Kauf angeboten werden, entweder in Papier- oder elektronischer Form. Dem Benutzer können außerdem dazugehörige Dokumente angeboten werden, wie etwa solche, die zitiert oder anderweitig in dem Papierdokument referenziert wurden, oder solche zu einem ähnlichen Thema oder solche von demselben Autor.
10.2. Verkäufe von allem, was sonst durch Papier initiiert oder gestützt wird
Die Erfassung von Text kann auf vielfältige Weise in mit anderen kommerziellen Aktivitäten verknüpft sein. Der erfasste Text kann sich in einem Katalog befinden, der explizit dafür ausgelegt ist, Produkte zu verkaufen, in welchem Fall der Text ziemlich direkt mit dem Kauf eines Produkts assoziiert werden kann (Abschnitt 18.2). Der Text kann außerdem Teil einer Werbeanzeige sein, in welchem Fall ein Verkauf des beworbenen Produkts erfolgen kann.
In anderen Fällen erfasst der Benutzer anderen Text, aus dem sein mögliches Interesse an einer kommerziellen Transaktion abgeleitet werden kann. Ein Leser eines Romans, der in einem bestimmten Land spielt. kann zum Beispiel an einem Urlaub dort interessiert sein Jemand, der einen Testbericht über ein neues Auto liest, kann in Erwägung ziehen, dieses zu erwerben. Der Benutzer kann ein bestimmtes Textfragment in dem Wissen erfassen, dass ihm als Ergebnis eine bestimmte kommerzielle Möglichkeit präsentiert wird, oder diese kann ein Nebeneffekt der Erfassungsaktivitäten sein.
10.3. Erfassen von Etiketten, Symbolen, Seriennummern, Strichodes auf einem Artikel bei einem Verkauf
Gelegentlich sind sogar Text oder Symbole auf einem Produkt oder dessen Verpackung abgedruckt. Ein Beispiel ist die Seriennummer oder Produktkennung, die oftmals auf einem Etikett auf der Rück- oder Unterseite eines elektronischem Zubehörteils zu finden ist. Das System kann dem Benutzer eine einfache Möglichkeit bieten, durch Erfassen dieses Texts eines oder mehrere des gleichen Produkts zu erwerben Außerdem können ihm Handbücher, Unterstützung oder Reparaturdienstleistungen angeboten werden.
10.4 Kontextuelle Werbeanzeigen
Neben der direkten Erfassung von Text aus einer Werbeanzeige ermöglicht das System eine neue Art von Werbung, die nicht notwendigerweise explizit in dem wiedergegebenen Dokument sein muss, aber dennoch darauf basiert, was Personen lesen.
10.4.1. Werbung basierend auf dem Erfassen von Kontext und Verlauf
In einer herkömmlichen Veröffentlichung auf Papier nehmen Werbeanzeigen im Verhältnis zu dem Text eines Zeitungsartikels im Allgemeinen viel Platz ein, und es kann eine begrenzte Anzahl dieser um einen bestimmten Artikel herum platziert werden. In dem beschriebenen System kann Werbung mit einzelnen Wörtern oder Wortverbindungen assoziiert sein und kann entsprechend den bestimmten Interessen, die ein Benutzer durch Erfassen dieses Texts gezeigt hat, und möglicherweise unter Berücksichtigung des Erfassungsverlaufs ausgewählt werden.
Mit dem beschriebenen System ist es möglich, dass ein Kauf an ein bestimmtes gedrucktes Dokument gebunden wird, und dass ein Werbekunde wesentlich mehr Feedback über die Effektivität seiner Werbung in bestimmten Druckpublikationen erhält.
10.4.2. Werbung basierend auf Benutzerkontext und Verlauf
Das System kann eine große Menge an Informationen über andere Aspekte eines Kontextes eines Benutzers zur eigenen Nutzung sammeln (Abschnitt 13); ein gutes Beispiel hierfür sind Schätzungen des geografischen Standorts des Benutzers. Derartige Daten können außerdem dazu verwendet werden, die präsentierte Werbung auf einen Benutzer des Systems zuzuschneiden.
10.5. Vergütungsmodelle
Das System ermöglicht einige neue Vergütungsmodelle für Werbekunden und Marketingfachleute.
Der Herausgeber eines gedruckten Dokuments, das Werbeanzeigen beinhaltet, kann gewisse Einnahmen aus einem Kauf erhalten, der auf sein Dokument zurückzuführen ist. Dies kann unabhängig davon, ob die Werbeanzeige in der ursprünglichen gedruckten Form vorhanden war oder nicht, gelten; sie könnte elektronisch hinzugefügt worden sein, entweder durch den Herausgeber, den Werbekunden oder Dritte, und der Benutzer kann die Quelle einer solchen Werbung abonniert haben.
10.5.1. Beliebtheitsbasierte Vergütung
Eine Analyse der Statistiken, die durch das System erzeugt werden, kann die Popularität bestimmter Teile einer Veröffentlichung offenbaren (Abschnitt 14.2). Bei einer Zeitung könnte sie zum Beispiel, die Zeitdauer, die Leser mit dem Anschauen einer bestimmten Seite oder eines Artikels verbringen, oder die Beliebtheit eines bestimmten Kolumnisten offenbaren. In einigen Fällen kann es angemessen sein, dass ein Autor oder Herausgeber eine Vergütung basierend auf den Aktivitäten der Leser anstatt auf herkömmlichen Metriken, wie etwa Anzahl der geschriebenen Wörter oder Anzahl verteilter Exemplare, erhält. Ein Autor, dessen Werk eine häufig gelesene Instanz über ein Thema wird, könnte bei zukünftigen Aufträgen anders berücksichtigt werden als einer, dessen Bücher sich genauso oft verkauft haben, aber nur selten geöffnet werden. (Siehe auch Abschnitt 7.6).
10.5.2. Beliebtheitsbasierte Werbung
Entscheidungen über Werbung in einem Dokument können auch auf Statistiken über die Leserschaft basieren. Die Werbeflächen in der Nähe der beliebtesten Kolumnisten können mit einem Aufpreis verkauft werden. Werbekunden können sogar einige Zeit nachdem das Dokument veröffentlicht wurde, basierend auf der Kenntnis darüber, wie es angenommen wurde, belastet oder vergütet werden.
10.6. Vermarktung auf Basis der Lebensbibliothek
Die in Abschnitt 6.1 und 16.1 beschriebene „Lebensbibliothek”, oder der Erfassungsverlauf, kann eine extrem wertvolle Informationsquelle hinsichtlich der Interessen und Gewohnheiten eines Benutzers ein. Unter dem Vorbehalt von Zustimmung und Datenschutzfragen können solche Daten Angebote von Waren oder Dienstleistungen an den Benutzer anregen. Selbst in anonymisierter Form können die zusammengetragenen Statistiken überaus nützlich sein.
10.7. Verkauf/Auskunft zu einem späteren Zeitpunkt (wenn verfügbar)
Werbung und andere Möglichkeiten für kommerzielle Transaktionen können dem Benutzer eventuell nicht sofort zum Erfassungszeitpunkt präsentiert werden. Zum Beispiel kann die Möglichkeit, eine Fortsetzung eines Romans zu erwerben, zu dem Zeitpunkt, zu dem der Benutzer den Roman liest, nicht verfügbar sein, doch das System kann die Möglichkeit bereitstellen, wenn die Fortsetzung veröffentlicht wurde.
Ein Benutzer kann Daten erfassen, die sich auf einen Erwerb oder eine andere kommerzielle Transaktion beziehen, kann jedoch zum Zeitpunkt, zu dem die Erfassung erfolgt, entscheiden, die Transaktion nicht zu initiiere und/oder abzuschließen In einigen Beispielen werden Daten im Zusammenhang mit Erfassungen in einer Lebensbibliothek des Benutzers gespeichert, und diese Lebensbibliothekseinträge können „aktiv” (d. h. fähig zu späteren Interaktionen ähnlich denen, die zum Zeitpunkt, an dem die Erfassung erfolgte, verfügbar waren) bleiben. Somit kann ein Benutzer eine Erfassung nochmals zu einem späteren Zeitpunkt betrachten und basierend auf dieser Erfassung optional eine Transaktion abschließen. Da das System verfolgen kann, wann und wo die ursprüngliche Erfassung erfolgt ist, können alle an der Transaktion beteiligten Parteien ordnungsgemäß kompensiert werden Zum Beispiel kann der Autor, der die Geschichte geschrieben hat, – und der Herausgeber, der die Geschichte herausgegeben hat, – die neben der Werbeanzeige, aus der der Benutzer Daten erfasst hat, erschienen ist, kompensiert werden, wenn der Benutzer sechs Monate später seine Lebensbibliothek besucht, diese bestimmte Erfassung aus dem Verlauf auswählt und „Kauf dieses Produkts auf Amazon” aus dem Popup-Menü (das ähnlich oder identisch zu dem Menü sein kann, das zum Zeitpunkt der Erfassung optional angezeigt wird) auswählt.
11. Betriebssystem- und Anwendungsintegration
Modem-Betriebssysteme (OSs) und andere Softwarepakete haben viele Eigenschaften, die vorteilhafterweise für die Verwendung mit dem beschriebenen System ausgenutzt werden können und auch auf verschiedene Art und Weise modifiziert werden können, um eine noch bessere Plattform für deren Verwendung zu schaffen.
11.1. Einbindung von erfassungs- und druckbezogenen Informationen in Metadaten und Indexierung
Neue und zukünftige Dateisysteme und deren dazugehörige Datenbanken besitzen oftmals die Fähigkeit, in Verbindung mit jeder Datei eine Vielzahl von Metadaten zu speichern. Klassischerweise beinhalteten diese Metadaten solche Dinge wie die ID des Benutzers, der die Datei erstellt hat, die Zeitpunkte von Erstellung, letzter Veränderung und letzter Verwendung. Neuere Dateisysteme erlauben, dass zusätzliche Informationen wie Schlüsselwörter, Bildeigenschaften, Dokumentenquellen und Benutzerkommentare gespeichert werden, und in einigen Systemen können diese Metadaten beliebig erweitert werden. Dateisysteme können daher verwendet werden, um Informationen zu speichern, die zur Implementierung des aktuellen Systems nützlich wären. Durch das Dateisystem kann zum Beispiel der Zeitpunkt, wann ein gegebenes Dokument letztmalig ausgedruckt wurde, ebenso gespeichert werden wie Details darüber, welcher Text davon unter Verwendung des beschriebenen Systems von Papier erfasst wurde und wann und durch wen.
Betriebssysteme integrieren zunehmend auch Suchmaschineneinrichtungen, die es Benutzern ermöglichen, lokale Dateien leichter zu finden. Diese Einrichtungen können durch das System vorteilbringend genutzt werden. Dies bedeutet, dass viele der in Abschnitt 3 und 4 besprochenen, mit Suchen im Zusammenhang stehenden Konzepte nicht nur auf heutige internetbasierte und ähnliche Suchmaschinen zutreffen sondern auch auf sämtliche PCs.
In einigen Fällen werden bestimmte Software-Anwendungen außerdem eine Unterstützung für das vorstehend genannte System über die vom OS bereitgestellten Einrichtungen hinaus beinhalten.
11.2. OS-Unterstützung für Erfassungsvorrichtung
Da die Verwendung von Erfassungsvorrichtungen, wie etwa mobilen Kommunikationsvorrichtungen mit integrierten Kameras und Mikrofonen, immer häufiger wird, wird es erstrebenswert werden, eine Unterstützung für diese in dem Betriebssystem in ähnlicher Weise zu integrieren, wie eine Unterstützung für Mäuse und Drucker bereitgestellt wird, da die Anwendungsmöglichkeit von Erfassungsvorrichtungen über eine einzelne Softwareanwendung hinaus geht. Das gleiche gilt für andere Aspekte des Betriebs des Systems. Nachstehend werden einige Beispiele besprochen. In einigen Beispielen wird das gesamte beschriebene System, oder der Kern davon, durch das OS (z. B. Windows, Windows Mobile, Linux, Mac OS X, iPhoneOS, Android oder Symbian) bereitgestellt. In einigen Beispielen wird eine Unterstützung für das System durch Anwendungsprogrammierschnittstellen (APIs) bereitgestellt. die von anderen Softwarepaketen verwendet werden können, einschließlich solcher, die Aspekte des Systems direkt implementieren
11.2.1. Unterstützung für OCR und andere Erkennungstechnologien
Die meisten Verfahren zur Erfassung von Text aus einem wiedergegebenen Dokument erfordern eine Erkennungssoftware, um die Quelldaten, typischerweise ein erfasstes Bild oder einige gesprochene Wörter, als Text zu interpretieren, der zur Verwendung im System geeignet ist. Einige OS beinhalten Sprachunterstützung oder Handschrifterkennung, obwohl es jedoch weniger üblich ist, dass OS eine OCR-Unterstützung beinhalten, da sich die Verwendung von OCR in der Vergangenheit eher auf einen kleinen Anwendungsbereich beschränkt hat.
Dadurch, dass Erkennungskomponenten zu Teilen des OS werden, können sie andere Einrichtungen, die von dem OS bereitgestellt werden, besser nutzen. Viele Systeme beinhalten zum Beispiel Rechtschreibwörterbücher, Grammatikanalysetools, Internationalisierungs- und Lokalisierungsmöglichkeiten, die durch das beschriebene System alle vorteilbringend für seinen Erkennungsprozess genutzt werden können, besonders da sie für einen bestimmten Benutzer so angepasst sein können, dass sie Wörter und Wortverbindungen beinhalten, mit denen er üblicherweise in Berührung kommt.
Wenn das Betriebssystem Volltextindexierungseinrichtungen beinhaltet, so können diese ebenfalls verwendet werden, um den Erkennungsprozess zu unterrichten, wie in Abschnitt 9.3 beschrieben
11.2.2. Bei Erfassungen einzuleitende Aktionen
Wenn eine Erfassung erfolgt und dem OS übergeben wird, kann es eine Standardaktion aufweisen, die, in dem Fall, dass kein anderes Teilsystem Besitzanspruch auf die Erfassung erhebt, unter solchen Umständen eingeleitet werden soll. Ein Beispiel einer Standardaktion ist es, dem Benutzer eine Auswahl an Alternativen zu präsentieren oder die erfassten Daten an die OS-internen Sucheinrichtungen zu übermitteln.
11.2.3. OS verfügt über Standardaktion für bestimmte Dokumente oder Dokumenttypen
Wenn die digitale Quelle des wiedergegebenen Dokuments gefunden wird, kann das OS eine Standardaktion aufweisen, die es einleiten wird, wenn dieses bestimmte Dokument, oder ein Dokument dieser Klasse, erfasst wird. Anwendungen und andere Teilsysteme können sich bei dem OS als potenzielle Handler für bestimmte Erfassungstypen in einer ähnlichen Weise registrieren, wie die Mitteilung von Anwendungen über ihre Fähigkeit, bestimmte Dateitypen zu bearbeiten.
Markup-Daten, die mit einem wiedergegebenen Dokument oder mit einer Erfassung aus einem Dokument assoziiert sind, können Anweisungen für das Betriebssystem zum Starten spezieller Anwendungen, Weitergeben von Anwendungsargumenten, Parametern oder Daten usw. beinhalten
11.2.4. Interpretation von Gesten und Zuordnung zu Standardaktionen
In Abschnitt 12.1.3 wird die Verwendung von „Gesten” erörtert, wobei bestimmte Bewegungen, die mit einem Erfassungsgerät vorgenommen wurden, Standardaktionen, wie z. B. das Markieren von Anfang und des Ende eines Textbereichs, darstellen können.
Dies ist vergleichbar mit Aktionen wie etwa dem Drücken der Shift-Taste auf einer Tastatur, während die Cursortasten verwendet werden, um einen Textbereich auszuwählen, oder der Verwendung des Rads einer Maus, um ein Dokument zu scrollen. Derartige Aktionen durch den Benutzer sind ausreichend standardisiert, um durch das OS der Erfassungsvorrichtung auf systemumfassende Weise interpretiert zu werden, wodurch ein gleichbleibendes Systemverhalten sichergestellt ist. Das gleiche ist für andere Aktionen im Zusammenhang mit Erfassungsvrrichtungen erstrebenswert.
11.2.5. Einstellen der Antwort auf gedruckte Standard-(und Nichtstandard-)Symbol-/Text-Menüpunkte
Ebenso können bestimmte Texte oder andere Symbole, wenn diese erfasst werden, dazu führen dass Standardaktionen auftreten, von denen das Betriebssystem eine Auswahl bereitstellen kann. Beispielsweise könnte das Erfassen des Textes „[drucken]” in einem Dokument das OS dazu veranlassen, eine Kopie desselben Dokuments abzurufen und auszudrucken. Das OS kann außerdem eine Möglichkeit bereitstellen, derartige Aktionen zu registrieren und sie mit bestimmten Erfassungen zu verknüpfen.
11.3. Unterstützung in Systemkomponenten grafischer Benutzeroberflächen für typische erfassungsinitiierte Aktivitäten
Die meisten Softwareanwendungen basieren im Wesentlichen auf standardisierten Komponenten grafischer Benutzeroberflächen (GUT), die durch das OS bereitgestellt werden
Eine Verwendung dieser Komponenten durch Entwickler hilft dabei, ein gleichbleibendes Verhalten über mehrere Pakete hinweg sicherzustellen, zum Beispiel, dass das Drücken der linken Pfeiltaste in einem beliebigen Textbearbeitungskontext den Cursor nach links bewegen sollte, ohne dass jeder Programmierer diese Funktionalität selbstständig implementieren muss.
Eine ähnliche Konsistenz dieser Komponenten ist erstrebenswert, wenn die Aktivitäten durch Texterfassung oder andere Aspekte des beschriebenen System initiiert werden Nachstehend sind einige Beispiele gegeben.
11.3.1. Oberfläche zum Finden bestimmter Textinhalte
Eine typische Verwendung des Systems kann es sein, dass der Benutzer einen Bereich eines Papierdokuments erfasst, und dass das System das elektronische Gegenstück in einem Softwarepaket öffnet, das in der Lage ist, es anzuzeigen oder zu editieren und veranlasst, dass dieses Paket zu dem gescannten Text scrollt und diesen hervorhebt (Abschnitt 12.2.1). Der erste Teil dieses Prozesses, Finden und Öffnen des elektronischen Dokuments, wird typischerweise durch das OS bereitgestellt und ist über Softwarepakete hinweg standardisiert. Der zweite Teil – Auffinden eines bestimmten Textteils innerhalb eines Dokuments und Veranlassen dass das Paket zu diesem scrollt und ihn hervorhebt – ist jedoch noch nicht standardisiert und wird von jedem Paket oft unterschiedlich implementiert. Die Verfügbarkeit einer Standard-API für diese Funktionalität könnte den Betrieb bei diesem Aspekt des Systems erheblich verbessern.
11.3.2. Textinteraktionen
Sobald ein Text in einem Dokument ausfindig gemacht wurde, kann das System eine Vielzahl von Operationen an diesem Text ausführen. Zum Beispiel kann das System den umgebenden Text anfordern, sodass das Erfassen seitens des Benutzers einiger Worte dazu führen kann, dass das System auf den gesamten Satz oder Absatz zugreift, der dieselben enthält. Auch hier kann die besagte Funktion sinnvoll durch das Betriebssystem bereitgestellt werden, anstatt in jeder einzelnen Software implementiert zu werden, die Text behandelt
11.3.3. Kontextuelle (Aufklapp-)Menüs
Einige der Operationen, die durch das System ermöglicht werden, werden Benutzerfeedback erfordern, und dieses könnte innerhalb des Kontextes der Anwendung die die Daten verwaltet, optimal angefordert werden. In einigen Beispielen verwendet das System die Popup-Menüs der Anwendung die üblicherweise mit dem Drücken der rechten Maustaste auf einem Text assoziiert sind. Das System fügt in solche Menüs zusätzliche Optionen ein und veranlasst, dass als Ergebnis von Aktivitäten wie etwa einer Erfassung eines Abschnitts eines Papierdokuments angezeigt werden.
11.4. Web-/Netzwerkschnittstellen
In der heutigen zunehmend vernetzten Welt kann auf einen Großteil der Funktionalität, die auf einzelnen Maschinen zur Verfügung steht, auch über ein Netzwerk zugegriffen werden, und auch die Funktionalität in Verbindung mit dem beschriebenen System ist keine Ausnahme. Zum Beispiel können in einer Büroumgebung viele Papierdokumente, die von einem Benutzer empfangen wurden, von anderen Benutzermaschinen in demselben Firmennetzwerk gedruckt worden sein. Das System auf einem Computer kann, in Reaktion auf eine Erfassung abhängig von der entsprechenden Berechtigungssteuerung in der Lage sein, diese anderen Maschinen nach Dokumenten abzufragen, die dieser Erfassung entsprechen können.
11.5. Drucken des Dokuments veranlasst Speicherung
Ein wichtiger Faktor für die Integration von Papier- und digitalen Dokumenten ist das Beibehalten möglichst vieler Informationen über die Übergänge zwischen den beiden. In einigen Beispielen macht das OS einfache Aufzeichnungen darüber, wann und durch wen ein beliebiges Dokument gedruckt wurde. In einigen Beispielen leitet das OS eine oder mehrere weitere Aktionen ein, die es besser geeignet für eine Verwendung mit dem System machen würden. Zu Beispielen gehören:

• Speichern der digital wiedergegebenen Version für jedes gedruckte Dokument zusammen mit Informationen über die Quelle, aus der es gedruckt wurde.
• Speichern einer Teilmenge von nützlichen Informationen über die gedruckte Version – zum Beispiel der verwendeten Schriftarten und der Stellen, an denen die Zeilenumbrüche auftreten – die beim Interpretieren künftiger Erfassungen hilfreich sein könnten
• Speichern der Version des Quelldokuments, die mit einer beliebigen gedruckten Kopie verknüpft ist.
• Automatisches Indexieren des Dokuments zum Zeitpunkt des Drucks, und Speichern der Ergebnisse zum zukünftigen Durchsuchen

11.6. Meine (gedruckten/erfassten) Dokumente
Ein OS verwaltet oftmals bestimmte Kategorien von Ordnern oder Dateien, die eine besondere Bedeutung haben. Die Dokumente eines Benutzers können, aufgrund von Konvention oder Planung, zum Beispiel in einem „Meine Dokumente”-Ordner gefunden werden Normale Dateiöffnungsdialoge können automatisch eine Liste der kürzlich geöffneten Dokumente beinhalten.
In einem OS, das für die Verwendung mit dem beschriebenen System optimiert ist, können diese Kategorien in einer Weise verbessert oder erweitert werden, die die Interaktion eines Benutzers mit Papierversionen der gespeicherten Dateien mitberücksichtigt. Kategorien wie „Meine gedruckten Dokumente” oder „Meine kürzlich gelesenen Dokumente” könnten sinnvoll identifiziert und in dessen Operationen eingebunden werden.
11.7. Markup-Hierarchien auf OS-Ebene
Da wichtige Aspekte des Systems typischerweise unter Verwendung der in Abschnitt 5 erörterten „Markup”-Konzepte bereitgestellt werden, wäre es eindeutig vorteilhaft, ein solches Markup zu unterstützen, das vom Betriebssystem in einer Weise bereitgestellt wird und für mehrere Anwendungen sowie für das Betriebssystem selbst zugänglich ist. Darüber hinaus können Markup-Ebenen durch das OS, basierend auf dessen Kenntnis über Dokumente, die sich unter dessen Kontrolle befinden und die Einrichtungen. die es bereitstellen kann, bereitgestellt werden.
11.8. Verwendung der OS DRM-Funktionen
Eine zunehmende Anzahl von Betriebssystemen unterstützt eine Form von „digitaler Rechteverwaltung (DRM)”: die Fähigkeit, die Verwendung bestimmter Daten entsprechend den Rechten zu kontrollieren, die einem bestimmten Benutzer, einer Softwareentität oder einer Maschine gewährt werden Es kann zum Beispiel ein nicht autorisiertes Kopieren oder Verteilen eines bestimmten Dokuments verhindern.
12. Benutzeroberfläche
Die Benutzeroberfläche des Systems kann sich komplett auf der Erfassungsvorrichtung, wenn sie komplex ist und selbst über eine erhebliche Verarbeitungsleistung verfügt, wie etwa ein Mobiltelefon oder PDA, oder komplett auf einem PC befinden, wenn die Erfassungsvorrichtung verhältnismäßig dumm und mit diesem über ein Kabel verbunden ist. In einigen Fällen sind einige Funktionalitäten in jeder Komponente angesiedelt.
Die Beschreibungen in den folgenden Abschnitten sind daher Angaben dessen, was in bestimmten Implementierungen erstrebenswert sein kann, doch sie sind nicht notwendigerweise für alle angemessen und können auf verschiedene Arten verändert werden.
12.1. Auf dem Erfassungsgerät
Bei den meisten Erfassungsvorrichtungen wird die Aufmerksamkeit des Benutzers zum Zeitpunkt der Erfassung im Allgemeinen auf der Vorrichtung und dem Papier liegen. Es ist daher sehr erstrebenswert, das sämtliche Eingaben und Feedback, die als ein Teil des Prozesses der Erfassung benötigt werden, nicht erfordern, dass die Aufmerksamkeit des Benutzers mehr als nötig woanders, zum Beispiel auf dem Bildschirm eines Computers, liegt.
12.1.1. Feedback auf der Erfassungsvorrichtung
Eine Erfassungsvorrichtung kann über eine Vielzahl an Möglichkeiten der Bereitstellung von Feedback zu bestimmten Bedingungen an den Benutzer aufweisen. Die offensichtlichsten Arten sind direkt visuell, wobei die Erfassungsvorrichtung eine vollständige Anzeige von erfassten Bildern oder Anzeigeleuchten umfasst, und auditiv, wobei die Erfassungsvorrichtung Pieptöne, Klicklaute oder andere Geräusche machen kann. Wichtige Alternativen sind unter anderen taktile Rückmeldungen, bei denen das Erfassungsgerät vibrieren, summieren oder anderweitig die Berührung des Benutzers stimulieren und die Rückmeldung projizieren kann, wobei es einen Status anzeigt, indem es etwas, von einen farbigen Lichtpunkt bis hin zu einer anspruchsvollen Darstellung, auf das Papier projiziert.
Zu wichtigem sofortigem Feedback, das auf der Erfassungsvorrichtung bereitgestellt werden kann, gehört Folgendes:

• Rückmeldung zum Erfassungsvorgang – Benutzer bewegt das Erfassungsgerät zu schnell, in einem zu großen Winkel oder driftet zu hoch oder niedrig
• genug Inhalt – es wurde ausreichend viel erfasst, um ziemlich sicher zu sein, eine Übereinstimmung zu finden, falls es eine gibt – wichtig für nicht verbundenen Betrieb
• Kontext bekannt – eine Quelle des Texts wurde gefunden
• eindeutiger Kontext bekannt – eine eindeutige Quelle des Texts wurde gefunden
• Verfügbarkeit des Inhalts – Angabe, ob der Inhalt dem Benutzer frei oder gegen Zahlung einer Gebühr zugänglich ist

Viele der Benutzerinteraktionen, die normalerweise mit den späteren Phasen des Systems in Verbindung stehen, zum Beispiel Anzeigen eines Teils oder der Gesamtheit eines Dokuments, können auch auf der Erfassungsvorrichtung erfolgen, wenn diese über ausreichende Fähigkeiten verfügt.
12.1.2. Bedienelemente auf Erfassungsvorrichtung
Das Erfassungsgerät kann dem Benutzer eine Vielzahl von zusätzlich Möglichkeiten zur grundlegenden Texterfassung, wie z. B. Tasten, Scroll-/Jog-Räder, berührungsempfindliche Oberflächen und/oder Beschleunigungssensoren zur Erkennung der Bewegung des Geräts, zur Verfügung stellen. Einige davon ermöglichen eine umfangreichere Reihe an Interaktionen, während die Erfassungsvorrichtung noch gehalten wird.
In Reaktion auf die Erfassung von ein wenig Text präsentiert die Erfassungsvorrichtung dem Benutzer zum Beispiel einen Satz von mehreren möglicherweise passenden Dokumenten. Der Benutzer verwendet eine berührungsempfindliche Oberfläche der Erfassungsvorrichtung, um eins aus der Liste auszuwählen.
12.1.3. Gesten
Der Hauptgrund zum Bewegen einer Erfassungsvorrichtung über das Papier ist zur Erfassung von Text, wobei von der Vorrichtung jedoch einige Bewegungen erkannt und verwendet werden können, um andere Benutzerintentionen anzuzeigen. Die besagten Bewegungen werden hierin als „Gesten” bezeichnet.
Als ein Beispiel kann der Benutzer durch Erfassen der ersten paar Wörter in einer Bewegung von links nach rechts und der letzten paar Wörter in einer Bewegung von rechts nach links einen großen Textbereich angeben. Der Benutzer kann durch Bewegen der Erfassungsvorrichtung auf der Seite nach unten über mehrere Zeilen hinweg auch die vertikale Ausdehnung des Texts angeben. Eine Rückwärtsbewegung während der Erfassung kann einen Abbruch des vorherigen Erfassungsvorgangs signalisieren.
12.1.4. Online/Offline-Verhalten
Viele Aspekte des Systems können von der Netzwerkkonnektivität abhängig sein, entweder zwischen Komponenten des Systems, wie z. B. einem Erfassungsgerät und einem drahtlosen Netzwerk, oder mit der Außenwelt in Form einer Verbindung zu Unternehmensdatenbanken und Internetsuchen. Diese Konnektivität ist ggf. jedoch nicht immer vorhanden, und so gibt es dann Fälle, bei denen ein Teil oder das gesamte System ggf. als „offline” angesehen wird und bei denen es wünschenswert ist, dass das System auch unter diesen Umständen weiter funktionieren kann.
Die Erfassungsvorrichtung kann verwendet werden, um Text zu erfassen, wenn sie mit anderen Teilen des Systems nicht in Verbindung steht. Eine sehr einfache Vorrichtung kann lediglich in der Lage sein, die Bild- oder Audiodaten im Zusammenhang mit der Erfassung zu speichern, idealerweise mit einem Zeitstempel, der anzeigt, wann sie erfasst wurden. Die verschiedenen Erfassungen können für das übrige System hochgeladen werden, wenn die Erfassungsvorrichtung das nächste Mal damit verbunden ist, und anschließend bearbeitet werden. Die Erfassungsvorrichtung kann auch andere Daten im Zusammenhang mit den Erfassungen hochladen, beispielsweise Sprachanmerkungen oder Ortsangaben.
Komplexere Vorrichtungen können in der Lage sein, einige oder alle der Systemoperationen selbst durchzuführen, obwohl sie nicht verbunden sind. Verschiedene Techniken zum Verbessern der Fähigkeit, dies zu tun, werden in Abschnitt 15.3 besprochen. Oftmals wird es der Fall ein, dass einige, aber nicht alle, der erwünschten Aktionen im Offlinebetrieb durchgeführt werden können. Zum Beispiel kann der Text erkannt werden, doch die Identifikation der Quelle kann von einer Verbindung zu einer internetbasierten Suchmaschine abhängig sein. In einigen Beispielen speichert die Vorrichtung daher genug Informationen darüber, wie weit jede Operation fortgeschritten ist, damit das restliche System effizient fortfahren kann, wenn die Verbindung wiederhergestellt ist.
Der Betrieb des Systems profitiert im Allgemeinen von einer sofort verfügbaren Verbindung, wobei es jedoch Situationen gibt, in denen ein Durchführen mehrerer Erfassungen und ein anschließendes Verarbeiten dieser als Stapel Vorteile mit sich bringen kann. Wie nachstehend in Abschnitt 13 besprochen, kann die Identifikation der Quelle einer bestimmten Erfassung beispielsweise erheblich verbessert werden, indem andere Erfassungen, die von dem Benutzer ungefähr zur selben Zeit durchgeführt wurden, untersucht werden. In einem System, in dem dem Benutzer Live-Feedback bereitgestellt wird, ist das System nur in der Lage zurückliegende Erfassungen zu verwenden, wenn es die aktuelle verarbeitet. Wenn die Erfassung eine aus einem Stapel ist, der durch die Vorrichtung im Offline-Betrieb gespeichert wurde, wird das System jedoch in der Lage sein, alle verfügbaren Daten zu berücksichtigen, die aus späteren Erfassungen sowie aus früheren verfügbar sind, wenn es seine Analyse durchführt.
12.2. Auf einer Host-Vorrichtung
Eine Erfassungsvorrichtung kann mit einer anderen Vorrichtung wie etwa einem PC kommunizieren, um viele der Funktionen des System durchzuführen, einschließlich detaillierterer Interaktionen mit dem Benutzer.
12.2.1. Aktionen, die in Reaktion auf eine Erfassung durchgeführt werden
Wenn die Host-Vorrichtung eine Erfassung empfängt kann sie eine Vielzahl von Aktionen initiieren. Es folgt eine unvollständige Liste möglicher Aktionen, die durch das System nach Auffinden eines elektronischen Dokumentgegenstücks, das mit der Erfassung im Zusammenhang steht, und einer Stelle innerhalb dieses Dokuments durchgeführt werden können.

• Die Details der Erfassung können in dem Verlauf des Benutzers gespeichert werden (Abschnitt 6.1)
• Das Dokument kann von dem lokalen Speicher oder einem entfernten Ort abgerufen werden. (Abschnitt 8)
• Die Metadaten des Betriebssystems und andere Aufzeichnungen im Zusammenhang mit dem Dokument können aktualisiert werden. (Abschnitt 11.1)
• Markup im Zusammenhang mit dem Dokument kann untersucht werden, um die nächsten relevanten Operationen zu bestimmen. (Abschnitt 5)
• Eine Softwareanwendung kann gestartet werden, um das Dokument zu bearbeiten, anzuschauen oder anderweitig daran zu arbeiten. Die Wahl der Anwendung kann von dem Quelldokument oder den Inhalten der Erfassung oder einem anderen Aspekt der Erfassung abhängen. (Abschnitt 11.2.2, 11.2.3)
• Die Anwendung kann zu der Stelle der Erfassung scrollen, diese hervorheben, den Einfügepunkt dahin bewegen oder sie anderweitig angeben. (Abschnitt 11.3)
• Die genauen Grenzen des erfassten Textes können verändert werden, um beispielsweise ganze Wörter, Sätze oder Absätze um den erfassten Text herum auszuwählen (Abschnitt 11.3.2)
• Der Benutzer kann die Option erhalten, den erfassten Text in die Zwischenablage zu kopieren oder eine andere typische Betriebssystem- oder anwendungsspezifische Operationen darauf durchzuführen.
• Anmerkungen können mit dem Dokument oder dem erfassten Text verknüpft werden. Diese können aus unmittelbarer Benutzereingabe stammen oder zuvor erfasst worden sein, zum Beispiel im Fall von Sprachanmerkungen im Zusammenhang mit einem erfassten Bild. (Abschnitt 19.4)
• Markup kann untersucht werden, um einen Satz weiterer möglicher Operationen zur Auswahl durch den Benutzer zu bestimmen.

12.2.2. Kontextuelle Popup-Menüs
Gelegentlich wird die entsprechende Aktion, die durch das System eingeleitet werden soll, offensichtlich sein, doch manchmal wird sie erfordern, dass eine Auswahl durch den Benutzer getroffen wird. Eine gute Möglichkeit, dies zu tun ist durch die Verwendung von „Aufklappmenüs” oder so genannte „Kontextmenüs”, die in der Nähe der Inhalte in der Anzeige des Erfassungsgeräts erscheinen. (Siehe Abschnitt 11.3.3). In einigen Beispielen projiziert die Erfassungsvorrichtung ein Popup-Menü auf das Papierdokument. Ein Benutzer kann aus solchen Menüs mit herkömmlichen Verfahren, wie z. B. einer Tastatur und Maus, oder unter Verwendung von Bedienelementen auf dem Erfassungsgerät (Abschnitt 12.1.2.), Gesten (Abschnitt 12.1.3) oder durch Interaktion mit der Computer-Anzeige mit einem Erfassungsgerät (Abschnitt 12.2.4) auswählen. In einigen Beispielen beinhalten die Popup-Menüs, die als Ergebnis einer Erfassung erscheinen können, Standardpunkte, die Aktionen darstellen, die stattfinden, wenn der Benutzer nicht reagiert – zum Beispiel, wenn der Benutzer das Menü ignoriert und eine weitere Erfassung durchführt.
12.2.3. Feedback zur Disambiguierung
Wenn ein Benutzer mit dem Erfassen von Text beginnt, wird es anfangs etliche Dokumente oder andere Textstellen geben, mit denen dieser übereinstimmmen kann. Wenn mehr Text erfasst wird, und andere Faktoren berücksichtigt werden (Abschnitt 13), wird die Anzahl von Kandidatenstellen abnehmen, bis die tatsächliche Stelle identifiziert ist, oder ohne Benutzereingabe keine weitere Disambiguierung möglich sein. In einigen Beispielen bietet das System eine Echtzeit-Anzeige der gefundenen Dokumente oder Stellen, zum Beispiel in Form einer Liste, von Vorschaubildern oder von Textsegmenten, und die Anzahl von Elementen in dieser Anzeige verringert sich während die Erfassung fortgesetzt wird. In einigen Beispielen zeigt das System Vorschaubilder aller Kandidatendokumente an, wobei die Größe oder Position des Vorschaubildes von der Wahrscheinlichkeit, dass es das korrekte Gegenstück ist, abhängig ist.
Wenn eine Erfassung eindeutig identifiziert ist, kann diese Tatsache gegenüber dem Benutzer deutlich gemacht werden, zum Beispiel unter Verwendung eines Audiofeedbacks.
Gelegentlich kann der erfasste Text in vielen Dokumenten vorkommen und wird als ein Zitat erkannt. Das System kann dies auf dem Bildschirm anzeigen, zum Beispiel durch Gruppieren von Dokumenten, die eine zitierte Referenz enthalten, um das ursprüngliche Quelldokument herum.
12.2.4. Erfassung vom Bildschirm
Einige Erfassungsvorrichtungen können in der Lage sein, neben Text auf Papier auch Text zu erfassen, der auf einem Bildschirm angezeigt wird. Dementsprechend wird der Begriff wiedergegebenes Dokument hierin verwendet, um anzuzeigen, dass Drucken auf Papier nicht die einzige Wiedergabemöglichkeit ist, und dass die Erfassung von Text oder Symbolen zur Verwendung durch das System gleichermaßen wertvoll sein kann, wenn dieser Text auf einer elektronischen Anzeige angezeigt wird.
Es kann erforderlich sein, dass der Benutzer des beschriebenen Systems mit einem Computerbildschirm aus einer Reihe von anderen Gründen interagiert, wie etwa zur Auswahl aus einer Liste von Optionen. In anderen Abschnitten wurden physische Bedienelemente auf der Erfassungsvorrichtung (Abschnitt 12.1.2) oder Gesten (Abschnitt 12.1.3) sowie Eingabeverfahren, die selbst beim Erfassen von Informationen von einer Anzeigevorrichtung in Verbindung mit alternativen Eingabeverfahren, wie etwa einer Tastatur oder Maus. geeignet sind, beschrieben.
In einigen Beispielen kann die Erfassungsvorrichtung ihre Position auf dem Bildschirm ohne die Notwendigkeit, erfassten Text zu verarbeiten, womöglich mit der Unterstützung spezieller Hardware oder Software auf dem Computer, wahrnehmen.
13. Kontextinterpretation
Ein wichtiger Aspekt des beschriebenen Systems ist die Verwendung von anderen Faktoren, die über die einfache Erfassung einer Textfolge hinausgehen, um dabei zu helfen, das verwendete Dokument zu identifizieren. Eine Erfassung einer kleinen Menge Text kann das Dokument oftmals eindeutig identifizieren, in vielen Situationen wird sie jedoch einige Kandidatendokumente identifizieren. Eine Lösung dafür ist es, den Benutzer aufzufordern, die Quelle der erfassten Informationen zu bestätigen, wobei es jedoch eine bevorzugte Alternative ist, andere Faktoren zu nutzen, um die Möglichkeiten automatisch einzugrenzen. Derartige ergänzende Informationen können die Menge an Text, der erfasst werden muss, erheblich reduzieren und/oder die Zuverlässigkeit und Geschwindigkeit, mit der die Stelle in dem elektronischen Gegenstück identifiziert werden kann, erhöhen. Dieses zusätzliche Material wird als „Kontext” bezeichnet und wurde in Abschnitt 4.2.2 kurz besprochen. An dieser Stelle wird es ausführlicher betrachtet.
13.1. System- und Erfassungskontext
Das vielleicht wichtigste Beispiel für derartige Informationen ist der Erfassungsverlauf des Benutzers.
Es ist sehr wahrscheinlich, dass eine gegebene Erfassung aus demselben Dokument wie die vorhergehende stammt, oder aus einem zugehörigen Dokument, besonders dann, wenn die vorhergehende Erfassung in den letzten paar Minuten erfolgt ist (Abschnitt 6.1.2). Im umgekehrten Fall, wenn das System erkennt, dass sich die Schriftart zwischen zwei Erfassungen verändert hat, ist es wahrscheinlicher, dass diese aus unterschiedlichen Dokumenten stammen.
Ebenfalls nützlich sind längerfristiger Erfassungsverlauf und Lesegewohnheiten des Benutzers. Diese können zudem verwendet werden, um ein Modell der Interessen und Verknüpfungen des Benutzers zu entwickeln.
13.2. Der reale Kontext des Benutzers
Ein weiteres Beispiel für nützlichen Kontext ist der geografische Standort des Benutzers. So ist es beispielsweise wesentlich wahrscheinlicher, dass ein Benutzer in Paris Le Monde anstatt der Seattle Times liest. Der Zeitpunkt, die Größe und geografische Verteilung von gedruckten Versionen der Dokumente kann daher sehr wichtig sein und kann in einem gewissen Maß aus dem Betrieb des Systems abgeleitet werden.
Die Tageszeit kann ebenfalls relevant sein, zum Beispiel in dem Fall eines Benutzers, der auf dem Weg zur Arbeit immer eine Art von Publikation liest und eine andere in der Mittagspause oder auf dem Heimweg im Zug.
13.3. Zugehöriger digitaler Kontext
Die zuletzt verwendeten elektronischen Dokumente, einschließlich derjenigen, die mit herkömmlicheren Mitteln gesucht oder abgerufen wurden, können ebenfalls ein hilfreicher Hinweis sein.
In einigen Fällen, wie etwa in einem Unternehmensnetzwerk, können andere Faktoren sinnvoll berücksichtigt werden:

• Welche Dokumente wurden kürzlich ausgedruckt?
• Welche Dokumente wurden auf dem Dateiserver des Unternehmens kürzlich verändert?
• Welche Dokumente wurden kürzlich per E-Mail verschickt?

Alle diese Beispiele können nahelegen, dass es wahrscheinlicher ist, dass ein Benutzer eine Papierversion dieser Dokumente liest. Im Gegensatz dazu, wenn durch den Aufbewahrungsort, an dem sich ein Dokument befindet, bestätigt werden kann, dass das Dokument nie ausgedruckt oder irgendwohin verschickt wurde, wo es hätte ausgedruckt werden können, kann es ohne Risiko aus allen Suchen, die aus Papier stammen, ausgeklammert wenden.
13.4. Andere Statistiken – der globale Kontext
Abschnitt 14 behandelt die Analyse des Datenstroms infolge papierbasierter Suchen, wobei an dieser Stelle jedoch beachtet werden sollte, dass alle Statistiken über die Beliebtheit von Dokumenten bei anderen Lesern, über den zeitlichen Ablauf dieser Beliebtheit und über die Teile von Dokumenten, die am häufigsten erfasst werden, Beispiele für weitere Faktoren sind, die bei dem Suchprozess vorteilhaft sein können. Das System überträgt die Möglichkeit Google-artiger Seiteneinstufung auf Papier.
Siehe auch Abschnitt 4.2.2 für einige weitere Auswirkungen der Verwendung von Kontext für Suchmaschinen.
14. Datenstromanalyse
Die Verwendung des Systems erzeugt als Nebeneffekt einen überaus wertvollen Datenstrom. Dieser Strom ist eine Aufzeichnung davon, was Benutzer lesen und wann, und ist in vielen Fällen eine Aufzeichnung darüber, was sie von den Dingen die sie lesen, als besonders wertvoll erachten. Solche Daten standen für Papierdokumente zuvor niemals wirklich zur Verfügung.
Einige Möglichkeiten wie diese Daten nützlich für das System und den Benutzer des Systems sein können sind in Abschnitt 6.1 beschrieben. Dieser Abschnitt konzentriert sich auf ihre Verwendung für andere. Es gibt natürlich wesentliche Datenschutzfragen. die hinsichtlich jeder Verteilung von Daten darüber, was Personen lesen, berücksichtigt werden müssen doch solche Themen wie das Aufrechterhalten der Anonymität von Daten sind dem Fachmann allgemein bekannt.
14.1. Dokumentenverfolgung
Wenn das System weiß, welche Dokumente ein beliebiger gegebener Benutzer liest, kann es auch ableiten wer ein beliebiges gegebenes Dokument liest. Dies ermöglicht die Nachverfolgung eines Dokuments über eine Organisation um zum Beispiel eine Analyse darüber zu ermöglichen wer es liest und wann wie weit es verteilt wurde, wie lange diese Verteilung dauerte und wer aktuelle Ausgaben angeschaut hat, während andere noch mit veralteten Exemplaren arbeiten.
Für veröffentlichte Dokumente, die eine größere Verteilung aufweisen, ist die Nachverfolgung einzelner Exemplare schwieriger, doch die Analyse der Verteilung der Leserschaft ist dennoch möglich.
14.2. Leseeinstufung – Beliebtheit von Dokumenten und Teilbereichen
In Situationen, in denen Benutzer Text oder andere Daten erfassen, die für sie von besonderem Interesse sind, kann das System die Beliebtheit von bestimmten Dokumenten und von bestimmten Teilbereichen dieser Dokumente herleiten. Dies ist ein wertvoller Beitrag für das System selbst (Abschnitt 4.2.2) und eine wichtige Informationsquelle für Autoren Herausgeber und Werbetreibende (Abschnitt 7.6, Abschnitt 10.5). Diese Daten können außerdem nützlich sein, wenn sie in Suchmaschinen und Suchindizes integriert werden – zum Beispiel, um bei der Einstufung von Suchergebnissen für Abfragen die aus wiedergegebenen Dokumenten stammen, und/oder, um bei der Einstufung herkömmlicher Abfragen die in einem Webbrowser eingetippt werden, zu helfen.
14.3. Benutzeranalyse – Erstellung von Profilen
Die Kenntnis darüber, was ein Benutzer liest, ermöglicht es dem System, ein recht detailliertes Modell der Interessen und Aktivitäten eines Benutzers zu erstellen. Dies kann auf einer abstrakten statistischen Basis nützlich sein – „35% der Nutzer, die diese Zeitung kaufen lesen auch das neuste Buch dieses Autors” – es kann jedoch, wie nachfolgend erörtert, auch andere Interaktionen mit dem einzelnen Benutzer ermöglichen.
14.3.1. Social Networking
Ein Beispiel liegt darin, einen Benutzer mit anderen in Verbindung zu bringen, die verwandte Interessen haben. Dabei kann es sich um Personen handeln, die dem Benutzer bereits bekannt sind. Das System kann einen Universitätsprofessor fragen: „Wussten Sie, dass Ihr Kollege an der XYZ-Universität dieses Referat ebenfalls gelesen hat?” Das System kann einen Benutzer fragen: „Möchten Sie sich mit anderen Leuten in Ihrer Nachbarschaft vernetzen, die ebenfalls Jane Eyre lesen?” Solche Verknüpfungen können die Basis für die automatische Schaffung von Buchgemeinschaften und ähnlichen sozialen Strukturen darstellen, entweder in der physischen Welt oder online.
14.3.2. Vermarktung
In Abschnitt 10.6 wurde bereits das Konzept erwähnt, einzelnen Benutzern Produkte und Dienstleistungen auf Basis ihrer Interaktionen mit dem System anzubieten. Derzeitige Online-Buchhändler geben einem Benutzer zum Beispiel oftmals Empfehlungen basierend auf dessen vorherigen Interaktionen mit dem Buchhändler. Derartige Empfehlungen werden wesentlich nützlicher, wenn sie auf Interaktionen mit den tatsächlichen Büchern basiert sind.
14.4. Vermarktung auf Basis anderer Aspekte des Datenstroms
Es wurden einige der Möglichkeiten darüber besprochen, wie das System Herausgeber von Dokumenten, Werbekunden, die darüber inserieren, und andere von Papier initiierte Verkäufe beeinflussen kann (Abschnitt 10). Einige kommerzielle Aktivitäten können eventuell gar keine direkte Interaktion mit den Papierdokumenten aufweisen, können durch diese aber dennoch beeinflusst werden. Zum Beispiel kann das Wissen darüber, dass Personen in einer Gemeinschaft mehr Zeit damit verbringen, den Sportteil der Zeitung zu lesen, als beim Finanzteil, kann von Interesse für jemanden sein, der ein Fitnessstudio eröffnen möchte.
14.5. Arten von Daten, die erfasst werden können
Neben den besprochenen Statistiken, wie etwa darüber, wer welche Teile von welchen Dokumenten liest, und wann und wo, kann es von Interesse sein, unabhängig davon, ob das Dokument aufgefunden wurde oder nicht, die eigentlichen Inhalte des erfassten Textes zu untersuchen.
In vielen Situationen wird der Nutzer außerdem nicht nur einen Text erfassen, sondern wird auch veranlassen, dass infolgedessen eine Aktion durchgeführt wird. Diese könnte beispielsweise Versenden eines Verweises auf das Dokument per E-Mail an einen Bekannten sein. Selbst in Abwesenheit von Informationen über die Identität des Benutzers oder des Empfängers der E-Mail kann die Kenntnis, dass jemand das Dokument als wertvoll genug erachtet, um es per E-Mail zu verschicken, sehr nützlich sein.
Neben den verschiedenen besprochenen Verfahren zum Ableiten des Werts eines bestimmten Dokuments oder Textstücks wird der Benutzer den Wert in einigen Fällen explizit anzeigen, indem er ihm eine Wertung zuweist.
Zuletzt können, wenn bekannt ist, dass ein bestimmter Kreis von Benutzern eine Gruppe bilden, zum Beispiel wenn bekannt ist, dass sie Angestellte eines bestimmten Unternehmens sind, die zusammengesetzten Statistiken dieser Gruppe verwendet werden, um die Bedeutung eines bestimmten Dokuments für diese Gruppe herzuleiten. Dies trifft auf Gruppen zu, die durch maschinelle Klassifikationstechniken, wie etwa Bayessche Statistik, Clusterbildung, k-Nearest-Neighbor (k-NN), Singulärwertzerlegung (SVD) usw. basierend auf Daten über Dokumente, Erfassungen, Benutzer usw. identifiziert werden.
15. Vorrichtungsmerkmale und -funktionen
In einigen Beispielen kann das Erfassungsgerät in einem Mobiltelefon integriert sein, in dem die Telefonhardware nicht dafür modifiziert ist, das System zu unterstützen, wie beispielsweise dann, wenn die Texterfassung durch die Bilderfassung hinreichend durchgeführt und durch das Telefon selbst verarbeitet werden kann, oder durch ein vom Mobiltelefon zugängliches System, beispielsweise durch eine drahtlose Netzwerkverbindung oder eine Mobilfunkverbindung, oder im Speicher des Telefons für die künftige Verarbeitung abgelegt, integriert werden. Viele moderne Telefone verfügen über die Fähigkeit, Software herunterzuladen. die einige Teile des Systems implementieren kann. In einigen Beispielen wird die Kamera verwendet, die in vielen Mobiltelefonen eingebaut ist, um ein Bild von dem Text aufzunehmen. Die Anzeige des Telefons, die normalerweise als ein Sucher für die Kamera funktionieren würde, kann auf dem Live-Bild der Kamera Informationen über die Qualität des Bildes und dessen Eignung für OCR, darüber, welche Textsegmente erfasst werden und, wenn die OCR auf dem Telefon durchgeführt werden kann, sogar eine Transkription des Textes, überlagern. Die Anzeige des Telefons kann außerdem eine Oberfläche bereitstellen, über die ein Benutzer mit dem erfassten Text interagieren kann und zugehörige Aktionen aufrufen kann.
Gleichermaßen können Sprachdaten über ein Mikrofon des Mobiltelefon erfasst werden. Eine solche Spracherfassung ist in vielen Situationen jedoch wahrscheinlich suboptimal, zum Beispiel, wenn es beträchtliche Hintergrundgeräusche gibt, und eine genaue Spracherkennung ist auch in günstigsten Zeiten eine schwierige Aufgabe. Die Audiomöglichkeiten können am besten dafür verwendet werden, Sprachanmerkungen zu erfassen.
In einigen Beispielen wird das Telefon modifiziert, um dedizierte Erfassungseinrichtungen hinzuzufügen, oder um eine solche Funktionalität in einem Ansteckadapter oder einem separaten, über Bluetooth^TM verbundenen Peripheriegerät in Verbindung mit dem Telefon bereitzustellen. Welche Art von Erfassungsmechanismus auch verwendet wird, die Integration des Systems mit einem modemfähigen Mobiltelefon hat viele andere Vorteile. Das Telefon verfügt über eine Verbindung mit der übrigen Welt, was bedeutet, dass Abfragen für entfernte Suchmaschinen oder andere Teile des Systems eingereicht werden können, und Kopien und Dokumente zum sofortigen Speichern oder Anschauen abgerufen werden können. Ein Telefon verfügt typischerweise über eine Verarbeitungsleistung, die ausreichend ist, um viele Funktionen des Systems lokal durchzuführen, und einen Speicher, der ausreicht, um eine angemessene Menge an Daten zu erfassen Die Größe des Speichers kann durch den Benutzer oftmals auch vergrößert werden. Telefone weisen ausreichend gute Anzeige- und Audioeinrichtungen zum Bereitstellen von Benutzerfeedback und oftmals eine Vibrationsfunktion für taktiles Feedback auf. Sie verfügen auch über eine gute Stromversorgung.
Das Bedeutendste an allem ist vielleicht, dass viele potenzielle Benutzer bereits ein Mobiltelefon bei sich tragen.
Eine Erfassungsvorrichtung zur Verwendung mit dem System erfordert kaum mehr als eine Möglichkeit, Text aus einer wiedergegebenen Version des Dokuments zu erfassen Wie zuvor beschrieben, kann diese Erfassung durch eine Vielzahl von Verfahren erreicht werden, die das Aufnehmen eines Fotos von einem Teil des Dokuments oder Eintippen einiger Wörter in ein Tastenfeld beinhalten. Diese Erfassung kann unter Verwendung eines Mobiltelefons mit Bild- und Audioerfassungsmöglichkeiten oder eines optischen Scanners, der auch Sprachanmerkungen aufnimmt, erzielt werden.
15.1. Eingabe und Ausgabe
Viele der möglicherweise vorteilhaften zusätzlichen Eingabe- und Ausgabeeinrichtungen für eine solche Vorrichtung wurden in Abschnitt 12.1 beschrieben. Sie beinhalten Tasten, Scrollräder und Touchpads zur Eingabe und Anzeigen, Indikatorleuchten, Audio- und Berührungswandler zur Ausgabe. Manchmal wird die Vorrichtung viele von diesen umfassen, manchmal sehr wenige. Die Erfassungsvorrichtung wird gelegentlich in der Lage sein, mit einer anderen Vorrichtung zu kommunizieren, die bereits über diese verfügt (Abschnitt 15.6), beispielsweise unter Verwendung einer Drahtlosverbindung, und gelegentlich wird die Erfassungsfunktionalität in solch eine andere Vorrichtung integriert sein (Abschnitt 15.7).
15.2. Konnektivität
In einigen Beispielen implementiert die Vorrichtung den Großteil des Systems selbst. In einigen Beispielen kommuniziert sie jedoch oftmals mit einem PC oder einer anderen Computervorrichtung und mit der übrigen Welt unter Verwendung von Kommunikationseinrichtungen.
Diese Kommunikationseinrichtungen liegen oftmals in Form eines Allzweck-Datennetzwerks wie etwa Ethernet, 802.11 oder UWB oder eines Standardnetzwerks zum Anschluss von Peripheriegeräten wie USB, IEEE-1394 (Firewire), Bluetooth^TM oder Infrarot vor. Wenn eine drahtgebundene Verbindung wie etwa Firewire oder USB verwendet wird, kann die Vorrichtung über dieselbe Verbindung elektrische Energie empfangen. Unter einigen Umständen kann die Erfassungsvorrichtung einer verbundenen Maschine als ein herkömmliches Peripheriegerät wie etwa eine USB-Speichervorrichtung erscheinen.
Schließlich kann sich das Gerät unter Umständen an ein anderes Gerät „andocken”, um entweder in Verbindung mit diesem Gerät oder zur bequemen Aufbewahrung verwendet zu werden.
15.3. Zwischenspeicherung und andere Online/Offline-Funktionalität
In Abschnitt 3.5 und 12.1.4 wurde das Thema des nicht verbundenen Betriebs angesprochen. Wenn eine Erfassungsvorrichtung einen begrenzten Teilsatz der gesamten Funktionalität des Systems aufweist und nicht in Verbindung mit den anderen Teilen des Systems ist, kann die Vorrichtung dennoch nützlich sein, obwohl die verfügbare Funktionalität gelegentlich reduziert sein wird. Auf der einfachsten Ebene kann die Vorrichtung die unbearbeiteten Bild- oder Audiodaten, die erfasst werden, aufzeichnen, und diese können später verarbeitet werden Zum Nutzen des Benutzers kann es jedoch wichtig sein, wenn möglich Feedback darüber bereitzustellen, ob die erfassten Daten für die vorliegende Aufgabe wahrscheinlich ausreichen werden, ob sie erkannt werden können oder wahrscheinlich erkennbar sind, und ob die Quelle der Daten identifiziert werden kann oder wahrscheinlich später identifizierbar ist. Der Benutzer wird anschließend wissen, ob seine Erfassungsaktivität sinnvoll ist. Selbst wenn alle der vorstehend genannten unbekannt sind, können die Rohdaten dennoch gespeichert werden, sodass zumindest der Benutzer später darauf Bezug nehmen kann. Dem Benutzer kann das Bild einer Erfassung präsentiert werden, beispielsweise wenn die Erfassung nicht durch den OCR-Prozess erkannt werden kann.
Um einen Teil des Umfangs möglicher Optionen zu veranschaulichen, werden nachstehend sowohl eine eher minimalistische optische Scanvorrichtung, als auch anschließend eine wesentlich besser ausgestattete beschrieben. Viele Vorrichtungen stellen einen Kompromiss zwischen diesen beiden dar.
15.3.1. Der SimpleScanner – ein einfaches Offline-Beispiel
Der SimpleScanner weist einen Abtastkopf auf, der in der Lage ist, Pixel von der Seite zu lesen, während er entlang der Länge einer Textzeile bewegt wird. Er kann seine Bewegung entlang der Seite erkennen und die Pixel mit einigen Informationen über die Bewegung aufnehmen. Außerdem weist er eine Uhr auf, die es ermöglicht, dass jeder Scan mit einem Zeitstempel versehen wird. Die Uhr wird mit einer Host-Vorrichtung synchronisiert, wenn der SimpleScanner über Konnektivität verfügt. Die Uhr zeigt ggf. nicht die tatsächliche Uhrzeit an, es können jedoch relative Uhrzeiten daraus bestimmt werden, sodass der Host die tatsächliche Uhrzeit eines Scans, oder im schlimmsten Fall die verstrichene Zeit zwischen den Scans, ableiten kann.
Der SimpleScanner weist keine ausreichende Verarbeitungsleistung auf, um selbst OCR durchzuführen, verfügt jedoch über einige Grundkenntnisse über typische Wortlängen, Wortabstände und deren Beziehung zur Schriftgröße. Er weist einige grundlegende Anzeigeleuchten auf, die dem Benutzer mitteilen, ob der Scan voraussichtlich lesbar sein wird, ob der Kopf zu schnell, zu langsam oder zu ungenau über das Papier bewegt wird und wenn bestimmt wird, dass für das zu identifizierende Dokument voraussichtlich ausreichend viele Wörter einer bestimmten Größe gescannt worden sind.
Der SimpleScanner weist einen USB-Stecker auf und kann in den USB-Anschluss an einem Computer eingesteckt werden, wo er aufgeladen wird. Der Computer erkennt diesen als eine USB-Speichervorrichtung, auf der mit Zeitstempel versehene Datendateien aufgezeichnet wurden, und ab diesem Punkt übernimmt der Rest der Systemsoftware.
15.3.2. Das SuperDevice – ein High-End-Offline-Beispiel
Das SuperDevice ist für seinen vollständigen Betrieb auch auf Konnektivität angewiesen, jedoch weist es erhebliche interne Speicher- und Verarbeitungsfähigkeiten auf die ihm dabei helfen können, während eines Offlinebetriebs bessere Einschätzungen über die erfassten Daten zu treffen.
Wenn das SuperDevice Text zum Beispiel durch Verarbeiten von Bildern eines Dokuments, die von einer Kamera von dem SuperDevice aufgenommen wurden, erfasst, wird der aufgenommene Text an eine OCR-Engine weitergeleitet, die versucht, den Text zu erkennen. Eine Reihe von Schriften, einschließlich derjenigen aus den am häufigsten gelesenen Publikationen des Benutzers, wurden heruntergeladen, um diese Aufgabe zu erfüllen, sowie ein Wörterbuch, das mit dem Rechtschreibwörterbuch des Benutzers auf dessen PC synchronisiert ist und somit viele Wörter enthält, die bei dem Benutzer häufig auftreten. Ebenfalls auf dem SuperDevice gespeichert ist eine Liste von Wörtern und Wortverbindungen mit der typischen Häufigkeit ihrer Verwendung – diese kann mit dem Wörterbuch kombiniert werden. Das SuperDevice kann die Häufigkeitsstatistiken verwenden, um sowohl bei dem Erkennungsprozess zu helfen, als auch seine Einschätzung darüber, wann eine ausreichende Menge Text erfasst wurde, zu verbessern; bei häufiger verwendeten Wortverbindungen ist es weniger wahrscheinlich, dass diese als Grundlage für eine Suchabfrage nützlich sind.
Zusätzlich wird der komplette Index der Artikel in den letzten Ausgaben der Zeitung und Zeitschriften, die der Benutzer am häufigsten liest, auf dem SuperDevice gespeichert, und so auch die Indizes für die Bücher, die der Benutzer vor Kurzem von einem Online-Buchhändler erworben hat, oder aus denen der Benutzer innerhalb der letzten Monate irgendetwas erfasst hat. Zuletzt werden die Titel von mehreren tausend der beliebtesten Veröffentlichungen, in denen Daten für das System verfügbar sind, gespeichert, sodass der Benutzer in Abwesenheit anderer Informationen den Titel erfassen kann und sich eine gute Vorstellung davon machen kann, ob es wahrscheinlich ist, dass Erfassungen aus einem bestimmten Werk später in elektronischer Form abgerufen werden können oder nicht.
Während des Erfassungsprozesses teilt das System dem Benutzer mit, dass die erfassten Daten von ausreichender Qualität und ausreichender Art waren, damit es wahrscheinlich wird, dass die elektronische Kopie der erfassten Informationen abgerufen werden kann, wenn die Verbindung wiederhergestellt ist. Das System zeigt dem Benutzer oftmals an, dass es bekannt ist, dass die Erfassung erfolgreich verlief, und dass der Kontext in einem der internen Indizes erkannt wurde, oder dass die betreffende Veröffentlichung dafür bekannt ist, dass sie dem System diese Daten zur Verfügung stellt, sodass der spätere Abruf erfolgreich sein sollte.
Das SuperDevice liegt in einer Dockingstation, die mit dem Firewire- oder USB-Port eines PCs verbunden ist. Zu diesem Zeitpunkt werden neben dem Hochladen von erfassten Daten auch die verschiedenen Onboard-Indizes und anderen Datenbanken basierend auf der aktuellen Benutzeraktivität und neuen Publikationen aktualisiert. Darüber hinaus hat das SuperDevice die Fähigkeit, sich mit drahtlosen öffentlichen Netzwerken oder Mobilfunknetzwerken zu verbinden oder über Bluetooth^TM mit einem Mobiltelefon und damit mit dem öffentlichen Netz zu kommunizieren, sofern diese technischen Mittel zur Verfügung stehen. In einigen Fällen können die eingebauten Indizes und andere Datenbanken drahtlos aktualisiert werden. Der Aktualisierungsprozess kann durch den Benutzer oder automatisch durch das System initiiert werden.
15.4. Merkmale zur Bilderfassung
Im Folgenden werden einige der Merkmale betrachtet, die in einer Erfassungsvorrichtung besonders erstrebenswert sein können.
15.4.1. Flexible Positionierung und geeignete Optik
Einer der Gründe für die anhaltende Popularität von Papier ist die Leichtigkeit der Verwendung in einer Vielzahl von Situationen, wo ein Computer beispielsweise unpraktisch oder unhandlich wäre. Eine Vorrichtung, die dazu dient, einen großen Teil der Benutzerinteraktionen mit Papier zu erfassen, sollte in ihrer Verwendung daher ähnlich praktisch sein. Dies traf für Scanner in der Vergangenheit nicht zu; selbst die kleinsten Handgeräte waren etwas unhandlich. Solche, die dafür ausgelegt sind, in Kontakt mit der Seite zu sein, müssen in einem genauen Winkel zum Papier gehalten werden und sehr vorsichtig an der Länge des zu erfassenden Textes entlangbewegt werden. Dies ist akzeptabel, wenn man einen Unternehmensbericht auf einem Bürotisch scannt, kann jedoch unpraktisch sein, wenn eine Wortverbindung aus einem Roman gescannt werden soll, während man auf einen Zug wartet. Kamerabasierte Erfassungsvorrichtungen, die in einer Entfernung zu dem Papier arbeiten, können gleichermaßen in vielen Umständen nützlich sein.
Einige Beispiele des Systems verwenden einen Scanner, der in Berührung mit dem Papier scannt, und der anstelle von Linsen eine Bildführung verwendet, ein Bündel aus Lichtleitfasern, um das Bild von der Seite auf die optische Sensorvorrichtung zu übertragen. Das besagte Gerät kann so geformt sein, dass es in einer natürlichen Position gehalten werden kann. Beispielsweise ist in einigen Beispielen der Teil in Kontakt mit der Seite keilförmig, sodass sich die Hand des Benutzers natürlicher in einer Bewegung über die Seite bewegen kann, die der Verwendung eines Textmarkers entspricht. Die Führung ist entweder in direkten Kontakt mit dem Papier oder in einem geringen Abstand dazu und kann eine austauschbare transparente Spitze aufweisen, die die Bildführung vor einer möglichen Beschädigung schützen kann. Wie in Abschnitt 12.2.4 erwähnt wurde, kann der Scanner verwendet werden, um sowohl von einem Bildschirm, als auch von Papier zu scannen, und das Material der Spitze kann so gewählt werden, dass die Wahrscheinlichkeit von Schäden an solchen Anzeigen reduziert wird.
Zuletzt stellen einige Beispiele der Vorrichtung während des Erfassungsprozesses Feedback für den Benutzer bereit, das unter Verwendung von Licht, Ton oder taktilem Feedback anzeigt, wann der Benutzer die Erfassungsvorrichtung zu schnell, zu langsam, zu ungleichmäßig bewegt oder zu weit oben oder unten von der Erfassungslinie ist.
15.5. Sicherheit, Identität, Authentifizierung, Personalisierung und Fakturierung
Wie in Abschnitt 6 beschrieben, kann die Erfassungsvorrichtung eine wichtige Rolle bei der Identifikation und Autorisierung für sichere Transaktionen, Käufe und eine Vielzahl von anderen Operationen spielen. Daher kann sie, neben den für eine solche Rolle erforderlichen Schaltungen und der Software, verschiedene Hardwaremerkmale einbeziehen, die sie sicherer machen können, wie etwa einen Smartcard-Leser, RFID oder ein Tastenfeld, auf dem eine PIN eingegeben werden kann.
Sie kann außerdem verschiedene biometrische Sensoren beinhalten, um bei der Identifikation des Benutzers zu helfen. In dem Fall einer Erfassungsvorrichtung mit Bilderfassungsfähigkeiten kann die Kamera zum Beispiel auch in der Lage sein, einen Fingerabdruck zu lesen. Bei einem Stimmenrecorder kann das Sprachmuster der Benutzers verwendet werden.
15.6. Vorrichtungsverbindung
In einigen Beispielen ist die Vorrichtung in der Lage, eine Verbindung mit anderen in der Nähe befindlichen Vorrichtungen einzugehen, um entweder ihre eigene oder deren Funktionalität zu steigern. In einigen Beispielen verwendet sie beispielsweise die Anzeige von einem in der Nähe befindlichen PC oder Telefon, um ergänzendes Feedback über ihren Betrieb bereitzustellen, oder verwendet deren Netzwerkverbindung. Andererseits kann die Vorrichtung in ihrer Rolle als eine Sicherheits- und Identifikationsvorrichtung agieren, um Operationen, die von den anderen Vorrichtungen durchgeführt werden, zu authentifizieren. Sie kann auch einfach eine Verbindung eingehen, um als ein Peripheriegerät dieser Vorrichtung zu funktionieren.
Ein interessanter Aspekt derartiger Verbindungen liegt darin, dass sie unter Verwendung der Erfassungseinrichtungen der Vorrichtung initiiert und authentifiziert werden können. Ein Benutzer, der sich an einem öffentlichen Computerterminal sicher identifizieren möchte, kann zum Beispiel die Erfassungseinrichtungen der Vorrichtung verwenden, um einen Code oder ein Symbol, das in einem bestimmten Bereich des Bildschirms des Terminals angezeigt wird, zu erfassen und so eine Schlüsselübertragung erwirken. Ein vergleichbarer Prozess kann unter Verwendung von Audiosignalen durchgeführt werden, die von einer Sprachaufzeichnungsvorrichtung aufgefangen werden.
15.7. Integration mit anderen Vorrichtungen
In einigen Beispielen ist die Funktionalität der Erfassungsvorrichtung in eine andere Vorrichtung integriert, die bereits verwendet wird. Die integrierten Vorrichtungen können in der Lage sein, sich eine Stromversorgung. Datenerfassungs- und Speichereinrichtungen und Netzwerkschnittstellen zu teilen. Eine derartige Integration kann aus praktischen Gründen erfolgen, um Kosten zu senken, oder um Funktionalität zu ermöglichen, die sonst nicht verfügbar wäre.
Einige Beispiele für Vorrichtungen, in die die Erfassungsfunktionalität integriert sein kann, beinhalten:

• ein vorhandenes Peripheriegerät wie etwa eine Maus, einen Stylus, eine USB-„Webcam”-Kamera, ein Bluetooth^TM-Headset oder eine Fernbedienung;
• eine andere Verarbeitungs-/Speichervorrichtung wie etwa ein PDA, ein MP3-Player, ein Stimmrecorder oder eine Digitalkamera;
• andere oftmals getragene oder oftmals angezogene Produkte, rein aus Komfortgründen – eine Uhr, Schmuck, eine Brille, ein Hut, ein Stift, ein Autoschlüsselanhänger; und so weiter

TEIL III – BEISPIELANWENDUNGEN FÜR DAS SYSTEM
Dieser Abschnitt listet Verwendungsbeispiele des Systems und Anwendungen, die darauf aufgebaut sein können, auf. Diese Liste soll rein veranschaulichend und in keiner Weise vollständig sein.
16. Personenbezogene Anwendungen
16.1. Lebensbibliothek
Die Lebensbibliothek (siehe auch Abschnitt 6.1.1) ist ein digitales Archiv aus beliebigen wichtigen Dokumenten, die der Abonnent speichern möchte, und eine Reihe von Beispielen für Dienste dieses Systems. In der Lebensbibliothek können alle wichtigen Bücher, Zeitschriftenartikel, Zeitungsausschnitte usw. in digitaler Form gespeichert sein. Darüber hinaus können die Anmerkungen, Kommentare und Notizen des Abonnenten zusammen mit den Dokumenten gespeichert sein. Der Zugriff auf die Lebensbibliothek kann über das Internet und World Wide Web erfolgen.
Das System erzeugt und verwaltet das Dokumentenarchiv der Lebensbibliothek für Abonnenten. Der Abonnent gibt die Dokumente, die der Abonnent in seiner Lebensbibliothek speichern möchte, durch Erfassen von Informationen aus dem Dokument an, oder indem er dem System anderweitig anzeigt, dass das bestimmte Dokument zu der Lebensbibliothek des Benutzers hinzugefügt werden soll. Die erfassten Informationen sind typischerweise Text aus dem Dokument, können aber auch ein Barcode oder anderer Code sein, der das Dokument identifiziert. Das System akzeptiert den Code und verwendet diesen, um das Quelldokument zu identifizieren. Nachdem das Dokument identifiziert ist, kann das System entweder eine Kopie des Dokuments in der Lebensbibliothek des Benutzers speichern, oder einen Link zu einer Quelle anzeigen, aus der das Dokument bezogen werden kann.
Ein Beispiel des Lebensbibliothekssystems kann prüfen, ob der Abonnent autorisiert ist, die elektronische Kopie zu beziehen. Wenn ein Leser beispielsweise Text oder eine Kennung aus einer Kopie eines Artikels in der New York Times (NYT) erfasst, sodass der Artikel der Lebensbibliothek des Lesers hinzugefügt wird, wird die Lebensbibliothek mit der NYT verifizieren, ob der Leser die Onlineausgabe der NYT abonniert; falls ja, erhält der Leser eine Kopie des Artikels, der in seiner Lebensbibliothek gespeichert ist; wenn nicht, werden Informationen, die das Dokument identifizieren und erklären, wie es bestellt werden kann, in seinem Lebensbibliothekskonto gespeichert.
In einigen Beispielen kann das System für jeden Abonnenten ein Abonnentenprofil verwalten, welches Zugriffsberechtigungsprofile beinhaltet. Dokumentzugriffsinformationen können auf verschiedene Weise kompiliert sein, von denen zwei die Folgenden sind: 1) der Abonnent stellt dem Lebensbibliothek-System die Dokumentzugriffsinformationen, zusammen mit seinen Kontonamen und Passwörtern usw., zur Verfügung oder 2) der Lebensbibliothek-Dienstleistungsanbieter fragt den Herausgeber mit den Informationen des Benutzers ab und der Herausgeber antwortet durch Ermöglichen eines Zugangs zu einer elektronischen Kopie, wenn der Lebensbibliothek-Abonnent autorisiert ist, auf das Material zuzugreifen. Wenn der Lebensbibliothek-Abonnent nicht autorisiert ist, über eine elektronische Kopie des Dokuments zu verfügen, stellt der Herausgeber einen Preis für den Lebensbibliothek-Dienstleistungsanbieter bereit, welcher dem Kunden anschließend die Option bereitstellt, das elektronische Dokument zu erwerben. Fall dies geschieht zahlt der Lebensbibliothek-Dienstleistungsanbieter entweder den Herausgeber direkt und stellt dem Lebensbibliothek-Kunden später eine Rechnung aus, oder der Lebensbibliothek-Dienstleistungsanbieter belastet für den Kauf die Kreditkarte des Kunden. Der Lebensbibliothek Dienstleistungsanbieter würde einen Anteil des Kaufpreises oder ein geringes festgelegtes Entgelt für die Ermöglichung der Transaktion erhalten.
Das System kann das Dokument in der persönlichen Bibliothek des Abonnenten und/oder in einer beliebigen anderen Bibliothek, für die der Abonnent Archivierungsrechte besitzt, archivieren. Während ein Benutzer zum Beispiel Text aus einem gedruckten Dokument erfasst, kann das Lebensbibliothek-System das wiedergegebene Dokument und dessen elektronisches Gegenstück identifizieren. Nachdem das Quelldokument identifiziert ist, kann das Lebensbibliothek-System Informationen über das Quelldokument in der persönlichen Bibliothek des Benutzers und in einer Gruppenbibliothek, für die der Abonnent Archivierungsrechte besitzt, aufzeichnen. Gruppenbibliotheken sind gemeinschaftliche Archive wie etwa eine Dokumentenablage für: eine Gruppe, die gemeinsam an einem Projekt arbeitet, eine Gruppe von Wissenschaftlern, ein Gruppen-Weblog usw.
Die Lebensbibliothek kann auf verschiedene Weise organisiert sein: chronologisch, nach Thema, nach Umfang des Interesses des Abonnenten, nach Art der Veröffentlichung (Zeitung, Buch, Zeitschrift, technisches Papier usw.), danach, wo es gelesen wird, wann es gelesen wird, nach ISBN oder nach Dewey-Dezimalklassifikation usw. Bei einer Alternative kann das System Klassifikationen basierend darauf erlernen, wie andere Abonnenten das gleiche Dokument klassifiziert haben. Das System kann dem Benutzer Klassifikationen vorschlagen oder das Dokument für den Benutzer automatisch klassifizieren.
In verschiedenen Beispielen können Anmerkungen direkt in das Dokument eingefügt sein oder können in einer separaten Datei verwaltet werden. Wenn ein Abonnent zum Beispiel Text aus einem Zeitungsartikel erfasst, wird der Artikel in seiner Lebensbibliothek archiviert, wobei der erfasste Text hervorgehoben ist. Alternativ dazu wird der Artikel in seiner Lebensbibliothek zusammen mit einer dazugehörigen Anmerkungsdatei archiviert (wodurch das archivierte Dokument unverändert bleibt). Beispiele des System können eine Kopie des Quelldokuments in der Bibliothek eines jeden Abonnenten aufbewahren, eine Kopie in der Hauptbibliothek, auf die von vielen Abonnenten zugegriffen werden kann, oder auf eine Kopie verlinken, die sich im Besitz des Herausgebers befindet.
In einigen Beispielen speichert die Life Library lediglich die Änderungen des Benutzers an dem Dokument (z. B. hervorgehobener Text usw.) und eine Verknüpfung zu einer Online-Version des Dokuments (anderswo gespeichert). Das System oder der Abonnent führt die Veränderungen mit dem Dokument zusammen, wenn der Abonnent das Dokument später abruft.
Wenn die Anmerkungen in einer separaten Datei aufbewahrt werden, werden dem Abonnenten das Quelldokument und die Anmerkungen zur Verfügung gestellt, und der Abonnent kombiniert diese, um ein verändertes Dokument zu erzeugen. Alternativ dazu kombiniert das System die zwei Dateien, bevor es sie dem Abonnenten präsentiert. In einem anderen Beispiel ist die Anmerkungsdatei eine Überlagerung für die Dokumentdatei und kann durch Software auf dem Computer des Abonnenten über das Dokument gelegt werden.
Abonnenten der Lebensbibliothek zahlen eine monatliche Gebühr, damit das System das Archiv des Abonnenten verwaltet. Alternativ dazu zahlt der Abonnent einen geringen Betrag (z. B. eine Mikrozahlung) für jedes Dokument, das in dem Archiv gespeichert ist. Alternativ dazu zahlt der Abonnent für den Zugriff auf das Archiv des Abonnenten eine Gebühr je Zugriff. Alternativ dazu können Abonnenten Bibliotheken zusammenstellen und anderen ermöglichen, basierend auf einem Gewinnbeteiligungsmodell mit dem Lebensbibliothek-Dienstleistungsanbieter und Urheberrechtsinhabern, auf diese Materialien/Anmerkungen zuzugreifen. Alternativ dazu erhält der Life-Library-Dienstanbieter eine Zahlung vom Herausgeber, wenn der Life Library-Abonnent ein Dokument anbietet (ein Umsatzbeteiligungsmodell mit dem Herausgeber, bei dem der Life-Library-Dienstanbieter einen Anteil am Umsatz des Herausgebers erhält).
In einigen Beispielen agiert der Lebensbibliothek-Dienstleistungsanbieter als ein Vermittler zwischen den Abonnenten und dem Urheberrechtsinhaber (oder dem Bevollmächtigten des Urheberrechtsinhabers, wie etwa dem Copyright Clearance Center oder CCC), um eine Abrechnung und Zahlung für urheberrechtlich geschütztes Material zu erleichtern. Der Lebensbibliothek Dienstleistungsanbieter verwendet die Zahlungsinformationen des Abonnenten und andere Benutzerkontoinformationen, um diesen Vermittlungsdienst bereitzustellen. Im Wesentlichen nutzt der Lebensbibliothek-Dienstleistungsanbieter die bereits vorhandene Beziehung mit dem Abonnenten, um den Erwerb von urheberrechtlich geschütztem Material im Namen des Abonnenten zu ermöglichen.
In einigen Beispielen kann das Lebensbibliothek-System Auszüge aus Dokumenten speichern. Wenn ein Abonnent beispielsweise Text aus einem Papierdokument erfasst, werden die Bereiche um den erfassten Text exzerpiert und in der Lebensbibliothek abgelegt, und nicht das gesamte Dokument in der Lebensbibliothek archiviert. Dies ist besonders vorteilhaft, wenn das Dokument lang ist, da ein Erhalten der Umstände der ursprünglichen Erfassung ermöglicht, dass der Abonnent das Dokument nicht erneut lesen muss, um die interessanten Abschnitte zu finden. Natürlich kann ein Hyperlink zu dem gesamten elektronischen Gegenstück des Papierdokuments in den Auszugsmaterialien enthalten sein.
In einigen Beispielen speichert das System auch Informationen über das Dokument in der Lebensbibliothek, wie etwa Autor, Veröffentlichungstitel, Veröffentlichungsdatum, Herausgeber, Urheberrechtsinhaber (oder Lizensierungsbevollmächtigter des Urheberrechtsinhabers), ISBN, Verknüpfungen zu öffentlichen Anmerkungen des Dokuments, Lesehäufigkeit usw. Einige dieser zusätzlichen Informationen über das Dokument sind eine Art von Papierdokument-Metadaten. Dritte können öffentliche Anmerkungsdateien für den Zugriff durch Personen erstellen, die nicht sie selbst sind, wie etwa die breite Öffentlichkeit. Die Verknüpfung mit dem Kommentar eines Dritten an einem Dokument ist vorteilhaft, da das Lesen von Anmerkungsdateien anderer Benutzer das Verständnis des Abonnenten des Dokuments erhöht.
In einigen Beispielen archiviert das System Materialien nach deren Klasse. Dieses Merkmal ermöglicht es einem Lebensbibliothek-Abonnenten, elektronische Gegenstücke ohne Zugriff auf jedes Papierdokument schnell für eine gesamte Klasse von Papierdokumenten zu speichern. Wenn der Abonnent zum Beispiel Text aus einem Exemplar der Zeitschrift National Geographie erfasst, stellt das System dem Abonnenten die Option zur Verfügung, alle älteren Hefte der National Geographie zu archivieren. Wenn der Abonnent auswählt, alle älteren Hefte zu archivieren, würde der Lebensbibliothek Dienstleistungsanbieter anschließend bei der National Geographie Society verifizieren, ob der Abonnent dafür autorisiert ist. Wenn nicht, kann der Lebensbibliothek-Dienstleistungsanbieter den Erwerb der Rechte zur Archivierung der National-Geographie-Zeitschriftensammlung vermitteln.
16.2. Lebensspeicher
Eine Variation oder Verbesserung des Lebensbibliothekskonzepts ist der „Lebensspeicher”, wobei das System den von einem Benutzer erfassten Text verwendet, um mehr über dessen andere Aktivitäten abzuleiten. Die Erfassung einer Speisekarte eines bestimmten Restaurant, ein Programm einer bestimmten Theateraufführung, ein Fahrplan an einem bestimmten Bahnhof oder ein Artikel aus einer Lokalzeitung ermöglicht es dem System, Ableitungen über den Standort und die gesellschaftlichen Aktivitäten des Benutzers vorzunehmen und ein automatisches Tagebuch, zum Beispiel als Webseite, für diese zu erstellen Der Benutzer wäre in der Lage, das Tagebuch zu editieren und zu verändern, zusätzliche Materialien wie etwa Fotos hinzuzufügen und natürlich auch, sich die erfassten Elemente erneut anzuschauen.
17. Wissenschaftliche Anwendungen
Erfassungsvorrichtungen, die durch das beschriebene System unterstützt werden, weisen viele überzeugende Verwendungen im wissenschaftlichen Umfeld auf. Sie können die Schüler-Lehrer-Interaktion verbessern und die Lernerfahrung vergrößern. Unter anderem können Studenten Studienmaterialien mit Anmerkungen versehen, um sie ihren individuellen Bedürfnissen anzupassen Lehrer können die Klassenzimmerleistung überwachen; und die Lehrer können die in den Studentenaufgaben zitierten Quellenmaterialien automatisch nachprüfen.
17.1. Kinderbücher
Die Interaktion eines Kindes mit einem Papierdokument, wie z. B. einem Buch, wird von einem Alphabetisierungserfassungssystem überwacht, das ein spezifisches Beispiel für dieses System verwendet. Das Kind verwendet eine Erfassungsvorrichtung, die mit anderen Elementen des Lesekompetenzerwerbssystems kommuniziert. Neben der Erfassungsvorrichtung beinhaltet das Lesekompetenzerwerbssystem eine Anzeige und Lautsprecher sowie eine Datenbank, auf die die Erfassungsvorrichtung zugreifen kann. Wenn das Kind ein unbekanntes Wort in dem Buch entdeckt, erfasst das Kind dieses mit der Erfassungsvorrichtung. In einem Beispiel vergleicht das Lesekompetenzerwerbssystem den erfassten Text mit den Ressourcen in seiner Datenbank, um das Wort zu identifizieren. Die Datenbank beinhaltet ein Wörterbuch, einen Thesaurus und/oder Multimediadaten (z. B. Audio, Grafiken usw.). Nachdem das Wort identifiziert wurde, verwendet das System die Lautsprecher, um dem Kind das Wort und dessen Definition vorzutragen. In einem anderen Beispiel werden das Wort und dessen Definition durch das Lesekompetenzerwerbssystem auf der Anzeige angezeigt. Multimediadateien über das erfasste Wort können über die Anzeige und die Lautsprecher auch abgespielt werden. Wem beispielsweise ein Kind, „Goldlöckchen und die drei Bären” liest und das Wort „Bär” erfasst hat, könnte das System das Wort „Bär” aussprechen und ein kurzes Video über Bären in der Anzeige abspielen Auf diese Weise lernt das Kind, das geschriebene Wort auszusprechen, und über die Multimediapräsentation wird ihm visuell beigebracht, was das Wort bedeutet.
Das Lesekompetenzerwerbssystem stellt sofortige auditive und/oder visuelle Informationen bereit, um den Lernprozess zu verbessern. Das Kind verwendet diese ergänzenden Informationen, um sich schnell ein tieferes Verständnis des geschriebenen Materials anzueignen. Das System kann verwendet werden, um Leseanfängern das Lesen beizubringen, um Kindern zu helfen, sich ein größeres Vokabular anzueignen, usw. Das System stellt dem Kind Informationen über Wörter zur Verfügung, die das Kind nicht kennt, oder über die das Kind weitere Informationen erhalten möchte.
17.2. Das Erlernen der Lese- und Schreibfähigkeit
In einigen Beispielen kompiliert das System persönliche Wörterbücher, wenn der Leser ein Wort sieht, das neu, interessant oder besonders nützlich oder umständlich ist, und der Leser speichert dieses (zusammen mit dessen Definition) in einer Computerdatei. Diese Computerdatei wird das personalisierte Wörterbuch des Benutzers. Das Wörterbuch ist von der Größe her im Allgemeinen kleiner als ein normales Wörterbuch, kann also auf eine Mobilstation heruntergeladen werden und somit selbst dann verfügbar sein, wenn das System nicht unmittelbar zugänglich ist. In einigen Beispielen beinhalten die Einträge des persönlichen Wörterbuchs Audiodateien, um bei der korrekten Aussprache von Wörtern zu helfen, und Informationen, die das Papierdokument identifizieren, aus dem das Wort erfasst wurde.
In einigen Beispielen erstellt das System für Schüler angepasste Orthografie- und Wortschatztests. Liest ein Schüler beispielsweise eine Aufgabe, so kann der Schüler unbekannte Wörter mit der Erfassungsvorrichtung erfassen. Das System speichert eine Liste mit allen Wörtern, die der Schüler erfasst hat. Später gibt das System einen angepassten Orthografie-/Wortschatztest an den Schüler auf einem verbundenen Monitor aus (oder druckt einen solchen Test auf einem verbundenen Drucker).
17.3. Musikunterricht
Die Anordnung von Noten auf Notenlinien ist ähnlich der Anordnung von Buchstaben in einer Textzeile. Die Erfassungsvorrichtung kann verwendet werden, um Notenschrift zu erfassen, und ein entsprechender Prozess der Erstellung einer Suche in Datenbanken bekannter Musikstücke würde ermöglichen, dass das Stück, aus dem die Erfassung erfolgte, zu identifizieren, welches anschließend abgerufen, abgespielt werden oder die Grundlage für eine weitere Aktion sein kann.
17.4. Erkennen von Plagiaten
Lehrer können das System verwenden, um durch Erfassen von Text aus Arbeiten der Schüler und Übermitteln des Textes an das System Plagiate zu erkennen oder Quellen zu verifizieren. Ein Lehrer, der zum Beispiel verifizieren möchte, ob ein Zitat in der Arbeit eines Schülers aus der Quelle stammt, die der Schüler angegeben hat, kann einen Teil des Zitats erfassen und den Titel des Dokuments, das durch das System identifiziert wird, mit dem Titel des Dokuments vergleichen, das von dem Schüler zitiert wurde. In gleicher Weise kann das System Erfassungen von Text aus Arbeiten, die als originäre Arbeiten des Schülers eingereicht wurden, verwenden, um aufzuzeigen, ob der Text stattdessen kopiert wurde.
17.5. Verbessertes Lehrbuch
In einigen Beispielen verlinkt ein Erfassen von Text aus einem wissenschaftlichen Lehrbuch Schüler oder Mitarbeiter auf detailliertere Erklärungen, weitere Übungen, Schüler- und Mitarbeiterdiskussionen über das Material, zugehörige Beispielfragen aus vergangenen Prüfungen, Literaturhinweise zum Thema, Aufzeichnungen von Vorträgen zum Thema und so weiter. (Siehe auch Abschnitt 7.1).
17.6. Sprachenlernen
In einigen Beispielen wird das System verwendet, um Fremdsprachen zu unterrichten Das Erfassen eines spanischen Wortes kann zum Beispiel bewirken, dass das Wort auf spanisch zusammen mit seiner Definition auf englisch laut vorgelesen wird.
Das System stellt sofortige auditive und/oder visuelle Informationen bereit, um den Erwerbsprozess der neuen Sprache zu verbessern. Der Leser verwendet diese ergänzenden Informationen, um sich schnell ein tieferes Verständnis des Materials anzueignen. Das System kann verwendet werden, um Lernanfängern beizubringen, Fremdsprachen zu lesen, Schülern dabei zu helfen, sich ein größeres Vokabular anzueignen usw. Das System stellt Informationen über Fremdwörter bereit, die dem Leser unbekannt sind, oder über die der Leser mehr Informationen möchte. Beim Erfassen von Text in einer Sprache kann die Erfassungsvorrichtung den erfassten Text in einer anderen Sprache anzeigen, mit der der Benutzer vertrauter ist. Als ein weiteres Beispiel kann die Erfassungsvorrichtung den erfassten Text so anzeigen, wie er in dem Dokument erscheint, dem Benutzer jedoch ermöglichen, bestimmte Wörter, die dem Benutzer fremd oder unbekannt sind, selektiv zu übersetzen und anzuzeigen, zum Beispiel durch Antippen der Wörter auf einem Touchscreen der Erfassungsvorrichtung. Die Übersetzung kann durch die Erfassungsvorrichtung durchgeführt werden oder zur Übersetzung an ein anderes System gesendet werden.
Leserinteraktion mit einem Papierdokument, wie etwa einer Zeitung oder einem Buch, wird durch ein Sprachkompetenzsystem überwacht. Der Leser verfügt über eine Erfassungsvorrichtung, die mit dem Sprachkompetenzsystem kommuniziert. In einigen Beispielen beinhaltet das Sprachkompetenzsystem eine Anzeige und Lautsprecher sowie eine Datenbank, auf die die Erfassungsvorrichtung zugreifen kann. Wenn der Leser ein unbekanntes Wort in einem Artikel entdeckt, erfasst der Leser dieses mit der Erfassungsvorrichtung. Die Datenbank beinhaltet ein Fremdsprachenwörterbuch, einen Thesaurus und/oder Multimediadaten (z. B. Audio, Grafiken usw.). In einem Beispiel vergleicht das System den erfassten Text mit den Ressourcen in seiner Datenbank, um das erfasste Wort zu identifizieren. Nachdem das Wort identifiziert wurde, verwendet das System die Lautsprecher, um dem Leser das Wort und dessen Definition vorzutragen. In einigen Beispielen werden sowohl das Wort als auch dessen Definition auf der Anzeige angezeigt. Multimediadateien über Grammatikhinweise im Zusammenhang mit dem erfassten Wort können über die Anzeige und Lautsprecher ebenfalls abgespielt werden. Wenn zum Beispiel das Wort „sprechen” erfasst wird, kann das System das Wort „hablar” vortragen, einen kurzen Audioclip abspielen, der die korrekte spanische Aussprache angibt, und eine vollständige Liste der verschiedenen Konjugationen von „hablar” anzeigen. Auf diese Weise lernt der Schüler, das geschriebene Wort auszusprechen, über die Multimediapräsentation wird ihm die Schreibweise des Wortes visuell beigebracht, und er lernt, wie das Verb zu konjugieren ist. Darüber hinaus kann das System Grammatiktipps über die ordnungsgemäße Verwendung von „hablar” zusammen mit anderen gängigen Phrasen präsentieren.
In einigen Beispielen erfasst der Benutzer ein Wort oder eine kurze Wortverbindung aus einem wiedergegebenen Dokument in einer Sprache, die nicht die Muttersprache des Benutzers ist (oder eine andere Sprache, die der Benutzer relativ gut kennt). In einigen Beispielen verwaltet das System eine priorisierte Liste der „bevorzugten” Sprachen des Benutzers. Das System identifiziert das elektronische Gegenstück des wiedergegebenen Dokuments und bestimmt den Erfassungsort innerhalb des Dokuments. Das System identifiziert außerdem ein zweites elektronisches Gegenstück des Dokuments, das in eine der vom Benutzer bevorzugten Sprachen übersetzt wurde, und bestimmt die Stelle in dem übersetzten Dokument, die dem Erfassungsort in dem Originaldokument entspricht. Wenn die entsprechende Stelle nicht genau bekannt ist, identifiziert das System einen kleinen Bereich (z. B. einen Absatz), der die entsprechende Stelle des Erfassungsorts beinhaltet. Die entsprechende übersetzte Stelle wird dem Benutzer anschließend dargestellt. Dies stellt dem Benutzer eine genaue Übersetzung des jeweiligen Abschnitts an der erfassten Stelle zur Verfügung, einschließlich Slang oder anderer idiomatischer Verwendungen, die sich oftmals nur schwer auf einer Wort-für-Wort-Basis übersetzen lassen.
17.7. Sammeln von Forschungsmaterialien
Ein Benutzer, der ein bestimmtes Thema untersucht, kann Material jeglicher Art, sowohl gedruckt als auch auf dem Bildschirm, vorfinden, welches er eventuell als relevant für das Thema in einem persönlichen Archiv aufnehmen möchte. Das System würde ermöglichen, dass dieser Prozess als Ergebnis eines Erfassen einer kurzen Wortverbindung aus einem beliebigen Stück Material automatisch erfolgt, und könnte außerdem eine Bibliografie anlegen, die zur Aufnahme in einer Veröffentlichung zum Thema geeignet ist.
18. Kommerzielle Anwendungen
Selbstverständlich könnten aus fast allen in diesem Dokument besprochenen Prozessen kommerzielle Aktivitäten geschaffen werden, wobei wir uns an dieser Stelle auf einige offensichtliche Einnahmequellen konzentrieren
18.1. Gebührenbasiertes Suchen und Indexieren
Herkömmliche Internet-Suchmaschinen stellen in der Regel kostenfreie Suchen nach elektronisches Dokumenten bereit und verlangen auch von den Inhaltsanbietern keinen Preis für die Aufnahme ihrer Inhalte in dem Index. In einigen Beispielen ermöglicht das System Rechnungen an Benutzer und/oder Zahlungen an Suchmaschinen und/oder Inhaltsanbieter in Verbindung mit dem Betrieb und der Verwendung des Systems.
In einigen Beispielen zahlen Abonnenten der Dienste des Systems eine Gebühr für Suchen, die aus Erfassungen aus Papierdokumenten stammen. Zum Beispiel kann ein Börsenmakler ein Wall Street Journal-Artikel über ein neues Produktangebot von Unternehmen X lesen. Durch die Erfassung des Namens von Unternehmen X aus dem Papierdokument und durch die Zustimmung, die notwendigen Gebühren zu zahlen, verwendet der Börsenmakler das System, um spezielle oder proprietäre Datenbanken zu durchsuchen, um Premium-Informationen über das Unternehmen, wie z. B. Berichte des Analysten, zu erhalten. Das System kann außerdem Vorkehrungen für eine Prioritätsindexierung der Dokumente schaffen, die am wahrscheinlichsten in Papierform gelesen werden, beispielsweise indem es sicherstellt, dass alle der Zeitungen, die an einem bestimmten Tag veröffentlicht werden, bereits indexiert und verfügbar sind, bevor sie in den Geschäften ausliegen.
Inhaltsanbieter können eine Gebühr dafür zahlen, dass sie mit bestimmten Begriffen in aus Papierdokumenten eingereichten Suchanfragen verknüpft werden. In einem Beispiel wählt das System den bevorzugtesten Inhaltsanbieter beispielsweise basierend auf zusätzlichem Kontext über den Anbieter aus (wobei der Kontext in diesem Fall ist, dass der Inhaltsanbieter eine Gebühr gezahlt hat, um in der Liste der Ergebnisse weiter vorgerückt zu werden). Im Wesentlichen passt der Suchanbieter Papierdokument-Suchergebnisse basierend auf bereits existenten Vereinbarungen mit einem Inhaltsanbieter an Siehe auch die Beschreibung von Schlüsselwörter und Schlüsselphrasen in Abschnitt 5.2.
Wenn der Zugriff auf bestimmte Inhalte für bestimmte Personengruppen (wie etwa Kunden oder Angestellte) eingeschränkt werden soll, können diese Inhalte durch eine Firewall geschützt werden und somit im Allgemeinen nicht durch Dritte indexierbar sein. Der Inhaltsanbieter kann dennoch einen Index zu den geschützten Inhalten bereitstellen wollen. In solch einem Fall kann der Inhaltsanbieter einen Dienstleistungsanbieter bezahlen, um Systemabonnenten den Index des Inhaltsanbieters zur Verfügung zu stellen. Eine Anwaltskanzlei kann beispielsweise alle der Dokumente eines Kunden indexieren. Die Dokumente sind hinter der Firewall der Anwaltskanzlei gespeichert. Jedoch möchte die Anwaltskanzlei, dass ihre Angestellten und der Kunde über die Erfassungsvorrichtung Zugang zu den Dokumenten haben und stellt den Index (oder einen Verweis auf den Index) dem Dienstleistungsanbieter zur Verfügung, welcher wiederum den Index der Anwaltskanzlei durchsucht, wenn Angestellte oder Kunden der Anwaltskanzlei von einer Erfassungsvorrichtung erfasste Suchbegriffe einreichen. Die Anwaltskanzlei kann dem System des Dienstanbieters eine Liste von Mitarbeitern und/oder Kunden zur Verfügung stellen, um diese Funktion zu aktivieren, oder das System kann die Zugriffsrechte durch Abfragen der Anwaltskanzlei vor der Suche nach dem Index der Kanzlei überprüfen. Es ist zu beachten, dass der Index, der von der Anwaltskanzlei bereitgestellt wird, in dem vorhergehenden Beispiel nur der der Dokumente des Kunden ist und nicht ein Index aller Dokumente in der Anwaltskanzlei. Daher kann der Dienstleistungsanbieter den Kunden der Anwaltskanzlei ausschließlich Zugang zu den Dokumenten gewähren, die die Anwaltskanzlei für den Kunden indexiert hat.
Es gibt mindestens zwei separate Einnahmequellen, die aus Suchen resultieren können, die aus Papierdokumenten stammen: eine Einnahmequelle aus der Suchfunktion und eine andere aus der Inhaltsübergabefunktion. Die Suchfunktionseinnahmen können aus bezahlten Abonnements von Benutzern generiert werden, können aber auch basierend auf einer Gebühr pro Suche generiert werden. Die Einnahmen der Inhaltsauslieferung können mit dem Inhaltsanbieter oder dem Urheberrechtsinhaber geteilt werden (der Dienstanbieter kann für jede Auslieferung einen Prozentsatz des Verkaufs oder eine feste Gebühr, wie z. B. einen Kleinstbetrag verlangen), können jedoch auch durch ein „Überweisungsmodell” erzeugt werden, in dem das System eine Gebühr oder einen Prozentsatz für jeden Artikel erhält, den der Abonnent aus dem Online-Katalog bestellt und den das System geliefert bzw. zu dem das System beigetragen hat, unabhängig davon, ob der Dienstanbieter die Transaktion vermittelt. In einigen Beispielen erhält der Systemdienstleistungsanbieter für alle Käufe, die der Abonnent getätigt hat, Einnahmen von dem Inhaltsanbieter, entweder für einen gewissen Zeitraum oder zu einem beliebigen späteren Zeitpunkt, wenn ein Kauf eines identifizierten Produkts erfolgt.
18.2. Kataloge
Verbraucher können die Erfassungsvorrichtung dafür verwenden, Käufe aus Papierkatalogen durchzuführen. Der Abonnent erfasst Informationen aus dem Katalog, die den Katalog identifizieren. Diese Informationen sind Text aus dem Katalog, ein Barcode oder andere Identifikatoren des Katalogs. Der Abonnent erfasst Informationen, die die Produkte identifizieren, die er erwerben möchte. Das Katalogversandetikett kann eine Kundenidentifikationsnummer enthalten, die den Kunden für den Kataloganbieter identifiziert. Falls dem so ist, kann der Abonnent auch seine Kundenidentifikationsnummer erfassen. Das System agiert als ein Vermittler zwischen dem Abonnenten und dem Anbieter, um die Katalogbestellung durch Bereitstellen der Auswahl des Kunden und der Kundenidentifikationsnummer für den Anbieter zu erleichtern.
18.3. Gutscheine
Ein Verbraucher erfasst Papiergutscheine und speichert eine elektronische Kopie des Gutscheins auf der Erfassungsvorrichtung oder auf einer entfernten Vorrichtung wie etwa einem Computer, um diese später abzurufen und zu verwenden. Ein Vorteil des elektronischen Speicherns liegt darin, dass der Verbraucher von der Last befreit wird, Papiergutscheine mit sich zu führen. Ein weiterer Vorteil liegt darin, dass elektronische Gutscheine von jedem beliebigen Ort aus abgerufen werden können. In einigen Beispielen kann das System Gutscheinverfallsdaten verfolgen, den Verbraucher über Gutscheine, die demnächst verfallen benachrichtigen und/oder verfallene Gutscheine aus dem Speicher löschen. Einen Vorteil für den Aussteller der Gutscheine bietet die Möglichkeit, mehr Feedback darüber zu erhalten, wer die Gutscheine verwendet, und wann und wo diese erfasst und verwendet werden.
18.3. Werbeportal
Ein Werbeportal kann es Werbekunden ermöglichen, Markup-Ebenen im Zusammenhang mit verschiedenen Werbeanzeigen zu erzeugen und zu verwalten. In einem Beispiel kann ein Werbeportal eine Weboberfläche bereitstellen, durch die ein Werbekunde eine oder mehrere Werbekampagnen und verbundene Informationen, wie etwa einen Namen, Markup-Informationen im Zusammenhang mit der Kampagne, Informationen darüber, wann Werbeanzeigen in der Kampagne angezeigt werden sollten und wem die Werbeanzeigen angezeigt werden sollten, Informationen über die beworbenen Produkte oder Dienstleistungen und/oder beworbene Produkte, Tags, Schlüsselwörter und/oder Schlüsselphrasen im Zusammenhang mit der Kampagne, Text oder andere Medien im Zusammenhang mit der Kampagne und so weiter, eintragen kann. Ein Werbeportal kann außerdem eine Oberfläche bereitstellen, durch die ein Werbekunde Bedienelemente angeben kann, die in der dazugehörigen Markup-Ebene erscheinen sollen. Zum Beispiel kann ein Werbekunde einen bestimmten Bereich innerhalb eines Werbebilds und/oder einen bestimmten Satz oder ein Wort innerhalb von Werbetext angeben kann, der mit einer Bedienungsüberlagerung angezeigt werden soll, wenn die Werbeanzeige erfasst und auf einer Erfassungsvorrichtung angezeigt wird. In einigen Beispielen kann es ein Werbeportal Werbekunden auch ermöglichen, eine Ausführungsspezifikation bereitzustellen, die eine oder mehrere bevorzugte Anbieter und/oder einen „Informationen-zum-Kauf”-Vorgang beinhalten kann. Ein Werbeportal kann zudem eine Oberfläche zur Verfügung stellen, mit der ein Werbetreibender die Aspekte der Erfahrung eines Kunden steuern kann, darunter auch, ob und/oder wann Sonderangebote, verschiedene Arten von Medien, eine Markup-Schicht, die auf die Interessen eines bestimmten Benutzers zugeschnitten ist. Bedürfnisse, geografischer Standorte, gesprochene Sprache usw. angeboten werden sollen. Zum Beispiel kann ein Werbeportal eine Übersetzung einer Werbeanzeige aus der Sprache der Werbeanzeige in eine Sprache, die von einem Benutzer der Erfassungsvorrichtung, der die Werbeanzeige erfasst, bevorzugt wird, bereitstellen. In einigen Beispielen kann ein Werbeportal Dienstleistungen bereitstellen, die von Verbrauchern genutzt werden können. Zum Beispiel kann ein Werbeportal Werbekunden oder anderen Dritten ermöglichen, Bewertungen und/oder Kommentare im Zusammenhang mit Werbeinteraktivitätsebenen, Anbietern, Werbekunden, Produkten, Dienstleistungen und dergleichen zu posten. In anderen Beispielen kann ein Werbeportal Benutzern ermöglichen, Kommentare im Zusammenhang mit wiedergegebenen oder gedruckten Werbeanzeigen zu posten, die Links, Bilder, Querverweise usw. beinhalten.
19. Allgemeine Anwendungen
19.1. Formulare
Das System kann verwendet werden, um ein elektronisches Dokument, das einem Papierformular entspricht, automatisch auszufüllen. Ein Benutzer erfasst ein wenig Text oder einen Barcode, der das Papierformular eindeutig identifiziert. Die Erfassungsvorrichtung übermittelt die Identität des Formulars und Informationen, die den Benutzer identifizieren, an einen nahegelegenen Computer. Der nahegelegene Computer verfügt über eine Internetverbindung. Der nahegelegene Computer kann auf eine erste Datenbank von Formularen und eine zweite Datenbank, die über Informationen über den Benutzer der Erfassungsvorrichtung verfügt, (wie etwa eine Informationsdatenbank über Abonnenten des Dienstleistungsanbieters) zugreifen. Der nahegelegene Computer greift auf eine elektronische Version des Papierformulars auf der ersten Datenbank zu und füllt die Felder des Formulars basierend auf den Informationen über den Benutzer aus, die aus der zweiten Datenbank abgerufen werden. Der nahegelegene Computer schickt das fertige Formular dann per E-Mail an den bestimmungsgemäßen Empfänger. Alternativ dazu könnte der Computer das fertige Formular auf einem nahegelegenen Drucker ausdrucken.
Anstatt auf eine externe Datenbank zuzugreifen, weist das System in einigen Beispielen eine Erfassungsvorrichtung auf, die die Informationen des Benutzers beinhaltet, wie etwa ein Identitätsmodul, eine SIM, oder eine Sicherheitskarte. Die Erfassungsvorrichtung stellt dem nahegelegenen PC Informationen bereit, die das Formular identifizieren. Der nahegelegene PC greift auf das elektronische Formular zu und fragt die Erfassungsvorrichtung nach beliebigen Informationen ab, die notwendig sind, um das Formular auszufüllen.
19.2. Visitenkarten
Das System kann verwendet werden, um elektronische Adressbücher oder andere Kontaktlisten aus Papierdokumenten automatisch auszufüllen Bei Erhalt einer Visitenkarte einer neuen Bekanntschaft kann ein Benutzer mit seinem Mobiltelefon beispielsweise ein Bild der Karte aufnehmen. Das System findet eine elektronische Kopie der Karte, die verwendet werden kann, um das Onboard-Adressbuch des Mobiltelefons mit den Kontaktdaten der neuen Bekannten zu aktualisieren Die elektronische Kopie kann mehr Informationen über die neue Bekanntschaft enthalten, als auf eine Visitenkarte passen. Zudem kann das eingebaute Adressbuch auch eine Verknüpfung zu der elektronischen Kopie speichern, sodass alle Änderungen an der elektronischen Kopie automatisch in dem Adressbuch des Mobiltelefons aktualisiert werden In diesem Beispiel beinhaltet die Visitenkarte optional ein Symbol oder einen Text, der anzeigt, das eine elektronische Kopie existiert. Wenn keine elektronische Kopie existiert, kann das Mobiltelefon OCR und Kenntnisse über Visitenkarten-Standardformate verwenden, um für die neue Bekanntschaft einen Eintrag in dem Adressbuch auszufüllen. Symbole können auch beim Prozess der direkten Extraktion von Informationen aus dem Bild helfen. Ein Telefonsymbol neben der Telefonnummer auf einer Visitenkarte kann beispielsweise erkannt werden, um den Ort der Telefonnummer zu bestimmen.
19.3. Korrekturlesen/Bearbeiten
Das System kann den Korrekturlese- und Bearbeitungsprozess verbessern. Eine Möglichkeit, wie das System den Bearbeitungsprozess verbessern kann, ist durch Verknüpfen der Interaktionen des Editors mit einem Papierdokument mit dessen elektronischem Gegenstück. Während ein Editor ein Papierdokument liest und verschiedene Teile des Dokuments erfasst, führt das System entsprechende Anmerkungen oder Bearbeitungen an einem elektronischen Gegenstück des Papierdokuments aus. Wenn der Redakteur beispielsweise einen Abschnitt des Textes erfasst und die „neuer Absatz”-Steuerungsgeste mit der Erfassungsvorrichtung macht, würde ein Computer, der mit der Erfassungsvorrichtung verbunden ist, einen „neuer Absatz”-Umbruch an der Stelle des erfassten Textes in die elektronische Kopie des Dokuments einfügen.
19.4. Sprachanmerkung
Ein Benutzer kann Sprachanmerkungen an einem Dokument vornehmen, indem er einen Teil eines Textes aus dem Dokument erfasst und anschließend eine Sprachaufzeichnung im Zusammenhang mit dem erfassten Text erstellt. In einigen Beispielen verfügt die Erfassungsvorrichtung über ein Mikrofon, um verbale Anmerkungen des Benutzers aufzuzeichnen. Nachdem die verbalen Anmerkungen aufgezeichnet sind, identifiziert das System das Dokument, aus welchem der Text erfasst wurde, und lokalisiert den erfassten Text innerhalb des Dokuments und fügt die Sprachanmerkung an dieser Stelle an. In einigen Beispielen wandelt das System die Sprache in Text um und fügt die Anmerkung als einen Textkommentar an.
In einigen Beispielen verwahrt das System die Anmerkungen getrennt von dem Dokument, wobei mit dem Dokument nur ein Verweis auf die Anmerkung verwahrt wird. Die Anmerkungen werden für einen bestimmten Abonnenten oder Benutzergruppen dann zu einer Anmerkungs-Markup-Ebene des Dokuments.
In einigen Beispielen identifiziert das System, für jede Erfassung und damit verbundene Beschriftung, das Dokument, öffnet es unter Verwendung eines Softwarepakets, scrollt zu der Stelle der Erfassung und spielt die Sprachanmerkung ab. Der Benutzer kann anschließend mit einem Dokument interagieren, während er auf Sprachanmerkungen, vorgeschlagene Änderungen oder andere Kommentare Bezug nimmt, die entweder von ihm selbst oder von jemand anderem aufgezeichnet wurden.
19.5. Hilfe im Text
Das beschriebene System kann verwendet werden, um Papierdokumente mit elektronischen Hilfemenüs zu verbessern. In einigen Beispielen enthält eine Markup-Ebene, die mit einem Papierdokument assoziiert ist. Hilfemenüinformationen für das Dokument. Wenn ein Benutzer zum Beispiel Text aus einem bestimmten Abschnitt des Dokuments erfasst, überprüft das System das mit dem Dokument assoziierte Markup und stellt dem Benutzer ein Hilfemenü dar, wie etwa auf einer Anzeige der Erfassungsvorrichtung.
19.6. Verwendung mit Anzeigen
In einigen Situationen ist es vorteilhaft, in der Lage zu sein. Informationen von einem Fernseher, Computer oder einer anderen, ähnlichen Anzeige zu erfassen. In einigen Beispielen wird die Erfassungsvorrichtung verwendet, um Informationen von Computermonitoren und Fernsehern zu erfassen. In einigen Beispielen weist die Erfassungsvorrichtung einen Beleuchtungssensor auf, der dafür optimiert ist, mit herkömmlichen Kathodenstrahlröhren(CRT)-Anzeigetechniken wie etwa Rastern, Austasten usw. zu funktionieren.
Eine Sprachaufzeichnungsvorrichtung, die mittels Erfassen von Audio von dem Benutzer, der einen Text aus einem Dokument vorliest, funktioniert, wird normalerweise unabhängig davon funktionieren, ob sich das Dokument auf Papier, auf einer Anzeige oder auf einem anderen Medium befindet.
19.6.1. Öffentliche Internet-Terminals und dynamische Sitzungs-IDs
Eine Verwendung der direkten Erfassung von Anzeigen ist die Zuordnung von Vorrichtungen wie in Abschnitt 15.6 beschrieben. In einigen Beispielen zeigt ein öffentliches Internet-Terminal zum Beispiel eine dynamische Sitzungs-ID auf seinem Monitor an. Das Terminal ist mit einem Kommunikationsnetzwerk wie etwa dem Internet oder einem firmeneigenen Intranet verbunden. Die Sitzungs-ID ändert sich periodisch, jedoch mindestens immer dann, wenn das Terminal verwendet wird, sodass jedem Benutzer eine neue Sitzungs-ID angezeigt wird. Um das Terminal zu verwenden, erfasst der Abonnent die auf dem Terminal angezeigte Sitzungs-ID; durch Erfassen der Sitzungs-ID teilt der Benutzer dem System mit, dass er wünscht, das Terminal für die Bereitstellung von Inhalten, die aus Erfassungen von gedruckten Dokumenten oder vom Terminalbildschirm selbst resultieren, vorübergehend mit seiner Erfassungsvorrichtung zu verbinden. Die Erfassungsvorrichtung kann die Sitzungs-ID und andere Informationen, die die Erfassungsvorrichtung authentifizieren (wie etwa eine Seriennummer, Kontonummer oder andere identifizierende Informationen) direkt an das System übermitteln. Die Erfassungsvorrichtung kann mit dem System zum Beispiel direkt kommunizieren (wobei „direkt” bedeutet, ohne die Nachricht über das Terminal zu vermitteln), durch Senden der Sitzungsbeginn-Nachricht über ein Mobilfunknetz, auf das die Erfassungsvorrichtung zugreifen kann. Alternativ dazu kann das Erfassungsgerät eine drahtlose Verbindung zu dem Kiosksystem herstellen und die Kommunikationsverbindung des Kiosksystems verwenden, indem die Sitzungsinitiierungsdaten an das Kiosksystem (möglicherweise über eine RF-Verbindung mit kurzer Reichweite, wie z. B. Bluetooth^TM usw.) übertragen werden; in Reaktion darauf sendet das Kiosksystem die Sitzungsinitiierungsdaten über die Internetverbindung an das System.
Das System kann andere davon abhalten, eine Vorrichtung, die bereits mit einer Erfassungsvorrichtung assoziiert ist, während des Zeitraums (oder der Sitzung) zu verwenden, in dem die Vorrichtung mit der Erfassungsvorrichtung assoziiert ist. Dieses Merkmal ist nützlich, um zu verhindern, dass andere ein öffentliches Internetterminal nutzen, bevor die Sitzung einer anderen Person zu Ende ist. Als ein Beispiel für dieses Konzept, das mit der Verwendung eines Computers in einem Internetcafé zusammenhängt, erfasst der Benutzer einen Barcode auf einem Monitor eines PCs, den er verwenden möchte; als Reaktion sendet das System eine Sitzungs-ID an den Monitor, der diese anzeigt; der Benutzer initiiert die Sitzung durch Erfassen der Sitzungs-ID von dem Monitor (oder durch Eingeben über ein Tastenfeld oder Touchscreen oder Mikrofon auf der Erfassungsvorrichtung); und das System verknüpft in seinen Datenbanken die Sitzungs-ID mit der Seriennummer (oder einer anderen Kennung, die die Erfassungsvorrichtung des Benutzers eindeutig identifiziert) seiner Erfassungsvorrichtung, sodass eine andere Erfassungsvorrichtung die Sitzungs-ID nicht erfassen kann und den Monitor während der Sitzung nicht verwenden kann. Die Erfassungsvorrichtung ist in Kommunikation (über eine Drahtlosverbindung wie Bluetooth^TM, eine festverdrahtete Verbindung wie etwa eine Docking-Station usw.) mit einem PC, der mit dem Monitor verbunden ist, oder ist über andere Mittel, wie etwa ein Mobiltelefon usw., in direkter Kommunikation (d. h. ohne über den PC zu gehen) mit dem System.
19.7. Social-Networking- oder Kollaborationsumgebung
Das System kann eine soziale Netzwerk oder Kollaborationsumgebung, wie beispielsweise ein Wild, bereitstellen, das manchmal auch als „wiqi” bezeichnet wird, in der Benutzer Seiten für Wörter, Redewendungen, Sätze usw. erstellen und relevante Informationen posten können. Ein Benutzer kann beispielsweise eine Seite für berühmte Zitate aus einem Buch oder Film erstellen, auf der Benutzer Bilder, Audio, Video usw. des verwendeten Zitats oder einen Index, der Informationen darüber enthält, wo das Zitat verwendet oder zitiert wurde, posten können. In einigen Beispielen kann das System diese Seiten automatisch aktualisieren, wenn ein Benutzer den betreffenden Text über eine Erfassungsvorrichtung erfasst. Als ein weiteres Beispiel kann die Erfassungsvorrichtung ein erfasstes Bild mit Links zu einer Wiki-Seite entsprechend dem erfassten Text überlagern. Eine Wiki-Seite für ein bestimmtes Wort oder eine Wortverbindung kann für alle Benutzer zur Verfügung stehen oder kann für eine ausgewählte Gruppe von Benutzern erstellt werden, wie etwa eine Familie oder eine Gruppe von Freunden. Neben anderen Vorteilen ermöglicht das System, in einigen Beispielen, somit die Verwendung von wiedergegebenen Dokumenten als Plattformen in eine digitale Umgebung mit gemeinschaftlichem Informationsaustausch.
19.8. Concierge-Dienst
Ein Software-Portier-System oder -Dienst stellt einen menschlichen Assistenten (z. B. einen virtuellen Portier) zur Verfügung, der Informationen über Probleme empfängt, denen ein Benutzer während der Verwendung einer Anwendung begegnet, und der Maßnahmen ergreifen kann, um Lösungen anzubieten oder die Probleme zu beheben. Der menschliche Assistent kann Probleme beheben, die für automatisierte Prozesse schwer zu beheben sind, und kann dem Verfasser der Anwendung Feedback zu Problembereichen beim Verwenden der Software geben. Beispielsweise kann ein Benutzer, der nach einem Dokument sucht, Schwierigkeiten dabei haben, das Dokument zu linden, der menschliche Assistent kann jedoch die Schlüsselwörter untersuchen, die der Benutzer bei der Suche verwendet, um eine Vorstellung davon zu haben, was der Benutzer versucht, zu finden, und neue Schlüsselwörter in die Suchanfrage des Benutzers eingeben, damit der Benutzer relevantere Suchergebnisse erhält. Als ein weiteres Beispiel, wenn das System nicht in der Lage ist, Text innerhalb eines erfassten Bildes zu identifizieren oder zu erkennen oder eine entsprechende elektronische Version eines wiedergegebenen Dokuments zu identifizieren, können diese Aufgaben zur Unterstützung an ein Software-Concierge-System gesendet werden. Desweiteren kann ein Benutzer das Concierge-System verwenden, um Produkte zu bestellen, die durch die Erfassungsvorrichtung identifiziert wurden Dies spart dem Benutzer Zeit und erhöht die Zufriedenheit des Benutzers bei der Gesamtbewertung der Anwendung. Somit stellt das Software-Concierge-System eine neue Ebene von Softwareleistung bereit, die Benutzererfahrungen verbessert und Wege ermöglicht, Software zu verwenden, die Softwareentwickler zuvor nicht implementieren konnten.
TEIL IV – SYSTEMDETAILS
Erfassen von Informationen aus Werbeanzeigen mit einem Multifunktionsgerät
Multifunktionsgeräte, wie z. B. Smartphones und andere mobile Geräte, sind weit verbreitet, wenn nicht sogar allgegenwärtig. Wie hierin beschrieben, beinhalten sie häufig eine Erfassungskomponente 310, wie z. B. eine Bilderfassungskomponente, eine Aufzeichnungskomponente usw. Zum Beispiel verfügen die meisten Smartphones über eine Kamera oder eine andere Bilderfassungskomponente, die verwendet wird, um Bilder aufzunehmen, Videos aufzuzeichnen, Strichcodes einzuscannen usw. In einigen Beispielen kann das System die Kamera verwenden, um ein Bild einer Werbeanzeige, wie z. B. einer Werbeanzeige in einem Buch, einer Zeitung oder einer Zeitschrift usw. oder ein Bild einer dargestellten Werbeanzeige, wie z. B. Informationen über eine dynamische Anzeige, Informationen über oder Teil einer Reklametafel usw., zu erfassen Somit kann das System ein Multifunktionsgerät, wie beispielsweise ein Smartphone, als eine Erfassungsgerät 300 verwenden, um einige oder alle der hierin beschriebenen Funktionen auszuführen.
Wie unter Bezugnahme auf 4 ersichtlich, veranschaulicht ein Blockdiagramm ein mobiles Gerät 400 zur Verwendung als Erfassungsgerät 300. Das mobile Gerät 400 kann eine Anzeige 410, die als Anzeigekomponente 320 fungiert, eine Bilderfassungskomponente, die als Erfassungskomponente 310 fungiert, wie z. B. eine Kamera 405, die einer Richtung zugewendet ist, die der Ausrichtung der Anzeige entgegengesetzt ist, sowie eine oder mehrere Benutzereingabekomponenten 415 beinhalten Das mobile Gerät 400 kann zudem andere Komponenten, wie beispielsweise Kommunikationskomponenten, Datenspeicher- und Verarbeitungskomponenten, Sicherheitskomponenten und andere hierin beschriebene Komponenten, beinhalten, die bei der Ausführung der Funktionen eines Erfassungsgeräts 300 nützlich sind.
Unter Verwendung der Kamera 405 als eine Erfassungskomponente 310 kann das mobile Gerät Informationen, wie z. B. verschiedene Bilder 420, Textausschnitte 425 und oder maschinenlesbare Codes 430, die über die Anzeige des mobilen Geräts 400 betrachtet werden, aus einer Werbeanzeige oder einer anderen Informationsquelle erfassen.
Viele Werbeanzeigen beinhalten sowohl Text als auch Bilder, und daher ist in einigen Beispielen die Erfassungskomponente 310 des Erfassungsgeräts 300 in der Lage, sowohl textbasierte als auch bildbasierte Informationen zu erfassen und zu verarbeiten. In einigen Fällen kann das System, das sowohl textbasierte als auch bildbasierte Informationen von dem Erfassungsgerät 300 empfangen hat, neben anderen Vorteilen, eine Werbeanzeige und/oder eine Erfassungsposition innerhalb der Werbeanzeige schnell und eindeutig identifizieren, wenn beide Arten von Informationen verwendet werden.
Wie in diesem Beispiel beschrieben, verwendet das System, wenn es einem Benutzer ermöglicht, mit einer Werbeanzeige zu interagieren, eine integrierte Kamera oder eine andere Bilderfassungskomponente eines Multifunktionsgeräts, um als Erfassungskomponente 310 zu fungieren, und verwendet eine integrierte Anzeige, um als Anzeigeelement 320 zu fungieren. 5 zeigt ein Ablaufdiagramm, das eine Routine 500 zur Darstellung einer interaktiven Erfahrung mit einer gerenderten Werbeanzeige unter Verwendung eines Multifunktionsgeräts darstellt.
In Schritt 510 erfasst das System Informationen aus einer gerenderten Werbeanzeige. In einigen Fällen erfasst das System einen Teil des Textes, wie z. B. einen Textauszug, mit einer Erfassungskomponente des Geräts, wie z. B. einer Kamera. In einigen Fällen erfasst das System einen Teil eines Bildes oder eines nicht-textlichen visuellen Elements, das durch die Werbeanzeige präsentiert wird. In einigen Fällen erfasst das System einen Teil des Textes und einen Teil eines grafischen Elements. In einigen Fällen erfasst das System einen maschinenlesbaren Code, wie z. B. einen Strichcode, einen QR-Code, einen alphanumerischen Code, eine Webadresse usw.
In Schritt 520 identifiziert das System die gerenderte Werbeanzeige und/oder eine Position der Erfassung innerhalb der gerenderten Werbeanzeige. In einigen Fällen verwendet das System textbasierte Informationen, die von der gerenderten Werbeanzeige erfasst wurden, um die gerenderte Werbeanzeige gemäß den hierin erläuterten Techniken zu identifizieren. In einigen Fällen verwendet das System bildbasierte Informationen, die von der gerenderten Werbeanzeige erfasst wurden, um die gerenderte Werbeanzeige gemäß den typischen Bildabstimmungstechniken oder anderen hierin beschriebenen Techniken zu identifizieren. In einigen Fällen verwendet das System einen maschinenlesbaren Code, um die gerenderte Werbeanzeige zu identifizieren.
In einigen Fällen verwendet das System sowohl textbasierte als auch bildbasierte Informationen, um die gerenderte Werbeanzeige zu identifizieren. Das System kann eine Hybridsuche nach einem Bild unter Verwendung von Merkmalen oder Eigenschaften des Bildes selbst und/oder grafischen Elementen innerhalb des Bildes sowie des Inhalts des Bildes, wie beispielsweise des Textes innerhalb des Bildes, durchführen.
Das System kann Suchalgorithmen auswählen, die bei der Identifizierung der gerenderten Werbeanzeige basierend auf den Merkmalen eines aufgenommenen Bildes verwendet werden. Beispielsweise kann die Erfassung von hochgradig graduellen Inhalten dazu führen, dass das System Suchalgorithmen einsetzt, die die Abstimmung von Gradienten zwischen Bildern erleichtern, während das Erfassen von kontrastreichen Inhalten dazu führen kann, dass das System Suchalgorithmen einsetzt, die das Anpassen von Kanten, Ecken usw. und deren Beziehungen zwischen den Bildern erleichtern. Eine zusätzliche Erfassung von Text und/oder Zeichen und anderen Inhalten kann dazu führen, dass sich das System auf Autokorrelationsmuster, OCR-Ausgaben usw. konzentriert. In einigen Fällen verwendet das System starke Bildsignale, die sich typischerweise bei der Klassifizierung (z. B. Halbtonmuster) nützlich erweisen, solange das Bilderfassungssystem in der Lage ist, die Muster zu erfassen.
In manchen Fällen durchsucht das System einen Index, der mehrstufig ist, indem er eine Reihe von textbasierten Einträgen verwendet, um Ergebnisse zu beschränken und/oder bestimmte Bilder nicht zu berücksichtigen. In einigen Fällen durchsucht das System einen einstufigen bildbasierten Index, wobei der Text innerhalb eines Bildes ein separates Metadatenfeld ist. In manchen Fällen sucht das System zuerst nach dem Text, sei es in einem separaten Index oder als Teil von Bildmetadaten, und verwendet Bildmerkmale (Muster, Kontraste usw.), um mehrdeutige Suchergebnisse zu disambiguieren. Wenn zum Beispiel basierend auf früheren Texten oder Bildaufnahmen bekannt ist, dass ein Benutzer an einem bestimmten Tag die New York Times liest, kann eine zusätzliche Einschränkung für die Suchergebnisse geliefert werden.
In einigen Fällen verwendet das System Text und andere Zeichen oder sich wiederholende Zeichenfolgen, um ein Bild in Vorbereitung für die Suche zu positionieren und/oder zu verankern. Das System kann beim Erfassen und/oder Empfangen einer Erfassung eines Bildes das Bild basierend darauf anpassen, wie der Text innerhalb des Bildes positioniert werden soll. Das heißt, das System kann ein Bild vor der Suche nach dem Bild basierend auf dem Text leicht drehen, übersetzen oder anderweitig anpassen.
Wenn beispielsweise das System eine Erfassung eines Bildes empfängt, das leicht schief ist, kann das System das Bild basierend auf Korrekturen an dem Text innerhalb des Bildes anpassen, da das System (z. B. per OCR) voraussichtlich mehr Kenntnis über den Text und dessen richtige Form besitzt.
Das System kann daher die Suche nach Bildern erleichtern, indem herkömmliche Bildsuchtechniken und Eingaben (z. B. Farbe, Textur und Kanteninformation) kombiniert werden, während sie sich an den Inhalt (z. B. Text) innerhalb eines Bildes anpassen, wodurch das System neben anderen Vorteilen schnell und genau Bilder finden kann, die von Darstellungen von Inhalten erfasst werden.
In Schritt 530 identifiziert oder lokalisiert das System digitale oder elektronische Inhalte und/oder Aktionen, die ausgeführt werden sollen und mit der identifizierten Werbeanzeige und/oder der Position der Erfassung in der identifizierten Werbeanzeige verknüpft sind. In einigen Fällen sind die identifizierten Inhalte und/oder Handlungen mit der gesamten Werbeanzeige verknüpft. In einigen Fällen sind die identifizierten Inhalte und/oder Handlungen, die durchgeführt werden, mit dem Bereich oder der Position der gerenderten Werbeanzeige verknüpft, die erfasst wurde.
In Schritt 540 führt das System die identifizierten Aktionen, beispielsweise durch die Präsentation von digitalen Inhalten, aus. In einigen Fällen startet das System eine zusätzliche Anwendung, um identifizierte Aktionen durchzuführen. Beispielsweise kann das Ausführen der Aktion das Darstellen einer Webseite, die mit der Werbeanzeige verknüpft ist, das Darstellen einer Karte, das Präsentieren eines Zeitplans, das Aktualisieren eines Kalendereintrags, das Vereinbaren einer Reservierung oder eines anderen Termins, das Kaufen eines Produkts, das Registrieren eines Benutzers für einen Dienst und andere hierin beschriebene Aktionen beinhalten. In einigen Fällen stellt das System Anzeigeelemente dar, die mit den identifizierten Inhalten und/oder Aktionen verknüpft sind, die über oder zusammen mit einem Bild des gerenderten Dokuments, z. B. an Stellen, die mit den Aktionen/Inhalten verknüpft sind, durchgeführt werden sollen.
Dargestellte Anzeigeelemente können auf Anmerkungen, Kommentare und/oder andere Inhalte verweisen, die mit der gerenderten Werbeanzeige oder Aktionen verknüpft sind, die mit der Werbeanzeige verknüpft sind. Die Anzeigeelemente können als Bedienelemente oder Hinweise dienen, die mit den Inhalten oder den ausführbaren Aktionen verknüpft sind. Ein Benutzer des Geräts kann den verknüpften Inhalt aktivieren oder Aktionen über verschiedene Eingabebefehle, wie z. B. diejenigen ausführen, die dem Gerät durch Berühren eines berührungsempfindlichen Anzeigeschirms, eines Trackpads, durch Manipulieren eines Trackballs, eines Tracking-Noppen, durch Pfeiltasten usw. eingegeben werden.
6A–6E zeigen schematische Diagramme, die ein Multifunktionsgerät darstellen, das mit einer Werbeanzeige interagiert. In 6A nimmt ein Erfassungsgerät 400 ein Bild 620 einer Werbeanzeige 615 auf, die durch ein gerendertes Dokument 610 dargestellt wird. Das Bild beinhaltet mehrere Bereiche, wie z. B. „Bereich1” 621, „Bereich2” 623, „Bereich3” 625 und „Bereich4” 627, der mit ausführbaren Aktionen verknüpft ist.
Die Werbeanzeige 615 ist beispielsweise für einen neuen Film namens „Out For Revenge” und enthält vier Bereiche, die mit ausführbaren Aktionen verknüpft sind: einen ersten Bereich 621, der sich auf den Titel des Films bezieht, einen zweiten Bereich 623, der sich auf ein Bild aus dem bezieht, einen dritten Bereich 625, der sich auf einen Werbetext aus einer Rezension des Films bezieht, und einen vierten Bereich 627, der sich darauf bezieht, wann der Film in den Kinos erscheint. Die Auswahl eines oder mehrerer der Bereiche bewirkt, dass die Erfassungsvorrichtung 400 eine oder mehrere entsprechende Aktionen ausführt, wie es nun mit Bezug auf die 6B–6E erörtert wird.
Nach dem Empfangen einer Auswahl des mit dem Titel (OUT FOR REVENGE) verknüpften Bereichs 621 veranlasst das System, wie in 6B dargestellt, das Erfassungsgerät 400 dazu, eine Webseite 630 zu öffnen und anzuzeigen, die mit dem angekündigten Film zu tun hat.
Nach dem Empfangen einer Auswahl des Bereichs 623, der mit dem Bild aus dem Film verknüpft ist, veranlasst das System, wie in 6C dargestellt, das Erfassungsgerät 400 dazu, eine mit dem angekündigten Film verknüpfte Filmvorschau 640 zu öffnen und anzuzeigen.
Nach dem Empfangen einer Auswahl des Bereichs 625, der mit dem Werbetext aus einer Rezension des Films verknüpft ist („Best of 2010!”), veranlasst des System, wie in 6D dargestellt, das Erfassungsgerät 400 dazu, eine Rezension 650 zu starten und anzuzeigen, die den präsentierten Werbetext beinhaltet.
Nach dem Empfangen einer Auswahl des Bereichs 627, der mit dem Startdatum des Films verknüpft ist, veranlasst des System, wie in 6E dargestellt, das Erfassungsgerät 400 dazu, eine Webseite 660 zu öffnen und anzuzeigen, die es einem Benutzer ermöglicht, Tickets für den angekündigten Film zu kaufen. Natürlich kann des System auch andere Aktionen ausführen, die in den Figuren nicht spezifisch erörtert wurden.
In einigen Beispielen kann das System einen Hinweis für den Benutzer, wie z. B. einen visuellen Hinweis über eine Anzeige, anzeigen, wenn ein Sichtfeld der Bilderfassungskomponente des Erfassungsgeräts einen Teil einer Werbeanzeige beinhaltet, die mit den Inhalten und/oder den Aktionen des Geräts verknüpft sind. Beispielsweise überlagert das System Symbole, Farben, grafische Konturen, Textaktionsnamen, Schaltflächen, die auf ausführbare Aktionen und andere Anzeigeelemente über und/oder zusammen mit einem Bild des gerenderten Dokuments hindeuten und einen Hinweis darauf liefern, dass zusätzliche Inhalte und/oder Interaktivität in Bezug auf die Informationen innerhalb des Bildes verfügbar sind. So informiert das System den Benutzer, dass Bereiche innerhalb eines Bildes „aktiv” sind. Das System kann dann die Information in dem Bild, wenn ein Benutzer eine Eingabe zur Verfügung stellt, z. B. ein Anzeigeelement auswählen, eine Geste mit dem mobilen Gerät ausführen, usw.
In einigen Beispielen präsentiert das System Inhalte und/oder führt eine Aktion in Reaktion auf das Empfangen einer Geste von einem Benutzer eines mobilen Geräts aus. Beispielsweise kann das System, wenn ein Benutzer in der Lage ist, ein mobiles Gerät näher an ein gerendertes Dokument zu halten, Anzeigeelemente und/oder ergänzende Inhalte in der Anzeige des Geräts darstellen.
In einigen Beispielen sind Anzeigeelemente oder zugehörige Inhalte oder Aktionen die mit Werbeanzeigen verknüpft sind, Teil einer Markup-Schicht, einer Aktionsschicht oder einer Interaktivitätsschicht. Diese Schichten verknüpfen eine Werbeanzeige und deren konstituierenden Bereiche (textuell oder physisch) mit zugehörigen Aktionen, Inhalten oder Informationen. Das System kann die Schicht und/oder einen Teil der Schicht (wie z. B. ein einzelnes Anzeigeelement) aus einer Vielzahl von Speicherplätzen darunter auch aus dem lokalen Speicher des Geräts (Speicher des Geräts, SIM-Karte usw.), aus einem dezentralen Speicher des Geräts (z. B. aus einem Server in Kommunikation mit dem Gerät), aus einem Speicher an einem Drittanbieterstandort (z. B. am Standort eines Werbetreibenden, der mit der Werbeanzeige verknüpft ist) usw., lokalisieren und/oder abrufen.
In einigen Beispielen ruft das System die Schicht in Echtzeit oder nahezu in Echtzeit auf und es führt eine dynamische Aktualisierung der Anzeigeelemente durch, die einem Benutzer präsentiert werden wenn der Benutzer sein mobiles Gerät 400 oder ein gerendertes Dokument 610 in Bezug zu einander bewegt. In einigen Fällen bewirkt die Bewegung, wie z. B. die laterale, vertikale und/oder horizontale Bewegung eines mobilen Geräts 400 relativ zu einem gerenderten Dokument 610, dass sich das Bild innerhalb des Sichtfeldes einer Bilderfassungskomponente des mobilen Geräts (z. B. von einem Teil des Dokuments zu einem anderen Teil des Dokuments) ändert. So kann das System die präsentierten Anzeigeelemente, unter anderem basierend darauf dynamisch aktualisieren was sich im Sichtfeld einer Bilderfassungskomponente des mobilen Geräts befindet.
Das System kann Bewegungen des mobilen Geräts und/oder eines Zielobjekts in vielfältiger Art und Weise in Navigationsbefehle umwandeln. In einigen Fällen kann das System einen Live-Bildstrom analysieren, um Parameter (Richtung, Geschwindigkeit, Beschleunigung, Neigung, Gier usw.) der Bewegung eines Geräts relativ zu einem Hintergrund zu bestimmen. In einigen Fällen kann das System Informationen von anderen Komponenten empfangen wie z. B. Informationen, die von einem Beschleunigungssensor oder Näherungssensor empfangen werden um eine relative Position und/oder relative Höhe des Geräts zu messen und Parameter der Bewegung des Geräts relativ zu einem Hintergrund zu bestimmen Natürlich werden Fachleute auf dem Gebiet erkennen, dass das System andere Techniken und Komponenten verwenden kann, die hier nicht explizit erläutert werden, um in einem dargestellten Bild eines Dokuments mithilfe der Bewegung eines Geräts zu navigieren.
In einigen Beispielen überlagert das System die Schicht über dem aufgenommenen Echtzeitbild 410 der Werbeanzeige 615. Daher kann das System neben anderen Vorteilen einem Benutzer über ein mobiles Gerät 400 ein verbessertes Betrachtungserlebnis eines gerenderten Dokuments bereitstellen, wodurch es dem Benutzer ermöglicht wird, mit zugehörigen Inhalten und Aktionen zu interagieren und diese zu empfangen, wenn er durch das mobile Gerät die Werbeanzeige betrachtet.
In einigen Beispielen erfasst das System Informationen aus Werbeanzeigen, die gerendert werden, um visuelle Hinweise, wie z. B. Symbole, Codes usw. anzuzeigen, die die Verknüpfung und/oder die Verfügbarkeit von digitalen Inhalten angeben. Beispielsweise kann eine gerenderte Werbeanzeige grafische Hinweise darstellen, die angeben, dass die Werbeanzeige mit einer Webseite, einem Video-, Musik oder Audioinhalt, einem Gutschein oder einer Ermäßigung, einem Gewinn oder einer Belohnung usw. verbunden ist. In einigen Beispielen erfasst das System Informationen aus einer Werbeanzeige, die mit Wasserzeichen oder anderen eingebetteten Codes wiedergegeben werden, die die Werbeanzeige mit digitalen Inhalten verknüpfen.
In einigen Beispielen kann das Erfassen von Informationen aus einer Werbeanzeige einem Benutzer ermöglichen, ein mit der Werbeanzeige verbundenes Produkt zu erwerben. Beispielsweise ermöglicht das Erfassen eines Bildes einer Werbeanzeige einem Benutzer, ein Produkt oder eine Dienstleistung zu erwerben, Rezensionen des Produkts oder der Dienstleistung zu lesen usw. Das System kann Käufe und Anfragen nach Rezensionsinformationen nachverfolgen. Durch das Nachverfolgen von Benutzerinteraktionen mit Werbeanzeigen kann das System das Benutzerinteresse an einer gerenderten Werbeanzeige messen, sodass ein Bezahl- oder Klickvergütungsmodell für gerenderte Werbeanzeigen ermöglicht wird. Das System kann demografische und andere Erfassungsinformationen und Metadaten zusammenfassen und die Daten an Werbetreibende und andere interessierte Parteien weiterleiten.
In einigen Beispielen ermöglicht das System dem Benutzer, einen Gutschein aus einem gerenderten Dokument zu erfassen oder „auszuschneiden”. Das System kann die Verwendung von Gutscheinen und anderen Ermäßigungsmitteln auf verschiedene Weisen erleichtern. Beispielsweise veranlasst das Erfassen von Informationen eines gedruckten Gutscheins das System dazu, den gedruckten Gutschein zu identifizieren und eine digitale Version auf das mobile Gerät eines Benutzers herunterzuladen. Der Benutzer kann die digitale Version beim Kauf eines zugehörigen Produkts vorlegen, um die durch den Gutschein angebotenen Einsparungen in Anspruch zu nehmen Beispielsweise kann der Benutzer Informationen über Bluetooth oder einen anderen Kommunikationskanal an eine Registrierkasse senden, um Einsparungen in Anspruch zu nehmen, eine digitale Version des Gutscheins zum Einscannen an der Kasse vorlegen usw.
Als weiteres Beispiel kann ein Werbetreibender die Betrachter dazu veranlassen, mit einer Werbeanzeige zu interagieren, oder ein Lotterie-Sofortgewinnspiel anbieten, in welchem ein Benutzer Informationen aus einem gedruckten Gutschein erfasst, den Gutschein identifiziert und eine digitale Version erhält. Der digitale Coupon ermöglicht es dem Benutzer, z. B. durch „Kratz-” oder „Rubbel-”Gesten auf einem Touchscreen, der den Gutschein darstellt, verschiedene Ermäßigungen basierend auf Interaktionen mit dem Gutschein zu erhalten.
Als weiteres Beispiel kann der Werbetreibende einen digitalen Gutschein mit einem sich dynamisch ändernden Rabattwert verknüpfen. Beispielsweise kann ein Gutschein beim Erfassen einen bestimmten Wert haben, nach einer bestimmten Zeitspanne jedoch mehr oder weniger wert sein. Das heißt, ein Gutschein, der zum Zeitpunkt der Erfassung „einen Dollars” wert ist, ist zu einem späteren Zeitpunkt ggf. nur noch „fünfzig Cent” wert. In einigen Fällen kann der Wert des Gutscheins von der Vorgeschichte des Benutzers in Bezug auf die Interaktion mit einem Verkäufer, einem Werbetreibenden, zugehörigen Produkten usw. abhängig sein.
In einigen Beispielen identifiziert und führt das System Aktionen aus, die für einen Benutzer oder das Erfassungsgerät eines Benutzers spezifisch sind. Beispielsweise möchte ein Werbetreibender ggf. nur Videoclips an neue Benutzer weitergeben, die noch nie zuvor mit dem Werbetreibenden interagiert haben, während häufigen Benutzern ihrer Produkte gezieltere Inhalte bereitgestellt werden In einigen Fällen kann der Werbetreibende anbieten, die Kosten Wir das Betrachten des Videos (die Kosten der Daten unter dem mobilen Plan des Benutzers) zu subventionieren oder andere Anreize zum Betrachten oder Ausführen verschiedener Aktionen bereitzustellen.
So bietet das System in einigen Beispielen den Benutzern digitale Erfahrungen, die aus Interaktionen von gerenderten Werbeanzeigen stammen. Das System kann Aktionen ausführen, die mit gerenderten Werbeanzeigen verknüpft sind, zugehörige digitale Inhalte darstellen, Gutscheine und andere Werbeanzeigen für spätere Verwendung speichern oder ablegen usw.
Ermöglichen von Verknüpfungen zwischen gerenderten Werbeanzeigen und digitalen Inhalten
Wie in diesem Beispiel beschrieben, ermöglicht das System in einigen Beispielen das Verknüpfen ausführbarer Aktionen und anderen digitalen Inhalten, um Werbeanzeigen durch die Bereitstellung eines Portals für Werbetreibende und andere Entitäten bereitzustellen, die physische Objekte mit digitalen Inhalten verknüpfen möchten. Andere Entitäten können Herausgeber, Autoren, Rezensenten (Filmkritiker), Kommentatoren, Übersetzer, Anbieter von Inhalten, Reklametafelbesitzer, Immobilienmakler oder beliebige Entitäten beinhalten, die reale Darstellungen von Informationen mit digitalen Inhalten verknüpfen möchten. Das System kann eine Weboberfläche bereitstellen, bei der Werbetreibende neben anderen Informationen Bilder von gerenderten Werbeanzeigen, digitalen Inhalten und Regeln eingeben, die Verknüpfungen zwischen ihnen definieren.
7 zeigt ein Blockdiagramm, das eine Rechenumgebung 700 zur Bereitstellung eines Portals für Werbetreibende darstellt, um gerenderte Werbeanzeigen mit digitalen Inhalten zu verknüpfen. Die Umgebung 700 beinhaltet ein Computersystem 710 an einem Standort eines Werbetreibenden. Das Computersystem 710 beinhaltet eine Weboberfläche 715, die einem Werbetreibenden Zugriff auf das System ermöglicht. Die Weboberfläche 715 stellt verschiedene Anzeigen dar, die das Eintragen und/oder Eingeben von Bildern von gerenderten Werbeanzeigen, digitalen Inhalten, Verknüpfungen, Profilinformationen Werbetreibender, Warenzeichen und anderen Informationen ermöglichen, die mit der Bereitstellung von digitalen Inhalten verbunden sind, die mit gerenderten Dokumenten verknüpft sind. Beispiele für verschiedene präsentierte Anzeigen werden mit Berg auf die 9A–9G erörtert.
Die Umgebung 700 beinhaltet zudem einen Server 720, der das Portal bereitstellt und Informationen für das System speichert. Der Server 720, der mit dem Computersystem 710 über ein Netzwerk 705 kommuniziert, beinhaltet verschiedene Befehle oder Datenstrukturen, die zum Erzeugen der Weboberfläche 715 verwendet werden, die durch das Computersystem 710 dargestellt wird. Der Server kann Eingabeinformationen in verschiedenen Datenbanken speichern, darunter auch in einer Markup-Datenbank 722, die Informationen speichert, die Verknüpfungen zwischen digitalen Inhalten und Informationen in Bezug auf gerenderte Werbeanzeigen definieren, in einer Inhaltsdatenbank 724, die digitale Inhalte, einschließlich auszuführender Aktionen, darzustellender Inhalte usw. speichert, und in einer Bilddatenbank 726, die Informationen speichert, die dazu verwendet werden, gerenderte Werbeanzeigen, die erfasst werden, wie z. B. Bilder der Werbeanzeigen, zu identifizieren.
Die Umgebung empfängt zudem Informationen von einem Erfassungsgerät 730 und stellt diesem Informationen bereit. Das System kann Informationen vom Gerät 730, wie z. B. erfasste Informationen, Benutzerinformationen usw., empfangen. Das System kann Informiationen für das Erfassungsgerät 730 bereitstellen, wie zum Beispiel Aktionen, die ausgeführt werden sollen, Inhalte, die dargestellt oder gespeichert werden sollen, usw. In einigen Fällen kommuniziert das System über den Server 720 mit dem mobilen Gerät 730 in Reaktion auf die Erfassung von Informationen und/oder zur Bereitstellung von Informationen, die mit der Ausführung von Aktionen verknüpft sind.
Das System, das die Rechenumgebung 700 verwendet, ermöglicht die Verknüpfung von gerenderten Werbeanzeigen und anderen Informationsquellen mit digitalen Inhalten. 8 ist ein Ablaufdiagramm, das eine Routine 800 zum Verknüpfen eines gerenderten Dokuments mit digitalen Inhalten veranschaulicht.
In Schritt 810 empfängt das System ein Bild einer gerenderten Werbeanzeige oder einer anderen Informationsquelle. In einigen Fällen kann das System das Bild über eine Benutzerschnittstelle empfangen, die einem Anbieter des Bildes, wie z. B. einem Werbetreibenden, präsentiert wird. In einigen Fällen empfängt das System zwei oder mehr Bilder der gerenderten Werbeanzeige, wie z. B. Bilder aus verschiedenen Winkeln, Bilder in unterschiedlichem Licht usw. In einigen Fällen kann das System das Bild von einem Dritten empfangen, und ein Benutzer kann ein Bild für die Verwendung auswählen, ohne das Bild auf das Portal hochzuladen. In Schritt 820 empfängt das System eine Auswahl eines Teils des Bildes. Das System kann Eingaben von einem Werbetreibenden empfangen, der einen Bereich oder Bereiche des empfangenen Bildes auswählt, einschließlich einer Region, die das gesamte Bild abdeckt. Das System kann die Eingabe erleichtern, indem Werkzeuge zur Auswahl von Bereichen, wie z. B. verschiedene Oberflächenauswahlwerkzeuge, bereitgestellt werden. In Schritt 830 empfängt das System einen Hinweis zu digitalen Inhalten, die mit den ausgewählten Bereichen verknüpft werden sollen. Der Hinweis kann der tatsächliche digitale Inhalt, wie z. B. ein Bild oder Video, ein Zeiger oder eine Verknüpfung zu den digitalen Inhalten, wie z. B. eine Webadresse usw., sein. In Schritt 840 verknüpft das System die digitalen Inhalte mit dem ausgewählten Bereich. Das System kann eine Tabelle oder eine andere Datenstruktur für das Bild und/oder den Bereich des Bildes erstellen und/oder aktualisieren, um die Verknüpfung bereitzustellen, oder die Verknüpfung unter Verwendung anderer hierin beschriebener Techniken bereitstellen.
Die folgende Tabelle zeigt eine exemplarische Datenstruktur, die Verknüpfungen zwischen einer gerenderten Werbeanzeige (z. B. der „Out For Revenge”-Werbeanzeige 615) und dem digitalen Inhalt (z. B. den digitalen Inhalten 630–660) bereitstellt:

Bereich1 www.outforrevenge.com/home

Bereich2 www.outforrevenge.com/trailer1

Bereich3 www.ebertreview.com/revenge_review

Bereich4 www.ticketkiosk.com/seattle

Tabelle 1: Verknüpfungstabelle „outfforrevenge”
Natürlich kann Tabelle 1 auch andere Informationen beinhalten, wie beispielsweise Informationen, die identifizieren, welche Benutzer oder Geräte bestimmte digitale Inhalte empfangen, Informationen, die bestimmte digitale Inhalte auf bestimmte geografische Informationen beschränken, andere kontextbezogene Informationen, andere Informationen von verschiedenen Sensoren und Komponenten eines Erfassungsgeräts usw.
Darüber hinaus ermöglicht das System Werbetreibenden, eine Benutzererfahrung mit einer Werbeanzeige zu ändern, ohne die gerenderte Werbeanzeige zu ändern. Beispielsweise kann ein Werbetreibender, der das Portal verwendet, die Webadresse für die Filmvorschau entfernen, die mit dem „Bereich2” verknüpft ist, falls er andere Inhalte identifizieren sollte, wie z. B. eine vom Benutzer erstellte Filmvorschau, die für Benutzer ebenfalls interessant sein würden.
So ermöglicht das System Werbetreibenden und anderen Inhaltsanbietern, gerenderte Werbeanzeigen und andere physische Informationsquellen in das Portal einzugeben und die gerenderten Werbeanzeigen oder Bereiche davon mit digitalen Inhalten zu verknüpfen. Wie hierin beschrieben, kann das System den Empfang von Informationen erleichtern, indem einem Benutzer, beispielsweise über die Oberfläche 715, eine Anzahl von verschiedenen Darstellungen präsentiert wird.
9A–9G sind Darstellungen, die verschiedene Bildschirme anzeigen, die durch das Portal präsentiert werden und die Eingabe von Informationen für einen Werbetreibenden, wie z. B. einen Werbetreibenden, erleichtern, der einer oder mehreren gerenderten Werbeanzeigen zugeordnet ist. 9A ist ein Bildschirm 900, der durch das Portal angezeigt wird, das Elemente 905 beinhaltet, die die Eingabe von Profilinformationen für Werbetreibende ermöglichen. Exemplarische Profilinformationen beinhalten Name, Adresse, Kontaktname, Kontaktdaten, Zahlungsarten usw.
9B ist ein Bildschirm 910, der durch das Portal angezeigt wird, das eine Oberfläche 915 bereitstellt, um es einem Werbetreibenden zu ermöglichen, Informationen, einschließlich eines Bildes der gerenderten Werbeanzeige, eines Textes in der gerenderten Werbeanzeige und Metadaten bereitzustellen, die mit einer gerenderten Werbeanzeige verknüpft sind. Die Metadaten können den Namen der Werbeanzeige, Metadaten über die gerenderte Werbeanzeige, wie z. B. eine Kennung einer Publikation in der die gerenderte Werbeanzeige ausgeführt wird, ein Veröffentlichungsdatum oder Datumsbereich, eine Seitenzahl, eine Spaltenkennung usw., Metadaten über ein angekündigtes Produkt oder eine Dienstleistung, wie z. B. Produktkennungen Lieferantennamen, Lieferanten-URLs, Produkt-/Dienst-URLs usw., Tags, Schlüsselwörter und/oder Schlüsselphrasen die mit der Werbeanzeigen-Interaktivitätskampagne verbunden sind, beinhalten.
9C zeigt ein Bildschirm 920, der durch das Portal angezeigt wird, das eine Oberfläche 925 bereitstellt, um es einem Werbetreibenden zu ermöglichen, digitale Inhalte bereitzustellen, die mit einer gerenderten Werbeanzeige verknüpft werden können. Die digitalen Inhalte oder zusätzlichen Medien in der Figur können Text, Bilder, Animationen, Applets, herunterladbare Software, Video, Audio, Hyperlinks und andere Zeiger usw. beinhalten. Der Bildschirm 920 kann zudem ein Eingabeelement enthalten das die Verknüpfung von digitalem Eingaben mit gerenderten Werbeanzeigen ermöglicht.
9D zeigt einen Bildschirm 930, der von dem Portal angezeigt wird, das eine Oberfläche 935 bereitstellt, die es einem Werbetreibenden ermöglicht, Bereiche gerenderter Werbeanzeigen mit digitalem Inhalt zu verknüpfen. Der Bildschirm 930 kann zudem erleichtern, wie das System verschiedene Hinweise und Anzeigeelemente darstellt, wenn das gerenderte Dokument mithilfe eines Erfassungsgeräts erfasst wird. Beispielsweise kann ein Werbetreibender einen bestimmten Bereich innerhalb einer gerenderten Werbeanzeige auswählen und/oder eine bestimmte Phrase oder ein bestimmtes Wort innerhalb des Textes der Werbeanzeige mit einem überlagerten Anzeigeelement anzeigen lassen, wenn die gerenderte Werbeanzeige von einem Erfassungsgerät erfasst wird. Als weiteres Beispiel kann der Bildschirm 930 die Entscheidung erleichtern, welche Prozesse beim Kauf von Produkten verwendet werden sollen. Der Bildschirm 930 kann zudem, wie in Tabelle 1 geschildert, verschiedene Markups und andere Verknüpfungen erleichtern.
9E zeigt einen Bildschirm 940, der von dem Portal angezeigt wird das eine Oberfläche 945 bereitstellt, die es einem Werbetreibenden ermöglicht, die Erfahrung eines Benutzers mit einer gerenderten Werbeanzeige zu steuern, darunter auch, wann Sonderangebote, verschiedene Arten von Medien usw. angeboten werden sollen.
9F zeigt einen Bildschirm 950, der von dem Portal angezeigt wird, das eine Oberfläche 955 bereitstellt, die es einem Werbetreibenden ermöglicht, festzustellen, wann ein Kommentar von Drittanbietern in Zusammenhang mit dem Werbetreibenden dessen Werbeanzeigen, Produkten und/oder Diensten zugelassen werden sollte.
9G zeigt einen Bildschirm 960, der von dem Portal angezeigt wird, das eine Oberfläche 965 bereitstellt, die es einem Werbetreibenden ermöglicht, auszuwählen, welche Daten oder Informationen vom Portal nachverfolgt werden sollen Exemplarische Informationen beinhalten die Anzahl der Klicks (Aufrufe) oder Überspringungen, die Betrachtungszeit einer Werbeanzeige, die demografischen Informationen für den Benutzer sowie andere in der Figur dargestellte und hier erläuterte Informationen.
Natürlich kann das Portal auch weitere Bildschirme anzeigen, die hier nicht dargestellt sind, um das Eintragen von Werbeanzeigen, digitalen Inhalten, Markup und anderen Verknüpfungen und anderen Informationen in das Portal zu ermöglichen. So erleichtert das System über die Bildschirme 900–960 Werbetreibenden und anderen Entitäten, ein Bild und/oder den Text einer gerenderten Werbeanzeige einzusenden und die digitale Erfahrung in Zusammenhang mit der gerenderten Werbeanzeige zu schildern.
In einigen Beispielen stellt das Portal dem Werbetreibenden eine digitale „Wasserzeichen”-Version einer gerenderten Werbeanzeige zur Verfügung. Das Wasserzeichen kann maschinenlesbare Informationen enthalten, die in das Bild oder einen Bereich eines Bildes eingebettet sind. Das Wasserzeichen kann sichtbar oder anderweitig wahrnehmbar (z. B. in Form eines sichtbaren Strichcodes) oder im Wesentlichen unmerklich oder steganografisch sein Das Wasserzeichen kann robust genug sein, um seine Informationen nach verschiedenen Transformationen oder Modifikationen des Bildes beizubehalten. Das Wasserzeichen kann holografisch sein, sodass Teilbereiche des Wasserzeichens alle in dem Wasserzeichen eingebetteten Informationen beinhalten. Es gibt zahlreiche Verfahren zum Erstellen des Wasserzeichens eines Bildes, wobei das System bekannte Verfahren verwenden kann, um ein Bild einer gerenderten Werbeanzeige zu markieren. Beispielsweise kann das System eine maschinenlesbare Informationsnutzlast in ein Bild einbetten, indem wahlweise Teile des Farbspektrums des Bildes oder durch Manipulieren von Frequenz- und/oder Phaseninformationen in einer Fourier-Transformation des Bildes entfernt werden. Als weiteres Beispiel kann das System eine maschinenlesbare Informationsnutzlast über einen ein- oder zweidimensionalen Strichcode in ein Bild einbetten.
Das System kann digital mit Wasserzeichen versehene Bilder von gerenderten Werbeanzeigen für eine Reihe verschiedener Zwecke verwenden. Beispielsweise kann ein Wasserzeichen in einem gerenderten Werbebild ein oder mehrere eindeutige Kennungen enthalten, die mit einem Verkäufer, einem Kunden, einer Werbeanzeige, Verknüpfungen zu digitalen Inhalten, einem Werbeportal, einem Produkt oder einer Dienstleistung usw. verknüpft sind. Das Wasserzeichen kann zudem Informationen in Bezug auf zugehörige digitale Inhalte kodieren, wie zum Beispiel das Angeben von Veröffentlichungsterminen, Arten von Anzeigeelementen, die über verschiedene Bereiche oder Positionen innerhalb des mit Wasserzeichen versehenen Bildes dargestellt werden sollen, usw. Das Wasserzeichen kann zudem Informationen transportieren, um zwischen verschiedenen Kontexten zu unterscheiden, in denen eine gerenderte Werbeanzeige erscheint. Beispielsweise kann das Wasserzeichen verwendet werden, um zwischen einer in einer ersten Zeitschrift abgedruckten gerenderten Werbeanzeige und einer in einer zweiten Zeitschrift oder in einer nachfolgenden Ausgabe oder Auflage der ersten Zeitschrift abgedruckten gerenderten Werbeanzeige zu unterscheiden. In einigen Fällen kann das Wasserzeichen verwendet werden, um zwischen einer gerenderten Werbeanzeige in einer abgedruckten Publikation und der gerenderten Werbeanzeige, die in einem elektronischen Medium angezeigt wird, wie z. B. eine Webseite, ein e-Buch usw., zu unterscheiden.
In einigen Beispielen kann das System einige oder sämtliche Informationsnutzdaten verschlüsseln, bevor die Informationen in das Wasserzeichen eines Bildes eines gerenderten Werbebildes eingebettet werden. Das Portal kann die Verteilung von Codes und anderen Entschlüsselungsdaten erleichtern. Das Portal kann verschlüsselte Wasserzeichen verwenden, um zu bestimmen, dass ein Werbetreibender berechtigt ist, eine bestimmte gerenderte Werbeanzeige mit bestimmten digitalen Inhalten zu verknüpfen. Beispielsweise kann das System verhindern, dass „Joe's Bar und Grill” digitale Inhalte mit Bildern einer gerenderten Werbeanzeige für Joes Konkurrenten „Fred's Bar und Grill” verknüpft. Wenn also Joe ein Bild von einer Werbeanzeige an das Portal sendet, kann das Portal eine Frage an Joe stellen, um zu bestimmen, ob Joe eine autorisierte Quelle der gerenderten Werbeanzeige ist oder anderweitig berechtigt ist, digitale Inhalte mit der gerenderten Werbeanzeige zu verknüpfen.
In einigen Beispielen stellt das System einen Dienst zum Ausschneiden von Informationen bereit, der es Werbetreibenden ermöglicht, Informationen zu erhalten, die ihren Produkten und/oder Dienstleistungen zugeordnet sind. Beispielsweise möchte ein Uhrenhändler ggf. den Werbeanzeigen für Uhren folgen, die von anderen Einzelhändlern angeboten werden, sowie Informationen erhalten, die mit Metriken in Zusammenhang mit der Leistung, aggregierten Statistiken von Benutzerinteraktionen mit anderen Werbetreibenden, der Anzahl der Betrachtungen von Werbeanzeigen, Klicks, Benutzeraktivitäten auf Seiten in Zusammenhang mit Werbeanzeigen usw. verknüpft sind. Das System kann Informationen über das Portal oder andere Web-Oberflächen, E-Mail, RSS-Feeds, Twitter-Streams, SMS-Nachrichten usw. bereitstellen.
In gleicher Weise kann das System Benutzern ermöglichen, Werbeanzeigen für bestimmte Arten von Produkten oder Dienstleistungen zu abonnieren. Beispielsweise kann einem Benutzer, nach der Interaktion mit einer Werbeanzeige für ein von einem bestimmten Autor verfasstes Buch, die Möglichkeit geboten werden, regelmäßige Benachrichtigungen über mit dem Autor verknüpfte Werbeanzeigen, Angebote, Gutscheine usw. zu erhalten.
Um diese Dienste zu verbessern, ermöglicht das System über das Portal, dass Werbetreibende zu einer Datenbank mit ähnlichen Werbeanzeigen, darunter auch getagte oder kategorisierte Informationen zu aktuellen Werbeanzeigen, Angeboten usw., beitragen können. Benutzer und/oder Werbetreibende können in der Lage sein, die Datenbank zu durchsuchen, zu filtern und anderweitig darauf zuzugreifen, um interessante Informationen zu identifizieren Das System kann Tags und andere Metadaten, die mit Werbeanzeigen verknüpft sind, mit bekannten Benutzerinteressen vergleichen, um Werbeanzeigen zu identifizieren, die für einen Benutzer von Interesse sind. In einigen Fällen ermöglicht das System den Anwendern, Voreinstellungen festzulegen, die die zu speichernden oder für eine spätere Verwendung zu den Lesezeichen hinzuzufügenden Interaktionen definieren.
In einigen Beispielen kombiniert das System über das Portal oder andere Komponenten Informationen über die wahrscheinlichen Interessen eines Benutzers mit Informationsquellen von Werbeanzeigen, um eine personalisierte Webseite oder Webpräsenz automatisch zusammenzustellen, die die Interessen eines einzelnen Benutzers widerspiegelt, die auf den Interaktionen des Benutzers mit gerenderten Werbeanzeigen basieren So kann das System eine Online-Zeitschrift oder eine Webseite für jeden Benutzer erstellen, der mit gerenderten Werbeanzeigen interagiert hat und dem Benutzer gezielte Informationen und Inhalte zur Verfügung stellen, die für den Benutzer von Interesse sind.
In einigen Beispielen stellt das System digitale Inhalte bereit, die auf die Interessen, die Bedürfnisse, den geografischen Standort, die gesprochene Sprache eines Benutzers usw. ausgerichtet sind. Beispielsweise kann das System Produktanbieter in geografischer Nähe zum Benutzer lokalisieren und diese Informationen gegebenenfalls bereitstellen. Das System kann lokal relevante Inhalte, wie z. B. lokale Karten, lokale Anbieter und andere Abwicklungsinformationen usw., enthalten.
In einigen Beispielen ermöglicht das System den Benutzern, nationale Marken (z. B. ein Filmstudio) mit Zwischenhändlern (z. B. einer Filmticketverkaufswebseite) mit lokalen Anbietern (z. B. ein lokales Kino) zu verbinden.
In einigen Beispielen kann ein Benutzer ein Bild einer gerenderten Werbeanzeige erfassen, die nicht mit digitalen Inhalten verknüpft ist. Das System kann über das Portal dynamisch identische oder zugehörige digitale Inhalte erzeugen oder identifizieren, die auf Informationen basieren, die aus der erfassten Werbeanzeige extrahiert wurden, wie z. B. Telefonnummern, URLs, physischen Adressen, Produkt- oder Dienstleistungsnamen, Produkt- oder Dienstleistungsarten und anderen Informationen. Unter Verwendung einiger oder aller der extrahierten Informationen kann das System digitale Inhalte bereitstellen, die mit den extrahierten Informationen verknüpft sind. In einigen Fällen kann das System nach der Identifizierung des Werbetreibenden, der mit der Werbeanzeige verknüpft ist, den Werbetreibenden darüber informieren, dass bestimmte Aktionen in Verbindung mit der Werbeanzeige bereitgestellt wurden, und dem Werbetreibenden nahe legen, das System zu verwenden, um Benutzern eine reichhaltigere, gezielte Erfahrung zu bieten.
In einigen Beispielen, wenn das System zum ersten Mal auf eine nicht registrierte Werbeanzeige trifft, kann das System über das Portal Zusatzinformationen nachverfolgen, die mit einer Erfassung der Werbeanzeige und deren Kontext verknüpft sind, darunter auch Informationen die mit dem Benutzer, dessen Interessen, der unmittelbaren Erfassungsaktivität des Benutzers usw. verknüpft sind. Wenn dann ein zweiter Benutzer ein Bild derselben gerenderten Werbeanzeige erfasst, kann das System die bisher unbekannte gerenderte Werbeanzeige unter Verwendung der gespeicherten Zusatzinformationen aus der Interaktion des ersten Benutzers mit der gerenderten Werbeanzeige disambiguieren.
Schlussfolgerung
Die vorstehende detaillierte Beschreibung von Ausführungsformen und Beispielen des Systems soll nicht erschöpfend sein oder das System auf die präzise, vorstehend offenbarte Form begrenzen. Obwohl vorstehend spezifische Ausführungsformen und Beispiele für das System zu Veranschaulichungszwecken beschrieben sind, sind, wie der Fachmann auf dem relevanten Gebiet erkennen wird, verschiedene äquivalente Modifikationen innerhalb des Schutzumfangs des Systems möglich. Als ein Beispiel können alternative Ausführungsformen, obwohl Prozesse und Blöcke in einer gegebenen Reihenfolge dargestellt sind, in einer anderen Reihenfolge Routinen durchführen, die Schritte aufweisen, oder Systeme verwenden, die Blöcke aufweisen, und einige Prozesse oder Blöcke können entfernt, verschoben, hinzugefügt, unterteilt, kombiniert und/oder verändert werden. Jeder dieser Prozesse oder Blöcke kann in einer Reihe unterschiedlicher Weisen implementiert sein. Zudem können, obwohl Prozesse oder Blöcke gelegentlich als der Reihe nach durchgeführt gezeigt sind, diese Prozesse oder Blöcke stattdessen parallel durchgeführt werden oder können zu unterschiedlichen Zeiten durchgeführt werden.
Während viele der oben beschriebenen Ausführungsformen und Beispiele Software-gespeicherte physische Speichermedien innerhalb eines mobilen Geräts oder eines anderen Computersystems verwenden, können Anwendungen und Prozesse in die Computersysteme (z. B. in EEPROM, PROM usw. gespeichert) fest codiert werden.
Die Lehren des hierin bereitgestellten Systems können auf andere Systeme angewendet werden, die nicht notwendigerweise das vorstehend beschriebene System sind. Die Elemente und Handlungen der verschiedenen vorstehend beschriebenen Ausführungsformen können kombiniert werden, um weitere Ausführungsformen bereitzustellen.
Alle der vorstehend genannten Patente und Anwendungen und anderen Referenzen, einschließlich aller, die in den zugehörigen Anmeldungspapieren aufgelistet sind, sind unter Bezugnahme aufgenommen Aspekte des System können, falls nötig, verändert werden, um die Systeme, Funktionen und Konzepte der verschiedenen vorstehend beschriebenen Bezugnahmen zu verwenden, um noch weitere Ausführungsformen des Systems bereitzustellen.
Diese und andere Änderungen können an dem System vor dem Hintergrund der vorstehenden detaillierten Beschreibung vorgenommen werden. Obwohl die vorstehende Beschreibung bestimmte Ausführungsformen des Systems verdeutlicht und den besten erwogenen Modus beschreibt, kann das System unabhängig davon, wie detailliert das Vorstehende in Textform erscheint, auf viele Arten umgesetzt werden. Dementsprechend umfasst der tatsächliche Schutzumfang des Systems nicht nur die offenbarten Ausführungsformen, sondern auch alle äquivalenten Möglichkeiten zur Ausführung oder Umsetzung des Systems nach den Ansprüchen.
Während bestimmte Aspekte des Systems in bestimmten Anspruchsformen nachfolgend dargestellt werden, betrachten die Erfinder die verschiedenen Aspekte des Systems in einer beliebigen Anzahl von Anspruchsformen Während zum Beispiel nur ein Aspekt des Systems als in einem computerlesbaren Medium ausgeführt aufgezählt wird, können andere Aspekte ebenso in einem computerlesbaren Medium ausgeführt sein. Dementsprechend behalten sich die Erfinder das Recht vor, nach Einreichen der Anmeldung zusätzliche Ansprüche hinzuzufügen, um solche zusätzlichen Anspruchsformen für andere Aspekte des Systems zu verfolgen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2007/008075 [0002]

Zitierte Nicht-Patentliteratur

IEEE-1394 [0292]
www.outforrevenge.com/home [0407]
www.outforrevenge.com/trailer1 [0407]
www.ebertreview.com/revenge_review [0407]
www.ticketkiosk.com/seattle [0407]

Claims

Computerlesbares Medium, dessen Inhalte ein mobiles Gerät dazu veranlassen, eine Aktion auszuführen, die mit einer gerenderten Werbeanzeige verknüpft ist, wobei die Inhalte Folgendes umfassen: das Erfassen eines Bildes der gerenderten Werbeanzeige unter Verwendung einer Bilderfassungskomponente des mobilen Geräts, wobei das Erfassen eines Bildes der gerenderten Werbeanzeige das Erfassen von textbasierten Inhalten aus der Werbeanzeige beinhaltet; das Identifizieren der gerenderten Werbeanzeige basierend auf Informationen innerhalb des erfassten Bildes, wobei das Identifizieren der gerenderten Werbeanzeige basierend auf den Informationen innerhalb des erfassten Bildes das Identifizieren der gerenderten Werbeanzeige unter Verwendung der textbasierten Inhalte und eines oder mehrerer visueller Eigenschaften des erfassten Bildes beinhaltet, wobei das Identifizieren der gerenderten Werbeanzeige unter Verwendung der textbasierten Inhalte und einem oder mehreren visuellen Eigenschaften des erfassten Bildes das Auswählen eines oder mehrerer Bilder basierend auf den textbasierten Inhalten sowie das Identifizieren der gerenderten Werbeanzeige aus dem ausgewählten oder mehreren Bildern basierend auf dem einen oder mehreren visuellen Eigenschaften des erfassten Bildes umfasst; das Identifizieren einer oder mehrerer ausführbarer Aktionen, die mit der gerenderten Werbeanzeige verknüpft sind; das Ausführen der identifizierten einen oder mehreren Aktionen unter Verwendung einer Anzeigekomponente des mobilen Geräts.
Computerlesbares Medium nach Anspruch 1, wobei das Identifizieren einer oder mehrerer ausführbarer Aktionen, die mit der gerenderten Werbeanzeige verknüpft sind, das Identifizieren einer ausführbaren Aktion beinhaltet, die mit einer Position der gerenderten Werbeanzeige verknüpft ist, die erfasst wurde.
Computerlesbares Medium nach einem der Ansprüche 1 bis 2, wobei das Identifizieren einer oder mehrerer ausführbarer Aktionen, die mit der gerenderten Werbeanzeige verknüpft sind, das Identifizieren einer ersten ausführbaren Aktion, die mit einer Position der gerenderten Werbeanzeige verknüpft ist, die erfasst wurde, sowie das Identifizieren einer zweiten ausführbaren Aktion beinhaltet, die mit der gesamten gerenderten Werbeanzeige verknüpft ist.
Computerlesbares Medium nach einem der Ansprüche 1 bis 3, wobei das Identifizieren einer oder mehrerer ausführbarer Aktionen, die mit der gerenderten Werbeanzeige verknüpft sind, das Identifizieren einer ausführbaren Aktion basierend auf Informationen beinhaltet, die mit dem mobilen Gerät verknüpft sind.
Mobiles Gerät, das durch die Inhalte des computerlesbaren Mediums nach einem der Ansprüche 1 bis 4 veranlasst wird, eine Aktion auszuführen, die mit einer gerenderten Werbeanzeige verknüpft ist.