-
Diese
Erfindung bezieht sich auf das Gebiet der Dokumentenverarbeitung.
Die Erfindung ist für die
Verarbeitung von erfassten Dokumenten-Images besonders geeignet,
aber nicht darauf beschränkt. Die
Erfindung bezieht sich auch auf die Verarbeitung eines eingescannten
Dokumenten-Images zur Erzeugung einer Zusammenfassung des Dokuments aus
dem eingescannten Image.
-
Es
gibt viele Situationen, in denen eine Person mehrere Dokumente lesen
muss und in jedem Dokument nach der gleichen Information sucht.
Dies ist sehr zeitaufwändig,
und es ist wahrscheinlich, dass der Benutzer in anderem Text vergrabene,
wichtige Information verpassen oder übersehen könnte.
-
Es
wäre wünschenswert,
wenn ein zu lesendes Dokument automatisch irgendwie markiert werden
könnte,
um die Aufmerksamkeit eines Benutzers ohne Rücksicht auf den Typ oder das
Format des Dokuments auf bestimmte Teile des Dokuments zu lenken,
die signifikante Information enthalten können.
-
Es
gibt auch viele Gelegenheiten, zu denen es wünschenswert wäre, automatisch
eine Zusammenfassung eines Dokuments zu erstellen. Mehrere Möglichkeiten,
sich einem solchen System zu nähern,
sind im Stande der Technik vorgeschlagen worden.
-
Zum
Beispiel wird in der europäischen
Patentanmeldung
EP
0 902 379 A2 ein Verfahren beschrieben, wo ein Benutzer
bestimmte Wörter
oder Sätze
in einer elektronischen Version eines Dokuments (zum Beispiel einem
ASCII-Text) markieren kann, die das System dann herauszieht, um
eine Zusammenfassung des Dokuments zu erstellen. Ein solches System
verlangt jedoch vom Benutzer, mit einer elektronischen Version des
Dokuments zu arbeiten. Des Weiteren muss das Dokument bereits in elektronischer
Gestalt existieren, ehe irgendwelche Wörter oder Sätze durch den Benutzer ausgewählt werden
können.
-
Was
die Zusammenfassung von Papierdokumenten (oder eingescannten Images
von Papierdokumenten) betrifft, kann auf die folgenden Dokumente
Bezug genommen werden:
In den US-Patenten Nr. 5 638 543 und
5 689 716 werden Systeme beschrieben, in denen Images von Papierdokumenten
eingescannt und die Images mit optischer Zeichenerkennung (OCR:
optical character recognition) verarbeitet werden, um eine maschinen lesbare
Version des Dokuments zu erzeugen. Eine Zusammenfassung wird erzeugt,
indem in Abhängigkeit
von kritischen oder thematischen Wörtern, die in einem Satz erkannt
worden sind, Sätzen „Punktewertungen" zuerkannt werden.
Die Zusammenfassung wird aus den Sätzen erzeugt, die die besten
Punktewertungen haben.
-
Im
US-Patent Nr. 5 848 191 wird ein System beschrieben, das dem des
US-Patents Nr. 5 689 716 ähnlich
ist und Punktewertungen verwendet, um Sätzen eine Rangordnung zu geben,
wobei die Punktewertung von der Anzahl von thematischen Wörtern abhängt, die
in einem Satz vorkommen. Im US-Patent Nr. 5 848 191 wird aber die
Zusammenfassung direkt vom eingescannten Image erzeugt, ohne OCR durchzuführen.
-
Im
US-Patent Nr. 5 491 760 wird ein System beschrieben, bei dem signifikante
Wörter,
Wendungen und Grafiken in einem Dokumenten-Image unter Verwendung
automatischer oder interaktiver morphologischer Bilderkennungsverfahren
erkannt werden. Eine Zusammenfassung des Dokuments oder ein Register
können
auf der Grundlage der identifizierten, signifikanten Teile des Dokumenten-Images erstellt
werden.
-
Im
Aufsatz „Summarization
of imaged documents without OCR" [Zusammenfassung
abgebildeter Dokumente ohne OCR] von Chen und Bloomberg auf Seiten
307 bis 320 in Computer Vision and Image Understanding, Band 70,
Nr. 3, Juni 1998, wird ein detailliertes Verfahren beschrieben,
das auf einem Herausziehen von Merkmalen und einer Punktewertung
von Sätzen
auf der Grundlage der Werte eines Satzes diskreter Merkmale beruht.
Vorausinformation wird in Gestalt der Werte von Merkmalsvektoren verwendet,
die aus Zusammenfassungen gewonnen werden, die durch professionelles
Personal für
die Erstellung von Zusammenfassungen erstellt worden sind. Die in
die Zusammenfassung aufzunehmenden Sätze werden nach der Punktewertung
des Satzes ausgewählt.
-
Alle
oben aufgeführten,
mit Papier arbeitenden Verfahren verwenden Varianten einer statistischen
Bewertung, um (entweder auf der Grundlage eines OCR-Textes oder
auf der Grundlage von Image-Maps) zu beurteilen, welche Merkmale
oder Sätze
zur Verwendung in der erstellten Zusammenfassung herausgezogen werden
sollten.
-
Es
kann auf XP000551171, Chen und Mitautoren, „Detection and location of
multicharacter sequences in lines of imaged text" [Erkennung und Ortung von Mehrzeichenfolgen
in Zeilen eines abgebildeten Textes], verwiesen werden, wo die Merkmale des
Oberbegriffs eines Aspekts der Erfindung beschrieben werden. Es
kann auch auf XP002324871, Nagao, „Automatic text summarization
based on the global document anno tation" [Automatische Textzusammenfassung auf
der Grundlage der globalen Dokumentenannotation], verwiesen werden,
wo die Merkmale des Oberbegriffs eines zweiten Aspekts der Erfindung
beschrieben werden. Es kann auch auf US-A-4 868 750, EP-A-0 902
380 und XP002324872, Stevens und Mitautoren, „Automatic processing of document
annotations" [Automatische
Verarbeitung von Dokumentenannotationen] verwiesen werden. Die vorliegende
Erfindung wird in den Ansprüchen definiert.
-
Die
vorliegende Erfindung kann ein Verfahren zur Verfügung stellen,
bei dem ein Zieldokument auf der Grundlage eines oder mehrerer Schlüsselwörter annotiert
wird, die im Voraus in das Verarbeitungssystem eingegeben worden
sind.
-
Genauer
wird das Zieldokument durchsucht, um das Auftreten des einen oder
mehrerer Schlüsselwörter zu
identifizieren, und jedes solche Auftreten wird (mit einer elektronisch
erzeugten Annotation) annotiert, um den Benutzer zu einer solchen
Textstelle zu leiten.
-
Ein
Aspekt der vorliegenden Erfindung besteht darin, eine Zusammenfassung
eines erfassten (z.B. eingescannten) Images eines Dokuments auf der
Grundlage erkannter handschriftlicher oder elektronischer Annotationen
zu erzeugen, die vor dem Einscannen an einem Dokument angebracht
worden sind.
-
Genauer
wird das erfasste Image darauf verarbeitet, Annotationen zu erkennen,
die vor der Bilderfassung am Dokument angebracht worden sind. Die
in einem ersten Dokument erkannten Annotationen können verwendet
werden, um Merkmale oder Textstellen zu identifizieren, die verwendet
werden sollen, um ein anderes Dokument zusammenzufassen.
-
Der
Ausdruck „annotieren" soll hier breit
interpretiert werden und kann eine jegliche geeignete Markierung
(z.B. Hervorheben, Einringeln, Ausstreichen, Einklammern, Unterstreichen,
fettes Drucken, kursives Drucken, farbiges Hinterlegen) oder andere Techniken
zur visuellen Anzeige eines Abschnitts des Dokuments beinhalten.
-
Bevorzugt
werden die Schlüsselwörter aus einem
Quelldokument abgeleitet, das zuvor durch einen Benutzer annotiert
worden ist. Das System kann somit als ein „Forward-Annotations"system für ein automatisches „Forwarding" [Weiterleiten] der
an einem Quelldokument angebrachten Annotationen zu gleichwertigen
Annotationen eines Zieldokuments bezeichnet werden.
-
Vorzugsweise
kann das Quelldokument entweder ein Papier- (oder anderes physisches)
Dokument oder ein elektronisches Dokument (z.B. eine Textdatei)
sein.
-
Vorzugsweise
kann das Zieldokument entweder ein Papier- (oder anderes physisches)
Dokument oder ein elektronisches Dokument (z.B. eine Textdatei oder
ein Image des Dokuments) sein.
-
Vorzugsweise
umfasst das System eine Projektspeichervorrichtung für die Speicherung
von Schlüsselwörtern aus
einer Mehrzahl von Quelldokumenten.
-
Vorzugsweise
speichert die Speichervorrichtung auch die vollständigen Quelldokumente
(entweder in elektronischer Textform oder als ein eingescanntes
Image).
-
Diese
und weitere Aspekte der Erfindung werden aus der folgenden Beschreibung
klar werden, wenn in Verbindung mit den beigefügten Zeichnungen gelesen, in
denen die gleichen Bezugszahlen für gleiche Teile verwendet worden
sind und in denen:
-
1 ein
Blockdiagramm ist, das ein Dokumentenverarbeitungssystem zeigt;
-
2 ein
schematisches Diagramm ist, das die Arbeitsprinzipien des Systems
veranschaulicht;
-
3 eine
schematische Veranschaulichung eines Beispielprozesses ist;
-
4 ein
schematisches Ablaufdiagramm ist, das ein Eingabeverfahren veranschaulicht;
-
5 ein
schematisches Ablaufdiagramm ist, das ein Ausgabeverfahren veranschaulicht;
-
6 ein
schematisches Blockdiagramm einer ersten Ausführungsform für die Verarbeitung
eines Papierdokuments zur Erzeugung einer Zusammenfassung des Dokuments
ist;
-
7 ein
schematisches Ablaufdiagramm ist, das den Prozess für die Erzeugung
der Zusammenfassung zeigt;
-
8 eine
schematische Ansicht einer annotierten Seite eines Dokuments ist;
-
9 eine
vergrösserte
schematische Ansicht eines Ausschnitts von 8 ist, die
das Herausziehen eines Satzes veranschaulicht; und
-
10 ein
schematisches Diagramm ist, das Optionen für die Anzeige der Zusammenfassung veranschaulicht.
-
Auf
die Zeichnungen Bezug nehmend, umfasst ein Dokumentenverarbeitungssystem 10 eine Bilderfassungsvorrichtung 14 für die Erfassung
eines digitalen Images eines Dokuments 12. Die Bilderfassungsvorrichtung
kann zum Beispiel einen Flachbettscanner oder einen Desktopscanner
mit Kamera umfassen.
-
Das
System umfasst weiter einen Prozessor 16 zur Verarbeitung
des Images, einen oder mehrere Benutzereingabevorrichtungen 18,
zum Beispiel eine Tastatur und/oder eine Zeigevorrichtung, sowie
einen oder mehrere Ausgabevorrichtungen 20, zum Beispiel
eine Ausgabebildschirm und/oder einen Drucker.
-
Der
Prozessor 16 umfasst eine Massenspeichervorrichtung 22,
die zum Beispiel durch irgendwelche geeigneten Speichermedien wie
magnetische Medien, optische Medien oder Halbleitermedien implementiert
sein kann.
-
Auf 2 Bezug
nehmend, besteht die Funktion dieser Ausführungsform darin, automatisch ein „Ziel"dokument 25 zu
annotieren, das ein Benutzer vielleicht zu lesen wünscht, um
auf der Grundlage von früher
gespeicherten Annotationen aus anderen „Quell"dokumenten 26 interessante
Bereiche anzuzeigen. Das System erzeugt ein annotiertes Zieldokument 27,
das auf externen Annotationen beruht, die zuvor durch den gleichen
Benutzer (oder durch andere Benutzer) an einem oder mehreren früheren Dokumenten 26 angebracht
worden waren. Das System kann daher als ein „Forward-Annotations-" system [Vorwärts- oder
Weiterleit-Annotationssystem] bezeichnet werden.
-
Ein
Beispiel dafür
wird in 3 veranschaulicht. 3(c) zeigt ein Quelldokument 30,
das durch einen Benutzer auf Papier annotiert worden ist, um den
nützlichen
Text 32 darzustellen, den der Benutzer in künftigen
Zieldokumenten zu identifizieren wünscht. Das Dokument 30 wird
in das Verarbeitungssystem 10 eingescannt, das das eingescannte Image
verarbeitet, um den annotierten Text zu identifizieren (genauer
weiter unten beschrieben).
-
3(a) veranschaulicht ein Papierzieldokument 34,
das der Benutzer jetzt zu lesen wünscht. Bei dieser Etappe ist
das Zieldokument rein (d.h. es enthält keine Annotationen, die
den Benutzer zu signifikantem Text führen). Das Zieldokument 34 wird
in das Verarbeitungssystem eingescannt, das dann das eingescannte
Image verarbeitet, um zu identifizieren, ob irgendwelche der zuvor
annotierten Wörter 32 im Zieldokument
vorhanden sind. Wenn ja, dann werden die im Zieldokument 34 vorkommenden
gleichen Wörter
annotiert (im digitalen Image 35 des Zieldokuments 34),
um die gleichen Annotationen 36 wie im Quelldokument 30 zu
erhalten, wie in 3(b) veranschaulicht.
Das annotierte Zieldokument kann dann angezeigt oder ausgedruckt
werden, um durch den Benutzer gelesen zu werden.
-
Wieder
auf 2 Bezug nehmend, unterhält der Prozessor 16 eine
Bibliothek bzw. einen Sammelort für die Daten oder Images von
jedem Quelldokument in Gestalt eines Projekts 38. Jedes
Projekt 38 kann eine Mehrzahl von Dokumenten oder Annotationen
von unterschiedlichen Dokumenten beinhalten. Das Projekt kann entweder
Dokumenten-Images oder Daten enthalten, die die identifizierten
Annotationen darstellen.
-
In
dieser Ausführungsform
sind die Quelldokumente nicht auf Papierdokumente beschränkt, sondern
können
elektronische Versionen eines Dokuments wie eine Textdatei oder
eine Wortverarbeitungsdatei beinhalten. In diesem Falle können die Annotationen
im elektronischen Quelldokument mit jeder geeigneten Technik wie
zum Beispiel Unterstreichen, Hervorheben oder Einsetzen von Markern erfolgen.
Ausserdem können
die Annotationen im elektronischen Quelldokument eine Vielfalt von
Datenformaten wie Bild, Video, Audio, Grafik und Text beinhalten.
-
4 zeigt
ein Verfahren für
die Eingabe von Quelldokumenten in das Verarbeitungssystem 10.
Im Schritt 40 wird ein Papierdokument (einschliesslich der
Papierannotationen) mit der Erfassungsvorrichtung 14 eingescannt,
um ein digitales Image des Dokuments zu erzeugen.
-
Im
Schritt 42 werden die Papierannotationen im eingescannten
Image identifiziert. Verfahren zur Identifikation von Annotationen
sind dem Fachmann bekannt und brauchen deshalb hier nicht detailliert beschrieben
zu werden. Als ein Beispiel jedoch wird im US-Patent Nr. 5 348 863 ein geeignetes
System zur Unterscheidung handschriftlicher Annotationen von maschinengedrucktem
Text beschrieben.
-
Im
Schritt 44 wird der den annotierten Bereichen entsprechende
Text durch einen optischen Zeichenerkennungs-(OCR-) Algorithmus
verarbeitet, um diesen Bereich (Text) in elektronischen Text zu
verwandeln. Dies erfolgt in der vorliegenden Ausführungsform
als ein optimales Verfahren, um den gleichen Text in späteren Zieldokumenten
(insbesondere elektronischen Zieldokumenten) zu identifizieren.
Es wird aber verständlich
sein, dass je nach Wunsch stattdessen eine Bitmap des annotierten
Textes herausgezogen und die Annotation als Quelle in Bitmapform
verwendet werden kann.
-
Im
Schritt 46 wird der herausgezogene Text (OCR-Text oder
Bitmap) zusammen mit Daten, die den Typ der Annotation (zum Beispiel
unterstrichen oder hervorgehoben oder geringelt usw.) darstellen, im
Projekt 38 gespeichert. Der Text wird somit als ein Schlüsselwort
oder als eine Schlüsselwendung
zur Verwendung beim Durchsuchen künftiger Zieldokumente behandelt.
-
Wie
oben erwähnt,
kann je nach Wunsch auch das ganze Dokument (und nicht nur die Schlüsselwörter oder
Schlüsselwendungen)
im Projekt 38 gespeichert werden. Jedoch werden die Schlüsselwörter oder
Schlüsselwendungen
als Text für
künftige
Suchvorgänge
gespeichert.
-
Wenn
das Quelldokument ein elektronisches Dokument ist, dann wird es
stattdessen im Schritt 48 elektronisch eingegeben. Das
elektronische Dokument wird im Schritt 50 verarbeitet,
um annotierte Bereiche des Dokuments zu identifizieren und herauszuziehen,
und solche Annotationen werden dann im Schritt 46 in der
gleichen Weise wie oben beschrieben gespeichert.
-
Unter
Verwendung dieses Verfahrens ist es möglich, ein Projekt 38 aufzubauen,
das ein oder mehrere Dokumente enthält, die Annotationen enthalten,
die auf Textstellen hinweisen, die für den Benutzer interessant
sind.
-
5 veranschaulicht
ein Verfahren der Verarbeitung von Zieldokumenten, bei denen die
gleichen Annotationen wie in den Quelldokumenten angebracht werden
sollen. Wenn das Zieldokument ein Papierdokument ist, dann wird
es im Schritt 52 unter Verwendung der Erfassungsvorrichtung 14 eingescannt,
um ein digitales Image zu bilden.
-
Im
Schritt 54 wird das digitale Image unter Verwendung eines
OCR-Algorithmus verarbeitet, um das eingescannte Image in elektronischen
Text zu verwandeln.
-
Im
Schritt 56 wird der elektronische Text durchsucht, um zu
identifizieren, ob irgendwelche der im Projekt 38 gespeicherten
früheren
Annotationen im Zieldokument vorhanden sind. Wenn ja, dann werden
gleichwertige Annotationen (in elektronischer Form) am elektronischen
Text angebracht.
-
Im
Schritt 58 wird das annotierte Zieldokument zur Anzeige
oder zum Druck ausgegeben.
-
Wenn
das Zieldokument ein elektronisches Dokument ist, dann wird dieses
stattdessen im Schritt 60 zur direkten Verarbeitung im
Schritt 56 eingegeben.
-
Wenn
gewünscht,
kann der Benutzer die Option haben, sowohl an markierten (Quell-)
Dokumenten als auch an nicht markierten (Ziel-) Dokumenten angebrachte
Annotationen selektiv zu redigieren, zu manipulieren oder zu löschen.
-
Wenn
gewünscht,
kann das System aktiviert oder desaktiviert werden, um häufig verwendete Wörter (ohne
Stop-Wörter)
zu erkennen, das Dokument automatisch zu annotieren und die häufig verwendeten
Wörter
als Schlüsselwörter für das Projekt aufzuzeichnen.
-
Wenn
gewünscht,
kann das Dokument, nachdem es im Schritt 56 verarbeitet
worden ist, als Teil des Projekts 38 gespeichert werden.
In diesem Falle würde
das Projekt eine vollständige
Darstellung des Dokuments und nicht nur die herausgezogenen Annotationen
(Schlüsselwörter oder
Schlüsselwendungen)
speichern. Das Dokument kann dann zur Anzeige aufgerufen werden,
indem man einfach eine Annotation in einem anderen, im Projekt gespeicherten
Dokument anklickt.
-
In
dieser Ausführungsform
kann die OCR-Verarbeitung eingescannter Images Annotationen aktivieren,
die an Papierquelldokumenten angebracht worden waren, um sie für eine Annotation elektronischer
Zieldokumente zu verwenden, oder Annotationen aktivieren, die an
elektronischen Quelldokumenten angebracht worden waren, um sie für eine Annotation
von Papierzieldokumenten zu verwenden. Ausserdem kann sie auch Unterschiede
in den Zeichensätzen
und Zeichengrössen
in verschiedenen Papierdokumenten kompensieren. Wenn diese Vielseitigkeit
aber in anderen Ausführungsformen nicht
verlangt wird, dann können
die Prinzipien der Erfindung ohne OCR verwendet werden, zum Beispiel
in einem System, das nur elektronische (Quell- und Ziel-) Dokumente
verarbeitet, oder einem System, das nur Papier- (Quell- und Ziel-)
dokumente verarbeitet.
-
Auf 6 Bezug
nehmend, wird ein System 110 zur Erzeugung einer Zusammenfassung
aus einem Papierdokument 112 veranschaulicht. Das System
umfasst eine optische Erfassungsvorrichtung 114 zur Erfassung
eines digitalen Images (zum Beispiel eines Bitmap-Images) jeder
Seite des Papierdokuments 112. Die Erfassungsvorrichtung 114 kann
in Gestalt einer digitalen Kamera oder eines Dokumentenscanners
vorliegen.
-
Das
System 110 beinhaltet auch einen Prozessor 116 zur
Verarbeitung des erfassten digitalen Images, um daraus eine Zusammenfassung
zu erzeugen. Der Prozessor ist an eine oder mehrere Benutzereingabevorrichtungen 118 (zum
Beispiel eine Tastatur oder eine Zeigevorrichtung) und auch an eine
oder mehrere Ausgabevorrichtungen 120 für die Ausgabe der erzeugten
Zusammenfassung angekoppelt. Die Ausgabevorrichtung 120 kann
zum Beispiel eine Anzeigeeinheit und/oder einen Drucker beinhalten.
-
Im
Gegensatz zum Stande der Technik besteht eines der Prinzipien dieser
Ausführungsform darin,
die Zusammenfassung auf der Grundlage von Annotationen zu erzeugen,
die vor dem Einscannen (oder Erfassen) durch die optische Erfassungsvorrichtung 114 von
Hand am Papierdokument angebracht worden waren. Der Prozessor 116 verarbeitet das
digitale Bild, um handschriftliche Annotationen zu erkennen, die
interessante Bereiche im Papierdokument anzeigen. Textstellen oder
andere Merkmale, die durch die Annotationen angezeigt werden, werden
herausgezogen und verwendet, um die Zusammenfassung zu erstellen.
Die Zusammenfassung spiegelt daher die durch handschriftliche Annotationen
im Papierdokument identifizierten, interessanten Bereiche wider.
-
Auf 7 Bezug
nehmend, umfasst der Prozess für
die Erzeugung der Zusammenfassung durch den Prozessor 116 einen
ersten Schritt 130, in dem die durch den Benutzer angebrachten
Annotationen im erfassten digitalen Image identifiziert werden.
Geeignete Verfahren zur Identifikation von Annotationen werden zum
Beispiel in den US-Patenten
Nr. 5 570 435, 5 748 805 und 5 384 863 beschrieben. Diese Patente
offenbaren Verfahren zur Unterscheidung regulären Maschinendrucks von handschriftlichen
Markierungen und Annotationen.
-
8 veranschaulicht
die Art von handschriftlichen Annotationen, die typischerweise identifiziert
werden können
und u.a. Unterstreichen 132, Umringeln 134, Einklammern 136,
Randklammern oder Randmarkierungen 138, Durchstreichen 140, Ortswechsel
anzeigende verankerte Pfeile 142 und handgeschriebene Notizen
oder Einschübe 144 beinhalten.
-
Im
Schritt 146 (7) erfolgt die Interpretation
der Annotationen. Das Niveau der Interpretation kann je nach der
durch das System 110 erlaubten Komplexität der Annotation
zwischen verschiedenen Ausführungsformen
variieren. Zum Beispiel bedürfen das
einfache Unterstreichen 132 oder Umringeln 134 eines
Wortes keiner Interpretation, da die Wörter durch die Annotationen
direkt identifiziert werden. Einklammern 136 und Randmarkierung 138 erfordern
nur die einfache Interpretation, dass der ganze, durch die Klammern
oder Markierungen umspannte Text identifiziert wird.
-
Durchgestrichene
Annotationen 140 werden bevorzugt als eine negative Annotation
interpretiert, um den durchgestrichenen Text von der Zusammenfassung
auszuschliessen. In einer Beziehung kann dies als gleichwertig mit
gar keiner Annotation (und daher als keine Aufmerksamkeit auf die
Textstelle für einen
Einbezug in die Zusammenfassung lenkend) betrachtet werden. Eine
durchgestrichene Annotation 140 liefert aber auch eine
Möglichkeit,
ein oder mehrere Wörter,
die sich in der Nähe
eines hervorgehobenen Wortes befinden, davon auszuschliessen, als
Teil eines Textzusammenhangs einbezogen zu werden (9).
-
Ortswechselpfeile 142 und
handgeschriebene Notizen und Einfügungen 144 verlangen
auch eine Interpretation, um die durch die Annotationen identifizierten
Positionen zu identifizieren.
-
Im
Schritt 148 (7) werden Bereiche des digitalen
Images, die durch die interpretierten Annotationen identifiziert
worden sind, zur Verwendung in der Zusammenfassung herausgezogen.
Jeder Bereich wird hier als ein „Merkmal" bezeichnet und ist eine Image-Map des
aus dem digitalen Image herausgezogenen Bereichs. Ausserdem wird
jedes Merkmal mit einem Zeiger oder einer Adresse markiert, die
die Stelle im ursprünglich
eingescannten Image anzeigen, von der es herausgezogen (oder kopiert)
worden ist.
-
Wenn
eine Annotation nur ein einzelnes Wort oder eine kurze Wendung identifiziert,
dann wird das herausgezogene Merkmal für diese Annotation vorzugsweise
erweitert, um zusätzliche
Informationen oder Textstellen aus dem Kontext für die Annotation einzubeziehen.
Normalerweise wird das Merkmal erweitert, um den Satz 150 (9)
einzubeziehen, der die Annotation umgibt. Daher identifiziert im
Schritt 148 der Prozessor 116 den Ort von Punkten
oder anderen maschinengedruckten Markierungen oder Begrenzungen,
die den Anfang und das Ende eines Satzes anzeigen.
-
Obwohl 8 und 9 nur
die Annotation von Textstellen in einem Dokument veranschaulichen,
können
auch ein oder mehrere Grafikteile des Dokuments annotiert werden,
um in die Zusammenfassung einbezogen zu werden. In einem solchen Fall
wird im Schritt 148 eine Image-Map herausgezogen, die dem
annotierten graphischen „Merkmal" entspricht.
-
Im
Schritt 152 wird die Zusammenfassung aus den herausgezogenen
Merkmalen zusammengestellt. Die Zusammenfassung kann in Gestalt
von Image-Maps der herausgezogenen Merkmale zusammengestellt werden,
oder Textteile der Merkmale können
mit OCR verarbeitet werden, um Zeichencodes für den Text zu erzeugen. In ähnlicher
Weise können
handschriftliche Notizen oder Einfügungen mit OCR verarbeitet
werden, um Zeichencodes zu erzeugen, oder sie können als Image-Maps verwendet werden.
-
Während der
Zusammenstellung kann eine weitere Interpretation der Annotationen,
die erforderlich sein kann, erfolgen. Zum Beispiel kann durchgestrichener
Text von der Zusammenfassung gelöscht (entfernt)
werden (zum Beispiel der durchgestrichene Text 140 in 9).
-
Zusätzlich können während der
Zusammenstellung identisch annotierte Merkmale zum Beispiel mit
Aufzählungszeichen
(Bullets) einzeln aufgeführt werden.
Zum Beispiel können
Sätze,
die geringelte Wörter
enthalten, als eine Liste mit Bullets organisiert werden. Eine solche
Operation ist vorzugsweise eine durch den Benutzer gesteuerte Option,
kann aber ein leistungsfähiges
Vorgehen liefern, um es einem Benutzer zu ermöglichen, einzelne Informationen
in der Zusammenfassung gruppenweise zusammenzufassen, indem einfach
die gleiche Annotation wie im ursprünglichen Dokument verwendet
wird, um die Information zu markieren.
-
Zusätzlich können während der
Zusammenstellung auf der Grundlage der handschriftlichen Annotationen
Teile der Zusammenfassung als wichtig hervorgehoben werden. Zum
Beispiel können
Annotationen wie ein Ausrufezeichen (154 in 8)
oder eine doppelte Unterstreichung als Markierung für die Wichtigkeit
in die Zusammenfassung einbezogen werden, indem der Text fett oder
unterstrichen oder in einer anderen Farbe wiedergegeben wird.
-
Im
Schritt 156 wird die zusammengestellte Zusammenfassung
zum Beispiel auf dem Bildschirm oder dem Drucker des Benutzers ausgegeben.
-
In
dieser Ausführungsform
liefert das System 110 eine Mehrzahl von geschichteten
Detailniveaus in einem Fenster 157 für die Zusammenfassung, wie in 10 angedeutet.
Diese Schichten können
entweder während
der Zusammenstellung oder während
der Ausgabe der zusammenfassenden Information angewendet werden.
-
Das
unterste Detailniveau 158 enthält lediglich aus dem Dokument
herausgezogene Sachüberschriften.
-
Durch
Anklicken einer Sachüberschrift
wird die Sachüberschrift
zu ihrem zweiten Detailniveau 160 ausgeweitet, um die Textzusammenfassung
dieses zutreffenden Abschnitts des Dokuments zu erzeugen. Das zweite
Detailniveau 160 enthält
nur Textmerkmale. Durch erneutes Anklicken wird aber die Zusammenfassung
erweitert (drittes Detailniveau 162), um nicht textliche
Merkmale als einen Teil der Zusammenfassung einzubeziehen, zum Beispiel
annotierte Figuren aus dem betreffenden Abschnitt des Dokuments.
-
Durch
Anklicken irgendeines Satzes wird die Zusammenfassung erweitert
(viertes Detailniveau 164), um weiteren Kontext des Satzes
anzuzeigen, zum Beispiel den Absatz, der den Satz enthält.
-
In
einer letzten Schicht (fünftes
Detailniveau 166) kann die mit einem beliebigen Satz im
Dokument zusammenhängende
Annotation „aufgerufen" werden, indem der
Satz angeklickt wird.
-
In
einer alternativen Ausführungsform
kann auf die Mehrzahl von geschichteten Detailniveaus für die Zusammenfassung
einfach dadurch zugegriffen werden, dass jedes Detailniveau, das
in dem in 10 gezeigten Fenster 157 vorgegeben
ist, angeklickt wird. Das bedeutet, dass das Fenster 157 sowohl
dafür verwendet
werden kann, um ein Detailniveau anzuzeigen, das derzeit verwendet
wird, um ein Dokument zusammenzufassen, als auch dafür, auf ein
spezielles Detailniveau zuzugreifen.
-
In
der vorliegenden Ausführungsform,
die keinen Teil der Erfindung darstellt, beruht die Zusammenfassung
auf Annotationen, die an dem zusammenzufassenden Dokument angebracht
worden sind. In anderen Ausführungsformen,
die einen Teil der Erfindung bilden, kann aber die Zusammenfassung
auf der Grundlage von Annotationen erstellt werden, die an einem
anderen Dokument angebracht worden sind, zum Beispiel einem früher annotierten Dokument
oder einem Masterdokument. In einer solchen Ausführungsform wird ein erstes
Dokument handschriftlich annotiert, und die Annotationen werden
durch das System 110 erkannt und gespeichert. Ein zweites
Dokument wird dann durch das System erfasst, und das zweite Dokument
wird auf der Grundlage der erkannten Annotationen aus dem ersten
Dokument verarbeitet. In anderen Worten werden die im ersten Dokument
erkannten Annotationen als ein Führer
verwendet, um die Zusammenfassung des zweiten Dokuments zu erzeugen
(in der gleichen Weise, als ob die handschriftlichen Annotationen
am zweiten Dokument angebracht worden wären).
-
Obwohl
einige der oben umrissenen Ausführungsformen
ein Zieldokument einfach auf der Grundlage einer oder mehrerer Quellannotationen annotieren,
können
in anderen der oben umrissenen Ausführungsformen zusätzlich die
Annotationen in anderer Weise genutzt werden. Zum Beispiel können die
verschiedenen, oben umrissenen beispielhaften Ausführungsformen
kombiniert werden. In einem solchen kombinierten Verfahren könnte ein
Zieldokument auf der Grundlage der zuvor an einem anderen Quelldokument
angebrachten Annotationen automatisch zusammengefasst werden.
-
Die
Erfindung ist unter Bezugnahme auf verschiedene beispielhafte Ausführungsformen
beschrieben worden. Abwandlungen und Veränderungen werden Dritten einfallen,
wenn sie diese Beschreibung zusammen mit den Zeichnungen lesen und
verstehen. Die Ausführungsformen
sind lediglich Beispiele, und verschiedene Alternativen, Abwandlungen,
Variationen oder Verbesserungen können im Rahmen der in den folgenden
Ansprüchen
definierten Erfindung gemacht werden.