DE19530829A1

DE19530829A1 - Verfahren zum elektronischen Wiederauffinden von einem Dokument hinzugefügter Informationen

Info

Publication number: DE19530829A1
Application number: DE19530829A
Authority: DE
Inventors: Peter Hart; Mark Peairs; Mitsutoshi Mizutani
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1994-08-23
Filing date: 1995-08-22
Publication date: 1996-02-29
Anticipated expiration: 2015-08-23
Also published as: DE19530829C2; JPH0863546A; JP3547025B2; US5694494A

Description

Die Erfindung betrifft ein Verfahren zum elektronischen Wieder auffinden von einem Dokument hinzugefügter Information, und dar über hinaus ein Verfahren und eine Einrichtung, um Information von der abgetasteten Version eines vervollständigten Formblatts wiederaufzufinden. Inbesondere betrifft die Erfindung ein Ver fahren, um elektronisch die Information zu erhalten, die auf einer Formblatt-Vorlage untergebracht ist, und um diese Informa tion von der Formblatt-Vorlage selbst zu unterscheiden.

Üblicherweise ist es bei einer herkömmlichen Vorlagen- bzw. Do kumentenverarbeitung schwierig, Information von Formblatt-Vorla gen wieder aufzufinden. Formblatt-Vorlagen sind üblicherweise vorabbedruckte Papierblätter mit leeren Stellen oder freien Be reichen, welche von einer Person, welche das Formblatt bzw. das Formular vervollständigt, mit Information zu füllen sind. Das Formblatt kann durch die Hände mehrerer Personen laufen, von de nen jede zusätzliche Information hinzufügt, bevor es von jeman den zu bearbeiten ist, von dem erwartet wird, daß er auf der Ba sis der auf dem Formblatt eingetragenen Information tätig wird.

Diese Person wertet üblicherweise die Information, welche dem Formblatt hinzugefügt worden ist, zusammen mit den vorab aufge druckten Hinweisen des Formblattes aus, um eine Entscheidung zu treffen oder um eine ganz bestimmte Handlung vorzunehmen. Form blätter bzw. Formulare, wie die vorstehend beschriebenen, sind allgemein bekannt und schließen Kaufaufträge, Schiffs- oder Verladepapiere, Beschäftigungsprotokolle, Versicherungsproto kolle, usw. ein.

Um das Handhaben solcher Formulare und das Wiederauffinden von Information auf ihnen zu vereinfachen, ist es wünschenswert, die Information, die dem Formblatt hinzugefügt worden ist, von der Information trennen zu können, welche vorher auf das Form blatt gedruckt wurde. Beispielsweise ist es wünschenswert, die Information zu erhalten, die in dem Namen und der Adresse der Person enthalten ist, welche das Formblatt vervollständigt, und die Information von den leeren Stellen zu unterscheiden, in welchen Name, Adresse, Stadt usw. aufzuführen sind. Wenn das Formblatt beispielsweise mit Hilfe eines bekannten Vorlagen scanners abgetastet wird, wird die vorab auf dem Formblatt auf gedruckte Information zusätzlich zu der Information erfaßt, die auf dem Formblatt hinzugefügt worden ist. Mit Hilfe einer opti schen Zeichenerkennung oder anderer ähnlicher Techniken ist es noch immer äußerst schwierig, die zwei Arten Information von einander zu trennen, damit nur die Information, die auf dem Formblatt hinzugefügt worden ist, in den anschließenden Vorla gen-Verarbeitungsoperationen verwendet werden kann.

Eine bekannte Lösung dieses Problems besteht darin, eine ganz bestimmte Druckfarbe für das Formblatt und ein angepaßtes Farb filter zum Abtasten des Formblattes zu verwenden, nachdem es vervollständigt worden ist. In solchen Fällen wird, um das Formblatt zu vervollständigen, Tinte einer anderen Farbe be nutzt als diejenige, die verwendet worden ist, um es zu be drucken.

Während eines Abtastens des vervollständigten Formblattes wird ein angepaßtes Farbfilter verwendet, damit von dem Scanner die Formblattvorlage überhaupt nicht aufgenommen wird, sondern der Scanner nur die auf dem Formblatt hinzugefügte Information feststellen kann. Obwohl diese Technik funktionell ist, ist sie sehr begrenzt, da Formular-Lieferfirmen und Unternehmen, welche Formulare benutzen, eine große Vielzahl von Formblättern bzw. Formularen zur Verfügung stellen, was wiederum eine entspre chend große Vielzahl von Farbfiltern erfordert.

Eine andere bekannte Methode besteht darin, eine Vorlagen-Ver arbeitungstechnik zu verwenden, um Antworten, wie Antworten, um Fragen auf einem normierten Textformular zu überprüfen, von der darunter liegenden Vorlage selbst zu trennen. Ein Beispiel für diese Technik ist in dem US-Patent 5,229,589 beschrieben, bei welchem vervollständigte Fragebogen abgetastet werden, und von dem vervollständigten Fragebogen das Bild eines leeren Fragebo gens subtrahiert wird, um die hinzugefügte Information festzu stellen. Leider geht bei dieser Technik etwas von der hinzuge fügten Information verloren, welche mit dem ursprünglichen, leeren Fragebogen zusammenfällt bzw. sich mit diesem deckt.

Dieser Gefahr wird üblicherweise durch Verwenden einer Hand schrift-Erkennung einer optischen Zeichenerkennung oder anderer Werkzeuge ausgeschlossen, um den Inhalt der hinzugefügten In formation auszuwerten.

Eine andere bekannte Lösung, um Information auf Formblättern bzw. Formularen wieder aufzufinden, ist in dem US-Patent 5,140,650 beschrieben. In diesem Patent wird ein System be schrieben, in welchem jeweils ein leeres Formblatt und ein ver vollständigtes Formblatt abgetastet werden. Das Bild des leeren Formblatts wird mit demjenigen des vervollständigten Formblatts verglichen. Es werden dann Maskenbereiche festgelegt, um die Daten zu extrahieren. Die Daten werden dann mittels einer opti schen Zeichenerkennung analysiert. Leider können sich auch bei diesem System Fehler ergeben, da bei dem Schritt, das Formblatt zu entfernen, nicht immer alles von dem Formular in Bereichen entfernt wird, in welchen Daten vorhanden sind; hierdurch ist dann die sich ergebende Analyse Fehler behaftet.

Gemäß der Erfindung ist daher ein Verfahren entwickelt worden, bei welchem eine elektronische Bildverarbeitung verwendet wird, welche es ermöglicht, daß die Information, die auf einem Form blatt bzw. Formular hinzugefügt worden ist, elektronisch von der Information zu trennen ist, die auf dem Formblatt bzw. For mular selbst enthalten ist. Das erfindungsgemäße Verfahren er fordert keine speziellen Farbfilter, eindeutigen Formblätter bzw. Formulare oder beschränkt sonst in irgendeiner Weise die Vordruck-Lieferfirmen oder die Unternehmen bzw. Geschäfte, die die Vordrucke bzw. Formulare verwenden. Bei dem erfindungsgemä ßen Verfahren wird eine leere Version des Formblattes zusammen mit einer vervollständigten Version des Formblattes abgetastet. Durch ungefähres Ausrichten der beiden Vorlagen können die Pi xel, welche das Formblatt darstellen, von dem Bild des vervoll ständigten Formblattes "subtrahiert" werden, wobei dann ein Bild nur des Materials übrig bleibt, das dem Formblatt hinzuge fügt worden ist. Mit Hilfe eines Bild-Wiederaufbereitungspro zesses, das von der Anmelderin entwickelt worden ist, wird das sich ergebende Bild verarbeitet, um so im wesentlichen die ge samte Information wiederherzustellen, die dem Formblatt hinzu gefügt worden ist. Herkömmliche Handschrift-Erkennungstechni ken, eine optische Zeichenerkennung oder irgendeine andere Technologie können verwendet werden, um die Information, die sich aus dem erfindungsgemäßen Prozeß ergibt, in einer anderen Einrichtung oder einem anderen Gerät zu verwenden.

In einer bevorzugten Ausführungsform weist das erfindungsgemäße Verfahren, elektronisch Information wiederaufzufinden, die einem Dokument bzw. einer Vorlage oder einem Formblatt bzw. einem Formular hinzugefügt worden ist, die Schritte auf: Erhal ten eines ersten Bildes der Vorlage mit Information, die auf das leere Formblatt bzw. Formular gedruckt worden ist, bevor andere Information durch einen Benutzer hinzugefügt worden ist. Ein zweites Bild der Vorlage wird erhalten, nachdem Information von dem Benutzer hinzugefügt worden ist. Nachdem die zwei Bil der erhalten worden sind, wird für jeden Bereich in dem ersten Bild, welchem Information auf der Vorlage entspricht, die In formation auf diesem Bereich aus dem zweiten Bild gelöscht, um dadurch ein Bild zu erzeugen, das einer Subtraktion des ersten Bildes von dem zweiten Bild entspricht. Schließlich wird gemäß der Erfindung eine Technik angewendet, um die von dem Benutzer hinzugefügte Information, welche bei dem Schritt, Pixel lö schen, gelöscht wurde, elektronisch wiederherzustellen.

Vorzugsweise werden die ersten und zweiten Bilder elektronisch durch Abtasten der Vorlage erhalten. Die zwei Bilder werden dann ausgerichtet, und das Bild des leeren Vordrucks wird von dem Bild des vervollständigten Vordrucks subtrahiert. Während dieses Prozesses ist es wahrscheinlich, daß manche Information, welche von dem Benutzer hinzugefügt worden ist, auch gelöscht wird. Um dieses Bild wiederherzustellen, wird eine Bildfortfüh rungstechnik angewendet, bevor es zu der nachfolgenden Verar beitung der vom Benutzer hinzugefügten Information kommt.

Nachfolgend wird die Erfindung anhand von bevorzugten Ausfüh rungsformen unter Bezugnahme auf die anliegenden Zeichnungen im einzelnen erläutert. Es zeigen:

Fig. 1 eine Abbildung eines typischen leeren Formblatts bzw. Formulars;

Fig. 2 eine Darstellung desselben Formblattes, nachdem es von einem Benutzer vervollständigt ist;

Fig. 3 eine vergrößerte Ansicht eines Teils der Fig. 2 welcher den Informationsgehalt des Formblattes und die vom Be nutzer hinzugefügte Information veranschaulicht;

Fig. 4 das Erscheinungsbild der von dem Benutzer hinzugefügten Information nach einer Subtraktion der Information in Fig. 1 von der Information in Fig. 2;

Fig. 5 das Erscheinungsbild der von dem Benutzer hinzugefügten Information, nachdem das Bild wiederhergestellt worden ist;

Fig. 6 einen vergrößerten Teil einer Einzelheit von einem ande ren Teil des Formblatts, welcher das kombinierte Form blatt und die vom Benutzer hinzugefügte Information, das Löschen des Formblatts von dem kombinierten Bild und das Anwenden der Bild-Wiederherstellungstechnik;

Fig. 7 einen vergrößerten Teil eines anderen Formblattes;

Fig. 8 dieselbe Information nach einem Löschen des Formblattes;

Fig. 9 die Verwendung einer Bildfortführungstechnik;um etwas von der vom Benutzer hinzugefügten Information wieder herzustellen;

Fig. 10 ein Flußdiagramm einer bevorzugten Ausführungsform des Bildwiederherstellungsschrittes gemäß der Erfindung, und

Fig. 11 ein Blockdiagramm einer bevorzugten Ausführungsform des erfindungsgemäßen Systems.

Die Erfindung ist auf das Problem ausgerichtet, Information wieder aufzufinden, die von einem Benutzer auf einem Formular bzw. Formblatt hinzugefügt worden ist, und diese Information von dem Informationsgehalt des Formblattes selbst zu unterscheiden.

Danach wird die Gesamtarbeitsweise des erfindungsgemäßen Systems beschrieben und dann wird zusätzlich im einzelnen die spezielle angewendete Implementierung erläutert.

In Fig. 1 ist ein Formblatt bzw. ein Formular dargestellt. Das in Fig. 1 dargestellte Formblatt ist in dem Sinn typisch, daß es eine Vielzahl bedruckter Bereiche mit Anweisungen für einen Be nutzer enthält, wie das Formblatt zu vervollständigen ist. Im Falle des in Fig. 1 dargestellten Formblattes wird anschließend von mehr als einem Benutzer Information auf das Formblatt aufge bracht; das Formblatt wird dann an eine andere Stelle befördert, wo es zu der Vorlagenverarbeitung kommt. Beim Verarbeiten der Vorlagen ist es erwünscht, die Information wieder aufzufinden, welche von dem Benutzer auf dem Formblatt hinzugefügt worden ist, so daß die wiederaufgefundene Information benutzt werden kann. Da mittels optischer Zeichenerkennung oder anderer Techni ken, um das vervollständigte Formblatt zu verarbeiten, alle In formation auf dem Formblatt einschließlich der Hinweise an den Benutzer, wie das Formblatt zu vervollständigen ist, wieder auf gefunden wird, ist es wünschenswert, die Hinweise vor einer Ver arbeitung der Information, welche von dem Benutzer hinzugefügt worden ist, zu entfernen. Nach Entfernen der Hinweise, Linien, usw. von dem Formblatt kann die sich ergebende Information hin sichtlich des Informationsgehalts und nicht nur ein Bild verar beitet werden. Hier werden die Begriffe "leeres Formblatt", Vor lage mit "leerem Formular" u.ä. verwendet, um den Informations gehalt der Vorlage vor dem Hinzufügen von Benutzerinformation zu beschreiben.

Fig. 2 veranschaulicht die in Fig. 1 dargestellte Vorlage, nach dem sie von einem oder mehreren Benutzern teilweise vervollstän digt worden ist. Wie in Fig. 2 dargestellt, ist Information auf dem Vordruck bezüglich der Identifikation der involvierten Per son und der angewandten Behandlung hinzugefügt worden. Es wird auf die in Fig. 2 dargestellte Information als das "vervollstän digte Formblatt" oder die Vorlage bzw. das Dokument hingewiesen, nachdem Information von dem Benutzer hinzugefügt worden ist.

Obwohl die Erfindung hier in Verbindung mit einem Formblatt bzw. Formular beschrieben wird, welches zu vervollständigen ist, sollte festgehalten werden, daß die Erfindung auch bei irgendei nem anderen Sachverhalt angewendet werden kann, bei welchem die Unterschiede zwischen zwei Vorlagen elektronisch festzustellen sind und auf eine gewünschte Art und Weise zu verarbeiten sind. Beispielsweise können Anmerkungen, die auf eine Vorlage aufge bracht worden sind, als gleichwertig mit dem Hinzufügen von In formationen durch einen Benutzer auf einer Vorlage bzw. einem Dokument betrachtet werden. Folglich ist die Erfindung dazu ge eignet, Änderungen zwischen zwei Versionen derselben Vorlage, u.ä. festzustellen, solange eine Bezugskopie der ursprünglichen Vorlage verfügbar ist.

In der in Fig. 1 und 2 dargestellten, bevorzugten Ausführungs form der Erfindung, d. h. der Vorlage vor und nach einem Hinzufü gen von Information, werden Bilder des Formblattes bzw. des For mulars elektronisch erhalten. Vorzugsweise wird ein optischer Scanner bekannter Ausführung verwendet. Derartige Scanner sind im Handel erhältlich, beispielsweise von Ricoh Corporation, der Anmelderin der vorliegenden Anmeldung. Üblicherweise benutzen derartige Scanner ladungsgekoppelte Vorrichtungen oder entspre chende Sensoren, um digitalisierte Bilder der abgetasteten Vor lage zu erhalten.

Nachdem die zwei Bilder erhalten und elektronisch gespeichert worden sind, stehen sie für eine anschließende Verarbeitung ge mäß der Erfindung zur Verfügung.

In einer Ausführungsform der Erfindung ist die Information auf dem leeren Vordruck "gedehnt", um die Anzahl an Pixel zu erhö hen, welche dem Informationsgehalt des Vordrucks entsprechen. Während dieser Dehnung werden die schwarzen Bereiche, welche den Informationsgehalt des Vordrucks darstellen, bezüglich der wei ßen Bereich gedehnt. Beispielsweise kann eine der horizontalen Zeilen auf dem Vordruck, welche eine einzige Zeile Pixel an nimmt, in ihrer Größe entsprechend vergrößert werden, um drei Reihen Pixel zu belegen. Das Dehnen des Informationsgehalts des Vordrucks kann mit Hilfe einer bekannten Technik erreicht wer den. Der Hauptzweck des Dehnens besteht darin, eine Version des leeren Vordrucks zu erhalten und diesen als die Menge Pixel zu verwenden, die von einem ausgefüllten Vordruck zu entfernen sind. Bei der Dehnung sind die dunklen Bereiche, welche den In formationsgehalt des Vordrucks darstellen, um einen geforderten Wert in die weißen Bereiche "hineingewachsen", um die Größe der schwarzen Bereich zu vergrößern. Durch Vergrößern der Größe der schwarzen Bereiche wird, wenn die leere Vorlage von der vervoll ständigten Vorlage subtrahiert wird, ein höherer Grad an Sicher heit geschaffen, dar der gesamte Informationsgehalt der leeren Vorlage von der vervollständigten Vorlage entfernt worden ist.

In Ausführungsformen der Erfindung, bei welche einfache Vorlagen oder einfache Hinzufügungen durch den Benutzer verwendet werden, braucht der Schritt, Dehnen der Vorlage in dessen leeren Vor druckbereich nicht angewendet zu werden.

Fig. 3 ist eine gedehnte Ansicht eines kleinen Teils der in Fig. 2 dargestellten Vorlage. Fig. 3 wird dazu verwendet, die Wir kungsweise der Erfindung im einzelnen zu erläutern, obwohl selbstverständlich vorzugsweise die gesamt Vorlage verarbeitet wird und nicht nur ein kleiner Teil, wie in Fig. 3 dargestellt ist. In Fig. 3 enthält das Bild der vervollständigten Vorlage, welche zu verarbeiten ist, sich überdeckende Teile der Informa tion, die von dem Benutzer hinzugefügt worden ist, und die dar unter liegenden Teile der ursprünglichen Vorlage.

Als nächstes wird, wie in Fig. 4 dargestellt, das Bild der lee ren Vorlage, das entweder gedehnt oder nicht gedehnt ist, von dem Bild der vervollständigten Vorlage entfernt. Vorzugsweise wird dies durch ein Vergleichen der beiden Bilder miteinander erreicht, indem sie entsprechend ausgerichtet werden, und dann das Bild des leeren Vordrucks, das entweder wieder gedehnt oder nicht-gedehnt ist, von dem Bild des vervollständigten Vordrucks subtrahiert wird. Der Schritt, Ausrichten der zwei Vordrucke, kann beispielsweise mit Hilfe herkömmlicher Musteranpassungs-Al gorithmen oder Techniken durchgeführt werden, indem Ausrichtmar ken auf dem Vordruck hinzugefügt werden, wenn er gedruckt wird oder vorzugsweise dadurch, daß Merkmale der Bilder selbst als Ausrichtmarken verwendet werden. In Fig. 4 ist zu erkennen, daß die gedehnten Teile in ihrer Größe etwas größer sind als die entsprechenden ursprünglichen Teile des Vordrucks selbst, was zeigt, daß die horizontalen Linien etwas gedehnt wurden, bevor sie von dem Bild subtrahiert werden.

Sobald die leere Vorlage subtrahiert worden ist, sollte, soweit wie möglich, die vom Benutzer gelieferte Information wieder her gestellt werden. Bei der optischen Zeichenerkennungs-Technologie verläßt sich man sich viel auf Kontinuität in dem Informations gehalt, um die Zeichen "zu erkennen". Beispielsweise kann die optischen Zeichenerkennung (OCR) zwei sich diagonal kreuzende Striche als ein "X" interpretieren, sie kann aber nicht sicher einen aus fünf Segmenten gebildeten Strich, der einen aus zwei Segmenten gebildeten Strich überdeckt, (wie in Fig. 4 dargestellt ist) als ein "X" identifizieren. Ein Verarbeiten des Bildes der Fig. 4 mit einer herkömmlichen, optischen Zeichenerkennungsein richtung würde üblicherweise zu zahlreichen Fehlern bei der In terpretation führen. Folglich wird eine Technik verwendet, die hier als "Bildfortführung" bezeichnet wird, um die aus dem Bild gelöschte Information wieder herzustellen.

Die hier angewandte Technik, das Bild wieder herzustellen, be ruht auf der Kenntnis, daß es fest vorgegebene Bereiche von Bilddaten, in welchen die Pixelwerte bekannt sind, und andere Bereiche von Bilddaten außer den fest vorgegebenen gibt, wo die Pixelwerte unbekannt sind. Beispielsweise sind in Fig. 4 die dun klen Bereiche alles bekannte Pixel, während die weißen Bereiche sowohl bekannte als auch unbekannte Pixelwerte haben. Das heißt, für die Bereiche, in welchen die ursprünglichen horizontalen Li nien entfernt wurden, ist es nicht bekannt, ob die Pixelwerte schwarz oder weiß waren. (In den Bereichen von Buchstaben lie ferte der Benutzer Information, während in Bereichen zwischen den Buchstaben lieferte der Benutzer keine Information.) Die An melderin benutzt daher "Ausfallbereiche", um Bereiche zu be schreiben, in welchen die Pixelwerte unbekannt sind, wodurch be tont wird, daß die Werte unbekannt, nicht korrekt sind.

Bei der erfindungsgemäßen Bildfortführungsmethode werden ein Schwellenwert und eine (in unmittelbarer Nähe befindliche) Umge bungskonfiguration als Anfangsbedingung für die Arbeitsweise des elektronisch durchgeführten Verfahrens spezifiziert. Eine Umge bungskonfiguration legt einen geometrischen Bereich fest, der aus einer fest vorgegebenen Anzahl Pixels gebildet ist und übli cherweise ein wiederherzustellendes Zielpixel umgibt. Der Schwellenwert spezifiziert die Anzahl Pixel in der Umgebungskon figuration, deren Werte bekannt sein müssen. Bei der erfindungs gemäßen Methode wird für jedes Pixel in einem der Ausfallberei che eine Analyse über den gesamten Bereich durchgeführt, welcher durch die Umgebung festgelegt ist. Innerhalb dieses Bereichs werden die Anzahl Pixel, welche nicht ausgefallene Pixel sind, gezählt. Wenn der Zählwert den Schwellenwert übersteigt, dann wird ein Wert für das unbekannte Pixel berechnet
In der bevorzugten Ausführungsform besteht die Berechnung aus einem Mitteln der Werte der Pixel in der Umgebungskonfiguration.

In einer anderen Ausführungsform wird die Berechnung bewertet bzw. gewichtet, um dadurch dunkle Pixel gegenüber hellen Pixel zu bevorzugen. Wenn beispielsweise der Durchschnittswert größer als 0,33 schwarz (oder kleiner als 0,67 weiß) ist, wird schwarz gewählt. Die Schritte, Analysieren unbekannter Pixel und Bereich en von Werten, werden fortgesetzt, bis keine unbekannten Pixel übrig bleiben, welche dem Kriterium genügen, benachbarte Pixel zu haben, die den Schwellenwert überschreiten.

Gemäß der Methode der Anmelderin werden die berechneten Pixel werte in die nicht definierten Bereich zurückgebracht, wobei sie in ihrer Größe verkleinert und zu der Menge Pixel mit bekannten Werten hinzugefügt werden. Dann werden die Schritte, Analysieren von Pixel mit unbekannten Werten und Vergleichen der Ergebnisse bezüglich eines Schwellenwerts, wiederholt. Der Prozeß dauert an, bis eine kleine Zahl (oder null) unbekannter Pixel dem Schwellenwert-Kriterium genügen. Dann wird der Schwellenwert de krementiert und der gesamte Prozeß wiederholt. Mit Hilfe dieser Technik werden schließlich alle unbekannten Pixel in bekannte Pixel umgewandelt, und das Bild wiederhergestellt. Bezüglich einer weiteren Erörterung des Verfahrens und einer Einrichtung zum Durchführen der Methode einer Bildfortführung wird auf die eingangs angeführten US-Patenanmeldung verwiesen.

Sobald das erfindungsgemäße Bildfortführungsverfahren bei dem Bild der Fig. 4 angewendet worden ist, werden die fehlenden Pixel wieder hergestellt, wodurch das in Fig. 5 dargestellte Bild er zeugt wird. In Fig. 5 ist mit dem Bildfortführungsalgorithmus im großen und ganzen die ursprüngliche Form aller Zeichen, abgese hen von kleinen Fehlern in einem Strich des "x" und nahe dem un teren Teil des Strichs "S", wiederhergestellt.

Fig. 6 ist eine vergrößerte Ansicht eines anderen Teils der in Fig. 2 dargestellten Vorlage. Fig. 6 enthält jedoch in dem oberen Teil das vervollständigte Formblatt und in dem mittleren Teil das Ergebnis der Subtraktion der leeren Vorlage von der vervoll ständigten Vorlage. Im unteren Teil der Fig. 6 sind Bildwieder herstellungstechniken angewendet worden, um die Pixel wieder herzustellen, die während des Subtraktionsvorgangs gelöscht wor den sind. Hierdurch ist die Stetigkeit an dem "X" bei dem Käst chen "Single", in dem unteren Teil des "Y" im Namen, und in dem oberen Teil der Vorwahlnummer in der Telefonnummer wiederherge stellt.

Fig. 7 ist ein stark vergrößerter Teil einer vervollständigten Vorlage, wobei das Wort "copy" auf eine Zeile in einem Formblatt von Hand eingetragen worden ist. Fig. 8 veranschaulicht das Bild nach der Subtraktion des Vordrucks von dem vervollständigten Bild. Fig. 9 veranschaulicht das Bild der Fig. 8 nach einer Wie derherstellung, wobei schwarzen und weißen Pixels gleiches Ge wicht gegeben ist.

Fig. 10 ist ein Flußdiagramm, das aus der vorerwähnten US-Pa tentanmeldung der Anmelderin entnommen ist. Die Methode bezieht sich auf Bildpixeldaten 100 mit bekannten Ausfallstellen 110.

Wie ausgeführt, sind die Ausfallstellen Stellen in den Bildpi xeldaten, für welche die Pixelwerte undefiniert oder unbekannt sind. Im Falle eines Wiederauffindens von Information des ver vollständigten Vordrucks entsprechen die Ausfallstellen in dem ursprünglichen leeren Vordruck schwarzen Pixeln. In der bevor zugten Ausführungsform werden zu Beginn des Prozesses die Bild pixeldaten analysiert, um zu bestimmen, ob es irgendwelche Aus fallpixel gibt, die in dem Bild verblieben sind. Dies wird da durch erreicht, daß eine Aufzeichnung der Anzahl und der Stelle von ausgefallenen Pixeln erhalten wird. Wenn die Zahl null (oder eine sonst festgelegte, annehmbare kleine Zahl) erreicht, wird die Prozedur bei 112 beendet und der Prozeß ist abgeschlossen.

Wenn es in dem Bild verbliebene Ausfallpixel gibt, wird der Ort der nächsten Ausfallpixel-Stelle beim Schritt 114 wieder aufge funden. Beim Schritt 115 wird ein Zählen der Umgebungspixel be züglich bekannter Daten durchgeführt. Die Umgebungspixel sind die Pixel in der unmittelbaren Nähe des Ausfallpixels. In der bevorzugten Ausführungsform bestehen die Umgebungspixel aus den acht Pixel, welche das einzelne Pixel umgeben, das als das Aus fallpixel ausgewählt worden ist. Diese acht Pixel bestehen aus drei Pixel in der Reihe über dem Ausfallpixel, aus drei Pixel in der Reihe unter dem Ausfallpixel und jeweils einem Pixel rechts und links von dem Ausfallpixel.

Hierbei ist zu beachten, daß diese spezielle Umgebungsanordnung beliebig ist. Die Umgebungsdefinition 117 ist ein Ausgangspara meter, welche dem System zugeführt worden ist, und sie kann ge wählt werden, um die Effizienz des Systems für verschiedene Ar ten und Bildqualitäten zu optimieren. Beispielsweise kann bei anderen Bildarten ein Bullaugen-Muster verwendet werden, oder es kann ein größerflächiges Muster oder irgendein anderes Muster ausgewählt werden. Für ungewöhnliche Bilder kann die Umgebung sogar mit Hilfe von Pixels festgelegt werden, die sich nicht in der Nähe des zu verarbeitenden Ausfallpixels befinden. Sobald das Zählen von Umgebungspixel hinsichtlich bekannter Pixel been det ist, wird beim Schritt 122 der Zählwert mit dem Schwellen wert 120 verglichen.

Der Schwellenwert 120 ist ebenfalls ein Anfangszustand für den Betrieb des Systems. Üblicherweise wird der Schwellenwert als eine Zahl gewählt, welche der Anzahl Pixel in der Umgebung ent spricht, welche bekannte Werte haben muß. In einer Ausführungs form sind dies sieben (7) der acht Pixels in der unmittelbaren Umgebung. Das Verwenden von sieben (Pixel) bei einer Umgebung von acht (Pixel) schafft einen hohen Qualitätspegel in dem sich ergebenden Bild. Für eine schnellere Operation können niedrigere Schwellenwerte ausgewählt werden, was noch erläutert wird.

Wenn es nicht genug Umgebungspixel mit bekannten Daten gibt, um dem Schwellenwert zu entsprechen, wird bei dem Prozeßablauf auf den Schritt 114 zurückgegangen, um das nächste Ausfallpixel aus zuwählen. Wenn dagegen genug Pixel vorhanden sind mit Werten, um dem Schwellenwert 120 zu genügen, dann wird ein neuer Wert für das Ausfallpixel berechnet, wie beim Schritt 125 dargestellt ist. Dieser neue Wert kann dann mit Hilfe einer entsprechenden Technik verglichen werden. Beispielsweise ist entweder der Durchschnitt der umgebenden Pixel oder deren Mittelwert als aus reichend gefunden worden. In der vorerwähnten alternativen Aus führungsform kann für eine Vorlagenanalyse eine Farbe gegenüber einer anderen bevorzugt werden. Wenn dem so ist, kann der Schwellenwert für eine Farbe anders als für eine andere Farbe eingestellt werden, wodurch sich eine höhere Wahrscheinlichkeit hinsichtlich des Bestimmens des unbekannten Pixels ergibt. Na türlich können auch andere Techniken, die gewichtete Durch schnittswerte oder kompliziertere mathematische Operationen ein schließen, wie statistische Korrelationen, und größere Ver gleichsflächen verwendet werden.

Sobald der Wert des Ausfallpixels beim Schritt 125 berechnet ist, wird bei einem Schritt 127 in etwa bestimmt, ob noch mehr Ausfallpixel Werte haben, welche berechnet werden können. Wenn dies der Fall ist, dann wird das nächste Ausfallpixel erhalten, und in dem Prozeßablauf wird auf Schritt 114 zurückgegangen. Wenn es nicht noch mehr Ausfallpixel gibt, deren Wert berechnet werden kann, wird der Prozeß beim Schritt 130 fortgesetzt. Selbstverständlich können bei dieser Stufe des Prozesses eine große Anzahl an Ausfallpixel verbleiben; jedoch haben keine von diesen eine ausreichende Anzahl Umgebungspixel mit bekannten Werten, um dem Schwellenwert zu genügen.

Wenn es nun keine weiteren Ausfallpixel gibt, deren Wert be rechnet werden kann, wird das Bild mit den neuen Werten aktuali siert. Mit anderen Worten, die früher unbekannten Pixel, welche nunmehr berechnete Werte haben, werden in dem Bild als bekannte Pixel mit den berechneten Werten hinzugefügt.

Hierdurch wird die Gruppe "bekannter" Pixel erweitert und die Gruppe mit Ausfallpixel verringert.

Als nächstes wird, wie beim Schritt 135 dargestellt, in etwa festgelegt, ob "genug" Ausfallpixel aktualisiert worden sind. "Genug" kann irgendeine bestimmte Zahl, ein Prozentsatz oder eine andere Menge an Pixel sein. Das Ziel des Schrittes 135 liegt darin, die Anzahl an Iterationen bzw. Näherungen bei dem System zu verringern. Wenn beispielsweise bei jeder Näherung durch die vorhergehenden Schritte 114 bis 130 nur ein neuer Wert für ein, zwei oder wenige Pixel berechnet wird, kann der Prozeß durch Rücksetzen des Schwellenwerts effizienter durchgeführt werden. Wenn genug (eine große Anzahl) Pixel aktualisiert wur den, wird in dem Prozeßablauf auf den Schritt 114 zurückgegan gen, um das nächste Pixel zu verarbeiten.

Wenn dagegen nur eine kleine Anzahl Pixel aktualisiert wurde, wie bei der Kontrolle 135 dargestellt ist, kann der Schwellen wert beim Schritt 136 zurückgesetzt werden, um die anschließende Verarbeitung zu beschleunigen. Für die nächste Näherung wird dann mit der Steuerung auf den Schritt 102 zurückgegangen. Wenn keine Ausfallpixel übrig bleiben, endet der Prozeß beim Schritt 112.

Somit wird bei dem anhand von Fig. 10 beschriebenen Verfahren bekannte Information aus dem Bild und bekannte Information um den Ort der Fehler verwendet. Für jedes Element der Pixel-Aus fallmenge werden Elemente einer örtlichen Umgebung bzw. Nachbar schaft in dem Bild in Betracht gezogen. Wenn genug Umgebungsin formation bekannt ist, dann wird die Ausfallstelle markiert, und es wird ein Wert für diese Stelle aufgehoben. Nach den anschlie ßenden Durchgängen durch die Menge an Ausfallstellen kann das Bild mit Hilfe der Werte der markierten Stellen aktualisiert werden, und dann werden dieselben Stellen aus der Ausfallmenge entfernt. Dies schafft eine zusätzliche Anzahl bekannter Pixel für die anschließende Verarbeitung. Sobald der Prozeß eine Menge an Ausfallpixel erreicht, die klein genug ist, kann der Schwel lenwert erforderlichenfalls verschoben werden und schließlich wenden, wenn alle Ausfallstellen empfangene Werte haben. Obwohl in der bevorzugten Ausführungsform der Prozeß endet, wenn alle Ausfallstellen wieder hergestellt worden sind, ist doch zu be achten, daß nicht alles wieder hergestellt werden muß. Bei An wendungen mit Bildern, in welchen nicht alle Pixelwerte erfor derlich sind, können weniger als alle (Pixelwerte) wiederherge stellt werden, um den Prozeß zu beschleunigen.

Wegen der beliebigen Art des Quellenbildes werden bei dem Lö sungsweg der Anmelderin keine Angaben bezüglich des Inhalts der ursprünglichen Information gemacht. Alle notwendige Information liegt auf dem Pixelpegel.

Fig. 11 ist ein Blockdiagramm, das eine bevorzugte Ausführungs form des Systems zum Ausführen der Erfindung wiedergibt. Wie in Fig. 12 dargestellt, enthält das System ein Computersystem 200.

Dieses System kann irgendein bekanntes Computersystem aufweisen, das eine Workstation, einen Personal-Computer oder einen spe ziellen Bildverarbeitungscomputer aufweist. Das Rechensystem ist mit einer gewünschten Medienform 203 verbunden, um zumindest vorübergehend Bildinformation zu speichern. Das Medium 203 kann üblicherweise einen bekannten Halbleiterspeicher, einen Fest plattenspeicher, einen Bandspeicher oder andere Formen eines di gitalen Speichers aufweisen.

Mit dem Rechensystem 200 ist auch ein Bildaquisitionssystem 205 verbunden. Das Bildaquisitionssystem 205 enthält vorzugsweise ein bekanntes System, um Bilder zu gewinnen, und um sie in An ordnungen aus digitalen Pixelwerten umzuwandeln. Beispielsweise kann das Bildaquisitionssystem einen Scanner, ein Faksimilege rät, ein Kopiergerät, usw. aufweisen. Für das Bildaquisitionssy stem sind keine besonderen Eigenschaften erforderlich, außer daß es ein analoges Bild in digitale Information verarbeiten kann.

Schließlich ist mit dem Rechensystem 200 verbunden und oft als ein Teil davon enthalten, eine Ausführungsform einer Display- und Steuereinrichtung 208, die ein Tastenfeld, einen Monitor oder irgendein anderes System zum Steuern des Betriebs des Com putersystems aufweisen kann. Dieser Aspekt des Systems kann vor dem Benutzer in eingebauten oder automatischen Steuersystemen verborgen werden. Im Hinblick auf diese Wahlmöglichkeit ist die Display-Steuereinrichtung 208 von einem gestrichelt wiedergege benen Block umgeben.

Während des Betriebs wird das Bild des leeren und vervollstän digten Formblatts mittels des Aquisitionssystems 205 erhalten und in Medien 203 gespeichert. Das Rechensystem, das die Methode der Fig. 1 benutzt, subtrahiert dann ein Bild von dem anderen und speichert das sich ergebende Bild wieder.

Claims

1. Verfahren zum elektronischen Wiederauffinden von einem Doku ment hinzugefügter Information, dadurch gekennzeichnet, daß ein erstes Bild des Dokuments mit Information, die in dessen leeren Vordruck aufgedruckt ist, erhalten wird, bevor weitere Information von einem Benutzer hinzugefügt worden ist;
ein zweites Bild des Dokumentes erhalten wird, nachdem von dem Benutzer Information hinzugefügt worden ist;
für jedes Pixel in dem ersten Bild, das der Information auf dem Dokument entspricht, dieses Pixel aus dem zweiten Bild gelöscht wird, um dadurch ein Bild zu erzeugen, das einer Subtraktion des ersten Bildes von dem zweiten Bild entspricht, und
die Information, die von dem Benutzer hinzugefügt worden ist, welche bei dem vorherigen Schritt gelöscht wurde, elektronisch wieder aufbereitet und gespeichert wird.

2. Verfahren nach Anspruch 1, bei welchem der Schritt Wieder aufbereiten und -speichern ferner aufweist:

a) Bestimmen der Stelle der Pixel, die aus dem zweiten Bild gelöscht worden sind;
b) Spezifizieren eines Schwellenwerts und einer Umgebungskon figuration;
c) für jedes Pixel in dem unbekannten Bereich
1) in einem Bereich, welcher durch die Umgebungskonfigura tion festgelegt ist, Zählen der Pixel, die nicht in dem unbekannten Bereich sind;
2) wenn der Zählwert den Schwellenwert überschreitet, Be rechnen eines Werts für das unbekannte Bilddatenpixel;
3) Wiederholen der vorstehenden Schritte, bis eine ausge wählte Anzahl unbekannter Pixel den Kriterien von (2) genügt;
d) Entfernen aus dem unbekannten Bereich und Hinzufügen zu dem bekannten Bereich die Pixel mit Werten, die während des Schritts (c) berechnet worden sind, und
e) erforderlichenfalls Einstellen des Schwellenwerts und Wie derholen des Prozesses mit den Schritten (c) und (d), bis eine geforderte Menge an unbekannten Pixeln übrigbleibt.

3. Verfahren nach Anspruch 2, bei welchem die Umgebungskonfigu ration einen geometrischen Bereich aufweist, welcher dem unbe kannten Pixel unmittelbar benachbart ist und das unbekannte Pi xel einschließt.

4. Verfahren nach Anspruch 2, bei welchem der Schwellenwert eine Zahl ist, die kleiner als die Anzahl Pixel in der unmittel baren Umgebung.

5. Verfahren nach Anspruch 2, bei welchem bei dem Schritt, Be rechnen eines Werts für das unbekannte Pixel, eine mathematische Operation an den Werten der Pixel in der unmittelbaren Umgebung durchgeführt wird, deren Werte bekannt sind.

6. Verfahren nach Anspruch 2, bei welchem die Pixel in einer Matrix angeordnet sind und die unmittelbare Umgebung einen (3×3) Bereich aufweist.

7. Verfahren nach Anspruch 2, bei welchem bei dem Schritt (e) ferner der Schwellenwert um eins dekrementiert wird.

8. Verfahren nach Anspruch 1, bei welchem bei dem Schritt Lö schen, die Pixel mit Information in dem ersten Bild gedehnt wer den, bevor sie von dem zweiten Bild subtrahiert werden, um da durch die Anzahl Pixel zu erhöhen, die aus dem zweiten Bild ge löscht worden sind.

9. Verfahren nach Anspruch 1, bei welchem bei dem Schritt, Er halten eines zweiten Bildes, das Dokument elektronisch abgeta stet wird, nachdem von dem Benutzer Information hinzugefügt wor den ist, um davon ein zweites gespeichertes Bild zu erhalten.

10. Verfahren nach Anspruch 9, bei welchem bei dem Schritt, Er halten eines ersten Bildes, ein Dokument abgetastet wird, das dem Dokument entspricht, welches von dem Benutzer vervollständigt worden ist, um davon ein erstes gespeichertes Bild zu erhalten.

11. Verfahren nach Anspruch 10, bei welchem bei dem Schritt, Löschen aus dem zweiten Schritt, die ersten und zweiten Bilder elektronisch verglichen werden, und aus dem zweiten Bild diejenigen Bereiche subtrahiert werden, welche dieselbe Information sowohl in dem ersten als auch in dem zweiten Bild haben.

12. Verfahren nach Anspruch 11, bei welchem bei dem Schritt, Subtrahieren, die Pixel mit Information in dem ersten Bild ge dehnt werden, bevor sie von dem zweiten Bild subtrahiert werden, um dadurch die Anzahl Pixel zu erhöhen, die aus dem zweiten Bild gelöscht worden sind.

13. Verfahren, um Bilder mit einem ersten Pixelbereich mit be kannten Bilddaten und zumindest einem zweiten Pixelbereich mit unbekannten Bilddaten wieder aufzubereiten und zu speichern, wo bei der Ort des zweiten Bereichs bekannt ist, dadurch gekenn zeichnet, daß

a) ein Schwellenwert und eine Umgebungskonfiguration spezifi ziert werden, wobei der Schwellenwert für eine Pixelfarbe höher eingestellt wird als für eine andere;
b) für jedes Pixel in dem zweiten Bereich:
1) in einem Bereich, welcher durch die Umgebungskonfigura tion festgelegt ist, die Anzahl Pixel, die nicht in dem zweiten Bereich sind, gezählt werden,
2) wenn der Zählwert den Schwellenwert überschreitet, ein Wert für das unbekannte Bilddatenpixel berechnet wird,
3) die vorstehenden Schritte wiederholt werden, bis eine ausgewählte Anzahl unbekannter Pixel den Kriterien von (2) genügen;
c) die Pixel mit Werten, die während des Schrittes (b) berech net worden sind, aus dem zweiten Bereich entfernt und dem ersten Bereich hinzugefügt werden, und
d) der Schwellenwert erforderlichenfalls eingestellt wird und der Prozeß mit den Schritten (b) und (c) wiederholt wird, bis eine geforderte Menge an unbekannten Pixel übrig bleibt.

14. Verfahren nach Anspruch 13, bei welchem die Umgebungskonfi guration einen geometrischen Bereich aufweist, der unmittelbar an das unbekannte Pixel angrenzt und das unbekannte Pixel ein schließt.

15. Verfahren nach Anspruch 14, bei welchem der Schwellenwert eine Zahl ist, die kleiner als die Anzahl Pixel in der Umgebung ist.

16. Verfahren nach Anspruch 13, bei welchem bei dem Schritt, Be rechnen eines Werts für das unbekannte Pixel, eine mathematische Operation an den Werten der Pixel in der unmittelbaren Umgebung durchgeführt wird, deren Werte bekannt sind.

17. Verfahren nach Anspruch 13, bei welchem beim Schritt, Be rechnen eines Werts für ein unbekanntes Pixel, der Durchschnitt der Werte der bekannten Pixel in der unmittelbaren Umgebung be stimmt wird.

18. Verfahren nach Anspruch 13, bei welchem die Pixel in einer Matrix angeordnet sind und die unmittelbare Umgebung einen (3×3) Bereich aufweist.

19. Verfahren nach Anspruch 13, bei welchem Schritt (d) der Schwellenwert um eins dekrementiert wird.

20. Verfahren nach Anspruch 18, bei welchem der Schwellenwert 7 ist.

21. Verfahren nach Anspruch 13, bei welchem die ausgewählte An zahl unbekannter Pixel null ist.

22. Verfahren nach Anspruch 13, bei welchem die gewünschte Menge an unbekannten Pixel null ist.

23. Berechnungssystem, um Bilder mit einem ersten Bereich unbe kannter Bilddatenpixel und zumindest einem zweiten Bereich mit unbekannten Bilddatenpixel wieder aufzubereiten und zu spei chern, wobei der Ort des zweiten Bereichs bekannt ist, gekenn zeichnet durch

a) eine Einrichtung zum Spezifizieren eines Schwellenwerts und einer Umgebungskonfiguration, wobei der Schwellenwert für einen Typ Pixel anders als für einen anderen Typ Pixel ein gestellt wird;
b) eine Einrichtung, um für jedes Pixel in dem zweiten Bereich
1) in einem Bereich, der ein unbekanntes Pixel umgibt, dein umgebenden Bereich, welcher durch die Umgebungskonfigu ration festgelegt ist, die Anzahl Pixel, die nicht in dem zweiten Bereich sind, zu zählen;
2) um zu bestimmen, wenn der Zählwert den Schwellenwert überschreitet, und wenn dem so ist, einen Wert für das unbekannte Pixel zu berechnen;
3) um die vorstehenden Schritte zu wiederholen, bis keine unbekannten Pixel den Kriterien von (2) genügen;
c) eine Einrichtung, um die Pixel mit Werten, welche mittels der vorstehend unter (b) angeführten Einrichtung berechnet worden sind, aus dem zweiten Bereich zu entfernen und mit dem ersten Bereich zu kombinieren, und
d) eine Einrichtung, um den Schwellenwert zu dekrementieren und den Prozeß mit den Schritten (b) und (c) zu wiederholen, bis keine unbekannten Pixel übrigbleiben.