DE19637478A1 - Gleichzeitige Ausrichtung mehrerer Bildfragmente - Google Patents

Description

Im Anhang wird hiermit ein C-Quelltext für eine bevorzugte Ausführungsform als Kopie eingereicht. Ein Teil der Offen­ barung dieser Patentschrift enthält Material, das Gegen­ stand eines Urheberschutzrechtes ist. Der Inhaber des Urhe­ berrechtes hat keinen Einwand gegen die Faksimile-Wiederga­ be des Patentdokumentes oder der Offenbarung des Patentes durch einen Dritten, wie sie in der Akte oder den Unterla­ gen des Patentamtes erscheint, behält sich aber anderer­ seits alle wie auch immer gearteten Urheberrechte vor.

Die Erfindung betrifft im allgemeinen das Verbinden von Fragmenten eines Bildes, um das vollständige Bild zusammen­ zufügen, und betrifft insbesondere das genaue Verbinden mehrerer Bildfragmente. Die vorliegende Anmeldung basiert auf der mit eingereichten prioritätsbegründende US-Anmel­ dung S.N. 08/527,826, auf deren Inhalt zum Zwecke einer ergänzenden Erläuterung hingewiesen wird und die Bestand­ teil der vorliegenden Offenbarung ist.

Heutzutage ermöglichen es Bildverarbeitungsgeräte, daß Bil­ der von Computersystemen eingelesen werden können, z. B. durch Einscannen eines Bildes, um eine digitale Verkörpe­ rung des Bildes zu erhalten. Ebenfalls können digitale Ver­ körperungen von Bildern ausgedruckt werden, um eine Hartko­ pie bzw. einen Abzug des Bildes herzustellen. Beispiele für Bildverarbeitungsgeräte sind Kopiergeräte, Faxgeräte und Scanner. Diese Systeme benutzen heutzutage fortschrittliche Technologie, um es einem menschlichen Benutzer zu ermögli­ chen, das eingelesene Bild durch Verkleinern, Vergrößern, Anpassen des Kontrastes, der Auflösung oder der Farbe von Bildern etc. zu bearbeiten. Während heutige Standard-Bild­ verarbeitungsgeräte gut dazu geeignet sind, um Bilder mit Standardgröße, z. B. ein Bild auf einem Blatt Papier mit der Größe 8,5′′ × 11′′ bzw. (21,6 × 28 cm) zu handhaben, tauchen bei diesen Geräten dann Probleme auf, wenn es erforderlich ist, ein Bild mit Übergröße in Bildfragmente zu untertei­ len, um das Bild in ein Gerät einzulesen, und wenn es erforderlich ist, die Fragmente zum Ausdrucken oder für andere weitergehende Verarbeitungsschritte wieder zusammen­ zufügen.

Zum Beispiel tritt ein Problem mit Kopiergeräten dann auf, wenn es gewünscht ist, ein Bild mit Übergröße, wie z. B. eine Landkarte oder ein Poster, zu kopieren. Dieses ist darin begründet, weil es der Aufbau des Kopiergerätes ge­ wöhnlich nur erlauben wird, Teile oder Fragmente des einzu­ scannenden bzw. abzutastenden Bildes mit Übergröße während jedes Durchlaufes des Einscann-Mechanismus des Kopierers einzulesen. Dies bedeutet, daß der menschliche Benutzer des Kopierers das Bild mit Übergröße von Hand positionieren muß und mehrere Abtastungen von Teilen der Landkarte oder des Posters durchführen muß. Weil der Benutzer das Bild mit Übergröße auf der Einlesefläche des Kopierers nach Sicht ausrichten muß, oftmals ohne die Unterstützung durch irgendwelche Ausrichtungsmarkierungen, erhält der Benutzer schließlich ein Durcheinander von nicht einheitlichen Frag­ menten des Bildes mit Übergröße, das sich über die Papiere ausbreitet. Im schlimmsten Fall muß der Benutzer dann von Hand die Bildfragmente durch Ausschneiden und Zusammenkle­ ben der Seiten zusammenfügen.

Zugleich sind Faxgeräte darauf beschränkt, Papier von fe­ sten und relativ kleinen Abmessungen anzunehmen. Wenn ein Dokument mit Übergröße breiter ist als von dem Faxgerät vorgesehen, muß das Dokument in kleinere Bilder auf kleine­ ren Blättern Papier aufgebrochen bzw. aufgeteilt werden. Das Bild mit Übergröße wird dann in mehreren Stücken an ein empfangendes Faxgerät übermittelt. Ein Benutzer bei dem em­ pfangenden Faxgerät durchläuft dann einen ähnlichen Vor­ gang, um das Bild des Dokumentes mit Übergröße aus den mehrerer Fragmenten des Dokumentes zusammenzustückeln.

Der Vorgang des automatischen Ausrichtens von Bildfragmen­ ten zur Wiedergabe eines Originalbildes ist als Bildausrichtung bekannt. Einige Bildausrichtungstechniken des Standes der Technik wurden hauptsächlich für Anwendun­ gen im Bereich der Fernerkundung entwickelt, z. B. für das Herstellen eines zusammengesetzten Satellitenbildes eines großen Bereiches aus mehreren Fotografien, die von ver­ schiedenen Satellitenpositionen aufgenommen worden sind.

Diese Techniken können jedoch nicht effizient auf die Ar­ beitsumgebung von Bürokopierern angewendet werden. Auf der einen Seite können lange Antwortzeiten in Kopier-Anwendun­ gen nicht hingenommen werden. Auf der anderen Seite müssen in der Fernerkundung verwendete Bildausrichtungstechniken Bildfragmente nicht nur relativ zueinander verschieben und drehen, um sie auszurichten, sondern müssen auch nicht­ lineare Effekte, Größenverhältnisse, Skalierung, sich än­ dernden Kontrast und andere Effekte ausgleichen.

Bildausrichtungstechniken, die für die Büroumgebung entwic­ kelt worden sind, leiden alle an einer oder mehreren Un­ zulänglichkeiten. Eine Technik beruht auf Markierungen, die auf spezielle Weise auf das ursprüngliche, großformatige Dokument angewendet werden müssen. Gemäß einer anderen Technik wird ein großformatiges Dokument aufeinanderfolgend in Unterabschnitten abgetastet. Paare von Bildfragmenten werden dann in bezug zueinander der Reihenfolge nach ausge­ richtet.

Diese Technik kann in Situationen, in denen mehr als zwei sich überlappende Fragmente aneinander ausgerichtet werden sollen, keine professionelle Qualität zur Verfügung stel­ len. Es werde die Situation in Fig. 1 betrachtet, in der vier überlappende Bildfragmente 2, 4, 6 und 8 aneinander gemäß der Technik des Standes der Technik ausgerichtet werden müssen. Die Standardtechnik benutzt im wesentlichen paarweise Ausrichtung, um Bildfragment 2 mit Bildfragment 4 auszurichten, Bildfragment 4 mit Bildfragment 6 und Bild­ fragment 6 mit Bildfragment 8. Die Ausrichtungen von Bild­ fragmentpaaren 2 und 4, 4 und 6 und 6 und 8 können hin­ genommen werden. Die Ausrichtung zwischen Bildfragment 2 und Bildfragment 8 kann jedoch nicht hingenommen werden. Der Grund hierfür liegt darin, daß nicht wahrnehmbare Feh­ ler in der paarweisen Ausrichtung sich bis zu dem Punkt anhäufen, daß der Ausrichtungsfehler zwischen Bildfragmen­ ten 2 und 8 wahrnehmbar wird. Weil es viele Anwendungen erforderlich machen werden, daß mehr als zwei Bildfragmente zusammengesetzt werden, stellt diese Art der Fortpflanzung bzw. Ausbreitung eines Ausrichtungsfehlers über mehrere Fragmente einen ernstzunehmenden Nachteil des Standes der Technik dar.

Gemäß der Erfindung können mehr als zwei Fragmente eines Bildes ausgerichtet werden, um das Bild zusammenzufügen, wobei eine hohe Ausrichtungsqualität zwischen jedem Paar von sich überlappenden Bildfragmenten gewährleistet ist. Bildausrichtungsvorgänge werden schnell durchgeführt. Die Erfindung findet Anwendung z. B. beim Einscannen, Kopieren und bei der Faksimileübertragung von großformatigen Doku­ menten.

Gemäß einem ersten Aspekt der Erfindung wird eine Vorrich­ tung zum optimalen Verbinden von mehr als zwei sich über­ lappenden Bildfragmenten eines vollständigen Bildes zur Verfügung gestellt, um das vollständige Bild wiederzube­ kommen. Die Vorrichtung schließt eine Einrichtung zum Mes­ sen eines Ausrichtungsfehlers zwischen mindestens zwei sich überlappenden der mehr als zwei Bildfragmente gemäß einer ersten vorbestimmten Maßgröße ein, eine Einrichtung zum Verbessern einer Ausrichtung zwischen zwei ausgewählten, sich überlappenden Bildfragmenten der zwei oder mehr Bild­ fragmente, um einen Ausrichtungsfehler zwischen den zwei ausgewählten, sich überlappenden Bildfragmenten zu reduzie­ ren, eine Einrichtung, die mit der Meßeinrichtung zusammen­ arbeitet, um einen Gesamtausrichtungsfehler zwischen jedem möglichen, sich überlappenden Paar der mehr als zwei Bild­ fragmente gemäß der vorbestimmten Maßgröße aufzusummieren bzw. zu akkumulieren, eine Gesamtoptimierungseinrichtung, die mit der Aufsummier- bzw. Akkumuliereinrichtung und der Verbesserungseinrichtung zusammenarbeitet, zur wiederholten Anwendung der Verbesserungseinrichtung aufaufeinanderfol­ gende Paare der sich überlappenden Bildfragmente, um den Gesamtausrichtungsfehler zu optimieren.

In einer Ausführungsform der Erfindung wird ein großforma­ tiges Dokument oder eine Panorama-Abbildung von einem Scan­ ner oder einem anderen Bildausrichtungsgerät als einzelne, sich überlappende Fragmente erfaßt. Ein Benutzer wendet anschließend eine Benutzerschnittstelle einschließlich eines Bildschirms und einer Zeigevorrichtung bzw. eines Markiergeräts an, um die Bildfragmente auf dem Bildschirm ungefähr auszurichten. Ein Beispiel dieser Art von Bild­ fragment-Handhabung wird in der US-Patentanmeldung Nr. 08/446,196 beschrieben, die auf den Anmelder der vorliegen­ den Erfindung übertragen wurde, deren Inhalte hiermit aus­ drücklich für alle möglichen Bezugszwecke eingeschlossen sei.

Sobald die Bildfragmente durch den Benutzer in ungefähre Ausrichtung gebracht worden sind, übernimmt die automati­ sche Bildausrichtung. Eine Liste von überlappenden Bildaus­ schnittspaaren wird erstellt. Die Ausrichtung von jedem Paar von Fragmenten wird der Reihenfolge nach verbessert. Innerhalb des Bereiches der Erfindung könnte jede Technik dazu benutzt werden, um jedes Paar von Bildfragmenten aus­ zurichten. Während einzelne Paare von Fragmenten ausge­ richtet werden, wird ein Gesamtausrichtungsfehler für all die Paare überwacht. Neue paarweise Ausrichtungen, die den Gesamtfehler erhöhen, werden zurückgewiesen. Wenn der Ge­ samtausrichtungsfehler aufhört sich zu verbessern, wird der Verbesserungsvorgang abgebrochen.

Dieser von der Erfindung vorgegebene Optimierungsvorgang stellt auf diese Weise sicher, daß Verbesserungen in der Ausrichtung eines Paares von Bildfragmenten nicht zu Lasten der Ausrichtung eines anderen Paares von Bildfragmenten geht. Auf diese Weise wird für alle Paare von Fragmenten eine zufriedenstellende Erfassungsqualität gewährleistet.

Die Erfindung stellt zusätzlich effiziente Techniken zur Verbesserung der Ausrichtung von zwei überlappenden Bild­ fragmenten zur Verfügung. Im allgemeinen beinhalten solche Techniken die Suche nach einer besten Anpassung über einen Raum von möglichen Ausrichtungen. Die Erfindung stellt mehrere Techniken zur Verfügung, die angewendet werden können, um den Suchraum zu begrenzen und so den Verbesse­ rungsvorgang zu beschleunigen.

Eine solche Technik, die von der Erfindung zur Verfügung gestellt wird, ist eine Technik, um zunächst Vermessungsbe­ reiche (bzw. Schablonenbereiche bzw. "templates") oder Kennzeichnungs- bzw. Interessenspunkte in einem ersten Bildausschnitt zu bestimmen, um den Suchraum für mögliche verbesserte Ausrichtungen einzuschränken. Ein Gitter von Zellen wird über das erste Bildfragment gelegt. Ein Kenn­ zeichnungsoperator bzw. Interessensoperator wird auf jedes Pixel in dem Bild angewendet, um einen Kennzeichnungs- bzw. Interessenspegel für jedes Pixel zu erhalten. Für jede Zelle, die ein Pixel besitzt, dessen Pegel einen vorgegebe­ nen Schwellenwert überschreitet, wird das Pixel mit dem größten Kennzeichnungspegel in der Zelle als in Betracht kommender Kennzeichnungspunkt ausgewählt. Ein in Betracht kommender Kennzeichnungspunkt wird in der vorliegenden Erfindung auch Kandidat-Kennzeichnungspunkt genannt. Auf diese Weise besitzt jede Zelle entweder einen oder keinen in Betracht kommenden Kennzeichnungspunkt. Von den Kandi­ daten wird ein erster Kennzeichnungspunkt ausgewählt, der der Kandidat mit dem größten Kennzeichnungspegel sein soll. Ein zweiter Kennzeichnungspunkt wird ausgewählt, der den in Betracht kommenden Kennzeichnungspunkt darstellen soll, der am weitesten entfernt von dem ersten Kennzeichnungspunkt ist. Alternativ könnte eine andere Anzahl von Kennzeich­ nungspunkten aus den in Betracht kommenden Kennzeichnungs­ punkten unter Zuhilfenahme ähnlicher oder anderer Kriterien ausgewählt werden.

Die Erfindung stellt zusätzlich eine verbesserte Technik zum Auffinden des Kennzeichnungspegels jedes Pixels zur Verfügung. Gemäß dieser verbesserten Maßgröße wird die Varianz eines Pixelwertes unter Pixeln bestimmt, die sich einen Radius r-Pixel entfernt entlang einer vertikalen oder horizontalen Achse befinden, und wird dann für Pixel, die 2r-Pixel entfernt sind und 3r-Pixel entfernt sind, berech­ net. Man erhält auf diese Weise drei Varianzen und der Mittelwert dieser drei Varianzen wird bestimmt, der die Moravec-Varianz für die Pixel darstellen soll, die ausge­ wertet werden. Natürlich könnte gemäß der Erfindung die Anzahl Varianzen, die in der endgültigen Bestimmung verwen­ det werden, verschieden von drei sein.

Die Erfindung stellt zusätzlich Techniken zur Verfügung, die den Suchbereich möglicher, verbesserter Ausrichtungen begrenzen, auch nachdem Kennzeichnungspunkte in dem ersten überlappenden Bildfragment bestimmt worden sind. Für jeden Kennzeichnungspunkt wird der Mittelwert eines Bereiches, der jeden Kennzeichnungspunkt in dem ersten Bildfragment umgibt, berechnet. Die Form des Bereiches wird so gewählt, daß der Mittelwert des Bereiches invariant unter Drehungen relativ zu dem ersten Bildfragment ist, und kann z. B. ein Kreis oder ein Kreisring sein. Für jeden Kennzeichnungs­ punkt wird dieser Mittelwert verwendet, um den Suchbereich möglicher Translationsausrichtungen in dem zweiten Bild­ fragment zu begrenzen. Für jedes Pixel in dem zweiten Bild­ fragment wird der mittlere Pixelwert eines ähnlich struktu­ rierten Bereiches berechnet. Wenn der mittlere Pixelwert um mehr als einen Schwellenwert-Prozentsatz von dem mittleren Pixelwert, der für die Region, die den Kennzeichnungspunkt umgibt, bestimmt wurde, abweicht, kann die Trans­ lationsausrichtung des Kennzeichnungspunktes an diesem Pixel in dem zweiten Bildfragment als eine mögliche Aus­ richtung zurückgewiesen werden. Wegen der Form des Berei­ ches brauchen Rotationsausrichtungen zu diesem Zeitpunkt nicht überprüft zu werden. Dieser Gesichtspunkt der Erfin­ dung verbessert die Effizienz der Ausrichtungsverbesserung von zwei überlappenden Bildfragmenten sehr stark.

In der bevorzugten Ausführungsform wird die Anfangs-Be­ rechnung möglicher Ausrichtungen von zwei überlappenden Bildfragmenten im wesentlichen gemäß der Lehre aus [Bar­ nea72] vorgenommen, deren Inhalt hiermit bezüglich aller Aspekte und Zwecke ausdrücklich in die Offenbarung der vorliegenden Erfindung mit aufgenommen wird. Jeder Kenn­ zeichnungspunkt wird getrennt ausgerichtet. Die Ausrich­ tungsfehler möglicher Ausrichtungen werden gemäß einer vorgegebenen Ausrichtungsfehler-Maßgröße bemessen. In der bevorzugten Ausführungsform wird die sogenannte L1-Maßgröße verwendet, um den Ausrichtungsfehler zu bestimmen. Der Fehler wird auf einer Pixel-zu-Pixel-Grundlage zwischen einem Bereich, der den Kennzeichnungspunkt umgibt, und einem ähnlich großen Bereich in dem zweiten Bildfragment berechnet. Sobald ein aufsummierter Fehler für eine gegebe­ ne Ausrichtung einen Schwellenwert überschreitet, können die Berechnungen für diese Ausrichtung abgebrochen werden, weil für die Ausrichtung nur eine kleine oder überhaupt keine Möglichkeit besteht, schließlich als die verbesserte Ausrichtung ausgewählt zu werden. Der Schwellenwert kann die Fehler, die für vorherige Ausrichtungen berechnet wor­ den sind, berücksichtigen und wie weit fortgeschritten die augenblickliche Ausrichtungsfehlerberechnung zu diesem Zeitpunkt ist.

Das Ergebnis der Suche durch mögliche Ausrichtungen ist vorzugsweise ein Satz von Listen von Ausrichtungen, mit einer Liste für jeden Kennzeichnungspunkt, für die der gemessene Fehler unter einen Schwellenwert fällt. Jede Ausrichtung kann als die Stelle des Pixels in dem zweiten überlappenden Bildfragment verkörpert werden, die mit dem Kennzeichnungspunkt ausgerichtet ist.

Gemäß der Erfindung kann die verbesserte Ausrichtung ausge­ wählt werden, indem die geometrische Beziehung unter den Kennzeichnungspunkten, die sich in dem ersten Bildfragment befinden, berücksichtigt wird. Für eine gute Ausrichtung müssen die Pixel in dem zweiten Bildfragment, die an den Kennzeichnungspunkten des ersten Bildfragments ausgerichtet sind, die gleiche geometrische Beziehung untereinander besitzen wie die Kennzeichnungspunkte. Für den bevorzugten Fall von zwei Kennzeichnungspunkten wird natürlich der Euklid-Abstand zwischen den Kennzeichnungspunkten dem Euklid-Abstand zwischen den Pixeln entsprechen, die an ihnen in dem zweiten Bildfragment ausgerichtet sind.

Um die Ausrichtungen zu bestimmen, für die diese geome­ trische Beziehung erfüllt ist, werden die zu jedem Kenn­ zeichnungspunkt zugehörigen Listen nach Gruppen von Pixeln durchsucht, die die gleiche geometrische Beziehung unter­ einander besitzen, wie die Kennzeichnungspunkte. Wenn nur eine Gruppe von Pixeln dieses Kriterium innerhalb eines vorbestimmten Toleranzbereiches erfüllt, wird diese Gruppe von Pixeln dazu verwendet, die verbesserte Ausrichtung zu bestimmen. Falls mehr als eine Gruppe von Pixeln dieses Kriterium innerhalb des vorbestimmten Toleranzbereiches erfüllt, werden die Schwerpunkte von dicht gedrängten Pi­ xeln als Grundlage dafür verwendet, um die verbesserte Ausrichtung zu bestimmen.

Die Erfindung wird unter Bezugnahme auf die folgende de­ taillierte Beschreibung in Verbindung mit den begleitenden Zeichnungen besser verstanden werden,

Fig. 1 stellt das Ergebnis einer Ausrichtung überlappen­ der Bildfragmente gemäß dem Stand der Technik dar,

Fig. 2 stellt wesentliche Untersysteme eines Computer­ systems dar, das für die Verwendung mit der Er­ findung geeignet ist,

Fig. 3 stellt eine Anordnung von Untersystemen für eine bevorzugte Ausführungsform dar,

Fig. 4 ist ein Flußdiagramm, das die Schritte des Aus­ richtens mehrerer sich überlappender Bildfragmen­ te gemäß einer Ausführungsform der Erfindung be­ schreibt,

Fig. 5 ist ein Flußdiagramm, das die Schritte der Aus­ richtung mehrerer sich überlappender Bildfragmen­ te gemäß einer Ausführungsform der Erfindung be­ schreibt,

Fig. 6A ist ein Flußdiagramm, das die Schritte der Aus­ richtung erster und zweiter sich überlappender Bildfragmente gemäß einer Ausführungsform der Erfindung beschreibt,

Fig. 6B zeigt, wie der Mittelwert eines Fensters eines Bildes gemäß einer Ausführungsform der Erfindung berechnet, zu dem Zweck, werden kann, um einen Suchbereich in dem zweiten überlappenden Bild­ fragment zu begrenzen,

Fig. 7A ist ein Flußdiagramm, das die Schritte des Auf­ findens von Kennzeichnungspunkten in einem ersten der überlappenden Bildfragmente aus Fig. 6A gemäß einer Ausführungsform der Erfindung beschreibt,

Fig. 7B ist ein Flußdiagramm, das die Schritte des Anwen­ dens eines modifizierten Moravec-Varianzoperators auf Pixel des ersten überlappenden Bildfragmentes gemäß einer Ausführungsform der Erfindung be­ schreibt,

Fig. 7C ist ein Diagramm, das die Pixel darstellt, die bei der Berechnung eines modifizierten Moravec- Varianzoperators gemäß einer Ausführungsform der Erfindung verwendet werden,

Fig. 8 ist ein Flußdiagramm, das die Schritte des Anwen­ dens geometrischer Beziehungen auf eine Liste von in Betracht kommenden Anpassungen bzw. Kandidat- Anpassungen von Kennzeichnungspunkten eines er­ sten Bildfragmentes an Pixel eines zweiten Bild­ fragmentes beschreibt, um eine verbesserte Aus­ richtung zwischen den ersten und zweiten Bild­ fragmenten gemäß einer Ausführungsform der Erfin­ dung zu bestimmen bzw. zu erkennen,

Fig. 9 zeigt eine beispielhafte, von einem Benutzer durchgeführte Ausrichtung von vier überlappenden Bildfragmenten,

Fig. 10 zeigt die Bildfragmente aus Fig. 9, wie sie gemäß einer Ausführungsform der Erfindung ausgerichtet wurden,

Fig. 11A-11J zeigen die Ausrichtung von zwei überlappenden Bildfragmenten aus Fig. 9 gemäß einer Aus­ führungsform der Erfindung.

Merkmalsuntergruppen der verschiedenen im folgenden be­ schriebenen Ausführungsformen können miteinander kombiniert werden. Weitere erfinderische Merkmale gehen aus den im Anhang beigefügten C-Programm sowie der dazugehörigen Kom­ mentierung hervor. Fig. 2 zeigt wesentliche Untersysteme eines Computersystems, das zur Verwendung mit der Erfindung geeignet ist. Fig. 2 beinhaltet ein Computersystem 10, einen Bus 12, der wesentliche Untersysteme miteinander verbindet, wie z. B. den Zentralprozessor 14, Systemspeicher 16, Eingabe-/Ausgabe-(I/O)-Controller 18, ein externes Gerät, wie z. B. einen Drucker 20 über eine parallele Schnittstelle 22, Bildschirm 24 über Bildschirmadapter 26, serielle Schnittstelle 28, Tastatur 30, Festplattenlaufwerk 32 und Floppydisk-Laufwerk 33, das dazu ausgelegt ist, eine Floppydisk 33A aufzunehmen. Viele andere Geräte können verbunden werden, wie z. B. Scanngerät 34, das über externe Schnittstelle 36 angeschlossen ist, Maus 38, die über se­ rielle Schnittstelle 28 angeschlossen ist, und berührungs­ empfindlicher Bildschirm bzw. Touchscreen 40, der direkt angeschlossen ist. Viele andere Geräte oder Untersysteme (nicht abgebildet) können in ähnlicher Weise verbunden werden. Ebenfalls ist es nicht erforderlich, daß alle in Fig. 2 abgebildeten Geräte vorhanden sein müssen, um die Erfindung auszuführen, wie weiter unten diskutiert wird. Die Geräte und Untersysteme können auf anderen Weisen mit­ einander verbunden werden als in Fig. 2 gezeigt. Das Be­ treiben eines Computersystemes wie des in Fig. 2 abgebilde­ ten ist aus dem Stand der Technik hinreichend bekannt und wird in dieser Anwendung nicht im Detail diskutiert. Quell­ text- bzw. Sourcekode, um die Erfindung umzusetzen, kann zum Betrieb in Systemspeicher 16 abgelegt oder auf Spei­ chermedien, wie z. B. Festplattenlaufwerk 32 oder Floppydisk 33A, abgespeichert werden,

Fig. 3 zeigt eine Anordnung 300 für eine bevorzugte Aus­ führungsform einschließlich Scanner 302, Speicher 304, CPU 306, Bildschirm 308, berührungsempfindlicher Bildschirm 310 und Drucker 312. Anordnung 300 könnte z. B. ein Kopiergerät einschließen. Anordnung 300 könnte ebenfalls Teil einer Hardware in einem Faxgerät oder Scanner darstellen. In der augenblicklich bevorzugten Ausführungsform ist der Scanner 302 ein Ricoh IS60 600 dpi Graustufen-Scanner. Der Drucker 312 ist ein 600 dpi, 8-Seiten-pro-Minute-Laserdrucker. Die CPU 306 ist eine Sun Sparc 10 Workstation. Die Erfindung kann zur Verwendung in jedem System angepaßt werden, in dem ein Bild mit Übergröße stückweise eingescannt bzw. abgeta­ stet werden muß, so daß mehrere überlappende Fragmente des Bildes mit Übergröße Eingabegrößen für das System darstel­ len und zueinander ausgerichtet werden müssen.

Der Bildschirm 308 kann ein Flüssigkristall-Bildschirm (LCD) oder ein Bildschirm mit einer Kathodenstrahl-Bild­ schirmröhre (CRT) oder ein anderer Typ von Bildschirm oder Flachbildschirm sein. Der Bildschirm ist ähnlich zu den auf Standard-Computern wie z. B. Personal-Computern (PC) oder Workstations Gebräuchlichen, die einen CRT-Bildschirm oder einen Monitor benutzen. Zahlreiche Arten von Benutzer-Ein­ gabegeräten können mit der Erfindung benutzt werden. Obwohl in Fig. 3 ein berührungsempfindlicher Bildschirm gezeigt ist, könnte ein Maus-Eingabegerät, das es einem Benutzer ermöglicht, einen auf dem Bildschirm dargestellten Markie­ rungspfeil gemäß den Handbewegungen des Benutzers zu bewe­ gen, ein Standardbenutzer-Eingabegerät sein. Eine Maus schließt gewöhnlich einen oder mehrere Knöpfe auf ihrer Oberfläche ein, so daß ein Benutzer auf ein Objekt auf dem Bildschirm zeigen kann, indem er die Maus bewegt und das Objekt auswählen oder auf andere Weise aktivieren kann, indem er einen oder mehrere Knöpfe auf der Maus nieder­ drückt. Der berührungsempfindliche Bildschirm ermöglicht es einem Benutzer, auf Objekte auf dem Bildschirm zu zeigen, um ein Objekt auszuwählen und das ausgewählte Objekt zu bewegen, indem er auf eine zweite Position auf dem Bild­ schirm zeigt. Zahlreiche Knöpfe und Kontrollmöglichkeiten können auf dem Bildschirm zur Aktivierung mit Hilfe einer Maus oder eines berührungsempfindlichen Bildschirms dar­ gestellt werden.

Fig. 4 ist ein Flußdiagramm, das die Schritte des Ausrich­ tens mehrerer überlappender Bildfragmente gemäß einer Aus­ führungsform der Erfindung beschreibt. Bei Schritt 402 erfaßt das System der bevorzugten Ausführungsform Fragmente eines Bildes. Dies könnte z. B. durch aufeinanderfolgendes Verwenden des Scanners 302 auf ein großformatiges Dokument der Fall sein. Die Bildfragmente könnten von einem lokalen Faksimile-Übermittlungsgerät eingescannt oder von einem entfernten Faksimile-Übermittlungsgerät empfangen werden. Die Bildfragmente werden jedoch erfaßt und ihre elektro­ nischen Verkörperungen stehen zur weiteren Verarbeitung in dem Systemspeicher 16 zur Verfügung. Typischerweise werden die Bildfragmente als Datenfelder von Pixeln verkörpert, wobei jedes Datenfeld einen elektronisch gespeicherten Pixelwert besitzt.

Bei Schritt 404 verwendet der Benutzer vorzugsweise eine Benutzerschnittstelle, um die Bildfragmente ungefähr anein­ ander auszurichten und das Originalbild wiederherzustellen. Der Benutzer verwendet z. B. die Maus 38 oder berührungs­ empfindlichen Bildschirm 40, um die Bilder zu bearbeiten.

Rückkopplung bezüglich der augenblicklichen Position der Bildfragmente findet man auf Bildschirm 24. Eine vollstän­ dige Beschreibung des Bildfragment-Bearbeitungsprozesses, der in der bevorzugten Ausführungsform verwendet wird, kann in der US-Patentanmeldung Nr. 08/446,196 gefunden werden.

Es ist der Zweck der Ausrichtung durch den Benutzer, die spätere automatisierte Ausrichtung zu vereinfachen. Wenn eine automatisierte Erfassung beteiligt ist, weiß das Sy­ stem der bevorzugten Ausführungsform bereits, welche Frag­ mente sich überlappen. Die Plazierung der Fragmente ist ebenfalls innerhalb eines gegebenen Schwellenwertabstandes der besten Erfassung bekannt. Vorzugsweise beträgt dieser Abstand 1 Inch (2.54 cm), was bei 100 dpi 100 Pixeln ent­ spricht. Obwohl dies eine sehr aufwendige Berechnung er­ fordern würde, wäre es innerhalb des Umfangs der Erfindung möglich, die Bildfragmente vollständig automatisch auszu­ richten. Bei der Beendigung des Schrittes 404 sind nicht nur die Bildfragmente elektronisch abgespeichert, sondern ebenfalls ihre ungefähren Ausrichtungen, wie von dem Benut­ zer festgelegt.

Bei Schritt 406 richtet das System der bevorzugten Aus­ führungsform die Bildfragmente automatisch aus. Der Vorgang von Schritt 406 wird genauer unter Bezugnahme auf Fig. 5- 8 beschrieben werden. Der Ausrichtungsprozeß wird bei Schritt 408 abgebrochen, wobei das vollständig zusammenge­ fügte Bild zur weiteren Verarbeitung zur Verfügung steht.

Gemäß der Erfindung zieht der Ausrichtungsvorgang Nutzen aus einer Gesamtfehler-Information, die das Bild als Ganzes betrifft, um eine genaue Ausrichtung von jedem Paar über­ lappender Bildfragmente zu erzeugen. Auf diese Weise werden Artefakte, wie in Fig. 1 gezeigt, die durch die Ausbreitung von Fehlausrichtungen zwischen aufeinanderfolgenden Paaren von Bildfragmenten erzeugt werden, vermieden.

Auf diese Weise optimiert die bevorzugte Ausführungsform einen Ausrichtungsfehler zwischen einzelnen Bildfragment­ paaren und für das Bild als Ganzes. Bevor der Bildfragment- Ausrichtungsvorgang der bevorzugten Ausführungsform im Detail diskutiert wird, wird es hilfreich sein, Maßgrößen zu diskutieren, die verwendet werden können, um die Aus­ richtung von Bildern oder Teilbereichen von Bildern anein­ ander zu messen.

Eine Maßgröße ist die Kreuzkorrelation. Die Berechnung der normalisierten Kreuzkorrelation zwischen zwei Fenstern A und B der Größe M×N ist durch die folgende Formel gegeben:

wobei a(x,y) und b(x,y) Pixelwerte der Fenster A und B bei einer bestimmten Koordinate darstellen. Für eine optimale Ausrichtung oder Anpassung zwischen den Fenstern A und B liegt der Wert von σ nahe bei +1. Der Kreuzkorrelations- Wert ist jedoch sehr rechenaufwendig.

Die bevorzugte Ausführungsform verwendet statt dessen die sog. L1-Norm, um den Ausrichtungsfehler zu messen. Dies erfolgt für Fenster A und B dadurch, daß eine Größe E be­ stimmt wird, deren Berechnung durch die folgende Formel gegeben ist:

Je kleiner der Wert von ε ist, desto besser die Anpassung. Diese L1-Norm ist viel einfacher zu berechnen, weil sie nur Additionen erfordert und keine Multiplikationen oder Divi­ sionen, wie es für den Kreuzkorrelations-Wert erforderlich ist. Die Anwendung der L1-Norm zum Messen eines Ausrich­ tungsfehlers zwischen zwei überlappenden Bildfragmenten wird in [Barnea72] beschrieben.

Das Bildfragment-Ausrichtungsverfahren einer Ausführungs­ form der Erfindung wird zunächst unter Bezugnahme auf die Flußdiagramme in Fig. 5 bis 8 beschrieben werden. Die An­ wendung der Erfindung auf ein bestimmtes Beispiel der Wie­ derherstellung eines Bildes eines großformatigen Dokumen­ tes, wie z. B. einer Landkarte, wird dann unter Bezugnahme auf Fig. 9-11 beschrieben werden,

Fig. 5 ist ein Flußdiagramm, das die Schritte der Erfassung mehrerer überlappender Bildfragmente gemäß einer Ausfüh­ rungsform der Erfindung beschreibt. Bei Schritt 502 er­ stellt die bevorzugte Ausführungsform eine Liste der Über­ lappungen zwischen Bildfragmenten, die auf die durch den Benutzer bei Schritt 404 der Fig. 4 festgelegte Ausrichtung anspricht.

Bei Schritt 504 werden die Ausrichtungen vorzugsweise der Größe der Überlappbereiche nach sortiert. Ein Fragment, ein Teil des Überlapp-Paares, das an der größten Überlappung beteiligt ist, wird ausgewählt das der Bezugsrahmen bzw. das Bezugs-Koordinatensystem für die anderen Fragmente sein soll.

Schritt 506 startet einen Schleifendurchgang, der für jeden Überlapp bzw. für jede Überlappung auf der bei Schritt 502 erzeugten Liste durchlaufen wird. Für den ersten Wiederhol­ schritt dieser Schleife wird das erste überlappende Paar von Bildfragmenten auf der Liste zur Verarbeitung ausge­ wählt. Bei Schritt 508 wird die Ausrichtung dieser zwei überlappenden Bildfragmente verbessert bzw. verfeinert, um eine mögliche, verbesserte Ausrichtung festzulegen. Dieser Ausrichtungsschritt wird nur bezüglich der zwei überlappen­ den Bildfragmente durchgeführt. Viele Techniken könnten zur Verbesserung der Ausrichtung von zwei überlappenden Bild­ fragmenten angewendet werden. Die von der bevorzugten Aus­ führungsform verwendeten Techniken werden unter Bezugnahme auf die Fig. 6-8 beschrieben.

Obwohl bei Schritt 508 eine verbesserte Ausrichtung be­ stimmt wird, wird diese verbesserte Ausrichtung nicht not­ wendigerweise auf die überlappenden Bildfragmente angewen­ det. Sobald Schritt 508 eine verbesserte Ausrichtung für ein überlappendes Bildfragmentpaar erzeugt hat, wird der Ausrichtungsfehler für diese verbesserte Ausrichtung bei Schritt 510 vorzugsweise gemäß der oben beschriebenen L1- Maßgröße berechnet. Der Gesamtausrichtungsfehler für all die Bildfragmentpaare, wie mit Hilfe der L1-Maßgröße gemes­ sen, wird dann bei Schritt 512 angepaßt, um die im Schritt 508 bestimmte verbesserte Ausrichtung wiederzugeben. Für den ersten Durchlauf durch diese Liste wird der verbesserte Ausrichtungswert einfach zu der Gesamtfehler-Maßgröße ad­ diert, die gerade zum ersten Mal erzeugt wird. Bei späteren Wiederholschritten werden die Ausrichtungen aller Überlapp- Paare berechnet und zueinander addiert. Nur für Überlappe, die von der verbesserten Ausrichtung betroffen sind, braucht man ihre Ausrichtungsfehler wieder zu berechnen.

Bei Schritt 514 überprüft das Verfahren der bevorzugten Ausführungsform, ob sich der Gesamtausrichtungsfehler ver­ bessert hat oder ob hierbei der erste Wiederholschritt bzw. die erste Iteration vorliegt, für den die Zunahme des Ge­ samtausrichtungsfehlers für unwesentlich zur Bestimmung des Ausführungs-Ablaufs erachtet wird bzw. der die Zunahme hierzu unwesentlich macht. Falls der Gesamtausrichtungs­ fehler durch die Verwendung dieser neuen Ausrichtung ver­ bessert wird oder falls dies in der Tat der erste Wieder­ holschritt bzw. die Iteration durch die Liste ist, geht die Ausführung des Programmes weiter zu Schritt 516, bei dem die bei Schritt 508 bestimmte verbesserte Ausrichtung durch Verschieben und Drehen bzw. Rotieren des zweiten Bildfrag­ mentes des Paares bestätigt wird. Falls hierbei nicht der erste Wiederholschritt durch die Liste vorliegt und der Gesamtausrichtungsfehler durch Verwendung dieser verbesser­ ten Ausrichtung erhöht wird, wird die bei Schritt 508 be­ stimmte verbesserte Ausrichtung nicht auf das Bildfragment­ paar angewendet und der Gesamtfehler dieser verbesserten Ausrichtung auf seinen vorherigen Zustand bei Schritt 518 zurückgesetzt.

Nach der Ausführung von Schritt 516 oder 518 wird die Ver­ arbeitung des ausgewählten Bildfragmentpaares für diesen Wiederholschritt durch die Liste von Paaren beendet. Bei Schritt 520 entscheidet die bevorzugte Ausführungsform, ob das letzte überlappende Paar auf der Liste gerade bearbei­ tet worden ist, was bedeutet, daß die Ausrichtung von jedem Paar auf der Liste verbessert worden ist. Falls weitere Paare auf dieser Liste übrigbleiben, geht die Ausführung weiter zu Schritt 506, bei dem die Verarbeitung des näch­ sten überlappenden Bildfragmentpaars beginnt.

Der nächste zu berücksichtigende Überlapp wird vorzugsweise der nächst größere Überlapp sein, der ein Fragment mit dem Bezugskoordinatensystem-Fragment bzw. mit dem Bezugsraster- Fragment gemeinsam hat, oder ein anderes Fragment, das zuvor ausgerichtet worden ist. Falls jedes solche Paar bereits ausgerichtet worden ist, können dann andere Paare aufgesucht werden. Diese Regeln legen nicht vollständig eine bestimmte Reihenfolge fest und jede Reihenfolge könnte innerhalb des Umfangs der Erfindung verwendet werden, ob­ wohl die Ergebnisse etwas in Abhängigkeit von der verwende­ ten Reihenfolge variieren können.

Falls das letzte überlappende Bildfragmentpaar auf der Liste gerade verarbeitet worden ist, geht die Ausführung statt dessen über zu Schritt 522, bei dem die bevorzugte Ausführungsform überprüft um herauszufinden, ob es über­ haupt irgendeine Verbesserung im Gesamtfehler in diesem Durchlauf durch die Liste gegeben hat. Falls festgestellt wird, daß der Gesamtfehler sich bei Schritt 522 verbessert hat, kehrt die bevorzugte Ausführungsform zu dem ersten Bildfragmentpaar auf der Liste bei Schritt 526 zurück und startet wiederum die Schleife, beginnend bei Schritt 506.

Falls festgestellt wird, daß sich der Gesamtfehler bei Schritt 522 nicht verbessert hat, wird die Optimierung bei Schritt 524 abgebrochen und aus den endgültigen Ausrichtun­ gen jedes Bildpaares wird ein vollständiges Bild geformt. Eine Anzahl von Techniken könnte verwendet werden, um die Pixelwerte des vollständigen Bildes in den Überlappberei­ chen zu bestimmen. In der bevorzugten Ausführungsform, bei der sich ausgerichtete Bildfragmente überlappen, werden die Pixelwerte für das vollständige Bild verwendet, die dem ersten eingescannten Fragment entsprechen.

Auf diese Weise beschreibt Fig. 5 ein Verfahren zur Opti­ mierung eines Gesamtausrichtungsfehlers durch aufeinander­ folgendes Verbessern bzw. Verfeinern der Ausrichtung von überlappenden Paaren von Bildern, während ständig der Ge­ samtausrichtungsfehler geregelt wird. Es sollte ersichtlich sein, daß viele Abänderungen des Verfahrens von Fig. 5 innerhalb des Bereiches der Erfindung möglich wären. Zum Beispiel könnte die Liste der überlappenden Paare gemäß einer Fehlerverteilung statt gemäß des Überlappbereiches geordnet werden. Eine feste Anzahl von Wiederholschritten könnte verwendet werden. Alternativ könnte der Optimie­ rungsprozeß so abgewandelt werden, daß gewisse verbesserte Ausrichtungen von überlappenden Bildfragmenten, die den Gesamtfehler erhöhen, gemäß simulierten Abkühlungstechniken (simulated annealing), wie in [Kirkpatrick83] beschrieben, akzeptiert werden könnten, deren Inhalt hiermit durch Be­ zugnahme in die Offenbarung der vorliegenden Erfindung mit aufgenommen ist.

Fig. 6A ist ein Flußdiagramm, das die Schritte des Aus­ richtens erster und zweiter überlappender Bildfragmente gemäß einer Ausführungsform der Erfindung beschreibt. Das Verfahren der Fig. 6A findet Anwendung als ein Schritt in der Ausrichtung mehrerer, überlappender Bildfragmente, wobei z. B. Schritt 508 der Fig. 5 durchgeführt wird. Das Verfahren der Fig. 6A kann jedoch auch in anderen Situatio­ nen verwendet werden, in denen zwei überlappende Bildfrag­ mente automatisch erfaßt werden sollen.

Bei Schritt 602 sucht die bevorzugte Ausführungsform nach sog. Kennzeichnungs- bzw. Interessenspunkten in dem ersten Bildfragment des Überlapps. Kennzeichnungs- bzw. Inter­ essenspunkte sind Pixel innerhalb eines Bildes, die in­ nerhalb von Bereichen liegen, die unverwechselbare Eigen­ schaften besitzen, die eine einfache Anpassung ermöglichen. Indem man sich nur auf die Anpassung bzw. Übereinstimmung von Gebieten um die Kennzeichnungspunkte konzentriert, wird die Verarbeitungszeit sehr stark reduziert. Viele Techniken zur Bestimmung bzw. Identifizierung von Kennzeichnungs­ punkten sind zusätzlich aus dem Stand der Technik bekannt. Ein Überblick über Techniken zur Bestimmung von Kennzeich­ nungspunkten kann man in [Yan88] finden, deren Inhalte hiermit zu Bezugszwecken beinhaltet seien. Die bevorzugte Technik zur Bestimmung eines Kennzeichnungspunktes wird unter Bezugnahme auf Fig. 7A und 7B beschrieben. Vorzugs­ weise werden zwei Kennzeichnungspunkte in dem ersten über­ lappenden Bildfragment bestimmt und weitere Verarbeitungs­ zentren um die identifizierenden Gebiete in dem zweiten Bildfragment, die zu Gebieten passen, die diese zwei Kenn­ zeichnungspunkte umgeben.

Bei Schritt 604 begrenzt die bevorzugte Ausführungsform den Bereich des zweiten Bildfragmentes, in dem nach Überein­ stimmungen bzw. Anpassungen gesucht wird, gemäß der durch den Benutzer bei Schritt 404 vorgenommenen Ausrichtung. Für jeden Kennzeichnungspunkt wird der Bereich möglicher Trans­ lationsverschiebungen auf einen vorher festgelegten Bereich eingeschränkt, der das Pixel in dem zweiten Bildfragment, das zu diesem Zeitpunkt an dem Kennzeichnungspunkt ausge­ richtet wird, umgibt.

Bei Schritt 606 beruht eine weitere Begrenzung bzw. Be­ schränkung des Suchbereiches auf einer Berechnung der mitt­ leren Pixelwerte von Bereichen, die die Kennzeichnungs­ punkte umgeben. Für jeden Kennzeichnungspunkt wird der mittlere Pixelwert eines Bereiches berechnet, der den Kenn­ zeichnungspunkt umgibt. Die Form des Bereiches wird so gewählt, daß eine Drehung des Bereiches relativ zu dem Bild unerheblich für die Berechnung des Mittelwertes ist. Der Bereich ist vorzugsweise ein Kreis, doch sind auch andere Formen einschließlich eines Kreisringes möglich.

Für jedes Pixel in dem überlappenden Bereich des zweiten Bildfragmentes berechnet die bevorzugte Ausführungsform den mittleren Pixelwert eines ähnlich großen Bereiches, der das Pixel umgibt. Dieser mittlere Pixelwert wird mit den mittleren Pixelwerten verglichen, die für die Kennzeichnungs­ punkte erhalten wurden. Für jeden Kennzeichnungspunkt wird das zweite Bildfragment als eine Grundlage für in Betracht kommende Anpassungen bzw. Kandidaten-Anpassungen für diesen Kennzeichnungspunkt zurückbehalten, falls der mittlere Pixelwert, der das zweite Bildfragmentpixel umgibt, in­ nerhalb eines vorbestimmten Toleranzbereiches (10% bei der bevorzugten Ausführungsform) des mittleren Pixelwertes liegt, der für den den Kennzeichnungspunkt umgebenden Be­ reich bestimmt wurde. Das Ergebnis von Schritt 606 ist für jeden Kennzeichnungspunkt eine Liste von Pixeln in dem zweiten Bildfragment, die als die Grundlage für in Betracht kommende Anpassungen dienen. Der Suchraum für in Betracht kommende Anpassungen wird so erheblich reduziert.

Um die Berechnung des Mittelwertes für aufeinanderfolgende kreisförmige Bereiche zu vereinfachen, wird ein fortlaufen­ der Mittelwert für die kreisförmigen Bereiche berechnet, wie in Fig. 6B gezeigt. Fig. 6B zeigt ein altes Fenster 614 oder einen kreisförmigen Bereich in dem zweiten Bildfrag­ ment, für das der mittlere Pixelwert bereits berechnet worden ist, und ein neues Fenster 616, für das der mittlere Pixelwert nicht berechnet worden ist. Ein hinterer halb­ mondförmiger Bereich 618 liegt innerhalb des alten Fensters 614, aber nicht innerhalb des neuen Fensters 616. Ein vor­ derer halbmondförmiger Bereich 620 liegt innerhalb des neuen Fensters 616, aber nicht innerhalb des alten Fensters 614.

Der Mittelwert für das neue Fenster kann wie folgt berech­ net werden:

wobei N die Anzahl von Pixeln in dem Bereich oder Fenster ist, µ der Mittelwert ist und F und R den vorderen halb­ mondförmigen Bereich 620 bzw. den hinteren halbmondförmigen Bereich 618 darstellen. Auf diese Weise brauchen nur die Pixelsummen der vorderen und hinteren halbmondförmigen Bereiche berechnet zu werden.

Bei Schritt 608 werden die übrigbleibenden, möglicherweise in Betracht kommenden Anpassungen für jeden Kennzeichnungs­ punkt gesucht, um die beste Ausrichtung zu finden. Jede in Betracht kommende Anpassung stellt eine Kombination aus einer Rotations- bzw. Drehausrichtung und einer Transla­ tions- bzw. Verschiebungsausrichtung zwischen zwei überlap­ penden Bildfragmenten dar. Jedes Pixel, das in der bei Schritt 606 erzeugten Liste enthalten ist, stellt eine mögliche Translationsausrichtung dar, nämlich die Ausrich­ tung des Pixels in dem zweiten Bildfragment an dem Kenn­ zeichnungspunkt in dem ersten Bildfragment. Nach Rotations­ ausrichtungen wird vorzugsweise innerhalb von 10 Grad in beiden Richtungen, ausgehend von der augenblicklichen Rota­ tionsausrichtung, wie von dem Benutzer festgelegt, in Schritten von einem Grad gesucht.

Die Suche des Schrittes 608 erfolgt entsprechend den Vorga­ ben, des sogenannten Sequential Similarity Detection Algo­ rithm bzw. sequentieller Ähnlichkeitsfeststell-Algorithmus (SSDA), wie in [Barnea72] beschrieben. Die Suche nach An­ passungen wird getrennt für jeden Kennzeichnungspunkt durchgeführt. Für jede zu überprüfende Ausrichtung wird vorzugsweise die L1-Maßgröße verwendet, um den Ausrich­ tungsfehler zwischen einem Vermessungs-Bereich ("template"- Bereich), der den Kennzeichnungspunkt umgibt, und den ent­ sprechenden Bereich ähnlicher Form und Größe in dem zweiten Bildfragment zu messen. Der Vermessungs-Bereich besitzt vorzugsweise einen Durchmesser von 16 Pixel. Wie weiter oben beschrieben, wird die L1-Maßgröße als eine Summe über viele Pixel berechnet. Gemäß den SSDA-Techniken wird diese Summe überwacht und, falls ein Schwellenwert überschritten wird, wird die Berechnung für diese Ausrichtung abgebro­ chen, gestützt auf die Annahme, daß die Ausrichtung keine Verbesserung darstellen kann. Vorzugsweise bleibt dieser Schwellenwert fest und entspricht einem Maximalfehler von 15% der Pixel des Bereiches, die nicht mit den anderen Pixeln identisch sind. Alternativ kann eine Schwellenwert­ kurve einer Fehlerzunahme verwendet werden oder ein Schwel­ lenwert, der sich in Antwort auf zuvor gemessene Ausrich­ tungsfehler ändert
Viele Abänderungen dieser Suchtechnik könnten innerhalb des Bereiches der Erfindung angewendet werden. Zum Beispiel könnte eine Kreuzkorrelations-Maßgröße anstelle der L1- Maßgröße verwendet werden, obwohl dies deutlich die Ver­ arbeitung verlangsamen würde. Man beachte, daß die Maß­ größe, die zum Suchen verwendet wird, nicht dieselbe Maß­ größe zu sein braucht, die zum Messen des Ausrichtungs­ fehlers über den gesamten Überlappbereich oder des Gesamt­ ausrichtungsfehlers über viele Bildfragmente, wie unter Bezugnahme auf Fig. 5 beschrieben, verwendet wird. Auch könnte der Vermessungs-Bereich ein spärliches Fenster sein, insbesondere ein Bereich, der den Kennzeichnungspunkt umgibt, wobei einige Pixel ausgelassen wurden, um die Be­ rechnungen des Ausrichtungsfehlers zu beschleunigen.

Das Ergebnis der Suche von Schritt 608 ist eine Liste, für jeden Kennzeichnungspunkt von in Betracht kommenden Trans­ lationsanpassungen an diesen Kennzeichnungspunkt, die Aus­ richtungsfehler besitzen, die unter einen Schwellenwert fallen. Typischerweise wird es pro Liste drei oder vier Ausrichtungen geben. Obwohl sowohl Rotation als auch Trans­ lation bzw. Verschiebung variiert wird, um diese Ausrich­ tungen zu finden, werden nur die Translationskomponenten dieser Ausrichtungen gespeichert. Wie unter Bezugnahme auf Fig. 8 erläutert wird, wird die Rotationskomponente der verbesserten Ausrichtung auf eine andere Art abgeleitet. Die Translationskomponente jeder Ausrichtung an einen Kenn­ zeichnungspunkt kann als der Ort des Pixels des zweiten Bildfragmentes dargestellt werden, das mit dem Kennzeich­ nungspunkt ausgerichtet ist.

Bei Schritt 610 wird eine einzelne, verbesserte Ausrichtung aus den in Betracht kommenden Ausrichtungen, die bei Schritt 608 bestimmt wurden, ausgewählt. Gemäß der bevor­ zugten Ausführungsform der Erfindung wird die Ausrichtung ausgewählt, indem nach Gruppen von Ausrichtungen, eine Ausrichtung für jeden Kennzeichnungspunkt, gesucht wird, deren Translationskomponenten die gleichen geometrischen Beziehungen besitzen, wie die Kennzeichnungspunkte selbst. Dieses geometrische Anpassungsverfahren wird unter Bezug­ nahme auf Fig. 8 beschrieben. Für den Fall der Mehrfach­ bildfragment-Anpassung wird diese verbesserte bzw. verfei­ nerte Ausrichtung, auf die bei Bezugnahme auf Schritt 508 Bezug genommen wird, zur verbesserten Ausrichtung. Wenn nur zwei Bildfragmente ausgerichtet werden sollen, kann die verbesserte Ausrichtung unmittelbar angewendet werden, indem eines oder beide der Fragmente entsprechend verscho­ ben werden. Bei Schritt 612 wird der Vorgang des Auffindens einer verbesserten Ausrichtung für zwei Bildfragmente abge­ brochen,

Fig. 7A ist ein Flußdiagramm, das die Schritte des Auf­ findens von Kennzeichnungspunkten in dem ersten überlappen­ den Bildfragment gemäß einer Ausführungsform der Erfindung beschreibt. Die Schritte des Flußdiagramms aus Fig. 7A stellen eine bei Aufruf des Schritts 602 aus Fig. 6A zu durchlaufende Schrittfolge dar. Bei Schritt 702 unterteilt die bevorzugte Ausführungsform einen Überlappbereich des ersten Bildfragmentes in ein Gitter von Zellen. Bei Schritt 704 wird auf jedes Pixel ein Varianzoperator angewendet, um für Anpassungszwecke einen numerischen Index bzw. Wert des Kennzeichnungs- bzw. Interessenspegels des Pixels zu be­ kommen. In der bevorzugten Ausführungsform ist der angewen­ dete Varianzoperator ein Moravec-Operator, der gemäß der Erfindung verbessert wurde. Der verbesserte Moravec-Opera­ tor der Erfindung wird unter Bezugnahme auf Fig. 7B be­ schrieben. Viele geeignete Varianz-Operatoren könnten in­ nerhalb des Bereiches der Erfindung angewendet werden. Ein Überblick über Varianz-Operatoren, einschließlich des Mora­ vec-Operatores des Standes der Technik, kann in [Yan88] gefunden werden.

Bei Schritt 706 werden die Pixel, deren Kennzeichnungspegel nicht einen vorbestimmten Schwellenwert überschreiten, als mögliche in Betracht kommende Kennzeichnungspunkte zurück­ gewiesen. Bei Schritt 708 werden die in Betracht kommenden Kennzeichnungspunkte weiter dadurch reduziert, indem jede Gitterzelle auf einen einzelnen Kennzeichnungspunkt be­ schränkt wird. Auf diese Weise enthält jede Gitterzelle entweder einen oder keinen Kennzeichnungspunkt. Anschlie­ ßend wird bei Schritt 710 ein erster Kennzeichnungspunkt aus den Kandidaten ausgewählt, der der in Betracht kommende Kennzeichnungspunkt mit dem höchsten Kennzeichnungspegel, wie im Schritt 704 bestimmt, sein soll. Bei Schritt 712 wird ein zweiter Kennzeichnungspunkt ausgewählt, der der in Betracht kommende Kennzeichnungspunkt sein soll, der am weitesten entfernt von dem ersten Kennzeichnungspunkt ist. Bei Schritt 714 wird der Vorgang der Kennzeichnungspunkt- Bestimmung abgebrochen.

Fig. 7B ist ein Flußdiagramm, das die Schritte des Anwen­ dens eines modifizierten Moravec-Varianzoperators auf ein bestimmtes Pixel des ersten überlappenden Bildfragments gemäß einer Ausführungsform der Erfindung beschreibt. Die in Fig. 7B dargestellten Schritte stellen nur eine Moment­ aufnahme des Schrittes 704 aus Fig. 7A dar.

Fig. 7C zeigt die Pixel, die bevorzugt verwendet werden, um den modifizierten Moravec-Operator zu bestimmen. Orthogona­ le Achsen 750 schneiden sich bei einem ausgewählten Pixel 752, dessen modifizierter Moravec-Varianzoperator berechnet werden soll. Ein erster Satz von vier Pixeln 754 befindet sich r-Pixel entfernt vom ausgewählten Pixel 752 entlang den orthogonalen Achsen, wobei 3r den Radius des Vermes­ sungs-Bereiches darstellt, der im Schritt 608 verwendet wird. Ein zweiter Satz von vier Pixeln 756 ist 2r Pixel entfernt vom ausgewählten Pixel 752. Ein dritter von Pixeln 758 ist 3r Pixel entfernt vom ausgewählten Pixel 752.

Bei Schritt 716 findet die bevorzugte Ausführungsform die Varianz der Pixelwerte der Pixel 754. Bei Schritt 718 fin­ det die bevorzugte Ausführungsform die Varianz der Pixel­ werte der Pixel 756. Bei Schritt 720 findet die bevorzugte Ausführungsform die Pixelwerte der Pixel 758. Bei Schritt 722 wird der modifizierte Moravec-Varianzoperator berech­ net, der der Mittelwert dieser drei Varianzen sein soll. Der Vorgang der Varianzoperatorberechnung wird bei Schritt 724 abgebrochen. Natürlich könnten innerhalb des Bereiches der Erfindung eine andere Anzahl von Varianzen berechnet und zusammengemittelt werden.

Fig. 8 ist ein Flußdiagramm, das die Schritte des Anwendens geometrischer Beziehungen auf eine Liste von in Betracht kommenden Kennzeichnungspunkt-Anpassungen eines ersten Bildfragmentes an Pixeln eines zweiten Bildfragmentes be­ schreibt, um eine verbesserte Ausrichtung zwischen den ersten und zweiten Bildfragmenten gemäß einer Ausführungs­ form der Erfindung zu bestimmen. Die Schritte des Flußdia­ gramms von Fig. 8 stellen die bei Aufruf von Schritt 610 aus Fig. 6A zu durchlaufenden Schritte dar.

Bei Schritt 802 bestimmt die bevorzugte Ausführungsform den Euklid-Abstand in Pixelbreiten zwischen den Kennzeichnungs­ punkten auf eine Genauigkeit von +/- 0,1 Pixel. Der eukli­ dische Abstand D zwischen Vektoren (x₁, x₂ . . . , x_n) und (y₁, y₂, . . . , y_n) ist über sein Quadrat D² wie folgt definiert:

Bei Schritt 804 bestimmt die bevorzugte Ausführungsform den Euklid-Abstand in dem zweiten Bildfragment für jede mögli­ che Paarung eines Pixels, das eine in Betracht kommende Translationsanpassung bzw. Kandidat-Translationsanpassung an den ersten Kennzeichnungspunkt darstellt, und eines Pixels, das eine in Betracht kommende Translationsanpassung an den zweiten Kennzeichnungspunkt darstellt, wobei nach Pixelpaaren gesucht wird, die Euklid-Abstände besitzen, die bis auf +/- 1,1 Pixelbreiten gleich dem Euklid-Abstand zwischen Kennzeichnungspunkten sind.

Das Paar oder die Paare von in Betracht kommenden Trans­ lationsanpassungen, das bzw. die dieses Euklid-Abstands­ kriterium erfüllt bzw. erfüllen, werden dann verwendet, um die verbesserte Ausrichtung zwischen den zwei Bildfragmen­ ten zu bestimmen. Schritt 806 entscheidet, ob es mehr als ein Paar von Pixeln gibt, das das Euklid-Abstandskriterium erfüllt. Falls es nur ein Paar von Pixeln gibt, das das Kriterium erfüllt, geht die Programmausführung direkt über zum Schritt 808. Falls es mehr als eine Pixel-Paarung gibt, die das Kriterium erfüllt, verwendet Schritt 810 die Schwerpunkte für die übrigbleibenden Pixel, die dem ersten Kennzeichnungspunkt entsprechen, und die übrigbleibenden Pixel, die dem zweiten Kennzeichnungspunkt entsprechen. Die Pixel des resultierenden Schwerpunktpaares dienen dann als in Betracht kommende Translationsanpassungen an die ersten und zweiten Kennzeichnungspunkte.

Bei Schritt 808 wird die verbesserte Ausrichtung gemäß dem in Betracht kommenden Translationsanpassungspaar erzeugt. Ein Fachmann wird dafür Verständnis haben, daß das Pixel selbst, das die übrigbleibende in Betracht kommende Trans­ lationsanpassung an den ersten Kennzeichnungspunkt dar­ stellt, die Translationskomponente der verbesserten Aus­ richtung zwischen den ersten und zweiten Bildfragmenten bestimmt. Die Rotationskomponente wird anschließend be­ stimmt, indem ein Winkel zwischen einer imaginären Linie, die die ersten und zweiten Kennzeichnungspunkte in dem ersten Bildfragment mit einer imaginären Linie zwischen den Pixeln verbindet, die das übrigbleibende Paar von in Be­ tracht kommenden Translationsanpassungen darstellt, be­ rechnet wird. Der geometrische Anpassungsvorgang wird an­ schließend bei Schritt 812 abgebrochen,

Fig. 9-11 zeigen, wie die Erfindung auf das Kopieren einer Zeitungsseite angewendet werden kann. Fig. 9 zeigt ein überlappendes, eingescanntes Bild einer Zeitungsseite. Vier Bildfragmente 902, 904, 906 und 908 mit einer Größe von 8 × 10 Inches bzw. 20,3 × 25,4 cm wurden mit Hilfe eines Desktop-Scanners, wie z. B. Scanner 302, eingelesen. Jede dieser Bildabtastungen wurde so angefertigt, daß ein Überlapp zwischen benachbarten Bildabtastungen von minde­ stens 25% bestand. Die Bilder wurden mit einer Auflösung von 100 dpi erfaßt. Fig. 9 zeigt Bildfragmente 902, 904, 906 und 908, wie nach einer ersten Ausrichtung durch den Benutzer dargestellt. Die Pfeile 910 und 912 zeigen auf Bereiche von Fehlerfassung zwischen zwei der überlappenden Fragmente,

Fig. 10 zeigt Bildfragmente 902, 904, 906 und 908, wie gemäß einer Ausführungsform der Erfindung ausgerichtet. Die Verarbeitungszeit zum Ausrichten der vier Fragmente betrug etwa 45 bis 50 Sekunden, wobei eine Sun Sparc 10 Worksta­ tion mit 50 MIPS und einem Hauptspeicher von 50 Megabyte verwendet wurde. Etwa 30% dieser Zeit wird damit verbracht, die Fragmente an ihre Plätze zu rotieren und zu verschie­ ben. Die Verarbeitungszeit für den gleichen Satz von Bild­ fragmenten kann um bis zu 5% variieren, in Abhängigkeit von der anfänglichen Plazierung durch den Benutzer. Es wurde gemessen, daß die Ausrichtung bis auf ein Pixel in den vertikalen und horizontalen Richtungen und bis auf einen Rotations- bzw. Drehwinkel von 0,1 Grad genau ist.

Die Fig. 11A bis 11J zeigen, wie zwei Bildfragmente gemäß einer Ausführungsform der Erfindung aneinander ausgerichtet werden. Fig. 11A zeigt Bildfragment 902 der in Fig. 9 abge­ bildeten Zeitungsseite. Fig. 11B zeigt Bildfragment 904 der in Fig. 9 abgebildeten Zeitungsseite. Die Ausrichtung der Bildfragmente 902 und 904 soll gemäß der Erfindung als ein Schritt der Verbesserung aller vier Bildfragmente verbes­ sert werden,

Fig. 11C zeigt einen überlappenden Abschnitt von Bildfrag­ ment 902, über das ein Gitter 1102 gelegt wurde, um Kenn­ zeichnungspunkte aufzufinden, wie im Zusammenhang mit Fig. 7B beschrieben. Jede Zelle des Gitters 1102 besitzt einen in Betracht kommenden Kennzeichnungspunkt 1104 oder keinen in Betracht kommenden Kennzeichnungspunkt. Ein erster aus­ gewählter Kennzeichnungspunkt 1106 ist der in Betracht kommende mit dem höchsten Kennzeichnungspegel. Ein zweiter ausgewählter Kennzeichnungspunkt 1108 ist der in Betracht kommende Kennzeichnungspunkt, der am weitesten entfernt von dem ersten ausgewählten Kennzeichnungspunkt 1106 ist,

Fig. 11D stellt einen Vermessungs-Bereich 1110 dar, der den ersten Kennzeichnungspunkt 1106 in Bildfragment 902 umgibt, Fig. 11E zeigt einen Vermessungs-Bereich 1112, der den zweiten Kennzeichnungspunkt 1108 in Bildfragment 902 um­ gibt. Diese stellen die Vermessungs-Bereiche dar, nach denen in dem zweiten Bildfragment 904 gesucht werden soll.

Wie unter Bezugnahme auf Fig. 6A diskutiert wurde, wird für jeden Kennzeichnungspunkt der Anpassungssuchbereich in dem zweiten Bildfragment zunächst auf einen Bereich einge­ schränkt, der das Pixel des zweiten Bildfragmentes umgibt, das zu diesem Zeitpunkt an dem Kennzeichnungspunkt ausge­ richtet ist. Fig. 11F zeigt einen verkleinerten Suchbereich 1114 des zweiten Bildfragmentes, der dazu verwendet werden wird, um den ersten Kennzeichnungspunkt 1106 anzupassen, Fig. 11G zeigt einen verkleinerten Suchbereich 1116 des zweiten Bildfragmentes, der dazu verwendet werden wird, um den zweiten Kennzeichnungspunkt 1108 anzupassen.

Wie weiter unter Bezugnahme auf Fig. 6A diskutiert wurde, besteht der nächste Schritt des Einschränkens des Such­ bereiches darin, die Mittelwerte der Vermessungs-Bereiche, die die Kennzeichnungspunkte umgeben, zu bestimmen und Bereiche des zweiten Bildfragmentes auszuschließen, die davon verschiedene Mittelwerte besitzen. Fig. 11H zeigt einen verkleinerten Suchbereich 1114, wobei die Pixel unter den Konkurierenden als in Betracht kommende Ausrichtungen an dem ersten Kennzeichnungspunkt 1106 ausgeschlossen wur­ den, die schwarz markiert sind. Fig. 11I zeigt einen ver­ kleinerten Suchbereich 1116, wobei unter den Konkurierenden die Pixel als in Betracht kommende Ausrichtungen an dem zweiten Kennzeichnungspunkt 1108 ausgeschlossen wurden, die schwarz markiert sind,

Fig. 11J zeigt einen überlappenden Teil des Bildfragmentes 904, der mit in Betracht kommenden Ausrichtungen bzw. Kan­ didaten-Ausrichtungen an jedem Kennzeichnungspunkt versehen ist, wie sie bei einer Suche gemäß einer bevorzugten Aus­ führungsform der Erfindung erzeugt werden. Der erste Kenn­ zeichnungspunkt 1106 besitzt in Betracht kommende Ausrich­ tungen 1118 und 1120. Der zweite Kennzeichnungspunkt 1108 besitzt in Betracht kommende Ausrichtung 1126. Sobald die geometrische Suche von Fig. 8 ausgeführt worden ist, werden nur die Ausrichtungen 1120 und 1126 übrigbleiben, weil der Euklid-Abstand zwischen diesen im wesentlichen gleich ist zu dem Euklid-Abstand zwischen Kennzeichnungspunkten 1106 und 1108. Diese Ausrichtungen werden dann die Kandidaten- Ausrichtungen zu den Kennzeichnungspunkte und zu der Grund­ lage zur Bestimmung der verbesserten Ausrichtung zwischen Bildfragmenten 902 und 904.

In der vorangegangenen Beschreibung wurde die Erfindung im Zusammenhang mit einer für sie spezifischen, beispielhaften Ausführungsform beschrieben. Es wird jedoch ersichtlich sein, daß von ihr zahlreiche Modifikationen und Abänderun­ gen vorgenommen werden können, ohne von dem breiteren Schutzbereich und der Idee der Erfindung abzuweichen, wie er in den beiliegenden Patentansprüchen niedergelegt wird.

Zum Beispiel können zahlreiche Programmiersprachen und -techniken verwendet werden, um die offenbarte Erfindung auszuführen. Auch kann die spezifische Logik, die darge­ stellt wurde, um Aufgaben gemäß der Erfindung zu erfüllen, abgeändert werden, ohne von dem Bereich der Erfindung ab­ zuweichen.

Außerdem dienen die hierin beschriebenen Flußdiagramme lediglich zur Illustration der breiten, logischen Abfolge von Schritten, um ein Verfahren der Erfindung umzusetzen, und es können Schritte zu dem Flußdiagramm hinzugefügt oder von ihm weggenommen werden, ohne den Bereich der Erfindung zu verlassen. Außerdem kann die Ausführungsreihenfolge der Schritte in den Flußdiagrammen abgeändert werden, ohne den Bereich der Erfindung zu verlassen. Zusätzliche Überlegun­ gen, um die von dem Flußdiagramm beschriebene Methode um­ zusetzen, können Veränderungen in der Auswahl und in der Reihenfolge der Schritte bedingen.

Im allgemeinen schließen die Flußdiagramme in dieser Be­ schreibung einen oder mehrere Schritte ein, die von Soft­ ware-Routinen durchgeführt werden, die in einem Computer­ system ausgeführt werden. Die Routinen können auch durch jede andere Einrichtung umgesetzt werden, wie sie aus dem Stand der Technik bekannt ist. Zum Beispiel kann jede be­ liebige Computer-Programmiersprache, wie z. B. "C", Pascal, FORTRAN, Essembler, etc. verwendet werden. Außerdem können verschiedene Programmieransätze, wie z. B. verfahrens- oder objektorientierte Ansätze oder Techniken der künstlichen Intelligenz angewendet werden.

Die Schritte der Flußdiagramme können durch eine oder meh­ rere Software-Routinen, Prozesse, Subroutinen, Module etc. umgesetzt werden. Einige Überlegungen, wie z. B. im Zusam­ menhang mit Interrupts, Geräteabfragen oder anderen Umset­ zungsschemata, können die Reihenfolge der Schritte, die durch die Software durchgeführt werden, beeinflussen. Eine Multiprozessor- oder Multitasking-Arbeitsumgebung könnte Schritte ermöglichen, die zugleich ausgeführt werden.

Viele solche Abänderungen oder Modifikationen werden einem mit diesem Gebiet betrauten Fachmann leicht ersichtlich sein. Die Beschreibung und die Zeichnungen sollen folglich mehr in einer beispielhaften als in einer einschränkenden Weise betrachtet werden, wobei die Erfindung nur durch die bereitgestellten Patentansprüche begrenzt ist.

Der im Anhang befindliche Quelltext auf Mikrofiche bzw. in Kopie beinhaltet einen C-Kode, um eine Ausführungsform der Erfindung umzusetzen. Wenn er kompiliert und an Standard- Bibliotheken angebunden wird, wird er z. B. auf einer Sun Sparc 10 Workstation laufen, die von Sun Microsystems in Mountain View, Kalifornien, erhältlich ist.

Zusammenfassend betrifft die Erfindung ein Verfahren und eine Vorrichtung zum Ausrichten von mehr als zwei Fragmen­ ten eines Bildes, um das Bild zusammenzufügen, wobei eine hohe Ausrichtungsqualität zwischen jedem Paar überlappender Bildfragmente gewährleistet wird. Außerdem wird ein System und ein Computerspeichermedium, das zur Ausführung dieses Verfahrens dient, offenbart. Bildausrichtungen werden sehr schnell durchgeführt. Die offenbarte Methode und die Vor­ richtung findet Anwendung z. B. beim Einscannen, Kopieren und bei der Faksimileübermittlung von großformatigen Doku­ menten.

Literaturhinweise

[Barnea72] D.I. Barnea und H.F. Silverman, "A Class of Algorithms for Fast Digital Image Registra­ tion". IEEE Trans. on Computers, Band C-21, 1972, Seiten 179-186.

[Kirkpatrick83] S. Kirkpatrick, C. Gelatt, M.P. Vecchi, "Optimization by Simulated Annealing", Science, Band 220, Nr. 4598, Seiten 671-680, Mai 1983.

[Yan88] Lu Yan, "Interest Operator and Fast Imple­ mentation", PR438.

Claims (53)

1. Vorrichtung in einem digitalen Bildausrichtungssystem zum optimalen Zusammenfügen von mehr als zwei sich überlappenden Bildfragmenten eines vollständigen Bildes, um das vollstän­ dige Bild wiederherzustellen, mit
einer Einrichtung zum Messen eines Ausrichtungsfehlers unter mindestens zwei sich überlappenden der mehr als zwei Bildfragmente gemäß einer ersten, vorbestimmten Maßgröße,
einer Einrichtung zum Verbessern einer Ausrichtung zwi­ schen zwei ausgewählten, sich überlappenden Bildfragmenten der zwei oder mehreren Bildfragmente, um einen Ausrichtungs­ fehler zwischen den zwei ausgewählten, sich überlappenden Bildfragmenten zu reduzieren,
einer Einrichtung, die mit der Meßeinrichtung zusammen­ arbeitet, um einen Gesamtausrichtungsfehler zwischen jedem möglichen, sich überlappenden Paar der mehr als zwei Bild­ fragmente gemäß der vorbestimmten Maßgröße aufzusummieren, und
einer Gesamt-Optimierungseinrichtung, die mit der Aufsummier- bzw. Akkumulier-Einrichtung und der Verbesse­ rungseinrichtung zusammenarbeitet, zur wiederholten Anwen­ dung der Verbesserungseinrichtung aufaufeinanderfolgende Paare der sich überlappenden Bildfragmente, um den Gesamt­ ausrichtungsfehler zu optimieren.

2. Vorrichtung nach Anspruch 1, bei der die erste vorbe­ stimmte Maßgröße eine L1-Norm ist.

3. Vorrichtung nach Anspruch 1, bei der die erste, vorbe­ stimmte Maßgröße ein Kreuzkorrelations-Wert ist.

4. Vorrichtung nach Anspruch 1, bei der die Gesamt-Optimie­ rungseinrichtung eine Einrichtung zur wiederholten Anwendung der Verbesserungseinrichtung auf jedes sich überlappende Paar der Bildfragmente umfaßt, solange bis der Gesamtaus­ richtungsfehler, wie von der Aufsummier- bzw. Akkumulier- Einrichtung gemessen, aufhört sich zu verbessern.

5. Vorrichtung nach Anspruch 1, bei der die Verbesserungs­ einrichtung eine Einrichtung umfaßt, um eine Anzahl von Kennzeichnungspunkten in einem Überlappbereich innerhalb eines ersten der genau zwei Bildfragmente zu bestimmen bzw. zu erkennen, die zu einem Bereich eines zweiten der genau zwei Bildfragmente passen sollen.

6. Vorrichtung nach Anspruch 5, bei der die Einrichtung zur Bestimmung von Kennzeichnungspunkten eine Einrichtung zum Anwenden eines Varianzoperators auf Pixel des Überlappbe­ reichs innerhalb des ersten Bildfragments umfaßt.

7. Vorrichtung nach Anspruch 5, bei der die Vorrichtung zur Bestimmung von Kennzeichnungspunkten umfaßt:

• 1) eine Einrichtung, um ein Gitter von Zellen über den Überlappbereich innerhalb des ersten Bildfragments zu legen,
• 2) eine Einrichtung zum Anwenden eines Varianzoperators für jedes Pixel in dem Überlappbereich innerhalb des ersten Bildfragments, um Pixel zu bestimmen, für die ein Kennzeichnungspegel einen vorbestimmten Schwellen­ wert überschreitet,
• 3) eine Einrichtung, um als mögliche Kennzeichnungspunkte Pixel auszuwählen, die den höchsten Kennzeichnungspegel in jeder solchen Zelle aufweisen, die ein Pixel bein­ haltet, für das der Kennzeichnungspegel einen vorbe­ stimmten Schwellenwert überschreitet,
• 4) eine Einrichtung, um als einen ersten Kennzeichnungs­ punkt einen der möglichen Kennzeichnungspunkte aus zu­ wählen, der den höchsten Kennzeichnungspegel besitzt, und
• 5) eine Einrichtung, um als einen zweiten Kennzeichnungs­ punkt einen der möglichen Kennzeichnungspunkte aus zu­ wählen, der am weitesten entfernt von dem ersten Kenn­ zeichnungspunkt ist.

8. Vorrichtung nach Anspruch 5, bei der die Verbesserungs­ einrichtung zusätzlich eine Einrichtung umfaßt, um für jeden der Anzahl von Kennzeichnungspunkten einen Ausrichtungsfehler aus einer Anzahl von möglichen Ausrichtungen von Berei­ chen des zweiten Bildfragments an einem Bereich, der den Kennzeichnungspunkt umgibt, gemäß einer zweiten, vorbestimm­ ten Maßgröße zu messen.

9. Vorrichtung nach Anspruch 8, bei der die zweite, vorbe­ stimmte Maßgröße die gleiche ist wie die erste, vorbestimmte Maßgröße.

10. Vorrichtung nach Anspruch 8, bei der die erste, vorbe­ stimmte Maßgröße verschieden ist von der zweiten, vorbe­ stimmten Maßgröße.

11. Vorrichtung nach Anspruch 8, bei der die Verbesserungs­ einrichtung einen Ausrichtungsfehler von jeder möglichen Ausrichtung auf einer Pixel-zu-Pixel-Grundlage mißt und zu­ sätzlich eine Einrichtung zum Beenden einer Messung einer bestimmten Ausrichtung umfaßt, wenn ein Ausrichtungsfehler einen Schwellenwert überschreitet.

12. Vorrichtung nach Anspruch 8, bei der die Verbesserungs­ einrichtung zusätzlich eine Einrichtung umfaßt, um für jeden Kennzeichnungspunkt als eine Gruppe von in Betracht kommen­ den Translations-Anpassungen bzw. Kandidat-Translations-An­ passungen solche aus der Anzahl von möglichen Ausrichtungen auszuwählen, die den niedrigsten gemessenen Ausrichtungsfehler besitzen, um für jeden Kennzeichnungspunkt eine Gruppe von in Betracht kommenden Translations-Anpassungen zu erhal­ ten.

13. Vorrichtung nach Anspruch 12, bei der die Verbesserungs­ einrichtung zusätzlich eine Einrichtung zum Vergleichen in Betracht kommender Translations-Anpassungen zwischen den Gruppen umfaßt, um einen oder mehrere Sätze in Betracht kom­ mender Translations-Anpassungen auszuwählen, wobei jeder Satz eine in Betracht kommende Translations-Anpassung von jeder Gruppe enthält und jeder des einen oder der mehreren Sätze geometrische Beziehungen dazwischen besitzt, die im wesentlichen ähnlich zu den geometrischen Beziehungen zwi­ schen der Anzahl von Kennzeichnungspunkten ist.

14. Vorrichtung nach Anspruch 13, bei der die Verbesserungs­ einrichtung zusätzlich eine Einrichtung umfaßt, um einen Satz von Schwerpunkten von Pixeln, der zu dem mehr als einen Satz in Betracht kommender Translations-Anpassungen gehört, in die verbesserte Ausrichtung zu überführen, falls mehr als ein Satz in Betracht kommender Translations-Anpassungen aus­ gewählt wird, und, falls nur ein Satz in Betracht kommender Translations-Anpassungen existiert, um den einen Satz in Be­ tracht kommender Translations-Anpassungen in die verbesserte Ausrichtung zu überführen.

15. Vorrichtung nach Anspruch 8, bei der die Verbesserungs­ einrichtung zusätzlich umfaßt:

• 1) eine Einrichtung, um mittlere Pixelwerte für Bereiche des ersten Bildes zu bestimmen, die jede der Anzahl von Kennzeichnungspunkten umgeben, wobei die Bereiche For­ men besitzen, die gewählt wurden, so daß ihre mittleren Pixelwerte unabhängig von einer Rotationsausrichtung an dem ersten Bild sind, und
• 2) eine Einrichtung, um innerhalb der Anzahl von ausge­ wählten Ausrichtungen für jeden Kennzeichnungspunkt nur Ausrichtungen einzubeziehen, für die mittlere Pixelwer­ te von Bereichen des zweiten Bildes, die an dem Kenn­ zeichnungspunkt ausgerichtet sind, im wesentlichen ähn­ liche mittlere Pixelwerte besitzen, wie der mittlere Pixelwert des Bereiches, der den Kennzeichnungspunkt umgibt.

16. Vorrichtung in einem digitalen Bild-Ausrichtungssystem zum Ausrichten eines ersten Fragments eines Bildes an einem zweiten Fragment eines Bildes, mit:
einer Einrichtung, um eine Anzahl von Kennzeichnungs­ punkten in einem Überlappbereich innerhalb eines ersten Bildfragments zu bestimmen, die zu einem Bereich des zweiten Bildfragments passen sollen,
einer Einrichtung, um einen mittleren Pixelwert für Bereiche des ersten Bildes zu erhalten, die jede der Anzahl von Kennzeichnungspunkten umgibt, wobei die Bereiche Formen besitzen, die ausgewählt wurden, so daß ihre mittleren Pixelwerte unabhängig von einer Rotationsausrichtung an dem ersten Bildfragment sind,
einer Einrichtung, um innerhalb einer Anzahl von ausge­ wählten Ausrichtungen für jeden Kennzeichnungspunkt nur Aus­ richtungen einzubeziehen, für die mittlere Pixelwerte von Bereichen des zweiten Bildes, die an dem Kennzeichnungspunkt ausgerichtet sind, im wesentlichen vergleichbare mittlere Pixelwerte besitzen, wie die Region, die den Kennzeichnungs­ punkt umgibt, und
einer Einrichtung, um für jeden der Anzahl von Kenn­ zeichnungspunkten einen Ausrichtungsfehler aus der Anzahl von möglichen Ausrichtungen von Bereichen des zweiten Bild­ fragments an einem Bereich, der den Kennzeichnungspunkt um­ gibt, gemäß einer vorbestimmten Maßgröße zu bestimmen.

17. Vorrichtung nach Anspruch 16, bei der die vorbestimmte Maßgröße ein L1-Wert ist.

18. Vorrichtung nach Anspruch 16, bei der die vorbestimmte Maßgröße ein Kreuzkorrelations-Wert ist.

19. Vorrichtung nach Anspruch 16, bei der die Einrichtung zur Messung des Ausrichtungsfehlers einen Ausrichtungsfehler für jede mögliche Ausrichtung auf einer Pixel-zu-Pixel- Grundlage mißt und zusätzlich eine Einrichtung umfaßt, um die Messung einer bestimmten Ausrichtung zu beenden, wenn ein Ausrichtungsfehler einen Schwellenwert überschreitet.

20. Vorrichtung nach Anspruch 16, die zusätzlich eine Ein­ richtung umfaßt, um für jeden Kennzeichnungspunkt als eine Gruppe in Betracht kommender Translations-Anpassungen die Ausrichtungen aus einer Anzahl möglicher Ausrichtungen aus­ zuwählen, die den niedrigsten gemessenen Ausrichtungsfehler besitzen, um für jeden Kennzeichnungspunkt eine Gruppe in Betracht kommender Translations-Anpassungen zu erhalten.

21. Vorrichtung nach Anspruch 20, die zusätzlich eine Ein­ richtung zum Vergleichen in Betracht kommender Translations- Anpassungen zwischen den Gruppen umfaßt, um einen oder mehrere Sätze in Betracht kommender Translations-Anpassungen auszuwählen, wobei jeder Satz eine in Betracht kommende Translations-Anpassung aus jeder Gruppe enthält, und jeder Satz des einen oder der mehreren Sätze geometrische Bezieh­ ungen dazwischen besitzt, die im wesentlichen ähnlich zu den geometrischen Beziehungen zwischen der Anzahl Kennzeich­ nungspunkte sind.

22. Vorrichtung nach Anspruch 21, die zusätzlich eine Ein­ richtung umfaßt, um einen Satz von Schwerpunkten von Pixeln, die zu dem mehr als einen Satz in Betracht kommender Trans­ lations-Anpassungen gehört, in die verbesserte Ausrichtung zu überführen, falls mehr als ein Satz in Betracht kommender Translations-Anpassungen ausgewählt wird, und, falls nur ein Satz in Betracht kommender Translations-Anpassungen exi­ stiert, um den einen Satz in Betracht kommender Transla­ tions-Anpassungen in die verbesserte Ausrichtung zu über­ führen.

23. Vorrichtung in einem digitalen Abbildungssystem zum Aus­ richten eines ersten Fragments eines Bildes an einem zweiten Fragment eines Bildes, mit:
einer Einrichtung zum Bestimmen einer Anzahl von Kenn­ zeichnungspunkten in einem Überlappbereich innerhalb des er­ sten Bildfragments, die zu einem Bereich des zweiten Bild­ fragments passen sollen,
einer Einrichtung, um für jeden der Anzahl von Kenn­ zeichnungspunkten einen Ausrichtungsfehler einer Anzahl mög­ licher Ausrichtungen des zweiten Bildfragments an einem Be­ reich, der den Kennzeichnungspunkt umgibt, gemäß einer vor­ bestimmten Maßgröße zu messen,
einer Einrichtung, um für jeden Kennzeichnungspunkt als eine Gruppe in Betracht kommender Kennzeichnungspunkt-Anpas­ sungen solche aus der Anzahl möglicher Ausrichtungen auszu­ wählen, die den niedrigsten gemessenen Ausrichtungsfehler besitzen, um für jeden Kennzeichnungspunkt eine Gruppe in Betracht kommender Translations-Anpassungen zu erhalten, und
einer Einrichtung zum Vergleichen in Betracht kommender Translations-Anpassungen zwischen den Gruppen, um einen Satz oder mehrere Sätze in Betracht kommender Kennzeichnungs­ punkt-Anpassungen auszuwählen, wobei jeder Satz eine in Be­ tracht kommende Kennzeichnungspunkt-Anpassung von jeder Gruppe enthält, und jeder des einen oder der mehreren Sätze geometrische Beziehungen dazwischen besitzt, die im wesent­ lichen ähnlich zu den geometrischen Beziehungen zwischen der Anzahl von Kennzeichnungspunkten sind.

24. Vorrichtung in einem digitalen Abbildungssystem zum Aus­ richten eines ersten Fragments eines Bildes an einem zweiten Fragment eines Bildes, mit:
einer Einrichtung zum Berechnen eines Varianz-Operators eines ausgewählten Pixels eines Überlappbereichs des ersten Bildfragments, wobei die Einrichtung zum Anwenden des Vari­ anz-Operators umfaßt:
eine Einrichtung zum Auswählen eines orthogonalen Paares von Achsen durch das ausgewählte Pixel,
eine Einrichtung zum Auswählen von mindestens zwei Gruppen von Pixeln, die auf dem orthogonalen Paar von Achsen liegen, wobei jede Gruppe genau vier Pixel enthält, die sich auf bzw. bei einem bestimmten Radius von dem ausgewählten Pixel befinden, und jede Gruppe einen unterschiedlichen be­ stimmten Radius besitzt,
eine Einrichtung zur Berechnung einer Varianz von jeder solchen Gruppe, um eine Aufeinanderfolge von Varianzen zu erhalten,
eine Einrichtung zur Berechnung eines Mittelwerts der Aufeinanderfolge von Varianzen, um den Varianz-Operator zu erhalten,
eine Einrichtung zur wiederholten Anwendung des Vari­ anz-Operators auf eine Anzahl von Pixeln des Überlappbe­ reichs des ersten Bildfragments, um einen oder mehrere Kenn­ zeichnungspunkte zu bestimmen,
eine Einrichtung, um für jeden des einen oder der mehreren Kennzeichnungspunkte einen Ausrichtungsfehler einer Anzahl möglicher Ausrichtungen des zweiten Bildfragments an einem Bereich, der den Kennzeichnungspunkt umgibt, gemäß ei­ ner vorbestimmten Maßgröße zu messen, und
eine Einrichtung, um eine optimierte Ausrichtung der ersten und zweiten Bildfragmente zu erzielen, die auf den gemessenen Ausrichtungsfehler anspricht, der aus der Anzahl möglicher Ausrichtungen erhalten wurde.

25. Vorrichtung in einem digitalen Bild-Ausrichtungssystem zum Zusammenfügen von mehr als zwei sich überlappenden Bild­ fragmenten eines vollständigen Bildes, um das vollständige Bild wiederherzustellen, mit
einem Scanner, der die mehr als zwei sich überlappenden Bildfragmente als eine Anzahl von Pixelwerten erfaßt,
einer zentralen Verarbeitungseinheit, die ein Computer­ programm ausführt, um eine Ausrichtung zwischen den zwei oder mehreren Bildfragmenten in Übereinstimmung mit dem vollständigen Bild zu erzeugen, und
einem Speichermedium, das das Computerprogramm behält, wobei das Computerprogramm umfaßt:
Kode, der einen Ausrichtungsfehler unter mindestens zwei sich überlappenden der mehr als zwei Bildfragmente ge­ mäß einer ersten, vorbestimmten Maßgröße mißt,
Kode, der eine Ausrichtung zwischen zwei ausgewählten, sich überlappenden Bildfragmenten der zwei oder mehreren Bildfragmente verbessert, um einen Ausrichtungsfehler zwi­ schen den zwei ausgewählten, sich überlappenden Bildfragmen­ ten zu verringern,
Kode, der einen Gesamtausrichtungsfehler zwischen jedem möglichen, sich überlappenden Paar der mehr als zwei Bild­ fragmente gemäß der vorbestimmten Maßgröße aufsummiert bzw. akkumuliert, und
Kode, der den Verbesserungs-Kode wiederholt aufaufein­ anderfolgende Paare der sich überlappenden Bildfragmente an­ wendet, um den Gesamtausrichtungsfehler zu optimieren.

26. Computer-Speichermedium, das ein Computerprogramm spei­ chert, das Bildverarbeitungsanweisungen zum optimalen Zusam­ menfügen von mehr als zwei sich überlappenden Bildfragmenten eines gesamten Bildes enthält, um das gesamte Bild wieder­ herzustellen, mit
Kode, der einen Ausrichtungsfehler unter mindestens zwei sich überlappenden der mehr als zwei Bildfragmente ge­ mäß einer ersten, vorbestimmten Maßgröße mißt,
Kode, der eine Ausrichtung zwischen zwei ausgewählten, sich überlappenden Bildfragmenten der zwei oder mehreren Bildfragmente verbessert, um einen Ausrichtungsfehler zwi­ schen den zwei ausgewählten, sich überlappenden Bildfragmen­ ten zu verringern,
Kode, der einen gesamten Ausrichtungsfehler zwischen jedem möglichen, sich überlappenden Paar der mehr als zwei Bildfragmente gemäß der vorbestimmten Maßgröße aufsummiert bzw. akkumuliert, und
Kode, der den Verbesserungs-Kode wiederholt aufaufein­ anderfolgende Paare der sich überlappenden Bildfragmente an­ wendet, um den Gesamtausrichtungsfehler zu optimieren.

27. Computer-Speichermedium nach Anspruch 26, bei dem die erste, vorbestimmte Maßgröße eine L1-Norm ist.

28. Computer-Speichermedium nach Anspruch 26, bei dem die erste, vorbestimmte Maßgröße ein Kreuzkorrelations-Wert ist.

29. Computer-Speichermedium nach Anspruch 26, bei dem der Gesamt-Optimierungskode Kode umfaßt, der den Verbesserungs- Kode wiederholt auf jedes sich überlappende Paar der Bild­ fragmente anwendet, solange bis der Gesamtausrichtungsfehler, wie von dem Aufsummierungs- bzw. Akkumulierungs-Kode gemessen, aufhört sich zu verbessern.

30. Computer-Speichermedium nach Anspruch 26, bei dem der Verbesserungs-Kode Kode umfaßt, der eine Anzahl von Kenn­ zeichnungspunkten in einem Überlappbereich innerhalb eines ersten der genau zwei Bildfragmente feststellt, die zu einem Bereich eines zweiten der genau zwei Bildfragmente passen sollen.

31. Computer-Speichermedium nach Anspruch 30, bei dem der Kode zur Kennzeichnungspunktbestimmung Kode umfaßt, der einen Varianz-Operator auf Pixel des Überlappbereichs inner­ halb des ersten Bildfragments anwendet.

32. Computer-Speichermedium nach Anspruch 30, bei dem der Kode zur Kennzeichnungspunktbestimmung umfaßt:

• 1) Kode, der ein Gitter von Zellen über den Überlappbe­ reich innerhalb des ersten Bildfragments legt,
• 2) Kode, der einen Varianzoperator für jedes Pixel in dem Überlappbereich innerhalb des ersten Bildfragments an­ wendet, um Pixel zu bestimmen, für die ein Kennzeich­ nungspegel einen vorbestimmten Schwellenwert über­ schreitet,
• 3) Kode, der als mögliche Kennzeichnungspunkte Pixel aus­ wählt, die den größten Pixelwert in jeder solchen Zelle besitzen, die ein Pixel beinhaltet, für das der Kenn­ zeichnungspegel einen vorbestimmten Schwellenwert über­ schreitet,
• 4) Kode, der als einen ersten Kennzeichnungspunkt einen der möglichen Kennzeichnungspunkte auswählt, der den größten Kennzeichnungspegel besitzt, und
• 5) Kode, der als einen zweiten Kennzeichnungspunkt einen der möglichen Kennzeichnungspunkte auswählt, der am weitesten entfernt von dem ersten Kennzeichnungspunkt ist.

33. Computer-Speichermedium nach Anspruch 30, bei dem der Verbesserungskode zusätzlich Kode umfaßt, der für jeden der Anzahl von Kennzeichnungspunkten einen Ausrichtungsfehler aus einer Anzahl von möglichen Ausrichtungen von Bereichen des zweiten Bildfragments an einem Bereich, der den Kenn­ zeichnungspunkt umgibt, gemäß einer zweiten, vorbestimmten Maßgröße mißt.

34. Computer-Speichermedium nach Anspruch 33, bei dem die zweite, vorbestimmte Maßgröße die gleiche ist wie die erste, vorbestimmte Maßgröße.

35. Computer-Speichermedium nach Anspruch 33, bei dem die erste, vorbestimmte Maßgröße verschieden ist von der zwei­ ten, vorbestimmten Maßgröße.

36. Computer-Speichermedium nach Anspruch 33, bei dem der Verbesserungskode einen Ausrichtungsfehler von jeder mögli­ chen Ausrichtung auf einer Pixel-zu-Pixel-Grundlage mißt und zusätzlich einen Kode umfaßt, der eine Messung einer be­ stimmten Ausrichtung beendet, wenn ein Ausrichtungsfehler einen Schwellenwert überschreitet.

37. Computer-Speichermedium nach Anspruch 33, bei dem der Verbesserungskode zusätzlich Kode umfaßt, der für jeden Kennzeichnungspunkt als eine Gruppe in Betracht kommender Translations-Anpassungen solche aus der Anzahl möglicher Ausrichtungen auswählt, die den niedrigsten gemessenen Aus­ richtungsfehler besitzen, um für jeden Kennzeichnungspunkt eine Gruppe in Betracht kommender Translations-Anpassungen zu erhalten.

38. Computer-Speichermedium nach Anspruch 37, bei dem der Verbesserungskode zusätzlich Kode umfaßt, der in Betracht kommende Translations-Anpassungen zwischen den Gruppen ver­ gleicht, um einen oder mehrere Sätze in Betracht kommender Translations-Anpassungen auszuwählen, wobei jeder Satz eine in Betracht kommende Translations-Anpassung von jeder Gruppe enthält und jeder des einen oder der mehreren Sätze geome­ trische Beziehungen dazwischen besitzt, die im wesentlichen ähnlich zu den geometrischen Beziehungen zwischen der Anzahl von Kennzeichnungspunkten ist.

39. Computer-Speichermedium nach Anspruch 38, bei dem der Verbesserungskode zusätzlich Kode umfaßt, der einen Satz von Schwerpunkten von Pixeln, der zu dem mehr als einen Satz in Betracht kommender Translations-Anpassungen gehört, in die verbesserte Ausrichtung überführt, falls mehr als ein Satz in Betracht kommender Translations-Anpassungen ausgewählt wird, und der, falls nur ein Satz in Betracht kommender Translations-Anpassungen existiert, den einen Satz in Betracht kommender Translations-Anpassungen in die ver­ besserte Ausrichtung überführt.

40. Computer-Speichermedium nach Anspruch 33, bei dem der Verbesserungskode zusätzlich umfaßt:

• 1) Kode, der mittlere Pixelwerte für Bereiche des ersten Bildes bestimmt, die jede der Anzahl von Kennzeich­ nungspunkten umgeben, wobei die Bereiche Formen be­ sitzen, die gewählt wurden, so daß ihre mittleren Pixelwerte unabhängig von einer Rotationsausrichtung an dem ersten Bild sind, und
• 2) Kode, der innerhalb der Anzahl von ausgewählten Aus­ richtungen für jeden Kennzeichnungspunkt nur Ausrich­ tungen einbezieht, für die mittlere Pixelwerte von Be­ reichen des zweiten Bildes, die an dem Kennzeichnungs­ punkt ausgerichtet sind, im wesentlichen ähnliche mittlere Pixelwerte besitzen, wie der mittlere Pixel­ wert des Bereiches, der den Kennzeichnungspunkt umgibt.

41. Computer-Speichermedium, das ein Computerprogramm mit Bildbearbeitungs-Anweisungen zum Ausrichten erster und zwei­ ter Bildfragmente speichert, mit
Kode, der eine Anzahl von Kennzeichnungspunkten in einem Überlappbereich innerhalb des ersten Bildfragments be­ stimmt, die zu einem Bereich des zweiten Bildfragments pas­ sen sollen,
Kode, der einen mittleren Pixelwert für Bereiche des ersten Bildes erhält, die jede der Anzahl von Kennzeich­ nungspunkten umgeben, wobei die Bereiche Formen besitzen, die ausgewählt wurden, so daß ihre mittleren Pixelwerte un­ abhängig von einer Rotationsausrichtung an dem ersten Bild­ fragment sind,
Kode, der innerhalb einer Anzahl von ausgewählten Aus­ richtungen für jeden Kennzeichnungspunkt nur Ausrichtungen einbezieht, für die mittlere Pixelwerte von Bereichen des zweiten Bildes, die an dem Kennzeichnungspunkt ausgerichtet sind, im wesentlichen vergleichbare mittlere Pixelwerte be­ sitzen, wie die Region, die den Kennzeichnungspunkt umgibt, und
Kode, der für jede der Anzahl von Kennzeichnungspunkten einen Ausrichtungsfehler aus der Anzahl möglicher Ausrich­ tungen von Bereichen des zweiten Bildfragments an einem Be­ reich, der die Kennzeichnungspunkt umgibt, gemäß einer vor­ bestimmten Maßgröße bestimmt bzw. mißt.

42. Computer-Speichermedium nach Anspruch 41, bei dem die vorbestimmte Maßgröße eine L1-Größe ist.

43. Computer-Speichermedium nach Anspruch 41, bei dem die vorbestimmte Maßgröße ein Kreuzkorrelations-Wert ist.

44. Computer-Speichermedium nach Anspruch 41, bei dem der Kode zum Messen des Ausrichtungsfehlers einen Ausrichtungs­ fehler jeder möglichen Ausrichtung auf einer Pixel-zu-Pixel- Grundlage mißt und zusätzlich Kode umfaßt, der eine Messung einer bestimmten Ausrichtung beendet, wenn ein Ausrichtungs­ fehler einen Schwellenwert überschreitet.

45. Computer-Speichermedium nach Anspruch 41, das zusätzlich Kode umfaßt, der für jeden Kennzeichnungspunkt als eine Gruppe in Betracht kommender Translations-Anpassungen die Ausrichtungen aus einer Anzahl möglicher Ausrichtungen aus­ wählt, die den niedrigsten gemessenen Ausrichtungsfehler be­ sitzen, um für jeden Kennzeichnungspunkt eine Gruppe in Be­ tracht kommender Translations-Anpassungen zu erhalten.

46. Computer-Speichermedium nach Anspruch 45, das zusätzlich Kode umfaßt, der in Betracht kommende Translations-Anpassun­ gen zwischen den Gruppen vergleicht, um einen oder mehrere Sätze in Betracht kommender Translations-Anpassungen aus zu­ wählen, wobei jeder Satz eine in Betracht kommende Transla­ tions-Anpassung aus jeder Gruppe enthält, und jeder Satz des einen oder der mehreren Sätze geometrische Beziehungen da­ zwischen besitzt, die im wesentlichen ähnlich zu den geome­ trischen Beziehungen zwischen der Anzahl Kennzeichnungspunk­ te sind.

47. Computer-Speichermedium nach Anspruch 46, das zusätzlich Kode umfaßt, der einen Satz von Schwerpunkten von Pixeln, die zu dem mehr als einen Satz in Betracht kommender Trans­ lations-Anpassungen gehört, in die verbesserte Ausrichtung überführt, falls mehr als ein Satz in Betracht kommender Translations-Anpassungen ausgewählt wird, und der, falls nur ein Satz in Betracht kommender Translations-Anpassungen exi­ stiert, den einen Satz in Betracht kommender Translations- Anpassungen in die verbesserte Ausrichtung überführt.

48. Computer-Speichermedium, das ein Computerprogramm mit Bildverarbeitungsanweisungen zum Ausrichten erster und zwei­ ter sich überlappender Bildfragmente speichert, mit:
Kode, der eine Anzahl von Kennzeichnungspunkten in einem Überlappbereich innerhalb des ersten Bildfragments be­ stimmt, die zu einem Bereich des zweiten Bildfragments pas­ sen sollen,
Kode, der für jeden der Anzahl von Kennzeichnungspunk­ ten einen Ausrichtungsfehler einer Anzahl möglicher Ausrich­ tungen des zweiten Bildfragments an einem Bereich, der den Kennzeichnungspunkt umgibt, gemäß einer vorbestimmten Maß­ größe mißt,
Kode, der für jeden Kennzeichnungspunkt als eine Gruppe in Betracht kommender Kennzeichnungspunkt-Anpassungen solche aus der Anzahl möglicher Ausrichtungen auswählt, die den niedrigsten gemessenen Ausrichtungsfehler besitzen, um für jeden Kennzeichnungspunkt eine Gruppe in Betracht kommender Translations-Anpassungen zu erhalten, und
Kode, der in Betracht kommende Translations-Anpassungen zwischen den Gruppen vergleicht, um einen Satz oder mehrere Sätze in Betracht kommender Kennzeichnungspunkt-Anpassungen auszuwählen, wobei jeder Satz eine in Betracht kommende Kennzeichnungspunkt-Anpassung von jeder Gruppe enthält, und jeder des einen oder der mehreren Sätze geometrische Bezieh­ ungen dazwischen besitzt, die im wesentlichen ähnlich zu den geometrischen Beziehungen zwischen der Anzahl von Kennzeich­ nungspunkten sind.

49. Computer-Speichermedium, das ein Computerprogramm mit Bildbearbeitungsanweisungen zum Ausrichten erster und zwei­ ter sich überlappender Bildfragmente speichert, mit:
Kode, der einen Varianz-Operator eines ausgewählten Pixels eines Überlappbereichs des ersten Bildfragments be­ rechnet, wobei der Kode zum Anwenden des Varianz-Operators umfaßt:
Kode, der ein orthogonales Paar von Achsen durch das ausgewählte Pixel auswählt,
Kode, der mindestens zwei Gruppen von Pixeln auswählt, die auf dem orthogonalen Paar von Achsen liegen, wobei jede Gruppe genau vier Pixel enthält, die sich auf bzw. bei einem bestimmten Radius von dem ausgewählten Pixel befinden, und jede Gruppe einen unterschiedlichen bestimmten Radius be­ sitzt,
Kode, der eine Varianz von jeder solchen Gruppe be­ rechnet, um eine Aufeinanderfolge von Varianzen zu erhalten,
Kode der einen Mittelwert der Aufeinanderfolge von Varianzen berechnet, um den Varianz-Operator zu erhalten, Kode, der den Varianz-Operator wiederholt auf eine Anzahl von Pixeln des Überlappbereichs des ersten Bildfrag­ ments anwendet, um einen oder mehrere Kennzeichnungspunkte zu bestimmen,
Kode, der für jeden des einen oder der mehreren Kennzeichnungspunkte einen Ausrichtungsfehler einer Anzahl möglicher Ausrichtungen des zweiten Bildfragments an einen Bereich, der den Kennzeichnungspunkt umgibt, gemäß einer vorbestimmten Maßgröße mißt, und
Kode, der eine optimierte Ausrichtung der ersten und zweiten Bildfragmente erzielt, die auf den gemessenen Aus­ richtungsfehler anspricht, der aus der Anzahl möglicher Aus­ richtungen erhalten wurde.

50. Verfahren in einem digitalen Bildausrichtungssystem zum Ausrichten von mehr als zwei Bildfragmenten, um ein voll­ ständiges Bild zusammenzufügen, das die folgenden Schritte umfaßt:
eine Liste von Überlappungen zwischen den Bildfragmen­ ten wird erstellt, wobei jede Überlappung ein Paar sich überlappender Ausrichtungen umfaßt,
verbesserte Ausrichtungen werden für jede der Über­ lappungen entwickelt,
die verbesserten Ausrichtungen werden nur angewendet, wenn die verbesserte Ausrichtung einen Gesamtausrichtungs­ fehler der mehr als zwei Bildfragmente verbessert, und
die Entwicklungs- und Anwendungsschritte werden wieder­ holt, um den Gesamtausrichtungsfehler zu optimieren.

51. Verfahren in einem digitalen Bildausrichtungssystem, zum Ausrichten eines ersten Fragments eines Bildes an einem zweiten Fragment eines Bildes, mit den folgenden Schritten:
eine Anzahl von Kennzeichnungspunkten in einem Über­ lappbereich innerhalb des ersten Bildfragments wird be­ stimmt, die zu einem Bereich des zweiten Bildfragments pas­ sen sollen,
ein mittlerer Pixelwert wird für Bereiche des ersten Bildes berechnet, die jeden der Anzahl Kennzeichnungspunkte umgeben, wobei die Bereiche Formen besitzen, die gewählt wurden, so daß ihre mittleren Pixelwerte unabhängig von ei­ ner Rotationsausrichtung an dem ersten Bildfragment sind,
innerhalb einer Anzahl ausgewählter Ausrichtungen werden für jeden Kennzeichnungspunkt nur Ausrichtungen ein­ bezogen, für die mittlere Pixelwerte von Bereichen des zwei­ ten Bildes, die an dem Kennzeichnungspunkt ausgerichtet sind, im wesentlichen vergleichbare mittlere Pixelwert be­ sitzen, wie der Bereich, der den Kennzeichnungspunkt umgibt, und
ein Ausrichtungsfehler der Anzahl möglicher Ausrichtun­ gen von Bereichen des zweiten Bildfragments an einem Be­ reich, der den Kennzeichnungspunkt umgibt, wird gemäß einer vorbestimmten Maßgröße, insbesondere für jeden der Anzahl von Kennzeichnungspunkten, bestimmt.

52. Verfahren in einem digitalen Bildverarbeitungssystem, zum Ausrichten eines ersten Fragments eines Bildes an einem zweiten Fragment eines Bildes, mit den folgenden Schritten:
eine Anzahl von Kennzeichnungspunkten in einem Über­ lappbereich innerhalb des ersten Bildfragments wird be­ stimmt, die zu einem Bereich des zweiten Bildfragments pas­ sen sollen,
ein Ausrichtungsfehler einer Anzahl möglicher Aus­ richtungen des zweiten Bildfragments an einem Bereich, der den Kennzeichnungspunkt umgibt, wird gemäß einer vorbestimm­ ten Maßgröße, insbesondere für jeden der Anzahl von Kenn­ zeichnungspunkten, gemessen,
als eine Gruppe in Betracht kommender Kennzeichnungs­ punkt-Anpassungen werden solche der Anzahl möglicher Aus­ richtungen, insbesondere für jeden Kennzeichnungspunkt, aus­ gewählt, die den niedrigsten gemessenen Ausrichtungsfehler besitzen, um für jeden Kennzeichnungspunkt eine Gruppe in Betracht kommender Translations-Anpassungen zu erhalten, und
in Betracht kommende Translations-Anpassungen zwischen den Gruppen werden verglichen, um einen Satz oder mehrere Sätze in Betracht kommender Kennzeichnungspunkt-Anpassungen auszuwählen, wobei jeder Satz eine in Betracht kommende Kennzeichnungspunkt-Anpassung von jeder Gruppe enthält, und jeder des einen oder der mehreren Sätze geometrische Bezieh­ ungen dazwischen besitzt, die im wesentlichen ähnlich zu den geometrischen Beziehungen zwischen der Anzahl von Kennzeich­ nungspunkten sind.

53. Verfahren, in einem digitalen Abbildungssystem zum Aus­ richten eines ersten Fragments eines Bildes an einem zweiten Fragment eines Bildes, mit den folgenden Schritten:
ein Varianz-Operator eines ausgewählten Pixels eines Überlappbereichs des ersten Bildfragments wird berechnet, wobei der Schritt zum Berechnen des Varianz-Operators um­ faßt:
ein orthogonales Paar von Achsen durch das ausgewählte Pixel wird ausgewählt,
mindestens zwei Gruppen von Pixeln werden ausgewählt, die auf dem orthogonalen Paar von Achsen liegen, wobei jede Gruppe genau vier Pixel enthält, die sich auf bzw. bei einem bestimmten Radius von dem ausgewählten Pixel befinden, und jede Gruppe einen unterschiedlichen bestimmten Radius be­ sitzt,
eine Varianz von jeder solchen Gruppe wird berechnet, um eine Aufeinanderfolge von Varianzen zu erhalten,
ein Mittelwert der Aufeinanderfolge von Varianzen wird berechnet, um den Varianz-Operator zu erhalten,
der Schritt zur Berechnung des Varianz-Operators wird wiederholt für eine Anzahl von Pixeln des Überlappbereichs des ersten Bildfragments, um einen oder mehrere Kennzeich­ nungspunkte zu bestimmen,
für jeden des einen oder der mehreren Kennzeichnungs­ punkte wird ein Ausrichtungsfehler einer Anzahl möglicher Ausrichtungen des zweiten Bildfragments an einem Bereich, der den Kennzeichnungspunkt umgibt, gemäß einer vorbestimm­ ten Maßgröße gemessen, und
eine optimierte Ausrichtung der ersten und zweiten Bildfragmente wird erzielt, die auf den gemessenen Ausrich­ tungsfehler anspricht, der aus der Anzahl möglicher Ausrich­ tungen erhalten wurde.