DE60014723T2 - System zur Erzeugung eines zusammengesetzten Bildes - Google Patents

System zur Erzeugung eines zusammengesetzten Bildes Download PDF

Info

Publication number
DE60014723T2
DE60014723T2 DE60014723T DE60014723T DE60014723T2 DE 60014723 T2 DE60014723 T2 DE 60014723T2 DE 60014723 T DE60014723 T DE 60014723T DE 60014723 T DE60014723 T DE 60014723T DE 60014723 T2 DE60014723 T2 DE 60014723T2
Authority
DE
Germany
Prior art keywords
image
child
images
parameters
affine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60014723T
Other languages
English (en)
Other versions
DE60014723D1 (de
Inventor
Gozde Yenisehir Bozdagi
Steven J. Webster Harrington
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Application granted granted Critical
Publication of DE60014723D1 publication Critical patent/DE60014723D1/de
Publication of DE60014723T2 publication Critical patent/DE60014723T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Description

  • Die Erfindung betrifft Bildverarbeitung. Insbesondere betrifft die Erfindung das Registrieren von Teilbildabschnitten, die von einer Abtastvorrichtung erhalten werden, in einem einzelnen größeren Bild.
  • Das Bildabtasten hat zunehmend an Bedeutung gewonnen für Anwendungen wie beispielsweise Desktop Publishing, Bildverarbeitung und Word Wide Web-Veröffentlichungen. Derzeit wird die Bildabtastung im Allgemeinen unter Verwendung von Trommel-Scannem des oberen Leistungsbereichs (high-end) oder einfachen (low-end) Flachbett-Scannem ausgeführt. Trommel-Scanner besitzen höhere Pixel-Auflösungen als Flachbett-Scanner. Trommel-Scanner können auch großformatige Originaldokumente abtasten. Allerdings sind Trommel-Scanner teurer als Flachbett-Scanner, insbesondere deswegen, weil kostengünstige CCD-Bildgeneratoren in Flachbett-Scanner eingebaut sind und künftig auch lichtempfindliche CMOS-Abtastelemente.
  • Außerdem können Trommel-Scanner keine großformatigen Originaldokumente abtasten, die zu starr sind, um an der gekrümmten Trommel anzuliegen. Flachbett-Scanner sind kompakt, besitzen aber normalerweise eine relativ kleine Schreibwalze. Abtastvorrichtungen im Allgemeinen und Flachbett-Scanner im Besonderen müssen daher teilweise abgetastete Bilder zueinander hinzu registrieren, um große Bilder zusammenzusetzen und zu vervollständigen.
  • In diesem Fachbereich stehen verschiedene Techniken zur Verfügung, die zum Herstellen einer Übereinstimmung zwischen Teilbildabschnitten verwendet werden können, wobei sie von der Anwendung und der Art der Formänderung zwischen Bildabschnitten abhängen. "A Survey Of Image Registration Techniques", L.G. Brown, ACM Computing Surveys, Band 24, Nr. 4, Dezember 1992, S. 325 – 376, (im Folgenden "Brown"), stellt eine allgemeine Übersicht über Bildregistrierungs-Bildaufbereitung bereit. "A Contour Based Approach To Multi-Sensor Image Registration", H. Li und andere, (im Folgenden "Li"), IEEE Trans. Image Processing, Band 4, März 1995, S. 320–334; "MRI-PET Registration with Automated Algorithm", R.P Woods und andere, (im Folgenden "Woods"), Journal of Computer Assisted Topography, Band 17, 1993, S. 536–546, "Video Mosaics for Virtual Environments", R. Szeliski, (im Folgenden "Szeliski"), IEEE Computer Graphics and Applications, März 1996, S. 20 – 30, und "Salient Video Stills: Content and Context Preserved", von L. Teodosia und anderen, (im Folgenden "Teodosia"), ACM Multimedia, 1993, S. 39 – 46, erörtern Telerealitäts-Anwendungen und Standbild-Videodarstellung (still video representation).
  • In der Bildregistrierung muss im Allgemeinen eine räumliche Umwandlung (spatial transform) zwischen betrachteten Bildern gefunden werden, um die während des Abtastvorgangs verursachte Fehlausrichtung zwischen Teilbildern zu beseitigen. Die Fehlausrichtung stellt die Übertragung (translation) und Drehung zwischen Bildern (globale Umwandlung} und lokale Formänderungen in jedem Teilbild (lokale Umwandlung) dar. Abgestimmte Filtertechniken können für die Suche nach der räumlichen Umwandlung verwendet werden. Bei Brown werden mehrere abgestimmte Filtertechniken beschrieben. Bei diesen Verfahren wird die räumliche Umwandlung als eine reine Übertragung betrachtet. Der Hauptnachteil dieser Techniken ist ihre rechnerische Komplexität.
  • Ein weiteres bekanntes Verfahren zur Bildregistrierung ist die Verwendung der Wavelet-Analyse (wavelet analysis) zum Entwickeln der räumlichen Umwandlung. Dies wird beispielsweise vorgeschlagen in "A Nonlinear Variational Problem for Image Matching", Y. Amit, SIAM Journal Sci. Comput., Band 15, Nr. 1, Januar 1194, S. 207 – 224. Ein weiterer anderer Ansatz ist, die räumliche Umwandlung aus der Phase einer Wavelet-Zerlegung (wavelet decomposition) von Bildern zu schätzen, wie dies beschrieben ist in "Motion Estimation Using Complex Wavelets", J. Magarey und andere, Technical Report, Cambridge University, Dept. Of Engineering, 1995.
  • Der grundlegende Nachteil dieser Techniken ist, dass sie lokale anstatt globale Umwandlungen entwickeln, welche die maßgebliche Umwandlung für Abtastzwecke sind.
  • "Accurate Mosaiking of Scanned Maps, or How to Generate a Virtual A0 Scanner", J. van Katwijk und andere, Proc. Of the First Annual Conf. Of the Advanced School for Computing and Imaging, Niederlande, Mai 1995, S. 353 – 359, schlägt eine weitere Bildregistrierungstechnik zum Registrieren von Teilbildern von abgetasteten Dokumenten vor. Mit diesem Verfahren können abgetastete Hilfszuordnungen (utility maps) in strukturelle Beschreibungen konvertiert werden. Als ein Formänderungsmodell wird eine affine Umwandlung verwendet, die für die Schätzung von globalen Umwandlungen stabil (robust) ist. Allerdings werden die Bereiche, auf denen die Umwandlung geschätzt wird, auf den Bildern vorgezeichnet, wodurch ein manuelles Eingreifen erforderlich wird.
  • WO 93/12501 (Logitech) offenbart ein Verfahren zum automatischen Zusammenführen von Bildern, wie beispielsweise denjenigen, die unter Verwendung eines Handscanners erhalten werden. Zwei Bild="Bänder" werden zusammengeführt, indem Merkmale in dem ersten Band identifiziert und mit Merkmalen in dem zweiten abgestimmt werden. Paare von Merkmalen und entsprechende Übereinstimmungen werden verwendet, um die Umwandlung zu schätzen, die erforderlich ist, um ein Paar dem anderen zuzuordnen. Ein solches Verfahren stellt jedoch hohe rechnerische Anforderungen, da zusätzliche Verarbeitungsschritte erforderlich sind, um entsprechende Paare von Merkmalen zu identifizieren.
  • US 5.649.032 (Burt und andere) erörtert ein System zum automatischen Ausrichten von Bildern, um ein Mosaikbild zu bilden, und schlägt eine Reihe von potenziellen Anwendungen vor, einschließlich eines Anzeigesystems, eines Überwachungssystems und eines Komprimierungssystems. Die Ausrichtung der Bilder erfolgt, indem jedes Bild auf ein Referenz-Koordinatensystem ausgerichtet wird, das die Ausrichtungsinformationen erzeugt, die zum Kombinieren der Bilder und Ausbilden eines Mosaiks erforderlich sind. Ein optimales Verfahren zum Ausführen der Ausrichtungsprozedur wird jedoch nicht offenbart.
  • Diese Erfindung stellt Systeme und Verfahren zum Schätzen der globalen Umwandlung zwischen abgetasteten Teilbildern eines Originaldokuments bereit, um ein abgetastetes Bild des Originaldokuments zu rekonstruieren.
  • Gemäß der Erfindung umfasst ein System zum Ausbilden eines aus einer Vielzahl von sich überlappenden untergeordneten Bildern (31 – 36) zusammengesetzten Bildes (30), wobei jedes untergeordnete Bild eine Vielzahl von Pixeln aufweist, einen Speicher (230), wobei die Vielzahl von untergeordneten Bildern (31 – 36) in dem Speicher speicherbar ist; eine Schaltung (240) zum Unterteilen (blocking) von untergeordneten Bildern in Blöcke, die jedes von der Vielzahl von untergeordneten Bildern eingibt und jedes untergeordnete Bild in eine Vielzahl von Blöcken aufteilt; eine Generierungsschaltung (250) für Umwandlungsparameter, umfassend: eine Blockvergleichsschaltung (251), die einen Block eines ersten untergeordneten Bildes Pixel für Pixel mit einem oder mehreren Blöcken eines zweiten untergeordneten Bildes vergleicht, eine Schätzschaltung (252) für Umwandlungsparameter-Sets, die Block-Umwandlungsparameter schätzt, welche die Bildwerte der Pixel in einem Block in die Bildwerte der Pixel in dem anderen Block umwandeln auf der Basis eines Vergleichs, der von der Blockvergleichsschaltung ausgeführt wird, eine Generierungsschaltung (260) für Bildpunktgruppen (cluster), welche die geschätzten Block-Umwandlungsparameter ausgibt, um Bildpunktgruppen zu erhalten, eine Generierungsschaltung (253) für Umwandlungsparameter-Sets für untergeordnete Bilder, die allgemeine Umwandlungsparameter für untergeordnete Bilder aus den Bildpunktgruppen generiert, und eine Nachprüfungsschaltung (254) (revising circuit) für Umwandlungsparameter für untergeordnete Bilder, welche die Umwandlungsparameter des ersten untergeordneten Bildes auf der Basis der Umwandlungsparameter des zweiten untergeordneten Bildes nachprüft, so dass das erste untergeordnete Bild Umwandlungsparameter aufweist, die es zur Registrierung mit einem untergeordneten Basisbild oder eine vorgegebene Referenzposition verketten (warp); wobei das System des Weiteren eine Schaltung (270) zum Verketten von untergeordneten Bildern umfasst, die das erste untergeordnete Bild unter Verwendung der nachgeprüften Umwandlungsparameter verkettet; und eine Kombinationsschaltung (280) für untergeordnete Bilder, die das zweite untergeordnete Bild mit dem untergeordneten Basisbild oder dem ersten untergeordneten Bild kombiniert.
  • Diese und andere Merkmale und Vorteile dieser Erfindung werden in der folgenden detaillierten Beschreibung der bevorzugten Ausführungsformen beschrieben oder sind daraus ersichtlich.
  • Die bevorzugten Ausführungsformen dieser Erfindung werden unter Bezugnahme auf die folgenden Figuren beschrieben:
  • 1 zeigt ein beispielhaftes großes Dokument und die von diesem Originaldokument erhaltenen abgetasteten untergeordneten Bilder;
  • 2 zeigt die sechs untergeordneten Bilder, die von dem in 1 dargestellten Originaldokument erhalten wurden, nachdem sie in Blöcke unterteilt wurden;
  • 3 ist ein Blockschaltbild, das eine beispielhafte Ausführungsform eines Systems zum Registrieren eines abgetasteten Bilds gemäß dieser Erfindung darstellt;
  • 4 ist ein Blockschaltbild, das eine beispielhafte Ausführungsform der Schaltung zum Generieren von affinen Parametern von 3 darstellt;
  • 5 ist ein Blockschaltbild, das eine beispielhafte Ausführungsform der Schaltung zum Generieren von Bildpunktgruppen von 4 darstellt;
  • 6 ist ein Ablaufdiagramm, das eine beispielhafte Ausführungsform des Verfahrens zum Registrieren des abgetasteten Bilds gemäß dieser Erfindung darstellt;
  • 7 ist ein Ablaufdiagramm, das eine beispielhafte Ausführungsform des Verfahrens zum Ermitteln der affinen Bild-Parameter von 6 detaillierter darstellt;
  • 8 ist ein Ablaufdiagramm, das eine beispielhafte Ausführungsform des Verfahrens zum Ermitteln des affinen Block-Parameter-Sets von 7 detaillierter darstellt;
  • 9 ist ein Ablaufdiagramm, das eine beispielhafte Ausführungsform des Verfahrens zum Gruppieren des affinen Block-Parameter-Sets von 7 detaillierter darstellt;
  • 10 ist ein Ablaufdiagramm, das eine zweite beispielhafte Ausführungsform des Verfahrens zum Ermitteln des affinen Block-Parameter-Sets von 7 detaillierter darstellt;
  • 11A und 11B sind ein Ablaufdiagramm, das eine zweite beispielhafte Ausführungsform des Schritts zum Ermitteln von affinen Bild-Parametern von 6 detaillierter darstellt;
  • 12A und 12B sind ein Ablaufdiagramm, das eine dritte beispielhafte Ausführungsform des Schritts zum Ermitteln von affinen Bild-Parametern von 6 detaillierter darstellt;
  • 13 zeigt ein Originaldokument, das in zwei Dimensionen größer ist als das Scanner-Fenster, wobei eine Abtast-Reihenfolge dargestellt wird, die mit der ersten beispielhaften Ausführungsform des Schritts zum Ermitteln der affinen Bild-Parameter von 6 verwendet werden kann;
  • 14 zeigt das Originaldokument von 13, das eine Abtast-Reihenfolge darstellt, die mit der zweiten und dritten beispielhaften Ausführungsform des Schritts zum Ermitteln der affinen Bild-Parameter von 6 verwendet werden kann;
  • 15 zeigt das Originaldokument von 13, das eine Abtast-Reihenfolge darstellt, die mit der zweiten und dritten Ausführungsform des Schritts zum Ermitteln der affinen Bild-Parameter von 6 verwendet werden kann;
  • 16 zeigt das fünfte und sechste untergeordnete Bild des in 1 dargestellten Originaldokuments nach dem Verketten des fünften untergeordneten Bilds;
  • 17 zeigt drei untergeordnete Bilder eines beispielhaften Dokuments und das daraus resultierende zusammengesetzte oder rekonstruierte Originalbild;
  • 18 zeigt vier untergeordnete Bilder, die durch Abtasten eines Originalbildes erhalten wurden;
  • 19 zeigt das zusammengesetzte Bild, das aus den vier in 18 gezeigten untergeordneten Bildern gemäß dieser Erfindung rekonstruiert wurde;
  • 20 zeigt ein rekonstruiertes Bild, das dem in 19 gezeigten Bild entspricht, das durch Interpolation erhalten wurde; und
  • 21 ist ein Blockschaltbild, das eine zweite beispielhafte Ausführungsform eines Systems zum Registrieren eines abgetasteten Bilds gemäß dieser Erfindung darstellt.
  • Die Bildregistrierung bezieht sich auf das Herstellen von Übereinstimmungen zwischen sich überlappenden Bildern. Die Bildregistrierung wird weit verbreitet in den Bereichen von Satellitenaufnahmen eingesetzt, wie oben bei Li erläutert, um nebeneinander liegende tomografische Bilder des Gehirns zusammen zu registrieren, wie oben bei Woods erläutert, bei Telerealitäts-Anwendungen, wie bei Szeliski erläutert, und bei Standbild-Videobildern, wie oben bei Teodosia erläutert. In den Systemen und Verfahren gemäß dieser Erfindung werden, wie später detaillierter beschrieben wird, Teilbilder oder untergeordnete Bilder durch Abtasten eines Quellendokuments erhalten, das größer ist als das Abtastfenster der Abtastvorrichtung, die verwendet wird, um die Teilbilder oder untergeordneten Bilder zu erhalten. Das abgetastete Quellendokument kann Bildbereiche, Grafikbereiche, Textbereiche oder jede andere Art von Bilddatenbereich enthalten.
  • Gemäß dieser Erfindung werden entsprechende globale Umwandlungen für jedes der Teilbilder oder untergeordneten Bilder erhalten. Die globalen Umwandlungen werden zum Registrieren jedes der Teilbilder oder untergeordneten Bilder in einem Referenz-Koordinatensystem verwendet. Es sollte klar sein, dass das Referenz-Koordinatensystem durch ein erstes der abgetasteten Teilbilder definiert werden kann.
  • Die untergeordneten Bilder oder Teilbilder werden durch Verketten der untergeordneten Teilbilder in das Referenz-Koordinatensystem registriert. Sobald alle der untergeordneten Bilder oder Teilbilder in dem Koordinatensystem registriert sind, wird eine räumliche Mittelwertbildung verwendet, um die untergeordneten Bilder in dem abgetasteten zusammengesetzten Bild des Originaldokuments zu kombinieren. Dementsprechend kann ein Benutzer auf der Basis der im Folgenden erläuterten Systeme und Verfahren ein Dokument abtasten, das größer als das Abtastfenster der Abtastvorrichtung ist, und dazu preisgünstige Flachbett-Scanner oder andere kostengünstige Handscanner verwenden.
  • Insbesondere werden gemäß den Systemen und Verfahren dieser Erfindung Schätzungen zum Auffinden der entsprechenden Umwandlung zwischen jedem abgetasteten Teilbild verwendet. Diese Schätzungen ermöglichen eine Übertragung und/oder gleichförmige Skalierung zwischen den verschiedenen Teilbildern. Die gemäß den Systemen und Verfahren dieser Erfindung vorgenommenen Schätzungen schätzen beides, die Übertragung und die Drehung zwischen den abgetasteten Teilbildern des Originaldokuments, um das abgetastete zusammengesetzte Bild des Originaldokuments zu konstruieren. Das an Gozde Bozdagi erteilte US-Patent 5.784.115 stellt Systeme und Verfahren für bewegungskompensiertes Rückgängigmachen der Verschränkung (de-interlacing) von verschränkten Video-Bildfolgefrequenzen (interlaced video frames) bereit, um hochwertige progressive Video-Bildfolgefrequenzen zu generieren. Die Systeme und Verfahren, die im 115-Patent offenbart wurden, halten die rechnerische Komplexität niedrig und erfordern nur zwei Felder, d.h. eine einzelne Bildfolgefrequenz.
  • Wie im 115-Patent offenbart, ermitteln die Systeme und das Verfahren des 115-Patents, ob globale Bewegung in der einzelnen Bildfolgefrequenz vorhanden ist, die von zwei zeitlich versetzten Feldern gebildet wird. Wenn globale Bewegung erfasst wird, wird die globale Bewegung geschätzt und kompensiert. Die global kompensierten Bilder werden analysiert, um zu ermitteln, ob lokale Bewegung vorhanden ist. Wenn lokale Bewegung erfasst wird, werden die von der lokalen Bewegung betroffenen Pixel unter Verwendung von bewegungsadaptiven Techniken interpoliert. Wenn globale Bewegung erfasst wird, wird die globale Bewegung unter Verwendung von optischer Flussanalyse und affiner Parametrisierung geschätzt.
  • Wie im 115-Patent erläutert, ist jedes der Felder in eine Vielzahl von diskreten Blöcken unterteilt, und die affinen Parameter werden für jeden der Blöcke von einem der Felder in Bezug auf den entsprechenden Block des anderen Felds geschätzt. Wenn globale Bewegung eine maßgebliche Bewegung innerhalb der einzelnen Bildfolgesequenz ist, neigen die jeweiligen Werte der geschätzten affinen Parameter für jeden der Blöcke zur Bildpunktgruppen-Bildung um den Wert, der die globale Bewegung darstellt. Die affinen Parameterwerte in der Mitte der Bildpunktgruppe mit den meisten Elementen werden als eine abschließende Schätzung der affinen Parameter für die globale Bewegung ausgewählt. Die globale Bewegung wird durch Verketten eines der zwei verschränkten Felder unter Verwendung der gewählten affinen Parameter kompensiert.
  • Lokale Bewegung wird in der einzelnen, daraus resultierenden Bildfolgesequenz ermittelt durch das Festlegen einer Bewegungszuordnung (motion map) zwischen dem einen verketteten der zwei Felder und dem anderen der zwei Felder. Wie im 115-Patent offenbart, werden die Pixel, die unter die zweite Bewegungszuordnung fallen, d.h. Pixel, die von der lokalen Bewegung betroffen sind, zum Verwenden einer kantenadaptiven (edge-adaptive) Interpolation kompensiert.
  • 1 stellt ein Orginaldokument 30 dar, das länger als das Abtastbett oder Abtastfenster bzw. die Scanner-Basisfläche eines Flachbett-Scanners ist, der zum Abtasten des Orginaldokuments 30 verwendet werden soll. Wie in 1 gezeigt, ist das Originaldokument 30 in einer Dimension länger als das Abtastfenster oder die Scanner-Basisfläche, aber es ist nicht länger als das Abtastfenster oder die Scanner-Basisfläche in einer zweiten orthogonalen Richtung. Daher kann, wie in 1 dargestellt, das Originalbild 30 abgetastet werden, um sechs unabhängige untergeordnete Bilder 31 – 36 zu bilden. Insbesondere wird ein erstes untergeordnetes Bild 31 durch Abtasten des äußersten linken Abschnitts des Originaldokuments 30 erhalten. Danach wird ein zweites untergeordnetes Bild 32 erhalten, indem ein Abschnitt des Originaldokuments 30 abgetastet wird, der rechts neben dem ersten untergeordneten Bild 31 liegt, es aber leicht überlappt. Die weiteren untergeordneten Bilder 33 – 35 werden abgetastet, wobei jedes den äußersten rechten Abschnitt des vorher abgetasteten untergeordneten Bilds leicht überlappt, bis das gesamte Originaldokument 30 abgetastet worden ist. Wie in 1 gezeigt, wird jedes der untergeordneten Bilder 31 – 36 jeweils mit den Bezugsbuchstaben A – F gekennzeichnet.
  • 2 zeigt die daraus resultierenden sechs untergeordneten Bilder 31 – 36, nachdem sie gemäß den Systemen und Verfahren dieser Erfindung in Blöcke unterteilt worden sind. Wie in 2 gezeigt, ist jedes der untergeordneten Bilder 31 – 36 in 64 Blöcke unterteilt. Jeder Block enthält die gleiche Anzahl von Pixeln. Es sollte klar sein, dass die untergeordneten Bilder 31 – 36 in eine beliebige Anzahl von Blöcken unterteilt werden können, wobei jeder Block eine festgesetzte Anzahl von Pixeln enthält. Daher sollten die 64 in 2 dargestellten Blöcke als veranschaulichend, nicht als einschränkend verstanden werden.
  • Es sollte ebenfalls klar sein, wie in 2 dargestellt, dass beim Ausbilden der untergeordneten Bilder 31 – 36 durch Abtasten des Originaldokuments 30 weder eine inhärente Beziehung zwischen beliebigen zwei der untergeordneten Bilder 31 – 36, noch irgendeine inhärente Überlappungsmenge zwischen beliebigen zwei der untergeordneten Bilder 31 – 36 vorhanden ist.
  • Die folgenden Beschreibungen der beispielhaften Ausführungsformen der Systeme und Verfahren zum Registrieren von abgetasteten Bildern gemäß dieser Erfindung wurden zum besseren Verständnis in Bezug auf eine affine Umwandlung verfasst. Es sollte jedoch klar sein, dass jede bekannte oder später entwickelte Umwandlung, die das Kompilieren von untergeordneten Bildern in ein einzelnes Bild gestattet, mit den Systemen und Verfahren dieser Erfindung verwendet werden kann. Eine solche andere Umwandlung ist eine perspektivische Umwandlung. Daher sind die folgenden Beschreibungen und Ansprüche nicht als auf affine Umwandlungen beschränkt zu interpretieren.
  • 3 zeigt eine beispielhafte Ausführungsform eines Systems 200 zum Registrieren von abgetasteten Bildern gemäß dieser Erfindung. Wie in 3 dargestellt, ist eine Abtastvorrichtung 100 an das System 200 zum Registrieren von abgetasteten Bildern über eine Verbindung 110 angeschlossen. In ähnlicher Weise kann eine Bilddatensenke 300 an das System 200 zum Registrieren von abgetasteten Bildern über eine Verbindung 310 angeschlossen werden.
  • Es sollte klar sein, dass die Abtastvorrichtung 100 jeder bekannte oder später entwickelte Typ von Abtastvorrichtung sein kann. Es gibt keine Einschränkung in Bezug auf die Form, welche die Abtastvorrichtung 100 annehmen kann. Wenn die Abtastvorrichtung 100 jedoch in Verbindung mit dem System 200 zum Registrieren von abgetasteten Bildern dieser Erfindung verwendet wird, wird angenommen, dass die Abtastvorrichtung 100 nicht in der Lage ist, ein gesamtes Originaldokument vollständig abzutasten.
  • Die Verbindung 110 kann jede bekannte oder später entwickelte Vorrichtung bzw. jedes System zum Verbinden der Abtastvorrichtung 100 mit dem System zum Registrieren von abgetasteten Bildern sein, einschließlich einer direkten Kabelverbindung, einer Verbindung über ein Weitverkehrsnetz oder ein lokales Datennetz, eine Verbindung über ein Intranet, eine Verbindung über das Internet oder eine Verbindung über irgendein verteiltes Verarbeitungsnetz oder -system. Im Allgemeinen kann die Verbindung 110 jedes bekannte oder später entwickelte Verbindungssystem bzw. jede Struktur sein, die zum Verbinden der Abtastvorrichtung 100 mit dem System 200 zum Registrieren von abgetasteten Bildern verwendet werden kann.
  • Die Bilddatensenke 300 kann jede bekannte oder später entwickelte Einrichtung sein, die das rekonstruierte zusammengesetzte Bild von dem System 200 zum Registrieren von abgetasteten Bildern empfangen kann. Daher kann die Bilddatensenke 300 eine Anzeigevorrichtung, ein Bildausgabe-Endgerät, wie beispielsweise ein Laserdrucker, ein Digitalkopierer, ein Tintenstrahldrucker, ein Punktmatrixdrucker, ein Farbstoffsublimationsdrucker oder Ähnliches sein. Die Bilddatensenke 300 kann auch jede bekannte oder später entwickelte Speichereinrichtung sein, wie beispielsweise eine Diskette und deren Laufwerk, eine Festplatte und deren Laufwerk, eine beschreibbare CD-ROM oder DVD-Diskette und deren Laufwerk, ein Flash-Speicher oder Ähnliches. Es sollte klar sein, dass die Bilddatensenke 300 lokal am System 200 zum Registrieren von abgetasteten Bildern angeordnet sein kann, oder entfernt vom System 200 zum Registrieren von abgetasteten Bildern angeordnet sein kann. Daher kann die Verbindung 310, wie die Verbindung 110, jedes bekannte oder später entwickelte Verbindungssystem bzw. jede Struktur sein, die zum Verbinden des System 200 zum Registrieren von abgetasteten Bildern mit der Bilddatensenke 300 verwendet werden kann. Insbesondere kann die Verbindung 310 unter Verwendung jeder der oben in Bezug auf die Verbindung 110 beschriebenen Vorrichtungen oder Systeme implementiert werden.
  • Das System 200 zum Registrieren von abgetasteten Bildern umfasst einen Controller 210, eine Eingabe/Ausgabe-Schnittstelle 220, einen Speicher 230, eine Schaltung 240 zum Unterteilen von untergeordneten Bildern in Blöcke, eine Generierungsschaltung 250 für affine Parameter, eine Schaltung 270 zum Verketten von untergeordneten Bildern und eine Kombinationsschaltung 280 für untergeordnete Bilder, die alle über einen Daten- und/oder Steuersignal-Bus 290 miteinander verbunden sind. Des Weiteren sind die Abtastvorrichtung 100 und die Bilddatensenke 300 jeweils über die Verbindungen 110 und 310 mit der Eingabe/Ausgabe-Schnittstelle 220 verbunden.
  • Wie in 3 gezeigt, umfasst der Speicher 230 einen Speicherabschnitt 231 für untergeordnete Bilder, einen Speicherabschnitt 232 für affine Parameter, einen Speicherab schnitt 233 für Bildpunktgruppen, einen Speicherabschnitt 234 für Steuerprogramme (control program) und einen Speicherabschnitt 235 für verkettete untergeordnete Bilder. Der Speicherabschnitt 231 für untergeordnete Bilder speichert die verschiedenen untergeordneten Bilder, die unter Verwendung der Abtastvorrichtung 100 von dem Originaldokument erhalten und an das System 200 zum Registrieren von abgetasteten Bildern über die Verbindung 110 und durch die Eingabe/Ausgabe-Schnittstelle 220 übermittelt wurden. Der Speicherabschnitt 232 für affine Parameter speichert die verschiedenen affinen Parameter, die für jedes der untergeordneten Bilder, das kein untergeordnetes Basisbild (sofern vorhanden) ist, generiert wurden, die in dem Speicherabschnitt 231 für untergeordnete Bilder wie nachstehend beschrieben gespeichert sind.
  • Der Speicherabschnitt 233 für Bildpunktgruppen speichert die Bildpunktgruppen-Daten, die bei der Bildpunktgruppen-Bildung (clustering) der Sets von affinen Block-Parametern generiert wurden, die für die Blöcke von untergeordneten Nicht-Basisbildern erzeugt wurden. Der Speicherabschnitt 235 für verkettete untergeordnete Bilder speichert die untergeordneten Bilder, nachdem sie verkettet worden sind, um sie mit dem untergeordneten Basisbild oder einer vorgegebenen Referenzposition zur Registrierung zu bringen.
  • Der Speicherabschnitt 234 für Steuerprogramme speichert alle Steuerprogramme des Systems 200 zum Registrieren von abgetasteten Bildern. Insbesondere wird das System 200 zum Registrieren von abgetasteten Bildern vorzugsweise unter Verwendung eines programmierten Mehrzweck-Rechners, Mikroprozessors oder Mikrocontrollers implementiert. Daher speichert der Speicherabschnitt 234 für Steuerprogramme die Steuerprogramme, die vom Controller 210 zum Implementieren der Systeme und Verfahren dieser Erfindung auszuführen sind.
  • Wie oben angegeben, gibt die Eingabe/Ausgabe-Schnittstelle 220 unter der Steuerung des Controllers 210 die untergeordneten Bilder von der Abtastvorrichtung 100 ein und speichert sie in dem Speicherabschnitt 231 für untergeordnete Bilder. Die Eingabe/Ausgabe-Schnittstelle 220, die ebenfalls vom Controller 210 gesteuert wird, kann das rekonstruierte zusammengesetzte Bild von der Kombinationsschaltung 280 für untergeordnete Bilder oder dem Speicher 230 aus über die Signalleitung 310 an die Bilddatensenke 300 ausgeben.
  • Die Schaltung 240 zum Unterteilen von untergeordneten Bildern in Blöcke gibt unter der Steuerung des Controllers 210 jedes der untergeordneten Bilder entweder direkt von der Eingabe/Ausgabe-Schnittstelle 220 oder von dem Speicherabschnitt 231 für untergeordnete Bilder aus ein und unterteilt jedes untergeordnete Bild in eine gleiche Anzahl von Blöcken mit einer gleichen Anzahl von Pixeln in jedem Block. Die in Blöcke unterteilten (blocked) untergeordneten Bilder werden anschließend in dem Speicherabschnitt 231 für untergeordnete Bilder gespeichert oder direkt an die Generierungsschaltung 250 für affine Parameter ausgegeben.
  • Die Generierungsschaltung 250 für affine Parameter gibt unter der Steuerung des Controllers 120 zwei der in Blöcke unterteilten untergeordneten Bilder aus dem Speicherabschnitt 231 für untergeordnete Bilder, dem Speicherabschnitt 235 für verkettete untergeordnete Bilder und/oder der Schaltung 240 zum Unterteilen von untergeordneten Bildern in Blöcke ein und generiert die affinen Bild-Parameter, die zum Verketten eines von den zwei Bildern zur Registrierung mit dem anderen der zwei Bilder und/oder zur Registrierung mit dem untergeordneten Basisbild erforderlich sind. Diese affinen Bild-Parameter werden anschließend in dem Speicherabschnitt 232 für affine Parameter gespeichert.
  • Die Schaltung 270 zum Verketten von untergeordneten Bildern gibt (sofern vorhanden) ein nicht verkettetes untergeordnetes Bild aus dem Speicherabschnitt 231 für untergeordnete Bilder und die entsprechenden affinen Bild-Parameter für das in dem Speicherabschnitt 232 für affine Parameter gespeicherte untergeordnete Bild ein. Danach verkettet die Schaltung 270 zum Verketten von untergeordneten Bildern das eingegebene untergeordnete Bild unter Verwendung der eingegebenen affinen Bild-Parameter, um es zur Registrierung mit dem untergeordneten Basisbild zu bringen. Das verkettete untergeordnete Bild wird dann in dem Speicherabschnitt 235 für verkettete untergeordnete Bilder gespeichert.
  • Die Kombinationsschaltung 280 für untergeordnete Bilder gibt das untergeordnete Basisbild aus dem Speicherabschnitt 231 für untergeordnete Bilder und die verketteten untergeordneten Nicht-Basisbilder ein, die in dem Speicherabschnitt 235 für verkettete untergeordnete Bilder gespeichert sind, und kombiniert sie, um ein rekonstruiertes zusammengesetztes Bild des Originaldokuments zu bilden. Dieses rekonstruierte zusammengesetzte Bild kann dann im Speicher 230 gespeichert werden oder direkt über die Eingabe/Ausgabe-Schnittstelle 220 an die Bilddatensenke 300 ausgegeben werden, wie oben angegeben.
  • Es sollte klar sein, wie oben angegeben, dass die in 3 gezeigte Generierungsschaltung 250 für affine Parameter genereller als Generierungsschaltung 250 für Umwandlungsparameter beschrieben werden kann, welche die speziellen Umwandlungsparameter für die jeweilige verwendete Umwandlung generiert. In ähnlicher Weise kann der in 3 gezeigte Speicherabschnitt 2332 für affine Parameter genereller als Speicherabschnitt 232 für Umwandlungsparameter beschrieben werden, der die von der Generierungsschaltung 250 für Umwandlungsparameter generierten Umwandlungsparameter speichert. In diesem Fall verkettet die Schaltung 270 zum Verketten von untergeordneten Bildern das eingegebene untergeordnete Bild, wobei die eingegebenen, in dem Speicherabschnitt 232 für Umwandlungsparameter gespeicherten und von der Generierungsschaltung 250 für Umwandlungsparameter generierten Bildumwandlungs-Parameter verwendet werden, um es zur Registrierung mit dem untergeordneten Basisbild zu bringen.
  • 4 stellt eine beispielhafte Ausführungsform der Generierungsschaltung 250 für affine Parameter detaillierter dar. Wie in 4 gezeigt, umfasst die Generierungsschaltung 250 für affine Parameter eine Blockvergleichsschaltung 251, eine Schätzschaltung 252 für affine Block-Parameter-Sets, eine Generierungsschaltung 253 für affine Parameter-Sets für untergeordnete Bilder, eine Nachprüfungsschaltung 254 für affine Parameter und eine Generierungsschaltung 260 für Bildpunktgruppen. Nachdem die Generierungsschaltung 250 für affine Parameter zwei untergeordnete Bilder eingegeben hat, wie beispielsweise das untergeordnete Basisbild und ein zu verkettendes untergeordnetes Bild, welches das untergeordnete Basisbild überlappt, vergleicht die Blockvergleichsschaltung 251 jeden Block des zu verkettenden untergeordneten Bilds mit einem oder mehr Blöcken des anderen untergeordneten Bilds. Wenn beispielsweise das untergeordnete Basisbild zu den zwei untergeordneten Bildern gehört, wird für jedes Paar von Blöcken in dem untergeordneten Basisbild und dem zu verkettenden untergeordneten Bild jedes Pixel in einem Block mit einem entsprechend positionierten Pixel in dem anderen Block verglichen.
  • Sobald alle von den Pixeln in einem der zwei Blöcke mit den entsprechenden Pixeln in dem anderen Block verglichen sind, werden die Ergebnisse des Vergleichs von der Blockvergleichsschaltung 251 an die Schätzschaltung 252 für affine Block-Parameter-Sets ausgegeben. Die Schätzschaltung 252 für affine Block-Parameter-Sets schätzt ein Set von affinen Block-Parametern, welche die vertikalen und horizontalen Übertragungskomponenten und vertikalen und horizontalen Komponenten jeder Drehung definieren, mit denen die Bildwerte der Pixel in einem Block am besten in die Bildwerte der Pixel in dem anderen Block umgewandelt werden. Insbesondere schätzt die Schätzschaltung für affine Block-Parameter-Sets die affinen Parameter, wie im 115-Patent erläutert und des Weiteren im Folgenden im Detail beschrieben wird. Es sollte klar sein, dass ein affines Block-Parameter-Set durch die Blockvergleichsschaltung 251 für jedes Paar von verglichenen Blöcken generiert wird.
  • Die geschätzten Block-Parameter-Sets werden anschließend von der Schätzschaltung 252 für affine Block-Parameter-Sets an die Generierungsschaltung 260 für Bildpunktgruppen ausgegeben. Die Generierungsschaltung 260 für Bildpunktgruppen stellt die geschätzten affinen Block-Parameter für die verglichenen Blöcke der zwei untergeordneten Bilder in einem n-dimensionalen Raum grafisch dar, wobei n normalerweise sechs ist, aber auch höher oder nur drei sein kann. Die Generierungsschaltung 260 für Bildpunktgruppen legt auch fest, welche Bildpunktgruppe von eingetragenen affinen Block-Parameter-Sets die meisten Elemente aufweist. Diese Bildpunktgruppe von affinen Block-Parameter-Sets wird anschließend von der Generierungsschaltung 260 für Bildpunktgruppen an die Generierungsschaltung 253 für affine Parameter-Sets für untergeordnete Bilder ausgegeben. Es sollte klar sein, dass ein sechsdimensionaler Raum verwendet werden kann, weil die Bilder auf einer planaren Oberfläche liegen und sechs Parameter ausreichend sind, um alle möglichen Formänderungen einer solchen planaren Oberfläche zu definieren. Diese sechs Parameter definieren die horizontalen und vertikalen Übertragungen und die Sinus- und Cosinus-Werte jeder Drehung. Es sollte des Weiteren klar sein, dass nur drei Parameter verwendet werden könnten, da drei Parameter ausreichend sind, um alle möglichen Formänderungen zu beschreiben, wenn eine Abtastvorrichtung zum Generieren der untergeordneten Bilder gemäß dieser Erfindung verwendet wird. Diese drei Parameter definieren die horizontalen und vertikalen Übertragungen und den Winkel jeder Drehung.
  • Die Generierungsschaltung 253 für affine Parameter-Sets für untergeordnete Bilder analysiert anschließend die affinen Block-Parameter-Sets, welche die Bildpunktgruppe bilden, die von der Generierungsschaltung 260 für Bildpunktgruppen identifiziert wird, um ein gesamtes affines Bild-Parameter-Set, das die Übertragungs- und Drehungsparameter definiert, zu ermitteln, das bei der Anwendung auf die Pixelwerte aller Blöcke von einem der untergeordneten Bilder am nächsten an die Pixelwerte der entsprechenden Pixel der entsprechenden Blöcke in dem anderen untergeordneten Bild heranführt. Sobald die Generierungsschaltung 253 für affine Parameter-Sets für untergeordnete Bilder dieses Set von affinen Bild-Parametern für das zu verkettende untergeordnete Bild ermittelt hat, werden diese affinen Bild-Parameter an die Nachprüfungsschaltung 254 für affine Parameter ausgegeben.
  • Die Nachprüfungsschaltung 254 für affine Parameter gibt anschließend die gespeicherten affinen Bild-Parameter für das andere untergeordnete Bild ein, d.h. das untergeordnete Bild, das zum Ermitteln der affinen Bild-Parameter für das zu verkettende untergeordnete Bild verwendet wird. Die Nachprüfungsschaltung 254 für affine Parameter prüft dann die affinen Bild-Parameter, die für das zu verkettende untergeordnete Bild ermittelt wurden auf der Basis der affinen Bild-Parameter für das andere untergeordnete Bild, so dass das zu verkettende untergeordnete Bild jetzt affine Bild-Parameter aufweist, die es, sofern vorhanden, zur Registrierung mit dem untergeordneten Basisbild oder einer vorgegebenen Referenzposition verketten. Es sollte selbstverständlich klar sein, dass, sofern das andere untergeordnete Bild das Basisbild ist, die affinen Bild-Parameter für das zu verkettende untergeordnete Bild nicht tatsächlich geändert werden.
  • Es sollte klar sein, wie oben angegeben, dass die in 4 gezeigte Schätzschaltung 252 für affine Block-Parameter-Sets genereller als eine Schätzschaltung 252 für Block-Umwandlungsparameter-Sets beschrieben werden kann, welche die speziellen Block-Umwandlungsparameter für die jeweilige verwendete Umwandlung generiert. In ähnlicher Weise kann die in 4 gezeigte Generierungsschaltung für affine Parameter-Sets für untergeordnete Bilder genereller als Generierungsschaltung 253 für Umwandlungsparameter-Sets für untergeordnete Bilder beschrieben werden, die spezielle Umwandlungsparameter für untergeordnete Bilder aus den Block-Umwandlungsparameter-Sets generiert. In ähnlicher Weise kann die in 4 gezeigte Nachprüfungsschaltung 254 für affine Parameter genereller als eine Nachprüfungsschaltung 254 für Umwand lungsparameter beschrieben werden, die Bild-Umwandlungsparameter nachprüft, die für das zu verkettende untergeordnete Bild auf der Basis der Bild-Umwandlungsparameter für das andere untergeordnete Bild ermittelt wurden.
  • 5 zeigt in größerem Detail eine beispielhafte Ausführungsform der Generierungsschaltung 260 für Bildpunktgruppen. Insbesondere, wie in 5 gezeigt, umfasst die Generierungsschaltung 260 für Bildpunktgruppen eine Schaltung 261 zur grafischen Darstellung (plotting circuit), eine Schaltung 262 zum Definieren von Bildpunktgruppen-Mitten (clusters centers), eine Schaltung 263 zur Abstandsermittlung, eine Schaltung 264 zum Zuordnen von Bildpunktgruppen, eine Nachprüfungsschaltung 265 für Bildpunktgruppen-Mitten und eine Schaltung 266 zum Zusammenführen von Bildpunktgruppen. Wenn die Generierungsschaltung 260 für Bildpunktgruppen jedes affine Block-Parameter-Set empfängt, das von der Schätzschaltung 252 für affine Block-Parameter ausgegeben wird, wird dieses affine Block-Parameter-Set zuerst in die Schaltung 261 zur grafischen Darstellung eingegeben, die das affine Block-Parameter-Set in einem sechsdimensionalen Raum oder eventuell in einem dreidimensionalen Raum grafisch darstellt. Wenn das von der Schaltung 261 zur grafischen Darstellung grafisch dargestellte affine Block-Parameter-Set das erste affine Block-Parameter-Set für ein neues Paar von untergeordneten Bildern ist, definiert die Schaltung 262 zum Definieren von Bildpunktgruppen-Mitten dieses erste affine Block-Parameter-Set als die erste Bildpunktgruppen-Mitte in dem sechsdimensionalen Raum oder eventuell in dem dreidimensionalen Raum. Die Schaltung 262 zum Definieren von Bildpunktgruppen-Mitten definiert dann eine zusätzliche (k-1) Bildpunktgruppen-Mitte in Bezug auf die erste Bildpunktgruppen-Mitte, wie in dem 115-Patent beschrieben, für eine Gesamtanzahl von k Bildpunktgruppen-Mitten. Im Allgemeinen werden die (k-1) zusätzlichen Bildpunktgruppen-Mitten in Bezug auf die grafisch dargestellte erste Bildpunktgruppen-Mitte definiert, so dass die ursprünglichen k Bildpunktgruppen-Mitten im Allgemeinen gleichmäßig über das Bild verteilt sind. Im Allgemeinen wird dies durch die Verwendung eines Abstands-Schwellenwerts so sichergestellt, dass sich die nächste Bildpunktgruppen-Mitte in einem Abstand von den vorher definierten Bildpunktgruppen-Mitten befindet, der gleich dem Abstands-Schwellenwert ist. Damit wird sichergestellt, dass wenigstens eine Bildpunktgruppen-Mitte aus dem sich überlappenden Bereich kommt.
  • Es sollte auch klar sein, dass die Schaltung 262 zum Definieren von Bildpunktgruppen-Mitten stattdessen warten könnte, bis alle von der Schätzschaltung 252 für affine Block-Parameter-Sets ausgegebenen affinen Block-Parameter-Sets von der Schaltung 261 zur grafischen Darstellung grafisch dargestellt sind, bevor die Bildpunktgruppen-Mitten definiert werden. In diesem Fall würde die Schaltung 262 zum Definieren von Bildpunktgruppen-Mitten die erste Bildpunktgruppen-Mitte als irgendeines der grafisch dargestellten affinen Block-Parameter-Sets definieren. Die anderen Bildpunktgruppen-Mitten würden dann auf die gleiche Weise in Bezug auf dieses ausgewählte affine Block-Parameter-Set ermittelt.
  • Sobald alle der von der Schätzschaltung 252 für affine Block-Parameter-Sets ausgegebenen affinen Block-Parameter-Sets von der Schaltung 261 zur grafischen Darstellung grafisch dargestellt sind, und die Bildpunktgruppen-Mitten von der Schaltung 262 zum Definieren von Bildpunktgruppen-Mitten definiert worden sind, ermittelt die Schaltung 263 zur Abstandsermittlung einen Abstand zwischen jeder Bildpunktgruppen-Mitte und jedem grafisch dargestellten affinen Block-Parameter-Set. Die Schaltung 264 zum Zuordnen von Bildpunktgruppen ordnet dann jedes der grafisch dargestellten Sets von affinen Block-Parametern zu einer der Bildpunktgruppen zu auf der Basis der Abstände, die von der Schaltung 263 zur Abstandsermittlung ermittelt wurden. Es sollte ebenfalls klar sein, dass die Schaltung 263 zur Abstandsermittlung und die Schaltung 264 zum Zuordnen von Bildpunktgruppen alternativ die Abstände für jedes affine Block-Parameter-Set ermitteln und dieses affine Block-Parameter-Set zu einer Bildpunktgruppe zuordnen könnten, wenn sie von der Schaltung 261 zur grafischen Darstellung grafisch dargestellt wird.
  • Sobald alle der affinen Block-Parameter-Sets grafisch dargestellt und einer Bildpunktgruppe zugeordnet sind, prüft die Nachprüfungsschaltung 265 für Bildpunktgruppen-Mitten alle der jeder speziellen Bildpunktgruppe zugeordneten Sets von affinen Block-Parametern. Auf der Basis der dieser Bildpunktgruppe zugeordneten affinen Block-Parameter-Sets prüft die Nachprüfungsschaltung 265 für Bildpunktgruppen-Mitten die Bildpunktgruppen-Mitte für diese Bildpunktgruppe nach. Danach ermittelt die Schaltung 266 zum Zusammenführen von Bildpunktgruppen, ob die Bildpunktgruppen-Mitten für beliebige zwei Bildpunktgruppen zu nahe beieinander liegen. Ist dies der Fall, führt die Schaltung 266 zum Zusammenführen von Bildpunktgruppen diese zwei Bildpunktgruppen zu einer einzigen größeren Bildpunktgruppe zusammen. Diese einzige größere Bildpunktgruppe wird dann an die Nachprüfungsschaltung 265 für Bildpunktgruppen-Mitten zurückgegeben, um ihre Bildpunktgruppen-Mitte weiter nachprüfen zu lassen.
  • Es sollte klar sein, wie oben angegeben, dass die in 5 gezeigte Generierungsschaltung 260 für Bildpunktgruppen genereller ausgedrückt Bildpunktgruppen generiert, basierend auf den Block-Umwandlungsparameter-Sets, die von der Schätzschaltung 252 für Block-Umwandlungsparameter-Sets generiert werden.
  • Wenn das System 200 zum Registrieren von abgetasteten Bildern die untergeordneten Bilder von der Abtastvorrichtung 100 empfängt, wie beispielsweise die untergeordneten Bilder 31 – 36, werden sie in dem Speicher 230 gespeichert. Die Schaltung 240 zum Unterteilen von untergeordneten Bildern in Blöcke unterteilt jedes der untergeordneten Bilder in Blöcke, wie in 2 dargestellt. Sobald die untergeordneten Bilder unterteilt und wieder gespeichert sind, wird eines der untergeordneten Bilder als das untergeordnete Basisbild identifiziert. Alle anderen untergeordneten Bilder werden schließlich zur Registrierung mit diesem untergeordneten Basisbild verkettet. Zur einfacheren Verarbeitung behandelt das System 200 zum Registrieren von abgetasteten Bildern das erste abgetastete untergeordnete Bild normalerweise als das untergeordnete Basisbild. Alternativ könnte das System 200 zum Registrieren von abgetasteten Bildern eine Eingabe von der Abtastvorrichtung 100 oder einem Bediener des Systems 200 zum Registrieren von abgetasteten Bildern empfangen, die ein bestimmtes der abgetasteten untergeordneten Bilder als das untergeordnete Basisbild identifiziert.
  • Sobald alle der untergeordneten Bilder eingegeben und in Blöcke unterteilt sind und das untergeordnete Basisbild identifiziert oder ausgewählt ist, werden das Basisbild und eines der anderen untergeordneten Bilder an die Generierungsschaltung für affine Parameter zum Ermitteln der affinen Bild-Parameter ausgegeben, welche die Pixelwerte des anderen untergeordneten Bild zur Registrierung mit den Pixelwerten des untergeordneten Basisbilds verketten. Insbesondere zur einfacheren Verarbeitung werden die verketteten untergeordneten Bilder in ihrer Abtastreihenfolge miteinander verglichen. Auf diese Weise wird für das in 1 gezeigte Originalbild 30 das erste untergeordnete Bild 31 zum untergeordneten Basisbild. Das untergeordnete Basisbild 31 und das zweite untergeordnete Bild 32 werden dann an die Generierungsschaltung 250 für affine Parameter ausgegeben, um die affinen Bild-Parameter zu generieren, die das zweite untergeordnete Bild 32 zur Registrierung mit dem ersten untergeordneten Bild bzw. untergeordneten Basisbild 31 verketten. Anschließend wird das dritte untergeordnete Bild 33 an die Generierungsschaltung 250 für affine Parameter ausgegeben, wo die affinen Bild-Parameter ermittelt werden, die das dritte untergeordnete Bild 33 zur Registrierung mit dem zweiten untergeordneten Bild 32 verketten. Danach wird das vierte untergeordnete Bild 34 an die Generierungsschaltung 250 für affine Parameter ausgegeben, wo die affinen Bild-Parameter ermittelt werden, die das vierte untergeordnete Bild 34 zur Registrierung mit dem dritten untergeordneten Bild 33 verketten. Dies wird fortgesetzt, bis alle der untergeordneten Bilder 31 – 36 eingegeben und verkettet sind.
  • Aus dem oben beschriebenen Betrieb des Systems 200 zum Registrieren von abgetasteten Bildern wird deutlich, dass die untergeordneten Bilder in einer bestimmten Reihenfolge so abgetastet werden müssen, dass jedes untergeordnete Bild das unmittelbar vorhergehende untergeordnete Bild in ausreichender Weise überlappt, so dass ein geeignetes Set von affinen Bild-Parametern generiert werden kann, die das aktuelle untergeordnete Bild zur Registrierung mit dem unmittelbar vorhergehenden untergeordneten Bild verketten. Diese Abtast-Reihenfolge ist beispielsweise in 13 dargestellt.
  • Das System 200 zum Registrieren von abgetasteten Bildern ist jedoch nicht auf diese Abtast-Reihenfolge beschränkt. Vielmehr minimiert diese Abtast-Reihenfolge, bei der die größte Belastung dem Benutzer beim Abtasten der untergeordneten Bilder in der entsprechenden Reihenfolge aufgebürdet wird, die rechnerische Belastung der Generierungsschaltung 250 für affine Parameter, wodurch es dem System 200 zum Registrieren von abgetasteten Bildern ermöglicht wird, das zusammengesetzte Bild des Originalbilds schneller zu rekonstruieren.
  • Alternativ könnte stattdessen eine andere Reihenfolge bei die Abtastung verwendet werden, mit der die Belastung des Benutzers beim Abtasten des Originaldokuments gemindert wird, die aber die rechnerische Belastung der Generierungsschaltung 250 für affine Parameter erhöht. Bei diesem zweiten Abtastplan müssen die untergeordneten Bilder nicht in einer bestimmten Reihenfolge abgetastet werden. Stattdessen muss der Benutzer beim Abtasten jedes untergeordneten Bilds angeben, welches vorher abgetastete untergeordnete Bild von der Generierungsschaltung 250 für affine Parameter verwendet werden soll, um das affine Bild-Parameter-Set für das aktuell abgetastete untergeordnete Bild zu generieren. In diesem Fall, in dem die Abtast-Reihenfolge nicht festgelegt ist, muss das System 200 zum Registrieren von abgetasteten Bildern explizit wissen, welches andere vorher abgetastete untergeordnete Bild zur Registrierung mit einem bestimmten zu verkettenden untergeordneten Bild zu verketten ist. Eine solche Abtast-Reihenfolge ist beispielsweise in 14 gezeigt.
  • Des Weiteren könnte eine dritte Abtast-Reihenfolge verwendet werden. Dieser dritte Abtastplan mindert die Belastung des Benutzers in höchstem Maße, erhöht aber die rechnerische Belastung der Generierungsschaltung 250 für affine Parameter maximal. Bei diesem dritten Abtastplan, wie in 15 gezeigt, müssen die untergeordneten Bilder nicht in einer bestimmten Reihenfolge abgetastet werden. Insbesondere müssen die untergeordneten Bilder nicht so abgetastet werden, dass irgendein untergeordnetes Bild wenigstens eines der vorher abgetasteten untergeordneten Bilder überlappen muss, wie dies in den Abtast-Reihenfolgen in 13 und 14 dargestellt ist. Vielmehr, während alle der abgetasteten untergeordneten Bilder letztendlich gegenseitig eines oder mehr der anderen abgetasteten untergeordneten Bilder überlappen müssen, braucht ein danach abgetastetes untergeordnetes Bild, wie in 15 gezeigt, nicht ein vorher abgetastetes Bild zu überlappen.
  • Bei diesem dritten Abtastplan müsste die Generierungsschaltung 250 für affine Parameter alle der nicht verketteten untergeordneten Bilder mit einem bestimmten ausgewählten der vorher verketteten Bilder bzw. mit dem untergeordneten Basisbild vergleichen, um zu ermitteln, welches untergeordnete Bild bzw. welche untergeordneten Bilder das ausgewählte Basisbild bzw. das vorher verkettete untergeordnete Bild in ausreichendem Maß so überlappen, dass ein ausreichendes Set von affinen Bild-Parametern zwischen dem ausgewählten untergeordneten Bild und jedem überlappenden untergeordneten Bild generiert werden kann. In der Tat erfordert dies, dass beim Auswählen jedes verketteten untergeordneten Bilds bzw. des untergeordneten Basisbilds für jedes der nicht verketteten untergeordneten Bilder ein Vergleich ausgeführt und ein affines Parameter-Set für untergeordnete Bilder generiert werden muss. Danach müssen die generierten affinen Parameter-Sets für untergeordneten Bilder nachgeprüft werden, um zu ermitteln, welches affine Parameter-Set für untergeordnete Bilder tatsächlich eine Überlappung zwischen entsprechenden nicht verketteten untergeordneten Bildern und dem ausge wählten verketteten untergeordneten Bild bzw. dem untergeordneten Basisbild widerspiegelt.
  • Gleichgültig, wie die zu vergleichenden untergeordneten Bilder ausgewählt werden und ungeachtet der Anzahl von zu vergleichenden untergeordneten Bildern vergleicht die Blockvergleichsschaltung 251 jeden Block von einem der untergeordneten Bilder mit dem entsprechend positionierten Block in dem anderen der untergeordneten Bilder. Auf diese Weise wird unter Bezugnahme auf die untergeordneten Bilder 31 und 32 in 2 der Block A1 des ersten untergeordneten Bilds 31 mit dem Block B1 des zweiten untergeordneten Bilds verglichen. In ähnlicher Weise werden die Blöcke A2 – A64 des ersten untergeordneten Bilds jeweils mit den Blöcken B2 – B64 des zweiten untergeordneten Bilds verglichen. Es sollte klar sein, dass dieses Verfahren zum Vergleichen der Blöcke von einem untergeordneten Bild mit den Blöcken des nächsten untergeordneten Bilds nur dann einwandfreie affine Block-Parameter generiert, wenn die Übertragungsmenge klein ist. Wenn die Übertragungsmenge zu groß ist, sollte eines der folgenden alternativen Verfahren zum Vergleichen der Blöcke verwendet werden.
  • In einem ersten alternativen Verfahren könnte, obwohl dieses erste alternative Verfahren die rechnerische Belastung der Blockvergleichsschaltung 251, der Schätzschaltung 252 für affine Block-Parameter-Sets und der Generierungsschaltung 260 von Bildpunktgruppen erhöht, jeder der Blöcke A1 – A64 mit jedem der Blöcke B1 – B64 verglichen werden. Auf diese Weise würden sich 64 Sets von pixelweisen Vergleichswerten für jeden der Blöcke A1 – A64 ergeben. Demzufolge würden 64 Sets von affinen Block-Parametern für jeden der Blöcke A1 – A64 generiert. Während dadurch die Anzahl der Vergleichsoperationen und die Anzahl der Schätzoperationen für affine Block-Parameter quadriert werden, wird dadurch auch, aber nicht proportional, die Genauigkeit der Generierung der affinen Parameter für untergeordnete Bilder erhöht. Es sollte daher klar sein, dass jeder dieser Vergleichspläne in Abhängigkeit von der erforderlichen Genauigkeit und den verfügbaren rechnerischen Ressourcen verwendet werden könnte.
  • In einem zweiten alternativen Verfahren, das die Fähigkeit des ersten alternativen Verfahrens, mit großen Übertragungen umgehen zu können, und die Fähigkeit des ersten Verfahrens, die rechnerische Belastung der Blockvergleichsschaltung 251, der Schätzschaltung 252 für affine Block-Parameter-Sets und der Generierungsschaltung 260 von Bildpunktgruppen zu minimieren, könnte nur eine kleine, ausgewählte Untergruppe der Blöcke A1 – A64 mit jedem der Blöcke B1 – B64 verglichen werden. Im Allgemeinen bestünde die ausgewählte Untergruppe der Blöcke A1 – A64 aus den Blöcken, die an der Begrenzung des untergeordneten Bildes liegen. Damit wird sichergestellt, dass die ausgewählte Untergruppe von Blöcken einige der überlappenden Blöcke enthält.
  • Es würde 64 Sets von pixelweisen Vergleichswerten für jeden der Blöcke der ausgewählten Untergruppe geben. Demzufolge würden 64 Sets von affinen Block-Parametern für jeden der Blöcke der ausgewählten Untergruppe generiert. Diese Sets von affinen Block-Parametern werden in Gruppen zusammengefasst, um zu identifizieren, welche der Blöcke B1 – B64 jedem der Blöcke der ausgewählten Untergruppe am meisten entsprechen. Dies ermöglicht einen zutreffenderen 1-zu-1-Vergleich der Blöcke A1 – A64 mit den Blöcken B1 – B64 auf der Basis der identifizierten von den Blöcken B1 – B64, die den Blöcken der kleinen ausgewählten Untergruppe entsprechen.
  • Es sollte klar sein, dass alle der in den 3 – 5 gezeigten Schaltungen als Teile eines entsprechend programmierten Mehrzweck-Rechners implementiert werden können. Alternativ können alle der in den 3 – 5 gezeigten Schaltungen als physikalisch unterschiedliche Hardware-Schaltungen in einer anwendungsspezifischen integrierten Schaltung (ASIC) oder unter Verwendung einer frei programmierbaren logischen Anordnung (FPGA), einer Programmentwurfssprache (PDL), einer programmierbaren Logikanordnung (PLA) oder einer PAL-Logik oder unter Verwendung diskreter Logikelemente oder diskreter Schaltungselemente implementiert werden. Die jeweilige Form, die jede der in den 3 – 5 gezeigten Schaltungen annimmt, ist eine Frage der Auslegungswahl und ist für den Fachmann offenkundig und vorhersehbar.
  • 21 zeigt eine zweite beispielhafte Ausführungsform eines Systems 400 zum Registrieren von abgetasteten Bildern gemäß dieser Erfindung. Wie in 21 dargestellt, umfasst das System 400 zum Registrieren von abgetasteten Bildern einen Pufferspeicher 410, der die Bildsignale über die Verbindung 110 von der Abtastvorrichtung 100 empfängt. Der Pufferspeicher 410 wandelt die Bildsignale in untergeordnete Bilder um und speichert bis zu zwei aufeinander folgende untergeordnete Bilder. Das bedeutet, dass der Pufferspeicher 410 nur zwei untergeordnete Bilder zur Verarbeitung im Speicher behält. Insbesondere bei diesem System 400 zum Registrieren von abgetasteten Bildern wird das erste von der Abtastvorrichtung 100 empfangene und in der Pufferspeichereinheit 410 gespeicherte untergeordnete Bild als das Basisbild verwendet, mit dem alle anderen untergeordneten Bilder zur Registrierung verkettet werden.
  • Wenn die Analyse dieser zwei untergeordneten Bilder abgeschlossen ist, löscht der Pufferspeicher 410 das ältere untergeordnete Bild und gibt das nächste untergeordnete Bild von der Abtastvorrichtung 100 oder von einem Zwischenspeicher ein. Der Pufferspeicher 410 überträgt die zwei gespeicherten untergeordneten Bilder an eine Schätzungseinheit 420.
  • Die Schätzungseinheit 420 schätzt das Set von affinen Bild-Parametern für die zwei in dem Pufferspeicher 410 gespeicherten untergeordneten Bilder, wie im Folgenden unter Bezugnahme auf die 7 und 9 und entweder 8 oder 10 beschrieben wird. Sobald das Set von affinen Bild-Parametem von der Schätzungseinheit 420 geschätzt ist, wird das Set von affinen Bild-Parametern zu einer Summiereinheit 430 und einer Verkettungsvorrichtung 440 (warper) übertragen. Gleichzeitig werden die zwei gespeicherten untergeordneten Bilder von der Pufferspeichereinheit 410 über eine Signalleitung 412 zu der Verkettungsvorrichtung übertragen.
  • Die Summiereinheit 430 addiert das Set von affinen Bild-Parametern, die von der Schätzungseinheit 420 ausgegeben werden, zu einer laufenden Summe des Sets von affinen Bild-Parametem. Die laufende Summe wird auf Null zurückgesetzt, bevor das erste Paar von untergeordneten Bildern von der Schätzungseinheit analysiert wird. Daher ist für das erste Paar von untergeordneten Bildern die Ausgabe der Summiereinheit identisch mit dem von der Schätzungseinheit 420 ausgegebenen Set von affinen Bild-Parametern.
  • Die Verkettungsvorrichtung 440 kompensiert die globale Formänderung zwischen dem letzten der zwei in der Pufferspeichereinheit 410 gespeicherten untergeordneten Bilder und dem untergeordneten Basisbild. Insbesondere "verkettet" die Verkettungsvorrichtung 440 das letzte der zwei in der Pufferspeichereinheit 410 gespeicherten untergeordneten Bilder unter Verwendung der laufenden Summe des von der Summiereinheit 430 ausgegebenen Sets von affinen Bild-Parametern.
  • Die verketteten untergeordneten Bilder werden zusammen mit dem untergeordneten Basisbild in einer Pufferspeichereinheit 450 für verkettete untergeordnete Bilder und das untergeordnete Basisbild (in a warped and base subimages buffer unit) gespeichert. Sobald alle der untergeordneten Bilder, ausgenommen das untergeordnete Basisbild, des Originaldokuments durch die Verkettungsvorrichtung 440 verkettet sind, werden alle der untergeordneten Bilder, einschließlich des untergeordneten Basisbilds, aus der Pufferspeichereinheit 450 für verkettete untergeordnete Bilder und das untergeordnete Basisbild an einen mittleren (mean) Filter 460 ausgegeben. Der mittlere Filter 460 kombiniert die von der Pufferspeichereinheit 450 für verkettete untergeordnete Bilder und das untergeordnete Basisbild empfangenen untergeordneten Bilder, wie im Folgenden in Gleichung 10 erläutert wird, um das zusammengesetzte Bild zu bilden. Das zusammengesetzte Bild wird dann von dem mittleren Filter an den Pufferspeicher 410 zurückgegeben, so dass das zusammengesetzte Bild über die Verbindung 110 an die Bilddatensenke 300 ausgegeben werden kann.
  • Es sollte klar sein, wie oben beschrieben, dass die bestimmten, in 21 dargestellten Elemente genereller ausgedrückt zum Generieren und Verarbeiten von Umwandlungsparametern verwendet werden können.
  • Es sollte klar sein, dass alle der in 21 dargestellten Elemente als Teile eines entsprechend programmierten Mehrzweck-Rechners implementiert werden können. Alternativ können alle der in 21 dargestellten Elemente als physikalisch unterschiedliche Hardware-Schaltungen in einer anwendungsspezifischen integrierten Schaltung (A-SIC) oder unter Verwendung einer frei programmierbaren logischen Anordnung (FPGA), einer Programmentwurfssprache (PDL), einer programmierbaren Logikanordnung (PLA) oder einer PAL-Logik oder unter Verwendung diskreter Logikelemente oder diskreter Schaltungselemente implementiert werden. Die jeweilige Form, die jedes der in 21 gezeigten Elemente annimmt, ist eine Frage der Auslegungswahl und ist für den Fachmann offenkundig und aussagbar.
  • 6 ist ein Ablaufdiagramm, das eine beispielhafte Ausführungsform des Verfahrens zum Konstruieren eines zusammengesetzten Bilds aus einer Vielzahl von abgetasteten untergeordneten Bildern gemäß dieser Erfindung darstellt. Beginnend mit Schritt S1000 fährt die Steuerung mit Schritt S2000 fort, in dem N untergeordnete Bilder eines Origi naldokuments von einer Abtastvorrichtung erhalten werden. Im Schritt S3000 wird jedes der N untergeordneten Bilder anschließend in M Blöcke unterteilt. Danach wird in Schritt S4000 eines der N untergeordneten Bilder als das untergeordnete Basisbild gewählt, wie oben erläutert. Die Steuerung fährt mit Schritt S5000 fort.
  • In Schritt S5000 wird für jedes andere untergeordnete Bild ein Set von affinen Bild-Parametem in Bezug auf das untergeordnete Basisbild ermittelt. Jedes andere untergeordnete Bild wird dann auf der Basis des ermittelten affinen Bild-Parameter-Sets für das Bild in Bezug auf das untergeordnete Basisbild verkettet. Anschließend werden im Schritt S6000 das untergeordnete Basisbild und die N-1 verketteten untergeordneten Bilder kombiniert, um ein zusammengesetztes Bild des abgetasteten Dokumentes zu bilden oder zu rekonstruieren. Danach wird in Schritt S7000 das rekonstruierte abgetastete zusammengesetzte Bild, das in Schritt S6000 gebildet wurde, gespeichert und/oder ausgegeben. Die Steuerung fährt danach bis zum Schritt S8000 fort, in dem das Verfahren endet.
  • Es sollte klar sein, wie oben erläutert, dass Schritt S5000 in 7 und die jeweiligen untergeordneten Schritte von Schritt S5000, die im Folgenden in den 7 – 12B beschrieben werden, genereller ausgedrückt zum Generieren von Umwandlungsparametern für die untergeordneten Bilder und zum Verketten der untergeordneten Bilder auf der Basis der Umwandlungsparameter verwendet werden können.
  • 7 ist ein Ablaufdiagramm, das eine beispielhafte Ausführungsform des Schritts S5000 zum Ermitteln der affinen Bild-Parameter von 6 detaillierter darstellt. Beginnend mit Schritt S5000 fährt die Steuerung in dieser beispielhaften Ausführungsform mit Schritt S5020 fort, in dem das in Schritt S4000 ausgewählte untergeordnete Basisbild auf das aktuelle Bild gesetzt wird. Anschließend wird in Schritt S5040 das in der Abtast-Reihenfolge nächste untergeordnete Bild als das nächste untergeordnete Bild ausgewählt. Danach werden in Schritt S5060 ein oder mehrere affine Block-Parameter-Sets für jeden Block des nächsten Bilds in Bezug auf die Blöcke des aktuellen Bilds ermittelt. Die Steuerung fährt danach mit Schritt S5080 fort.
  • In Schritt S5080 werden die in Schritt S5060 ermittelten Sets von affinen Block-Parametern zu Bildpunktgruppen zusammengefasst. In Schritt S5100 wird ein einzelnes Set von affinen Bild-Parametern für das nächste Bild aus den in Schritt S5080 gebildeten Bildpunktgruppen ermittelt. Danach werden in Schritt S5120 die für das nächste Bild ermittelten affinen Bild-Parameter zu einer laufenden Summe von affinen Bild-Parametern addiert. Die laufende Summe von affinen Bild-Parametern ist anfänglich auf 0 gesetzt, womit angegeben wird, dass die affinen Bild-Parameter zum Verketten des Basisbilds zur Registrierung mit dem Basisbild alle 0 sind. Wenn danach das zweite untergeordnete Bild in Bezug auf das Basisbild ermittelt wird, wird sein Set von affinen Bild-Parametem zu der laufenden Summe addiert. Wenn daher das affine Bild-Parameter-Set für das dritte untergeordnete Bild in Bezug auf das zweite untergeordnete Bild ermittelt wird, werden diese affinen Bild-Parameter zu der laufenden Summe addiert, um das dritte untergeordnete Bild vollständig zur Registrierung mit dem untergeordneten ersten bzw. untergeordneten Basisbild zu verketten. Die Steuerung fährt anschließend mit Schritt S5140 fort.
  • In Schritt S5140 wird das nächste Bild auf der Basis der aktualisierten laufenden Summe von affinen Bild-Parametern verkettet, die in Schritt S5120 aktualisiert wurden. Danach werden in Schritt S5160 die aktualisierte laufende Summe der affinen Bild-Parameter und das verkettete nächste Bild gespeichert. Insbesondere wird das verkettete nächste Bild als die verkettete Version des ausgewählten nächsten untergeordneten Bilds gespeichert. Danach werden in Schritt S5180 die untergeordneten Bilder geprüft, um zu ermitteln, ob alle der untergeordneten Bilder, ausgenommen das untergeordnete Basisbild, verkettet worden sind. Ist dies der Fall, springt die Steuerung auf Schritt S5220. Andernfalls fährt die Steuerung mit Schritt S5200 fort.
  • In Schritt S5200 wird das vorher ausgewählte nächste untergeordnete Bild, das als das nächste Bild gewählt wurde, zum aktuellen Bild. Die Steuerung kehrt danach zu Schritt S5040 zurück, um das nächste untergeordnete Bild als das nächste Bild auszuwählen. Falls in Schritt S5220 der gegenteilige Fall eintritt, kehrt die Steuerung zum Schritt S6000 zurück.
  • 8 ist ein Ablaufdiagramm, das eine beispielhafte Ausführungsform des Schritts S5060 zum Ermitteln des affinen Block-Parameter-Sets von 7 erläutert. Beginnend in Schritt S5061 fährt die Steuerung mit Schritt S5062 fort, wo jeder Block des nächsten Bilds mit einem einzelnen entsprechenden Block des aktuellen Bilds verglichen wird.
  • Insbesondere ist der entsprechende Block des aktuellen Bilds der Block in der gleichen relativen Position in dem aktuellen Bild wie der entsprechende Block in dem nächsten Bild. Anschließend wird in Schritt S5063, basierend auf dem Vergleich für einen der M Blöcke, ein Set von affinen Block-Parametern für diesen Block des nächsten Bilds geschätzt. Danach kehrt die Steuerung in Schritt S5064 wieder zu Schritt S5080 zurück, welcher der auf Schritt S5060 in 7 folgende Schritt ist.
  • 9 ist ein Ablaufdiagramm, das eine beispielhafte Ausführungsform des Schritts S5080 zur Bildpunktgruppierung des affinen Block-Parameter-Sets von 7 erläutert. Beginnend mit Schritt S5087 fährt die Steuerung mit Schritt S5082 fort, wo eines der affinen Block-Parameter-Sets als das aktuelle affine Block-Parameter-Set gewählt wird. Danach werden in Schritt S5083 die affinen Block-Parameter des ausgewählten affinen Block-Parameter-Sets in dem dreidimensionalen Raum oder dem sechsdimensionalen Raum als eine erste Bildpunktgruppen-Mitte grafisch dargestellt. Danach werden in Schritt S5084 (k-1) zusätzliche Bildpunktgruppen-Mitten in Bezug auf die grafisch dargestellte erste Bildpunktgruppen-Mitte definiert, so dass. die ursprünglichen k Bildpunktgruppen-Mitten im Allgemeinen gleichmäßig über das Bild verteilt sind. Im Allgemeinen wird dies durch die Verwendung eines Abstands-Schwellenwerts so sichergestellt, dass sich die nächste Bildpunktgruppen-Mitte in einem Abstand von den vorher definierten Bildpunktgruppen-Mitten befindet, der gleich dem Abstands-Schwellenwert ist. Damit wird sichergestellt, dass wenigstens eine Bildpunktgruppen-Mitte aus dem sich überlappenden Bereich kommt. Die Steuerung fährt danach mit Schritt S5085 fort.
  • In Schritt S5085 wird ein nächstes der affinen Block-Parameter-Sets als das aktuelle Set ausgewählt. Danach werden in Schritt S5086 die affinen Block-Parameter für das aktuelle Set in dem dreidimensionalen Raum oder dem sechsdimensionalen Raum grafisch dargestellt, und die dem grafisch dargestellten, aktuellen, affinen Block-Parameter-Set am nächsten liegende Bildpunktgruppen-Mitte wird ermittelt. Danach wird in Schritt S5087 das aktuelle Set von affinen Block-Parametern zu der Bildpunktgruppe zugeordnet, die in Schritt S5087 als die am nächsten liegende Bildpunktgruppen-Mitte ermittelt wurde. Die Steuerung kehrt danach zu Schritt S5088 zurück.
  • In Schritt S5088 werden die affinen Block-Parameter-Sets geprüft, um zu ermitteln, ob noch irgendwelche nicht zugeordneten affinen Bock-Parameter-Sets übrig sind. Ist dies der Fall, springt die Steuerung zurück auf Schritt S5085. Andernfalls fährt die Steuerung mit Schritt S5089 fort.
  • In Schritt S5089 werden die Bildpunktgruppen neu zentriert (recentered). Anschließend werden in Schritt S5090 Bildpunktgruppen mit einem Abstand zwischen den Bildpunktgruppen-Mitten innerhalb eines Schwellenwert-Abstands zusammengeführt. Danach werden in Schritt S5091 die Bildpunktgruppen neu zentriert, wie in Schritt S5089. Die Steuerung fährt danach mit Schritt S5092 fort, der zu Schritt S5100 zurückkehrt, der in 7 der auf Schritt S5080 folgende Schritt ist.
  • Es sollte klar sein, dass die oben erläuterte Beschreibung der Schritte S5060 und S5080 in den 7 – 9 davon ausgeht, dass alle der Sets von affinen Block-Parametem für jeden der M Blöcke des nächsten Bilds ermittelt werden, bevor eines der Sets von affinen Block-Parametem gemäß dem in 9 erläuterten Verfahren grafisch dargestellt wird. Es sollte jedoch klar sein, dass im Gegensatz dazu die Verfahren für die Schritte S5060 und S5080 intermittierend so ineinander verflochten sein könnten, dass, nachdem jedes Set von affinen Block-Parametem für einen bestimmten der M Blöcke gemäß den Schritten S5062 und S5063 ermittelt wurde, das ermittelte affine Block-Parameter-Set für den Block sofort in den Schritten S5083 oder S5086 grafisch dargestellt und anschließend jeweils entweder als die erste Bildpunktgruppen-Mitte definiert oder einer bestimmten definierten Bildpunktgruppe zugeordnet wird.
  • Das oben erläuterte beispielhafte Verfahren zur Bildrekonstruktion gemäß dieser Erfindung entspricht der oben beschriebenen Abtast-Reihenfolge mit der geringsten rechnerischen Belastung. Insbesondere verwendet die oben erläuterte beispielhafte Ausführungsform des Verfahrens zur Bildrekonstruktion gemäß dieser Erfindung einen einfachen Schritt zum Ermitteln der affinen Block-Parameter, der jeden Block eines Bilds mit einem einzelnen entsprechenden Block des anderen untergeordneten Bilds vergleicht. Zum Bereitstellen einer genaueren Gruppe von affinen Bock-Parameter-Sets kann das in 8 gezeigte einfache Ermmittlungsverfahren von affinen Block-Parametem durch ein komplexeres Verfahren zum Ermitteln von affinen Block-Parametem ersetzt werden, wie in 10 gezeigt.
  • Wenn dementsprechend, wie in 10 gezeigt, der Schritt zum Ermitteln des affinen Block-Parameter-Sets von Schritt S5060 ausgeführt wird, könnte die Steuerung stattdessen mit Schritt S5065 statt mit Schritt S5061 fortfahren. Von Schritt S5065 aus fährt die Steuerung mit Schritt S5066 fort, in dem ein Zähler für Blöcke von aktuellen Bildern M und ein Zähler für Blöcke von untergeordneten Bildern L auf 1 gesetzt werden. Danach wird in Schritt S5067 der "m-te" Block des aktuellen Bilds ausgewählt. Danach wird in Schritt S5068 der "I-te" Block des nächsten Bilds ausgewählt. Die Steuerung fährt anschließend mit Schritt S5069 fort.
  • In Schritt S5069 wird der m-te Block mit dem I-ten Block verglichen. Danach wird in Schritt S5070 das affine Block-Parameter-Set für den I-ten Block auf der Basis des Vergleichs des I-ten Blocks mit dem m-ten Block geschätzt. Danach wird in Schritt S5071 der I-te Block geprüft, um zu ermitteln, ob es sich um den letzten Block des nächsten Bilds handelt. Falls nicht, fährt die Steuerung mit Schritt S5072 fort. Andernfalls springt die Steuerung auf Schritt S5073. In Schritt S5072 wird der Wert von "I" um eins erhöht, und die Steuerung kehrt zu Schritt S5068 zurück.
  • Andernfalls wird in Schritt S5073 der m-te Block geprüft, um zu ermitteln, ob es sich um den letzten Block des aktuellen Bilds handelt. Falls nicht, fährt die Steuerung mit Schritt S5074 fort. Andernfalls springt die Steuerung auf Schritt S5075. In Schritt S5074 wird der Wert von "m" um eins erhöht, und die Steuerung kehrt zu Schritt S5067 zurück. Im Gegensatz dazu kehrt die Steuerung in Schritt S5075 zu Schritt S5080 zurück, der in 7 der auf Schritt S5060 folgende Schritt ist.
  • Wie oben unter Bezug auf die Schritte S5060 und S5080 und die 7 – 9 erläutert, können die oben erläuterten Schritte in Bezug auf die 9 und 10 auch so kombiniert werden, dass, wenn jeder Block des nächsten Bilds mit einem der Blöcke des aktuellen Bilds verglichen wird, das sich daraus ergebende Set von affinen Block-Parametem sofort grafisch dargestellt und entweder zum Definieren der Bildpunktgruppen-Mitten verwendet oder sofort einer der definierten Bildpunktgruppen zugeordnet wird.
  • Zum Bereitstellen einer genaueren Gruppe von affinen Block-Parameter-Sets in einer rechnerisch effizienteren Weise kann das in 8 dargestellte einfache Verfahren zum Ermitteln von affinen Block-Parametern durch das oben beschriebene zweite alter native Verfahren ersetzt werden. Bei diesem Verfahren wird eine kleine Untergruppe von den Blöcken eines aktuellen untergeordneten Bilds ausgewählt. Danach wird ein erster Block aus der ausgewählten Untergruppe ausgewählt. Anschließend wird ein Zähler zum Zählen der Anzahl der Blöcke in dem nächsten untergeordneten Bild zurückgesetzt, die mit dem ausgewählten Block verglichen worden sind.
  • Ein erster Block des nächsten untergeordneten Bilds wird anschließend ausgewählt. Danach wird der ausgewählte Block des aktuellen untergeordneten Bilds mit dem ausgewählten Block des nächsten untergeordneten Bilds verglichen. Anschließend wird das affine Block-Parameter-Set für den ausgewählten Block des aktuellen untergeordneten Bilds basierend auf dem Vergleich des ausgewählten Blocks des nächsten untergeordneten Bilds mit dem ausgewählten Block des aktuellen untergeordneten Bilds geschätzt Dann wird der Zähler geprüft, um zu ermitteln, ob alle von den Blöcken des nächsten untergeordneten Bilds mit dem ausgewählten Block des aktuellen untergeordneten Bilds verglichen worden sind. Falls nicht, wird ein nächster Block des nächsten untergeordneten Bilds ausgewählt und die Vergleichs- und Schätzungsschritte werden wiederholt. In diesem Fall wird die ausgewählte Untergruppe von Blöcken des aktuellen untergeordneten Bilds geprüft, ob alle von den Blöcken der Untergruppe ausgewählt worden sind. Ist dies nicht der Fall, wird ein nächster Block der Untergruppe ausgewählt und die Rücksetz-, Auswahl-, Vergleichs – und Schätzungsschritte werden wiederholt.
  • Wenn dies der Fall ist, wird ein Versatzwert (offset value) auf der Basis der geschätzten affinen Block-Parameter ermittelt. Der Versatzwert stellt annähernd die Übertragungsmenge zwischen den aktuellen und nächsten untergeordneten Bildern dar und gibt an, wie die Blöcke des aktuellen untergeordneten Bilds zum Ermitteln der affinen Bild-Parameter mit den Blöcken des nächsten untergeordneten Bilds verglichen werden sollen. Danach werden die Schritte S5062 – S5064 des Ablaufdiagramms von 8 auf der Basis des Versatzwerts ausgeführt.
  • Wie oben unter Bezug auf die 9 und 10 erläutert, können die oben beschriebenen Schritte auch mit den Schritten von 9 so kombiniert werden, dass, wenn jeder Block des nächsten Bilds mit einem der Blöcke des aktuellen Bilds verglichen wird, das sich daraus ergebende Set von affinen Block-Parametern sofort grafisch dargestellt und entweder zum Definieren der Bildpunktgruppen-Mitten verwendet oder sofort einer der definierten Bildpunktgruppen zugeordnet wird.
  • Die 11A und 11B sind ein Ablaufdiagramm, das eine zweite beispielhafte Ausführungsform des Schritts S5000 zum Ermitteln von affinen Bild-Parametem von 6 detaillierter darstellt. Wie oben angegeben, kann diese zweite beispielhafte Ausführungsform des Schritts S5000 zum Ermitteln von affinen Bild-Parametem verwendet werden, wenn der Benutzer das untergeordnete Basisbild explizit identifiziert und explizit angibt, welche untergeordneten Bilder mit anderen untergeordneten Bildern überlappen.
  • Wie in den 11A und 11B gezeigt, fährt die Steuerung, beginnend bei Schritt S5000, mit Schritt S5300 fort, in dem das identifizierte untergeordnete Basisbild als das aktuelle Bild ausgewählt wird. Danach werden in Schritt S5320 die untergeordneten Bilder, die als das aktuelle Bild überlappend gekennzeichnet oder angegeben sind, selbst identifiziert. Anschließend werden in Schritt S5340 die identifizierten untergeordneten Bilder geprüft, um sicherzustellen, dass wenigstens ein übriges nicht verkettetes untergeordnetes Bild vorhanden ist, welches das aktuelle Bild überlappt. Wenn es irgend solche untergeordneten Bilder gibt, die als das aktuelle Bild überlappend gekennzeichnet sind, fährt die Steuerung mit Schritt S5360 fort. Andernfalls springt die Steuerung auf Schritt S5540.
  • In Schritt S5360 wird eines der identifizierten untergeordneten Bilder, welches das aktuelle Bild überlappt, als das nächste Bild gewählt. Anschließend werden in Schritt S5380 die affinen Block-Parameter-Sets für die Blöcke des nächsten Bilds in Bezug auf das aktuelle Bild ermittelt. Es sollte klar sein, dass in Schritt S5380 jedes der Verfahren zum Ermitteln von affinen Block-Parameter-Sets verwendet werden kann, die oben unter Bezugnahme auf die 8 und 10 erläutert wurden. Wie oben beschrieben, werden die verschiedenen Ausführungsformen der in den 8 und 10 dargestellten Verfahren zum Ermitteln von affinen Block-Parameter-Sets auf der Basis der verfügbaren rechnerischen Ressourcen, der gewünschten Genauigkeit und/oder der gewünschten Zeit für die Ausführung der Verarbeitung ausgewählt. Danach fährt die Steuerung mit Schritt S5400 fort.
  • In Schritt S5400 werden die in Schritt S5380 ermittelten Sets von affinen Block-Parametem zu Bildpunktgruppen zusammengefasst. Danach wird in Schritt S5420 das Set von affinen Bild-Parametem für das nächste Bild in Bezug auf das aktuelle Bild auf der Basis der in Schritt S5400 ausgeführten Bildpunktgruppen-Bildung ermittelt. In Schritt S5440 wird dann das affine Bild-Parameter-Set des aktuellen Bilds zu dem ermittelten affinen Bild-Parameter-Set des nächsten Bilds addiert, das in Schritt S5420 ermittelt wurde. Das heißt, in Schritt S5440 werden die affinen Bild-Parameter für das aktuelle Bild, die das Bild zur Registrierung mit dem Basisbild verketten, mit den affinen Bild-Parametem für das nächste Bild verkettet. Das aktuelle Set von affinen Bild-Parametern für das nächste Bild, wie es in Schritt S5420 ermittelt wurde, verketten das Bild lediglich zur Registrierung mit dem aktuellen Bild, das nicht notwendigerweise das Basisbild ist. Durch das Verketten des affinen Bild-Parameter-Sets des aktuellen Bilds mit den affinen Bild-Parametem für das nächste Bild in Bezug auf das aktuelle Bild kann das nächste Bild zur Registrierung mit dem Basisbild verkettet werden. Die Steuerung fährt danach mit Schritt S5460 fort.
  • Wenn die affinen Bild-Parameter die Übertragung und den Winkel aufweisen, werden die affinen Bild-Parameter für das aktuelle Bild mit den affinen Bild-Parametem für das nächste Bild verkettet, indem die affinen Bild-Parameter für die Übertragung addiert werden und die affinen Bild-Parameter für die Winkel addiert werden. Wenn die affinen Bild-Parameter jedoch die Sinus- und Cosinus-Werte des Winkels anstatt des Winkels selbst aufweisen, können die Sinus- und Cosinus-Werte nicht direkt aufaddiert werden.
  • In Schritt S5460 wird das nächste Bild zur Registrierung mit dem Basisbild auf der Basis der nachgeprüften affinen Bild-Parameter verkettet, die in Schritt S5440 nachgeprüft wurden. Danach wird in Schritt S5480 das verkettete nächste Bild als die verkettete Version des ausgewählten nächsten untergeordneten Bilds gespeichert. Anschließend wird in Schritt S5500 das nachgeprüfte Set von affinen Bild-Parametern für das ausgewählte nächste untergeordnete Bild gespeichert, so dass alle nicht verketteten untergeordneten Bilder, die als dieses ausgewählte nächste untergeordnete Bild überlappend identifiziert wurden, selbst in Schritt S5440 und S5460 zur Registrierung mit dem untergeordneten Basisbild verkettet werden können. Die Steuerung fährt danach mit Schritt S5520 fort.
  • In Schritt S5520 wird das Set von identifizierten untergeordneten Bildern, die das aktuelle Bild überlappen, geprüft, um zu ermitteln, ob alle derartigen identifizierten untergeordneten Bilder verkettet worden sind. Ist dies der Fall, fährt die Steuerung mit Schritt S5540 fort. Andernfalls, wenn noch irgendwelche nicht verketteten, identifizierten, untergeordneten Bilder übrig sind, springt die Steuerung zurück auf Schritt S5360.
  • In Schritt S5540 werden alle der untergeordneten Nicht-Basisbilder geprüft, um zu ermitteln, ob sie alle zur Registrierung mit dem untergeordneten Basisbild verkettet worden sind. Ist dies der Fall, springt die Steuerung auf Schritt S5580. Andernfalls, wenn noch irgendwelche nicht verketteten, untergeordneten Nicht-Basisbilder übrig sind, fährt die Steuerung mit Schritt S5560 fort.
  • In Schritt S5560 wird ein vorher nicht ausgewähltes der verketteten untergeordneten Bilder als das aktuelle Bild ausgewählt. Die Steuerung springt dann zurück zu Schritt S5320. Im Gegensatz dazu kehrt die Steuerung in Schritt S5580 zu Schritt 6000 zurück.
  • Die 12A und 12B erläutern detaillierter eine dritte beispielhafte Ausführungsform des Schritts S5000 zum Ermitteln von affinen Block-Parameter-Sets. Diese dritte beispielhafte Ausführungsform des Schritts S5000 zum Ermitteln des affinen Block-Parameter-Sets kann verwendet werden, wenn der Benutzer die untergeordneten Bilder in keiner bestimmten Reihenfolge abgetastet und das untergeordnete Basisbild oder diejenigen der untergeordneten Nicht-Basisbilder nicht anderweitig identifiziert hat, die das untergeordnete Basisbild oder die anderen untergeordneten Basisbilder überlappen. In dieser dritten beispielhaften Ausführungsform kann das untergeordnete Basisbild jedes beliebige der abgetasteten untergeordneten Bilder sein, obwohl im allgemeinen das erste so abgetastete untergeordnete Bild automatisch als das untergeordnete Basisbild behandelt wird.
  • Dementsprechend, wie in den 12A und 12B gezeigt, beginnt die dritte beispielhafte Ausführungsform des Schritts zum Ermitteln des affinen Bild-Parameter-Sets in Schritt S5000 und fährt mit Schritt S6000 fort. In Schritt S5600 wird das untergeordnete Basisbild als das aktuelle Bild ausgewählt. Danach wird in Schritt S5620 das nächste nicht verkettete untergeordnete Bild als das nächste Bild ausgewählt. Danach werden in Schritt S5640 die affinen Block-Parameter-Sets für die Blocks des nächsten Bilds in Be zug auf das aktuelle Bild ermittelt. Wie oben unter Bezugnahme auf die 11A und 11B erläutert, können alle der beispielhaften Ausführungsformen des Schritts S5060 zum Ermitteln der affinen Block-Parameter, die in den 8 und 10 beschrieben wurden, in Schritt S5640 verwendet werden. Die Steuerung fährt danach mit Schritt S5660 fort.
  • In Schritt S5660 werden die Sets von affinen Block-Parametem gemäß Schritt S5080, wie in 9 gezeigt, zu Bildpunktgruppen zusammengefasst. Wie oben unter Bezug auf die Schritte S5060 und S5080 und die 7 – 9 erläutert, können die oben erläuterten Schritte in Bezug auf die 9 und 10 auch so kombiniert werden, dass, wenn jeder Block des nächsten Bilds mit einem der Blöcke des aktuellen Bilds verglichen wird, das sich daraus ergebende Set von affinen Block-Parametem sofort grafisch dargestellt und entweder zum Definieren der Bildpunktgruppen-Mitten verwendet oder sofort einer der definierten Bildpunktgruppen zugeordnet wird. Anschließend wird in Schritt S5680 ein Set von affinen Bild-Parametem für das nächste Bild in Bezug auf das aktuelle Bild aus der in Bildpunktgruppierung ermittelt, die in Schritt S5660 ausgeführt wurde. Die Steuerung fährt danach mit Schritt S5770 fort.
  • In Schritt S5700 werden die untergeordneten Bilder geprüft, um zu ermitteln, ob noch irgendwelche nicht ausgewählten und nicht verketteten untergeordneten Bilder vorhanden sind, für die ein Set von Bildumriss-Parametern (image outline parameters) in Bezug auf das aktuelle Bild ermittelt werden muss. Ist dies der Fall, springt die Steuerung auf Schritt S5620 zurück. Andernfalls, wenn alle der nicht verketteten untergeordneten Bilder ausgewählt worden sind, fährt die Steuerung mit Schritt S5720 fort.
  • In Schritt S5720 werden die Sets von affinen Bild-Parametem für alle der nicht verketteten untergeordneten Bilder in Bezug auf das aktuelle Bild geprüft, um zu ermitteln, ob wenigstens eines der Sets von affinen Bild-Parametern das entsprechende nicht verkettete untergeordnete Bild angibt, welches das aktuelle Bild tatsächlich überlappt. Im Allgemeinen ergibt sich ein gutes Set von affinen Bild-Parametem, wenn die Bildpunktgruppe, die dem Set von affinen Bild-Parametern entspricht, eine Anzahl von Elementen enthält, die über einem Schwellenwert liegt. Der Schwellenwert gibt an, dass die Bildpunktgruppe wahrscheinlich aufgetreten ist, weil sie Blöcke aufweist, die sowohl in dem entsprechenden nicht verketteten untergeordneten Bild als auch in dem aktuellen Bild vorkommen. Wenn keine derartigen Sets vorhanden sind, springt die Steuerung auf Schritt S5820. Andernfalls fährt die Steuerung mit Schritt S5740 fort.
  • In Schritt S5740 werden die in Schritt S5720 ermittelten Sets von affinen Bild-Parametem für alle der nicht verketteten untergeordneten Bilder geprüft, um zu ermitteln, welche von den solcherart nicht verketteten untergeordneten Bildern ein Set von affinen Bild-Parametem aufweisen, die innerhalb eines vorgegebenen Abstands von dem aktuellen Bild liegen. Das heißt, die unverketteten untergeordneten Bilder werden geprüft, um festzustellen, welche untergeordneten Bilder das aktuelle Bild tatsächlich überlappen. Danach werden in Schritt S5760 für jedes derartige identifizierte untergeordnete Bild die affinen Bild-Parameter des aktuellen Bilds zu den affinen Bild-Parametem für das identifizierte untergeordnete Bild addiert. Anschließend wird in Schritt S5780 jedes in Schritt S5740 identifizierte untergeordnete Bild verkettet auf der Basis seiner entsprechenden affinen Bild-Parameter, die in Schritt S5760 nachgeprüft wurden, um das identifizierte untergeordnete Bild zur Registrierung mit dem untergeordneten Basisbild zu verketten. Danach fährt die Steuerung mit Schritt S5800 fort.
  • In Schritt S5800 werden die verketteten untergeordneten Bilder und die entsprechenden nachgeprüften affinen Bild-Parameter für die identifizierten untergeordneten Bilder gespeichert. Danach werden in Schritt S5820 die untergeordneten Nicht-Basisbilder geprüft, um zu ermitteln, ob alle der untergeordneten Nicht-Basisbilder zur Registrierung mit dem untergeordneten Basisbild verkettet worden sind. Ist dies der Fall, springt die Steuerung zu Schritt S5860. Andernfalls fährt die Steuerung mit Schritt S5840 fort.
  • In Schritt S5840 wird ein vorher nicht ausgewähltes der verketteten untergeordneten Bilder als ein aktuelles Bild ausgewählt. Die Steuerung kehrt dann zu Schritt S5620 zurück. Im Gegensatz dazu kehrt die Steuerung in Schritt S5860 zu Schritt S6000 zurück.
  • Für jedes Paar aus einem Block in dem aktuellen Bild und einem Block in dem nächsten Bild, das in den Schritten S5062 oder 5067 verglichen werden muss, werden diese Blöcke verglichen, um ein Set von affinen Parametern, wie im 115-Patent erläutert, zu generieren. Insbesondere unter Bezugnahme auf die Systeme und Verfahren zum Registrieren von abgetasteten untergeordneten Bildern, um ein zusammengesetztes abgetastetes Bild zu bilden, werden die räumlichen Versätze, einschließlich der Übertragungs- Versätze und der Drehungs-Versätze zwischen zwei sich überlappenden untergeordneten Bildern ermittelt durch Generieren eines Sets von affinen Parameter-Schätzwerten
    a 1, wobei: a i = (a0, a1, a2, a3, a4, a5) (1)Jedes Set ai von affinen Parameter-Schätzwerten wird unter Verwendung der wohlbekannten optischer Flussanalyse und affinen Parametrisierungstechniken ermittelt, wie bei Black erläutert. Insbesondere, wenn eine affine Formänderung vorliegt, die entweder eines oder beides von einer Drehung oder einer Übertragung zwischen den zwei überlappenden untergeordneten Bildern umfasst, kann die räumliche Umwandlung angegeben werden als: x' = a0x + a1y +a2, (2) y' = a3x + a4y + a5, (3)wobei:
    a0, a1, a2, a3, a4 und a5 die affinen Parameter sind;
    (x,y) die Koordinaten eines entsprechenden Pixels in einem aktuellen der untergeordneten Bilder sind; und
    (x',y') die Koordinaten des entsprechenden Pixels in dem nächsten untergeordneten Bild sind, d.h. dem untergeordneten Bild, das zur Registrierung mit dem aktuellen untergeordneten Bild verkettet werden soll.
  • Es sollte klar sein, dass, wenn nur eine übertragungsbedingte Formänderung zwischen einem untergeordneten Bild und einem zweiten untergeordneten Bild vorliegt, welches das erste untergeordnete Bild überlappt, der Koeffizient "a0" gleich 1 ist, während der Koeffizient "a1" gleich 0 ist. In ähnlicher Weise ist in diesem Fall der Koeffizient "a3" gleich 1, während der Koeffizient "a4" gleich 0 ist. Die Koeffizienten "a2" und "a5" geben dann die horizontalen und vertikalen Versätze zwischen den zwei untergeordneten Bil dern an. Wenn eine drehungsbedingte Formänderung zwischen den zwei untergeordneten Bildern vorliegt, stellen die Koeffizienten "a0", "a1", "a3", und "a4" die Sinus- und Cosinus-Werte des Drehwinkels bereit.
  • Insbesondere werden die affinen Bild-Parameter des affinen Bild-Parameter-Sets ai unter Verwendung einer Kleinstquadrat-Schätzungstechnik geschätzt. Danach kann das nächste untergeordnete Bild zur Registrierung mit dem aktuellen untergeordneten Bild gebracht werden, indem das nächste untergeordnete Bild unter Verwendung der affinen Parameter-Schätzwerte a0, a1, a2, a3, a4 und a5 verkettet wird. Insbesondere wird jedes Pixel in dem nächsten untergeordneten Bild unter Verwendung des vorgegebenen Sets a i von geschätzten affinen Bild-Parametern verkettet, um eine verkettete Version dieses untergeordneten Bilds zu erhalten.
  • Wenn Ior(i,j) der Bildwert des Pixels (i,j) in dem nächsten untergeordneten Bild vor der Verkettung ist, dann ist das Verhältnis zwischen der verketteten Version des nächsten untergeordneten Bilds und der Originalversion des nächsten untergeordneten Bilds: Ior(f,j) = Iw [a0i + a1j + a2, a3i + a4j + a5], (4)wobei:
    Ior(i,j) = Iw [a0i + a1j + a2, a3i + a4j + a5] der Bildwert in der verketteten Version des nächsten untergeordneten Bilds ist.
  • Unter Verwendung der Hypothese der standardmäßigen Helligkeitskonstanz (standard brightness constancy assumption) lässt sich der mit einer affinen Bild-Formänderung zwischen dem aktuellen untergeordneten Bild k und dem nächsten untergeordneten Bild (k+1) verbundene Fehler wie folgt ausdrücken: E(k+1,k)=Σ[(Ik(x,y)–Ik+1(a0x+a1y+a2,a3x+a4y+a5))]2, (5)k = 1 ...N,
    wobei:
    Ik die Bildhelligkeit des aktuellen Bilds angibt;
    Ik+1 die Bildhelligkeit des nächsten untergeordneten Bilds angibt;
    N die Anzahl der untergeordneten Bilder ist, die kombiniert werden müssen, um das zusammengesetzte Bild des Originaldokuments zu konstruieren;
    k der Index ist, der angibt, welche untergeordneten Bilder verglichen werden;
    a(k+1,k) sind die geschätzten affinen Bild-Parameter, die mit dem (k+1)-ten untergeordneten Bild in Bezug auf das k-te untergeordnete Bild verbunden sind; und
    E(ak+1,k) ist der Fehler, der mit der affinen Formänderung zwischen dem aktuellen und dem nächsten untergeordneten Bild verbunden ist.
  • Es sollte klar sein, dass beim Ermitteln des Fehlers E(ak+1,k), der mit der affinen Formänderung zwischen dem aktuellen und dem nächsten untergeordneten Bild verbunden ist, die Summierung über das Quadrieren der Differenz zwischen der Bildhelligkeit Ik des aktuellen Bilds und der Bildhelligkeit Ik+1 des nächsten untergeordneten Bilds erfolgt.
  • In Gleichung 5 wird angenommen, dass die Formänderung über das gesamte Bild konstant ist. Diese Annahme ist jedoch ungültig, wenn eine große Formänderung zwischen den untergeordneten Bildern vorliegt, d.h. wenn sich die untergeordneten Bilder nur um einen kleinen Betrag überlappen. Daher wird jedes der untergeordneten Bilder in nichtüberlappende Blöcke unterteilt. Die affinen Block-Parameter werden dann für jeden Block geschätzt durch Minimieren des Fehlers E(ak+1,k). Die geschätzten affinen Block-Parameter-Sets für jeden Block werden danach zu Gruppen zusammengefasst, um die gesamte Formänderung für das nächste untergeordnete Bild in Bezug auf das aktuelle untergeordnete Bild zu definieren.
  • Insbesondere, wie oben beschrieben, wird jedes der untergeordneten Bilder in Blöcke unterteilt. In einer beispielhaften Ausführungsform wird jedes der untergeordneten Bilder in Blöcke von 8 × 8 Pixeln unterteilt. Jeder dieser Pixelblöcke wird dann entweder mit einem entsprechenden der Pixelblöcke in einem anderen untergeordneten Bild auf der Basis ihrer räumlichen Anordnungen verglichen, oder jeder Block eines untergeordneten Bildes wird mit allen Blöcken des anderen untergeordneten Bilds verglichen, wie oben jeweils unter Bezug auf die 8 und 10 erläutert wird. Für jedes Set von verglichenen Blöcken wird ein Set a i von affinen Block-Parametem unter Verwendung der bei Black beschriebenen Kleinstquadrat-Schätzungstechniken geschätzt.
  • Wie oben unter Bezug auf 9 beschrieben ist, werden die geschätzten affinen Block-Parameter-Sets a i zu Gruppen zusammengefasst. Die Bildpunktgruppen werden gebildet, indem ein beliebiges Set a i von geschätzten affinen Block-Parametem als eine erste Bildpunktgruppen-Mitte a ci zugeordnet wird. Danach werden (k-1) weitere Bildpunktgruppen so definiert, dass: |a ci – a cj| > Tc (6)Das heißt, jede beliebige Bildpunktgruppen-Mitte a i muss wenigstens einen Abstand Tc von jeder anderen Bildpunktgruppen-Mitte a i entfernt sein. Insbesondere werden die (k-1) zusätzlichen Bildpunktgruppen-Mitten in Bezug auf die grafisch dargestellte erste Bildpunktgruppen-Mitte so definiert, dass die ursprünglichen k Bildpunktgruppen im Allgemeinen gleichmäßig über das Bild verteilt sind. Im Allgemeinen wird dies durch die Verwendung des Abstands-Schwellenwerts Tc sichergestellt, so dass die nächste Bildpunktgruppen-Mitte sich in einem Abstand Tc von den vorher definierten Bildpunktgruppen-Mitten befindet. Dadurch wird sichergestellt, dass wenigstens eine Bildpunktgruppen-Mitte aus dem sich überlappenden Bereich kommt.
  • Alle der übrigen Sets a i von geschätzten affinen Block-Parametem werden danach zu einer von den definierten k Bildpunktgruppen zugeordnet. Insbesondere werden die Sets a i von geschätzten affinen Block-Parametem zu den k Bildpunktgruppen zugeordnet, indem ermittelt wird, welche Bildpunktgruppen-Mitte a ck jedem bestimmten Set a i von geschätzten affinen Block-Parametem am nächsten liegt. Sobald alle der Sets a i von geschätzten affinen Block-Parametern zu den k Bildpunktgruppen zugeordnet sind, werden neu zentrierte Bildpunktgruppen-Mitten a ck ermittelt, so dass:
    Figure 00410001
    wobei W die Anzahl der Elemente in der Bildpunktgruppe k ist.
  • Sobald alle der Bildpunktgruppen-Mitten a ci neu zentriert sind, werden die Bildpunktgruppen-Mitten a ci überprüft, um zu ermitteln, ob irgendwelche zwei Bildpunktgruppen-Mitten a ci zu nahe beieinander liegen. Das heißt, bei allen zwei Bildpunktgruppen-Mitten a ci und a cm werden die Bildpunktgruppen, die diesen beiden Bildpunktgruppen-Mitten entsprechen, zusammengeführt, wenn: |a cl – a cm| < Tm (8)wobei Tm ein Abstands-Schwellenwert für eine Zusammenführung ist.
  • Das heißt, der Abstands-Schwellenwert für eine Zusammenführung Tm definiert den Mindestabstand, den jede einzelne Bildpunktgruppe zwischen ihrer Bildpunktgruppen-Mitte und der Bildpunktgruppen-Mitte von jeder der anderen Bildpunktsgruppen aufweisen muss. Wenn zwei Cluster nicht durch wenigstens den Abstands-Schwellenwert für eine Zusammenführung Tm getrennt sind, dann sind diese Bildpunktgruppen nicht getrennt und sollten zusammengeführt werden. Der Abstands-Schwellenwert für eine Zusammenführung Tm kann zum Kalibrieren des Systems angepasst werden.
  • Für jedes solche Paar von Bildpunktgruppen, die zusammengeführt werden, wird eine neue Bildpunktgruppen-Mitte a clm ermittelt als:
    Figure 00410002
    wobei:
    W1 und W2 jeweils die Anzahl der Elemente in den Bildpunktgruppen I und m sind, und
    aj ein Element von beiden Bildpunktgruppen I oder m ist.
  • Danach wird die Bildpunktgruppe n mit den meisten Elementen identifiziert. Die Mitte acm dieser identifizierten Bildpunktgruppe n wird dann als das Set von affinen Bild-Parametern für das nächste untergeordnete Bild in Bezug auf das aktuelle untergeordnete Bild ausgewählt.
  • Sobald alle der untergeordneten Nicht-Basisbilder, die durch das Abtasten des Originaldokuments generiert wurden, zur Registrierung mit dem untergeordneten Basisbild verkettet sind, werden das untergeordnete Basisbild und die verketteten untergeordneten Bilder kombiniert, um das zusammengesetzte Bild zu bilden. Insbesondere wird jedes Bildpixel in dem zusammengesetzten oder rekonstruierten Originalbild I(i,j) für die untergeordneten Bilder, in denen das Pixel auftritt, durch eine Durchschnittsermittlung der Bildwerte für dieses Pixel in diesen untergeordneten Bildern ermittelt. Daher beträgt der Bildwert I(i,j) eines Pixels (i,j) in dem zusammengesetzten oder rekonstruierten Originalbild I(i,j) = [I1(i,j) + I2(i,j) + I3(i,j) + ... IN(i,j)]/N (10)wobei:
    Ik(i,j) der Bildwert des Pixels an der Position (i,j) in dem k-ten untergeordneten Bild ist, welches das Pixel (i,j) enthält; und
    N die Anzahl der abgetasteten untergeordneten Bilder ist, die das Pixel (i,j) enthalten.
  • Daher wird für jedes Pixel (i,j) die Durchschnittsermittlung nur für die speziellen untergeordneten Bilder ausgeführt, welche die Pixelposition überlappen. Im Allgemeinen ist normalerweise nur eines der Bilder vorhanden, das eine bestimmte Pixelposition überlappt, da die Bilder im Allgemeinen nur um einen kleinen Betrag überlappen. Für die Pixelposi tionen, an denen zwei oder mehr untergeordnete Bilder überlappen, sind im Allgemeinen nur zwei solcher untergeordneter Bilder vorhanden, und es werden selten mehr als vier solcher untergeordneter Bilder sein. Beispielsweise sind in den untergeordneten Figuren, die in den 13 – 15 dargestellt sind, die meisten Pixelpositionen in nur einem untergeordneten Bild enthalten, die meisten der anderen Pixelpositionen sind in zwei untergeordneten Bildern enthalten, die übrigen Pixelpositionen sind in vier untergeordneten Bildern enthalten, und keine Pixelposition ist in mehr als vier untergeordneten Bildern enthalten.
  • Wie vorher beschrieben, erzeugen die Systeme und Verfahren dieser Erfindung zusammengesetzte oder rekonstruierte Originalbilder, die bei einem Vergleich mit abgetasteten Bildern, die aus vollständigen Abtastungen des Originaldokuments generiert wurden, positiv abschneiden, jedoch nicht das Abtasten des Originaldokuments unter Verwendung eines übergroßen Abtastbereichs erfordern. Die Systeme und Verfahren dieser Erfindung sind daher in der Lage, zusammengesetzte abgetastete Bilder mit hoher Auflösung von übergroßen Dokumenten zu erzeugen, die aus untergeordneten Bildern erhalten werden, wobei ein Flachbett-Scanner verwendet wird, der relativ gestraffte Verarbeitungsverfahren verwendet und eine äußerst hohe Bildregistrierung erzielt.
  • Wie in den 3 – 5 gezeigt, wird das System 200 zum Registrieren von abgetasteten Bildern vorzugsweise auf einem programmierten Mehrzweck-Rechner implementiert. Allerdings kann das System 200 zum Registrieren von abgetasteten Bildern auch auf einem Spezialrechner, einem programmierten Mikroprozessor oder Mikrocontroller und peripheren Schaltungselementen, einer ASIC- oder anderen Schaltung, einem digitalen Signalprozessor, einer festverdrahteten elektronischen oder logischen Schaltung, wie beispielsweise einem diskreten Schaltungselement, einer programmierbaren logischen Einrichtung, wie beispielsweise einer PDL, PLA, FPGA oder PAL oder Ähnlichem implementiert werden. Im Allgemeinen kann jede Vorrichtung, die eine Endzustands-Maschine (finite state machine) implementieren kann, die wiederum in der Lage ist, die in den 6 – 12 gezeigten Ablaufdiagramme zu implementieren, zum Implementieren des Systems 200 zum Registrieren von abgetasteten Bildern verwendet werden.
  • Wie in 3 gezeigt, werden die veränderbaren Teile des Speichers 230 vorzugsweise unter Verwendung eines statischen oder dynamischen RAM implementiert. Die ver änderbaren Teile des Speichers 230 können jedoch auch unter Verwendung einer Diskette und eines Diskettenlaufwerks, einer beschreibbaren Bildplatte und eines Plattenlaufwerks, eines Festplattenlaufwerks, eines Flash-Speichers oder Ähnlichem implementiert werden.
  • Wie in 3 gezeigt, werden die nichtflüchtigen Teile des Speichers 230 vorzugsweise unter Verwendung einer CD-ROM implementiert. Die nichtflüchtigen Teile des Speichers 230 jedoch auch unter Verwendung eines Flash-Speichers, eines CMOS-Speichers, eines PROM, eines EEPROM oder einer CD-ROM und eines Plattenlaufwerks oder Ähnlichem implementiert werden.
  • Es sollte des Weiteren klar sein, dass die Verbindungen 110 und 310, welche die Abtastvorrichtung 100 und die Bilddatensenke 300 an das System 200 zum Registrieren von abgetasteten Bildern anschließen, eine verkabelte oder oder drahtlose Verbindung mit einem (nicht gezeigten) Netzwerk sein kann. Das Netzwerk kann ein lokales Datennetz, ein Weitverkehrsnetz, ein Intranet, das Internet oder irgendein verteiltes Verarbeitungs- und Speichernetz sein.
  • Die vorhergehende Beschreibung der beispielhaften Systeme und Verfahren zum Registrieren von abgetasteten Bildern dieser Erfindung dient zur Veranschaulichung, und Variationen bei der Implementierung sind offenkundig und für einen Fachman vorhersehbar. Obwohl die Systeme und Verfahren dieser Erfindung beispielsweise unter Bezugnahme auf mit Tischmodell-Abtastvorrichtungen abgetastete Bilder beschrieben wurden, kann jede andere Art von Bildabtastvorrichtung, die eine genaue Registrierung einer Abfolge von Bildern erfordert, in Verbindung mit den Systemen und Verfahren dieser Erfindung verwendet werden, wie beispielsweise Teile von Satellitenaufnahmen oder automatisiert erfassten (robotic) Bildern.

Claims (7)

  1. System zur Erzeugung eines aus einer Vielzahl von sich überlappenden untergeordneten Bildern (31 – 36) zusammengesetzten Bildes (30), wobei jedes untergeordnete Bild eine Vielzahl von Pixeln aufweist, umfassend: einen Speicher (230), wobei die Vielzahl von untergeordneten Bildern (31 – 36) in dem Speicher speicherbar ist; eine Sperrschaltung (240) für untergeordnete Bilder, die jedes von der Vielzahl von untergeordneten Bildern eingibt und jedes untergeordnete Bild in eine Vielzahl von Blöcken aufteilt; eine Generierungsschaltung (250) für Umwandlungsparameter,umfassend: eine Blockvergleichsschaltung (251), die einen Block eines ersten untergeordneten Bildes Pixel für Pixel mit einem oder mehreren Blöcken eines zweiten untergeordneten Bildes vergleicht, eine Schätzschaltung (252) für Umwandlungsparameter-Sets, die Block-Umwandlungsparameter schätzt, welche die Bildwerte der Pixel in einem Block in die Bildwerte der Pixel in dem anderen Block umwandeln auf der Basis eines Vergleichs, der von der Blockvergleichsschaltung ausgeführt wird, eine Generierungsschaltung (260) für Cluster, welche die geschätzten Block-Umwandlungsparameter ausgibt, um Cluster zu erhalten, eine Generierungsschaltung (253) für Umwandlungsparameter-Sets für untergeordnete Bilder, die allgemeine Umwandlungsparameter für untergeordnete Bilder aus den Clustern generiert, und eine Nachprüfungsschaltung (254) für Umwandlungsparameter für untergeordnete Bilder, welche die Umwandlungsparameter des ersten untergeordneten Bildes auf der Basis der Umwandlungsparameter des zweiten untergeordneten Bildes nachprüft, so dass das erste untergeordnete Bild Umwandlungsparameter aufweist, die es in die Registrierung mit einem untergeordneten Basisbild (warp into registration with a base subimage) oder eine vorgegebene Referenzposition verzerren; wobei das System des Weiteren umfasst eine Verzerrerschaltung (270) (warping circuit) für untergeordnete Bilder, die das erste untergeordnete Bild unter Verwendung der nachgeprüften Umwandlungsparameter verzerrt; und eine Kombinationsschaltung (280) für untergeordnete Bilder, die das zweite untergeordnete Bild mit dem untergeordneten Basisbild oder dem ersten untergeordneten Bild kombiniert.
  2. System nach Anspruch 1, wobei die Generierungsschaltung für Umwandlungsparameter (250) Paare von der Vielzahl von untergeordneten Bildern (31 – 36) eingibt und ein Set von Umwandlungsparametern generiert, das für eine Formänderung von einem untergeordneten Bild des Paares von untergeordneten Bildern in Bezug auf wenigstens das andere untergeordnete Bild des Paares von untergeordneten Bildern repräsentativ ist.
  3. System nach Anspruch 2, wobei das Set von Umwandlungsparametern des Weiteren eine Formänderung des einen untergeordneten Bilds (31 – 36) in Bezug auf ein festes Koordinatensystem darstellt.
  4. System nach Anspruch 3, wobei das feste Koordinatensystem durch ein Basisbild von der Vielzahl von untergeordneten Bildern (31 – 36) definiert wird.
  5. System nach einem der Ansprüche 2 bis 4, wobei die Verzerrerschaltung (270) für untergeordnete Bilder wenigstens eines von der Vielzahl von untergeordneten Bildern (31 – 36) in Bezug auf ein ausgewähltes von der Vielzahl von untergeordneten Bildern (31 – 36) verzerrt auf der Basis des entsprechenden Sets von Umwandlungsparametern, die von der Generierungsschaltung (250) für Umwandlungsparameter generiert werden.
  6. System nach einem der vorhergehenden Ansprüche, wobei die Vielzahl der sich überlappenden untergeordneten Bilder (31 – 36) durch Abtasten eines Originaldokuments generiert werden.
  7. System nach einem der vorhergehenden Ansprüche, wobei die Generierungsschaltung (250) für Umwandlungsparameter affine Parameter generiert.
DE60014723T 1999-01-29 2000-01-24 System zur Erzeugung eines zusammengesetzten Bildes Expired - Lifetime DE60014723T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US239296 1999-01-29
US09/239,296 US6594403B1 (en) 1999-01-29 1999-01-29 Systems and methods for registering scanned documents

Publications (2)

Publication Number Publication Date
DE60014723D1 DE60014723D1 (de) 2004-11-18
DE60014723T2 true DE60014723T2 (de) 2005-10-20

Family

ID=22901535

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60014723T Expired - Lifetime DE60014723T2 (de) 1999-01-29 2000-01-24 System zur Erzeugung eines zusammengesetzten Bildes

Country Status (4)

Country Link
US (1) US6594403B1 (de)
EP (1) EP1024656B1 (de)
JP (1) JP4204733B2 (de)
DE (1) DE60014723T2 (de)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208765B1 (en) * 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
US7346184B1 (en) * 2000-05-02 2008-03-18 Digimarc Corporation Processing methods combining multiple frames of image data
DE10054814A1 (de) * 2000-11-04 2002-05-08 Philips Corp Intellectual Pty Verfahren und Vorrichtung zur Registrierung von Bildern
SE517626C3 (sv) 2001-04-12 2002-09-04 Cellavision Ab Förfarande vid mikroskopering för att söka av och positionera ett objekt, där bilder tas och sammanfogas i samma bildkoordinatsystem för att noggrant kunna ställa in mikroskopbordet
EP1377865B1 (de) * 2001-04-12 2009-01-28 Cellavision AB Verfahren in der mikroskopie und mikroskop, wobei teilbilder aufgezeichnet und in demselben koordinatensystem im puzzle-verfahren angeordnet werden, um eine präzise positionierung der mikroskopstufe zu ermöglichen
DE10134651A1 (de) * 2001-07-20 2003-02-06 Siemens Ag Verfahren und Vorrichtung zur Erstellung eines Gesamtbildes aus mehreren Teilbildern
KR100538224B1 (ko) * 2003-06-09 2005-12-21 삼성전자주식회사 잉크 젯 프린터의 스캔 및 인쇄 방법 및 장치
US20050213174A1 (en) * 2004-02-27 2005-09-29 Seiko Epson Corporation Image processing system and image processing method
US20060025667A1 (en) * 2004-07-29 2006-02-02 Edward Ashton Method for tumor perfusion assessment in clinical trials using dynamic contrast enhanced MRI
JP2006107366A (ja) * 2004-10-08 2006-04-20 Fujitsu Ltd 生体情報入力装置，生体認証装置，生体情報処理方法，生体情報処理プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体
WO2006070476A1 (ja) * 2004-12-28 2006-07-06 Fujitsu Limited 画像内の処理対象の位置を特定する画像処理装置
US7880750B2 (en) * 2005-01-06 2011-02-01 Zenographics, Inc. Digital image processing with inherent compression
US7817307B2 (en) 2005-01-06 2010-10-19 Zenographics, Inc. Digital image processing without rasterization
US8194277B2 (en) * 2005-06-20 2012-06-05 Canon Kabushiki Kaisha Image combining apparatus, and control method and program therefor
US7599556B2 (en) 2005-08-25 2009-10-06 Joseph Stanley Czyszczewski Apparatus, system, and method for scanning segmentation
US7567729B2 (en) * 2005-09-22 2009-07-28 Konica Minolta Systems Laboratory, Inc. Photo image matching method and apparatus
US7930627B2 (en) * 2005-09-22 2011-04-19 Konica Minolta Systems Laboratory, Inc. Office document matching method and apparatus
JP4658078B2 (ja) * 2006-03-13 2011-03-23 株式会社沖データ 画像形成装置
US8068697B2 (en) * 2006-10-19 2011-11-29 Broadcom Corporation Real time video stabilizer
US7649658B2 (en) * 2006-12-11 2010-01-19 Pitney Bowes Inc. Method of reconstructing an image
US7978932B2 (en) * 2007-08-02 2011-07-12 Mauna Kea Technologies Robust mosaicing method, notably with correction of motion distortions and tissue deformations for in vivo fibered microscopy
AU2008202672B2 (en) * 2008-06-17 2011-04-28 Canon Kabushiki Kaisha Automatic layout based on visual context
ATE554602T1 (de) * 2008-08-21 2012-05-15 Vestel Elekt Sanayi Ve Ticaret Verfahren und vorrichtung zur steigerung der bildrate eines videosignals
US8767240B1 (en) 2011-01-28 2014-07-01 Marvell International Ltd. Method and apparatus for encoding data to perform real-time rendering
US9147265B2 (en) * 2012-06-04 2015-09-29 Raytheon Company System and method for rapid cluster analysis of hyperspectral images
US9058655B2 (en) * 2012-11-06 2015-06-16 Apple Inc. Region of interest based image registration
US20150073958A1 (en) * 2013-09-12 2015-03-12 Bank Of America Corporation RESEARCH REPORT RECOMMENDATION ENGINE ("R+hu 3 +lE")
US9118830B2 (en) * 2013-09-17 2015-08-25 Seiko Epson Corporation Recording apparatus
US9984438B1 (en) * 2016-02-09 2018-05-29 Goodrich Corporation Robust image registration for multi-spectral/multi-modality imagery
JP6732594B2 (ja) * 2016-08-04 2020-07-29 キヤノン株式会社 画像処理装置及び光学機器及び画像処理方法
JP7310151B2 (ja) * 2019-01-25 2023-07-19 富士フイルムビジネスイノベーション株式会社 マーク選定装置および画像処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4393410A (en) * 1981-11-13 1983-07-12 Wespac Multiple camera automatic digitizer and method
US4945502A (en) * 1988-12-27 1990-07-31 Eastman Kodak Company Digital image sharpening method using SVD block transform
WO1993012501A1 (en) * 1991-12-10 1993-06-24 Logitech, Inc. Apparatus and methods for automerging images
US5339170A (en) * 1991-12-31 1994-08-16 Xerox Corporation Image processing system and method employing hybrid filtering to provide improved reconstruction of continuous tone images from halftone screen-structured images
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
JPH08287218A (ja) * 1995-04-10 1996-11-01 Sharp Corp 画像合成装置
US5917962A (en) * 1995-06-06 1999-06-29 Apple Computer, Inc. Method and apparatus for partitioning an image
JP3380660B2 (ja) * 1995-10-25 2003-02-24 大日本スクリーン製造株式会社 画像処理装置
US5706416A (en) * 1995-11-13 1998-01-06 Massachusetts Institute Of Technology Method and apparatus for relating and combining multiple images of the same scene or object(s)
JPH09149192A (ja) * 1995-11-17 1997-06-06 Minolta Co Ltd 画像読取装置
US5787422A (en) * 1996-01-11 1998-07-28 Xerox Corporation Method and apparatus for information accesss employing overlapping clusters
KR100230254B1 (ko) * 1996-04-17 1999-11-15 윤종용 잡음 감소 회로
US5784115A (en) 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US5819258A (en) * 1997-03-07 1998-10-06 Digital Equipment Corporation Method and apparatus for automatically generating hierarchical categories from large document collections

Also Published As

Publication number Publication date
EP1024656A3 (de) 2001-11-14
EP1024656B1 (de) 2004-10-13
EP1024656A2 (de) 2000-08-02
DE60014723D1 (de) 2004-11-18
US6594403B1 (en) 2003-07-15
JP2000295463A (ja) 2000-10-20
JP4204733B2 (ja) 2009-01-07

Similar Documents

Publication Publication Date Title
DE60014723T2 (de) System zur Erzeugung eines zusammengesetzten Bildes
DE69228139T2 (de) System zur Abbildung von Videobildern
DE69811050T2 (de) Rekonstruktionsverfahren, Vorrichtung und Dekodierungssystem für dreidimensionalen Szenen.
DE69031055T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69737780T2 (de) Verfahren und Vorrichtung zur Bildverarbeitung
DE69027479T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE68925399T2 (de) Verfahren und Gerät zur Bildtransformation
DE69333846T2 (de) Verfahren zur mischung von bildern und vorrichtung hierzu.
DE102004049676A1 (de) Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium
DE69932763T2 (de) Verfahren und Geräte zur dreidimensionalen Ultraschall-Bilderzeugung
DE69431791T2 (de) Vorrichtung und verfahren zur automatischen bildentzerrung
DE69028651T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE10333563A1 (de) Temporales Bildvergleichsverfahren
DE102010046259A1 (de) Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation
DE60209141T2 (de) Methode zur kompensation von bewegungsartefakten in magnetresonanzbildern durch prediktion von phasenlinie
DE3789091T2 (de) Bildverarbeitungsverfahren und -system zur Bildrekonstruktion.
DE69028792T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE10156040B4 (de) Verfahren, Vorrichtung und Computerprogramm-Produkt zum Entzerren einer eingescannten Abbildung
DE3689277T2 (de) Verfahren und vorrichtung zum adaptieren der auflösung von vorlagen.
DE69028239T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE4437385A1 (de) Verfahren und Vorrichtung zur Bildkorrektur
DE60207292T2 (de) Verfahren zum kompensieren der objektbewegungen in mri
DE10056978B4 (de) Verfahren zur Erzeugung eines stereographischen Bildes
DE69517249T2 (de) Anordnung zur segmentierung eines diskreten datensatzes
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element

Legal Events

Date Code Title Description
8364 No opposition during term of opposition