DE69529622T2

DE69529622T2 - Auf mosaiken basiertes bildverarbeitungssystem und verfahren zum verarbeiten von bildern

Info

Publication number: DE69529622T2
Application number: DE69529622T
Authority: DE
Inventors: Padmanabhan Anandan; J. Burt; W. Hansen; C. Hsu; Michal Irani
Original assignee: Sarnoff Corp
Current assignee: Sarnoff Corp
Priority date: 1994-11-14
Filing date: 1995-11-14
Publication date: 2003-11-27
Anticipated expiration: 2015-11-15
Also published as: CA2205177A1; US5999662A; US6393163B1; EP0792494A1; CA2205177C; US5649032A; EP0792494B1; US5991444A; KR970707505A; DE69529622D1; JPH10509571A; KR100306948B1; EP0792494A4; JP2002191051A; WO1996015508A1

Description

Die Erfindung betrifft Systeme und Verfahren, die Bilder verarbeiten und insbesondere Systeme und Verfahren für die Erzeugung eines Mosaiks aus einzelnen Bildern und die Verarbeitung des Mosaik.
Bis vor kurzem haben Bildverarbeitungssysteme im allgemeinen Bilder, wie z. B. Einzelbilder eines Videos, unbewegte Fotografien und dergleichen in einer individuellen Art und Weise verarbeitet. Jedes individuelle Einzelbild oder jede Fotografie wird typischerweise verarbeitet durch Filtern, Verzerren (Warping) und Anwenden verschiedener parametrischer Transformationen. Nach der Verarbeitung werden die einzelnen Bilder kombiniert, um ein Mosaik, d. h. ein Bild, das eine Mehrzahl von einzelnen Bildern enthält, zu bilden. Zusätzliche Bildverarbeitung wird auf dem Mosaik durchgeführt, um sicherzustellen, daß die Nähte zwischen den Bildern unsichtbar sind, so daß das Mosaik wie ein einzelnes großes Bild aussieht. Die Ausrichtung der Bilder und die zusätzliche Verarbeitung, um die Nähte zu entfernen, wird typischerweise manuell von einem Techniker unter Verwendung einer Computer-Workstation durchgeführt, d. h. die Bildausrichtungs- und Kombinationsprozesse sind computerunterstützt. In solchen computerunterstützten Bildverarbeitungssystemen wählt der Techniker manuell verarbeitete Bilder aus, richtet manuell diese Bilder aus und ein Computer wendet verschiedene Bildkombinationsprozesse auf die Bilder an, um jegliche Nähte oder Lücken zwischen den Bildern zu entfernen. Die Manipulierung der Bilder wird typischerweise unter Verwendung von verschiedenen Computereingabevorrichtungen, wie z. B. einer Maus, einem Trackball, einer Tastatur und, dergleichen, verwirklicht. Unglücklicherweise ist solch eine manuelle Mosaikkonstruktion zeitaufwendig und teuer. Darüber hinaus kann die manuelle Mosaikkonstruktion nicht in Echtzeit verwirklicht werden, d. h. das Mosaik kann nicht konstruiert werden, wenn die Bilder von einer Bildquelle, wie z. B. einer Videokamera, erzeugt werden. Folglich werden die Bilder in einem Echtzeit-Bilderzeugungssystem abgespeichert für die nachfolgende computerunterstützte Verarbeitung zu einem späteren Zeitpunkt.
Da manuell erzeugte Mosaiken teuer sind, finden solche Mosaiken keine häufige praktische Anwendung außer in Publizierungsanwendungen und Bildretuschiersystemen. Obwohl Mosaiken viele Versprechen halten, hat das Fehlen eines automatischen Mosaikkonstruktionssystems ihre Verwendung begrenzt.
Es besteht daher die Notwendigkeit in der Technik für ein System und ein Verfahren für die automatische Erzeugung eines Mosaiks von entweder vorher existierenden Bildern oder in Echtzeit, wenn die Bilder von einer Bildquelle erzeugt werden. Die Erfindung überwindet diese Probleme durch die automatische Erzeugung eines Mosaiks aus einer Mehrzahl von Eingangsbildern. Die Erfindung führt nacheinander einen Bildausrichtungsprozeß und einen Mosaikzusammensetzprozeß auf einer Abfolge von Bildern aus. Die Erfindung ist in der Lage, sowohl ein dynamisches als auch ein statisches Mosaik zu konstruieren. Ein dynamisches Mosaik beinhaltet Bilder, die zeitvariant sind, z. B. wird das Mosaik mit neuem Inhalt über der Zeit aktualisiert, während der Inhalt eines statischen Mosaiks zeitinvariant ist.
Genauer gesagt richtet der Bildausrichtungsprozeß automatisch ein Eingangsbild an einem anderen Eingangsbild, ein Eingangsbild an einem existierenden Mosaik (das aus vorher auftretenden Eingangsbildern erzeugt wurde), so daß das Eingangsbild zu dem Mosaik hinzugefügt werden kann, oder ein existierendes Mosaik an einem Eingangsbild aus. In jedem dieser Fälle ist das Koordinatensystem innerhalb der ausgerichteten Bilder entweder das Koordinatensystem des Eingangsbildes, das Koordinatensystem des Mosaiks oder ein willkürliches Referenzkoordinatensystem. Das willkürliche Referenzkoordinatensystem kann entweder zeitinvariant oder zeitvariant sein.
Weiterhin können das Eingangsbild und das Mosaik innerhalb eines Bildpyramidenbezugssystems miteinander ausgerichtet sein. Das System als solches wandelt sowohl das Eingangsbild als auch das Mosaik in eine Laplace'sche Bildpyramide um und der Ausrichtungsprozeß wird auf die Ebenen innerhalb der entsprechenden Pyramiden angewendet. Folglich verwendet das System einen genauen grob-zu-fein-Bildausrichtungsansatz, der zu einer Anordnungsgenauigkeit im Subpixelbereich führt. Das Ergebnis des Ausrichtungsprozesses ist die Ausrichtungsinformation, die die Transformationen definiert, die erforderlich sind, um eine Ausrichtung in einem dynamischen Mosaik zwischen dem Eingangsbild und dem Mosaik, so daß das Mosaik mit der Bildinformation, die in dem Eingangsbild enthalten ist, aktualisiert werden kann, und, in einem statischen Mosaik zwischen den Bildern, die das Mosaik aufweist, zu erzielen.
Sobald der Ausrichtungsprozeß vollständig ist, benutzt die Erfindung einen Mosaikzusammensetzungsprozeß, um ein Mosaik zu konstruieren (oder zu aktualisieren). Der Mosaikzusammensetzungsprozeß enthält zwei Prozesse: einen Auswahlprozeß und einen Kombinationsprozeß. Der Auswahlprozeß wählt automatisch Bilder oder Abschnitte hiervon aus für das Aufnehmen in das Mosaik und kann eine Maskierungs- und Abschneidefunktion beinhalten. Der Kombinationsprozeß kombiniert die verschiedenen Bilder, um das Mosaik zu bilden, wobei er verschiedene Bildverarbeitungstechniken anwendet, wie z. B. das Mischen, das Verschmelzen, das Filtern, die Bildverstärkung und dergleichen, um eine nahtlose Kombination der Bilder zu erreichen. Das resultierende Mosaik ist ein glattes Bild, das die einzelnen Bilder kombiniert, so daß zeitliche und örtliche Informationsredundanz in dem Mosaik minimiert wird.
Die Erfindung kann leicht verstanden werden durch Betrachten der detaillierten Beschreibung in Verbindung mit den begleitenden Zeichnungen, in denen:
Fig. 1 ein Blockdiagramm eines Systems für das automatische Konstruieren eines Mosaiks und verschiedener Systeme für das Verwenden des Mosaiks bei der Bildkomprimierung, der Überwachung und der Bildanzeige zeigt,
Fig. 2A, 2B und 2C eine schematische Darstellung der Stapelmosaikkonstruktionsabfolge, der rekursiven Mosaikkonstruktionsabfolge bzw. der hierarchischen Mosaikkonstruktionsabfolge darstellen,
Fig. 3 ein Blockdiagramm eines dynamischen Mosaikkonstruktionssystems ist,
Fig. 4 ein Flußdiagramm eines Bildausrichtungsprozesses ist, der ein Eingangsbild mit einem Mosaik von Bildern ausrichtet,
Fig. 5 ein Flußdiagramm eines Auswahlprozesses ist, der das (die) Bild(er) oder Teile hiervon für das Einfügen in das Mosaik auswählt,
Fig. 6 ein Flußdiagramm eines Kombinationsprozesses ist, der das ausgerichtete Bild mit dem Mosaik kombiniert,
Fig. 7 ein Blockdiagramm eines mosaikbasierten Anzeigesystems ist,
Fig. 8 ein Blockdiagramm eines Komprimierungssystems, das auf einem statischen Mosaik basiert, ist,
Fig. 9 eine schematische Darstellung der Verbindung zwischen den Eingangsbildern, der Hintergrundinformation und Residuen für das auf einem statischen Mosaik basierenden Komprimierungssystems von Fig. 8 ist,
Fig. 10 ein Blockdiagramm eines Komprimierungssystems ist, das auf einem dynamischen Mosaik basiert,
Fig. 11 eine schematische Darstellung einer temporalen Pyramide ist,
Fig. 12 ein Blockdiagramm eines Überwachungssystems ist,
Fig. 13 ein Flußdiagramm des Arbeitsprozesses des Überwachungssystems von Fig. 12 ist, und
Fig. 14 ein detailliertes Blockdiagramm eines statischen Mosaikkonstruktionssystems ist. Gleiche Referenzzahlen wurden, wo möglich, verwendet, um identische Elemente, die in den Figuren gemein sind, zu bezeichnen.
Allgemein ausgedrückt vereint ein Mosaik die visuelle Information von einem Satz von Bildern, die bei einer Mehrzahl von Zeitpunkten, Blickwinkeln oder Blickfeldern aufgenommen wurden. Die verschiedenen Bilder werden ausgerichtet und kombiniert, um beispielsweise eine Panoramaansicht einer Szene als ein einzelnes unbewegtes Bild zu bilden. Es ist wesentlich, daß ein Mosaik nicht auf eine Kombination von getrennten Bildern begrenzt ist, sondern kann ebenso eine Kombination von Mosaiken sein. Die Erfindung ist ein System, das automatisch ein Mosaik aus einer Mehrzahl von Bildern bildet für die Verwendung durch verschiedene Anwendungssysteme. Die Erfindung beinhaltet eines oder mehrere dieser Anwendungssysteme.
Es gibt dynamische Mosaiken und statische Mosaiken. Dynamische Mosaiken sind zeitvariant darin, daß sie rekursiv über die Zeit mit neuen Bildern aktualisiert werden. Als solches wird eine Reihe von Eingangsbildern (z. B. Videoeinzelbildern) zu einer Zeit mit den anderen Bildern in der Reihe kombiniert, um das dynamische Mosaik zu erzeugen. Danach richtet das System jedes neue Eingangsbild mit dem vorherigen Mosaik aus und kombiniert dieses, d. h. das Mosaik wird aktualisiert.
In einem statischen Mosaik ist der Inhalt des Mosaiks zeitinvariant. Beispielsweise werden eine Reihe von existierenden Eingangsbildern in Unterabfolgen von Bildern aufgeteilt. Die einzelnen Bilder in jeder Untersequenz werden miteinander ausgerichtet und in ein statisches Mosaik kombiniert. Das statische Mosaik wird nicht mit neuer Information aktualisiert, d. h. der Inhalt des Mosaiks ist statisch. In jedem dieser zwei Typen von Mosaiken werden die Mosaiken unter Bezug auf ein willkürliches Referenzkoordinatensystem konstruiert, das entweder zeitvariant oder zeitinvariant sein kann. Mit anderen Worten kann das Koordinatensystem entweder verändert werden, während das Mosaik konstruiert wird, oder es kann während des Zeitablaufs fest sein. Das willkürliche Referenzkoordinatensystem kann als das Koordinatensystem des letzten Eingangsbildes eines dynamischen Mosaiks, als das Koordinatensystem des Mosaiks in einem dynamischen Mosaik, als das Koordinatensystem eines der Bilder in einem statischen Mosaik, als ein willkürliches festes Koordinatensystem, das nicht mit den Bildern oder den Mosaiken in Bezug steht, oder kann als ein willkürliches zeitvariantes Koordinatensystem ausgewählt werden. Während des Restes dieser Diskussion wird der allgemeine Begriff Referenzkoordinatensystem verwendet. Dieser allgemeine Begriff ist dafür vorgesehen, jegliche Form von Referenzkoordinatensystemen zu umfassen.
Fig. 1 ist ein Blockdiagramm eines mosaikbasierenden Bildverarbeitungssystems 100, das ein Mosaikkonstruktionssystem 102 sowie ein oder mehrere Anwendungssysteme 104, 106, 108, 110 für ein Mosaik enthält. Ausdrücklich gesagt beinhalten die Anwendungssysteme ein mosaikbasiertes Anzeigesystem 104, das ein mosaikbasiertes Drucksystem 106 beinhalten kann, ein mosaikbasiertes Überwachungssystem 108 und ein mosaikbasiertes Komprimierungssystem 110. Diese Beschreibung stellt zunächst einen Überblick über das Mosaikkonstruktionssystem und seine Wechselwirkung mit den Anwendungssystemen zur Verfügung. Danach beschreibt die Offenbarung in einer Reihe von getrennten Unterabschnitten die Details des Mosaikkonstruktionssystems für die Konstruktion von sowohl statischen als auch dynamischen Mosaiken und von jedem Anwendungssystem.
Das Mosaikkonstruktionssystem 102 hat als einen Eingang eine Reihe von Bildern. Diese Bilder können eine Videoeinzelbildsequenz, eine Reihe von Infrarot- oder sichtbaren Satellitenfotografien, eine Abfolge von Luftaufnahmen oder irgendeine andere Reihe von Bildern sein, die, wenn sie zueinander ausgerichtet werden, ein Mosaik bilden. Die Bilder können in Echtzeit zur Verfügung gestellt werden, d. h. die Bilder können direkt beispielsweise von einer Videokamera bereitgestellt werden. Im Betrieb richtet das Mosaikkonstruktionssystem 102 die Eingangsbilder automatisch aus und kombiniert sie, um ein Mosaik zu bilden.
Genauer gesagt kann das System abhängig von der Anwendung für das Mosaik entweder ein dynamisches Mosaik oder ein statisches Mosaik konstruieren. Zusätzlich kann das System irgendein Referenzkoordinatensystem benutzen, während es ein Mosaik konstruiert. Weiterhin kann das System bei der Zusammensetzung des Mosaiks aus den ausgerichteten Bildern irgendeine Anzahl von Bildverschmelzungs-, -vermischungs-, -filter- und -mittelungsprozessen verwenden, um am besten ein nahtloses Mosaik zu bilden. Ebenso bildet das System, wie in Fig. 2 gezeigt ist, das Mosaik unter Verwendung von verschiedenen Eingangsbild- und Mosaikkonstruktionsabfolgeprozessen einschließlich einer Stapel- (Fig. 2A), rekursiven (Fig. 2B) und hierarchischen (Fig. 2C) Sequenz.
In Fig. 1 wird das Mosaik von einem oder mehreren der Anwendungssysteme verwendet. Beispielsweise benutzt das mosaikbasierte Anzeigesystem 104 spezielle Mosaikspeicher- und Manipulationstechniken, die es einem Systembenutzer ermöglichen, daß ein Mosaik schnell auf einem Computermonitor angezeigt wird, und es dem Benutzer ermöglichen, das angezeigte Mosaik zu manipulieren. Die mosaikbasierte Anzeige entfernt die Bildquellenbewegung (z. B. von einer Kamera) aus dem Mosaikbild, d. h. das Bild wird stabilisiert. Der Benutzer mag auswählen, eine gewisse Kamerabewegung in dem angezeigten Bild zu belassen, um die Wahrnehmung der Kamerabewegung bereitzustellen, jedoch das Hochfrequenzzittern vollständig zu entfernen. Solch eine Anzeige ist besonders nützlich, wenn Luftaufnahmen gezeigt werden, die beispielsweise von einem Helikopter aus aufgenommen wurden. Die sich bewegende Anzeige stellt dem Benutzer die Wahrnehmung einer Bewegung über das dargestellte Terrain zur Verfügung ohne irgendein Kamerazittern. Weiterhin mischt das Anzeigesystem andere Daten in die Mosaikanzeige, um dem Benutzer zusätzliche Information zur Verfügung zu stellen. Diese anderen Daten können numerische oder graphische Terrainhöheninformation, Bewegungsvektoren, graphische Anzeigen, die das vorhergehende Bild zeigen, und dergleichen sein. Die Details dieses Systems werden unten unter Bezug auf Fig. 7 beschrieben.
Zusätzlich zum Anzeigen des Mosaiks oder von Teilen hiervon auf einem Computermonitor kann dieses mosaikbasierte Anzeigesystem optional in Verbindung mit einem Bilddrucksystem 106 verwendet werden. Das Drucksystem ist in der Lage, unbewegte Farb- oder Monochrombilder des Mosaiks oder irgendeines Abschnittes hiervon in hoher Auflösung zu erzeugen.
Das Überwachungssystem 108 verwendet ein Mosaik für die Erfassung der Bewegung, z. B. aus Sicherheitszwecken oder für die Bewegungserfassung auf einem Schlachtfeld. Im allgemeinen wird eine Panoramaansicht eines Gebietes von Interesse durch beispielsweise eine Hochauflösungsvideokamera aufgenommen. Das System 102 erzeugt ein einzelnes Hochauflösungsmosaik der gesamten Panoramaansicht. Dieses Mosaik wird als Referenzansicht verwendet. Nachfolgende Einzelbilder, die von der Videokamera aufgenommen werden, werden mit der Referenzansicht verglichen. Jegliche Bewegung in der Referenz wird erfaßt als Abweichung aus dem Vergleich des neuen Bildes mit dem Referenzmosaik. Die Details des Überwachungssystems werden unter Bezug auf die Fig. 12 und 13 zur Verfügung gestellt. Das mosaikbasierte Komprimierungssystem 110 verwendet das Mosaik als eine Basis für die effiziente Komprimierungsbildinformation für die Übertragung über einen Übertragungskanal mit niedriger Bandbreite. Eine Alternative des Komprimierungssystems wird verwendet, um die Bildinformation für die effiziente Speicherung innerhalb eines Speichermediums, wie z. B. einem Plattenlaufwerk oder einer CompactDisc zu komprimieren. Um effiziente Komprimierung zu erreichen, nutzt das Komprimierungssystem die große örtliche und zeitliche Korrelation aus, die in den Abfolgen von Bildern existiert. Die Details des mosaikbasierten Komprimierungssystems werden unten in Verbindung mit den Fig. 8, 9, 10 und 11 zur Verfügung gestellt.
Als nächstes wird das Mosaikkonstruktionssystem im Detail beschrieben. Auf diese Beschreibung folgt eine detaillierte Beschreibung von jeder der illustrativen Anwendungen für ein Mosaik, das durch ein Mosaikkonstruktionssystem konstruiert wurde.
Um die Unterschiede zwischen der Konstruktion eines dynamischen Mosaiks und der Konstruktion eines statischen Mosaiks am besten zu verstehen, wird jeder Konstruktionsprozeß getrennt beschrieben. Als erstes wird der dynamische Mosaikkonstruktionsprozeß beschreiben (Fig. 3, 4, 5 und 6) und dann wird ein statischer Mosaikkonstruktionsprozeß (Fig. 14) beschrieben.
Fig. 3 ist ein Flußdiagramm des Betriebs eines dynamischen Mosaikkonstruktionssystems 301. Das System enthält zwei nacheinander ausgeführte Prozesse, nämlich einen Bildausrichtungsprozeß 300 und einen Mosaikzusammensetzprozeß 303. Der Mosaikzusammensetzprozeß 303 enthält weiterhin zwei Prozesse, nämlich einen Auswahlprozeß 302 und einen Kombinationsprozeß 304. Der Prozeß 300 richtet das Eingangsbild mit einem vorher konstruierten Mosaik (sofern es eines gibt) aus, das über die Leitung 306 geliefert wird. Wenn ein Mosaik gegenwärtig nicht existiert, d. h. das Eingangsbild das erste Bild einer Abfolge von Bildern ist, dann wird das erste Bild als ein vorher konstruiertes Mosaik verwendet. Im Ergebnis wird das erste Bild das Mosaik für das zweite Bild. Bei der Erzeugung eines dynamischen Mosaiks verwendet das System typischerweise eine rekursive Mosaikkonstruktionssequenz. Somit wird das nächste Bild in der Abfolge mit dem gegenwärtigen Mosaik (ein Mosaik, das aus den vorhergehenden Bildern in einer Reihe von Bildern konstruiert wurde). Die Ausrichtung wird erreicht durch Ausrichten des Eingangsbildes mit dem Mosaik, d. h. das Mosaik und die Eingangsbilder werden mit dem Referenzkoordinatensystem ausgerichtet. Der Ausrichtungsprozeß wird verwirklicht durch ein Warping der Bilder zueinander. Der Bildausrichtungsprozeß erzeugt für jedes Bild die notwendige Ausrichtungsinformation, um das Eingangsbild auszurichten, so daß seine Bildinformation mit dem existierenden Mosaik kombiniert werden kann. Die Ausrichtungsinformation bestimmt die affine Transformation, die notwendig ist, um beispielsweise ein gegebenes Eingangsbild mit dem Referenzkoordinatensystem auszurichten.
Wenn die hierarchische Mosaikkonstruktionsabfolge verwendet wird, oder wenn Untermosaiken gewünscht sind, erzeugt der Bildausrichtungsprozeß eine Ausrichtungsinformation für jedes der Untermosaiken sowie für jedes der Teilbilder des Untermosaiks.
Innerhalb des Zusammensetzprozesses 303 wählt der Auswahlprozeß 302 aus, welche Abschnitte des Eingangsbildes und des gegenwärtigen Mosaiks verwendet werden, um ein aktualisiertes Mosaik zu bilden. Das aktualisierte Mosaik ist ein Mosaik, das zumindest einen Abschnitt des letzten Eingangsbildes und zumindest einen Abschnitt des vorherigen Mosaiks beinhaltet. Der Auswahlprozeß kann das Maskieren oder Abschneiden durchführen, um die Größe des Mosaiks zu begrenzen. Es kann ebenso die Bildauswahl durchführen, in der unpassende ("alte") Bilder aus dem Mosaik entfernt werden.
Der Prozeß 304 kombiniert die ausgerichteten Bilder, um ein aktualisiertes Mosaik zu bilden. Der Kombinationsprozeß führt einen oder mehrere der folgenden Prozesse durch, um das Eingangsbild mit dem Mosaik nahtlos zu kombinieren: Vermischen, Verschmelzen, Interpolieren, Extrapolieren, Verstärken, Coring sowie andere konventionelle Bildkombinierungsprozesse. Der Ausgang ist ein aktualisiertes dynamisches Mosaik, das nahtlos kombinierte Bildinformation von dem letzten Eingangsbild enthält.
Um die Ausrichtung durchzuführen und das Eingangsbild schließlich mit dem Mosaik zu kombinieren, kann die Auflösung des Eingangsbilds auf die Auflösung des Mosaiks oder umgekehrt transformiert werden. Es ist jedoch am besten, eine konventionelle Laplace-Bildpyramide des Eingangsbildes und ebenso von dem gesamten Mosaik zu erzeugen, d. h. das System 102 wird mehrfach aufgelöst. Wenn solch eine Ausrichtung auf einer grob-zu-fein-Basis durchgeführt wird, so daß eine ursprüngliche Ausrichtung unter Verwendung eines relativ niedrigen Auflösungsniveaus in jeder der Pyramiden durchgeführt wird und dann nacheinander Pyramidenebenen höherer Auflösung verwendet werden, um die Ausrichtung zu perfektionieren. Solch ein Pyramidenbezugssystem verbessert die Geschwindigkeit, mit der eine Ausrichtung verwirklicht werden kann, sowie die Genauigkeit der Ausrichtung. Während des Rests der Diskussion des Mosaikkonstruktionssystems und seiner Anwendungen wird angenommen, daß das Eingangsbild und das Mosaik Pyramiden sind. Der Fachmann sollte jedoch erkennen, daß das Pyramidenbezugssystem nicht notwendig ist, um die Erfindung auszuführen und daß eine einfache Auflösungstransformation statt eines Pyramidenbezugssystems verwendet werden könnte. Weiterhin ist das Anzeigesystem flexibel, da die Referenzkoordinaten, an die das letzte Bild, das Mosaik oder beide geformt werden, willkürlich ausgewählt werden kann.
Fig. 4 ist ein Flußdiagramm des Prozesses 300. Allgemein gesprochen haben Systeme des Standes der Technik die Bildausrichtung verwirklicht, um zwei sequentielle Videoeinzelbilder auszurichten durch Korrelation der Bildinformation, die in jedem Einzelbild enthalten ist. Die Erfindung benutzt ein Videoeinzelbildausrichtungssystem, das dem Ausrichtungssystem, das in der US- Patentanmeldung Seriennr. 08/071,814 sehr ähnlich ist, außer daß das Ausrichtungssystem für die Erfindung ein Eingangsbild mit einem gesamten Mosaik ausrichtet statt mit einem einzelnen vorherigen Eingangsbild. Nichtsdestoweniger sind die Ausrichtungskonzepte ähnlich. Speziell gesagt führt der Ausrichtungsprozeß als erstes eine grobe Ausrichtung durch, um das letzte Bild mit dem existierenden Mosaik im großen und ganzen auszurichten. Danach richtet ein grob-zu-fein- Ausrichtungsprozeß die Ebene der Pyramide mit niedrigster Auflösung für das Eingangsbild in Bezug auf eine vergleichbare Auflösungsebene der Pyramide für das gegenwärtige Mosaik aus (unter der Annahme einer rekursiven Mosaikkonstruktionssequenz und daß das Mosaikkoordinatensystem das Referenzkoordinatensystem bildet). Um die Ausrichtung von vergleichbaren Auflösungen zu erreichen, kann die niedrigste Ebene einer Pyramide mit höheren Ebenen der anderen Pyramide ausgerichtet werden.
Um die Ausrichtung zu beginnen, richtet Schritt 401 das Eingangsbild und das Mosaik grob zueinander aus. Die grobe Ausrichtung wird unter Verwendung der Information von den Bildpyramiden des Eingangsbildes und des Mosaiks verwirklicht. Daher erzeugt in Schritt 402 der Prozeß eine Bildpyramide für sowohl das Eingangsbild als auch das Mosaik. Informationen von den Pyramiden werden entlang der Leitung 403 zu dem Grobausrichtungsschritt getragen. Typischerweise verwirklicht das System diese Grobausrichtung durch Verwenden lediglich der Position des vorherigen Eingangsbildes in dem Mosaik als die ursprüngliche Ausrichtungsposition für das gegenwärtige Eingangsbild. Wenn die Bildsequenz eine Videoeinzelbildsequenz ist, dann arbeitet diese Form der Grobausrichtung recht gut. Es gibt jedoch Fälle, wo das vorliegende Eingangsbild keines oder sehr wenige der Bilder des vorherigen Bildes enthält, jedoch Bilder von einigen anderen Abschnitten des Mosaiks enthalten kann. In diesem Fall würde die Verwendung des vorigen Bildortes für die Grobausrichtung nicht gut funktionieren.
Somit wird, um die Grobausrichtung zu verbessern, das Mosaik "tiled" bzw. gekachelt. Das heißt, daß das Mosaik in kleinere Mosaiken, Kacheln genannt, unterteilt wird, die über Koordinatentransformationen miteinander verbunden sind. Dieses gekachelte Mosaik hat den Vorteil, daß nicht ein einzelnes Koordinatensystem über das gesamte Mosaik (eine Sammlung von all den Kacheln zusammengenommen) verwendet wird und folglich der addierte Ausrichtungsfehler innerhalb einer gegebenen Kachel klein ist.
Zur Veranschaulichung hat jede Kachel viermal die Größe von irgendeinem Eingangsbild. Natürlich können andere Kachelgrößen verwendet werden. Das Eingangsbild wird mit der Kachel, in der das vorherige Bild in der Abfolge plaziert wurde, grob ausgerichtet. Innerhalb des gegenwärtigen Eingangsbildes werden eine Anzahl von Unterfenstern, z. B. drei Regionen mit einer 16 · 16- Pixelausdehnung als "landmarks" bzw. charakteristische Merkmale ausgewählt. Diese charakteristischen Merkmale werden bei einer ausgewählten Pyramidenebene, z. B. Ebene 3, berechnet. Die charakteristischen Merkmale werden als die drei Bereiche mit der größten Bildenergie im Vergleich zu allen anderen Bereichen in dem Bild, in dem Eingangsbild auf dem ausgewählten Pyramidenniveau ausgewählt.
Die charakteristischen Merkmale sind individuell gegenüber entsprechend dimensionierten Bereichen mit jeder möglichen Verschiebung des Eingangsbildes unter Bezug auf die Kachel, die das vorherige Eingangsbild enthält, korreliert. Die Korrelationswerte werden in eine einzelne Größe integriert, nämlich eine Korrelationsfläche. Der Scheiteiwert der Korrelationsfläche stellt die Näherungsposition der Ausrichtung für das Eingangsbild und der Kachel zur Verfügung. Von dieser Näherungsposition (grob ausgerichtete Position) beginnt die präzise Ausrichtung.
In Schritt 404 wird die Ebene niedrigster Auflösung in beiden Bildpyramiden ausgewählt, um mit dem Korrelationsprozeß zu beginnen. In der Theorie würden von beiden Pyramiden die niedrigsten Ebenen verwendet. Das Eingangsbild und das Mosaik könnten jedoch wesentlich unterschiedliche Auflösungen habe, d. h. das Mosaik könnte eine "Totale" einer Szene darstellen, während das Eingangsbild einen kleinen Abschnitt des Mosaiks (in der Ansicht gezoomt) enthalten könnte. Somit könnte die Ebene niedrigster Auflösung für das Mosaik einem mittleren Auflösungsniveau in dem Eingangsbild entsprechen oder umgekehrt. Um das Bild und das Mosaik am besten zueinander auszurichten, können die ausgewählten Pyramidenebenen unterschiedlich sein, z. B. nicht lediglich die niedrigsten Auflösungsniveaus. Typischerweise ist die beste Abschätzung der zu verwendenden Pyramidenebene in den Ausrichtungsparametern enthalten, die verwendet werden, um das vorherige Bild mit dem Mosaik auszurichten.
In Schritt 406 wird ein Bereich (z. B. 3 · 3 Pixel) von der ausgewählten Auflösungsebene der Pyramide für das Eingangsbild ausgewählt. Dieses Gebiet ist mit Schritt 408 korreliert mit dem ausgewählten Auflösungsniveau für das Mosaik. In Schritt 410 fragt der Prozeß ab, ab der Korrelationspeak in einer Korrelationsfläche größer als ein vorbestimmter maximaler Korrelationspeak für dieses Auflösungsniveau ist (ein Schwellwert). Wenn die Abfrage negativ beantwortet wird, dann wird das ausgewählte Gebiet in Schritt 412 relativ zu dem Mosaikkoordinatensystem bewegt und in Schritt 408 erneut korreliert. Das Verfahren wiederholt die Schritte 410, 412 und 408, bis die Abfrage in Schritt 410 bestätigend beantwortet wird. Danach speichert das Verfahren in Schritt 412 die Anordnungsparameter, die das Eingangsbild bei diesem Auflösungsniveau mit dem Mosaik ausrichten.
Spezieller gesagt bezeichnet Lc die Ortsauflösung mit Lc = 0 als der höchsten Auflösung und LLc bezeichnet das Laplace-Bild bei der Auflösung Lc. Nach der Grobausrichtung eines Eingangsbildes wurde LLc[t - 1] in die näherungsweise Ausrichtung mit dem Mosaik gezerrt (warping). Als solches werden das Bild und das Mosaik in Bezug aufeinander verschoben und bildweise multipliziert, was zu einem Produktbild führt. Für eine Verschiebung von (i, j) wird das Produktbild Ii,j definiert als:
Ii,j = LLc[f](x, y)LLc[t - 1](x + i, y + j) (1)
wobei i,j E[-N, N]. Die vollständige Integration des Bildes Ii,j führt zu dem Kreuzkorrelationswert Ci,j zwischen den zwei Laplace-Bildern (Eingangsbild und Mosaik) bei der Verschiebung (i, j). Lokale Kreuzkorrelationswerte werden berechnet durch Integration jedes Produktbildes I; ,,, über lokale Bereiche (Korrekturen des Bildes), um Kreuzkorrelations-"Bilder" der Form Ci,j(x, y) zu erzielen. Um jedoch Randeffekte zu vermeiden und dafür zu sorgen, daß die Ergebnisse am repräsentativsten für die Information an den Zentren der lokalen Korrekturen sind, wird eine gewichtete Funktion W(x, y) gegenüber der einfachen Umgebungsmittelung für die lokale Integration bevorzugt. Daher werden die Werte für Ci,j(x, y) aus dem Produktbild Ii,j berechnet mit:
Ci,j(x, y) = Ii,j(x, y) W(x, y) (2)
wobei W(x, y) die Integrationswichtungsfunktion ist und die Faltung bezeichnet.
Die Faltung mit dem Kern W(x, y) (typischerweise eine Gauß-Funktion) hat den Effekt des Glättens der Produktbilder Ii,j in den Kreuzkorrelationsbildern Ci,j. Abhängig von der Größe des Kerns wird das resultierende Ci,j zu verschiedenen Geraden overgesampelt. Daher führt das Abschätzen eines Bildflußfeldes (z. B. die Pixel-per-Pixel-Bewegung eines Bildes, die notwendig ist, um die Ausrichtung mit einem anderen Bild zu erreichen) basierend auf einer Analyse von Ci,j(x, y) direkt in einem entsprechend overgesampelten Flußfeld. Um die Berechnungskosten der Produktberechnung auf einem Minimum zu halten, wird ein Pyramidenreduzierungsprozeß für die Integration verwendet anstelle der Durchführung von Faltungen auf den Produktbildern auf der Korrelationsauflösungsebene Lc. Verschiedene Anzahlen von Pyramidenreduzierungsschritten können verwendet werden, um die Integration über entsprechend unterschiedliche Ortsgebiete zu erreichen, wobei jede Pyramidenebene, die bei einem Integrationsschritt erzeugt wurde, die Größe des Flußfeldes (und die Berechnungskosten, die mit diesem Flußfeld verknüpft sind) um einen Faktor 4 reduziert.
Die kritischen Parameter für den lokalen Kreuzkorrelationsprozeß sind: (1) das Ortsauflösungsniveau Lc, das für die Laplace-Bilder (Eingangsbild und Mosaik) verwendet wird, (2) eine halbe Breite N der Korrelationssuche und (3) eine Ortsauflösung Li, die für die Integration gewählt wird, wobei Li = Lc plus die Anzahl der verwendeten Integrationsschritte.
Der Wert von Lc bestimmt ein Ortsfrequenzband, das für die Bewegungsschätzung (geschätzte Translationsparameter oder Vektoren, um das Bild mit dem Mosaik auszurichten) verwendet wird, und bestimmt somit die Bewegung, die während der Iteration erfaßt werden wird. Eine einzelne Pixelverschiebung auf der Ebene Lc entspricht einer Verschiebung von 2Lc auf dem höchsten Auflösungsniveau. Diese Verschiebung diktiert den gesamten Bereich und die Gesamtgenauigkeit der Schätzungen, die aus dem Analysieren bei diesem Auflösungsniveau erzielt werden.
Die Größe des Korrelationssuchbereichs N bestimmt die maximale Verrückung (Bereich), der bei der Ortsauflösung Lc bestimmt werden kann. Obgleich größere Werte von N einen größeren Bereich von Bewegungen, die zu schätzen sind, ermöglicht, wächst ebenso das Potential für falsche Übereinstimmungen. Es gibt ebenso einen quadratischen Anstieg in den begleitenden Berechnungskosten. Daher sind die Werte für N in der Praxis auf 1 oder 2 beschränkt.
Der Integrationslevel Li bestimmt zwei Dinge. Als erstes bestimmt er die Menge der Glättung, die auf den Korrelationsergebnissen durchgeführt würde. Größere Glättung führt zu besseren Signalrauschcharakteristika, wird jedoch entsprechend zu schlechteren Abschätzungen des räumlichen Gebiets des Korrelationspeaks führen. Noch bedeutsamer ist, daß es die implizite Annahme macht, daß die Korrelationswerte (und das Flußfeld) innerhalb des Integrationsgebiets lokal glatt sind, was nicht überall in dem Bild der Fall sein muß. Ebenso bestimmt Li die Größe des resultierenden Flußfeldes, da eine Flußabschätzung für jede Position in dem integrierten Korrelationsbild ausschließlich der Grenzen durchgeführt werden kann. Folglich wird das Integrationsniveau Li gerade groß genug gewählt, um die notwendige Unterstützung für zuverlässige und genaue Flußabschätzungen bereitzustellen.
Da das Laplace-Bild ein vorzeichenbehaftetes Bild mit näherungsweise 0 lokalen Durchschnittswerten ist, hat die Korrelationsfläche sowohl positive als auch negative Werte. Dies ist ähnlich der Verwendung eines Typs von arithmetischen Mitteln der normalisierten Korrelation auf verschwommenen bzw. unscharfen Gauß-Bildern. Es sei ebenso bemerkt, daß die Größen der Korrelationswerte nicht normalisiert sind. Während solch eine Normalisierung völlig innerhalb des Schutzbereiches des Prozesses liegt, erhöht dies in der Praxis die Rechenlast und die resultierende Erhöhung der Genauigkeit des Flußfeldes ist gering. Unter lnbetrachtziehung dieser Tatsache wurde die Korrelationsnormalisierung in dem gegenwärtigen Prozeß nicht aufgenommen.
Um eine Subpixelgenauigkeit (eine Subpixelflußschätzung) der Anordnung zu erhalten, wird ein relativ kleines Gebiet (N = 1 ist ein 3 · 3-Pixelgebiet) verwendet und interpoliert, um einen Peak bzw. einen Scheitelwert in der Korrelationsfläche innerhalb des Gebietes zu finden. Angenommen, daß ein Peak innerhalb 1/2 Pixel des Zentrums der Korrelationsfläche auftritt, werden die horizontalen und vertikalen Orte des Peaks getrennt geschätzt. Somit wird in jeder Richtung die folgende eindimensionale Gleichung gelöst:
wobei P&sub1;, P&sub2; und P&sub3; drei Korrelationswerte in der Korrelationsfläche sind. Wenn die Annahme, daß der Korrelationspeak innerhalb von eines halben Pixels von dem Zentrum der Oberfläche liegt, dann muß ein anderer Prozeß verwendet werden, um den Subpixelkorrelationspeak zu bestimmen. Eine diskrete zweite Ableitung wird auf dem Zentrum der Korrelationsfläche berechnet, um zu bestimmen, ob die Korrelationsdaten für die Interpolation unter Verwendung von Gleichung (3) geeignet sind. Peaks bei einer Verschiebung von größer als einem vollen Pixel führen zu keinem Maximum, das an dem Zentrum der Oberfläche erfaßt wird. Verschiebungen von größer als 1/2 eines Pixels, jedoch weniger als ein Pixel, bestehen den Test der zweiten Ableitung und können interpoliert werden, die Verschiebungsschätzungen in diesem Fall sind jedoch nicht so genau wie die Messungen für Pixel bei einer Pixelverschiebung von weniger als 1/2.
Unter Verwendung der P&sub1;-, P&sub2;- und P&sub3;-Nomenklatur wie vorher wird ein Test unter Verwendung der zweiten Ableitung auf dem Zentrum der Oberfläche entlang einer der Linien durch die Oberfläche beschrieben durch T = 2P&sub2; - P&sub3; - P&sub1;. Wenn T kleiner als 0 ist, dann gibt es kein Maximum, das um diese Position in der Korrelationsfläche erfaßt wird und kein Vektor sollte für diesen Punkt in dem Bild geschätzt werden. In gleicher Weise sollten die diagonal ausgerichteten Linien auf der 3 · 3- Oberfläche, die durch das Zentrum führen, überprüft werden unter Verwendung desselben Tests: Wenn eine der diagonalen Orientierungen keinen Peak über dem Zentrum zeigt, dann sollte für diesen Ort kein Vektor geschätzt werden.
Als letztes paßt der Anordnungsprozeß das Flußfeld an ein lineares Bewegungsmodell erster Ordnung an. Eine Annäherungsregression wird verwendet, um die Vektoren in dem Flußfeld an diese Modelle zu litten. Vektorvertrauenswerte werden verwendet, um den Einfluß jedes Vektors auf die Regression zu wichten - wenn Vektoren ein nullwertiges Vertrauen haben, tragen diese Vektoren überhaupt nicht zu der Regression bei, während Vertrauenswerte mit positivem Wert es den Vektoren erlauben, zu der Regression in einer gewichteten Art und Weise beizutragen.
Der Bildausrichtungsprozeß iteriert den vorhergehenden Prozeß unter Verwendung der Schritte 408, 410, 412, bis die gewünschte Unterpixelgenauigkeit erhalten wird. In Schritt 414 speichert der Prozeß die Ausrichtungsparameter, die verwendet werden können, um das Bild derart zu transformieren, daß es mit dem Mosaik ausgerichtet ist.
Der Prozeß fragt in Schritt 416 ab, ob der höchste Auflösungslevel in einer der Pyramiden bearbeitet wurde. Wenn diese Anfrage negativ beantwortet wird, wählt der Prozeß in Schritt 418 die Ebene mit der nächsthöheren Auflösung in jeder der Pyramiden aus. Danach kehrt der Prozeß entlang der Linie 422 zu Schritt 406 zurück. Danach wiederholt der Prozeß die Schritte 406, 408, 410, 412, 414, 416 und 418, bis ein Bereich in jeder der Auflösungsebenen verarbeitet wurde und die Anfrage in Schritt 416 bestätigend beantwortet wird. Zu diesem Punkt stoppt der Prozeß in Schritt 420. Sobald er gestoppt ist, hat der Prozeß das Eingangsbild mit dem Mosaik ausgerichtet unter Verwendung eines grob-zu-fein-Ausrichtungsprozesses. Die Ausrichtungsparameter, z. B. ein Satz von Werten, der verwendet werden kann, um das gegenwärtige Eingangsbild mit einem ausgerichteten Ort in dem Mosaik zu transformieren, werden in dem Speicher verwendet.
Das Vorhergehende ist ein illustratives Beispiel eines Prozesses für das präzise Ausrichten des Bildes mit dem Mosaik. Andere Prozesse sind genauso nützlich wie der oben beschriebene. Andere illustrative präzise Ausrichtungsprozesse sind beschrieben in Bergen et al. "Hierarchical Model-Based Motion Estimation", Proceedings of European Conference on Computer Vision '92, S. 1-21, 1992.
Fig. 5 ist ein Flußdiagramm des Auswahlprozesses 302 für das Auswählen des Mosaiks und/oder des Eingangsbildes oder Abschnitten hiervon, um bestimmte Mosaikinhaltskriterien zu erfüllen. Diese Auswahlfunktionen können das Abschneiden, das Maskieren, das Eliminieren von "alten" Bildern aus dem Mosaik, das Bildwichten und dergleichen beinhalten. Die Auswahlfunktionen können entweder vom Benutzer auswählbar sein oder automatisch vorbestimmt sein, um spezifische Mosaikanforderungen am besten zu erfüllen. Die folgende Diskussion nimmt an, daß die Auswahlfunktionen benutzerdefiniert sind.
Ausdrücklich gesagt beginnt der Prozeß 302 bei Schritt 500 mit der Eingabe der Ausrichtungsinformation, des existierenden Mosaiks und des Eingangsbildes. In Schritt 502 wählt der Benutzer eine Auswahlfunktion und verknüpfte Steuerparameter für die ausgewählte Funktion aus. Typischerweise würde solch eine Auswahl von einem Menü von Funktionen und Parametern erfolgen. Um einige mögliche Auswahlfunktionen zu illustrieren, ist der Prozeß als verzweigend von Schritt 502 zu den Schritten 504, 508, 512 und 516 dargestellt. Der spezifische Zweig, der verwendet wird, hängt von der ausgewählten Auswahlfunktion ab.
Wenn beispielsweise der Benutzer eine Abschneidfunktion auswählt, setzt der Prozeß mit Schritt 504 fort. In Schritt 506 definiert der Benutzer bestimmte Parameter, um die Abschneidfunktion zu steuern, z. B. wählt er einen Bereich von Interesse in einem Bild oder Mosaik aus. Alternativ könnte der Benutzer das Maskieren (Schritt 508) oder die Mosaikabschneidung (Schritt 512) als Editierfunktionen auswählen. In jedem Fall werden bei den Schritten 510 und 514 bestimmte Parameter dann definiert, um jede Editierfunktion zu steuern. Weiterhin kann eine Wichtungsfunktion (Schritte 511 und 513) den ausgewählten Bildern oder Teilen hiervon zugewiesen werden, so daß auffallende bzw. hervorstechende Merkmale der Bilder entfernt werden, z. B. kann die Wichtung erzielt werden, um Objekte, die sich bewegen, zu entfernen und nur eine Hintergrundszene als Mosaik zurückzubehalten. Auf der anderen Seite können die auffallenden Merkmale gewichtet werden, um es den sich bewegenden Objekten zu erlauben, sich von dem Hintergrund abzuheben. Schritt 516 ist mit "andere" gekennzeichnet, um anzuzeigen, daß andere Editierfunktionen durchgeführt werden können und daß die dargestellten nur als illustrativ angesehen werden.
In Schritt 518 werden die Editierfunktionen an das Eingangsbild und das Mosaik angelegt in Übereinstimmung mit den verknüpften Steuerparametern. Der Prozeß fragt in Schritt 520 an, ob der Benutzer es wünscht, weitere Editierfunktionen anzulegen. Wenn die Anfrage bestätigend beantwortet wird, setzt der Prozeß entlang der Linie 522 mit Schritt 502 fort. Wenn die Anfrage negativ beantwortet wird, stoppt der Prozeß in Schritt 524.
Fig. 6 stellt den Kombinationsprozeß 304 dar, der das Eingangsbild und das Mosaik kombiniert. Der Prozeß beginnt in Schritt 600 durch die Eingabe des Mosaiks und des Eingangsbildes nach der Auswahlverarbeitung. Um eine nahtlose Kombination des Eingangsbildes und des Mosaiks zu erreichen, können ein oder mehrere unterschiedliche Kombinationsfunktionen an das Eingangsbild und das Mosaik angewendet werden. Somit wird in Schritt 602 eine Kombinationsfunktion entweder durch den Benutzer oder automatisch ausgewählt. Dies kann vom Benutzer ausgewählt sein, jedoch typischerweise werden die Funktionen, die verwendet werden, von der Anwendung des Systems definiert und werden automatisch auf das Mosaik und das Eingangsbild angewendet. In jedem Fall sind die Schritte 604, 606, 608, 610 und 612 illustrative Beispiele von Prozessen, die konventionell benutzt wurden, um Bilder nahtlos zu kombinieren. Beispielsweise wendet der Prozeß in Schritt 604 eine Bildvermischungstechnik auf das Mosaik und das Eingangsbild an. Solch eine Vermischungstechnik ist in der US-Patentanmeldung beschrieben.
In ähnlicher Weise verwendet der Prozeß in Schritt 606 eine Bildverschmelzungstechnik, um das Mosaik und das Eingangsbild miteinander zu kombinieren. Solch eine Verschmelzungstechnik ist in dem US-Patent Nr. 5,325,449 beschrieben.
Der Interpolations- und Extrapolationsprozeß in Schritt 608 wird in einer konventionellen Art und Weise verwendet, um Lücken zwischen den Bildern, die das Mosaik aufweist, zu füllen. Der Verstärkungsprozeß in Schritt 610 wird verwendet, um die relativen Beiträge der ausgewählten Ebenen in den Pyramiden, die das Mosaik darstellen, einzustellen (zu verstärken oder abzuschwächen). Die Verstärkung kann auf einem gesamten Niveau bzw. einer gesamten Ebene angewendet werden oder sie kann auf nur einen Teil eines Niveaus angewendet werden, und dieser Teil kann relativ zu den verbleibenden Pixeln in dieser Ebene verstärkt werden kann. Der Coring-Prozeß in Schritt 612 führt eine Schwellwertfunktion auf jedem Pixel auf einem Schwellwertniveau durch, so daß Pixel mit Werten geringer als der Schwellwert aus dem aktualisierten Mosaik entfernt werden.
Als letztes ist Schritt 614 ein Schritt, der als "andere" bezeichnet ist, um anzuzeigen, daß die vorhergehenden Schritte als illustrative Kombinationsfunktionen angesehen werden. Abhängig von der Natur der Bilder und der Anwendung, in der sie verwendet werden, können andere Funktionen verwendet werden, um das Eingangsbild und das Mosaik besser zu kombinieren. Andere Funktionen beinhalten, sind jedoch nicht hierauf begrenzt, das temporale Mitteln, die Medianfilterung, die Superauflösungsverarbeitung und die gewichtete Mittelung. Der Fachmann sollte verstehen, daß andere Kombinationsfunktionen für die Aufnahme bzw. Integration in das Mosaikkonstruktionssystem vorgesehen werden können.
Der Ausgang von dem dynamischen Mosaikkonstruktionssystem ist ein Mosaik aus Eingangsbildern, das automatisch konstruiert wird, wenn Eingangsbilder an den Eingang des Systems angelegt werden. Das dynamische Mosaik kann als solches in Echtzeit erzeugt werden, wenn beispielsweise Videoeinzelbilder von einer Videokamera erzeugt werden. Das Mosaik als solches wird in Echtzeit aufgebaut und verändert, wobei jedes Einzelbild der Videoinformation verwendet wird, um das Mosaik zu aktualisieren. Solch ein Mosaikkonstruktionssystem findet Verwendung in vielen Anwendungen. Dreiillustrative Anwendungssysteme werden unten diskutiert.
Fig. 14 stellt ein statisches Mosaikkonstruktionssystem 1401 dar, das ähnliche Komponenten wie das dynamische Mosaikkonstruktionssystem beinhaltet. Das System enthält nämlich einen Ausrichtungsprozeß 1400 und einen Mosaikzusammensetzungsprozeß 1402. Der Ausrichtungsprozeß führt jedoch eine Bildstapelsequenzverarbeitung durch. Das statische System verarbeitet gleichzeitig alle Bilder in einer Unterabfolge von Bildern, z. B. verwendet das System die Stapelsequenzierung. Obgleich alle Bilder miteinander ausgerichtet werden, ist der Ausrichtungsprozeß identisch zu dem, der oben erörtert wurde. Statt einer Grobausrichtung eines Bildes zu dem vorherigen Bild oder zu einer Kachel, die das vorherige Bild enthält, wird jedoch in diesem statischen System jedes Bild ursprünglich grob zu seinem Nachbarn (einem benachbarten Bild) oder eine Kachel, die ein benachbartes Bild enthält, ausgerichtet. Danach wird der genaue Ausrichtungsprozeß von Fig. 4 exakt wie oben beschrieben ausgeführt. Das Ergebnis des Ausrichtungsprozesses ist eine Mehrzahl von Ausrichtungsparametern, d. h. Ausrichtungsparametern für jedes Eingangsbild.
Die Ausrichtungsparameter werden von dem Zusammensetzungsprozeß 1402 verwendet, um die ausgerichteten Bilder in ein statisches Mosaik zu kombinieren. Der Mosaikzusammensetzprozeß enthält den Auswahlprozeß 1404 und den Kombinationsprozeß 1406. Diese Prozesse funktionieren ähnlich zu den Prozessen, die in den Fig. 5 und 6 dargestellt sind. Es sei jedoch erwähnt, daß, da das Mosail nicht aktualisiert wird, es keine Rückkopplung des konstruierten Mosaiks zurück zu dem Ausrichtungsprozeß gibt, wie dies in dem System der Fall war, um das dynamische Mosaik zu konstruieren.
Fig. 7 ist ein Blockdiagramm des mosaikbasierten Anzeigesystems 104. In diesem System werden die Eingangsbilder in einem Referenzmosaik unter Verwendung des oben beschriebenen Mosaikkonstruktionssystems dargestellt. Als solches werden für jedes neue Eingangsbild zwei Mosaiken erzeugt. Das Referenzmosaik wird mit dem neuen Eingangsbild aktualisiert und das Anzeigemosaik wird mit dem neuen Eingangsbild aktualisiert. Allgemein enthalten diese beiden Mosaiken dieselbe Bildinformation, das Anzeigesystem kann jedoch zusätzliche Information zu dem Anzeigemosaik hinzufügen, die in dem Referenzmosaik nicht notwendig oder unerwünscht ist.
Ausdrücklich gesagt bildet die Eingangsbildsequenz 700 eine Eingabe zu dem Referenzmosaikkonstruktionssystem 102, zu einem Bildauswahlprozeß 702 und zu einem Bildkombinationsprozeß 704. Das Referenzmosaikkonstruktionssystem stellt dem Bildauswahlprozeß 702 die Ausrichtungsinformation für all die Eingangsbilder zur Verfügung, die gegenwärtig das Referenzmosaik aufweist.
Der Auswahlprozeß 702 und der Bildkombinationsprozeß sind in ihrer Funktion ähnlich wie der Prozeß 302 (oder 1404) und der Kombinationsprozeß 304 (oder 1406) in Fig. 3 (oder Fig. 14) und wie oben beschrieben. Daher werden diese Prozesse nicht im Detail beschrieben außer bestimmte Aspekte, die die Prozesse 702 und 704 von den Prozessen 302 und 304 (oder 1404 und 1406) unterscheiden. Ein Unterschied ist, daß zusätzliche Bildinformation 706 in das Anzeigemosaik aufgenommen werden kann. Die zusätzliche Bildinformation wird als solche zu sowohl dem Bildauswahlprozeß als auch dem Bildkombinationsprozeß geliefert. Die zusätzliche Bildinformation kann das Markieren von bestimmten Bereichen in dem Mosaik, das Farbverstärken von spezifischen Gebieten, das Behandeln des letzten Eingangsbildes, das Überblenden bzw. Verblassen von allen Bildern in dem Anzeigemosaik, die "alt" sind, und dergleichen aufweisen.
Weiterhin ist der Prozeß 704 in der Lage, das Anzeigemosaik zu kacheln. Durch das Kacheln kann das Anzeigemosaik effizient in einem Anzeigemosaikpufferspeicher 705 als eine Reihe von Untermosaiken abgelegt werden. Diese Untermosaiken können von dem Speicher, wenn sie benötigt werden, wieder aufgerufen werden und mit anderen Untermosaiken oder Eingangsbildern kombiniert werden, um irgendein vorher angezeigtes Mosaik erneut zu kreieren. Die Ausrichtungsinformation für die entsprechenden Untermosaiken wird mit den Untermosaiken abgelegt, so daß der erneute Zusammenbau in das gesamte Anzeigemosaik oder in einige Abschnitte hiervon einfach ist. Die Untermosaiken können verwendet werden, um Vordergrundverdeckungen zu entfernen, um das Mosaik von einer vorherigen Sensorposition zu betrachten, oder um sich bewegende Objekte in das gegenwärtige Anzeigemosaik einzufügen, die tatsächlich bei einer vorherigen Zeit aufträgt.
Das Anzeigemosaik wird temporär in dem Speicher abgelegt, der durch Block 706 dargestellt wird. Dieses Anzeigemosaik wird mit neuen Eingangsbildern und zusätzlicher Bildinformation, wenn dies notwendig ist, aktualisiert. Das Anzeigemosaik kann in einer von vielen Formen erscheinen. Beispielsweise kann der Hintergrund entweder durch Einfrieren des Mosaiks auf ein Referenzkoordinatensystem oder durch die gesteuerte Bewegung stabilisiert werden. In solch einem stabilisierten Mosaik erscheinen Vordergrundobjekte derart, als ob sie sich frei relativ zu dem stabilisierten Hintergrund bewegen würden. Alternativ kann ein Vordergrund stabilisiert werden und auf das Zentrum der Anzeige fixiert werden, während der Hintergrund derart erscheint, als ob der sich hinter dem Vordergrundobjekt bewegt, wenn das Vordergrundobjekt in Bewegung ist. Ebenso kann das Anzeigemosaik relativ zu irgendeinem Referenzkoordinatensystem konstruiert werden, selbst wenn ein Koordinatensystem sich von dem, das von dem Referenzmosaik verwendet wird, unterscheidet.
In Block 708 wählt ein Benutzer ein Anzeigedarstellungsfeld aus, d. h. einen Abschnitt des Anzeigemosaiks, das auf einem Computermonitor dargestellt werden soll. Wenn das ausgewählte Darstellungsfeld kleiner als das gesamte Anzeigemosaik ist, dann kann das Darstellungsfeld über das Mosaik gerollt (gescrollt) werden und/oder verwendet werden, um hinein- oder herauszuzoomen, um bestimmte Gebiete innerhalb des Mosaiks besser zu betrachten.
Sobald ein Darstellungsfeld ausgewählt ist, kann der Benutzer in Schritt 710 eine oder mehrere Editier- und Verstärkungsfunktionen auswählen. Beispielsweise könnte der Anwender Gebiete der Anzeige hervorheben, ausgewählte Gebiete filtern, Gebiete der Anzeige für das Plazieren in Dokumenten ausschneiden, spezifische Anzeigegebiete für das Drucken und dergleichen auswählen.
Zusätzlich zu der Bildverstärkung und der Editierung stellt das System einen Mosaikanalysator 712 zur Verfügung, der ausgewählte Overlays für das Anzeigemosaik auswählt. Durch die Überwachung der Operation des Editierprozesses und des Kombinationsprozesses erzeugt der Mosaikanalysator 712 ein Overlay, das die Position des letzten Eingangsbildes, das zu dem Mosaik hinzugefügt wurde, umreißt. Der Analysator kann ebenso Overlays erzeugen, die die Bewegung des Vordergrundobjekts innerhalb des Anzeigemosaiks behandelt oder um graphisch die Bewegung des Sensors in einem stabilisierten Anzeigemosaik anzuzeigen. Zusätzlich können Overlays erzeugt werden, um Bereiche des Anzeigemosaiks anzuzeigen, die Information enthalten, die nicht länger fehlerfrei oder zeitgemäß sind.
In Schritt 714 wird der Abschnitt des Anzeigemosaiks innerhalb des ausgewählten Darstellungsfeldes dem Benutzer auf einen Computermonitor oder einem anderen Anzeigegerät dargestellt. Der Benutzer kann das Darstellungsfeld in Echtzeit manipulieren, so daß Veränderungen in dem Darstellungsfeld virtuell instantan erscheinen. Zusätzlich wird jede Aktualisierungsinformation, z. B. ein neues Eingangsbild in dem Darstellungsfeld, das in Echtzeit auftreten kann, in Echtzeit aktualisiert.
Das Bilddrucksystem 106 erzeugt eine "Hardcopy" des Abschnitts des Anzeigemosaiks innerhalb des Darstellungsfeldes, das von dem mosaikbasierten Anzeigesystem definiert wird. Da das Anzeigemosaik innerhalb eines Bildpyramidenbezugssystems abgeleitet wird, hat das Anzeigemosaik eine Auflösung, die mit der Auflösung des Computermonitors kommensurabel ist. Die Anzeigemosaikauflösung wird jedoch typischerweise nicht die höchste Auflösung sein, die verfügbar ist. Eine höhere Auflösung kann verwendet werden, um die dargestellten Bilder innerhalb des Darstellungsfeldes zu bedrucken. Solch ein Hochauflösungsdrucken ist möglich, da die Bilder unter Verwendung des grob-zu-fein-Ausrichtungsprozesses ausgerichtet wurden, der die Bilder mit einer Unterpixelgenauigkeit genau ausrichtet.
Im Betrieb erzeugt der Benutzer ein Anzeigemosaik aus einer Reihe von Bildern, wählt dann einen gewünschten Abschnitt des Mosaiks aus, der gedruckt werden soll. Sobald die Auswahl auf dem Computermonitor durchgeführt ist, wird der Abschnitt des Anzeigemosaiks in dem Darstellungsfeld gedruckt. Alternativ kann der ausgewählte Abschnitt des Anzeigemosaiks als ein fotografisches Negativ, ein fotografisches Dia oder irgendein anderes "Hardcopy"-Bild erzeugt werden.
Das mosaikbasierte Komprimierungssystem nutzt die temporale und räumliche Redundanz innerhalb einer Sequenz von Bildern aus, um eine effiziente Informationskomprimierung zu erreichen. Im Betrieb erzeugt das System im allgemeinen eine Reihe von Mosaiken aus Untersequenzen von Bildern. Typischerweise ist der Eingang zu dem System eine Abfolge von Videoeinzelbildern und ein Mosaik wird von einer Mehrzahl von Einzelbildern des Videos über einen der Mosaikkonstruktionsabfolgeprozesse (Fig. 2) erzeugt. Danach wählt dieses System automatisch oder unter der Steuerung des Systembenutzers die Mosaiken aus, die direkt codiert werden, und welche Mosaiken über ihre Beziehungen zu den anderen Mosaiken codiert werden, z. B. das Codieren von sowohl geometrischen als auch fotometrischen Beziehungen.
Das mosaikbasierte Komprimierungssystem wird als nützlich in zwei ausgeprägten Situationen angesehen. In der ersten Situation komprimiert das mosaikbasierte Komprimierungssystem, das als das Bildinformationsspeichersystem bekannt ist, die Bildinformation für die effiziente Speicherung in einem Speichermedium in solch einer Art und Weise, daß auf die Bildinformation zufällig zugegriffen werden kann, daß sie effizient verwertet werden kann, daß sie schnell durchsucht oder durchstöbert werden kann und dergleichen. In der zweiten Situation komprimiert das mosaikbasierte Komprimierungssystem, das als das Echtzeit-Übertragungssystem bekannt ist, die Bildinformation für die effiziente Übertragung über einen bandbegrenzten Übertragungskanal. Obgleich jedes System unter Verwendung von ähnlichen Prinzipien arbeitet, unterscheiden sich dis Speicher- und Übertragungssysteme leicht voneinander. Die folgende Diskussion spricht daher jedes System getrennt an. Von der folgenden Diskussion von jedem System wird der Fachmann verstehen, daß ein System konstruiert sein kann, das eine Kreuzung aus den Speicher- und Übertragungssystemen ist. Ein Hybrid- bzw. Kreuzungssystem würde Aspekte sowohl von dem Speichersystem als auch von dem Übertragungssystem beinhalten.
Fig. 8 ist ein Blockdiagramm eines mosaikbasierten Komprimierungssystems 800, das verwendet wird, um die Bildinformation zu formatieren für die effiziente Speicherung in einer Speichereinrichtung 812, wie z. B. einem Plattenlaufwerk, einem CD-ROM, einem optischen Laufwerk und dergleichen. Wie sich aus der folgenden Diskussion ergeben sollte, ermöglicht das System einem Benutzer, wahlfrei auf die Bildinformation in der Speichereinrichtung zuzugreifen. Wahlfreier Zugriff ist im allgemeinen bei den meisten Bildkomprimierungstechniken, die die temporäre Redundanz ausnutzen, nicht verfügbar, da die Komprimierung erreicht wird unter Verwendung der Abfolge der Bilder, z. B. komprimiert die MPEG-Komprimierungstechnik eine Abfolge von Videoeinzelbildern und die gesamte Sequenz bis zu dem gewünschten Einzelbild muß rekonstruiert werden, um auf ein gewünschtes Einzelbild hierin zuzugreifen.
Im Gegensatz dazu teilt die Erfindung eine Reihe von Bildern, z. B. eine Videoeinzelbildsequenz, in Untersequenzen benachbarter Szenen, und ein Mosaik wird erzeugt für jede dieser Untersequenzen der Szene. Als solches stellt jedes Mosaik eine "Schnappschuß"-Ansicht der innerhalb der Videosequenz eingefangenen Szene dar. Im allgemeinen codiert bzw. verschlüsselt die Erfindung dieses Mosaik, seine Residuen und Transformationsparameter und speichert sie in einer Speichervorrichtung. Folglich kann, sobald die gespeicherten Bildinformationen durchgesehen werden, d. h. wenn ein Mosaik aus dem Speicher ausgewählt wird, ein Benutzer die Mosaiken leicht ansehen und jedes individuelle Einzelbild innerhalb des Mosaiks extrahieren. Die Transformationsparameter und Residuen werden verwendet, um jedes Einzelbild von dem Mosaik zu extrahieren. Die Erfindung erlaubt somit den wahlfreien Einzelbildzugriff und eine schnelle Suchfähigkeit.
Ausdrücklich gesagt enthält das System ein statisches Mosaikkonstruktionssystem 1401, ein Codiersystem 826, ein Decodiersystem 824 und eine Speichereinrichtung 812. Das Konstruktionssystem für ein statisches Mosaik arbeitet in der gleichen Art und Weise wie das in Fig. 14 dargestellte statische Mosaikkonstruktionssystem, das oben erörtert wurde. In dieser Anwendung werden die Abfolge (oder Unterabfolge) von Bildern verzerrt unter Verwendung der Stapelabfolge zu einem Referenzkoordinatensystem, so daß die Transformationen, die die Bilder untereinander ausrichten, relativ zu dem Referenzkoordinatensystem definiert werden. Der Ausgang des Mosaikkonstruktionssystems ist ein Mosaik, das eine Mehrzahl von einzelnen Bildern enthält, die ausgerichtet und kombiniert wurden. Zusätzlich enthält der Ausgang die Transformationsparameter für jedes Bild, das in dem Mosaik enthalten ist. Das Mosaik sowie die Transformationsparameter bilden Eingänge zu dem System 826.
Das System 826 codiert das Mosaik, die Transformationsparameter und die Residuen, so daß sie effizient innerhalb der Speichereinrichtung abgelegt werden. Ausdrücklich gesagt enthält das System 826 einen Residuenanalysator 806, einen Signifikanzanalysator 808, einen Transformationsparametercodierer 802, einen Mosaikcodierer 804 und einen Residuencodierer 810.
Der Residuenanalysator 804 erzeugt Residuen durch konventionelles Vergleichen eines Bildes von dem Mosaik mit einem entsprechenden Eingangsbild innerhalb eines Pyramidenbezugssystems. Jedes der Eingangsbilder wird mit dem Mosaik verglichen, um Residuen zu erzeugen, die sich bewegende Objekte in den Bildern, Veränderungen in der Objektbeleuchtung, Bildfehlausrichtung nach der Ausrichtungsverarbeitung, Intensitätsfehler aufgrund der Interpolation und Rauschen darstellen. Es ist sehr wichtig in Übertragungssystemen, daß die Objektbewegung, die Objektbeleuchtungsveränderung und die Fehlausrichtungen codiert werden.
Da der Residuenanalysator Residuen erzeugt für Intensitätsfehler und Rauschen sowie auch für die Objektbewegung, Objektbeleuchtungsveränderungen und Fehlausrichtungen, stellt die einfache Bildveränderung durch den Residuenanalysator keine akzeptable Methode für die Bestimmung von semantisch signifikanten Residuen zur Verfügung. Eine effektive Art und Weise der Bestimmung von semantisch signifikanten Residuen ist es nicht nur, die Residuenintensität zu betrachten, sondern ebenso die Größe der lokalen Residuenbewegüngen (z. B. lokale Fehlausrichtungen). Es sei bemerkt, daß die Residuenbewegungskompensation nicht genau sein muß, da sie selbst nicht für die Bewegungskompensation verwendet wird, sondern stattdessen verwendet wird, um die Signifikanz der Residuen für Codierzwecke zu bestimmen.
DerAnalysator 808 analysiert die Residuen im Hinblick auf die Größe der lokalen Residuenbewegungen. Im wesentlichen wählt der Signifikanzanalysator aus, welche der Residuen für die Speicherung codiert werden sollten und welche für die genaue Wiedererzeugung des Mosaiks mit dem Wiederaufruf nicht notwendig sind. Mit anderen Worten bestimmt die Größe der Residuenbewegung von dem vorhergesagten zu dem gegenwärtigen Mosaik, welche Residuen codiert werden. Diejenigen Residuen mit keiner Bewegungsgröße (nicht signifikant) werden mit 0 multipliziert und diejenigen mit einem gewissen Grad der Bewegungsgröße (signifikant) werden mit einer Gewichtungsfunktion, die von 0 bis 1 reicht, multipliziert. Die Gewichtungsfunktion ist proportional zu der Größe der Bewegung.
Genauer gesagt wird, um die Größen der Residuenbewegungen abzuschätzen, eine grobe Abschätzung St(x, y) der Normalbewegungsflußgröße bei jedem Pixel (x, y) zur Zeit t berechnet. Dies ist eine allgemeine Gleichung, die annimmt, daß die Bilder kombiniert werden, um ein statisches Mosaik zu bilden, wo sie in einer Zeitsequenz aufgenommen wurden. Falls dies nicht der Fall ist, kann dann die Variable t als eine Variable betrachtet werden, die die Bilder in der Ordnung numeriert, in der sie in der Sequenz erscheinen, z. B. t = 1, 2, 3 usw. Der normale Fluß ist die Komponente des optischen Flusses in der Richtung des Ortsgradienten. Die Flußabschätzung St(x, y) wird definiert durch:
wobei:
It ein Bild zur Zeit t ist,
I ein Bild in dem Mosaik zur Zeit t ist,
It(x, y) der örtliche Intensitätsgradient bei dem Pixel (x, y) im Einzelbild It ist,
N(x, y) eine relativ kleine Umgebung von Pixeln ist, die das Pixel (x, y) umgeben (typischerweise eine 3 · 3-Pixelnachbarschaft), und
C verwendet wird, um numerische Instabilitäten zu vermeiden und Rauschen zu unterdrücken.
Die Werte von St in dem x-y-Raum zusammen genommen bilden eine Signifikanzabbildung. Das Maß St wird verwendet, um Bereiche von Interesse, die zu codieren sind, auszuwählen, und wird ebenso verwendet als ein multiplikatives Gewicht auf dem Vorhersagefehler in diesen Regionen. Kleine Werte von S. können auf Null gesetzt werden, so daß nicht signifikante Residuen überhaupt nicht übertragen werden müssen. Das Maß bzw. die Größe St kann einem Schwellwert unterliegen auf einer pixel-, region- oder blockweisen Basis. Wenn die örtliche Codierung basierend auf der diskreten Cosinustransformation (DCT) verwendet wird, wird St genullt, wenn der gesamte Block unter dem Schwellwert liegt, jedoch nicht modifiziert, wenn irgendein Pixel in dem Block oberhalb des Schwellwertes liegt. Ein typischer Schwellwert ist eine Bewegung von einem Pixel, um die Rauschempfindlichkeit zu verringern, wird die Signifikanzabbildung bzw. Signifikanztabelle morphologisch erodiert durch ein 3 · 3-Strukturelement, bevor die Blocknullung durchgeführt wird. Dies begünstigt das Auslassen von gesamten Blöcken, verhindert Bitratennachteile der Codierung mit nur ein paar wenigen isolierten Supraschwellwertpixeln.
Die signifikanten Residuen und das Mosaik werden jeweils zu getrennten Codecs (Codierern/Decodierern) gesendet. Die Codecs verwenden irgendeine konventionelle Form der Ortscodierung, wie z. B. Wavelets, DCT und dergleichen. Die Transformationsparameter könnten räumlich codiert oder codiert werden unter Verwendung der Pulscodemodulation (PCM) oder der Differential- PCM (DPCM).
Durch die Verwendung eines mosaikbasierten Systems wird im wesentlichen alle redundante temporäre und räumliche Bildinformation von der gespeicherten Bildinformation entfernt und als solches komprimiert das System effektiv die Bildsequenz. Im wesentlichen speichert das statische System die Information betreffend die Hintergrundszene und speichert dann jegliche Bewegung innerhalb der Hintergrundszene als die Residuen. Diese Beziehung zwischen den Eingangsbildern, der Hintergrundinformation und den Residuen ist schematisch in Fig. 9 dargestellt.
Wie in Fig. 9 zu sehen ist, enthalten die Eingangsbilder 902 eine Szene von zwei Häusern und zwei Bäumen, die sich innerhalb des Blickfeldes der Kamera befinden, wenn eine Videokamera von links nach rechts schwenkt. Die interessierende Szene wird illustrativ in vier Videoeinzelbildern festgehalten. Zusätzlich läuft eine Person durch die Szene von links nach rechts. Sobald die Bilder 902 ausgerichtet und kombiniert sind unter Verwendung der Stapelabfolge, wird ein Mosaik 904, das den Hintergrund enthält, erzeugt. Die Residuen 906 stellen eine Objektbewegung relativ zu dem Hintergrund dar, z. B. die Person, die durch die Szene wandert.
In Fig. 8 enthält das Informationsabruf- (-decodier-) System 824 für die Rekonstruktion der Bildabfolgen (oder einzelnen Bilder) aus der gespeicherten Information Decoder 814, 816 und 818, einen Mosaiksetzer 820 und eine Anzeige 822. Jeder Decoder ruft aus der Speichervorrichtung 812 das Mosaik, die Transformationsparameter und die Residuen ab, die notwendig sind, um ein Mosaik erneut zu erzeugen, und fragt jegliche Information hiervon ab. Der Mosaiksetzer 820 kombiniert die Residuen, das Mosaik und die Transformationsparameter, um ein Mosaik zu bilden.
Die Anzeige 822 kann lediglich ein gesamtes Mosaik, das von der Speichervorrichtung abgefragt wurde, anzeigen. Die Anzeige wird jedoch typischerweise verwendet, um spezifische Bilder oder Teile hiervon innerhalb des Mosaiks für die Ansicht auszuwählen. Diese werden einfach wiederhergestellt unter Verwendung der Transformationsparameter, um die gewünschten Bilder auszuwählen und sie aus dem Mosaik zu entfernen. Weiterhin kann das mosaikbasierte Anzeigesystem, das in Kombination mit Fig. 7 beschrieben wurde, ebenso verwendet werden, um die wiedergewonnenen Mosaiken und ihre konstituierenden Bilder zu manipulieren und anzusehen.
Fig. 10 ist ein Blockdiagramm eines auf einem "dynamischen" Mosaik basierenden Komprimierungssystem 1000. Im allgemeinen beinhaltet das System ein Codiersystem 1002 (typischerweise innerhalb der Transmitterhardware), einen Kanal 1004, durch den sich die codierte Bildinformation ausbreitet, und ein Codiersystem 1006 (typischerweise innerhalb der Empfangshardware).
In dem System 1002 wird das Mosaikkonstruktionssystem (siehe Fig. 3) modifiziert, um die Rückkopplung eines vorhergesagten Mosaiks 1030 anzupassen, um bei der Komprimierung zu helfen. Ausdrücklich gesagt wird jedes neue Eingangsbild nur mit dem vorherigen Bild in der Eingangsbildsequenz ausgerichtet, statt daß jedes neue Eingangsbild mit dem gesamten Mosaik ausgerichtet wird. Eine Verzögerung 1012 wird als solche verwendet, um ein erstes Bild in einer Abfolge von Bildern temporär zu verzögern. Ein Ausrichtungsprozessor 1010 richtet das verzögerte Bild mit einem zweiten Bild in der Abfolge von Bildern aus. Dieser Ausrichtungsprozeß nimmt an, daß jedes aufeinanderfolgende Bild einige Abschnitte hat, die es mit dem vorhergehenden Bild gemein hat, d. h. zwei aufeinanderfolgende Bilder überlappen sich. Dies ist im allgemeinen der Fall, wenn die Eingangsbildsequenz eine Reihe von Videoeinzelbildern ist. Wenn jedoch das vorhergesagte Mosaik von relativ guter Qualität ist, dann könnte das Eingangsbild mit dem vorhergesagten Mosaik ausgerichtet sein (d. h. die Verzögerung 1012 wird entfernt und das vorhergesagte Mosaik wird entlang der gestrichelten Linie 1032 zu dem Prozessor 1010 gesendet).
Das ausgerichtete Eingangsbild (das letzte Bild) und das vorhergesagte Mosaik werden dann kombiniert, um ein aktualisiertes Mosaik zu bilden. Ein konventioneller Bildverzerrer 1014 verwirklicht einen Verzerrungs- und Kombinierprozeß, um das Mosaik und das Bild aufeinander auszurichten und zu kombinieren. Für dieses illustrative System ist die Mosaikkonstruktionssequenzierung rekursiv und das Referenzkoordinatensystem wird durch das Eingangsbildkoordinatensystem definiert. Dieser Verzerrungsprozeß kombiniert ebenso das letzte Eingangsbild mit dem vorhergesagten Mosaik, um ein aktualisiertes Mosaik (Referenzmosaik) in der gleichen Art und Weise zu erzeugen, wie das Mosaikkonstruktionssystem von Fig. 3 ein Mosaik und ein Bild kombiniert. Der Begriff "dynamisch" bezieht sich als solcher auf beide Aspekte des Mosaiks, nämlich das Koordinatensystems des Mosaiks und die Inhalte des Mosaiks.
Der Residuenanalysator 1016 erzeugt Residuen durch konventionelles Vergleichen des Referenzmosaiks mit dem gegenwärtigen Eingangsbild innerhalb des Pyramidenbezugssystems. Der Analysator 1016 und der Signifikanzanalysator 1020 arbeiten gleich wie der Analysator 806 und der Analysator 808 in dem statischen Mosaikkomprimierungssystem (Fig. 8). Wenn jedoch die Schwellwertfünktion in dem Signifikanzanalysator des Komprimierungssystems für das dynamische Mosaik verwendet wird, können die Schwellwertniveaus für das dynamische System geringer als diejenigen in dem statischen System eingestellt werden.
Der Codec 1026 codiert die signifikanzgewichteten Residuen. Der Codec 1022 verwendet irgendeine konventionelle Form der Ortscodierung, wie z. B. Wavelet, DCT und dergleichen. Die codierten Bits werden dann zu einem Empfänger über den Kanal 1004 übertragen.
Das Codiersystem 1002 beinhaltet ein Decodiersystem 1024, um das vorhergesagte Mosaik 1030 zu erzeugen, um die dynamische Komprimierungstechnik zu erleichtern. Das Decodiersystem enthält insbesondere einen Decoder 1026 und einen Mosaiksetzer 1028. Der Decodierer 1026 erzeugt die Residuen aus den codierten Residuen, die von dem Kanal 1004 empfangen werden. Der Composer bzw. Setzer 1028 konstruiert das vorhergesagte Mosaik durch Kombinieren der Residuen mit dem Referenzmosaik, das in dem Codierprozeß verwendet wird. Da das System eine Rückkopplungsschleife (z. B. die Codierung und die Rückcodierung innerhalb des Codiersystems) für die Verwendung eines vorhergesagten Mosaiks als ein Eingang zu dem Verzerrer 1014 enthält, verbessert das System das vorhergesagte Mosaik mit der Zeit. Es sei bemerkt, daß das vorhergesagte Mosaik 1030 identisch zu dem Mosaik ist, das bei dem Empfänger erzeugt wird. Somit verbessert die Verbesserung des vorhergesagten Mosaiks ebenso das empfangene Mosaik. Weiterhin kann solch eine Verbesserung des empfangenen Mosaiks selektiv erreicht werden. Beispielsweise wird, wenn eine bestimmte Region des Interesses in dem Eingangsbild durch das Zoomen ausgewählt wird, das System eine Reihe von Residuen, die Bildveränderungen bei einer höheren Auflösung darstellen, als wenn ein gesamtes Mosaik übertragen wird, übertragen. Die ausgewählte Region in dem empfangenen Mosaik (und das vorhergesagte Mosaik) werden eine verbesserte Qualität im Vergleich zu dem Rest des Mosaiks haben.
Das Decodiersystem 1006 enthält einen Decoder 1034, einen Mosaikcomposer 1036, einen Verzögerer 1038 und einen Verzerrer 1040. Der Decodierer 1034 erzeugt Residuen aus der empfangenen Information. Diese Residuen werden von dem Mosaikcomposer 1036 verwendet, um ein empfangenes Mosaik zusammenzusetzen und zu aktualisieren. Das empfangene Mosaik bildet den Ausgang des Decodiersystems 1006. Zusätzlich wird das empfangene Mosaik durch den Verzögerer 1038 verzögert (z. B. um ein Videoeinzelbild in einem Videoübertragungssystem). Der Verzerrer 1040 verzerrt das verzögerte Mosaik auf den nächsten decodierten Satz von Residuen. Dieses verzerrte Mosaik bildet ein Referenzmosaik, das der Mosaikcomposer mit nachfolgend empfangenen Residuen aktualisiert.
Um die Komprimierungseffizienz weiter zu verbessern, wird die Tatsache, daß verschiedene Mosaiken und Eingangsbilder in Bildpyramiden während der Verarbeitung zerlegt werden, verwendet, um ein Auflösungspriorisierungsschema zu implementieren. Das Codiersystem kann Residuen ursprünglich von den Pyramidenebenen mit der geringsten Auflösung codieren, dann können die Residuen von den Ebenen höherer Auflösungen codiert und übertragen werden. Solch ein Schema ist als progressive Übertragung bekannt. Alternativ können die Residuen, die von höheren und niedrigeren Auflösungsebenen des Mosaiks erzeugt werden und Eingangsbilder abhängig von der Verfügbarkeit der Übertragungsbandbreite übertragen werden.
Da die Eingangsbilder in ein Hintergrundmosaik und unabhängige sich bewegende Objekte (Vordergrundinformation) zerlegt werden können, können diese getrennten Abschnitte einer Szene in getrennten Mosaiken organisiert werden. Beispielsweise ist in Fig. 9 der Hintergrund als ein Mosaik gezeigt, die Residuen können jedoch ebenso in ein Mosaik des sich bewegenden Objektes kombiniert werden. Jedes Mosaik kann dann getrennt codiert und übertragen werden. Danach müssen nur die Bewegungsparameter, die beschreiben, wie sich das Mosaik des sich bewegenden Objektes relativ zu dem Hintergrundmosaik bewegt, codiert und übertragen werden. Als solches wird eine geringere Bandbreite für die Übertragung der Bildinformation benötigt.
Eine dreidimensionale Darstellung eines Bildes basiert auf der Beobachtung, daß die zweidimensionale Ausrlchtung einer dominanten Oberfläche (z. B. einer Hintergrundszene) all die Bewegung aufgrund der Kameradrehungen und anderer kamerainduzierter Informationen auf das Bild (z. B. Veränderungen in dem Zoom, Linsenfehler, Kameraschwankungen und dergleichen) sowie auch Defekte der Kamerabewegung von der dominanten Fläche entfernen. Die verbleibende Bewegung innerhalb einer festen Szene wird verfolgt bloß aufgrund einer Kamerabewegung relativ zu der Szene und eines Abstandes von anderen Objekten und Oberflächen in der Szene von der dominanten Oberfläche. Diese verbleibende Bewegung ist eine Parallaxenbewegung.
Die dreidimensionale Struktur ist typischerweise über die Zeit invariant (zumindest während der Dauer von etlichen Sekunden oder Minuten), die Struktur kann als ein einzelnes statisches Bild dargestellt werden, das verwendet werden kann, um die Parallaxenbewegung über die Dauer der Invarianz vorherzusagen. Diese parallaxenbasierte dreidimensionale Darstellung wird als eine "Höhen"-Tabelle bezeichnet, da die Darstellung direkt mit dem Abstand oder der "Höhe" der Objekte und Oberflächen relativ zu der dominanten Oberfläche verknüpft ist. Die Höhentabelle zusammen mit der berechneten Translationsbewegung der Kamera zwischen aufeinanderfolgenden Bildern kann verwendet werden, um die Bewegung von allen Punkten zwischen den Bildern relativ zu der Mosaikoberflächendarstellung der dominanten Fläche vorherzusagen.
Die Berechnung der zweidimensionalen Darstellung plus der dreidimensionalen Höheninformation beinhaltet die folgenden Schritte. Als erstes wird jedes Bild mit dem Mosaikkootdinatensystem unter Verwendung der zweidimensionalen Ausrichtung, die vorher diskutiert wurde, ausgerichtet. Als zweites wird die Restparallaxenbewegung der Objekte und Oberflächen innerhalb der Szene berechnet. Die Restparallaxenbewegung wird berechnet, während angenommen wird, daß alle Kameradrehungen und andere kamerainduzierten Bilddeformationen entfernt wurden (z. B. wird angenommen, daß diese Deformationen in dem zweidimensionalen Mosaik der dominanten bzw. beherrschenden Oberfläche beinhaltet sind). Im Grunde genommen verbleiben nur die Effekte der Bewegung. Als drittes wird die restliche Parallaxenbewegung in "Höhen" und Kameratranslationen zerlegt. Als viertes wird die Höheninformation von mehreren Einzelbildern in ein einzelnes Höhentabellenmosaik für die Szene integriert. Diese Integration kann verwirklicht werden unter Verwendung der Stapelsequenzierung oder rekursiven Sequenzierung der Bildeinzelbilder. Im Betrieb kann dieser Prozeß ein gegebenes Einzelbild von dem Mosaik der dominanten Oberfläche und dem Höhenmosaik vorhersagen. Im Grunde genommen kann die Höheninformation nur einmal codiert und übertragen (oder gespeichert) werden, nachdem nur die Kamerabewegung codiert und übertragen werden muß. Im Ergebnis können die Bilder bei dem Empfänger (oder mit der Bereitstellung) wiederhergestellt werden und beinhalten die Parallaxenbewegung in den rekonstruierten Bildern.
Die mosaikbasierten Komprimierungssysteme entfernen nicht soviel kurzfristige temporäre Redundanz der sich bewegenden Objekte wie durch konventionelle Interframevorhersagesysteme entfernt wird. Wenn beispielsweise ein Objekt in einer Szene erscheint, jedoch nicht in dem Mosaik, werden ähnliche Residuen wiederholt in einer Anzahl von Einzelbildern des Bildes codiert. Um die temporäre Redundanzentfernung in dem statischen System zu verbessern, kann das System modifiziert werden, um eine Hierarchie von Mosaiken zu verarbeiten, deren Ebenen zu unterschiedlichen Beträgen der temporären Integration korrespondieren. Fig. 11 ist ein schematisches Diagramm dieser Hierarchie der Mosaiken 1100. Die feinste Ebene 1102 in der Hierarchie enthält die ursprünglichen Bilder und die anderen Ebenen 1104 und 1106 enthalten statische Mosaiken, die von Bildern oder Mosaiken des nächstfeineren Niveaus integriert werden. Nur die Residuen zwischen den Ebenen müssen codiert und gespeichert werden. Das Ergebnis ist eine Darstellung, die die temporäre Dekorrelierung in einer Art und Weise erreicht, die analog zu den örtlichen Laplace-Pyramiden ist.
In einem dynamischen System, das das Koordinatensystem des Eingangsbildes als das Referenzkoordinatensystem verwendet, ist es erforderlich, das Mosaik immer wieder an das Koordinatensystem von jedem Eingangsbild zu verzerren (warping). Solches wiederholtes Verzerren des Mosaiks wird mit der Zeit zu einem exzessiven Verwischen bzw. Eintrüben des Bildes führen, das in dem Mosaik dargestellt wird. Um diese Unschärfe zu vermeiden, wird das dynamische Mosaik unter Verwendung eines selektiven Speicherschemas erzeugt. Das selektive Speicherschema sagt jedes Pixel des gegenwärtigen Bildes voraus mit einem Pixel von dem zuletzt aufgetretenen Punkt der Szene, ohne die Unschärfe zu übernehmen, die durch das wiederholte Verzerren eingeführt wird. Um dies zu erreichen, ist die Quelle jeder Vorhersage ein vorher empfangenes Bild in seinem ursprünglichen Koordinatensystem. Um die Speicherung all der vorherigen Eingangsbilder zu vermeiden, behält der Decoder (innerhalb des Transmitters) eine segmentierte oder "gekachelte" Darstellung des Mosaiks bei, wodurch nur die letzten Erscheinungen der abgebildeten Szene beibehalten werden. Im Grunde genommen wird jede Mosaikkachel nur eine begrenzte Anzahl von Malen gekrümmt, bevor eine andere Kachel verwendet wird, z. B. wird eine Kachel alt und es ist nicht länger notwendig, sie an ein Eingangsbild durch Verzerrung anzupassen. Folglich wird das Mosaik nicht unscharf.
Fig. 12 ist ein Blockdiagramm eines illustrativen Überwachungssystems 108, das das Mosaikkonstruktionssystem 102 beinhaltet. Das Betriebsverfahren des Überwachungssystems wird in dem Flußdiagramm von Fig. 13 ausgeführt. Um das Überwachungssystem am besten zu verstehen, sollte der Leser gleichzeitig beide Fig. 12 und 13 konsultieren.
Das System 108 kann an einem Ort lokalisiert sein, der von einem Systembenutzer entfernt ist. In diesem Fall beinhaltet das Überwachungssystem (wie es gezeigt ist) ein mosaikbasiertes Komprimierungssystem 1000 und ein Anzeigesystem 102. Wenn ein Systembenutzer ebenfalls bei dem Sensor und dem Überwachungssystem lokalisiert ist, dann ist das Komprimierungssystem natürlich nicht erforderlich.
Das System empfängt in Schritt 1300 eine Reihe von Bildern von einem Sensor 1200, wie z. B. einer Videokamera. Die Reihe von Bildern stellt eine Panoramaansicht dar, die von dem Sensor aufgenommen wird. In Schritt 1302 benutzt das System das Mosaikkonstruktionssystem 102, um ein Mosaik aus den Bildern in der Panoramaansicht zu erzeugen. Diese Konstruktion kann errichtet werden unter Verwendung der rekursiven oder der Stapelsequenzierung. Das Panoramamosaik ist ein Bild mit sehr hoher Auflösung. In Schritt 1304 erzeugt der Sensor ein neues Bild. In Schritt 1306 wird unter Verwendung eines Überwachungsbildprozessors 1202 das neue Bild mit dem gegenwärtigen Mosaik verglichen, um zu bestimmen, ob irgendwelche Unterschiede offensichtlich sind. Da das Mosaik und das Eingangsbild Bilder hoher Auflösung sind, ist der Erfassungsprozeß sehr genau. In Schritt 1308 fragt das System ab, ob eine Differenz erfaßt wird. Wenn keine Differenzen gefunden werden, akzeptiert das System einanderes Eingangsbild von dem Sensor 1200 und wiederholt den Vergleich. Wenn jedoch eine Differenz erfaßt wird, wird eine Version mit niedrigerer Auflösung des Mosaiks, das in dem Erfassungsprozeß verwendet wird, und die Differenz (das neue Eingangsbild) in Schritt 1310 von dem System 1000 (Transmitterhälfte) codiert. Die codierte Information wird über einen Kommunikationskanal 1004, z. B. einen Radiokanal, übertragen. Nach der Übertragung der Information kehrt der Prozeß zu dem Mosaikkonstruktionssystem zurück, um das Mosaik zu aktualisieren.
Ein Receiver, der das Decodiersystem des Komprimierungssystems 1000 enthält, decodiert in Schritt 1312 die Bildinformation, die dann in Schritt 1314 einem Benutzer über ein mosaikbasiertes Anzeigesystem angezeigt wird. Der Benutzer kann dann die Bilddifferenzinformation analysieren, um zu bestimmen, ob sie relevant ist, z. B. die Bewegung eines Feindes auf einem Schlachtfeld, ein Dieb, der ein Warenhaus betritt und dergleichen.
Nachdem das Panoramamosaik übertragen wurde, muß der Transmitter nur noch die Veränderungen in dem Mosaik senden, z. B. nur die Verändungsregionen senden. Der Empfänger wird sein Mosaik mit den Veränderungen aktualisieren, so daß er immer dem Benutzer die gegenwärtige Szene an dem Kameraort zeigen kann.
Obgleich verschiedene Ausführungsformen, die die Lehren der Erfindung beinhalten, gezeigt und im Detail hier beschrieben wurden, kann der Fachmann leicht viele andere variierte Ausführungsformen entwickeln, die immer noch diese Lehren verwirklichen. Das automatisch erzeugte Mosaik findet viele praktische Verwendungen. Anschauliche Verwendungen beinhalten ein mosaikbasiertes Anzeigesystem, das ein Bilddrucksystem, ein Überwachungssystem und ein mosaikbasiertes Komprimierungssystem beinhaltet. Das mosaikbasierte Anzeigesystem erlaubt einem Systembenutzer, ein Mosaik anzuzeigen, zu manipulieren, zu suchen und zu verändern. Das mosaikbasierte Komprimierungssystem nutzt die temporäre und örtliche Redundanz in Bildabfolgen aus und komprimiert die Bildinformation effizient. Das Komprimierungssystem Kann für die Komprimierung von Bildinformation verwendet werden für die Ablage in einer Speichereinrichtung oder kann verwendet werden für die Komprimierung der Bildinformation für die Übertragung über einen bandbegrenzten Übertragungskanal. Das Überwachungssystem kombiniert das Mosaikkonstruktionssystem, das Komprimierungssystem und das Anzeigesystem, um ein übergreifendes System für die entfernte Bewegungserfassung zur Verfügung zu stellen.

Claims

1. System für das automatische Erzeugen eines Mosaiks aus einer Folge von Bildern, mit:

Einrichtungen (300), um Bildinformation in jedem der Bilder in der Folge von Bildern mit einer gemeinsamen Bildinformation in zumindest einem weiteren Bild in der Folge von Bildern automatisch auszurichten, und

Einrichtungen (303), die mit der Ausrichteinrichtung verbunden sind, um die ausgerichteten Bilder zu einem Mosaik zusammenzusetzen.

2. System nach Anspruch 1, wobei die Ausrichteinrichtung Einrichtungen für das Auswählen eines Bezugskoordinatensystems aufweist, innerhalb dessen die Bilder ausgerichtet werden.

3. System nach Anspruch 2, wobei die Ausrichteinrichtung aufweist:

Definitionseinrichtungen für das Definieren einer Transformation für das Ausrichten der Bilder in ein Bezugskoordinatensystem und

Einrichtungen zum Durchführen der Transformation, wobei die Bilder bezüglich des Bezugskoordinatensystems ausgerichtet werden.

4. System nach Anspruch 2 oder 3, wobei das Bezugskoordinatensystem das Koordinatensystem eines der Bilder ist.

5. System nach Anspruch 2 oder 3, wobei das Bezugskoordinatensystem das Koordinatensystem des Mosaiks ist.

6. System nach Anspruch 2 oder 3, wobei das Bezugskoordinatensystem ein festgelegtes Bezugskoordinatensystem ist.

7. System nach Anspruch 2 oder 3, wobei das Bezugskoordinatensystem ein beliebig gewähltes Bezugskoordinatensystem ist.

8. System nach einem der Ansprüche 1 bis 7, wobei die Zusammenfügungseinrichtung Einrichtungen (504, 509) für das Maskieren oder Abschneiden zumindest eines der Bilder aufweist.

9. System nach einem der Ansprüche 1 bis 8, wobei die Ausrichteinrichtung Einrichtungen (402) für das Erzeugen einer Bildpyramide für jedes der Bilder aufweist.

10. System nach Anspruch 9, wobei die Ausrichteinrichtung Einrichtungen (401, 422) zum Durchführen einer Ausrichtung von grob nach fein unter Verwendung der Bildpyramiden für jedes der Bilder aufweist.

11. Verfahren zum automatischen Erzeugen eines Mosaiks aus einer Folge von Bildern mit den folgenden Schritten:

automatisches Ausrichten von Bildinformation in jedem der Bilder in der Folge von Bildern mit gemeinsamer Bildinformation in zumindest einem weiteren Bild in der Folge von Bildern, und

Zusammenfügen der ausgerichteten Bilder zu einem Mosaik.

12. Verfahren nach Anspruch 11, wobei die Ausrichtung bezüglich eines beliebig gewählten Bezugskoordinatensystems durchgeführt wird.

13. Verfahren nach Anspruch 12, wobei der Schritt des Ausrichtens die Schritte aufweist:

Definieren einer Transformation, um die Bilder bezüglich eines Bezugskoordinatensystems auszurichten, und

Durchführen der Transformationen, wobei die Bilder in dem beliebig gewählten Bezugskoordinatensystem ausgerichtet werden.

14. Verfahren nach Anspruch 11, 12 oder 13, wobei der Schritt des Ausrichtens den Schritt (402) aufweist, daß für jedes der Bilder eine Bildpyramide erzeugt wird.

15. Verfahren nach Anspruch 14, wobei der Schritt des Ausrichtens den Schritt (401-422) aufweist, daß eine Ausrichtung von grob nach fein unter Verwendung der Bildpyramide für jedes der Bilder durchgeführt wird.

16. Verfahren nach Anspruch 11, 12, 13, 14 oder 15, wobei der Ausrichtschritt aufweist:

automatisches Ausrichten (1400) einer Vielzahl der Eingangsbilder miteinander, wobei das Ausrichten bezüglich eines Bezugskoordinatensystems durchgeführt wird, und wobei der Schritt des Zusammensetzens (1402) aufweist

Auswählen (1404) von Bereichen der Eingangsbilder, die kombiniert werden sollen, um ein statisches Mosaik zu bilden, und

Kombinieren der ausgewählten Abschnitte der Eingangsbilder, um ein statisches Mosaik zu erzeugen.

17. Verfahren nach Anspruch 16, soweit er von Anspruch 15 abhängig ist, wobei der Ausrichtschritt die Schritte aufweist:

Grobausrichten der Eingangsbilder auf einem ausgewählten Pyramidenauflösungsniveau durch

in Felder Einteilen jedes der Bilder,

Auswählen einer Vielzahl von Fenstern innerhalb der Eingangsbilder, welche Markierungen enthalten, die eine höchste Bildenergie haben,

Auswählen eines Feldes von einem Eingangsbild und

Korrelieren der Vielzahl von Fenstern mit dem ausgewählten Feld, während ein Korrelationspeak eine Grobausrichtung des ausgewählten Eingangsbildes mit einem zweiten Bild anzeigt, welches die Markierung enthält.

18. Verfahren nach Anspruch 17, wobei der Ausrichtschritt die Schritte aufweist:

Feinausrichtung der Eingangsbilder, indem:

relativ kleine Flicken bzw. Zellen eines ausgewählten Eingangsbildes ausgewählt werden, welche eine höchste verfügbare Auflösung innerhalb der Bildpyramide für das ausgewählte Eingangsbild haben, und

Korrelieren der relativ kleinen Flicken des ausgewählten Eingangsbildes mit einem ausgewählten Feld eines zweiten Eingangsbildes, wobei ein Korrelationspeak eine Feinausrichtung des ausgewählten Eingangsbildes mit dem zweiten Eingangsbild anzeigt.

19. Verfahren nach Anspruch 12, welches die Schritte aufweist:

Wölben jedes Bildes, um jedes Bild mit dem Bezugskoordinatensystem auszurichten, und Verschmelzen gemeinsamer Bildinformation der ausgerichteten Bilder, um das Mosaik zu bilden.

20. Verfahren nach Anspruch 19, wobei das beliebig gewählte Bezugskoordinatensystem ein Koordinatensystem des Mosaiks ist.

21. Verfahren nach Anspruch 18, wobei das beliebig gewählte Bezugskoordinatensystem ein globales Koordinatensystem für alle Bilder in der Folge von Bildern ist.

22. Verfahren zum automatischen Erzeugen eines dynamischen Mosaiks durch Kombinieren eines zuvor erzeugten Mosaiks mit einem Eingangsbild aus einer Folge von Eingangsbildern, mit den Schritten:

(a) automatisches Ausrichten (300) des Eingangsbildes mit dem zuvor erzeugten Mosaik, wobei die Ausrichtung bezüglich eines Bezugskoordinatensystems ausgeführt wird und Bildinformation, die in dem Eingangsbild enthalten ist, mit gemeinsamer Bildinformation in dem zuvor erzeugten Mosaik ausgerichtet wird, wobei ein Teil des Eingangsbildes, welcher die gemeinsame Bildinformation enthält, über einen gewissen Bereich des zu zuvor erzeugten Mosaiks überlappt, welcher die gemeinsame Bildinformation enthält,

(b) Auswählen (302) des Bereiches des Eingangsbildes und des Bereiches des zuvor erzeugten Mosaiks, die kombiniert werden sollen, um ein auf den neuesten Stand gebrachtes Mosaik zu bilden,

(c) Kombinieren (304) des ausgewählten Bereiches des Eingangsbildes mit dem ausgewählten Bereich des zuvor erzeugten Mosaiks, um ein erneuertes Mosaik (Mosaik Update) zu erzeugen, und

(d) Wiederholen der Schritte (a), (b) und (c) für jedes Eingangsbild in dem System von Eingangsbildern, um kontinuierlich das auf den neuesten Stand gebrachte Mosaik mit einem letzten Teil des Eingangsbildes in der Sequenz von Eingangsbildern kontinuierlich auf den neuesten Stand zu bringen.

23. Verfahren nach Anspruch 22, wobei der Schritt des Ausrichtens (300) die Schritte aufweist:

Definieren einer Transformation für das Ausrichten des Eingangsbildes in dem Bezugskoordinatensystem, und

Durchführen der Transformation, wobei das Eingangsbild mit dem bzw. bezüglich des Bezugskoordinatensystems ausgerichtet wird.

24. Verfahren nach Anspruch 22 oder 23, wobei der Auswahlschritt (302) den Schritt des Maskierens (508) oder Abschneidens (504) des zuvor erzeugten Mosaiks aufweist.

25. Verfahren nach Anspruch 22, wobei der Auswahlschritt den Schritt aufweist, daß ausgewählte Bilder aus dem zuvor erzeugten Mosaik entfernt werden.

26. Verfahren nach Anspruch 22, wobei der Ausrichtschritt den Schritt (402) aufweist, daß eine Bildpyramide sowohl für das Eingangsbild als auch für das zuvor erzeugte Mosaik erzeugt wird.

27. Verfahren nach Anspruch 26, wobei der Ausrichtschritt das Ausführen (401-422) einer grob nach fein Ausrichtung unter Verwendung der Bildpyramide für das Eingangsbild und der Bildpyramide des zuvor erzeugten Mosaiks aufweist.

28. Verfahren nach Anspruch 27, wobei der Ausrichtschrift (300) die Schritte aufweist:

Grobausrichten (401) des Eingangs und des zuvor erzeugten Mosaiks auf einem ausgewählten Pyramidenauflösungsniveau, indem:

das zuvor erzeugte Mosaik in Felder eingeteilt wird, um eine Mehrzahl von Mosaikfeldern zu erzeugen,

Auswählen der Mehrzahl von Fenstern, welche Markierungen enthalten, die eine höchste Bildenergie innerhalb des Eingangsbildes haben,

Auswählen eines Mosaikfeldes aus der Vielzahl von Mosaikfeldern, und

Korrelieren der Eingangsbildfenster mit dem ausgewählten Mosaikfeld, wobei ein Korrelationspeak eine Grobausrichtung des Eingangsbildes und des zuvor erzeugten Mosaiks anzeigt.

29. Verfahren nach Anspruch 28, wobei der Schritt des Auswählens eines Mosaikfeldes den Schritt aufweist, daß ein Feld ausgewählt wird, welches zumindest einen Teil eines Bildes enthält, das in der Reihenfolge vor dem Eingangsbild aufgetreten ist.

30. Verfahren nach Anspruch 28, wobei der Ausrichtschritt (300) die Schritte aufweist:

Feinausrichtung des Eingangsbildes mit dem zuvor erzeugten Mosaik, indem relativ kleine Flicken des Eingangsbildes ausgewählt werden, welche eine höchste Auflösung haben, und

die relativ kleinen Flicken mit dem Eingangsbild korreliert werden, weiches eine höchste Auflösung hat, und

Korrelieren der relativ kleinen Flicken des Eingangsbildes mit dem ausgewählten Feld des Mosaiks, wobei ein Korrelationspeak eine Feinausrichtung des Eingangsbildes und des zuvor erzeugten Mosaiks anzeigt.

31. Verfahren nach einem der Schritte 22 bis 30, welches weiterhin den Schritt (706) aufweist, daß das auf den neuesten Stand gebrachte Mosaik angezeigt wird.

32. Verfahren nach Anspruch 31, welches weiterhin den Schritt (706) aufweist, daß frühere Information als Überlagerung auf einem dargestellten, auf den neuesten Stand gebrachten Mosaik hinzu addiert wird.

33. Verfahren nach Anspruch 32, wobei der Schritt des Hinzufügens weiterhin den Schritt aufweist, daß Bereiche des auf den neuesten Stand gebrachten Mosaiks hervorgehoben werden, daß Bereiche des auf den neuesten Stand gebrachten Mosaiks farblich hervorgehoben werden, oder daß Bereiche des auf den neuesten Sand gebrachten Mosaiks umrissen werden.

34. Verfahren nach Anspruch 31, wobei der Schritt des Anzeigens weiterhin den Schritt aufweist, daß das auf den neuesten Stand gebrachte Mosaik eine Bildverarbeitung erfährt.