DE60133202T2

DE60133202T2 - Zusammenführen von bildern zur bildung eines panoramischen bildes

Info

Publication number: DE60133202T2
Application number: DE60133202T
Authority: DE
Inventors: John Menlo Park PETERSON
Original assignee: Adobe Systems Inc
Current assignee: Adobe Inc
Priority date: 2000-05-16
Filing date: 2001-04-10
Publication date: 2009-04-23
Anticipated expiration: 2021-04-11
Also published as: WO2001088838A1; EP1299850A4; JP2003533797A; EP1299850B1; US6411742B1; DE60133202D1; EP1299850A1

Description

TECHNISCHES GEBIET
Diese Erfindung bezieht sich auf ein Zusammenführen bzw. Verschmelzen von Bildern, um ein Panoramabild bzw. panoramisches Bild zu bilden.
HINTERGRUND
Bildaufnahmevorrichtungen, wie Kameras, werden verwendet, um ein Bild eines Abschnitts bzw. Teils einer Ansicht, wie eines Abschnitts der Vorderseite eines Hauses aufzunehmen. Der Abschnitt der Ansicht, dessen Bild durch eine Kamera aufgenommen ist bzw. wird, ist als das Sicht- bzw. Gesichtsfeld der Kamera bekannt. Ein Einstellen einer Linse, die mit einer Kamera assoziiert ist, kann das Gesichtsfeld vergrößern. Jedoch gibt es eine Grenze, über welche das Gesichtsfeld der Kamera nicht erhöht werden kann, ohne die Qualität oder die "Auflösung" des aufgenommenen Bilds zu beeinträchtigen. Es ist manchmal notwendig, ein Bild einer Ansicht aufzunehmen, welches größer ist, als es innerhalb des Gesichtsfelds der Kamera aufgenommen werden kann. Mehrfache überlappende Bilder von Segmenten der Ansicht werden aufgenommen und dann werden die Bilder zusammengefügt oder "verschmolzen", um ein zusammengesetztes Bild auszubilden, das als ein Panoramabild bzw. panoramisches Bild bekannt ist.
Ein Bild, das durch eine Kamera aufgenommen ist bzw. wird, verzerrt die Größen der in dem Bild aufgezeichneten Gegenstände, so daß entfernte Gegenstände bzw. Objekte kleiner als nähere Gegenstände erscheinen. Diese Größenverzerrung, welche als perspektivische Verzerrung bekannt ist, hängt von der Kameraposition, dem Sicht- bzw. Zeigewinkel der Kamera, usw. ab. Dementsprechend kann ein Gegenstand, der in zwei unterschiedlichen Bildern gezeigt bzw. dargestellt ist, nicht dieselbe Größe in den zwei Bildern aufgrund der perspektivischen Verzerrung aufweisen.
Yalin Xiong et al.: "Registration, calibration and blending in creating high quality panoramas"; vierter IEEE Workshop an applications of computer vision, 1998. WACV '98. Proceedings, Princeton, NJ, USA 19–21. Oktober 1998, Los Alamitos, CA, USA, IEEE Comput. Soc., US, 19. Oktober 1998 (1998-10-19), Seiten 69–74, XP010315597, ISBN: 0-8186-8606-5 offenbart ein System zum Erzeugen eines vollständigen 360 Grad Panoramas aus geradlinigen Bildern, die von einer einzigen Knotenposition aufgenommen sind. In einem ersten Schritt werden alle einander überlappenden Bilder projektiv registriert. Der zweite Schritt nimmt die projektiven Matrizen und ihre assoziierten Hess'schen Matrizen als Eingaben und kalibriert die internen und externen Parameter jedes Bilds durch eine globale Optimierung. Der dritte Schritt reprojiziert alle Bilder auf ein Panorama durch ein auf Laplace-Pyramiden basierendes Mischen. Die Mischmasken werden automatisch durch die Grassfire-Transformation generiert. Ein Übergangsbereich ist bzw. wird durch die Werte einer Mischmaske definiert und die überlappten Bereiche bzw. Regionen werden gemäß einer speziellen Technik vermischt bzw. gemischt. Um die Größe des Übergangsbereichs zu maximieren, ist die Grenze der Maske durch den maximalen Abstand zwischen den Bildgrenzen definiert. Um diesen maximalen Abstand zu finden, wird die Grassfire-Transformation verwendet. Eine Linie wird zwischen jeder Bildgrenze inner halb des überlappenden Bereichs zur Verfügung gestellt, so daß von irgendeinem Punkt auf der Linie der orthogonale Abstand zu jeder entsprechenden Grenze derselbe ist. Somit ist von irgendeinem Punkt auf der Linie der senkrechte Abstand zu der Grenze irgendeines Bilds der gleiche. Die Grassfire-Transformation bestimmt diese Linie durch ein Überprüfen von Bildpunkten bzw. Pixeln, um den maximalen Abstand der Bildpunkte von ihrer nächsten Grenze zu berechnen. Die Bildpunktwerte innerhalb der Mischmaske werden dann entsprechend den Abstandswerten festgelegt, die unter Verwendung der Grassfire-Transformation berechnet sind bzw. werden. Der Übergangsbereich ist daher eine unregelmäßige Form bzw. Gestalt basierend auf der Mischmaske, die durch den Abstand zwischen den Bildgrenzen in der Überlappung definiert ist bzw. wird.
WO 98/02844 A offenbart ein Verfahren zum Konstruieren eines Bildmosaiks, umfassend die Schritte eines Auswählens von Quellbildern, Ausrichtens der Quellbilder, Auswählens von Quellsegmenten, Verstärkens der Bilder und Verschmelzens bzw. Zusammenführens der Bilder, um das Bildmosaik auszubilden. Das Verfahren wird entweder automatisch durch das System durchgeführt oder kann interaktiv durch einen menschlichen Betätiger geführt werden.
ZUSAMMENFASSUNG
Allgemein bezieht sich ein Aspekt der Erfindung auf ein Verfahren zum Mischen von Bildern von Segmenten einer Ansicht. Das Verfahren beinhaltet ein Bestimmen der Position eines zweiten Segments der Ansicht, die durch ein zweites Bild relativ zu einem ersten Segment der Ansicht repräsentiert bzw. dargestellt ist, welches durch ein erstes Bild dargestellt ist, ein Unterteilen des zweiten Bilds in einen ersten Abschnitt und einen zweiten Abschnitt basierend auf den bestimmten Positionen, ein Zeichnen des ersten Bilds auf einen ersten Entwurf bzw. Untergrund, und ein Zeichnen des ersten Abschnitts des zweiten Bilds auf den Entwurf an der bestimmten Position, so daß ein Abschnitt bzw. Bereich des ersten Abschnitts einen Abschnitt des ersten Bilds herausmaskiert.
Allgemein bezieht sich ein anderer Aspekt der Erfindung auf einen Artikel bzw. Gegenstand, welcher ein computerlesbares Medium beinhaltet, welches computerausführbare Instruktionen bzw. Anweisungen zum Zusammenführen bzw. Mischen von Bildern von Segmenten einer Ansicht gemäß dem Verfahren beinhaltet, das oben beschrieben ist.
Ein Bestimmen der Position des Segments, das in dem zweiten Bild dargestellt ist, relativ zu dem Segment in dem ersten erlaubt es dem Verfahren, Bilder zu mischen, welche Segmente der Ansicht darstellen können, welche beliebig relativ zueinander positioniert sind. Es erlaubt auch dem Verfahren, Bilder zu mischen bzw. zu verschmelzen, welche beliebige Formen bzw. Gestalten und Größen aufweisen. Es ist ein Gegenstand bzw. Ziel der vorliegenden Erfindung, ein Verfahren zur Verfügung zu stellen, welches Bearbeitungszeit durch ein Zeichnen des ersten Bilds ohne Veränderung desselben und dann Maskieren von Abschnitten des ersten Bilds mit einem Abschnitt des zweiten Bilds spart. Dieses Ziel wird durch ein Verfahren zum Verschmelzen bzw. Zusammenführen von Bildern gelöst, welches die Merkmale von Anspruch 1 aufweist. Bevorzugte Ausbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.
Das Verfahren beinhaltet weiterhin ein Bestimmen einer Position eines dritten Segments der Ansicht, welches durch ein drittes Bild dargestellt bzw. repräsentiert ist, relativ zu dem ersten Segment, ein Unterteilen des dritten Bilds in einen dritten Abschnitt und einen zweiten Abschnitt, basierend auf der bestimmten Position relativ zu dem ersten Segment, ein Bestimmen einer Position des dritten Segments der Ansicht relativ zu dem zweiten Bild, ein Unterteilen des dritten Abschnitts in einen fünften und einen sechsten Abschnitt, basierend auf der bestimmten Position relativ zu dem zweiten Bild, und ein Zeichnen des fünften Abschnitts des dritten Bilds auf den Entwurf bzw. das Aufzeichnungselement an der bestimmten Position relativ zu dem dritten Bild, so daß ein Abschnitt bzw. Bereich des fünften Abschnitts wenigstens einen des ersten Bilds und des zweiten Abschnitts des zweiten Bilds abdeckt bzw. blockiert. Somit erlaubt es das Verfahren, daß ein neues Bild zu dem vermischten Panoramabild hinzugefügt wird, ohne daß irgendeine zusätzliche Bearbeitung der früheren Bilder durchgeführt wird. Das Verfahren berechnet lediglich den Abschnitt des neuen Bilds, welches über das panoramische Bild gezeichnet werden sollte.
Das Verfahren antwortet auf einen Befehl, um das dritte Bild durch ein Radieren der Bildfläche bzw. des Entwurfs zu entfernen; ein Zeichnen des ersten Bilds auf den Entwurf bzw. die Leinwand; und ein Zeichnen des ersten Abschnitts des zweiten Bilds auf den Entwurf an der bestimmten Position des zweiten Segments relativ zu dem ersten Segment, so daß Abschnitte des ersten Abschnitts Abschnitte bzw. Bereiche des ersten Bilds herausmaskieren. Das Verfahren spart Bearbeitungszeit, indem einfach der zuvor bestimmte erste Abschnitt auf das erste Bild gezeichnet wird, ohne daß irgendwelche zusätzliche Berechnungen durchgeführt werden.
Vor einem Unterteilen des zweiten Bilds wird eine perspektivische Verzerrung in dem zweiten Bild korrigiert, um die Qualität des panoramischen Bilds zu verbessern. Das zweite Bild wird in den ersten und zweiten Abschnitt durch eine Unterteilungslinie unterteilt, welche basierend auf einem Umriß bzw. einer Kontur des ersten Bilds; einer Kontur des zweiten Bilds; und der relativen Position des zweiten Bildsegments relativ zu dem ersten Bildsegment bestimmt ist bzw. wird. Die Unterteilungslinie verbindet zwei Schnittpunkte der Umrisse bzw. Konturen des ersten und zweiten Bilds, wenn das zweite Bild an der bestimmten relativen Position positioniert ist, d. h. zwei am weitesten entfernte Punkte eines Schnitts. Der erste Abschnitt des zweiten Bilds wird basierend darauf bestimmt, wieviel des zweiten Bilds auf jeder Seite der Unterteilungslinie durch das erste Bild überlappt ist bzw. wird. Ein Bereich um die Unterteilungslinie, wo das zweite Bild mit dem ersten Bild vermischt wird, um den Übergang zwischen dem ersten Bild und dem zweiten Bild zu glätten, wird bestimmt. Die Unterteilungslinie unterteilt den Bereich bzw. die Region in einen ersten Subbereich, der innerhalb des ersten Segments des zweiten Bilds beinhaltet ist, und einen zweiten Subbereich, der innerhalb des zweiten Segments des zweiten Bereichs enthalten ist. Es wird mehr des zweiten Bilds in dem ersten Subbereich vermischt als in dem zweiten Subbereich, um einen glatteren Übergang zwischen dem ersten und zweiten Bild zur Verfügung zu stellen.
Die Details von einer oder mehreren Ausbildung(en) der Erfindung sind in den beiliegenden Zeichnungen und der nach folgenden Beschreibung ausgeführt. Andere Merkmale, Gegenstände und Vorteile der Erfindung werden aus der Beschreibung und den Zeichnungen und aus den Ansprüchen ersichtlich werden.
BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm eines Systems zum Zusammenführen bzw. Mischen von Bildern von überlappenden Segmenten einer Ansicht;
2A zeigt vier exemplarische bzw. beispielhafte Bilder von überlappenden Segmenten einer Ansicht;
2B ist ein panoramisches Bild, das durch das System von 1 durch Mischen der Bilder von 2A gebildet wird;
2C zeigt die Bilder von 2A gemeinsam mit Positionsinformation, die beim Mischen der Bilder verwendet wird;
2D und 2E zeigen die Bilder von 2A, nachdem sie unter Verwendung von Positionsinformation ausgerichtet wurden;
2F zeigt die Bilder von 2A, nachdem das System von 1 diese in bezug auf eine perspektivische Verzerrung korrigiert hat;
3A zeigt das Verfahren, das durch das System von 1 verwendet wird, um Bilder zu mischen bzw. zu verschmelzen;
3B und 3C zeigen verschiedene Bildumrisse bzw. -konturen, die verwendet werden, um die Bilder von 2F zu mischen;
3D ist ein Ausdruck einer Maske, die bewertet bzw. verwendet wird, um die Bilder von 2F zu mischen;
3E zeigt verschiedene Bildumrisse, die verwendet werden, um ein Bild von 2F zu mischen; und
4 zeigt verschiedene zwischenliegende Bilder, die gezeichnet werden, wenn das panoramische Bild erzeugt wird.
Gleiche Bezugszeichen in den verschiedenen Zeichnungen bezeichnen gleiche Elemente.
DETAILLIERTE BESCHREIBUNG
Bezugnehmend auf 1 weist ein Computersystem 10 zum Verschmelzen bzw. Mischen von Bildern 18 einen Prozessor 12 zum Ausführen von Programmen 12, 14 auf, die in einem Speicher 16 gespeichert sind. Der Speicher 16 ist ein computerlesbares Medium, wie eine CDROM, eine Festplatte, ein Festplattenfeld bzw. -array, eine Floppy Disk oder ein ROM. Die Computerprogramme 12, 14 (d. h. die Bildaufnahme-Software 12 und die Bildheft-Software 14) sind bzw. werden in den computerlesbaren Speicher 16 geladen und dann ausgeführt, um die Bilder 18 zu ver- bzw. bearbeiten. Das Computersystem 10 ist mit einem Scanner 20, um die Bilder 18 in ein digitales Format umzuwandeln, einer Computertastatur 22 und einer Zeigevorrichtung 24 assoziiert, um eine Eingabe von einem Benutzer (nicht gezeigt) aufzunehmen bzw. zu erfassen. Das Computersystem 10 ist auch mit einem Monitor 28 zum Anzeigen von Bildern und einem Drucker 30 zum Drucken von Bildern assoziiert. Das Computersystem 10 beinhaltet auch ein Netzwerk-Interface 34, um mit Vorrichtungen zu kommunizieren, die mit einem Computernetzwerk 32 verbunden sind.
Der Benutzer (nicht gezeigt) aktiviert den Scanner 20 unter Verwendung der Tastatur 22 oder der Zeigevorrichtung 24, was den Scanner veranlaßt, die Bilder 18 zu scannen und zu der Bildaufnahme-Software 12 zu übertragen. Die Bildaufnahme-Software 12 ist ein TWAIN Anwendungs-Programmier-Interface (API), welches die Bilder 18 aufnimmt und diese zu der Bildheft-Software 14 fördert. Die Bildheft-Software 14 mischt die Bilder 18 miteinander bzw. führt sie zusammen, um ein panoramisches Bild 26 auszubilden, welches auf dem Monitor 28 angezeigt oder auf dem Drucker 30 gedruckt ist bzw. wird. Das panoramische Bild 26 kann auch in dem Speicher 16 gespeichert oder zu einem entfernten Ort über das Computernetzwerk 32 durch das Netzwerk-Interface 34 übertragen werden.
Bezugnehmend auf 2A zeigen Bilder 18 überlappende Segmente einer Ansicht, welche allen Bildern gemeinsam ist. Beispielsweise zeigen Bilder 18a–18d jeweils Segmente der Vorderansicht eines Hauses. Das erste Bild 18a zeigt ein zentrales Segment der Vorderansicht und ist um den Eingang zu dem Haus zentriert. Das zweite Bild 18b zeigt ein oberes Segment der Ansicht, um einen Balkon 70 auf einem oberen Stockwerk des Hauses zu beinhalten, während das dritte Bild 18c ein linkes Segment der Vorderansicht darstellt bzw. zeigt, um einen Baum 71 zu beinhalten, der links von dem Eingang angeordnet ist. Das vierte Bild 18d zeigt ein rechtes Segment der Ansicht, um das Fenster rechts von dem Eingang zu beinhalten.
Bezugnehmend auf 2B mischt die Bildheft-Software 14 (1) die Bilder 18a–18d, um ein einziges panoramisches Bild 26 zu generieren bzw. zu erzeugen, welches den Balkon 70, den Baum 71 und das Fenster 72 beinhaltet. Somit erlaubt es die Bildheft-Software 14 einem Benutzer, mehrere Bilder 18a–18d zu mischen bzw. zu verschmelzen, um ein panoramisches Bild 26 mit einem Sichtfeld zu erzeugen, welches größer als das Feld von irgendeinem der zahlreichen Bilder ist.
Indem neuerlich auf 1 Bezug genommen wird, bestimmt das Positioniermodul 50 der Bildheft-Software 14 die relativen Positionen der Segmente, die in zwei der Bilder 18a–18d dargestellt sind, so daß ein Bild eines Gegenstands, der in einem der Bilder gezeigt bzw. dargestellt ist, mit einem anderen Bild desselben Gegenstands bzw. Objekts ausgerichtet werden kann. Das positionierende bzw. Positioniermodul 50 bestimmt automatisch das relative Positionieren der zwei Segmente entsprechend den Bildern unter Verwendung von bekannten Verfahren, die in "Direct Estimation of Displacement Histograms", Proceedings of the OSA Meeting an Image Understanding and Machine Vision, Juni 1989, Bernd Girod & David Kuo ("Girod"), beschrieben sind. Die Softwaremodule sind bzw. werden dynamisch verbunden, Maschinensprache-Büchereien, welche durch ein Kompilieren einer Hochniveau-Computerprogrammiersprache, wie "C++" oder "C" erhalten sind. Die Funktionen und Betätigungen der unterschiedlichen Softwaremodule werden unten beschrieben.
Indem auf 2C Bezug genommen wird, wird die Bestimmung der Position der relativen Segmente unter Bezugnahme auf die Position der oberen linken Ecke des Türrahmens relativ zu der unteren linken Ecke von jedem der Bilder 18a–18d beschrieben. Beispielsweise ist die obere linke Ecke des Türrahmens horizontal von der linken Bodenecke des Bilds um einen Abstand x₀ in dem ersten Bild 18a verlagert, während sie um einen Abstand x₁ in dem zweiten Bild 18a verlagert ist. Folglich wird das zweite Bild nach links von dem ersten Bild um einen Abstand (d_left) verlagert, der durch die mathematische Gleichung gegeben ist: dleft = x0 – x1.
In ähnlicher Weise ist die obere linke Ecke des Türrahmens vertikal von der linken Bodenecke des Bilds um einen Abstand y₀ in dem ersten Bild 18a verlagert, während sie um einen Abstand y₁ in dem zweiten Bild 18a verlagert ist. Das zweite Bild ist bzw. wird daher unter das erste Bild um einen Abstand (d_down) verlagert, welcher durch die mathematische Gleichung gegeben ist: ddown = y0 – y1.
Um die obere linke Ecke des Türrahmens in dem ersten Bild 18a und dem zweiten Bild 18b auszurichten, werden die zwei Bilder überlappt, und das zweite Bild wird um den Abstand d_left nach rechts verlagert bzw. verschoben und um den Abstand d_down nach oben verlagert, wie dies in 2D gezeigt ist. Die anderen Bilder 18c und 18d werden ebenfalls in einer ähnlichen Weise überlappt und verlagert, um die Bildpunkte bzw. Pixel, die die obere linke Ecke des Türrahmens in einem Bild repräsentieren bzw. darstellen, zu anderen Bildpunkten auszurichten, die dieselbe Ecke des Türrahmens in anderen Bildern darstellen. Das Ergebnis eines Ausrichtens aller Bilder 18a–18d ist in 2E gezeigt.
Wie dies in 2E gezeigt ist, können jedoch die überlappenden Bilder, die aus der Positionsausrichtung, die oben beschrieben ist, resultieren, nicht nahtlos ineinander gemischt zw. verschmolzen werden. Beispielsweise ist bzw. wird ein Saum bzw. Rand 62 über eine Stiege 63 ausgebildet (die in den überlappenden Bildern dargestellt ist), wo die zwei Bilder 18c und 18d aneinander grenzen bzw. miteinander verbunden sind. Folglich ist eine zusätzliche Bearbeitung erforderlich, um die Bilder ineinander zu mischen und das nahezu saumlose bzw. nahtlose panoramische Bild 26 zu erzeugen (2B). Der perspektivische Korrektor bzw. die perspektivische Korrektureinrichtung 52 und die anderen Module 54–58 führen die zusätzlichen Schritte durch, wie dies unten beschrieben ist.
Um Säume bzw. Ränder bzw. Fugen 62 (2E) in dem verschmolzenen Bild zu reduzieren, korrigiert der perspektivische Korrektor 52 perspektivische Verzerrungen innerhalb der Bilder unter Verwendung von bekannten Verfahren, die in "Virtual Bellows", Proceedings of IEEE International Conference an Image Processing, Nov. 1994, Steven Mann & R. W. Picard" beschrieben sind. Die Perspektive von jedem der ursprünglichen Bilder 18b–18d (2A) ist bzw. wird relativ zu dem ersten Bild 18a entweder durch ein Vergrößern einer Seite der Bilder 18b–18d entsprechend entfernteren Gegenständen und/oder durch ein Schrumpfen einer anderen Seite der Bilder 18b–18d entsprechend näheren Objekten korrigiert. Die perspektivische Korrektur ergibt ein trapezoidales zweites 18b', drittes 18c' und viertes Bild 18d' (gezeigt in 2F). Ein Ausrichten der trapezoidalen Bilder resultiert in kleineren Nähten bzw. Fugen 62 (2E), da die Gegenstände in den Bildern nicht verzerrte Größen aufweisen.
Indem auf 3A–3C Bezug genommen wird, wird ein Verfahren zum Zusammenführen bzw. Mischen von Bildern, welches durch das Computersystem von 1 implementiert ist, unter Verwendung der Bilder 18a–18d als Beispiele beschrie ben. Das Verfahren bzw. der Prozeß beginnt, wenn die Bildaufnahme-Software 12 (1) die Bilder 18 (1) aufnimmt (200), die miteinander zu verschmelzen bzw. zu mischen sind. Das Positioniermodul 50 (1) bestimmt (202) die Position des Segments der Ansicht entsprechend jedem Bild 18b–18d relativ zu dem Segment der Ansicht entsprechend dem ersten Bild 18a (wie zuvor unter Bezugnahme auf 2C und 2D beschrieben), und der perspektivische Korrektor 52 korrigiert (204) die perspektivische Verzerrung in jedem Bild 18b–18d relativ zu dem Bezugs- bzw. Referenzbild 18a (wie zuvor unter Bezugnahme auf 2F) beschrieben. Die Heft-Software 14 (1) legt (206) dann eine sichtbare Eigenschaft der Bildpunkte von allen Bildern fest, um anzuzeigen, daß alle der Bildpunkte bzw. Pixel von allen der Bilder beginnen sichtbar zu werden. Die Heft-Software legt dann (208) das gegenwärtige Bild fest, das das erste Bild sein soll, und fährt mit einem Bestimmen des sichtbaren Bereichs von jedem der Bilder 18a, 18b'–18d' fort, wie dies unten beschrieben ist.
Die Heft-Software 14 legt (210) das gegenwärtige Bild fest, das das nächste Bild 18b' nach dem gegenwärtigen Bild 18a sein soll, und legt das Bezugsbild fest, das erste Bild 18a zu sein. Dadurch werden alle Bildpunkte des ersten Bilds 18a sichtbar gelassen (welche durch Schraffierungen in 3B angezeigt bzw. angedeutet sind). Obwohl alle Bildpunkte des ersten Bilds sichtbar festgelegt bzw. eingestellt sind, können einige der Bildpunkte des ersten Bilds durch sichtbare Abschnitte bzw. Bereiche von nachfolgenden Bildern verdeckt oder maskiert werden, wie dies später beschrieben werden wird.
Die Unterteilungslinien-Bestimmungseinrichtung 54 (1) bestimmt (212) eine Kontur bzw. einen Umriß 74 (3C) eines panoramischen Bilds, welches durch ein Ausrichten des gegenwärtigen Bilds 18b' und des Bezugs- bzw. Referenzbilds 18a gebildet ist bzw. wird (wie zuvor unter Bezugnahme auf 2D beschrieben). Die Unterteilungslinien-Bestimmungseinrichtung 54 bestimmt auch ein Paar von Punkten 76, 78, wo die Umfangslinien bzw. Konturen der ausgerichteten Bilder einander schneiden bzw. kreuzen, wodurch eine Linie 80 definiert wird (214), welche die panoramische Kontur 74 in zwei Abschnitte 82, 84 unterteilt (216). Wenn die Konturen der ausgerichteten Bilder an mehr als zwei Punkten schneiden bzw. kreuzen, wählt die Unterteilungslinien-Bestimmungseinrichtung 54 die zwei Kreuzungs- bzw. Schnittpunkte, welche am weitesten voneinander entfernt sind, um die Unterteilungslinie 80 zu definieren. Die Unterteilungslinien-Bestimmungseinrichtung 54 bestimmt dann (218), welcher der zwei Abschnitte 82, 84 weniger des gegenwärtigen Bilds 18b' aufweist, welches nicht durch das Referenzbild 18a überlappt ist, und legt (220) diesen Abschnitt des gegenwärtigen Bilds als unsichtbar fest. In dem Beispiel von 3C hat der Abschnitt 84 nichts von dem Profil 73 des gegenwärtigen Bilds, welches nicht durch das erste Bild 18a überlappt ist bzw. wird. Folglich werden die Abschnitte bzw. Bereiche des Bildprofils 85, die in dem Abschnitt 84 enthalten sind, auf unsichtbar gesetzt, wodurch der schraffierte Abschnitt 82 des Bilds 18b sichtbar verbleibt.
Die Heft-Software 14 überprüft (222), ob es irgendwelche weiteren Bilder zwischen dem Referenzbild 18a und dem gegenwärtigen Bild 18b' gibt. Wenn es keine weiteren Bilder gibt, legt (224) die Heft-Software 14 das Referenzbild als das nächste Bild nach dem gegenwärtigen Referenzbild fest und wiederholt das Verfahren eines Festlegens eines Abschnitts des gegenwärtigen Bilds 18b' als unsichtbar 208–220, wie dies oben beschrieben ist. Ansonsten, wenn es keine weiteren Bilder gibt, bestimmt (226) die Verschmelzungsmasken-Bestimmungseinheit 56 (1) die Bildpunkte innerhalb des gegenwärtigen Bilds, welche Bildpunkte von früheren Bildern herausmaskieren werden. Lediglich sichtbare Bildpunkte des gegenwärtigen Bilds 18b' maskieren Bildpunkte von früheren Bildern heraus bzw. decken diese ab. Folglich werden die Maskenwerte von Bildpunkten, die in dem Bereich 82 enthalten sind, auf "1" gesetzt, während die Maskeneigenschaften von Bildpunkten, die in dem Bereich 84 enthalten sind, auf "0" gesetzt werden.
Die Mischmasken- bzw. Verschmelzungsmasken-Bestimmungseinheit glättet den Schnitt zwischen dem Bereich bzw. der Region 82 mit Bildpunktwerten, die auf 1 gesetzt sind, und dem Bereich 84 mit Bildpunktwerten, die auf 0 gesetzt sind, durch Anwenden eines Verfahrens, welches in "A Multiresolution Spline With Application to Image Mosaics", ACM Transactions an Graphics, Band 2, Nr. 4, Oktober 1983, P. J. Burt & E. H. Adelson beschrieben ist. Indem auf die Nahaufnahme 100 von 3C bezug genommen wird, bildet das Glätten ein Übergangsband 104 innerhalb des unsichtbaren Abschnitts 84 und nahe der Unterteilungslinie 80 aus, wo der Maskenwert glatt bzw. sanft von einem Wert von "1" an der Unterteilungslinie auf einen Wert von "0" übergeht, wodurch scharfe Diskontinuitäten in den panoramischen Bildern an der Unterteilungslinie 80 eliminiert werden, wo vermischte Bilder 18a, 18b' einander schneiden, wie dies später beschrieben werden wird.
Wie dies in 3D gezeigt ist, ist der Maskenwert "1" innerhalb des sichtbaren Bereichs 82. Die Glättungsfunktion bewirkt, daß sich der Maskenwert glatt bzw. sanft innerhalb des Übergangsbands 104 auf einen Wert von "0" innerhalb des sichtbaren Bereichs 84 reduziert.
Indem neuerlich auf 3A Bezug genommen wird, überprüft (228) nach einem Bestimmen der Maskenwerte des Bilds die Heft-Software 14, ob es irgendwelche Bilder nach den gegenwärtigen Bildern gibt. Wenn weitere Bilder vorliegen, legt (210) die Heft-Software ein neues gegenwärtiges Bild als das nächste Bild nach dem gegenwärtigen Bild fest und fährt mit einem Bestimmen der Maskenwerte des neuen gegenwärtigen Bilds fort (212–226).
Basierend auf der obigen Diskussion kann das Bearbeiten der nachfolgenden Bilder 18c' und 18d' abgeleitet bzw. gefolgert werden. Beispielsweise unter Bezugnahme auf 3E wird erkannt bzw. geschätzt werden, daß der sichtbare Bereich des dritten Bilds 18c' auf das Innere einer Kontur 87 bei 206 festgelegt werden wird, und daß, wenn das Bezugs- bzw. Referenzbild das erste Bild 18a ist, der sichtbare Bereich bei 220 auf das Innere einer kleineren Kontur- bzw. Umfangslinie 86 reduziert wird. Nachfolgend darauf wird, wenn das Referenzbild als das zweite Bild 18b' festgelegt wird, der sichtbare Bereich weiter auf eine noch kleinere Kontur 90 reduziert werden.
Indem neuerlich auf 3A Bezug genommen wird, überlappt, wenn es keine weiteren Bilder nach dem gegenwärtigen Bild gibt, die Bildverschmelzungseinrichtung 58 die Bilder 18a, 18b'–18d' basierend auf dem Maskierungswert, um das panoramische Bild zu erzeugen (230).
Indem auf 4 Bezug genommen wird, startet die Bildverschmelzungs- bzw. -mischeinrichtung mit einem freien Hintergrund, der als eine Leinwand bzw. ein Entwurf 120 bekannt ist, auf welche(m) er das erste Bild 18a zeichnet, um ein Bild 120a zu produzieren, wonach die Bildverschmelzungseinrichtung den sichtbaren Abschnitt 121b des zweiten Bilds 18b' auf die Leinwand 120 zeichnet, um das Bild 120b zu produzieren. Beim Zeichnen des zweiten Bilds berechnet die Bildverschmelzungseinrichtung die Pixel- bzw. Bildpunktwerte des Bilds 120b gemäß der Formel: Pixelpanoramic = pixelsecond image·mask_value + pixelfirst image·(1-mask_value)
Wo:
pixel_{second image} der Wert eines Bildpunkts bzw. Pixels des zweiten Bilds ist;
pixel_first
image der Wert eines Bildpunkts des ersten Bilds ist, welches auf derselben Position wie der Bildpunkt des zweiten Bilds liegt; und
mask value der Wert der Maske des Bildpunkts des zweiten Bilds ist.
Wie dies aus der obigen Formel ersehen werden kann, verdeckt, wo der Bildpunktwert des zweiten Bilds einen Wert von "1" aufweist, das zweite Bild vollständig das erste Bild, und wo der Bildpunktwert des zweiten Bilds einen Wert von "0" aufweist, ist das erste Bild vollständig durch das zweite Bild sichtbar. Jedoch mischt, wenn der Maskenwert zwischen "0" und "1" ist, die Bildmischeinrichtung das erste und zweite Bild, wodurch der Übergang von einem Bild auf das andere geglättet wird.
Nach einem Zeichnen des zweiten Bilds zeichnet die Bildverschmelzungseinrichtung den sichtbaren Abschnitt 121c des Bilds 18c, um das Bild 120c zu erzeugen. Schließlich zeichnet die Bildmischeinrichtung den sichtbaren Abschnitt 121d des Bilds 18d', um das panoramische Bild 26 von 2B zu erzeugen.
Aus der obigen Diskussion sollte klar sein, daß die Maskenwerte jedes Bilds lediglich von liegenden Bildern vor diesem abhängen. Folglich muß der Maskenwert eines früheren Bilds nicht neu berechnet werden, wenn ein neueres Bild gelöscht bzw. entfernt oder hinzugefügt wird. Dies spart Computerzeit, was in einer kürzeren Antwortzeit resultiert. Beispielsweise berechnet, wenn ein Benutzer die Heft-Software 14 beauftragt, ein neues Bild hinzuzufügen, die Heft-Software die Maske des neuen Bilds relativ zu den vier Bildern 18a, 18b'–18d'. Die Heft-Software zeichnet dann den sichtbaren Abschnitt des neuen Bilds über die Leinwand 120, wodurch ein Abschnitt von wenigstens einem der zuvor gezeichneten Bilder 18a, 18b'–18d' abgedeckt wird. Wenn der Benutzer der Software später befiehlt, das neue Bild zu entfernen, radiert die Heft-Software die Leinwand 120 und zeichnet die sichtbaren Abschnitte der Bilder 18a, 18b'–18d in einer Sequenz basierend auf den zuvor berechneten Bildmasken, wie dies zuvor beschrieben wurde.
Eine Anzahl von Ausbildungen der Erfindung wurde beschrieben. Nichtsdestotrotz wird verstanden werden, daß verschiedene Modifikationen innerhalb des Rahmens der beiliegenden Ansprüche gemacht werden können. Beispielsweise kann das zusammenzuführende bzw. zu verschmelzende Bild 18 von einer Digitalkamera, einem Speicher 16 oder Netzwerk 26 erhalten sein bzw. werden. Das Positioniermodul kann die relativen Positionen von Segmenten bestimmen, die in zwei Bildern gezeigt sind, indem der Benutzer angeregt wird, die Zeigevorrichtung 24 zu verwenden, um einen Gegenstand, wie die obere linke Ecke des Türrahmens, anzuklicken, welcher in beiden Bildern gezeigt ist, und die relativen Positionen basierend auf den Positionen bestimmt werden, welche der Benutzer anklickt.

Claims

Verfahren zum Zusammenführen bzw. Verschmelzen von Bildern (18a–18d), umfassend: Empfangen von Bildern (18a–18d), wobei jedes Bild ein Segment einer Ansicht darstellt; Empfangen von Positionsinformation, welche Positionen der Bilder (18a–18d) relativ zueinander spezifiziert; für jedes Bild (18a–18d) und basierend auf der Positionsinformation, Identifizieren von allen anderen Bildern, welche das Bild (18a–18d) überlappen; Gruppieren der Bilder (18a–18d) in Paare, wobei ein Bild (18a–18d) in ein Paar mit jedem Bild (18a–18d) gruppiert wird, das als das Bild überlappend identifiziert wird; Definieren eines Übergangsbands (104) für jedes Paar von Bildern (18a–18d), wo jedes Bild (18a–18d) eine Außenlinie bzw. Kontur aufweist, und Definieren eines Übergangsbands (104) basierend auf einem Ort von zwei oder mehreren Schnittpunkten, wobei die Schnittpunkte Punkte sind, wo die Konturen der Bilder in dem Paar von Bildern (18a–18d) einander schneiden bzw. kreuzen; für jedes Bild in einem Paar von Bildern (18a–18d) Zuordnen eines Maskierungswerts für jeden Bildpunkt des Bilds (18a–18d), wobei die Maskierungswerte eine vollständige Sichtbarkeit für jeden Bildpunkt in einem Bereich bzw. einer Fläche des Bilds (18a–18d) spezifizieren, welche(r) nicht das andere Bild (18a–18d) des Paars überlappt, die Maskierungswerte eine teilweise Sichtbarkeit für Bildpunkte bzw. Pixel in dem Übergangsband (104) spezifizieren, und die Maskierungswerte eine komplette Unsichtbarkeit für den Rest der Bildpunkte in dem Bild (18a–18d) spezifizieren; und Zusammenführen der Bilder (18a–18d) unter Verwendung der berechneten Maskierungswerte.
Verfahren nach Anspruch 1, wobei ein Definieren des Übergangsbands (104) für ein Paar von Bildern (18a–18d) weiterhin beinhaltet: Berechnen des längsten Liniensegments, das durch die Schnittpunkte (76, 78) definiert wird.
Verfahren nach Anspruch 2, worin: ein Definieren des Übergangsbands (104) weiterhin ein Definieren eines Bereichs bzw. einer Region von Bildpunkten benachbart dem längsten Liniensegment als Übergangsband beinhaltet; und für ein Bild (18a–18d) ein Zuordnen von Maskierungswerten zu Bildpunkten in dem Übergangsband (104) ein Definieren eines Gradienten von Maskierungswerten beinhaltet, so daß Maskierungswerte glatt bzw. sanft von Werten, die eine vollständige Sichtbarkeit an einer Kante bzw. einem Rand des Übergangsbands (104) spezifizieren, zu Werten übergehen, die eine vollständige Unsichtbarkeit an einer anderen Kante des Übergangsbands (104) spezifizieren.
Verfahren nach Anspruch 3, wobei: ein Spezifizieren einer vollständigen Sichtbarkeit ein Festlegen bzw. Einstellen eines Maskierungswerts von 1 beinhaltet; und ein Spezifizieren einer vollständigen Unsichtbarkeit ein Festlegen eines Maskierungswerts von 0 beinhaltet.
Verfahren nach Anspruch 1, wobei das Empfangen von Bildern beinhaltet: Empfangen von Bildern (18a–18d), welche Segmente repräsentieren, welche in einer beliebigen bzw. willkürlichen Anordnung angeordnet sind.
Verfahren nach Anspruch 1, wobei ein Empfangen von Positionsinformation beinhaltet: Bestimmen einer Position eines ersten Bilds (18a) relativ zu einem zweiten Bild (18b).
Verfahren nach Anspruch 6, wobei ein Bestimmen der Position eines Bilds (18a–18d) beinhaltet: Auswählen eines Merkmals bzw. Gegenstands, welches(r) in dem ersten und zweiten Bild gezeigt wird; Auswählen eines Bezugs- bzw. Referenzpunkts in dem ersten Bild; und Berechnen einer horizontalen und vertikalen Verlagerung zwischen dem Merkmal in dem ersten Bild (18a) und dem Referenzpunkt.
Verfahren nach Anspruch 1, weiterhin umfassend: Hinzufügen eines neuen Bilds (18c'), das mit den empfangenen Bildern (18a–18d) zusammenzuführen ist; Zuordnen von Maskierungswerten zu dem neuen Bild (18c') relativ zu den empfangenen Bildern (18a–18d); und Zusammenführen des neuen Bilds (18c') mit den empfangenen Bildern (18a–18d) unter Verwendung der Maskierungswerte jedes Bilds.
Verfahren nach Anspruch 1, wobei ein Zusammenführen der Bilder beinhaltet: Korrigieren einer Perspektive eines Bilds (18a–18d).
Computerprogrammprodukt, welches greifbar auf einem maschinenlesbaren Medium gespeichert ist, zum Zusammenführen von Bildern (18a–18d), umfassend Instruktionen bzw. Anweisungen, welche einen programmierbaren Prozessor veranlassen, wenn sie darauf laufen: Bilder (18a–18d) zu empfangen, wobei jedes Bild (18a–18d) ein Segment einer Ansicht repräsentiert; Positionsinformation zu empfangen, welche Positionen der Bilder (18a–18d) relativ zueinander spezifiziert; für jedes Bild (18a–18d) und basierend auf der Positionsinformation, alle anderen Bilder (18a–18d) zu identifizieren, welche das Bild überlappen; die Bilder (18a–18d) in Paare zu gruppieren, wobei ein Bild (18a–18d) in ein Paar mit jedem Bild (18a–18d) gruppiert ist bzw. wird, das als das überlappende Bild identifiziert wird; ein Übergangsband (104) für jedes Paar von Bildern (18a–18d) zu identifizieren, wobei jedes Bild (18a–18d) eine Außenlinie bzw. Kontur aufweist, und ein Übergangsband (104) basierend auf einem Ort von zwei oder mehreren Schnittpunkten zu definieren, wobei die Schnittpunkte Punkte sind, wo die Konturen der Bilder in dem Paar von Bildern (18a–18d) einander schneiden bzw. kreuzen; für jedes Bild (18a–18d) in einem Paar von Bildern, einen Maskierungswert für jeden Bildpunkt des Bilds (18a–18d) zuzuweisen, wobei die Maskierungswerte eine vollständige Sichtbarkeit für jeden Bildpunkt in einem Bereich des Bilds spezifizieren, welcher nicht das andere Bild (18a–18d) des Paars überlappt, die Maskierungswerte eine teilweise Sichtbarkeit für Bildpunkte bzw. Pixel in dem Übergangsband (104) spezifizieren, und die Maskierungswerte eine vollständige Unsichtbarkeit für den Rest der Bildpunkte in dem Bild (18a–18d) spezifizieren; und die Bilder (18a–18d) unter Verwendung der berechneten Maskierungswerte zusammenzuführen bzw. zu verschmelzen.
Computerprogrammprodukt nach Anspruch 10, wobei Instruktionen bzw. Anweisungen zum Definieren eines Übergangsbands (104) für ein Paar von Bildern (18a–18d) weiterhin Instruktionen beinhalten, um: das längste Liniensegment zu berechnen, das durch die Schnittpunkte (76, 78) definiert ist.
Computerprogrammprodukt nach Anspruch 11, wobei: Instruktionen zum Definieren eines Übergangsbands (104) weiterhin Instruktionen zum Definieren eines Bereichs von Bildpunkten benachbart dem längsten Liniensegment des Übergangsbands (104) beinhalten; und Instruktionen, um Maskierungswerte zu Bildpunkten in dem Übergangsband (104) zuzuweisen, Instruktionen beinhalten, um einen Gradienten von Maskierungswerten zu definieren, so daß Maskierungswerte glatt bzw. sanft von Werten, die eine vollständige Sichtbarkeit an einer Kante bzw. einem Rand des Übergangsband (104) spezifizieren, zu Werten übergehen, die eine vollständige Unsichtbarkeit an der anderen Kante des Übergangsbands (104) spezifizieren.
Computerprogrammprodukt nach Anspruch 12, wobei: Instruktionen zum Spezifizieren einer vollständigen Sichtbarkeit Instruktionen zum Festlegen bzw. Einstellen eines Maskierungswerts von 1 beinhalten; und Instruktionen zum Spezifizieren einer vollständigen Unsichtbarkeit Instruktionen zum Festlegen eines Maskierungswerts von 0 beinhalten.
Computerprogrammprodukt nach Anspruch 10, wobei die Instruktionen zum Empfangen von Bildern Instruktionen beinhalten, um: Bilder (18a–18d) zu empfangen, die Segmente repräsentieren, welche in einer beliebigen bzw. willkürlichen Anordnung angeordnet sind.
Computerprogrammprodukt nach Anspruch 10, wobei Instruktionen zum Empfangen von Positionsinformation Instruktionen beinhalten, um: eine Position eines ersten Bilds (18a) relativ zu einem zweiten Bild (18b) zu bestimmen.
Computerprogrammprodukt nach Anspruch 15, wobei Instruktionen zum Bestimmen der Position eines Bilds (18a–18d) Instruktionen beinhalten, um: ein Merkmal bzw. einen Gegenstand auszuwählen, welches(r) in dem ersten und zweiten Bild (18a, 18b) gezeigt ist; einen Bezugs- bzw. Referenzpunkt in dem ersten Bild (18a) auszuwählen; und eine horizontale und vertikale Verlagerung zwischen dem Merkmal in dem ersten Bild (18a) und dem Bezugspunkt zu berechnen.
Computerprogrammprodukt nach Anspruch 10, wobei Instruktionen zum Zusammenführen der Bilder Instruktionen beinhalten, um: ein neues Bild (18c') hinzuzufügen, um mit den empfangenen Bildern (18a–18d) zusammengeführt zu werden; Maskierungswerte zu dem neuen Bild (18c') relativ zu den empfangenen Bildern (18a–18d) zuzuweisen; und das neue Bild (18c') mit den empfangenen Bildern (18a–18d) unter Verwendung der Maskierungswerte jedes Bilds zusammenzuführen.