DE112011103011T5

DE112011103011T5 - Stereoskopische (3D) Panoramaerstellung auf tragbaren Geräten

Info

Publication number: DE112011103011T5
Application number: DE112011103011T
Authority: DE
Inventors: Petronel Bigioi; Igor Barcovschi; George Susanu; Piotr Stec; Larry Murray; Alexandru Drimbarean; Peter Corcoran
Original assignee: DigitalOptics Corp Europe Ltd
Current assignee: Fotonation Ltd
Priority date: 2010-09-09
Filing date: 2011-09-09
Publication date: 2013-11-07
Also published as: US20110141227A1; WO2012032412A3; KR20130103527A; GB2498284B; WO2012032412A2; KR101711036B1; US11115638B2; GB2498284B8; US10080006B2; US20190089941A1; GB2498284A; GB201305502D0; JP5969992B2; JP2013541884A; CN103168315A; CN103168315B

Abstract

Ein Verfahren zum Erzeugen eines stereoskopischen Panoramabildes weist das Schwenken eines tragbaren Kameragerätes und das Erfassen mehrerer Einzelbilder auf. Mehrere, mindestens teilweise überlappende Einzelbilder werden von Teilen der Szene aufgenommen. Das Verfahren weist das Abstimmen der Einzelbilder, einschließlich des Bestimmens von Verschiebungen des Bilderfassungsgerätes zwischen Erfassungen von Einzelbildern auf. Mehrere Panoramabilder werden erzeugt einschließlich des Zusammenfügens von Einzelbildern der Szene gemäß räumlicher Beziehungen und des Bestimmens stereoskopischer entsprechender Beziehungen zwischen den mehreren Panoramabildern. Die mehreren Panoramabilder werden auf der Grundlage der stereoskopischen entsprechenden Beziehungen bearbeitet, um ein stereoskopisches Panoramabild zu bilden.

Description

PRIORITÄT
Diese Anmeldung die Priorität der amerikanischen Patentanmeldung Nr. 12/879,003 vom 9. September 2010 in Anspruch.
GEBIET DER ERFINDUNG
Die Erfindung bezieht sich auf stereoskopische (3D) Panorama-Bildgebung mit tragbaren Kameras und/oder Handkameras, digitalen Photokameras und anderen kamerafähigen Geräten wie Photo-Handys und andere tragbare Geräte und auf einem Prozessor basierende tragbare Geräte mit Bilderfassungsfunktionen.
HINTERGRUND
Panorama-Photographie ist eine Photographie mit einem ungewöhnlich großen Sichtfeld, einem gesteigerten Seitenverhältnis oder beidem. Eine horizontale Panorama-Photographie kann beispielsweise wesentlich breiter als hoch sein und sie kann einen horizontalen Bildwinkel aufweisen, der groß ist bezogen auf seinen vertikalen Bildwinkel. Eine vertikale Panorama-Photographie kann wesentlich höher als breit sein und sie kann einen vertikalen Bildwinkel aufweisen, der bezogen auf seinen horizontalen Bildwinkel groß ist. Eine Panorama-Photographie oder ein Panoramabild, manchmal auch einfach nur ”Panorama” genannt, kann einen einzigartigen und manchmal auch bemerkenswerten und eindrucksvollen Blick auf eine Szene liefern.
Bei der Panorama-Bildgebung wird eine Sequenz von Bildern einer erweiterten horizontalen Szene aufgenommen und diese werden zu einem einzelnen erweiterten Bild zusammengesetzt. Dadurch kann eine ”Panorama”-Szene, meistens im Freien, mit einer Standardkamera mit einem normalen optischen System mit begrenztem Sichtfeld aufgenommen werden.
Ein alternativer Ansatz besteht darin, eine Szene mittels eines speziellen Objektivs, genannt Fischauge, aufzunehmen, das ein erweitertes Sichtfeld von bis zu 170' besitzt. Diese speziellen Objektive machen eine teure Herstellung und eine präzise Bearbeitung der Elemente des Objektivs erforderlich. Die Implementierung eines Panorama-Bildgebungsverfahrens in einer digitalen Kamera ermöglicht ähnliche Ergebnisse zu einem Bruchteil der Kosten.
Historisch wurden Panorama-Photographien unter Verwendung speziell hergestellter Kameras aufgenommen. Bei einer Art von Panoramakamera werden ein rotierendes Objektiv und Kameragehäuse eingesetzt, um ein großes Sichtfeld abzutasten, während der Film an einem schmalen Belichtungsschlitz hinter dem Objektiv vorbei bewegt wird. Diese Art von rotierender Kamera, nach einem frühen handelsüblichen Modell manchmal auch ”Cirkut”-Kamera genannt, kann ein Photo mit einem Sichtfeld von 360 Grad oder mehr aufnehmen. Eine Schwinglinsenkamera arbeitet nach einem ähnlichen Prinzip, doch ihr Objektiv und der Belichtungsschlitz rotieren bezogen auf ein stationäres Gehäuse und einen Film. Eine Schwinglinsenkamera kann ein Photo mit einem Sichtfeld von etwas weniger als 180 Grad aufnehmen.
Bei einem weiteren Verfahren zur Erstellung einer Panorama-Photographie können mehrere überlappende Standardphotos oder herkömmliche Photos aufgenommen werden, die meistens jeweils ein Seitenverhältnis von 3:2, oder weniger als in der Panorama-Photographie gewünscht wird, besitzen, und die dann in ein einzelnes, größeres Photo zusammengefügt werden. Das Zusammenfügen kann meistens unter Verwendung eines Computers erfolgen, der die digitalen Darstellungen der Komponenten-Photographien bearbeitet, beispielsweise Photos, die mit einer digitalen Kamera aufgenommen wurden. Das Verfahren des Verbindens digitaler Bilder zu einem größeren Photo wird oft als ”Stitching” oder ”Mosaicing” bezeichnet. Im Prinzip kann jede beliebige Anzahl von Komponenten-Bildern einem ”Stitching” unterzogen werden und das resultierende Panorama kann ein Sichtfeld von bis zu 360 Grad oder mehr abdecken.
Stitching kann rechenintensiv sein. Die Software, die ein Bild-Stitching durchführt, kann beispielsweise Verzeichnungen, wie z. B. Objektivverzeichnung und perspektivische Verzerrung, die in Komponenten-Bildern vorhanden sein können, korrigieren, bevor das Stitching durchgeführt wird. Um außerdem die richtige Ausrichtung und Farbabstimmung zwischen den Komponenten-Bildern zu finden, können vielfache Berechnungen von Korrelationskoeffizienten erforderlich sein, die die ”Güte” der Ausrichtung zwischen Bildsegmenten widerspiegeln. Abweichungen im Farbton, die durch Effekte wie Veränderungen im Blickwinkel und Linsenvignettierung verursacht werden, können korrigiert oder anderweitig berücksichtigt und angepasst werden. Die Zeit, die für die Durchführung des Stitching erforderlich ist, steigt erheblich mit zunehmender Größe oder Auflösung der Komponenten-Bilder.
Einige moderne digitale Kameras stellen einen Modus bereit, der den Benutzer der Kamera darin unterstützt, eine Auswahl an Komponenten-Photos zum späteren Stitching in eine Panorama-Photographie aufzunehmen. So kann im Panoramamodus beispielsweise ein Bildschirm auf der Kamera vorhanden sein, der den Benutzer darin unterstützt, jedes Komponenten-Photo zum richtigen Überlappen mit einem vorhergehenden Photo in der Auswahl einzustellen, und der folgerichtige Belichtungseinstellungen für alle Komponenten-Photos in einer Auswahl sicherstellen kann.
Mindestens ein existierendes Modell einer digitalen Kamera kann Stitching an einer Auswahl von ”screen nail”-Bildern mit niedriger Auflösung durchführen, so dass der Photograph bestimmte Probleme, wie eine unzureichende Überlappung in den Komponenten-Bildern, erkennen kann. Ein ”screen nail” kann eine kleine Kopie mit niedriger Auflösung eines digitalen Bildes aufweisen, analog zu einem Vorschaubild (”thumbnail” image), das in der Größe auf ein Kamera-Display passt. Ein typisches screen nail-Bild kann beispielsweise ungefähr 320×240 Pixel aufweisen. Diese Funktion wird in der amerikanischen Patentanmeldung 20060182437 (Hewlett-Packard) beschrieben.
Bisherige digitale Kameras haben das Stitching von Bildern mit hoher Auflösung oder voller Auflösung indessen nicht in Echtzeit durchgeführt, da die relativ einfachen Prozessoren, die in digitalen Kameras verwendet wurden, die rechenintensiven Stitching-Algorithmen nicht schnell genug durchführen konnten, um eine zufriedenstellende Anwendererfahrung bereitzustelllen. Bisher musste ein Kameranutzer, der mit Komponenten-Bildern mit hoher Auflösung ein Stitching zu einem Panorama durchführen wollte, die Komponenten-Bilder auf einen externen Computer hochladen und für die Durchführung des Stitching Software verwenden, die auf dem Computer ausgeführt wurde. Bei diesem bisherigen Verfahren waren die Nutzung eines Computers notwendig, möglicherweise einschließlich der Installation von zusätzlicher Software auf dem Computer, und der Benutzer konnte das Panorama nicht sofort ausdrucken oder mit anderen teilen.
In jüngerer Zeit wurde eine Reihe von Verfahren zur Erstellung von Panoramabildern direkt auf einer digitalen Kamera oder in einem tragbaren Bilderfassungsgerät, wie beispielsweise einem Photo-Handy oder Smartphone, beschrieben.
Als Beispiel beschreibt US 2009 0022422 von Sorek et al. (Hewlett-Packard) ein Verfahren zur Kombination mindestens eines ersten und zweiten Einzelbildes auf der Basis des Inhaltes der Einzelbilder und das Zusammenführen dieser Einzelbilder in einen umgewandelten Bereich auf der Grundlage einer ausgewählten Ausrichtung, um ein zusammengesetztes Bild zu bilden. Dieses Verfahren benutzt bestimmte gemeinsame Merkmale in jedem Bild und setzt diese ein, um die horizontale und vertikale Ausrichtung zwischen den beiden Bildern zu bestimmen. Das Verbinden der Bilder kann teilweise in dem Bildbereich durchgeführt werden, in dem restliche Verschiebungen durchgeführt werden, und teilweise in dem umgewandelten Bereich, in dem Blockverschiebungen durchgeführt werden können.
Ein weiteres Verfahren zur Erstellung eines Panoramabildes in einer Kamera oder in einem Photo-Handy ist in US 2009 0021576 von Linder et al. (Samsung) beschrieben (siehe auch US 2009 0022422 ). Bei diesem Verfahren wird ein Video-Stream verwendet, der in vielen Kameras im Stand der Technik als Grundlage zur Erstellung eines Panoramabildes aufgenommen werden kann. Zunächst wird eine Vielzahl von Videobildern aufgenommen, gefolgt von der Auswahl eines ersten Bildes aus der Bild-/Video-Sequenz. Das Verfahren ermöglicht auch die Erfassung zusätzlicher Standbilder zur Ergänzung der ursprünglichen Videosequenz. Die zusätzlichen Videobilder und Standbilder können durch Stitching mit dem ursprünglichen Bild zusammengeführt werden und eine Überlagerungsausrichtung und/oder Bewegungserkennung kann verwendet werden, um das Stitching-Verfahren zu verbessern. Das Verfahren scheint darauf zu beruhen, dass man den Benutzer der Kamera oder des Photo-Handys anleitet, das Gerät zu bewegen, um weitere Bilder aufzunehmen. Es wird darauf hingewiesen, dass diese veröffentlichte amerikanische Patentanmeldung auch eine sehr detaillierte Übersicht über relevante Literatur aufweist.
Ein weiterer Ansatz ist in US 2006 0268130 beschrieben, in der ein Verfahren zur Erzeugung eines Panoramabildes aus einer Sequenz von Bildern einer Szene mit relativ niedriger Auflösung in ”Echtzeit” erzeugt wird, wobei das Panoramabild dem Benutzer zur Freigabe angezeigt wird, während gleichzeitig eine entsprechende Sequenz von Bildern mit höherer Auflösung bearbeitet wird, so dass ein Panoramabild mit hoher Auflösung zum Abspeichern verfügbar ist, sobald der Benutzer die Version mit niedriger Auflösung freigegeben hat. Es wird darauf hingewiesen, dass dieses Verfahren ähnlich dem in US 2009 0021576 beschriebenen ist, indem es seitens des Benutzers die Modifikation und/oder erneute Aufnahme oder die Hinzufügung von Bildern unter der Kontrolle des Benutzers ermöglicht. Beide Anwendungen weisen erhebliche Details von Benutzer-Interfaces auf.
Bilderfassungsgeräte im Stand der Technik können derzeit 720p und höhere HD Videos mit Bildfrequenzen von 60 fps und Standbilder der Abmessung 3000×2000 Pixel aufnehmen. Die Bearbeitungsanforderungen dieser größeren Bilder und die erhöhte Genauigkeit im Zusammenhang mit dem Ausrichten der Bilder, um zu verhindern, dass unansehnliche ”Nähte” auf einem Panoramabild erscheinen, stellen neue Herausforderungen für die Panoramabilderstellung dar, insbesondere wenn gewünscht wird, akzeptable Bilder ohne Intervention von Seiten des Benutzers und in ”Echtzeit” zuverlässig zu erstellen. Neue Herausforderungen ergeben sich auch durch den Wunsch zur Erstellung stereoskopischer (3D) Panoramabilder auf tragbaren Geräten.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 veranschaulicht Merkmale eines digitalen Bilderfassungsgerätes, das so ausgeführt ist, dass es gemäß bestimmten Ausführungsarten Hauptbilder mit voller Auflösung und unterabgetastete Bilder oder Bilder mit veränderter Größe aus einer Hauptbilderfassung und Bearbeitungskette erzeugt.
2 zeigt beispielhafte graphische Darstellungen horizontaler Bildprofile für zwei Einzelbilder einschließlich der graphischen Darstellung der Spaltensummen für jede Reihe für jedes der beiden Einzelbilder, wobei die gezeigten graphischen Darstellungen im wesentlichen überlappen.
3 zeigt beispielhafte graphische Darstellungen der Profile aus 2 nach der Berechnung der Differenzen entlang den Profilen, wobei die gezeigten graphischen Darstellungen auch hier im wesentlichen wieder überlappen.
4 zeigt eine graphische Darstellung, die die Bewegungsabschätzung zwischen den beiden Einzelbildern aus den 2 und 3 veranschaulicht.
5 zeigt eine graphische Darstellung von Pixel Shift gegenüber Bildnummer (frame number) für die horizontale Kamerabewegung, gemessen von Video- oder sequentiellen Einzelbildern.
6 zeigt eine graphische Darstellung von Pixel Shift gegenüber Bildnummer (frame number) für die vertikale Kamerabewegung, gemessen von Video- oder sequentiellen Einzelbildern.
7A veranschaulicht drei Bilder, die aus sequentiellen Bildern, die mit einer Kamera aufgenommen wurden, die sich im wesentlichen horizontal und leicht vertikal zwischen Einzelbildern bewegt, durch Stitching zusammengeführt wurden, wobei jedes der drei Bilder mit einem oder zwei angrenzenden Bildern leicht horizontal und im wesentlichen vertikal überlappt.
7B veranschaulicht ein Panoramabild, das durch Zuschneiden von zwei oder mehr der drei durch Stitching zusammengeführten Bilder aus 7A in der vertikalen Richtung erzeugt wurde.
8 ist eine graphische Darstellung, die den Vergleich eines Referenzprofils mit interpolierten Werten eines verschobenen Profils gemäß bestimmten Ausführungsarten veranschaulicht.
9 ist eine graphische Darstellung, die Fehleränderungen (changes of error) zwischen Profilen in Bezug auf Sub-Pixel Shift gemäß bestimmten Ausführungsarten veranschaulicht.
10 veranschaulicht eine Entwicklung zweier Konturen, die sich als Teil eines Prozesses gemäß bestimmten Ausführungsarten über einen Überlappungsbereich zueinander hin ausbreiten.
11 zeigt ein Panoramabild, das aus zwei Bildern erzeugt wurde, die durch einen Prozess gemäß bestimmten Ausführungsarten ineinander übergehen.
12 veranschaulicht eine Blendmaske, die bei der Erzeugung des in 11 gezeigten Panoramabildes verwendet wurde.
13 veranschaulicht ein Bildblendverfahren (image blending process) gemäß bestimmten Ausführungsarten.
14A–14B veranschaulicht die Aufnahme von zwei Bildern durch eine digitale Kamera, die zwischen den Bildaufnahmen um wenige Zentimeter verschoben ist, und die verwendet werden kann, um ein dreidimensionales Komponenten-Bild zu erzeugen und mit weiteren dreidimensionalen Komponenten-Bildern zu verbinden, um ein stereoskopisches Panoramabild zu erzeugen.
15 veranschaulicht Einzelbilder aus einer Panorama-Abtastsequenz mit relativen horizontalen räumlichen Verlagerungen der digitalen Kamera aus den 14A–14B, wo Bildpaare verschmelzen und stereoskopische Panoramabilder bilden.
16A–16B veranschaulicht eine Beziehung zwischen dem Panorama-Abtastradius und einem weitaus kürzeren Abstand der digitalen Kameraverschiebung zwischen der Aufnahme der zu verschmelzenden Bildpaare, um stereoskopische Panoramabilder zu bilden.
17 veranschaulicht ein Verfahren zur Erzeugung eines stereoskopischen (3D) Panoramabildes unter Verwendung von linken und rechten Zuschnitten aus einzelnen Schlüsselbildern.
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSARTEN
Verfahren werden bereitgestellt zur Erzeugung von stereoskopischen (3D) Panoramabildern. Ein Belichtungswert wird festgelegt zur Erfassung einer Panorama-Abtastsequenz von Bildern mit einem tragbaren Bilderfassungsgerät. Das Bilderfassungsgerät wird über eine Szene geschwenkt. Mehrere, mindestens teilweise überlappende Einzelbilder werden von Teilen der Szene unter Verwendung eines optischen Sensors und eines Bildsensors des tragbaren Bilderfassungsgerätes aufgenommen. Die Einzelbilder werden aufgezeichnet, einschließlich der Bestimmung der Verschiebungen des Bilderfassungsgerätes zwischen den Aufnahmen der Einzelbilder. Mehrere Panoramabilder werden erzeugt, einschließlich dem Verbinden von Einzelbildern der Szene gemäß räumlicher Beziehungen und der Bestimmung stereoskopischer entsprechender Beziehungen zwischen den mehreren Panoramabildern. Die mehreren Panoramabilder werden auf der Grundlage stereoskopischer entsprechender Beziehungen bearbeitet, um ein stereoskopisches Panoramabild zu bilden. Das stereoskopische Panoramabild wird gespeichert, übertragen und/oder angezeigt.
Zu der Bestimmung von Verschiebungen kann auch das Messen der Verschiebungen gehören. Die Verschiebungen können Verschiebungen in eine, zwei oder drei Dimensionen aufweisen, einschließlich eine oder beide Dimensionen orthogonal zu der Tiefendimension und die Tiefendimension selbst.
Zu der Bestimmung von stereoskopischen entsprechenden Beziehungen kann folgendes gehören: das Paaren von Einzelbildern mit relativen Verschiebungen innerhalb eines ersten vorgegebenen Bereichs, der so gestaltet ist, dass er einen ausgewählten stereoskopischen Effekt liefert, das Kombinieren von gepaarten Einzelbildern, um stereoskopische Komponenten-Bilder zu bilden, und die Beibehaltung gepaarter Einzelbilder, die eine Überlappung mit angrenzenden gepaarten Einzelbildern innerhalb eines zweiten vorgegebenen Bereichs aufweisen. Der erste vorgegebene Bereich kann 5 bis 7,5 cm betragen.
Die teilweise Überlappung kann zwischen 10% und 50% Überlappung betragen. Das Verfahren kann weiterhin das verschachtelnde Zusammenfügen von Paaren von Einzelbildern mit Erfassen oder Erzeugen, oder beidem, von nächsten Einzelbildern aufweisen. Der erste vorgegebene Bereich kann auf 15% oder weniger als ein Schwenkradius des Bilderfassungsgerätes begrenzt sein.
Gemäß bestimmten Ausführungsarten wird während einer einzelnen Abtastung eines digitalen Bilderfassungsgerätes über eine Panoramaszene eine einzelne Auswahl mehrerer überlappender Bilder erfasst. Pixel-Verschiebungen von Einzelbild zu Einzelbild zwischen jedem dieser mehreren Bilder werden während dieser Abtastung bestimmt. Diese können sich auf eine tatsächliche physische Verschiebung der Kamera durch eine vorgegebene Kalibrierung beziehen; in manchen Ausführungsarten kann die Kamera Untersysteme zur Bewegungserkennung aufweisen, die als Alternative zur Messung von Pixel-Verschiebungen von Einzelbild zu Einzelbild verwendet werden können.
Ein erstes Panoramabild der abgetasteten Szene kann erstellt werden, indem diesem Grundbild (foundation image) weitere Bilder hinzugefügt werden. Ein zweites Schlüsselbild wird dann bestimmt, das eine relative physische Verschiebung zu dem ersten Schlüsselbild aufweist. In einer Ausführungsart kann die Verschiebung in einem Bereich zwischen 5 bis 7,5 cm liegen, was in der Größenordnung des Abstandes der menschlichen Augen liegt, obwohl andere Abstände ebenfalls ausreichen, um einen stereoskopischen Effekt zu liefern.
Ausführungsarten mit verschiedenen Verschiebungsabständen werden nachstehend unter Bezugnahme auf die 14A bis 17 beschrieben.
Die relative physische Verschiebung kann von der relativen Pixel-Verschiebung von Einzelbild zu Einzelbild bestimmt werden oder durch Bestimmung einer relativen Bewegung der Kamera, wenn diese Untersysteme zur Bewegungserkennung aufweist, oder einer Kombination daraus. Die vertikale Pixel-Verschiebung dieses zweiten Grundbildes relativ zu dem ersten Grundbild kann ebenfalls bestimmt und aufgezeichnet werden. Dies ist erforderlich, um das zweite Panoramabild mit dem ersten Panoramabild in einem tragbaren Gerät vertikal auszurichten. Ein zweites, verschobenes Panoramabild derselben abgetasteten Szene kann erstellt werden. Die beiden Panoramabilder werden vertikal ausgerichtet und zugeschnitten, um nicht überlappende Bereiche zu eliminieren. Sie können dann in ein stereoskopisches Standardbildformat umgewandelt werden und können wahlweise komprimiert werden. Das resultierende stereoskopische Panoramabild wird abgespeichert, übertragen und/oder angezeigt. Weitere Verfahren zum Erfassen eines Panoramabildes unter Verwendung eines tragbaren Bilderfassungsgerätes werden mit dieser Beschreibung bereitgestellt. Bei einem Verfahren wird ein Belichtungswert festgelegt zur Erfassung des Panoramabildes mit dem tragbaren Bilderfassungsgerät. Das Bilderfassungsgerät wird über eine Panoramaszene geschwenkt. Mindestens zwei Einzelbilder mit relativ niedriger Auflösung mit überlappenden Abschnitten der Panoramaszene werden erfasst und bearbeitet. Die Bearbeitung umfasst das Sichten und Beibehalten einer Auswahl von Einzelbildern mit relativ niedriger Auflösung. Eine relative Verschiebung zwischen jedem Bild der Auswahl an Einzelbildern mit relativ niedriger Auflösung wird bestimmt. Eine annäherungsweise optimale Stitch-Linie wird ebenfalls zwischen jedem Bildpaar der Einzelbilder mit relativ niedriger Auflösung festgelegt. Dieses Verfahren umfasst auch das Erfassen und Speichern einer Auswahl von Hauptbildern entsprechend der Auswahl an Einzelbildern mit relativ niedriger Auflösung. Die Hauptbilder werden auf der Grundlage relativer Verschiebungen entsprechender Bilder der Auswahl an Bildern mit relativ niedriger Auflösung aufgezeichnet oder ausgerichtet, oder beides. Eine oder mehrere annähernd optimale Stitch-Linien, die für Bildpaare mit niedriger Auflösung festgelegt sind, werden auf ein entsprechendes Paar oder mehrere entsprechende Paare aufgezeichneter und/oder ausgerichteter Hauptbilder abgebildet, die zusammengefügt sind, um ein Haupt-Panoramabild zu bilden.
Die Bestimmung einer annähernd optimalen Stitch-Linie kann auch die Bestimmung einer Alpha Blending Map in der Nähe der annähernd optimalen Stitch-Linie umfassen. Das Mapping oder Abbilden der annähernd optimalen Stitch-Linie auf die Bilder mit hoher Auflösung kann das weitere Abbilden der Blending Map umfassen, wobei das Verbinden der Bilder mit hoher Auflösung das Blenden (blending) der Bilder auf der Grundlage des Abbildens (mapping) der Alpha Blending Map umfasst. Das Verbinden kann das Blenden (blending) der Auswahl an Hauptbildern, einschließlich Abbilden der Alpha Blending Map für eine Reihe der Einzelbilder mit relativ niedriger Auflösung auf eine Hauptreihe von Einzelbildern umfassen.
Eines oder mehrere der Komponenten-Einzelbilder, die zusammengefügt werden, um das Panoramabild zu bilden, können zugeschnitten sein. Eine Auswahl von zwei, drei oder mehr Einzelbildern mit niedriger Auflösung können aus Komponenten-Teilen der Szene erfasst sein. Ein Benutzer kann informiert und/oder ein Bild kann verworfen werden, wenn eine horizontale Überlappung zwischen aufeinander folgenden Bildern außerhalb eines vorgegebenen Bereichs fällt.
Das Verfahren kann auch die Durchführung der Subpixel-Bild-Abstimmung an den Bildern mit relativ niedriger Auflösung umfassen, um Pixelversatz bei dem Abbilden der Alpha Blending Map für die Reihe mit relativ niedriger Auflösung auf die Hauptreihe zu verhindern. Das Zusammenfügen von Paaren digitaler Bilder der Hauptreihe kann verschachtelt werden mit der Subpixel-Abstimmung von Bildern mit relativ niedriger Auflösung und/oder mit dem Erfassen und/oder Erzeugen und/oder Zusammenfügen entsprechender Paare von Bildern mit relativ niedriger Auflösung.
Ein weiteres Verfahren der Erzeugung eines Panoramabildes unter Verwendung eines tragbaren Bilderfassungsgerätes umfasst die Festlegung eines Belichtungswertes für die Erfassung des Panoramabildes unter Verwendung des tragbaren Bilderfassungsgerätes, und das Schwenken des Bilderfassungsgerätes über eine Panoramaszene. Eine Auswahl von mindestens zwei Einzelbildern überlappender Abschnitte des Panoramabildes wird erfasst und unter Verwendung eines optischen Sensors und eines Bildsensors des tragbaren Bilderfassungsgerätes bearbeitet. Die Bearbeitung umfasst das Sichten und Beibehalten einer Auswahl von Einzelbildern einschließlich eines oder mehrerer überlappender Paare von Einzelbildern. Eine relative Verschiebung wird zwischen jeder der Auswahl von überlappenden Einzelbildern bestimmt, einschließlich der Bestimmung eines überlappten Bereichs für jedes Bildpaar. Die Bilder der Auswahl werden auf der Grundlage der relativen Verschiebungen aufgezeichnet und/oder ausgerichtet. Eine Alpha Blending Map und/oder eine optimale Stitch-Linie wird für jedes Paar der überlappenden Einzelbilder bestimmt. Das eine oder die mehreren Paare von Einzelbildern werden zusammengefügt, um ein Panoramabild zu bilden, das gespeichert, übertragen und/oder angezeigt wird.
Die Bestimmung der relativen Verschiebung kann die Bestimmung der relativen horizontalen Verschiebung zwischen einem Bildpaar einer Auswahl überlappender Einzelbilder umfassen. Die Pixelwerte in den Bildspalten können über die ersten und zweiten Bilder hinweg addiert werden, um ein horizontales Bildprofil für jedes Bild zu bestimmen. Ein Spaltendifferenzprofil kann über jedes der Bilder hinweg bestimmt werden. Eine relative Fehlerfunktion kann gemäß den Bildspaltendifferenzprofilen zwischen dem Bildpaar bestimmt werden. Ein Minimum der relativen Fehlerfunktion zeigt eine relative Anzahl von Pixelspalten horizontaler Verschiebung zwischen dem Bildpaar an.
Die Bestimmung relativer Verschiebung kann weiterhin die Bestimmung der relativen vertikalen Verschiebung zwischen dem Bildpaar der Auswahl überlappender Einzelbilder umfassen. Die Pixelwerte in Bildreihen können über jedes der ersten und zweiten Bilder hinweg addiert werden, um ein vertikales Bildprofil für jedes Bild zu bestimmen. Ein Reihendifferenzprofil kann über jedes der Bilder hinweg bestimmt werden. Eine relative Fehlerfunktion kann gemäß den Bildreihendifferenzprofilen zwischen dem Bildpaar bestimmt werden. Ein Minimum der relativen Fehlerfunktion zeigt eine relative Anzahl von Pixelreihen vertikaler Verschiebung zwischen dem Bildpaar an.
Eine Glättungsfunktion kann vor der Berechnung der relativen Fehlerfunktion zwischen dem Bildpaar auf die Spalten- und/oder Reihendifferenzprofile jedes Bildes angewendet werden.
Das Zusammenfügen wird mit Hilfe der Alpha Blending Map oder der optimalen Stitch-Linie oder beidem durchgeführt.
Das Zusammenfügen kann auf der Bestimmung sowohl der annähernd optimalen Stitch-Linie als auch der Alpha Blending Map basieren. Die annähernd optimale Stitch-Linie kann ein ungefähr 50%iges blending ratio zwischen überlappten Pixel des Bildpaares umfassen, und die Map kann ein blending ratio für überlappte Pixel von dem Bildpaar in der Nähe der annähernd optimalen Stitch-Linie bereitstellen.
Das Verfahren kann auch das verschachtelnde Zusammenfügen von Paaren von Einzelbildern mit Erfassen und/oder Erzeugen von nächsten Einzelbildern aufweisen. Das Panoramabild kann auch auf eine einheitliche vertikale Höhe zugeschnitten sein.
Ein Super-Auflösungsverfahren wird bereitgestellt zum Erzeugen eines Panoramabildes unter Verwendung eines tragbaren Bilderfassungsgerätes einschließlich eines optischen Sensors, Bildsensors und Prozessors. Ein Belichtungswert wird festgelegt zur Erfassung des Panoramabildes mit dem tragbaren Bilderfassungsgerät. Das Bilderfassungsgerät wird über eine Panoramaszene geschwenkt. Zwei oder mehr Sätze von Bildern werden erfasst und bearbeitet, wobei jeder mindestens zwei Einzelbilder von Teilen der Panoramaszene aufweist. Das Verfahren umfasst das Sichten und Beibehalten mehrerer Bilder der beiden oder mehr Sätze. Eine relative Verschiebung wird zwischen jedem Paar benachbarter Einzelbilder innerhalb jedes der beiden oder mehr Sätze von Einzelbildern bestimmt. Das Verfahren umfasst auch das Abstimmen von Bildern innerhalb des Bildsatzes relativ zueinander. Jeder der zwei oder mehr Sätze wird zusammengefügt, um zwei oder mehr im wesentlichen überlappende Panoramabilder zu bilden. Diese werden miteinander verbunden, um ein Panoramabild mit höherer Auflösung von im wesentlichen derselben Szene zu bilden, das gespeichert, übertragen und/oder angezeigt wird.
Das Verbinden der zwei oder mehr im wesentlichen überlappenden Panoramabilder kann die Anwendung eines Super-Auflösungsverfahrens umfassen. Das Zuschneiden des Panoramabildes mit höherer Auflösung kann das Entfernen eines oder mehrerer nicht überlappender Bereiche aus einem oder mehreren Komponenten-Panoramabildern umfassen.
Das Verfahren kann auch die Bestimmung einer relativen Verschiebung zwischen einem ersten oder ansonsten entsprechenden, erfassten Einzelbild jedes der beiden oder mehr Sätze von Einzelbildern aufweisen. Ein kombiniertes oder verbundenes Panoramabild, das aus Bildern jedes der zwei oder mehr Sätze stammt, kann aufgezeichnet werden.
Das Verfahren kann ein verschachteltes Verbinden von Paaren von Einzelbildern mit dem Erfassen und/oder Erzeugen nächster Einzelbilder aufweisen.
Ein weiteres Verfahren des Erzeugens eines Panoramabildes wird bereitgestellt, einschließlich des Schwenkens über eine Szene eines mit einem Prozessor ausgestatteten Gerätes zur Erfassung digitaler Bilder. Während des Schwenkens werden mehrere Bilder einer Hauptreihe mit dem Gerät erfasst. Jedes der mehreren Bilder enthält einen anderen Winkelbereich der Panoramaszene. Während des Schwenkens werden auch Bilder mit relativ niedriger Auflösung entsprechend den mehreren Bildern der Hauptreihe erfasst und/oder die Bilder der Hauptreihe werden unterabgetastet, um die Bilder mit relativ niedriger Auflösung herzustellen. Die Bilder mit relativ niedriger Auflösung werden zusammengefügt, um ein Panorama mit niedriger Auflösung zu bilden, das angezeigt wird. Die mehreren Bilder der Hauptreihe werden auf der Grundlage der Zusammenfügung der Bilder mit relativ niedriger Auflösung in dem Gerät in Echtzeit zusammengesetzt, um ein Panoramabild der Hauptreihe zu bilden.
Das Zusammenfügen kann folgendes aufweisen: das Stitching und/oder Anpassen von Belichtung, Farbabstimmung oder Bildhelligkeit, oder Kombinationen daraus, das Ausrichten und/oder Abstimmen der Kantenbereiche von Bildern, und das Blenden von angepassten, abgestimmten Bildern. Das Blenden kann auch das Verwischen einer Nahtlinie umfassen, die zwischen angrenzenden Komponenten-Bildern des Panoramabildes erzeugt wird.
Ein Belichtungswert kann festgelegt werden, um das Panoramabild mit dem tragbaren Bilderfassungsgerät zu erfassen. Das Zusammenfügen kann das Ausrichten und/oder Abstimmen von Kantenbereichen von Bildern und das Blenden angepasster, ausgerichteter Bilder aufweisen. Das Blenden kann auch das Verwischen einer Nahtlinie umfassen, die zwischen angrenzenden Komponenten-Bildern des Panoramabildes erzeugt wird.
Das Zusammensetzen kann die Bewertung einer umfassenden Bewegung des Schwenkens und die Bestimmung aufweisen, ob die umfassende Bewegung ausreicht.
Das Zusammensetzen kann die Bewertung einer relativen Verschiebung der Szene und die Bestimmung aufweisen, ob die relative Verschiebung der Szene ausreicht. Das Verfahren kann beinhalten, dass ein Benutzer informiert wird, dass ein Bild oder mehrere Bilder verworfen werden und/oder dass das Verfahren unterbrochen wird, wenn bestimmt wird, dass die relative Verschiebung der Szene unzureichend ist. Die relative Verschiebung der Szene kann als ausreichend bestimmt werden, wenn die Überlappung von Einzelbild zu Einzelbild einen Bereich zwischen 10% und 40% oder zwischen 20% und 30% aufweist, oder als unzureichend, wenn sie außerhalb eines vorgegebenen Bereichs wie beispielsweise 10% bis 40%, 20% bis 30% liegt, oder auf andere Art und Weise unzureichend ist.
Das Verfahren kann mit oder ohne Intervention seitens des Benutzers und mit oder ohne Messung der Bewegung des Gerätes durchgeführt werden. Das Panoramabild kann vor dem Abspeichern komprimiert werden.
Das Zusammenfügen der Bilder mit relativ niedriger Auflösung kann die Erzeugung einer Alpha Blending Map aufweisen und die Alpha Blending Map kann bei dem Zusammenfügen der Bilder der Hauptreihe verwendet werden.
Ein weiteres Verfahren wird für die Erzeugung eines Panoramabildes bereitgestellt. Das Verfahren umfasst die Verwendung eines Bilderfassungsgerätes auf Prozessorbasis, das sowohl für die Erfassung einer Hauptreihe von digitalen Bildern einer Panoramaszene als auch für die Erzeugung und/oder Erfassung einer Reihe von Bildern mit relativ niedriger Auflösung entsprechend der Hauptreihe konfiguriert ist. Das Gerät wird über eine Panoramaszene geschwenkt. Während des Schwenkens wird die Hauptreihe digitaler Bilder mit dem Gerät erfasst. Jede der Hauptreihen digitaler Bilder enthält einen anderen Winkelbereich der Panoramaszene. Die Reihe von Bildern mit relativ niedriger Auflösung entspricht im wesentlichen derselben Panoramaszene während die digitalen Bilder der Hauptreihe erfasst und/oder erzeugt werden. Bilder der Reihe von Bildern mit relativ niedriger Auflösung werden zusammengefügt, um ein Panoramabild mit relativ niedriger Auflösung zu bilden. Ein Abbild (map) des Zusammenfügens der Reihe von Bildern mit relativ niedriger Auflösung wird erzeugt. Die Hauptreihe digitaler Bilder wird auf der Grundlage des Abbildes zusammengefügt, um ein Haupt-Panoramabild zu bilden, das angezeigt, gespeichert, weiter bearbeitet und/oder übertragen wird.
Das Verfahren kann weiterhin die Bewertung einer relativen Verschiebung der Szene während des Schwenkens umfassen. Teile der Panoramaszene können während des Schwenkens teilweise zumindest auf der Grundlage der Bewertung der relativen Verschiebung der Szene gezielt erfasst werden. Das Verfahren kann beinhalten, dass ein Benutzer informiert wird, dass ein Bild oder mehrere Bilder verworfen werden und/oder dass das Verfahren unterbrochen wird, wenn bestimmt wird, dass die relative Verschiebung der Szene unzureichend ist, beispielsweise wenn bestimmt wird, dass die Überlappung von Einzelbild zu Einzelbild außerhalb eines Bereichs zwischen 10% und 40%, oder 20% und 30% oder einer anderen Reihe oder ausgewähltem Bereich liegt.
Zum Bewerten der relativen Verschiebung der Szene kann die Bewertung der mehrdimensionalen Verschiebung für multiple Bildpaare gehören. Horizontaler Versatz (lange Panoramabildabmessung) und vertikaler Versatz können zwischen aufeinander folgenden Bildern in der Reihe auf der Grundlage der Bewertung der relativen Verschiebung der Szene bestimmt werden. Ein Bild der Reihe kann verworfen werden, wenn es weniger als einen horizontalen Schwellenversatz zu einem vorhergehenden Bild der Reihe aufweist. Der Benutzer kann informiert werden, wenn das Schwenken des Gerätes eine Schwellenbewegung nicht überschreitet. Der Benutzer kann auch informiert werden und/oder ein Bild der Reihe kann verworfen werden, wenn ein vertikaler Versatz einen Schwellenversatz zu einem anderen Bild der Reihe überschreitet.
Das Zusammenfügen von Bildern der Hauptreihe und Bildern mit relativ niedriger Auflösung kann auch das Stitching umfassen. Das Stitching kann auch das Ausrichten und/oder Abstimmen von Kantenbereichen von Bildern und das Blenden von angepassten, abgestimmten Bildern umfassen. Ein Belichtungswert kann festgelegt werden für das Erfassen des Panoramabildes mit dem tragbaren Bilderfassungsgerät und/oder das Zusammenfügen kann auch ein Anpassen von Belichtung, Farbabstimmung und/oder Bildhelligkeit aufweisen. Das Blenden kann auch das Verwischen einer Nahtlinie umfassen, die zwischen angrenzenden Komponenten-Bildern des Panoramabildes erzeugt wird.
Das Abbild (map) kann eine Alpha Blending Map aufweisen, einschließlich Informationen über annähernd optimale Stitching-Nähte, die aus dem Zusammenfügen der Bilder mit relativ niedriger Auflösung bestimmt wurden. Das Zusammenfügen der Hauptreihe kann das Abbilden der Alpha Blending Map für die Reihe mit niedriger Auflösung auf die Hauptreihe umfassen. Das Verfahren kann die Subpixel-Bild-Abstimmung der Bilder mit relativ niedriger Auflösung umfassen, um das Auftreten von Pixelversatz während des Abbildens der Alpha Blending Map für die Reihe mit relativ niedriger Auflösung auf die Hauptreihe zu verhindern. Das Zusammenfügen der Reihe von Bildern mit relativ niedriger Auflösung und/oder der Hauptreihe kann teilweise auf der Bewertung der relativen Verschiebung der Szene beruhen.
Ein tragbares, kamerafähiges Gerät, das in der Kamera ein Panoramabild erzeugen kann, wird ebenfalls bereitgestellt, einschließlich eines Objektivs, eines Bildsensors, eines Prozessors und eines prozessorlesbaren Datenträgers mit eingebettetem Code zum Programmieren des Prozessors, um beliebige der hierin beschriebenen Verfahren der Panoramabilderzeugung durchzuführen.
Prozessorlesbare Speichermedien werden ebenfalls bereitgestellt, die eingebetteten Code aufweisen für die Programmierung eines Prozessors, um beliebige der hierin beschriebenen Verfahren der Panoramabilderzeugung durchzuführen.
Ein Verfahren wird vorgestellt zur Erzeugung eines Panoramabildes mit hoher Auflösung in einem digitalen Bilderfassungsgerät, das entweder HD Videobilder oder Standbilder mit hoher Auflösung erfassen kann. Das Verfahren wird ohne Intervention seitens des Benutzers, und ohne dass die externe Messung von Bewegung des Bilderfassungsgerät erforderlich ist, durchgeführt. Außerdem wird das Verfahren in ”Echtzeit” und unter Berücksichtigung der begrenzten Speicherressourcen auf diesen Geräten durchgeführt, die im allgemeinen nur eine kleine Anzahl von Videobildern mit hoher Auflösung oder Standbildern gleichzeitig speichern können.
In dem Verfahren schwenkt der Benutzer das Gerät mit natürlicher Geschwindigkeit über eine Szene, von der er ein Panoramabild aufzeichnen möchte. Das Gerät zeigt die Szene an, während der Benutzer in der gleichen Art und Weise über sie schwenkt, wie er es tun würde, wenn er eine normale Videosequenz aufnehmen wollte.
Das Verfahren umfasst die Erfassung oder Erzeugung einer Sequenz von Bildern mit niedrigerer Auflösung als die Haupt-Videobilder oder Haupt-Standbilder mit hoher Auflösung. Ein kamerafähiges Gerät kann Hardware aufweisen, die einen preview stream (Vorschau-Stream) erzeugt, eine Sequenz von Bildern mit niedriger Auflösung, die meistens dazu verwendet wird, um eine Echtzeit-Anzeige der von dem Bildsensor erfassten Daten bereitzustellen. Wenn dieser preview stream nicht verfügbar ist, kann ein Gerät immer noch eine ”Bild-Unterabtasteinheit” besitzen, die fast augenblicklich eine Version des Vollbildes oder Videobildes mit niedrigerer Auflösung erzeugen kann.
1 veranschaulicht ein digitales Bilderfassungsgerät, das so konfiguriert ist, dass es Hauptbilder mit voller Auflösung erfasst und unterabgetastete Bilder (mit veränderter Größe) aus der Hauptbilderfassungs- und bearbeitungskette erzeugt. Ein Sensor 102 erfasst ein Bild mit voller Auflösung und die Bilddaten werden auf die Sensorbearbeitung 104 und eine Bilderfassungs-Pipeline 106 angewandt. Ein Bild-Unterabtaster 108 erzeugt unterabgetastete Bilder aus Bilddaten mit voller Auflösung, beispielsweise durch Auswahl nur einer Fraktion 1/n der Gesamtpixel in den Bilddaten mit voller Auflösung, oder er liefert ansonsten ein unterabgetastetes Bild, beispielsweise bei dem jedes Pixel des unterabgetasteten Bildes n Pixel des Bildes mit hoher Auflösung repräsentiert. Die Bilder mit hoher Auflösung können bei 110 mit JPEG komprimiert werden. Die komprimierten Bilder in voller Größe 111 können zusammen mit den unterabgetasteten Bildern 114 in einem Speicher 112, bei dem es sich um einen temporären Bildspeicher 112 handeln kann, gespeichert werden. Ein Panoramabild 116 mit niedriger Auflösung kann erzeugt und temporär in dem Bildspeicher 112 gespeichert werden, indem man zwei oder mehr der unterabgetasteten Bilder 114 zusammenfügt. Das Panoramabild 116 mit niedriger Auflösung kann angezeigt werden, muss aber nicht angezeigt werden. Ein Bild-Postprozessor 118 erzeugt ein Panoramabild 120 mit hoher Auflösung auf der Grundlage der Informationen, die bei der Erzeugung des Panoramabildes 116 mit niedriger Auflösung gesammelt wurden, wodurch Rechenressourcen vorteilhafterweise eingespart werden. Das Panoramabild 120 mit hoher Auflösung kann in einem Bildspeicher 122, wie beispielsweise einer SD-Karte oder Äquivalent, zusammen mit den Bildern in voller Größe 111 abgespeichert werden.
Die Bilder mit niedriger Auflösung können gemäß einer weiteren Ausführungsart wie folgt bearbeitet werden. Zunächst kann man ein erstes Bild oder Videobild mit niedriger Auflösung erhalten, das als ein erstes Referenz-Einzelbild verwendet wird. Das entsprechende Bild mit hoher Auflösung wird gespeichert. Als nächstes kann man in bestimmten Ausführungsarten weitere Bilder mit niedriger Auflösung erhalten, und ein optionales Verfahren der Bewertung der umfassenden Bewegung, wie es beispielsweise in der veröffentlichten amerikanischen Patentanmeldung 2008/0309769 beschrieben ist, kann zwischen dem Referenz-Einzelbild und jedem zusätzlichen Einzelbild angewendet werden, um ihren horizontalen und vertikalen Versatz zu bestimmen. Wenn der horizontale Versatz geringer ist als ein vorgegebener Bereich, dann kann das Einzelbild mit niedriger Auflösung zusammen mit dem entsprechenden Bild mit hoher Auflösung verworfen werden. In bestimmten Ausführungsarten (beispielsweise einer Photokamera) kann es sein, dass das entsprechende Bild mit hoher Auflösung noch nicht fertiggestellt ist. In diesen Fällen kann die Erfassung des Bildes mit hoher Auflösung einfach beendet und eine neue Erfassung kann begonnen werden.
Wenn eine ausreichende horizontale Bewegung nicht innerhalb eines bestimmten Zeitrahmens erreicht ist, kann der Prozess angehalten und/oder eine Fehlermeldung kann angezeigt werden, beispielsweise wie ”Kamera vom Benutzer nicht geschwenkt”. Alternativ kann dem Benutzer ein Warnton angezeigt werden, schneller zu schwenken. Wenn der vertikale Versatz eine vorgegebene Schwelle überschreitet, kann eine Fehleranzeige bereitgestellt werden, um den Benutzer zu warnen, dass sie ”abdriften”. Bei bestimmten Ausführungsarten ist keine Benutzeranweisung vorhanden, während der Benutzer das Gerät mit einer angemessenen Geschwindigkeit in dem Panoramaprozess über eine Szene schwenkt.
Sobald ein vorgegebener horizontaler Versatz erreicht ist, beispielsweise kann die Überlappung von Einzelbild zu Einzelbild eingestellt sein, z. B. in einer Ausführungsart zwischen 10 und 30% und 20 und 40% oder zwischen 20% und 30%, dann wird dieses Einzelbild beibehalten und das entsprechende Bild mit hoher Auflösung wird gespeichert. Dieses beibehaltene Einzelbild wird das nächste Referenzbild und der Prozess wird wiederholt.
Nachdem eine ausreichende Anzahl überlappender Einzelbilder auf der Grundlage entweder einer Auswahl durch den Benutzer, einer voreingestellten Begrenzung oder aufgrund einer Begrenzung des Gerätespeichers bestimmt worden ist, wird der Erfassungsprozess angehalten. Die Bilder mit niedriger Auflösung werden als nächstes mit Hilfe eines Verfahrens ”zusammengefügt”, das für eingebettete Geräte mit geringen Ressourcen besonders effektiv ist. Das resultierende Bild mit niedriger Auflösung wird dann zugeschnitten und kann wahlweise zur Annahme durch den Benutzer angezeigt werden.
Am Endes des Zusammenfügungsprozesses der Bilder mit niedriger Auflösung zur Bildung eines Panoramas mit niedriger Auflösung kann für das Zusammenfügen der überlappenden Bereiche zwischen angrenzenden Paaren mit niedriger Auflösung oder Referenz-Einzelbildern in dem Panorama eine Alpha Blending Map erstellt werden. Dieselbe Map (Abbild) kann dann vorteilhafterweise verwendet werden, um entsprechende Bilder mit hoher Auflösung für die Erstellung eines Panoramabildes mit hoher Auflösung zusammenzufügen. Die Verwendung dieser Alpha Blending Map bedeutet, dass die Zusammenfügungs-Algorithmen für die Bilder mit hoher Auflösung nicht wiederholt werden müssen, was sonst ressourcenintensiv wäre, da eine ”optimale Naht” zwischen jedem Bildpaar aus dem Zusammenfügen der Bilder mit niedriger Auflösung vorteilhafterweise bereits bestimmt worden ist.
Ein Verfahren der Durchführung von Subpixel-Bild-Abstimmung an Bildern mit niedriger Auflösung wird bei bestimmten Ausführungsarten ebenfalls bereitgestellt, um sicherzustellen, dass Pixelversatz nicht auftritt, wenn die Alpha Blending Map von den Bildpaaren mit niedriger Auflösung auf die Bildpaare mit hoher Auflösung abgebildet wird. Das Panoramabild mit hoher Auflösung wird dann in JPEG komprimiert und abgespeichert.
Bei bestimmten Ausführungsarten kann das Zusammenfügen von Paaren mit niedriger Auflösung mit der Erfassung von neuen Einzelbildern mit niedriger Auflösung verschachtelt werden. Bei anderen Ausführungsarten, wo innerhalb der Bilderfassungskette genügend Hardwareunterstützung vorhanden ist, kann das Zusammenfügen und die JPEG-Komprimierung von Teilen der Bilder mit hoher Auflösung auch mit der Erfassung, Abstimmung und Zusammenfügung von Bildern mit niedriger Auflösung verschachtelt werden.
BILD-STITCHING
Das Bild-Stitching, wie es auf die Erzeugung eines Panoramabildes gemäß bestimmten Ausführungsarten angewendet wird, kann einen oder alle der nachfolgenden Schritte aufweisen:

1. Bildkalibrierung, einschließlich perspektivischer Korrektur, Vignettierungskorrektur und/oder Korrektur der chromatischen Aberration, wobei die Bilder in diesem optionalen Stadium bearbeitet werden können, um die Ergebnisse zu verbessern.
2. Bildabstimmung, einschließlich Analyse für Verschiebung, Rotation und/oder Brennweite, wobei direkte oder merkmalsbasierte Bildausrichtungsverfahren verwendet werden können. Direkte Ausrichtungsverfahren können nach Bildorientierungen suchen, die die Summe absoluter Differenzen zwischen überlappenden Pixels minimieren. Merkmalsbasierte Verfahren bestimmen die richtigen Bildorientierungen durch Erkennen von Merkmalen, die in vielen Bildern erscheinen, und indem sie diese überlappen.
3. Bildblenden oder das sonstige Kombinieren der Abschnitte kann eine oder alle der nachfolgenden Aktionen aufweisen: Farbkorrektur, einschließlich das Anpassen angrenzender Bereiche von Komponenten-Bildern hinsichtlich Farbe, Kontrast und/oder Helligkeit, um die Sichtbarkeit der Nähte zu vermeiden; Erweiterung des dynamischen Bereichs; und/oder Bewegungsausgleich, Entfernen von Geisterbildern (deghosting) und/oder Schärfen, um sich bewegende Objekte zu kompensieren.

Verfahren gemäß bestimmten Ausführungsarten umfassen nicht Schritt 1 und legen stattdessen die Kamerabelichtung vor dem Erfassen einer Bildsequenz fest, die in ein Panoramabild verarbeitet wird. Zusätzlich kann die Bildabstimmung bei bestimmten Ausführungsarten die Bestimmung der relativen Verschiebung von Bildern eher basierend auf der umfassenden Bildanalyse von Bildreihen und Bildspalten als auf eingegrenzter Analyse Pixel für Pixel umfassen, was mit einer Berechnung verbunden sein kann, die für Pixel eines jeden angrenzenden Bildes durchzuführen ist.
In Schritt 3 können die Farbkorrektur und/oder die Analyse lokaler Kontrast- und/oder Helligkeitsstufen in Ausführungsarten eliminiert werden, bei denen eine Alpha Blending Map und/oder eine Bildnaht in einem einzigen Vorgang bestimmt werden.
Vorteilhafterweise können Verfahren gemäß bestimmten Ausführungsarten ohne bestimmte Schritte, bei denen es sich sonst um Standardschritte handelt, die in herkömmlichen Bild-Stitching-Algorithmen verwendet werden, durchgeführt werden, und/oder während man bestimmte Schritte vereinfacht, um ein Verfahren bereitzustellen, das für die Implementierung in einem eingebetteten Computersystem mit eventuell geringem Systemspeicher und/oder geringen Rechenressourcen besonders geeignet ist. Als solches kann ein Stitching-Verfahren gemäß bestimmten Ausführungsarten eventuell als ”Zusammenfügen” bezeichnet werden, weil es sich von herkömmlichen Stitching-Algorithmen so stark unterscheidet.
AUTOMATISCHE PANORAMA-BILDGEBUNG
Um ein automatisches Panoramabild zu erzeugen, das wenig oder keine Eingabe durch den Benutzer verlangt, kann das Folgende gemäß bestimmten Ausführungsarten angewendet werden. Um sicherzustellen, dass alle erforderlichen Bilder ohne Notwendigkeit für bedeutende Farb- oder Farbtonanpassungen zwischen den Bildern miteinander kombiniert werden können, wird vor der Erfassung der Hauptauswahl von zu bearbeitenden Bildern zunächst ein Belichtungswert auf dem Bilderfassungsgerät festgelegt. Der Wert kann einfach auf einen Wert festgelegt werden, der für die Erfassung des ersten Einzelbildes der Panoramasequenz geeignet ist. In anderen Ausführungsarten kann es dem Benutzer möglich sein, den Belichtungswert manuell zu erhöhen oder zu reduzieren. In einer alternativen Ausführungsart kann der Benutzer aufgefordert werden, ein Vorscannen (prescan) der Panoramaszene durchzuführen, so dass ein durchschnittlicher Belichtungswert über die gesamte Szene hinweg festgelegt werden kann. Dieses Vorscannen (prescan) kann auch beinhalten, dass das Photo-Handy die Panoramaszene vor der Hauptabtastung und Erfassung abtastet.
Eine zweite Phase der Panoramaerzeugung gemäß bestimmten Ausführungsarten beinhaltet, dass der Benutzer das Gerät mit einer normalen Geschwindigkeit über eine Szene schwenkt oder abtastet, von der er ein Panoramabild aufnehmen möchte. Das Gerät kann die Szene wahlweise in Echtzeit anzeigen, während der Benutzer über sie hinwegschwenkt, in der gleichen Art und Weise Art und Weise, wie er es tun würde, wenn er eine normale Videosequenz oder ein Standbild aufnimmt. Am Ende dieses Abtastens oder Schwenken kann der Erfassungsprozess auf eine der folgenden Arten enden: indem man feststellt, dass (i) es zwischen aufeinander folgenden Einzelbildern keine Veränderung (oder Veränderung unterhalb einer Schwelle) gibt (der Benutzer hält die Kamera in einer festen Position; (ii) keine Ähnlichkeit (oder Ähnlichkeit unterhalb einer Schwelle) zwischen aufeinander folgenden Einzelbildern gibt (der Benutzer bewegt die Kamera sehr schnell zu einem anderen Sichtfeld); (iii) es eine plötzliche Bewegung der Kamera gibt (bei Kameras, die mit einem Bewegungssensor ausgestattet sind); (iv) ein Schalter niedergedrückt oder ein Totmannschalter (”deadman” switch) ausgelöst ist; (v) ein Zeitintervall verstrichen ist; (vi) ein Schwellenwert der Haupt-Einzelbilder erreicht ist oder die Speicherkapazität des Gerätes erschöpft ist, oder verschiedene Kombinationen aus den obigen Ereignissen.
Während das Photo-Handy Bilder während der Panoramaabtastung erfasst, kann es diese Bilder konstant bearbeiten, so dass ein Panorama-Vollbild in Echtzeit erfasst werden kann. Während dieser Bearbeitung können viele der erfassten Bilder gemäß bestimmter Ausführungsarten in einem Sichtprozess verworfen werden, während jene, die für das endgültige Panorama relevant sind, beibehalten werden. Außerdem können diese Bilder in Echtzeit abgestimmt werden. An den abgestimmten Bildern kann ein Blenden (blending) durchgeführt werden.
Bei bestimmten Ausführungsarten kann das Sichten, die Abstimmung und das erste Blenden (blending) an unterabgetasteten Versionen der erfassten Hauptbilder oder Haupt-Videobilder durchgeführt werden.
Der Sichtprozess kann dazu führen, dass die entsprechenden Haupt-Einzelbilder beibehalten oder sofort verworfen werden, so dass eine kleine Anzahl von Vollbildern während der Panoramaabtastung gespeichert wird.
Die Abstimmung und das Blenden (blending) können dazu führen, dass eine optimale ”Nahtlinie” zwischen Bildern mit niedriger Auflösung bestimmt wird, wenn die Bilder erfasst werden. Sobald die Panoramaabtastung beendet ist, können die beibehaltenen Bilder mit voller Auflösung unter Verwendung der Informationen über Abstimmung und optimale Naht aus den entsprechenden Vorschaubildern (preview images) mit niedriger Auflösung ohne Verzögerung zusammengefügt werden.
Das resultierende Panoramabild mit hoher Auflösung kann dann auf JPEG-Format komprimiert und gespeichert werden.
Bei bestimmten Ausführungsarten ist das Zusammenfügen von Paaren mit niedriger Auflösung mit der Erfassung neuer Einzelbilder mit niedriger Auflösung verschachtelt.
In anderen Ausführungsarten, wo innerhalb der Bilderfassungskette genügend Hardwareunterstützung vorhanden ist, können ein Segment oder mehrere Segmente des Zusammenfügens und/oder die JPEG-Komprimierung von Teilen der Bilder mit hoher Auflösung auch mit der Erfassung, der Sichtung, der Abstimmung und/oder dem Blenden (blending) von Bildern mit niedriger Auflösung verschachtelt werden.
BILDABSTIMMUNG
Bei bestimmten Ausführungsarten werden x & y Pixelverschiebungen von einem Einzelbild gegenüber dem nächsten bestimmt. Diese Angaben über die Verschiebung können dann verwendet werden, um die Einzelbilder auszuwählen, die bei der Erstellung eines Panoramabildes verwendet werden. In diesem Kontext können Ausführungsarten, die in US 2006 0171464 und in US 2008 0309769 beschrieben sind, verwendet werden. Die Verfahren der Videostabilisierung werden unter Verwendung von Bildbearbeitungsverfahren beschrieben. Die Verfahren gemäß bestimmten Ausführungsarten beinhalten die Bewertung horizontaler und vertikaler Verschiebungen unter den Einzelbildern von einem oder mehreren Paaren (oder einer Sequenz) von Einzelbildern.
Diese Angaben über die Einzelbild-Verschiebung können dazu verwendet werden, um ein Einzelbild auszuwählen, das das vorherige Einzelbild um eine gewünschte Anzahl von Pixel überlappt. In bestimmten Ausführungsarten können sie alternativ verwendet werden, um die Kamera anzuweisen, ein neues Bild mit voller Auflösung zu erfassen (oder die Erfassung eines neuen Bildes mit voller Auflösung abzuschließen).
Eine detailliertere Beschreibung der Messung der Verschiebung zwischen Einzelbildern ist unten aufgeführt. In dieser Beschreibung wird ein zweites Einzelbild (Bild 2) mit einem ersten Einzelbild (Bild 1) verglichen, um die X, Y Verschiebungen zwischen den Einzelbildern zu bestimmen.
Um die Verschiebung in der x-Richtung (horizontal) zu messen, werden die Spalten in Bild 1 und Bild 2 addiert, wobei das Verfahren nachfolgend erläutert wird.
Die Profile der Bilder 1 & 2 werden addiert und dann unter Verwendung eines ablaufenden durchschnittlichen Kernels einer Länge 15 in einer beispielhaften Ausführungsart geglättet. Die Länge kann variabel sein, beispielsweise so, dass die Länge erhöht werden kann, um die Profile weiter zu glätten. Die Bildpixelwerte werden entlang den Spalten addiert und die Summen aus den Spalten bilden einen Vektor, der gemäß dieser beispielhaften Ausführungsart hierin als Profil bezeichnet werden kann. Aus Gründen der Einfachheit wird nur der Kanal G bei dem RGB-Bild und der Kanal Y bei dem YUV-Bild verwendet. Jeder beliebige Farbkanal, der genügend Informationen über die Bildeinzelheiten enthält, kann in diesem Fall verwendet werden. Die Profile aus beiden abgestimmten Bildern werden unter Verwendung eines Faltungskernels einer Länge, die an die Bildgröße und an die Geräuschentwicklung angepasst ist, geglättet und differenziert. Die Länge ist in bestimmten Ausführungsarten variabel und kann erhöht oder reduziert werden.
Dies hat den Effekt, dass kleine Merkmale und Geräusche herausgefiltert werden. Auf diese Art und Weise beruht die Berechnung der Bewegung auf starken Kanten in der Filmsequenz. Das bedeutet auch, dass die Berechnung der X, Y Verschiebung gegenüber Abweichungen in der Belichtung robuster ist. Dieser Berechnungsansatz funktioniert ausgesprochen gut bei einer großen Anzahl von Bildszenen, variierenden Belichtungswerten, variierendem Geräuschpegel und variierender Auflösung.
Bei der Berechnung der horizontalen (X) Verschiebung werden alle Spalten addiert und bei der Berechnung der vertikalen (Y) Verschiebung erfolgt die Addition entlang der Reihen der Bilder. Danach ist der Vorgang der Berechnung der Bewegung der gleiche, deshalb werden nur die Einzelheiten für die horizontale Verschiebung nachstehend angegeben. Zunächst werden alle Spalten jeder Reihe für Bild 1 und 2 addiert. Damit sollen Bildprofile aus der Berechnung der Verschiebung erzeugt werden.
% Sum Images (Addition Bilder)
hor1 = sum(im1); %Sum images along columns to create horizontal profiles
(% Addition Bilder entlang der Spalten, um horizontale Profile zu erzeugen)
hor2 = sum(im2);
Der obige Prozess in MATLAB ist äquivalent der untenstehenden Gleichung, hor1 = y = 1y = nim1 (x, y) wobei n die Anzahl der Reihen ist. Dadurch wird, wie in 2 gezeigt, eine graphische Darstellung horizontaler Bildprofile als addierte Wert von Spalten gegenüber Reihennummern erzeugt. 2 veranschaulicht Bildprofile, wenn die Spalten addiert sind und nachdem die Differenzen berechnet wurden.
Der nächste Schritt besteht darin, die Profile zu differenzieren und zu glätten. Dies hat den Effekt, dass die Berechnung der Verschiebung gegenüber Intensitätsdifferenzen zwischen den Bildern unveränderlich ist.
Profile Differences (Profildifferenzen)
hor1 = diff(hor1); %Take differences along profiles for im1 & im2
(% Differenzen entlang der Profile für im1 & im2)
10 hor2 = diff(hor2);
was äquivalent ist zu der untenstehenden Gleichung, hor1 = xi – xi + 1 für i = 1:m – 1, wobei m die Anzahl der Reihen ist.
3 veranschaulicht Bildprofile, nachdem die Differenzen berechnet worden sind. 3 zeigt graphische Darstellungen von horizontalen Bildprofilen als addierte Werte von Spalten gegenüber Reihennummern.
Die Profile werden dann geglättet, um die Auswirkungen von Geräuschen mit dem folgenden MATLAB-Code zu reduzieren. In MATLAB wird eine Faltungsfunktion verwendet, die äquivalent ist zu einem ablaufenden durchschnittlichen Filter, wie nachstehend gezeigt, xi = xii – 15ixi % Smooth Profiles with kernel of length 15-note, this length is variable
(% Glätten von Profilen mit Kernel einer Länge 15-Anmerkung – diese Länge ist variabel)
% depending on noise/smoothness of profile
(% in Abhängigkeit von den Geräuschen/Glätte des Profils)
kernel = 15; %Set length of running average kernel
(% Einstellen der Länge des ablaufenden durchschnittlichen Kernels)
avg = ones(1, kernel)./kernel; %Running average kernel (% ablaufender durchschnittlicher Kernel)

hor1 = conv(hor1, avg); %Smooth profiles using running average kernel
(% Glätten der Profile unter Verwendung des ablaufenden durchschnittlichen Kernels)

hor1 = hor1(kernel/2:end-kernel/2); %Crop profile ends created by kernel
(% Zuschneiden der durch Kernel erzeugten Profilenden)
hor2 = conv(hor2,avg);
hor2 = hor2(kernel/2:end-kernel/2);
w1 – length(hor1); %Length of horizontal profiles
(% Länge horizontaler Profile)

herr = zeros(1,2·radius + 1); %Initalise herr to calc meanSq error of
horizontal profile (% Initialisieren herr zur Berechnung des mittleren quadratischen Fehlers des horizontalen Profils)
Das eine Bildprofil wird gegenüber dem anderen in 1 Pixelverschiebung verschoben. Bei jeder Verschiebung wird die Summe der absoluten Differenzen berechnet, um die Verschiebung zu finden, die die Differenzen minimiert. herr(i + radius + 1 – imx) = sum(abs(hor1 – hor2))/w1; was äquivalent zu der nachstehenden Gleichung, herri = i – 30i + 30 hor1 – hor2(i)w1
Das Ergebnis der obigen Operation ist eine graphische Darstellung der Fehlerfunktion, aus der wir die Lage des Mindestwertes feststellen, der die Höhe der Verschiebung von Einzelbild zu Einzelbild zwischen Bild 1 und Bild 2 in der horizontalen Richtung liefert. Für das Beispiel in 4 beträgt die gemessene Verschiebung – 1 Pixel.
4 veranschaulicht die Berechnung der Bewegung durch graphische Darstellung der Summe absoluter Differenzen, die durch die Verschiebung der Profile gegenüber der Pixelverschiebung festgestellt wurden. 4 veranschaulicht Bildprofile, nachdem die Differenzen berechnet worden sind. Die Position des Mindestwertes in 4 zeigt die Verschiebungen zwischen den Profilen an.
Wie angegeben, wird derselbe Prozess für die Berechnung der vertikalen Verschiebung durchgeführt. Sowohl die Berechnungen für die X-Bewegung als auch für die Y-Bewegung werden für den Gesamtwert und für die 4 oben beschriebenen Unterbereiche durchgeführt. Das Verfahren, das verwendet wird, um Fehler aufgrund von Bewegungen des Objekts in der Szene herauszufiltern, ist unten beschrieben. In diesem Teil gibt es keine Berechnungen, um einfach nur logische Verknüpfungen zu beschreiben.
Die in 5 veranschaulichte graphische Darstellung zeigt die kumulative x-Verschiebung an Pixel entlang der horizontalen Richtung mit der Einzelbildnummer. 5 veranschaulicht eine kumulative graphische Darstellung, die die gesamte horizontale Bewegung der Kamera als Pixelverschiebung gegenüber der Einzelbildnummer zeigt.
Der gleiche Prozess wird für die vertikalen Verschiebungen wiederholt. Ein Beispiel der vertikalen Verschiebung gegenüber dem ersten Einzelbild ist in 6 gezeigt. 6 veranschaulicht eine kumulative graphische Darstellung, die die gesamte vertikale Bewegung der Kamera als Pixelverschiebung gegenüber der Einzelbildnummer zeigt.
Der ursprüngliche Verschiebungsberechnungs-Algorithmus, der in US 2008 0309769 beschrieben ist, wurde eher entwickelt, um die xy-Verschiebungen gegenüber dem ersten Einzelbild zu verfolgen als von Einzelbild zu Einzelbild.
Um dieses Messverfahren für die Verschiebung zu erweitern, um auch einen Sichtmechanismus bereitzustellen, für den Bilder beibehalten werden sollten, behalten wir die Informationen zur Verschiebung aus allen früheren Einzelbildern bei und verwenden diese, um den Suchbereich für nachfolgende Bilder anzupassen. So werden die Informationen von den Einzelbildern 1 und 2 verwendet, um den Suchbereich für die Bilder 1 und 3 anzupassen.
Dies wird so lange gemacht, bis die gesamte x-Verschiebung von Bild 1 zu Bild 1 + n eine bestimmte Anzahl von Pixel überschreitet. An diesem Punkt wird Bild 1 + n zu einem neuen Referenz-Einzelbild und anschließende Verschiebungen werden bezogen darauf abgestimmt. Alle dazwischenliegenden Einzelbilder 2, 3 ... n können verworfen werden und nur die Einzelbilder 1 und 1 + n werden beibehalten. Dieser Vorgang wird so lange wiederholt, bis der Panoramaerfassungsprozess durch ein Ereignis beendet wird.
Der Verschiebungswert für den Sichtungsprozess wird ausgewählt, um sicherzustellen, dass eine ausreichende Überlappung zwischen Bildern, die zusammengefügt werden sollen, vorhanden ist. Er kann auch verändert werden, um die Objektivverzeichnungen oder optischen Verzeichnungen an Einzelbildern zu berücksichtigen. Wo erhebliche Kantenverzeichnung vorhanden ist, kann daher zwischen Einzelbildern eine größere Überlappung erforderlich sein.
Als Beispiel: für ein Objektiv mit geringer Verzeichnung und ein Videobild 480×640 mit niedriger Auflösung kann eine Überlappung von 140 Pixel in der horizontalen Richtung angemessen sein; bei einem Objektiv mit einer höheren Verzeichnung kann eine Überlappung von 250+ Pixel erforderlich sein. Im letzteren Fall kann es sein, dass bei dem anschließenden Blenden (blending) von Bildern nicht die vollständigen Einzelbilder verwendet werden – bis zu 25% (150 Pixel) an jedem Ende eines jeden Bildes könnten verworfen werden, weil sie zu verzeichnet sind, um in dem Blenden (blending) verwendet zu werden.
Dieser Vorgang wird für die gesamte Reihe von Videobildern wiederholt. Das Ergebnis ist, dass die x- und y-Verschiebungen jedes Einzelbildes in der Sequenz gelesen werden können. Dies erlaubt dann die Auswahl von Bildern, um ein Panoramabild zu erzeugen. Die Bilder werden ausgewählt mit einer Pixelverschiebung zueinander von beispielsweise 500 Pixel. Bild 2 wird dann mit Bild 1 zusammengefügt mit einer Pixelverschiebung von 500 Pixel in der x-Richtung und auch mit der berechneten y-Verschiebung. Dies wird wiederholt, um mehrere aufeinander folgende Bilder zusammenzufügen.
Das Bild der 7A und 7B ist ein Beispiel von drei Einzelbildern, die mit x & y-Verschiebungen abgestimmt wurden, welche unter Verwendung eines umfassenden Bewegungsberechnungs-Algorithmus gemessen wurden. Für dieses Panoramabild werden die Einzelbilder mit einer horizontalen Verschiebung von 620 Pixel ausgewählt. 7A veranschaulicht ein Panoramabild, das aus Videobildern erzeugt wurde, die durch einen Algorithmus ausgewählt wurden, und mit den berechneten x & y-Verschiebungen gemäß bestimmter Ausführungsarten ausgerichtet wurde. 7B veranschaulicht eine zugeschnittene Version des Panoramabildes aus 7A.
BILDABSTIMMUNG MIT SUBPIXEL-PRÄZISION
Ein Bildabstimmungsverfahren gemäß bestimmten Ausführungsarten kann horizontale und vertikale Verschiebungen mit mindestens einer Genauigkeit von einem Pixel berechnen. Wenn man von einem Bild mit niedriger Auflösung auf ein Bild mit voller Auflösung skalieren möchte, wird der Algorithmus so konfiguriert, dass er Fehler, die sonst erkennbar wären, über Teile der Nahtlinie hinweg verhindert, und die sichtbar sind, wenn herkömmliche Algorithmen verwendet werden.
Ein 1-Pixel-Abstimmungsfehler bei QVGA-Auflösung kann sich beispielsweise bei einer 720p HD-Auflösung in einen 6-Pixel-Fehler verwandeln. Um mit diesem Problem fertig zu werden, wurde ein Bildabstimmungsverfahren gemäß bestimmten Ausführungsarten erweitert, um Bildverschiebungen mit Subpixelgenauigkeit, d. h. mit fraktionierter Präzision (fractional precision), zu berechnen.
Die Berechnung auf der Grundlage von Spline-Überabtastung (spline oversampling) von Profilen kann für die Abstimmung von Bildern mit hoher Pixelgenauigkeit verwendet werden. Die Basis des Algorithmus kann der Catmull-Rom Spline sein (kubischer Spline mit A = –0,5). Um ein gutes Leistungsniveau aufrechtzuerhalten, können die Profile anfangs auf ein Pixel Genauigkeit ausgerichtet werden. Ein Überabtastungsschritt kann durchgeführt werden, um die Verschiebung in einem Bereich ±1 Pixel bei einem vorgegebenen Subpixelschritt zu finden.
In einer aktuellen Implementierung kann ein Mindestschrittwert von 1/256 eines Pixels angenommen werden. Dank dieses Splines können Koeffizienten vorausberechnet und in einer Verweistabelle mit 256 Elementen gespeichert werden. Der Mindestschrittwert kann während der Subpixelausrichtung als eine Einheit verwendet werden. Um ¼ Pixelgenauigkeit zu erreichen, die bei manchen Ausführungsarten für eine höchst praktische Hochskalierung der Bilder mit niedriger Auflösung ausreichend ist, kann der Schrittwert für die Berechnung auf 64 eingestellt werden.
Das zweite Profil wird in Schrittweiten nach links und rechts verschoben und die Werte zwischen den Proben werden unter Verwendung der Spline-Interpolation berechnet. Da die Verschiebung einheitlich für alle Profilproben ist, kann es sein, dass nur ein einziger Satz Koeffizienten erforderlich ist, um alle Proben zu bearbeiten. Einer der Schritte ist in 8 veranschaulicht.
1 zeigt eine graphische Darstellung, in der in einer beispielhaften Ausführungsart das Profil 1 mit interpolierten Werten von Profil 2 verglichen wird. Die interpolierten Werte werden mit Quadraten markiert und die mit Kreisen markierten Referenzwerte werden zur Berechnung der Fehlersumme für eine bestimmte Verschiebung verwendet. Die Verschiebung, die die geringste Fehlersumme erzeugt, wird in Festpunktformat mit 8 Bits Teilwert (fractional value) wiedergegeben. Das nächste Bild zeigt ein Beispiel einer graphischen Darstellung Fehler gegenüber Verschiebung.
2 veranschaulicht gemäß bestimmten Ausführungsarten metrische Fehlerwerte (error metric values) gegenüber Subpixelverschiebungen. Die Fehlerfunktion ist innerhalb des berücksichtigten Bereichs glatt und ohne lokale Minima, was garantiert, dass die richtige Teilverschiebung gefunden wird.
PANORAMA AUS HD VIDEO – IMPLEMENTIERUNG IN DER KAMERA
Bei der Erzeugung eines Panoramas aus HD Videobildern, ist das oben beschriebene Bildabstimmungsverfahren zu zeitaufwändig und speicherintensiv, um eine Implementierung in der Kamera in Echtzeit zu erlauben. In diesem Fall wird ein Verfahren gemäß bestimmten Ausführungsarten in dem nachfolgenden Beispiel veranschaulicht:

1. Die HD Bilder werden auf QVGA-Auflösung heruntergerechnet;
2. Das erste QVGA-Bild wird als Referenzbild angesehen;
3. Gemäß bestimmten Ausführungsarten werden die QVGA-Bilder mit einem Referenzbild abgestimmt;
4. Wenn ein bestimmtes Maß an Überlappung zwischen den Einzelbildern erreicht ist, werden das aktuelle Einzelbild und das Referenzbild gemäß bestimmten Ausführungsarten zusammengefügt oder dem Stitching unterzogen. Am Ende des Zusammenfügungsprozesses kann durch Anwendung eines Unschärfekerns (blurring kernel) entlang der Nahtlinie eine Alpha Blending Map erzeugt werden;
5. Die Alpha Blending Map kann auf die Auflösung des HD-Bildes hochgerechnet werden;
6. Die HD-Bilder werden unter Verwendung der in Schritt 5 erzeugten Abbildes vermischt;
7. Das aktuelle Einzelbild wird zum Referenzbild, die Schritte 3 bis 7 werden wiederholt, bis eine bestimmte Anzahl von Einzelbildern erreicht worden ist.

In den nachfolgenden Abschnitten werden bestimmte vorteilhafte Komponenten des Algorithmus veranschaulicht.
ALGORITHMUS ZUM ZUSAMMENFÜGEN VON BILDERN
Das Ziel dieses Algorithmus ist es, die beste Nahtstelle zwischen zwei überlappenden Bildern zu finden, so dass die Bilder verschmolzen werden können, um ein Panorama zu bilden. Die Naht muss durch die Bereiche verlaufen, wo die Differenz zwischen diesen beiden Bildern am geringsten ist, um keine sichtbaren Schnitte herzustellen.
Die allgemeine Idee ist es, zwei Konturen zu haben, die an gegenüberliegenden Seiten des Überlappungsbereichs beginnen, die sich mit einer Geschwindigkeit aufeinander zu bewegen, die von der lokalen Differenz zwischen den überlappenden Bildern abhängt. Die Konturen breiten sich mit einer gewissen Anpassungsfähigkeit oder Elastizität horizontal über das Bild aus, so dass sich bestimmte Pixel schneller bewegen können, obwohl sie zurückgehalten werden, wenn benachbarte Pixel eine geringere Geschwindigkeit haben. Die Idee ist, dass sich die Pixel rascher durch Bereiche bewegen, wo große Differenzen zwischen den überlappenden Bildern existieren, und langsamer werden, wenn zwischen den Bildern eine kleine oder unwesentliche Differenz besteht. Auf diese Art und Weise treffen sich die beiden Konturen, die sich horizontal zueinander hin ausbreiten, an einer annähernd optimalen oder fast optimalen Naht zwischen den beiden Bildern.
Sobald die Pixel von der Kontur erfasst wurden, werden sie dem relevanten Bild, das mit der Kontur verbunden ist, zugeordnet. Somit verbindet die Kontur, die sich von links nach rechts ausbreitet, die Pixel mit dem linken Bild. Die Kontur, die sich von rechts nach links ausbreitet, verbindet die Pixel mit dem rechten Bild des überlappenden Bildpaares. Der Vorgang stoppt, wenn in dem Überlappungsbereich keine nicht zugeordneten Pixel mehr vorhanden sind.
Zwei überlappende Komponenten-Bilder werden als in der horizontalen Richtung oder in der langen Richtung des Panoramas oder der Schwenkrichtung als überlappend angesehen. Somit gibt es einen Bereich, der nur zu dem linken Bild (LH) gehört, und einen Bereich, der nur zu dem rechten Bild (RH) gehört. Dann gibt es einen überlappenden Bereich, in dem die Pixel entweder aus dem linken Bild (LH) oder aus dem rechten Bild (RH) oder einer darauf basierenden Kombination oder Berechnung ausgewählt werden können. Jede Kontur beginnt an der LH- oder RH-Grenze dieses überlappenden Bereichs. Die LH-Grenze gehört vollständig zu dem linken Bild (LH), während das Verfahren beinhaltet, dass diese Grenze entlang den Pixelreihen des Bildes nach rechts bewegt wird, und die RH-Grenze gleichzeitig nach links bewegt wird.
Die (relative) Geschwindigkeit, mit der sich jede Grenze bewegt, wird bestimmt durch die (relative) Differenz zwischen den überlappenden LH- und RM [sic][Anm. d. Übers.]-Bildpixeln. Wo die Differenz zwischen einem RH-Pixel und einem LH-Pixel sehr klein ist, bewegt sich die Kontur langsamer, da dies eine bessere Stelle für eine Bildnaht ist als ein sich schneller bewegendes Segment. Wo die Differenz groß ist, bewegt sie sich rasch, weil in einem Bereich großer Differenzen zwischen RH- und LH-Bildpixeln keine Naht auftreten sollte. In dem Überlappungsbereich kann in bestimmten Ausführungsarten ein Pixel entweder aus dem LH-Bild oder aus dem RH-Bild ausgewählt werden. Es wird auch darauf hingewiesen, dass die ”Geschwindigkeit” hier relativ ist unter den Segmenten der Konturen innerhalb des Überlappungsbereichs.
Aufgrund von Schwankungen in den Pixeldifferenzen werden sich die Konturpixel in bestimmten Reihen nun rascher ausbreiten als in der Reihe darüber (oder darunter). Die Geschwindigkeit, mit der sich eine Reihe nach rechts (für die LH-Kontur) oder nach links (für die RH-Kontur) ausbreitet, ist in bestimmten Ausführungsarten auch teilweise beschränkt durch ihre benachbarten Reihen. In diesen Ausführungsarten wird die Kontur als ”elastisch” oder anpassungsfähig bezeichnet. Wo also eine Reihe aufgrund von großen Differenzen zwischen RH-Bildern und LH-Bildern sehr rasch bewegt werden würde, kann sie sich verlangsamen, weil sich die Reihen darüber (oder darunter) wesentlich langsamer bewegen oder umgekehrt.
Während sich die LH-Kontur nun nach rechts ausbreitet, werden die Pixel hinter (oder links von) dieser sich ausbreitenden ”Grenzlinie” (oder ”Statuslinie”) zu 100% aus dem LH-Bild genommen, während in ähnlicher Weise die Pixel rechts von der RH-Kontur aus dem RH-Bild genommen werden. Schließlich beginnen diese beiden ”Statuslinien” sich an einigen Punkten zu treffen und wenn sie ”kollidieren”, hören sie an den Punkten, an denen sie sich treffen, einfach auf sich zu verbreiten. Schließlich werden sich die beiden Konturen über alle Reihen des Überlappungsbereichs hinweg getroffen haben und eine endgültige Nahtlinie durch den Überlappungsbereich wird bestimmt.
In alternativen Ausführungsarten können Verfahren zur Anwendung kommen, bei denen sich Konturen in einer Richtung ausbreiten (die Kontur kann nicht zurückgehen), ähnlich denen, die von Sethian et al., A Fast Marching Level Set Method for Monotonically Advancing Fronts, Proceedings der National Academy of Sciences, eingereicht am 20. Oktober 1995, beschrieben sind.
In bestimmten Ausführungsarten kann ein Ansatz ähnlich des Dijkstra-Algorithmus zur Anwendung kommen, wie beispielsweise in Dijkstra, E. W. (1959), "A note on two problems in connexion with graphs", dargelegt. Numerische Mathematik 1: 269–271, http://wwwm3.ma.tum.de/twiki/pub/MN0506/WebHome/dijkstra.pdf, and/orSniedovich, M. (2006) "Dijkstra's algorithm revisited: the dynamic programming connexion" (PDF). Journal of Control and Cybernetics 35 (3): 599–620, http://matwbn.icm.edu.pl/ksiazki/cc/cc35/cc3536.pdf. Die Entwicklung der Kontur kann durch Aussortieren von Werten bestimmt werden, die man durch Lösen von Differentialgleichungen erhalten hat. Es handelt sich dabei um einen relativen schnellen Algorithmus auf einem PC, aber er umfasst das repetitive Aussortieren (an jedem Kontur-Update um 1 Pixel) und dynamische Datenstrukturen. Als solcher wird der Dijkstra-Ansatz in bestimmten Ausführungsarten, insbesondere jenen mit eingebetteten Plattformen, nicht verwendet.
Bei bestimmten Ausführungsarten wird eine FIFO-Warteschlange (FIFO queue) verwendet, um ein vorteilhaftes Verfahren zu implementieren und zu realisieren, selbst ohne Speicher-Neuzuweisung. 10 veranschaulicht zwei Konturen, die sich über einen Überlappungsbereich hinweg zwischen angrenzenden Bildern, die in einem Panorama verwendet werden sollen, zueinander hin ausbreiten.
Die Ausbreitung der Konturen kann durch eine Warteschlange gesteuert werden, die einen Satz von 256 priorisierten FIFO buckets (Eimer) enthält. Die Bucket-Zahl 255 hat eine höchste Priorität, während die Bucket-Zahl 0 eine niedrigste Priorität besitzt. Immer dann, wenn ein neuer Punkt des Überlappungsbereichs der Warteschlange hinzugefügt wird, geht er zu der bucket-Zahl, die der gewichteten Differenz zwischen überlappten Bildern entspricht. Die Differenz liegt in dem Bereich von 0 bis 255. Wenn ein Punkt aus der Warteschlange zu entfernen ist, wird er in bestimmten Ausführungsarten von dem nicht leeren bucket der höchsten Priorität entfernt. Jeder Punkt, der der Warteschlange hinzugefügt wird, wird mit einem Fähnchen markiert, das die Kontur kennzeichnet, zu der der Punkt gehört.
Bei einem beispielhaften Ausbreitungsalgorithmus kann man wie folgt vorgehen:

1. Initialisieren von Konturen durch Hinzufügen von Punkten an den linken und rechten vertikalen Kanten des Überlappungsbereichs zu der Warteschlange. Die Punkte an der rechten Kante werden mit einem anderen Kennzeichen markiert als jene an der linken Kante;
2. Entfernen des ersten Punktes aus der Warteschlange gemäß den oben beschriebenen Regeln;
3. In den Richtungen links, rechts, oben, unten prüfen, ob nicht zugeordnete Punkte vorhanden sind. Wenn solche Punkte existieren, werden sie der Warteschlange hinzugefügt, wobei ihnen dasselbe Kennzeichen zugeordnet wird wie es der Quellpunkt hatte; und
4. Wenn die Warteschlange nicht leer ist, zu 2. gehen.

Aufgrund von Geräuschen und dem Vorhandensein kleiner Details, kann die Form der Kontur sehr komplex werden, was bedeutet, dass die Kontur länger ist, so dass ein größerer Speicher erforderlich ist, um die Warteschlange aufrechtzuerhalten. Um die Form der Kontur zu glätten und den Umfang des erforderlichen Speichers zu reduzieren, kann die Differenz zwischen überlappenden Bildern durch einen Filter geglättet werden, der durch die folgende Matrix definiert ist:

1 2 1

2 4 2

1 2 1
Anschließend können Kanaldifferenzen durch einen gewichteten Durchschnitt zu einem Wert zusammengefasst werden: dI = (2dG + dR + dB)/4
Diese Filterung kann einem Verwischen der Nahtlinie mit einem 3 × 3 Unschärfekern (blur kernel) entsprechen. In alternativen Ausführungsarten können andere Verfahren der Unschärfeerzeugung (blurring techniques) zur Anwendung kommen oder die Größe des Kerns (kernel) kann auf 5 × 5 oder andere Werte erhöht werden.
Ein Beispiel für ein aus zwei Bildern erzeugtes Panorama-Vollbild ist in 11 gezeigt. 11 veranschaulicht ein aus zwei Bildern erzeugtes Panorama, das gemäß bestimmten Ausführungsarten gemischt wurde.
Um die Effizienz zu erhöhen, kann die Nahtlinie unter Verwendung von verkleinerten Versionen überlappender Bereiche aus zwei Bildern in reduzierter Auflösung berechnet werden. Die überlappenden Teile können mit zusätzlichen Pixel aufgefüllt werden, beispielsweise um ganzzahlige Reduktionsfaktoren zu erlauben. Die aufgefüllten Teile werden bei bestimmten Ausführungsarten nicht berücksichtigt und sind stattdessen jeweils einem passenden Bild direkt zugeordnet. Bei bestimmten Ausführungsarten, wo das zusammengefügte Bild nicht hochskaliert werden muss, kann das Verwischen der Nahtlinie weggelassen werden.
Bei der Größe des zusammengefügten Abbildes (join map size) kann es sich bei bestimmten Ausführungsarten exakt um die reduzierte Größe des Bildüberlappungsbereichs handeln, der durch Auffüllen erweitert wurde. Nach der Berechnung der Zusammenfügungslinie (join line) kann das Abbild (map) um denselben Faktor vergrößert werden, der für die Verkleinerung verwendet worden ist.
In einer Ausführungsart wird, nachdem die Nahtlinie bestimmt ist, durch Verwischen der Nahtlinie unter Verwendung eines 3 × 3 Gauß-Kerns eine Grauskala-Alpha Blending Map erzeugt. Sowohl die Nahtlinie als auch die Alpha Blending Maps werden dann auf eine bestimmte Ausgabeauflösung hochskaliert. In einer Ausführungsart wird das Hochskalieren durch Anwenden einer bilinearen Interpolation erreicht. In dieser Ausführungsart wird die Alpha Blending Map verwendet, um die Bilder mit hoher Auflösung zusammenzufügen, wodurch eine ”kastenförmige” Naht vermieden wird. Dank des verschwommenen Übergangs der blending map, wird die Zusammenfügungslinie bei voller Auflösung weniger sichtbar. Bei bestimmten Ausführungsarten, in denen das zusammengefügte Bild nicht hochskaliert werden muss, kann das Verwischen der Nahtlinie weggelassen werden. 12 veranschaulicht eine Blendmaske, die bei der Erzeugung des in 11 gezeigten Panoramabildes verwendet wurde.
Die mit diesem Verfahren erzeugte Naht ist unsichtbar oder kaum zu erkennen, solange die Helligkeit der beiden zusammengefügten Bilder durchgängig und gleichmäßig ist. Schwankungen in der Helligkeit werden vermieden, indem die Belichtung des Bilderfassungsgerätes festgelegt wird, bevor die Bildmenge erfasst wird, die verwendet wird, um das endgültige Panoramabild zusammenzusetzen.
Bei bestimmten Ausführungsarten können Verfahren angewendet werden, die die Anpassung von scharfen und verwischten Bildpaaren anwenden, um Schwankungen in der Helligkeit über die Bildmenge hinweg zu überwinden. Diese Ausführungsarten können Verfahren anwenden, die der US 2008/0219581 oder USSN 12/485,316 entnommen wurden. So können beispielsweise mehrere SET-Bilder (Bilder mit kurzer Belichtungszeit), wie beispielsweise Vorschaubilder, in einer einzigen verwischten Hauptbilderfassung dazu verwendet werden, um mehrere Videobilder zu erzeugen.
In einer alternativen Ausführungsart kann der Kamerabenutzer aufgefordert werden, eine Vorerfassungs-Abtastung (pre-acquisition sweep) der Panoramaszene durchzuführen, so dass über die ganze Szene hinweg ein optimaler Belichtungwert bestimmt werden kann. Der Benutzer kehrt mit der Kamera dann zu dem ursprünglichen Standort zurück und der Belichtungswert wird auf der Grundlage der Vorerfassungs-Abtastung der Szene festgelegt.
In anderen Ausführungsarten kann die Belichtung bei jeder Erfassung eines Bildes variiert werden und es wird eine detaillierte ”Delta-Map”, die die relativen Belichtungsunterschiede zwischen den Bildern aufzeichnet, aufgezeichnet und angewendet, um vor der Bestimmung der optimalen Nahtlinie eine Farbtonabstimmung und/oder Farbanpassung durchzuführen. Bei manchen Ausführungsarten kann die Farbanpassung in die Bilderfassungskette integriert sein und sie kann Anpassungsdaten direkt von der Belichtungs-”Delta-Map” beziehen.
Die Anordnung der Naht zwischen zwei Bildern des Panoramas lässt sich durch Modifizieren von Bilddifferenzen, die zwischen Pixeln des Überlappungsbereich zwischen diesen beiden Bildern berechnet werden, leicht steuern. So kann beispielsweise die Ausgabe eines Gesichtserkennungs-Algorithmus (face tracking algorithm) verwendet werden, um Bereiche auszuwählen, in denen eine Bildnaht nicht wünschenswert ist. Vor der Ausbreitung von Konturen über den Überlappungsbereich zwischen zwei Bildern hinweg, können die Bilddifferenzen in ”Gesichtsbereichen” (face regions) innerhalb dieses Überlappungsbereichs künstlich erhöht werden, um die Wahrscheinlichkeit zu verringern, dass ein Konturausbreitungs-Algorithmus eine Naht bestimmt, die durch einen Gesichtsbereich verläuft, oder um vollständig zu verhindern, dass dies geschieht.
Eine ähnliche Logik kann auf Teile im Vordergrund einer Bildszene angewendet werden, in denen Bildeinzelheiten für einen Betrachter deutlicher erkennbar sind. Bei bestimmten Ausführungsarten ist es weniger wünschenswert, dass eine Bildnaht durch einen solchen Bereich verläuft. So sind in einer alternativen Ausführungsart für den Panorama-Algorithmus Ausgaben von einer Gesichtsverfolgung in Echtzeit (real time face tracker) oder ein Vordergrund-/Hintergrund-Detektor verfügbar und der Bild-Zusammenfügungsvorgang ist derart modifiziert, dass er die Ausgaben der Gesichtsverfolgung und/oder des Vordergrund-/Hintergrundbereichs-Detektors berücksichtigt. Insbesondere können Vordergrundbereiche, Objekte und/oder erkannte Gesichtsbereiche, die in dem Überlappungsbereich zwischen zwei Bildern liegen, markiert werden, so dass keine Naht durch diese Bereiche hindurch verläuft. In einer Verbesserung dieser Ausführungsart wird die Naht nicht vollständig daran gehindert, durch den bestimmten Bereich hindurch zu verlaufen, aber Bilddifferenzen werden künstlich vergrößert, um dies weniger wahrscheinlich zu machen. In einer weiteren Verbesserung basiert die künstliche Erhöhung der Bilddifferenz auf einer Tiefenkarte (depth map), wobei es zunehmend wahrscheinlicher ist, dass eine Naht durch Objekte hindurch verläuft, die näher an einem entfernten Hintergrund des Bildes liegen.
Beispielhafte Gesichtsverfolgungsverfahren (face tracking techniques) und Vordergrund-/Hintergrundverfahren, die bei bestimmten Ausführungsarten verwendet werden können, sind in den folgenden amerikanischen Patenten beschrieben: US-Patente 7,606,417 , 7,460,695 , 7,469,055 , 7,460,694 , 7,403,643 , und 7,315,631 , und in veröffentlichten amerikanischen Patentanmeldungen 20090273685, US20060285754, US20090263022, 20070269108, US20090003652, und US20090080713, und in den laufenden Nummern der amerikanischen Patentanmeldungen 12/479,593, eingereicht am 5. Juni 2009 und 12/572,930, eingereicht am 2. Oktober 2009, als offenbarte alternative Ausführungsarten eingeschlossen.
In den Fällen, in denen sich ein Gesichtsbereich oder ein Vordergrundbereich oder ein Objekt über einen ganzen Überlappungsbereich zwischen zwei Bildern erstreckt, kann eine Fehlermeldung angezeigt werden, und der Erfassungsvorgang kann abgebrochen werden. Alternativ kann, wenn gewünscht wird, dass eine Naht durch einen Gesichtsbereich verläuft, ein komplexerer Algorithmus eingesetzt werden, der Gesichtsverschönerungstechniken aufweist (siehe beispielsweise die laufenden Nummern der amerikanischen Patentanmeldungen 12/512,843, 12/512,819, und 12/512,716, als offenbarte alternative Ausführungsarten eingeschlossen). Dieser Algorithmus kann die Strukturanalyse der Haut, gefolgt von einem anschließenden merkmalsbewussten Glätten der Hautregionen, aufweisen. Bei anderen Ausführungsarten kann das Wissen über wichtige Gesichtsmerkmale, beispielsweise Augen, Nase, Mund und Haaransatz, kombiniert mit dem Wissen über eine äußere Gesichtskontur, beispielsweise Kinn und Gesichtshälften, eingesetzt werden.
In alternativen Ausführungsarten können diese noch weiter verbessert werden durch das Wissen über Gesichtsausrichtung auf gleicher Ebene und Gesichtshaltung. Dieses Wissen kann man sich durch Verwendung von Active Appearance Models oder rotational classifiers aneignen, wie in den amerikanischen Patenten 7,565,030 und 7,440,593 , und in den veröffentlichten amerikanischen Patentanmeldungen U520090179998, U520070269108, U52008/0219517 und U52008/0292193 beschrieben.
VORDERGRUND- UND HINTERGRUNDBEREICHE
Wenn Objekte im Vordergrund im wesentlichen näher an dem Bilderfassungsgerät sind als die Szene im Hintergrund, können Parallax-Effekte innerhalb des Überlappungsbereichs auftreten. In diesen Fällen kann eine Fehlermeldung angezeigt werden. Alternativ können das Objekt oder die Objekte im Vordergrund und die Szene im Hintergrund separat zusammengefügt, und der Vordergrund gegenüber der Szene im Hintergrund erneut zusammengesetzt werden. Bei dieser Ausführungsart können Informationen aus zusätzlichen Bildern, die denselben Überlappungsbereich überlappen, verwendet werden, um ein genaues Zusammenfügen des Objektes im Vordergrund zu erleichtern und eine optimale Positionierung des Objektes innerhalb der zusammengefügten Szene im Hintergrund zu bestimmen. Die Informationen aus zusätzlichen Bildern können auch dazu verwendet werden, um den abgebildeten Hintergrund zu erweitern und Einzelheiten bereitzustellen, die aufgrund der Parallaxe durch das Objekt im Vordergrund verborgen waren. Dies kann hilfreich sein, um vorteilhafterweise zu bestimmen, wie die Naht für den Hintergrund des Bildes zusammenzufügen ist.
In diesen Situationen können zusätzliche Informationen über die genaue Reichweite/über den genauen Abstand von Objekten im Vordergrund verwendet werden, wenn diese aus dem Bilderfassungsgerät verfügbar sind.
In einer beispielhaften Ausführungsart umfassen ein Objekt im Vordergrund oder mehrere Objekte im Vordergrund ein oder mehrere menschliche Gesichter und möglicherweise Teile zugehöriger Körperprofile (beispielsweise Kopf & Schultern, oder vielleicht mehr vom Rumpf und den Armen und sogar die Beine). In diesem Beispiel wird festgestellt, dass mindestens eines der Gesichter innerhalb des Panoramas in einem Überlappungsbereich zwischen den beiden Einzelbildern angeordnet ist. Aufgrund der Parallaxe wird es so aussehen, als sei dieser Umriss im Vordergrund zwischen den beiden Bildern verschoben. Wenn ein normales Zusammenfügen und/oder Stitching angewendet wird, würde der Umriss in horizontaler Richtung gestreckt, was zu einem Effekt eines ”fetten Gesichts” führen würde. In einem noch extremeren Beispiel, in dem sich die Person noch näher an dem Bilderfassungsgerät befindet, kann es sein, dass in dem endgültigen, zusammengefügten Panoramabild ein ”Spiegelbild” der Person erzeugt wird. Um diese unerwünschten Effekte zu vermeiden, wird auf jedes der Komponenten-Bilder eine Vordergrund-/Hintergrund-Trennung angewendet, beispielsweise gemäß einem der amerikanischen Patente 7,469,071 und 7,606,417 , und der veröffentlichten amerikanischen Patentanmeldungen 2009/0273685, 2006/0285754, 2007/0147820, 2009/0040342 und 2007/0269108. Der oder die Vordergrundbereich(e) können jeweils aus jedem von zwei aneinander angrenzenden Bildern, die zusammengefügt und/oder durch Stitching zusammengeführt werden sollen, ausgeschnitten werden. In einer Ausführungsart werden diese ”ausgeschnittenen” Bereiche unter Verwendung von Daten aus anderen Einzelbildern, die denselben Umrissbereich überlappen, ausgefüllt, doch sie zeigen aufgrund einer anderen Parallaxe einen anderen Teil des Hintergrundes. Weitere Füll- und Extrapolationsverfahren können angewendet werden, wenn nicht genügend Daten verfügbar sind. Die Hintergrundbilder können dann unter Verwendung normaler Algorithmen zusammengefügt werden.
Die Bereiche im Vordergrund können auch separat ausgerichtet werden (beispielsweise für Gesichtsbereiche durch Anpassen der Stellen und wahlweise der Formen von Gesichtsmerkmalen wie Augen, Mund, Haaransatz und/oder Kinn. Nach der Ausrichtung können diese dann unter Verwendung der üblichen Algorithmen zusammengefügt werden. Wahlweise gilt: wenn ein vollständiger Umriss von jedem Bild verfügbar ist, kann, alternativ zu dem separaten Zusammenfügen der Vordergrundbereiche, einer der Vordergrundbereiche für ein Zusammensetzen auf ein bereits zusammengefügtes Hintergrundbild ausgewählt werden. Die Stelle, an der das Vordergrundobjekt auf den Hintergrund zusammengesetzt wird, kann an einem Punkt zwischen den beiden ursprünglichen Stellen ausgewählt werden. Der Benutzer kann sich sogar dafür entscheiden, das Vordergrundbild an einer anderen Stelle in dem Panorama zu positionieren, wenn diese als der szenisch reizvollste Teil des Panoramas ausgemacht wird. Alternativ kann die Stelle im Vordergrund ausgewählt werden, um Stellen mit höherem Kontrast entlang der Zusammenfügungsnaht für die Hintergrundbereiche abzudecken.
Eine große Auswahl an Gesichtsanalyseverfahren und -techniken kann vorteilhafterweise eingesetzt werden, um das Erscheinungsbild dieser Umrisse im Vordergrund weiter zu verbessern, wie die Verfahren, beschrieben in dem US-Patent 7,565,030 oder in den veröffentlichten amerikanischen Patentanmeldungen 2009/0179998, 2008/0013798, 2008/0292193,20 2008/0175481, 2008/0266419, 2009/0196466, 2009/0244296, 2009/0190803, 2008/0205712, 2008/0219517 und 2009/0185753, und in der veröffentlichten PCT-Anmeldung WO2007/142621 . Nach dem Abtrennen von Gesichtsbereichen im Vordergrund, können diese durch Anwendung einer Vielzahl von Bildbearbeitungsverfahren verbessert werden, bevor sie erneut auf die Panoramaszene im Hintergrund zusammengesetzt werden. Die Vordergrund-/Hintergrundtrennung und unabhängige Analyse und Bearbeitung der Bildkomponenten im Vordergrund und Hintergrund gemäß diesen Ausführungsarten können verwendet werden, um vorteilhafterweise verbesserte Panoramabilder bereitzustellen.
BILDMISCHVERFAHREN IN DER KAMERA
13 veranschaulicht weiterhin ein Bildmischverfahren gemäß bestimmten Ausführungsarten einschließlich Panoramabilderzeugungsverfahren. Fünf Bilder sind in 12 [sic][Anm. d. Übers.] gezeigt, die zur Bildung eines Panoramabildes zusammenzufügen sind, das etwas weniger als fünf Mal breiter als eines der Komponenten-Bilder ist. Bildmisch-Rechtecke sind untenstehend veranschaulicht, in denen die Nähte gebildet werden, wenn das Panoramabild gebildet wird. Ein Teil des gebildeten Panoramabildes ist unterhalb der Bildmisch-Rechtecke und Komponenten-Bilder in 13 veranschaulicht.
In einer beispielhaften Ausführungsart kann die Auswahl einer Oberfläche verwendet werden, um einem Panorama-Benutzerinterface anzuzeigen, welcher Projektionsalgorithmus anzuwenden ist. Ein 3D-Projektionsalgorithmus kann beispielsweise verwendet werden gemäß "Image Alignment and Stitching: A Tutorial" von Richard Szeliski (Preliminary draft, 27. September 2004, Technical Report, MSR-TR-2004-92, Seiten 8–10) und/oder gemäß einer der veröffentlichten amerikanischen Patentanmeldungen 2006/0062487, 2006/0018547, 2005/0200706, 2005/0008254 und 2004/0130626.
SUPER-AUFLÖSUNG: VERBINDEN VON ZUSAMMENGESETZTEN BILDERN
Eine weitere Ausführungsart stellt auch eine Möglichkeit bereit, ein Panorama mit hoher Auflösung zu erzeugen, indem nur Bilder mit (relativ) niedriger Auflösung verwendet werden. Der Begriff ”niedrige Auflösung” ist hier im Vergleich zu dem Begriff ”hoher Auflösung” auszulegen, wobei das Bild mit niedriger Auflösung eine niedrigere Auflösung besitzt als das Bild mit hoher Auflösung, wobei keine bestimmten Auflösungen gemeint sind. Diese Ausführungsart ist geeignet für Geräte mit niedriger Auflösung (& geringen Kosten). Es handelt sich dabei um einen Ansatz, der mit Camera-on-chip Lösungen kombiniert werden kann, die mit sich HD-Geräten mit anspruchsvoller Optik und CPU-Leistung messen können.
In dieser Ausführungsart wird eine geschwenkte Videosequenz einer Panoramaszene mit niedriger Auflösung erfasst. Es werden keine Bilder mit hoher Auflösung erfasst und somit wird die Nahtlinie nicht auf eine Bild mit hoher Auflösung übertragen, wie in anderen Ausführungsarten. Während des Aussortiervorganges werden auch weniger Einzelbilder verworfen. Stattdessen kann ein größerer Anteil von Einzelbildern in eine von mehreren unterschiedlichen Panorama-Bildmengen eingeordnet werden.
Somit können zwei oder mehr zusammengesetzte Panoramabilder durch Ausführen einer Kantenabstimmung und das Zusammenfügen überlappender Bilder erzeugt werden. In einer beispielhaften Ausführungsart werden Einzelbilder wie folgt zusammengefügt: die Einzelbilder 1 + 4 + 7 + 10 werden verwendet, um eine Panorama-Bildmenge zu bilden, anschließend bilden die Einzelbilder 2 + 5 + 8 + 11 eine zweite und 3 + 6 + 9 + 12 eine dritte Panorama-Bildmenge; diese drei verschiedenen Bildmengen werden verwendet, um drei verschiedene Panoramabilder P1, P2, P3 zu erzeugen, die größtenteils überlappen können, aber nicht unbedingt vollständig überlappen müssen. Es wird darauf hingewiesen, dass es nicht erforderlich ist, alle Bilder beizubehalten; es können beispielsweise zwischen den Einzelbildern 3 und 4 (z. B. Einzelbilder 3-2, 3-3 und 3-4) weitere Einzelbilder erfasst worden sein, aber diese können verworfen worden sein, weil zwischen ihnen nicht genügend Verschiebung vorhanden war, oder weil P1, P2 und P3 für ausreichend angesehen wurden, oder aus anderen Gründen.
Die Super-Auflösungsverfahren werden dann angewendet, um ein einzelnes Panoramabild mit hoher Auflösung zu erstellen. Die Kantenabstimmung für jede Panorama-Einzelbildmenge kann durch Verwenden überlappender Bilder aus anderen Einzelbildmengen unterstützt werden.
PANORAMA-ANZEIGEMODUS FÜR TRAGBARE GERÄTE
Nachdem ein Panoramabild erstellt worden ist, kann es umständlich sein, das Bild auf einem tragbaren Gerät anzuschauen. Doch wenn die Informationen in Bezug auf die ursprüngliche (horizontale) Bewegung, die während des Erfassens angewendet wurde, zusammen mit dem Bild gespeichert wurden, ist es möglich, gemäß bestimmten Ausführungsarten einen vorteilhaften Anzeigemodus bereitzustellen.
Gemäß einem Beispiel für einen solchen Anzeigemodus, kann sich der Bildschirm eines Photo-Handys mit einer Ansicht eines zentralen Teils des Panoramabildes in voller Größe (der Abschnitt in eckigen Klammern in der nachfolgenden Darstellung) öffnen:
------[---]------
Wenn die Kamera nun nach links geschwenkt wird, wird diese Bewegung gemessen, und der Teil des Bildes, der angezeigt wird, wird entsprechend angepasst (der in der folgenden Darstellung im Vergleich zu der vorherigen Darstellung in den eckigen Klammern nach links verschobene Abschnitt):
--[---]----------
Wenn der Benutzer nun vollständig nach rechts schwenkt (der in der folgenden Darstellung im Vergleich zu einer der beiden vorherigen Darstellungen in den eckigen Klammern nach rechts verschobene Abschnitt):
------------[---]
So ist es möglich das gesamte Panoramabild zur Anzeige in einer Art bereitzustellen, die den Charakter der ursprünglichen weiten Panoramaszene erfasst. Der Benutzer kann sich dabei auch verschiedene Teile, Segmente oder Komponenten einer Panoramaszene bei voller Auflösung in der vertikalen Richtung anschauen.
Eine Modifizierung der ”Schlüsselloch”- oder ”Guckloch”-Ansicht wird bereitgestellt, wenn das System Daten in Bezug auf die Bewegung speichert, die verwendet wurden, um die ursprünglichen Panoramabilder zu erfassen. Diese Bewegungsdaten können verwendet werden, um das anschließende Betrachten des Bildes durch den Benutzer zu kontrollieren. Insbesondere auf einem tragbaren Gerät kann die Bewegung während des Erfassens und während der Wiedergabe gemessen werden, obwohl die Bewegung auf einem tragbaren Gerät beispielsweise auch auf einem Desktop-Computer mit Mauseingabe simuliert werden kann.
Eine alternative Ausführungsart umfasst die Wiedergabe des Original-Videoclips, aber die Steuerung der Richtung und/oder Geschwindigkeit der Wiedergabe entsprechend dem, wie der Benutzer das tragbare Gerät während des Betrachtens bewegt.
STEREOSKOPISCHE PANORAMAERSTELLUNG AUF TRAGBAREN GERÄTEN
Es können zwei zusammengesetzte stereoskopische (3D) Panoramabilder erstellt werden, indem eine Kantenabstimmung und Zusammenfügung von überlappenden Bildern durchgeführt wird. Die beiden Panoramabilder sind räumlich um einen Abstand versetzt, der in manchen Ausführungsarten dem eines menschlichen Augenpaares, z. B. 5 bis 7 oder 8 cm, entsprechen kann. Sogar größere Verschiebungen können gewählt werden, um einen ausgewählten Zoomeffekt zu erzeugen. Auf jeden Fall erscheinen Objekte im Vordergrund in einer anderen Perspektive als im Hintergrund. Dieser Unterschied verstärkt sich, je näher das Objekt an der Kamera ist.
Die 14A und 14B veranschaulichen die Erfassung von zwei Bildern durch eine digitale Kamera, die zwischen den Bilderfassungen um wenige Zentimeter verschoben ist, und die verwendet werden können, um ein dreidimensionales Komponenten-Bild zu erzeugen und mit weiteren dreidimensionalen Komponenten-Bildern zu verbinden, um ein stereoskopisches Panoramabild zu erzeugen. 15 veranschaulicht Einzelbilder aus einer Panorama-Abtastsequenz, die relative horizontale räumliche Verschiebungen der digitalen Kamera der 14A und 14B zeigen, wobei die Bildpaare verschmolzen werden, um stereoskopische Panoramabilder zu bilden. Es wird darauf hingewiesen, dass die Bilder in 15 in Rechtecken dargestellt sind, so als gäbe es sowohl vertikale als auch horizontale Verschiebungen. Doch mit den scheinbaren vertikalen Verschiebungen, die in 15 veranschaulicht sind, sollen individuelle Bilder/Einzelbilder in der Darstellung von 15 unterschieden werden, und mit ihnen sollen nicht unbedingt vertikale Verschiebungen zwischen Einzelbildern angezeigt werden, die in der Panoramaabtastung erfasst wurden. Fluktuationen in vertikalen und horizontalen Verschiebungen werden mit den oben beschriebenen Abstimmungs- und Stitching-Prozessen gehandhabt.
Wie in den 14A und 14B zu sehen ist, kann ein stereoskopisches Bildpaar zwei Bilder aufweisen, die mit einer ausreichenden relativen Verschiebung aufgenommen sind, die ausgewählt sein kann, um einen konfigurierbaren 3D-Effekt bereitzustellen. Die Verschiebungen von 5 bis 7 cm wären z. B. in der Größenordnung des Abstandes zwischen den Augen eines Menschen, die von der Natur her so angeordnet sind, um eine 3D Darstellung bereitzustellen. Größere oder etwas kleinere Abstände sind auch möglich, z. B. zwischen 2 cm und 10 cm oder 12 cm (siehe Beispiel unten) oder zwischen 3 cm und 9 cm oder zwischen 4 cm und 8 cm. Die Stereobasis kann fest oder in bestimmten Ausführungsarten vorteilhafterweise konfigurierbar sein. Dieser Verschiebungsabstand kann z. B. ein Parameter sein, auf den der Benutzer (oder der OEM/ODM) Zugriff hat, um den 3D-Effekt gezielt zu verbessern.
Wie erwähnt, kommt die Verschiebung von 5 bis 7 oder 8 cm in bestimmten Ausführungsarten von Mutter Natur. Diese Zahlen beziehen sich auf den physischen Standort von Beobachterpunkten (z. B. Augen). Diese können auf der Basis bekannter Merkmale der Optik der digitalen Kamera oder des kamerafähigen Gerätes, Photo-Handys, Kamera-Musikplayers etc., das verwendet wird, um das stereoskopische Panoramabild zu erfassen, in Pixelabstände umgewandelt werden. In der Ausführungsart von 17, die im Detail nachstehend beschrieben wird, kann z. B. der Abstand zwischen den beiden Zuschnitten konfigurierbar sein. In Tests wurde, selbst wenn diese Zuschnitte überlappen (so dass der Abstand zwischen ihrer Mitte sehr klein ist), immer noch ein bemerkenswert guter 3D-Effekt beobachtet. Kurz gesagt, je nach Erfassungsbedingungen und dem gewünschten 3D-Effekt, können die Verschiebungsabstände zwischen sehr klein und sehr groß variieren.
In Bezug auf die relativen Positionen der optischen Achse des Kameragerätes gilt folgendes: wenn man zwei Bilder aufnimmt, um den stereoskopischen Effekt zu erzeugen, kommt es unter 5 cm zu einem reduzierten stereoskopischen Effekt, wenn der Abstand geringer wird. Ein größerer Abstand erzeugt einen verbesserten stereoskopischen Effekt, was dem Eintritt des ”Beobachters” in die Szene gleichkommt. Kurz gesagt, die Brennebene scheint näher zu dem Betrachter zu rücken. Das bedeutet, dass ein Stereobild erstellt und mit einem Abstand von 7 cm und anschließend mit 8 cm, gefolgt von einem Abstand von z. B. 9, 10, 12, 14 cm betrachtet werden kann, und dass es dann so wirken wird, als würde sich der Betrachter in die Szene hineinbewegen. Die Objekte im Vordergrund werden zunehmend 3D und scheinen sich auf den Beobachter zuzubewegen, während der Hintergrund ”im Hintergrund” bleibt. So kann der Abstand je nach der gewünschten 3D-Erfahrung variiert, konfiguriert und/oder ausgewählt werden. Eine äußere Grenze des Verschiebungsabstandes für den stereoskopischen Effekt würde etwas von der Szene abhängen, die erfasst wird. Wenn z. B. nahe Objekte im Vordergrund vorhanden sind, werden sehr große Stereoabstände (z. B. > 20 cm) die Objekte im Vordergrund verzerren. Wenn keine nahen Objekte im Vordergrund vorhanden sind, könnte man höhere Verschiebungswerte, z. B. 20–30 cm oder mehr, verwenden. D. h., dass in bestimmten Ausführungsarten der Stereoabstand darauf beruht, zu bestimmen, wie nahe die Vordergrundobjekte in der Szene sind. Je näher die nächstliegenden Vordergrundobjekte sind, desto kleiner der beginnende Stereoabstand bis zu einer unteren Grenze, z. B. von ca. 5 cm.
In bestimmten Ausführungsarten können zwei Panoramasequenzen, die mit einer ähnlichen relativen Verschiebung beginnen und diese Verschiebung durch das Verschmelzen nachfolgender Bilder hindurch aufrechterhalten, ein stereoskopisches Panoramapaar liefern, und können als solches in einem 3D-Anzeigesystem oder -gerät betrachtet werden. Die beiden Panoramasequenzen können aus einer einzigen Abtastung oder alternativ aus mehr als einer Abtastung der gleichen oder ähnlichen Panoramaszene stammen, z. B. kann ein Benutzer unter anderen möglichen Alternativen von links nach rechts abtasten und dann sofort zurückkehren und die Kamera in die ursprüngliche Richtung von dem ursprünglichen Startpunkt aus richten, indem er sich von rechts nach links zurückbewegt.
In der in den 14A, 14B und 15 veranschaulichten beispielhaften Ausführungsart sind Einzelbilder wie folgt zusammengefügt: die Einzelbilder 1 + 3 + 5 + 7 werden verwendet, um eine Panoramabildmenge zu bilden, anschließend bilden die Einzelbilder 2 + 4 + 6 + 8 eine zweite Panoramabildmenge. Diese beiden verschiedenen Bildmengen werden verwendet, um zwei verschiedene Panoramabilder P1, P2 zu erzeugen, die größtenteils, aber nicht unbedingt vollständig überlappen, und Komponenten-Bilder aufweisen, die von links nach rechts zueinander versetzt sind, wie in 15 veranschaulicht.
Es müssen nicht alle Bilder beibehalten werden; es können z. B. zwischen den Einzelbildern 1 und 2 (z. B. Einzelbilder 1-2, 1-3 und 1-4) weitere Einzelbilder erfasst worden sein, aber diese wurden verworfen. 15 zeigt sogar ein Einzelbild, das zwischen Einzelbild 1 und Einzelbild 2 erfasst wurde, und zwei Einzelbilder, die zwischen Einzelbild 2 und Einzelbild 3 erfasst wurden, und zwei Einzelbilder zwischen Einzelbilder 3 und Einzelbild 4 usw., bei denen es sich um erfasste Einzelbilder handelt, die in diesem Beispiel nicht in dem stereoskopischen Panorama verwendet wurden. Das zweite Bild kann zurückgewiesen worden sein, da es nach einer Kamerabewegung von weniger als einem Schwellenwert, z. B. 5 cm, 4 cm, 3 cm etc. erfasst wurde. Das vierte und fünfte Bild kann zurückgewiesen worden sein, da es nach einer weiteren Kamerabewegung und/oder Szenenverschiebung von weniger als einem Schwellenwert, z. B. 50%, 60%, 70%, 80%, 90% etc. des Ausmaßes der Szene in Einzelbild 1 erfasst wurde, oder die Bilder verschwommen waren oder mit blinzelnden Augen oder auf andere Weise unzufriedenstellend waren (siehe z. B. die veröffentlichten amerikanischen Patentanmeldungen 20070201724, 20070201725, 20070201726, 20090190803, 2008061328).
In dieser Ausführungsart kann das tragbare Gerät eine Komponente aufweisen, die die externe Bewegung der Kamera misst. Dies kann erreicht werden durch die Verwendung eines Beschleunigungsmessers, eines Gyroskops oder eines anderen physikalischen Sensors. Es kann auch erreicht werden durch die Verwendung einer Abstimmungskomponente von Einzelbild zu Einzelbild, die Pixelbewegungen zwischen aufeinanderfolgenden Einzelbildern einer Bild- oder Videoerfassungssequenz bestimmen kann, und so kalibriert wurde, dass sie diese Pixelbewegung zu der externen physikalischen Bewegung des Bilderfassungsgerätes in Beziehung setzt.
In dieser Ausführungsart werden verschiedene Einzelbilder einer Abtastung verwendet, um die Panoramabilder herzustellen. Zwei Panoramas können aus einer einzigen Abtastbewegung stammen. Jedes der Einzelbilder in der zweiten Abtastung ist innerhalb einer vorgegebenen akzeptablen Entfernung, z. B. 5–7,5 cm, oder siehe die Diskussion oben, von dem entsprechenden Einzelbild in dem ersten Panorama verschoben. Ein Bewegungssensor oder eine andere Kalibrierung, die ein Verschiebungsverfahren von Einzelbild zu Einzelbild erlaubt, wird verwendet, um zu bestimmen, wann sich die Kamera zwischen 5–7,5 cm oder einem anderen ausgewählten oder konfigurierten Verschiebungsabstand bewegt hat.
Die Kamera kann von einem Benutzer oder auf einem mechanischen, drehbaren Stativ kreisförmig oder in einer etwas weniger als kreisförmigen Abtastbewegung bewegt werden. Mit einer einzelnen Abtastung werden zwei räumlich versetzte Panoramas erzeugt, während sich der Benutzer nicht bewegen oder kein zweites Panorama erfassen muss.
Die 16A–16B veranschaulichen ein Verhältnis zwischen Panoramaabtastradius und einem weitaus kürzeren Abstand der Verschiebung der digitalen Kamera zwischen der Erfassung von zu verschmelzenden Bildpaaren, um stereoskopische Panoramabilder zu bilden. Der Abstand (Verzögerung) zwischen den Einzelbildern, z. B. 5–7,5 cm beträgt etwas weniger als der Radius der Abtastung, z. B. 1,2 m oder eine andere Länge eines menschlichen Armes, so dass die Bewegung zwischen jedem Paar von Einzelbildern ungefähr parallel zu der Szene ist. 0,075 m sind z. B. weitaus weniger als 1,2 m (ca. 6%) und Tests haben gezeigt, dass sogar bis zu 15% gute stereoskopische Panoramabilder geliefert werden.
17 veranschaulicht ein Verfahren zur Erzeugung eines stereoskopischen (3D) Panoramabildes gemäß bestimmten weiteren Ausführungsarten unter Verwendung von linken und rechten Zuschnitten aus einzelnen Schlüsselbildern. Bei diesen Ausführungsarten kann, anstatt verschiedene Schlüsselbilder für zwei stereoskopische Panoramas auszuwählen, ein ”linker” und ”rechter” Zuschnitt an jedem der Schlüsselbilder ausgewählt werden. D. h., dasselbe Schlüsselbild wird für beide Panoramabilder verwendet, während das erste Panorama von einem LH-Abschnitt (linken) des Schlüsselbildes begonnen wird, und das zweite, verschobene Panorama von dem RH-Abschnitt (rechten) des Schlüsselbildes begonnen wird. Der Abstand zwischen der äußersten linken Kante des LH-Abschnittes und der äußersten linken Kante des RH-Abschnittes des Schlüsselbildes sollte äquivalent sein (in Pixel) zu der 5–8 cm physischen Verschiebung entsprechend dem Abstand des menschlichen Auges, oder je nach dem gewünschten 3D-Effekt, wie oben besprochen, anderweitig konfiguriert, verändert oder ausgewählt sein. Selbst in den anderen beschriebenen Ausführungsarten können Zuschnitte verwendet werden.
Der in 17 veranschaulichte Ansatz hat mindestens die folgenden Vorteile: die Stereobasis kann fest sein und weitere Maßnahmen sind nicht erforderlich, um sie feststehend zu halten. Bei anderen Ansätzen kann es sein, dass die Stereobasis aufgrund der von dem Benutzer durchgeführten variablen Schwenkgeschwindigkeit schwer zu kontrollieren ist.
Da für die linken und rechten Panoramas dieselben Schlüsselbilder verwendet werden, wird die Abstimmung nur ein Mal für links und rechts durchgeführt. Durch dieses Merkmal wird der Abstimmungsvorgang um die Hälfte reduziert und bestimmte Instabilitäten bei der Aufrechterhaltung der Stereobasis werden verhindert.
Diese Ausführungsart bewältigt auch perspektivische Verzerrungen gut, indem Zuschnitte gewählt werden, die schmal genug sind.
Mehr als zwei Zuschnitte können in diesen Ausführungsarten verwendet werden, z. B. um mehrere Stereobasen zu haben. Bei einer alternativen Ausführungsart können mehr als zwei Panoramabilder erfasst werden. Bei einer solchen Ausführungsart können das erste und zweite Panoramabild eine feststehende Verschiebung, z. B. 7 cm, das zweite und dritte können eine andere Verschiebung, z. B. 5 cm, aufweisen. Ein stereoskopisches Bild kann aus dem ersten und zweiten Panoramabild erstellt werden, während ein zweites stereoskopisches Bild aus dem ersten und dritten stereoskopischen Bild erstellt werden kann. Dies kann einen verbesserten stereoskopischen Effekt haben, da die Verschiebung zwischen den Szenen 12 cm betragen würde.
Dieses zweite stereoskopische Panoramabild kann den scheinbaren Effekt haben, die Benutzerperspektive zu der Hauptszene hin zu verschieben. Mit anderen Worten, die weitere stereoskopische Verschiebung (12 cm) lässt Vordergrundobjekte näher erscheinen. Wenn mehrere zusätzliche Panoramas erstellt werden, wird es möglich, einen stereoskopischen Effekt zu erzeugen, der die Illusion schafft, dass sich der Benutzer tiefer in die Szene hineinbewegt (oder aus der Szene zurückbewegt, wenn die Bilder in der umgekehrten Reihenfolge angezeigt werden). Dieses Verfahren ermöglicht die Schaffung recht anspruchsvoller Diashow-Effekte, die einen 3D-Schwenkeffekt umfassen. Dies unterscheidet sich vom einfachen Hineinzoomen in eine Bildszene, weil sich die 3D-Ansicht von Vordergrundobjekten verändert, und das Ausmaß der Veränderung steht in direkter Beziehung zu dem Abstand dieser Objekte von der Kamera. In einer weiteren alternativen Ausführungsart kann eine Sequenz dieser stereoskopischen Schwenk-/Zoom-Effekte erfasst werden, um eine 3D-Videosequenz zu erstellen, die von einer einzelnen Panoramaabtastung mit der Kamera stammt.
Während beispielhafte Zeichnungen und bestimmte Ausführungsarten der vorliegenden Erfindung beschrieben und veranschaulicht wurden, versteht es sich, dass der Schutzbereich der vorliegenden Erfindung nicht auf die einzelnen besprochenen Ausführungsarten beschränkt ist. Somit sind die Ausführungsarten eher als veranschaulichend und nicht als einschränkend anzusehen und es sollte klar sein, dass Fachleute auf dem Gebiet Veränderungen an diesen Ausführungsarten vornehmen können, ohne dass sie sich dadurch aus dem Schutzbereich der vorliegenden Erfindung, wie sie in den nachfolgenden Ansprüchen dargelegt ist, und ihren baulichen und funktionellen Äquivalenten entfernen.
Mit Verfahren, die gemäß bevorzugten und alternativen Ausführungsarten und hierin dargelegten Ansprüchen durchgeführt werden können, wurden die Arbeitsgänge außerdem in ausgewählten typographischen Sequenzen beschrieben. Doch die Sequenzen wurden im Hinblick auf ihre typographische Zweckmäßigkeit ausgewählt und angeordnet und sie sollen keine bestimmte Reihenfolge für die Durchführung der Arbeitsgänge implizieren, es sei denn, eine bestimmte Reihenfolge ist ausdrücklich als erforderlich angesehen oder wird von den Fachleuten in dem Gebiet für nötig gehalten.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20090022422 [0013, 0014]
US 20090021576 [0014, 0015]
US 20060268130 [0015]
US 20060171464 [0095]
US 20080309769 [0095, 0112]
US 2008/0219581 [0148]
US 7606417 [0153, 0158]
US 7460695 [0153]
US 7469055 [0153]
US 7460694 [0153]
US 7403643 [0153]
US 7315631 [0153]
US 7565030 [0155, 0160]
US 7440593 [0155]
US 7469071 [0158]
WO 2007/142621 [0160]

Zitierte Nicht-Patentliteratur

Sethian et al., A Fast Marching Level Set Method for Monotonically Advancing Fronts, Proceedings der National Academy of Sciences, eingereicht am 20. Oktober 1995 [0135]
Dijkstra, E. W. (1959), ”A note on two problems in connexion with graphs” [0136]
http://wwwm3.ma.tum.de/twiki/pub/MN0506/WebHome/dijkstra.pdf [0136]
Sniedovich, M. (2006) ”Dijkstra's algorithm revisited: the dynamic programming connexion” (PDF). Journal of Control and Cybernetics 35 (3): 599–620 [0136]
http://matwbn.icm.edu.pl/ksiazki/cc/cc35/cc3536.pdf [0136]
”Image Alignment and Stitching: A Tutorial” von Richard Szeliski (Preliminary draft, 27. September 2004, Technical Report, MSR-TR-2004-92, Seiten 8–10) [0162]

Claims

Verfahren zur Erzeugung eines stereoskopischen Panoramabildes, wobei das Verfahren folgendes aufweist: Festlegen eines Belichtungswertes zur Erfassung des Panoramabildes mit dem tragbaren Bilderfassungsgerät; Schwenken des Bilderfassungsgerätes über eine Szene; Erfassen mehrerer, teilweise überlappender Einzelbilder von Teilen der Szene, einschließlich der Verwendung eines optischen Sensors und eines Bildsensors des tragbaren Bilderfassungsgerätes; Abstimmen der Einzelbilder, einschließlich Bestimmen von Verschiebungen des Bilderfassungsgerätes zwischen den Erfassungen von Einzelbildern; Erzeugen mehrerer Panoramabilder, einschließlich Zusammenfügen von Einzelbildern der Szene gemäß räumlicher Beziehungen und Bestimmen stereoskopischer entsprechender Beziehungen zwischen den mehreren Panoramabildern; Bearbeiten der mehreren Panoramabilder auf der Grundlage der stereoskopischen entsprechenden Beziehungen, um ein stereoskopisches Panoramabild zu bilden; und Speichern, Übertragen oder Anzeigen des stereoskopischen Panoramabildes oder Kombinationen davon.
Verfahren nach Anspruch 1, wobei das Bestimmen von Verschiebungen das Messen der Verschiebungen aufweist.
Verfahren nach Anspruch 1, wobei das Bestimmen von Verschiebungen das Bestimmen von Verschiebungen in mindestens zwei Dimensionen aufweist.
Verfahren nach Anspruch 3, wobei die mindestens zwei Dimensionen zwei Dimensionen orthogonal zu der Tiefendimension aufweisen.
Verfahren nach Anspruch 4, wobei das Bestimmen von Verschiebungen das Bestimmen von Verschiebungen in drei Dimensionen, einschließlich der Tiefendimension, aufweist.
Verfahren nach Anspruch 1, wobei das Bestimmen stereoskopischer entsprechender Beziehungen folgendes aufweist: das Paaren von Einzelbildern mit relativen Verschiebungen innerhalb eines ersten vorgegebenen Bereichs, der so gestaltet ist, dass er einen ausgewählten stereoskopischen Effekt liefert; das Kombinieren von gepaarten Einzelbildern, um stereoskopische Komponenten-Bilder zu bilden; und das Beibehalten gepaarter Einzelbilder, die eine Überlappung mit angrenzenden gepaarten Einzelbildern innerhalb eines zweiten vorgegebenen Bereichs aufweisen.
Verfahren nach Anspruch 6, wobei der erste vorgegebene Bereich 5 bis 7,5 cm aufweist.
Verfahren nach Anspruch 1, wobei die teilweise Überlappung zwischen 10% und 50% Überlappung aufweist.
Verfahren nach Anspruch 1, das weiterhin das verschachtelnde Zusammenfügen von Paaren von Einzelbildern mit Erfassen oder Erzeugen, oder beidem, von nächsten Einzelbildern aufweist.
Verfahren nach Anspruch 1, wobei der erste vorgegebene Bereich nicht größer ist als 15% eines Schwenkradius des Bilderfassungsgerätes.
Verfahren zum Erzeugen eine Panoramabildes unter Verwendung eines tragbaren Bilderfassungsgerätes, wobei das Verfahren folgendes aufweist: Festlegen eines Belichtungswertes zur Erfassung des Panoramabildes mit dem tragbaren Bilderfassungsgerät; Schwenken des Bilderfassungsgerätes über eine Szene; Erfassen von mindestens zwei Satz Bildern, die jeweils mindestens zwei Einzelbilder von Teilen der Szene aufweisen, und Bearbeiten dieser Sätze, wobei das Erfassen die Verwendung eines optischen Sensors und eines Bildsensors des tragbaren Bilderfassungsgerätes aufweist, wobei das Bearbeiten folgendes aufweist: Aussortieren und Beibehalten der mindestens zwei Einzelbilder der mindestens zwei Sätze; Bestimmen relativer Verschiebungen zwischen im wesentlichen überlappenden Einzelbildern innerhalb der mindestens zwei Sätze von Einzelbildern; Abstimmen von Bildern innerhalb der mindestens zwei Sätze relativ zueinander; Verbinden der im wesentlichen überlappenden Einzelbilder; Zusammenfügen von Komponenten-Bildern des Panoramabildes; und Speichern, Übertragen oder Anzeigen des Panoramabildes oder Kombinationen daraus.
Verfahren nach Anspruch 11, das weiterhin das Bestimmen einer relativen Verschiebung zwischen einem ersten oder anderweitig entsprechenden erfassten Einzelbild jedes der zwei oder mehr Sätze von Einzelbildern aufweist.
Verfahren nach Anspruch 11, das weiterhin das Abstimmen eines verbundenen Panoramabildes aufweist, das aus Bildern eines jeden der zwei oder mehr Sätze stammt.
Verfahren nach Anspruch 11, das weiterhin das verschachtelnde Zusammenfügen von Paaren von Einzelbildern mit Erfassen oder Erzeugen, oder beidem, von nächsten Einzelbildern aufweist.
Tragbares, kamerafähiges Gerät, das in der Kamera ein Panoramabild erzeugen kann, welches ein Objektiv, einen Bildsensor, einen Prozessor und einen prozessorlesbaren Datenträger mit eingebettetem Code zum Programmieren des Prozessors aufweist, um ein Verfahren der Panoramabilderzeugung nach einem der obigen Ansprüche durchzuführen.
Ein oder mehrere computerlesbare Speichermedien mit eingebettetem Code für die Programmierung eines Prozessors, um ein Verfahren der Panoramabilderzeugung nach einem der Ansprüche 1–14 durchzuführen.