DE102006025651A1

DE102006025651A1 - Verfahren und Anordnung zur Behandlung von Datensätzen bildgebender Sensoren sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium

Info

Publication number: DE102006025651A1
Application number: DE200610025651
Authority: DE
Inventors: Thomas Brenner; Henrik Battke
Original assignee: Individual
Current assignee: Here Global BV
Priority date: 2006-05-29
Filing date: 2006-05-29
Publication date: 2007-12-06
Also published as: CN101554043B; CN101554043A

Abstract

Die Erfindung betrifft ein Verfahren und eine Anordnung zur Behandlung von Datensätzen bildgebender Sensoren sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium, welche insbesondere einsetzbar sind für die Erstellung von Panoramafotos unter Verwendung von mobilen Endgeräten, wie beispielsweise einer Digitalkamera, eines Mobiltelefons oder dergleichen. Hierfür wird vorgeschlagen, bei dem Verfahren zur Behandlung von Datensätzen bildgebender Sensoren mehrere aufeinanderfolgende Datensätze eines bildgebenden Sensors zumindest teilweise zu lesen, während des Lesens weiterer Datensätze gelesene Datensätze zu analysieren, um einander entsprechende Bereiche innerhalb der gelesenen Datensätze zu ermitteln, und Daten mehrerer aufeinanderfolgender Datensätze bei einer Ausgabe über Mittel zur Datenausgabe zu einem Panoramabild zusammengefügt werden.

Description

Die Erfindung betrifft ein Verfahren und eine Anordnung zur Behandlung von Datensätzen bildgebender Sensoren sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium, welche insbesondere einsetzbar sind für die Erstellung von Panoramafotos unter Verwendung von mobilen Endgeräten, wie beispielsweise einer Digitalkamera, eines Mobiltelefons oder dergleichen.
Geräte zur Erzeugung von Panoramafotos sind bereits bekannt. Allerdings werden bei den bekannten Lösungen stets besondere optische Einheiten eingesetzt, um die Motive in dem gewünschten Panoramaformat auf den optischen bzw. bildgebenden Sensor, beispielsweise einen (analogen) Film oder ein CCD-Chip, abzubilden. Die hierfür eingesetzten optischen Einheiten bedeuten aber stets einen zusätzlichen Aufwand an Material. Darüber hinaus entstehen, insbesondere bei qualitativ hochwertigen Geräten oder bei Geräten, mit denen extrem weite Winkel aufgenommen werden können, zum Teil erhebliche zusätzliche Kosten.
Andere bekannte Verfahren, besonders die in Digitalkameras zum Einsatz kommenden, erfordern vom Nutzer die manuelle überlappende Positionierung und Ausrichtung der Kamera, damit die Bilder anschließend teils automatisch oft aber mit manueller Korrektur zusammengeführt werden können. Die besseren Verfahren zeigen dem Nutzer z.B. noch halbtransparent ein vertikalen Streifen vom letzten Bild, um die Positionierung zu erleichtern. Bei schwierigen Szenen mit ähnlichen Objekten z.B. einer Felsenwand ist dies häufig trotzdem problematisch.
Eine weitere praktizierte Möglichkeit ist die Aufnahme eines Videos, aus dem dann im Nachhinein das Panorama durch Bildanalyse extrahiert wird. Diese erfordert jedoch das Speichern von sehr vielen Datensätzen im beschränkt großen Hauptspeicher, was mit höheren Auflösungen schnell auf Grenzen, speziell bei Kleinstgeräten wie Digitalkameras und Handys, stößt.
Beide Verfahren erlauben dem Nutzer keine Vorschau des entstehenden Bildes, sonder immer nur die Ansicht des aktuell aufzunehmenden Bildes/Datensatzes. Bereits aufgenommene Datensätze sind nicht sichtbar.
Die Aufgabe der Erfindung besteht somit darin, ein Verfahren und eine Anordnung zur Behandlung von Datensätzen bildgebender Sensoren sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium bereitzustellen, welche die Nachteile der bekannten Lösungen beheben sowie insbesondere die Aufnahme von Panoramen ermöglichen, deren Aufnahmewinkel beliebig gewählt werden kann.
Die Aufgabe wird erfindungsgemäß durch die Merkmale in den Ansprüchen 1, 17, 22 und 23 gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen enthalten.
Ein besonderer Vorteil der Erfindung besteht darin, dass Panoramafotos mit Geräten, wie beispielsweise Mobiltelefonen, aufgenommen werden können, die nicht über eine spezielle Panoramaoptik verfügen, sondern lediglich mit Linsen in Standardausführung ausgestattet sind. Diese Erweiterung der Aufnahmemöglichkeiten wird dadurch erreicht, dass bei dem erfindungsgemäßen Verfahren zur Behandlung von Datensätzen bildgebender Sensoren in schneller Abfolge nacheinander aufeinanderfolgende Datensätze eines bildgebenden Sensors von einer Datenverarbeitungseinheit wenigstens teilweise gelesen werden. Während weitere Datensätze der bildgebenden Sensoren ausgelesen werden, werden (vorzugsweise automatisch) bereits gelesenen, vorangehende Datensätze analysiert, um einander entsprechende Bereiche innerhalb der gelesenen Datensätze zu ermitteln. Vorzugsweise werden die gelesenen Daten als Bilddaten analysiert, wobei in den Bilddatensätzen übereinstimmende Bildbereiche gesucht werden. Hierbei können alle geeigneten Verfahren der Bildverarbeitung genutzt werden. Auf Basis der ermittelten, einander entsprechenden Bereiche, d.h. der übereinstimmenden Bildbereiche, werden Datensätze mehrerer aufeinander folgender Datensätze nach und nach zu einem Gesamtbild zusammengefügt. Dieses Gesamtbild umfasst nun Daten, welche eine Szene abbilden, die größer ist als die durch einen einzigen Datensatz des bildgebenden Sensors abbildbare Szene. Vorteilhafterweise werden die das Gesamtbild erzeugenden Daten gemeinsam abgespeichert und/oder über Mittel zur Datenausgabe ausgegeben. Die Daten des Gesamt bildes können dabei visuell ausgegeben oder in Dateiform an andere Datenverarbeitungseinrichtungen, beispielsweise für eine Weiterverarbeitung, übertragen werden.
Eine Anordnung zur Behandlung von Datensätzen bildgebender Sensoren nach der Erfindung umfasst mindestens einen bildgebenden Sensor und mindestens eine Datenverarbeitungseinrichtung mit Speichermitteln oder mindestens einen bildgebenden Sensor, mindestens eine Datenverarbeitungseinrichtung mit Speichermitteln und mindestens ein Mittel zur Datenausgabe, wobei die Anordnung derart eingerichtet ist, dass mehrere aufeinanderfolgende Datensätze des mindestens einen bildgebenden Sensors zumindest teilweise ausgelesen werden, gelesene Datensätze analysiert werden, um einander entsprechende Bereiche innerhalb der gelesenen Datensätze zu ermitteln, und Datensätze mehrerer aufeinander folgender Datensätze zusammen mit Informationen über einander entsprechende Bereiche in den Speichermitteln abgespeichert und/oder über Mittel zur Datenausgabe ausgegeben werden, wobei bei einer, vorzugsweise visuellen, Ausgabe Daten des mindestens einen bildgebenden Sensors zu einem Bild zusammengefügt werden. In einer bevorzugten Ausführungsform der erfindungsgemäßen Anordnung ist vorgesehen, als bildgebenden Sensor einen CCD-Sensor (CCD = Charge Coupled Device) oder einen CMOS-Sensor (CMOS = Complementary Metal Oxide Semiconductor) einzusetzen.
Um die mit dem bildgebenden Sensor zu detektierenden Szenen in wohldefinierter Weise auf den bildgebenden Sensor abzubilden, ist in einer bevorzugten Ausführungsform der erfindungsgemäßen Anordnung vorgesehen, dem bildgebenden Sensor eine optische Einheit zur Abbildung von Szenen auf dem mindestens einen bildgebenden Sensor vorzuschalten.
Vorzugsweise ist die optische Einheit als Linsensystem, beispielsweise als Kameraobjektiv, ausgebildet.
Es erweist sich darüber hinaus als vorteilhaft, wenn die erfindungsgemäße Anordnung eine Aktivierungseinheit umfasst, durch welche das Auslesen der Datensätze aus dem bildgebenden Sensor aktiviert werden kann. Eine solche Aktivierungseinheit kann bei einer Kamera oder einem Mobiltelefon mit Kamerafunktion beispielsweise als Auslöser ausgebildet sein.
Vorzugsweise umfassen die Mittel zur Datenausgabe auch Mittel zur visuellen Ausgabe von Daten des mindestens einen bildgebenden Sensors.
In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass durch die Aktivierungseinheit eine Auslösefunktion aktiviert wird, und während einer dauerhaften Aktivierung der Auslösefunktion mehrere aufeinanderfolgende Datensätze des bildgebenden Sensors gelesen werden. Vorzugsweise werden die Datensätze bei aktivierter Auslösefunktion permanent gelesen, d.h. es werden einem Film vergleichbar einzelne Bilder in schneller Folge und sequentiell ausgelesen.
Eine bevorzugte Ausführungsform der erfindungsgemäßen Anordnung sieht vor, dass der mindestens eine bildgebende Sensor in ein mobiles Endgerät, beispielsweise eine Digitalkamera, einen Personal Digital Assistent (PDA) oder ein Mobiltelefon, integriert ist. Die Aktivierungseinheit ist in diesen Fällen der Auslöser. Solange der Auslöser gedrückt wird, werden Datensätze aus dem bildgebenden Sensor ausgelesen, analysiert und zu einem Gesamtbild zusammengefügt. Alternativ kann vorgesehen sein, dass der Auslösevorgang durch eine erste einmalige Betätigung der Aktivierungseinheit gestartet und durch eine zweite einmalige Betätigung der Aktivierungseinheit beendet wird. Zwischen dem Drücken und Loslassen der Aktivierungseinheit (Auslöser) bzw. zwischen der ersten und der zweiten einmaligen Betätigung der Aktivierungseinheit ist die Auslösefunktion aktiviert und Datensätze werden aus dem bildgebenden Sensor ausgelesen. Die Datensätze oder wenigstens ein Teil der Datensätze, die während einer solchen einmaligen dauerhaften Aktivierung der Auslösefunktion gelesen wurden, werden zu einem Gesamtbild zusammengefügt. Ein Panoramabild wird dann dadurch erzeugt, dass während des Lesens der Datensätze der bildgebende Sensor relativ zu einer zu detektierenden Szene bewegt wird. In dem Falle, dass der bildgebende Sensor in ein mobiles Endgerät, beispielsweise ein Mobiltelefon, eine Digitalkamera oder ein PDA integriert ist, wird ein solches Panoramabild erzeugt, indem das mobile Endgerät bei gedrückter Auslösefunktion geschwenkt wird, um die gewünschte Szene aufzunehmen. Zusammengesetzte Bilder in Art eines Panoramabildes kann man jedoch auch erhalten, indem man aus einem sich bewegenden Fahrzeug heraus fotografiert, ohne die Kamera zu bewegen. Es ist also nur nötig, dass sich bildgebender Sensor und zu detektierende Szene relativ zueinander bewegen.
In einer anderen bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass bei der Analyse der gelesenen Datensätze eine 2D-Transformation zwischen zwei aufeinanderfolgenden Bildern ermittelt wird. Vorzugsweise wird diese 2D-Transformation mittels 2D-Homographie oder einer projektiven Transformation ermittelt. Die projektive Transformation kann dabei in vereinfachter Form beispielsweise als Lukas-Canade-Algorithmus ausgeführt werden. Vorteilhafterweise wird die Analyse der Datensätze permanent und/oder in Echtzeit (realtime) analysiert. Die Analyse liefert dabei vorteilhafterweise insbesondere auch Daten über den Ablauf der Bewegung des bildgebenden Sensors relativ zu der Szene.
In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden die Ergebnisse dieser Analyse dazu genutzt, um zu ermitteln, wann ein weiteres Teilbild der Szene gespeichert werden muss und/oder wie dieses Teilbild an die bereits gespeicherten Teilbilder anzufügen ist. Vorzugsweise erfolgt diese Ermittlung voll automatisch.
In einer weiteren bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass Datensätze unterschiedlicher Auflösung von dem bildgebenden Sensor gelesen werden. Die Analyse kann auch mit Datensätzen einer relativ geringen Auflösung durchgeführt werden. Deshalb werden hierfür auch nur Bilddaten mit geringer Auflösung gelesen. Wenn ein neuer Datensatz an bereits gespeicherte Daten angefügt werden soll, wird dieser Datensatz in höherer Auflösung gelesen (und gespeichert). Dieses Vorgehen führt zu einer schnelleren Verarbeitung, da die Analyse nur auf kleinen Datensätzen erfolgen muss; zudem wird für die Analyse weniger Speicher nötig.
Ein weiterer besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass gegenüber einer herkömmlichen Datenanalyse im Nachhinein nicht alle gelesenen Datensätze gespeichert werden müssen. Solange die Analyse der gelese nen Datensätze ergibt, dass ein gelesener Datensatz noch nicht zu den bereits gespeicherten hinzugefügt werden soll, muss dieser Datensatz auch nicht gespeichert werden. So ist es beispielsweise möglich, dass die Überlappung des aktuell gelesenen Datensatzes mit dem bereits gespeicherten Bild noch weite Bildbereiche umfasst und die Analyse ergibt, dass die Überlappung des bereits gespeicherten Bildes mit dem nachfolgend gelesene Datensatz auch noch die Generierung des Panoramabildes ermöglicht; dann kann der vorangehende Datensatz verworfen werden. Der nachfolgende Datensatz wird gegebenenfalls gespeichert – falls nicht der auf ihn folgende für die Zusammenstellung des Panoramas besser geeignet ist. Durch dieses Vorgehen kann der erforderliche Speicherplatz erheblich reduziert werden.
Um den Fortschritt bei der Erzeugung eines Panoramabildes beurteilen zu können, ist in einer anderen bevorzugten Ausführungsform vorgesehen, die Entstehung des Panoramabildes permanent und/oder als Echtzeitvorschau auf einem visuellen Ausgabemittel, vorzugsweise einem Display oder Bildschirm der Aufnahmevorrichtung, anzuzeigen. Eine solche Echtzeitvorschau unterstützt die Benutzung der Erfindung, da der Nutzer durch die Echtzeitvorschau den Aufnahmevorgang beobachten und so beispielsweise die Geschwindigkeit seiner manuellen Bewegung anpassen kann, um ein optimales Ergebnis zu erhalten.
Ein Computerprogramm zur Behandlung von Datensätzen bildgebender Sensoren ermöglicht es einer Datenverarbeitungseinrichtung, nachdem es in den Speicher der Datenverarbeitungseinrichtung geladen worden ist, ein Verfahren zur Behandlung von Datensätzen bildgebender Sensoren durchzuführen, wobei mehrere aufeinanderfolgende Datensätze eines bildgebenden Sensors zumindest teilweise gelesen werden, gelesene Datensätze analysiert werden, um einander entsprechende Bereiche innerhalb der gelesenen Datensätze zu ermitteln, und

– Daten mehrerer aufeinanderfolgender Datensätze zusammen mit Informationen über einander entsprechende Bereiche und/oder
– Daten mehrerer aufeinanderfolgender Datensätze in einer Datei abgespeichert und/oder
– Daten mehrerer aufeinanderfolgender Datensätze bei einer Ausgabe über Mittel zur Datenausgabe zu einem Bild zusammengefügt werden.

Solche Computerprogramme können beispielsweise (gegen Gebühr oder unentgeltlich, frei zugänglich oder passwortgeschützt) downloadbar in einem Daten- oder Kommunikationsnetz bereitgestellt werden. Die so bereitgestellten Computerprogramme können dann durch ein Verfahren nutzbar gemacht werden, bei dem ein Computerprogramm nach Anspruch 22 aus einem elektronischen Datennetz, wie beispielsweise aus dem Internet, auf eine an das Datennetz angeschlossene Datenverarbeitungseinrichtung heruntergeladen wird.
Um das erfindungsgemäße Verfahren zur Behandlung von Datensätzen bildgebender Sensoren durchzuführen, ist vorgesehen, ein computerlesbares Speichermedium einzusetzen, auf dem ein Programm gespeichert ist, das es einer Datenverarbeitungseinrichtung ermöglicht, nachdem es in den Speicher der Datenverarbeitungseinrichtung geladen worden ist, ein Verfahren zur Behandlung von Datensätzen bildgebender Sensoren durchzuführen, wobei mehrere aufeinanderfolgende Datensätze eines bildgebenden Sensors zumindest teilweise gelesen werden, gelesene Datensätze analysiert werden, um einander entsprechende Bereiche innerhalb der gelesenen Datensätze zu ermitteln, und

Die Erfindung gestattet es beispielsweise, beim Treffen mehrerer Freunde, z.B. auf einer Party, durch einen „Rundum-Schnappschuss" alle Teilnehmer mit herkömmlichen Kameras, sei es eine Digitalkamera, ein Mobiltelefon oder ein PDA, zu photographieren. Desgleichen sind mit der Erfindung Panoramaaufnahmen von Aussichtspunkten oder Berggipfeln aus möglich; oder auch Photographien von historischen Plätzen – und zwar mit vollkommen frei wählbarem Winkel. Der Bildwinkel ist nicht einmal auf 360° eingeschränkt.
Die Aufnahme von Panoramafotos mit der Erfindung ist denkbar einfach durchzuführen: ein Schwenken des Aufnahmegerätes (Digitalkamera, Mobiltelefon o. dgl.) in dem gewünschten Winkel bei gedrücktem Auslöser ist alles, was man tun muss. Eine auf dem Aufnahmegerät installierte Software zur Steuerung des Auslesens der Bilddaten aus dem bildgebenden Sensor, zur Analyse und zum Zusammensetzen der Bilddaten zu dem Panoramabild generiert ohne weitere Nutzereingriffe das aufgenommene Panoramabild. Es handelt sich somit um ein voll automatischen Verfahren, welches vor, während oder nach der Aufnahme des Panoramabildes keine Nutzerinteraktion erfordert.
Nachfolgend soll die Erfindung am Beispiel einer Digitalkamera näher erläutert werden. Die Erfindung ist jedoch nicht auf dieses spezielle Ausführungsbeispiel beschränkt, sondern vielmehr sind auch Ausführungsformen der Erfindung denkbar, bei denen der bildgebende Sensor in anderen Geräten oder Instrumenten angeordnet ist.
Bei dem hier beschriebenen Ausführungsbeispiel ist der bildgebende Sensor, das kann ein CCD-Chip oder ein CMOS-Chip sein, in eine Digitalkamera integriert. In diesem Falle ist dem bildgebenden Sensor eine optische Einheit mit optischen Parametern, d.h. in diesem Falle ein Objektiv, vorgelagert, durch welche die mit der Kamera aufzunehmenden Szenen auf den bildgebenden Sensor abgebildet werden. Zur Ausführung des erfindungsgemäßen Verfahrens ist auf einer in die Digitalkamera integrierten Datenverarbeitungseinrichtung, z.B. einem Prozessor, ein Algorithmus gespeichert. Der Algorithmus steuert insbesondere das Auslesen der Bilddatensätze, die Analyse derselben, das Abspeichern und das Zusammensetzen der Teilbilder zu einem Gesamtbild.
Bei dem Auslesevorgang werden, ähnlich einem Film, einzelne Bilder in schneller Folge und sequentiell ausgelesen und analysiert. Dabei kann ein Bild ein vollständiger Datensatz des Sensors (Vollbild), ein Teilbild oder ein skaliertes Bild sein.
Die Datenverarbeitungseinrichtung liest dabei einen Sensordatensatz, verarbeitet diesen vorzugsweise sofort und liest anschließend den nächsten Sensordatensatz. Die Lesefrequenz, in der die Datensätze des bildgebenden Sensors gelesen werden, hängt vom Sensor und dem Datenverarbeitungssystem sowie der gewünschten Systemlast bzw. der Verarbeitungsgeschwindigkeit ab.
In einer beispielhaften Ausführungsform des erfindungsgemäßen Verfahrens umfasst die Analyse der Sensordatensätze folgende Schritte:

1. Optional die Durchführung einer projektiven Abbildung des Bildes, z.B. durch eine zylindrische Projektion;
2. Ermittlung einer 2D-Transformation zwischen zwei aufeinanderfolgenden Bilddatensätzen mittels 2D-Homographie oder einer projektiven Transformation, wobei die projektive Transformation in vereinfachter Form als Lukas-Canade-Algorithmus ausgeführt wird;
3. Aufsummierung der 3D-Transformationen, solange bis ein bestimmter Schwellenwert erreicht wird, und nach Erreichen dieses Schwellwertes Übergang zum Schritt
4. überlappendes Überblenden des aktuellen Bildes mit dem bzw. den Vorgängerbild(ern) und Abspeichern der Daten in einen Daten- oder Festspeicher. Der abgespeicherte Bilddatensatz des (Teil-)Panoramabildes wird somit sukzessive durch die Bilddaten des jeweils aktuellen Bildes erweitert. Vorzugsweise werden alle Bilddaten des Panoramabildes in einer einzigen Datei abgespeichert.

Die Schritte des Aufnahmeprozesses, d.h. Lesen, Analysieren und Abspeichern der Bilddatensätze, wird solange fortgeführt, wie die Auslösefunktionalität aktiviert bleibt, d.h. solange bis die gewünschte Szene abgebildet ist.
In einer weiteren beispielhaften Ausführungsform des Bearbeitungsverfahrens für Bilddatensätze wird abschließend für das gesamte Panoramabild eine projektive Abbildung als Post Processing durchgeführt. Vorzugsweise erfolgt dies insbesondere, wenn die optionale projektive Abbildung des gelesenen Bilddatensatzes im oben genannten Schritt 1 nicht durchgeführt wurde.
In einer beispielhaften Ausführungsform des erfindungsgemäßen Verfahrens ist weiterhin vorgesehen, dass die Ergebnisse des Analysealgorithmus aufgezeichnet und dazu benutzt werden, um unter Berücksichtigung der optischen Parameter des Objektivs (der optischen Einheit), vorzugsweise voll automatisch, zu ermitteln, wann ein weiteres Teilbild der Szene abgespeichert und dem bereits abgespeicherten Teilpanoramabild hinzugefügt werden muss. Die Ergebnisse der Auswertung durch den Analysealgorithmus werden weiterhin genutzt, um, vorzugsweise voll automatisch, zu ermitteln, wie die Bilddatenwerte des Bilddatensatzes des aktuellen Teilbildes an die bereits gespeicherten Teilbilder, welche das Teilpanoramabild darstellen, anzufügen sind. Nach dem Hinzfügen des letzten Bilddatensatzes zu den Bilddaten des Teilpanoramabildes liegt ein Basisdatensatz des Gesamtpanoramabildes vor. Dieser Datensatz des Gesamtpanoramabildes kann bei entsprechender Bildverarbeitung während des Analyse- und Zusammenfügungsprozesses bereits die Endfassung des gesamten Panorama bildes darstellen. Insbesondere kann dies der Fall sein, wenn für jeden eingelesenen Datensatz eines Einzelbildes die projektive Abbildung gemäß dem oben genannten Schritt 1 durchgeführt wird.
In einer anderen beispielhaften Ausführungsform ist jedoch vorgesehen, für das gesamte Panoramabild einen Nachbearbeitungsschritt auszuführen, bei dem das Panoramabild beispielsweise bezüglich Verzerrungen unter Berücksichtigung der aufgezeichneten Bewegungsdaten und der optischen Parameter des Objektivs korrigiert wird. Die Ausführung dieses Nachbearbeitungsschrittes ist besonders vorteilhaft, wenn auf dem oben genannten, optionalen Schritt 1 verzichtet wurde.
In einer weiteren beispielhaften Ausführungsform des erfindungsgemäßen Verfahrens ist außerdem vorgesehen, die aufgezeichneten Ergebnisse des Analysealgorithmus dazu zu verwenden, um fortlaufend in einer Echtzeitvorschau auf einem Display der Digitalkamera dem Nutzer den Fortschritt beim Zusammenfügen der Bilddaten zu dem Panoramabild anzuzeigen.
Eine andere beispielhafte Ausführungsform der Erfindung sieht vor, das Verfahren zur Bearbeitung von Bilddatensätzen in die Kamerafunktionalität eines Mobiltelefons, eines PDA oder auch in die Funktionalität einer Digitalkamera einzubinden. Die Software zur Steuerung der Analyse und Bearbeitung der Bilddaten ist in diesem Fall an das Betriebssystem des Mobiltelefons, des PDA oder der Digitalkamera, beispielsweise an eine oder mehrere Versionen des Betriebssystems Symbian^®. angepasst. Die Software wird dann vorzugsweise im Kameramodus des Gerätes gestartet. Eine solche Einbindung gestattet es insbesondere, auch für Panoramabilder auf den vollen Funktionsumfang der jeweiligen Kamerafunktion zuzugreifen. Damit lassen sich insbesondere Auswahlmöglichkeiten für eine gewünschte Auflösung, Browser für das Durchblättern einer Fotogalerie, die Zoom-Funktion sowie Datenübertragungsfunktionen zwischen dem mobilen Endgerät und einer externen Speichereinheit, wie etwa einer Speicherkarte, oder anderen Datenverarbeitungseinrichtungen, wie z.B. einen PC, in einfacher Weise auch für Panoramabilder nutzen.
In einer anderen beispielhaften Ausführungsform ist das Verfahren zur Bearbeitung von Bilddatensätzen in die Kamerafunktionalität eines Mobiltelefons integriert. Es ist dabei vorgesehen, die Aufnahme eines Panoramafotos durch das kurze Drücken eines Joystick gestartet wird. Das erste aufgenommene Bild erschient anschließend auf dem Display oder Screen des Mobiltelefons. Bei Bewegung des Mobiltelefons nach links, recht oder aber auch in vertikale Richtung werden nachfolgende Bilder diesem ersten Bild hinzugefügt. Auch auf dem Display oder Screen wird dieser Fortschritt in der Entstehung des Panoramafotos sichtbar gemacht. Das Panoramafoto vergrößert sich um die jeweils hinzugefügten Bilddaten. Wenn die Aufnahme des Panoramafotos beendet werden soll, muss in dieser beispielhaften Ausführungsform der Joystick ein zweites Mal kurz gedrückt werden. In einer anderen beispielhaften Ausführungsform der Erfindung endet der Aufnahmevorgang jedoch automatisch, wenn die maximale Panoramagröße, z.B. 360°, erreicht wird.
Nachdem die Aufnahme des Panoramafotos beendet ist, kann der Nutzer das Bild sofort um 90° drehen, wenn er ein Hochkant-Panoramafoto aufgenommen hat. Außerdem kann er alle Funktionen, welche der Kameramodus des Mobiltelefons bereitstellt, nutzen, er kann beispielsweise in das Panoramafoto hineinzoomen, um zu prüfen, ob es seinen Erwartungen an Qualität oder Motivdetails entspricht.
Für die Navigation in einem Panoramafoto ist in einer beispielhaften Ausführungsform die Verwendung der Telefontastatur vorgesehen. So kann eine Funktionsbelegung der Tasten beispielsweise folgendermaßen aussehen:
Zifferntaste ,5':
Ansicht eines Panoramafotos in voller Auflösung, d.h.: ein Pixel des Bildes entspricht einem Pixel des Displays oder Screens;
Zifferntasten ,1', ,2', ,3', ,4', ,6', ,7', ,8' und ,9':
Verschieben des Panoramafotos in die Richtung, die der Lage der benutzten Zifferntaste auf dem Tastaturblock relativ zu Zifferntaste ,5' entspricht, also: Drücken der Zifferntaste ,3' macht eine Ausschnitt des Panoramafotos sichtbar, der links oberhalb des aktuell auf dem Display oder Screen dargestellten Ausschnitt liegt;
Zifferntaste ,0':
Anzeigen des gesamten Panoramafotos;
Tasten ,*' und ,#':
schrittweises Vergrößern bzw. Verkleinern.
Eine andere beispielhafte Ausführungsform der Erfindung sieht vor, nicht nur horizontale oder vertikale Panoramafotos, sondern auch „Posterformate" zu erzeugen. In diesem Fall wird die Kamera beispielsweise einmal horizontal (vertikal) in eine Richtung geschwenkt und anschließend, ohne den Aufzeichnungsvorgang zu unterbrechen, höhenversetzt in entgegengesetzter Richtung zurückgeschwenkt, so dass sozusagen dem im ersten Schwenk erzeugten Panoramafoto ein zweites Panoramafoto oben bzw. unten angefügt wird. Diese Schwenks können auch mehrfach mäanderartig wiederholt werden.

Claims

Verfahren zur Behandlung von Datensätzen bildgebender Sensoren, bei dem mehrere aufeinanderfolgende Datensätze eines bildgebenden Sensors zumindest teilweise gelesen werden, während des Lesens weiterer Datensätze gelesene Datensätze analysiert werden, um einander entsprechende Bereiche innerhalb der gelesenen Datensätze zu ermitteln, und – Daten mehrerer aufeinanderfolgender Datensätze zusammen mit Informationen über einander entsprechende Bereiche und/oder – Daten mehrerer aufeinanderfolgender Datensätze in einer Datei abgespeichert und/oder – Daten mehrerer aufeinanderfolgender Datensätze bei einer Ausgabe über Mittel zur Datenausgabe zu einem Bild zusammengefügt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet dass, das Lesen der mehreren aufeinanderfolgenden Datensätze während einer dauerhaften Aktivierung einer Auslösefunktion erfolgt.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet dass, solche Datensätze zu einem Bild zusammengefügt werden, welche während einer einmaligen dauerhaften Aktivierung einer Auslösefunktion gelesen wurden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet dass, die Analyse gelesener Datensätze eine Ermittlung einer 2D-Transformation zwischen aufeinanderfolgenden Datensätzen umfasst.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Ermittlung der 2D-Transformation eine 2D-Homographie und/oder eine projektive Transformation umfasst.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet dass, die Analyse gelesener Datensätze folgende Schritte umfasst: – Ermittlung, wann ein weiteres Teilbild einer durch den bildgebenden Sensor detektierten Szene gespeichert werden muss, und/oder – Zusammenfügen mehrerer Teilbilder zu einer Szene.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet dass, Datensätze permanent und/oder in Echtzeit analysiert werden.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass Datensätze eines bildgebenden Sensors als Vollbild, Teilbild oder skaliertes Bild gelesen werden.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass Datensätze unterschiedlicher Auflösung gelesen werden.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Analyse mit Datensätzen geringer Auflösung durchgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass Datensätze, die bereits gespeicherten Datensätzen hinzugefügt werden, mit hoher Auflösung gelesen werden.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass wenigstens ein Teil der gelesenen Datensätze abgespeichert wird, wobei die gespeicherten Daten eine Szene abbilden, die größer ist, als eine durch einen Datensatz des bildgebenden Sensors abbildbare Szene.
Verfahren nach Anspruch 12, gekennzeichnet durch eine Korrektur der gespeicherten Daten hinsichtlich einer Verzerrung, wobei optische Parameter und/oder ermittelte Bewegungsdaten ausgewertet werden.
Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet dass, während des Lesens der Datensätze der bildgebende Sensor relativ zu einer zu detektierenden Szene bewegt wird.
Verfahren nach Anspruch 14, dadurch gekennzeichnet dass, die Bewegung – horizontal, – vertikal oder – mäanderartig erfolgt.
Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass die durch die gespeicherten Daten dargestellte Szene permanent visuell ausgegeben wird.
Anordnung zur Durchführung eines Verfahrens zur Behandlung von Datensätzen bildgebender Sensoren, wobei die Anordnung mindestens einen bildgebenden Sensor und mindestens eine Datenverarbeitungseinrichtung umfasst und derart eingerichtet ist, dass mehrere aufeinanderfolgende Datensätze eines bildgebenden Sensors zumindest teilweise gelesen werden, während des Lesens weiterer Datensätze gelesene Datensätze analysiert werden, um einander entsprechende Bereiche innerhalb der gelesenen Datensätze zu ermitteln, und – Daten mehrerer aufeinanderfolgender Datensätze zusammen mit Informationen über einander entsprechende Bereiche und/oder – Daten mehrerer aufeinanderfolgender Datensätze in einer Datei abgespeichert und/oder – Daten mehrerer aufeinanderfolgender Datensätze bei einer Ausgabe über Mittel zur Datenausgabe zu einem Bild zusammengefügt werden.
Anordnung nach Anspruch 17, dadurch gekennzeichnet, dass es sich bei dem mindestens einen bildgebenden Sensor – um einen CCD-Sensor (CCD = Charge Coupled Device) oder – um einen Sensor auf CMOS-Basis (CMOS = Complementary Metal Oxide Semiconductor) handelt.
Anordnung nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass die Anordnung – mindestens eine optische Einheit zur Abbildung von Szenen auf den mindestens einen bildgebenden Sensor, – mindestens eine Aktivierungseinheit umfasst, zur Aktivierung des Lesens der Datensätze des mindestens einen bildgebenden Sensors und/oder – mindestens ein Mittel zur visuellen Ausgabe von durch den mindestens einen bildgebenden Sensor erfassten Bilddaten umfasst.
Anordnung nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass der mindestens eine bildgebende Sensor in ein mobiles Endgerät integriert ist.
Anordnung nach Anspruch 20, dadurch gekennzeichnet, dass es sich bei dem mobilen Endgerät um – eine Digitalkamera, – einen Personal Digital Assistent (PDA) oder – ein Mobiltelefon handelt.
Computerprogramm, das es einem Computer ermöglicht, nachdem es in den Speicher des Computers geladen worden ist, ein Verfahren zur Behandlung von Datensätzen bildgebender Sensoren durchzuführen, wobei mehrere aufeinanderfolgende Datensätze eines bildgebenden Sensors zumindest teilweise gelesen werden, während des Lesens weiterer Datensätze gelesene Datensätze analysiert werden, um einander entsprechende Bereiche innerhalb der gelesenen Datensätze zu ermitteln, und – Daten mehrerer aufeinanderfolgender Datensätze zusammen mit Informationen über einander entsprechende Bereiche und/oder – Daten mehrerer aufeinanderfolgender Datensätze in einer Datei abgespeichert und/oder Daten mehrerer aufeinanderfolgender Datensätze bei einer Ausgabe über Mittel zur Datenausgabe zu einem Bild zusammengefügt werden.
Computerlesbares Speichermedium, auf dem ein Programm gespeichert ist, das es einem Computer ermöglicht, nachdem es in den Speicher des Computers geladen worden ist, ein Verfahren zur Behandlung von Datensätzen bildgebender Sensoren durchzuführen, wobei mehrere aufeinanderfolgende Datensätze eines bildgebenden Sensors zumindest teilweise gelesen werden, während des Lesens weiterer Datensätze gelesene Datensätze analysiert werden, um einander entsprechende Bereiche innerhalb der gelesenen Datensätze zu ermitteln, und – Daten mehrerer aufeinanderfolgender Datensätze zusammen mit Informationen über einander entsprechende Bereiche und/oder – Daten mehrerer aufeinanderfolgender Datensätze in einer Datei abgespeichert und/oder – Daten mehrerer aufeinanderfolgender Datensätze bei einer Ausgabe über Mittel zur Datenausgabe zu einem Bild zusammengefügt werden.
Verfahren, bei dem ein Computerprogramm nach Anspruch 22 aus einem elektronischen Datennetz, wie beispielsweise aus dem Internet, auf eine an das Datennetz angeschlossene Datenverarbeitungseinrichtung heruntergeladen wird.