DE19983065B4

DE19983065B4 - Verfahren und Einrichtung zum Erzeugen von Panoramaaufnahmen oder von Rundumbildern mit Hilfe einer mit einem Bewegungssensor ausgestatteten Kamera

Info

Publication number: DE19983065B4
Application number: DE19983065T
Authority: DE
Inventors: Randy R. Phoenix Dunton; Thomas Mark Scottsdale Charlesworth
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 1998-03-31
Filing date: 1999-03-17
Publication date: 2006-07-27
Anticipated expiration: 2019-03-18
Also published as: US6304284B1; GB2352580A; AU3189999A; GB0023550D0; JP4845264B2; GB2352580B; DE19983065T1; WO1999051027A1; KR100385089B1; JP2003524306A; TW401687B; KR20010042265A

Abstract

Verfahren zum Erzeugen einer Panoramaaufnahme eines Objektes (108) mit Hilfe einer Kamera (104), wobei
von einer ersten Position und Orientierung (112) der Kamera ein erstes Bild aufgenommen wird (504), das Gesichtsfeld eines Objektivs der Kamera (104) bestimmt wird und aus dem Gesichtsfeld eine optimale zweite Kameraposition und -orientierung (116) bestimmt werden (508), wobei die zweite Position und Orientierung zur Aufnahme eines zweiten Bildes zur Verwendung bei der Rekonstruktion einer Panoramaaufnahme des Objekts (108) geeignet sind;
ein Benutzer angewiesen wird, die Kamera zu der zweiten Position und Orientierung zu bewegen; und
das zweite Bild aufgenommen wird (524), wenn die Kamera die zweite Position und Orientierung erreicht hat (520).

Description

Die vorliegende Erfindung betrifft allgemein das Erzeugen von zusammengesetzten Bildern. Insbesondere betrifft die vorliegende Erfindung die Verwendung von Bewegungssensoren zur Bestimmung der Bewegung und Ausrichtung einer Kamera. Die Daten von dem Bewegungssensor werden mit mehreren von der Kamera aufgenommenen Bildern kombiniert, um ein großes zusammengesetztes Bild aneinanderzusetzen bzw. zusammenzufügen.
Zur Zeit werden photografische Systeme und Abbildungssysteme in erster Linie für die Verwendung bei der Wiederherstellung von lokalen Bildern entwickelt. Wird eine Panoramaaufnahme gewünscht, wird üblicherweise ein Weitwinkelobjektiv verwendet. Ein Weitwinkelobjektiv hat den Nachteil, daß das Objektiv üblicherweise Verzerrungen an den Rändern des Bildes erzeugt. Ein zweiter Nachteil von Weitwinkelobjektiven ist, daß pro Quadratmillimeter des Films mehr Informationen aufgezeichnet werden und folglich ein weniger detailliertes Bild aufgezeichnet wird. Eine Möglichkeit zur Lösung des Problems besteht darin, mehrere Kameras oder elektronische Sensoren zur Aufzeichnung von mehreren Bildern zu verwenden. Diese mehreren Bilder werden anschließend zur Erzeugung eines zusammengesetzten Bildes rekombiniert.
Herkömmliche Panoaramaaufnahmesysteme verwendeten zwei oder mehrere Kameras, um Szenen außerhalb des Gesichtsfeldes der Weitwinkelobjektive aufzuzeichnen. Die Beziehung zwischen den beiden Kameras war vorzugsweise festgelegt. Aufgrund der festen Beziehung zwischen den beiden Kameras waren somit bei der Rekombination von zwei Bildern die die beiden Bildern verknüpfenden Informationen bekannt. Das Problem bei der Verwendung von zwei Kameras liegt darin, daß zwei Kamerasysteme kostspieliger als eine einzige Kameraanordnung sind. Für zwei Kameras werden üblicherweise zwei Objektive, zwei Kameragehäuse und zwei Sätze von Filmen benötigt.
Bei noch einem weiteren, dritten bekannten Verfahren zur Erzeugung einer Reihe von zu rekombinierenden Bildern wird ein Linsensystem bewegt, um eine Reihe von Bildern aufzuzeichnen. Jedoch führt eine derartige Bewegung oft zu einer starken Überlappung der aufgezeichneten Bilder. Diese starke Überlappung ist mit Überschußdaten verbunden, die große Speichermengen verbrauchen. Eine starke Überlappung erfordert außerdem die Aufzeichnung von zusätzlichen Bildern. Diese zusätzlichen Bilder müssen ebenfalls gespeichert und verarbeitet werden.

Aus der US 5 262 867 ist eine elektronische Kamera mit einem Sensor bekannt, mit dessen Hilfe die Position der Kamera bestimmt werden kann. Aufnahmen aus verschiedenen Positionen werden unter Berücksichtigung der Sensordaten und unter Verwendung eines Computers zu einem Panoramabild zusammengesetzt.

Die EP 0 592 136 A2 beschreibt eine Videoeinrichtung die aus einer Videoaufnahme und den Daten eines Bewegungssensors der Videoeinrichtung ein Panoramabild erzeugt.

Versuche zur Verringerung der Überlappung können dazu führen, daß Informationen nicht aufgezeichnet werden. Wenn nicht genügend Informationen aufgezeichnet werden, können Zwischenräume zwischen Bildern entstehen, welche die Rekonstruktion eines zusammengesetzten Bildes schwierig machen.

Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zur Erzeugung mehrerer Bilder zur Verfügung zu stellen, wobei die Bilder optimale Überlappungsbereiche für die Kombination zu einem einzigen zusammengesetzten Bild aufweisen.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1.

Die Erfindung wird nachfolgend anhand der beiliegenden Zeichnung näher erläutert.

1 zeigt ein Ausführungsbeispiel einer Abbildungseinrichtung zur Erzeugung von zusammengesetzten Bildern gemäß dem erfindungsgemäßen Verfahren.

2 zeigt ein Ablaufdiagramm, das das erfindungsgemäße Verfahren bei Erzeugung von zwei Bildern mit Hilfe der Abbildungseinrichtung gemäß 1 beschreibt.

3 zeigt ein zweites Ausführungsbeispiel des erfindungsgemäßen Verfahrens zur Erzeugung eines Rundumbildes.

4 zeigt ein Ablaufdiagramm, das den Prozeß der Kombination von zwei Bildern zur Bildung eines einzigen zusammengesetzten Bildes beschreibt.

5 zeigt ein Ablaufdiagramm, das ein Verfahren zur Steuerung der Bewegung der Abbildungseinrichtung beschreibt, um Überlappungsbereiche zu optimieren.
In der folgenden Beschreibung wird das erfindungemäße Verfahren beschrieben, um eine einzige Kamera mit einem einzigen Linsensystem zur Erzeugung von zusammengesetzten Bildern, einschließlich sowohl von Rundumbildern als auch von Panoramaaufnahmen, zu verwenden. Panoramaaufnahmen sind Bilder, die sehr große Bereiche erfassen, üblicherweise Bereiche, die über das Gesichtsfeld eines Weitwinkelobjetivs hinausgehen. Zu den Panoramaaufnahmen gehören Rundumbilder, bei denen es sich um Bilder handelt, die in einem Bogen um einen Betrachter herum projiziert werden, üblicherweise in einem den Betrachter vollständig umgebenden Bogen von 360.
Bei einem Ausführungsbeispiel enthält eine Kamera einen Satz von Bewegungssensoren, vorzugsweise einen mikrobearbeiteten bzw. mikromechanischen Siliziumsensor ("MEMS"), welcher eine Linear- und Drehbeschleunigung oder Bewegungen der Kamera erfaßt und auf diese Weise die Verschiebung der Kamera berechnen kann, um die Positionen zu bestimmen, an denen sich eine Kamera befindet. Alternativ kann ein globales Positioniersystem ("GPS") zur Bestimmung der Position verwendet werden. Eine weitere ebenfalls verwendbare Bewegungssensorart stellen vibrierende MEM-Sensoren oder kommerziell erhältliche Laser-Gyroskope dar. Ein Prozessor kann mit Hilfe der Informationen über die Kameraausrichtung enthaltenden Positionsinformationen und mit Hilfe der wenigstens zwei von der Kamera aufgenommenen Bilder ein zusammengesetztes Bild bzw. eine Panoramaaufnahme eines Objektes wiederherstellen.
In der folgenden Beschreibung werden zum besseren Verständnis der Erfindung bestimmte Details angegeben. Beispielsweise ist in der Beschreibung angegeben, daß die Erfindung bestimmte MEMS-Sensorarten wie mikrobearbeitete Beschleunigungssensoren verwendet. Jedoch ist klar, daß andere Positionssensoren oder Bewegungsdetektoren verwendet werden können. Insbesondere können GPS-Systeme und andere MEMS-Arten geeignet sein. Welcher Sensor tatsächlich verwendet wird, wird von den Kosten des Sensors abhängen, davon, ob ein Sensor Daten mit einer genügend hohen Genauigkeit liefern kann, von dem Energieverbrauch des Sensors und der Sensorgröße. Folglich wurden die angegebenen Details für ein besseres Verständnis der Erfindung geliefert und sollen nicht als Einschränkung des Schutzbereichs der Erfindung aufgefaßt werden.
In 1 ist eine Kamera zur Erzeugung einer Panoramaaufnahme dargestellt. In 1 wird eine Kamera 104 zur Erzeugung eines zusammengesetzten Bildes von einem Objekt 108 verwendet. Bei dem Objekt handelt es sich üblicherweise um eine Szene oder ein Bild, die bzw. das sich über einen breiten Bereich erstreckt. Die Kamera befindet sich in einer Anfangsposition 112, wenn das erste Bild aufgenommen wird. Nach der Aufnahme des ersten Bildes wird die Kamera in eine zweite Position 116 bewegt. Die Bewegung kann sowohl eine durch den Pfeil 120 dargestellte seitliche Translation als auch eine durch den Pfeil 124 dargestellte Rotationsbewegung einschließen. Bei einem Ausführungsbeispiel erfaßt ein Bewegungssensor 128 in der Kamera die seitliche Translation und die Rotation der Kamera. Zur Erfassung von seitlichen Bewegungen und von Drehbewegungen werden vorzugsweise zwei MEMS-Sensoren verwendet, wobei ein MEMS-Sensor die seitliche Beschleunigung 120 erfaßt und ein zweiter MEMS-Sensor die Rotation erfaßt. Bei einem Ausführungsbeispiel werden seitliche Bewegungen verhindert, wobei dies die Verwendung eines einzigen MEMS-Sensors ermöglicht.
Bei einem bevorzugten Ausführungsbeispiel ist der MEMS-Sensor 128 ein Trägheitssensor. Derartige Sensoren basieren auf der Kamm-Antriebs-Stellglied-Technologie, die von Howe entwickelt wurde und in einem Artikel mit dem Titel "Laterally Driven Polysilicate Resident Micro structures", von W.C. Tang, T.C. Nguyen und R. T. Howe, proceedings IEEE Microelectromechanical Systems Workshop, Salt Lake City, Utah, U.S.A., Februar 1989, Seiten 53–59, beschrieben ist. Ein Beispiel für einen geeigneten Beschleunigungssensor ist der Beschleunigungssensor 50N1G von Analog Devices. Analog Devices stellen auch mit einem mikrobearbeiteten Sensor versehene integrierte BICMOS-Bauelemente zur Bestimmung der Rotation der Bauelemente her. Diese Sensoren werden in fortschrittlichen Automobilbremssystemen verwendet. Diese Sensoren werden von General Motors vertrieben und sind in dem Artikel "Overview Of MEMS Activities In The U.S." von C. H. Mastrangelo beschrieben, der in dem Center for Integrated Sensors and Circuits, Departement of Electrical Engineering, University of Michigan, Ann Arbor, Michigan, 48109, arbeitet. Der Artikel von Mastrangelo beschreibt außerdem alternative Ausführungsformen von Bewegungssensoren, einschließlich optischer Stellglieder, die zur Bestimmung der Bewegung einer Kamera verwendet werden können. Durch Integration der Kamerabeschleunigung kann eine Geschwindigkeit hergeleitet werden. Eine zweite Integration der Geschwindigkeit führt zu der Verschiebung der Kamera. Diese Verschiebungsinformationen können verwendet werden, um bei der Aufnahme des zweiten Bildes eine zweite Position 116 einer Kamera 104 in Bezug auf die erste Position 112 und Ausrichtung der Kamera 104 zu bestimmen.
Die relativen Ausrichtungen und Positionen der Kamera, die sowohl die erste Position 112 als auch die zweite Position 116 einschließen, werden entweder in einem Speicherelement 132 in der Kamera aufgezeichnet, oder bei einem alternativen Ausführungsbeispiel können die Daten in einem mit der Kamera gekoppelten externen Speicher gespeichert werden. Es kann sein, daß einige Bewegungssensoren, wie eine Beschleunigung messende Sensoren, keine Positionsdaten erzeugen. Bei diesen Ausführungsbeispielen können in dem Speicher die Kamerabewegung beschreibende Daten, beispielsweise Beschleunigungsdaten, aufgezeichnet werden. Später verwendet ein Prozessor die Bewegungsdaten zur Berechnung von Positionsdaten. Die entsprechenden Bewegungs- oder Positions- und Ausrichtungsdaten werden derart organisiert, daß eine Korre lation jedes aufgezeichneten Bildes mit einer entsprechenden Position, beispielsweise der ersten Position 112 oder der zweiten Position 116, möglich ist.
Jedes aufgezeichnete Bild kann auf einem photografischen Film oder vorzugsweise mit Hilfe von elektronischen Sensoren 134 aufgezeichnet werden. Bei einem Ausführungsbeispiel handelt es sich bei den elektronischen Sensoren um komphementäre Metalloxidhalbleiter(CMOS)-Sensoren. Bei alternativen Ausführungsbeispielen können Felder von lichtempfindlichen ladungsgekoppelten Halbleiterbauelementen ("CCD") oder Photodioden verwendet werden. Das von den elektronischen Sensoren ausgegebene elektronische Bild wird in einem zweiten Speicherelement 136 gespeichert. Wenn das Bild auf einem photografischen Film aufgezeichnet wurde, wird das Bild zur weiteren Verarbeitung in eine elektronische Form umgewandelt. Die Umwandlung kann mit Hilfe eines Scanners geschehen oder mit anderen Verfahren zum Umwandeln von chemischen Daten bzw. Lichtdaten in elektronische Daten. Derartige Scanner sind kommerziell von verschiedenen Anbietern erhältlich, z. B. von Hewlett Packard aus Palo Alto, Kalifornien. Das digitale Bild wird in dem Speicherelement 136 gespeichert.
Um aus den zwei oder mehr Bildern eines Objektes eine einzige Panoramaaufnahme zu erzeugen, ruft eine Verarbeitungseinheit 140 die Bilder und die zugehörigen Positions- und Ausrichtungsinformationen ab und rekombiniert sie zu einer einzigen Panoramaaufnahme. Die Verarbeitungseinheit 140 kann in einer Graphik-Prozessorkarte implementiert sein. Bei einem anderen Ausführungsbeispiel ist der Prozessor ein Mehrzweckmikroprozessor, der ein Programm zur Behandlung von Graphikverarbeitungsfunktionen ausführt.
2 zeigt ein Ablaufdiagramm, das die zur Erzeugung einer Panoramaaufnahme von der Kamera gemäß 1 verwendeten Schritte beschreibt. Im Schritt 204 setzt der Benutzer vor der Aufnahme des ersten Bildes eine Kamerapositionsanzeige zurück. Das Rücksetzen der Kamerapositionsanzeige führt vorzugsweise zur Löschung des die Ausgangssignale des Bewegungssensors speichernden Speichers 132, so daß das erste in einer Reihe aufgezeichnete Bild vorzugsweise in einem Nullpunkt-Referenz-Einzelbild (Rahmen) liegt. Die Kamera zeichnet im Schritt 208 ein Bild eines Objekts, in dem Nullpunkt-Referenz-Einzelbild auf. Ungefähr zur gleichen Zeit, zu der das erste Bild aufgezeichnet wird, wird eine zugehörige Position und Ausrichtung der Kamera in dem Speicher 132 aufgezeichnet. Bei der Kamera gemäß 1 erzeugt ein CCD-Feld das in dem zweiten Speicher 136 gemäß 1 gespeicherte Bild.
Nachdem die Kamera das erste Bild und zugehörige Positions- und Ausrichtungsinformationen aufgezeichnet hat, wird die Kamera im Schritt 212 neu positioniert bzw. neu ausgerichtet. Die neue Anordnung kann sowohl eine seitliche Translation 120 als auch eine Ausrichtungs(dreh)bewegung 124 umfassen. Eine Person oder eine motorbetriebene Einrichtung kann die Kamera bewegen. Bei einem Ausführungsbeispiel rotiert die Kamera um ein Stativ, wodurch seitliche Bewegungen minimiert werden und Ausführungsformen der Kamera möglich werden, die die seitliche Translation nicht messen. Während der Neupositionierung zeichnet ein Sensor, vorzugsweise ein MEMS-Sensor, im Schritt 216 die Bewegung und Rotation der Einrichtung auf. Bei einem erfindungsgemäßen Ausführungsbeispiel zeichnet der MEMS-Sensor eine Beschleunigung auf und integriert die Beschleunigung, um eine Verschiebung zu gewinnen. Die aufgezeichneten Beschleunigungs-, Dreh- oder Verschiebungsinformationen werden in einer Speichereinrichtung gespeichert.
Wenn die Kamera in einer zweiten Position ausgerichtet ist, zeichnet die Kamera ein zweites Bild des Objektes auf. Wenn das zweite Bild aufgezeichnet ist, verwendet die Kamera Informationen von dem Bewegungssensor und zeichnet eine dem zweiten Bild entsprechende Kameraposition und -ausrichtung auf. Die Positions- und Ausrichtungsinformationen werden in einer Positions- und Ausrichtungsspeichereinrichtung 132 gespeichert. Der Gegenstand des zweiten Bildes und des ersten Bildes muß sich genügend überlappen, so daß der Prozessor die überlappenden Bereiche rekonstruieren kann und eine aneinandergesetzte Panoramaaufnahme erzeugen kann.
Die obige Schrittfolge 204 bis 220 beschreibt ein System, wie es in einer ruhenden Kamera verwendet wird. Es ist klar, daß ein MEMS-Sensor oder ein Bewegungssensor in eine Videokamera eingebaut werden kann und bei der Bewegung der Kamera viele Bilder aufgenommen werden können. Jedes Bild gehört zu einem Satz von Positions- und Ausrichtungsdaten, die aus von den Bewegungssensoren aufgezeichneten Informationen erzeugt werden. Diese Bilder können dann mit benachbarten Bildern zur Erzeugung einer umfassenden Panoramaaufnahme rekonstruiert werden. Die bei der Rekonstruktion eines derartigen sich bewegenden Bildes beschriebenen Techniken werden durch wiederholte Iterationen der Schritte 204 bis 220 und durch eine Reihe von von dem Prozessor ausgeführten Rekonstruktionsschritten erzielt. Im Schritt 224 werden die von dem Bewegungssensor erzeugten Positions- und Ausrichtungsinformationen zusammen mit den zugehörigen aufgezeichneten Bildern an einen Prozessor übertragen.
3 zeigt ein Ausführungsbeispiel eines Kamerasystems 300 zur Aufzeichnung eines Rundumbildes oder eines hemisphärischen Bildes. Von einem Objekt ausgehendes Licht läuft durch ein Linsensystem 304, welches ein Bild des Objektes auf dem Spiegel 308 erzeugt. Der Spiegel 308 lenkt das Bild auf einen Sensor 312. Der Sensor 312 kann ein photografischer Film sein. Vorzugsweise ist der Sensor 312 ein Feld von ladungsgekoppelten Halbleiterbauelementsensoren oder ein CMOS-Bauelement. Die Ausangssignale des Sensors 312 werden in einer (nicht gezeigten) Speichereinrichtung gespeichert.
Bei dem dargestellten Ausführungsbeispiel werden das Linsensystem 304, der Spiegel 308 und der Sensor 312 in feststehender Beziehung zueinander derart als Baugruppe zusammen befestigt, daß der Stellantrieb für die Spiegelneigung 316 die Baugruppe entlang eines ersten Freiheitsgrades neigen kann, um Teile des Objektes oberhalb und unterhalb (entlang der Y-Achse) eines bestimmten Punktes aufzuzeichnen.
Bei dem dargestellten Ausführungsbeispiel ist die das Linsensystem 304, den Spiegel 308 und den Sensor 312 enthaltende Baugruppe außerdem auf einem frei drehbaren Ring 324 befestigt, der die Baugruppe entlang eines zweiten Freiheitsgrades zur Aufzeichnung von Teilen des Objektes auf beiden Seiten (entlang der X-Achse) eines Punktes dreht. Die Bewegung oder Drehung kann von einem mit dem frei drehbaren Ring 324 gekoppelten Motor 328 ausgeführt werden. Eine Wellencodiereinrichtung 332 dient als Bewegungssensor, um an jedem Punkt, an dem ein Bild aufgezeichnet wird, die Position einschließlich der Ausrichtung des frei drehbaren Rings 324 zu bestimmen und aufzuzeichnen.
Das Kamerasystem 300 gemäß 3 kann verwendet werden, um zur Erzeugung von zusammengesetzten Bildern verwendete Bilder mit minimalen Überlappungsbereichen aufzuzeichnen. Bei einer ersten Anwendung kann das System zur Aufzeichnung eines Rundumbildes in einem zylindrischen Format verwendet werden. Wenn das Kamerasystem 300 zur Aufzeichnung eines Rundumbildes im zylindrischen Format verwendet wird, hält der Stellantrieb für die Spiegelneigung 316, die Linse 304 und den Spiegel 308 unter einer konstanten Neigung, während ein Motor 328 das Kamerasystem 300 auf einem Kreis entlang einer "X"-Achsenrichtung rotiert. Die von dem Kamerasystem 300 aufgezeichneten Bilder stellen einen Querschnitt eines Zylinders unter einer voreingestellten Neigung dar. Bei voreingestellten Winkelpositionen werden auf dem Kreis Bilder aufgezeichnet, welche es einem (nicht dargestellten) Prozessor ermöglichen, die aufgezeichneten Bilder zur Erzeugung eines zylindrischen Bildes zu rekombinieren. Die zu kombinierenden Abschnitte sind vergleichbar mit dem Zusammensetzen der Stücke 350 eines Kuchens 352 gemäß 3B. Die voreingestellten Winkelpositionen berücksichtigen das Gesichtsfeld des Kamerasystems 300 und den zwischen benachbarten Bildern gewünschten Überlappungsbereich. Der Bewegungssensor oder die Motorcodiereinrichtung kann verwendet werden, um zu bestimmen, wann das Kamerasystem 300 die voreingestellten Positionen erreicht hat, und um anzuzeigen, daß ein Bild aufgezeichnet werden muß.
Das Kamerasystem 300 kann außerdem verwendet werden, um ein hemisphärisches Format aufzuzeichnen. Bei einem Verfahren zur Aufzeichnung eines Rundumbildes in einem hemisphärischen Format werden nacheinander verschiedene Rundumbilder 360, 362, 364, 366 aufgezeichnet, wie in 3C dargestellt ist. Nachdem ein Rundumbild bei einer vorgegebenen Neigung aufgezeichnet wurde, wird der Stellantrieb für die Spiegelneigung in eine benachbarte voreingestellte Neigungsposition verstellt, so daß das Kamerasystem 300 mit jeder Umdrehung des Kamerasystems 300 ein anderes Rundumbild aufzeichnet. Die voreingestellten Neigungspositionen berücksichtigen das Gesichtsfeld des Kamerasystems 300 in der Y-Richtung und den zwischen benachbarten "Rundumbildern" gewünschten Überlappungsbereich. Der Bewegungssensor oder die Neigungscodiereinrichtung 320 bestimmt, wann das Kamerasystem 300 die voreingestellte Neigungsposition erreicht hat.
4 zeigt ein Ablaufdiagramm, das die von dem Prozessor oder der Verarbeitungseinrichtung 140 ausgeführten Schritte beschreibt, um aus zwei oder mehr Bildern mit Hilfe der zugehörigen Positions- und Ausrichtungsdaten ein zusammengesetztes Bild zu rekonstruieren. Im Schritt 404 empfängt der Prozessor von der Kamera Kamerapositions- und Ausrichtungsinformationen und die zugehörigen Bilddaten. Der Prozessor wählt dann im Schritt 408 einander entsprechende Punkte in einem ersten und zweiten Bild aus. Einander entsprechende bzw. entsprechende Punkte sind Punkte in verschiedenen Bildern oder Perspektiven, die dem gleichen Punkt eines Objektes entsprechen. Folglich ist ein entsprechender Punkt ein Punkt oder Pixel in dem ersten Bild, welcher einem Punkt des Objektes entspricht und ein zweiter Punkt oder ein zweites Pixel in dem zweiten Bild, der bzw. das dem gleichen Punkt des Objektes entspricht. Der Punkt in dem ersten Bild und der Punkt in dem zweiten Bild sind als einander entsprechende Punkte definiert. Beispielsweise ist die Nasenspitze einer Person ein Punkt des Objekts, für den es einen einander entsprechenden Punkt in dem ersten und dem zweiten Bild geben kann. Bei einem Ausführungsbeispiel der Erfindung wird Mustererkennungssoftware zur Bestimmung von einander entsprechenden Punkten verwendet. Ein zweites, einfacheres Verfahren zur Bestimmung von einander entsprechenden Punkten erfordert einen Endbenutzer, der einen Punkt in dem ersten Bild auswählt, den ersten Punkt mit Hilfe einer Maus oder einer anderen Zeigereinrichtung auswählt oder "anklickt" und den entsprechenden Punkt in dem zweiten Bild auswählt oder "anklickt". Bei einem bevorzugten Ausführungsbeispiel werden für jeden Überlappungsbereich drei einander entsprechende Punkte ausgewählt. Ein Überlappungsbereich ist der redundante Datenbereich, in dem zwei Bilder kombiniert werden. Im Schritt 412 werden die ausgewählten einander entsprechenden Punkte und deren X- und Y-Koordinaten in einem in einer Speichereinrichtung gespeicherten Datensatz aufgezeichnet. Bei dem Datensatz handelt es sich üblicherweise um einen zweidimensionalen Datensatz, da für jeden Punkt eine X- und eine Y-Koordinate aufgezeichnet werden muß.
Im Schritt 416 bezeichnet ein Prozessor Operationen, die zur Bearbeitung der beiden Bilder verwendet werden können, damit die einander entsprechenden Punkte in den beiden Bildern übereinstimmen. Insbesondere enthält der Schritt 416 die Bezeichnung von an wenigstens einem der beiden Bilder auszuführenden Rotations-, Translations- und Skalieroperationen. Um die Operationen zur Anpassung der einander entsprechenden Punkte zu bestimmen, können Daten von den Bewegungssensoren verwendet werden. Wenn die Bewegungssensoren ausreichend genau und empfindlich sind, kann die Bezeichnung von einander entsprechenden Punkten unnötig sein, da die Bewegung der Kamera in Bezug auf ein feststehendes Objekt zur Bestimmung der Ausrichtung der Bilder mathematisch berechnet werden kann. Üblicherweise führt der Computer Operationen einschließlich Rotations-, Translations- und Skalieroperationen an wenigstens einem der beiden Bilder aus, um einen Überlappungsbereich zu erzeugen, der zwischen den beiden Bildern richtig ausgerichtet ist.
Wenn Daten elektronisch gespeichert werden, enthält der Überlappungsbereich der beiden Bilder üblicherweise doppelt so viel Daten wie notwendig sind, um ein Bild des Überlappungsbereiches zu erzeugen. Um die Datenredundanz zu verringern, können die irrelevanten Daten bei einem Datenbild entfernt werden. Bei einem anderen Verfahren der Datenkombination kann es eine Interpolation oder Mittelung der Daten von zwei Bildern in dem Überlappungsbereich für die beiden Datensätze geben, um einen einzigen, den Überlappungsbereich darstellenden Datensatz zu erzeugen. Die Entscheidung, ob Daten gemittelt oder interpoliert oder von einem Bild gelöscht werden, hängt von der Rechenleistung des Prozessors und der gewünschten Genauigkeit der Wiedergabe ab. Eine erhöhte Genauigkeit erfordert eine erhöhte Verarbeitungslei stung, welche die Mittelung oder Interpolation der Daten in dem Überlappungsbereich ermöglicht.
Im Schritt 424 werden die eine resultierende Panoramaaufnahme definierenden Parameter neu berechnet. Wenn das rekombinierte Bild ein dreidimensionales Bild ist, wird insbesondere eine Neuberechnung der Texturflächen, Farbflächen und Dreieckeckpunkte in einem dreidimensionalen Punktesatz ausgeführt, um eine neue die neudefinierten Bausteine oder Elemente enthaltende Datenbank zu erzeugen. Diese Elemente sind üblicherweise Dreiecke in einer dreidimensionalen Datenbank. Ein üblicher, für eine derartige neue Zusammensetzung eines Dreiecksmaschennetzes verwendeter Algorithmus ist der Delauni-Algorithmus.
Wenn die rekombinierten Bilder zweidimensionale Bilder sind, ist eine derartige Rekonstruktion eines Maschennetzes unnötig und das Programm ist abgeschlossen, wenn ein die beiden Bilder kombinierendes zusammengesetztes Bild erzeugt wird.
Wenn die rekombinierten Bilder dreidimensionale Bilder sind, müssen die Textureckpunkte des dreidimensionalen Punktesatzes, einschließlich der neuen Texturflächen und der neuen Farbflächen, im Schritt 328 berechnet werden. Diese neu berechneten Textur- und Farbflächen werden auf die im Schritt 424 berechneten neuen Textureckpunkte neu angewendet.
Insgesamt ermöglicht der im Ablaufdiagramm gemäß 4 beschriebene Prozeß die Erzeugung einer umfassenderen Panoramaaufnahme aus zwei Bildern. Das erste Bild wird von einer Kamera erzeugt, welche ein erstes Bild in einer ersten Position aufnimmt. Bewegungssensoren erfassen die Bewegung und die Rotation oder die Position der Kamera, wenn die Kamera in eine zweite Position bewegt wird, in der ein zweites Bild aufgenommen wird. Mit Hilfe der Positionsinforma tionen kann ein Prozessor das erste und das zweite Bild zur Erzeugung einer umfassenden Panoramaaufnahme kombinieren.
Das beschriebene System verringert die Kosten, da eine geringere Ausstattung benötigt wird. Speziell wird nur ein Linsensystem benötigt. Ein einziges Linsensystem macht das System im Vergleich zu bekannten Panoramaabbildungssystemen weniger komplex. Schließlich ist das beschriebene System für Videokameras geeignet, bei denen viele Bilder aufgenommen werden. Diese vielen Bilder können zur Erzeugung einer Datenbank aus sich bewegenden Panoramaaufnahmen oder Rundumbildern kombiniert werden.
Das beschriebene System kann weiter verbessert werden, um die Benutzung zu vereinfachen und die Datenerfassungskapazität der Kamera 104 oder des Kamerasystems 300 zu verbessern. 5 zeigt ein Ablaufdiagramm, das ein Verfahren beschreibt, welches einen Benutzer bei der Verbesserung der Datenerfassungskapazität der Kamera 104 oder des Kamerasystems 300 unterstützt. Im Schritt 504 nimmt die Kamera von einer ersten Position ein erstes Bild eines Objektes auf. Die Kamera kann dann im Schritt 508 optimale Kamerapositionen für die Aufnahme nachfolgender Bilder berechnen. In dem Kamerasystem 300 gemäß 2 sind die optimalen Positionen üblicherweise diejenigen mit der minimal benötigten Überlappung. Somit kann sich die Kamera nach jeder Bildaufzeichnung um eine vorgegebene Gradzahl drehen. Die Gradzahl hängt von dem Gesichtsfeld ab, welches wiederum von der Brennweite der Linse 304 abhängt. Ein Weitwinkelobjektiv erlaubt zwischen den Bildern eine Drehung um einen größeren Winkel in der X-Richtung und erfordert somit die Aufzeichnung von weniger Bildern in einem Kreis. Ein Teleobjektiv, das ein engeres Gesichtsfeld hat, erlaubt nach der Bildaufzeichnung einen kleineren Winkel der Rotation.
Im Schritt 512 beginnt die Kamera eine Bildaufnahmereihe. Es werden Ausrichtungsmessungen durchgeführt, um die Ausrichtung der Kamera zu bestimmen.
Bei auf einer manuellen Bewegung der Kamera basierenden Kamerasystemen, veranlaßt die Kamera den Benutzer im Schritt 516, sich zu bewegen. Bei einem Ausführungsbeispiel können die Bedienerhinweise in Form von in dem Kamerasucher angezeigten Pfeilen geliefert werden. Die Pfeile veranlassen einen Benutzer, die Kamera in eine bestimmte Richtung zu bewegen oder die Kamera bis zu einer bestimmten Ausrichtung zu drehen. Die Pfeile können mit Hilfe einer Flüssigkristallanzeige (LCD) angezeigt werden. Es kann eine automatische Bereichswahleinrichtung verwendet werden, um einem Prozessor Signale zur Verfügung zu stellen. Der Prozessor steuert die Anzeige, so daß diese Signale ausgibt, die den Benutzer zur Beibehaltung der richtigen Überlappung zwischen aufeinanderfolgenden Bildern veranlassen. Ein Verfahren zur Messung der Überlappung kann dadurch realisiert werden, daß der Prozessor zur Auswahl eines Punktes des Objektes an einem Rand des Gesichtsfeldes veranlaßt wird. Bei der Bewegung der Kamera verfolgt der Prozessor die Bewegung des Punktes über das Gesichtsfeld. Die Kamera signalisiert dem Benutzer, wann der ausgewählte Punkt einen Bereich am gegenüberliegenden Rand des Gesichtsfeldes erreicht hat, wobei dies dem Benutzer die Aufzeichnung eines zweiten Bildes ermöglicht. Bei einem alternativen Ausführungsbeispiel kann ein MEMS-Sensor bestimmen, wann eine Kamera ausreichend neuausgerichtet ist, um den Überlappungsbereich zu optimieren und die Aufzeichnung eines zweiten Bildes zu rechtfertigen. Die Stärke der Neuausrichtung hängt von dem Gesichtsfeld der Linse ab. Bei manuell bewegten Kameras kann ein visuelles Signal, ein Geräusch- oder Sprachsignal verwendet werden, um den Benutzer zur Einstellung des Überlappungsbereichs darauf hinzuweisen, die Kamera in eine bestimmte Richtung zu bewegen oder die Kamera in eine bestimmte Ausrichtung zu drehen.
Die Kamera bestimmt im Schritt 420 ob die Kamera innerhalb des Toleranzbereiches für die Entfernung oder für die Ausrichtung von einer optimalen Position liegt. Wenn die Kamera nicht innerhalb des Toleranzbereiches liegt, kehrt die Kamera zum Schritt 516 zurück und veranlaßt den Benutzer über einen Rückkoppelungsmechanismus die Kameraposition weiter einzustellen. Wenn im Schritt 520 festgestellt wird, daß die Kamera innerhalb des Toleranzbereiches für die Entfernung liegt, zeichnet die Kamera im Schritt 524 ein zweites nachfolgendes Bild des Objektes auf.
Im Schritt 528 bestimmt die Kamera, ob alle für eine Datenbank erforderlichen Bilder aufgezeichnet wurden. Die Anzahl der benötigten Bilder wird aus dem Gesichtsfeld der Linse, der gewünschten Überlappung und daraus bestimmt, ob ein Rundumbild, ein hemisphärisches Bild oder eine Panoramaaufnahme gewünscht wird. Sofern weitere Bilder benötigt werden, kehrt die Kamera zum Schritt 516 zurück und veranlaßt den Benutzer, die Kamera zur Aufzeichnung eines nachfolgenden Bildes in eine nachfolgende Position zu bringen. Wenn im Schritt 528 festgestellt wird, daß eine ausreichende Anzahl von Bildern aufgezeichnet wurde, ist die Bildaufzeichnung abgeschlossen, und es kann ein aneinandergesetztes umfassendes Bild rekonstruiert werden.
Obwohl bestimmte beispielhafte Ausführungsbeispiele detailliert beschrieben und in den beigefügten Zeichnungen dargestellt wurden, sollte klar sein, daß derartige Ausführungsbeispiele lediglich der Veranschaulichung dienen und die breite Erfindung nicht einschränken sollen und daß diese Erfindung nicht auf die speziellen dargestellten und beschriebenen Anordnungen und Konstruktionen beschränkt ist, da dem Durchschnittsfachmann verschiedene andere Modifikationen einfallen werden.

Claims

Verfahren zum Erzeugen einer Panoramaaufnahme eines Objektes (108) mit Hilfe einer Kamera (104), wobei von einer ersten Position und Orientierung (112) der Kamera ein erstes Bild aufgenommen wird (504), das Gesichtsfeld eines Objektivs der Kamera (104) bestimmt wird und aus dem Gesichtsfeld eine optimale zweite Kameraposition und -orientierung (116) bestimmt werden (508), wobei die zweite Position und Orientierung zur Aufnahme eines zweiten Bildes zur Verwendung bei der Rekonstruktion einer Panoramaaufnahme des Objekts (108) geeignet sind; ein Benutzer angewiesen wird, die Kamera zu der zweiten Position und Orientierung zu bewegen; und das zweite Bild aufgenommen wird (524), wenn die Kamera die zweite Position und Orientierung erreicht hat (520).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die erste Position gleich der zweiten Position ist und bei der Änderung nur die Orientierung der Kamera geändert wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß weitere Positionen und Orientierungen der Kamera für weitere Bilder bestimmt werden und der Benutzer angewiesen wird, die Kamera zu den weiteren Positionen und Orientierungen zu bewegen, wobei weitere Bilder aufgenommen werden, wenn die Kamera die weiteren Positionen und Orientierungen erreicht hat.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die Panoramaaufnahme ein Rundum-Bild ist.