DE19882939C2 - Verfahren zum Bestimmen der relativen Kameraorientierungsposition, um sichtbare 3-D-Bilder zu erzeugen - Google Patents

Description

Die Erfindung bezieht sich auf ein System bzw. ein Verfahren zum Erzeugen eines dreidimensionalen Bildes mit Hilfe einer bewegten Bildaufnahmeeinrichtung, die jeweils ein Bild an einem ersten und einem zweiten Ort aufnimmt.

Fotografische und Bildgebungssysteme werden heutzutage primär zur Verwendung bei der Erzeugung zweidimensionaler Bilder entwickelt. Bei einem zweidimensionalen Bild wird nur eine Perspektive benötigt. Diese Perspektive kann erzeugt werden, indem eine Kamera an einer fest vorgegebenen Positi­ on positioniert wird und das Bild auf einem fotografischen Film oder auf elektronischen Sensoren aufgezeichnet wird. Jedoch ist die menschliche Sichtweise stereoskopisch. So kombiniert das menschliche Gehirn zwei Bilder, von denen je­ des jeweils ein Auge erreicht. Das Gehirn kombiniert die zwei Bilder, um eine zusätzliche Dimension der Tiefe zu er­ zeugen, um ein dreidimensionales (3-D) Bild zu erzeugen. In den letzten Jahren wurden Kameras und elektronische Sensoren entwickelt, um zu versuchen, zwei Bilder aufzunehmen und diese zu rekombinieren, um ein dreidimensionales Bild mit einer Tiefenkomponente zu reproduzieren.

Herkömmliche dreidimensionale Bildgebungssysteme verwen­ den zwei Kameras. Vorzugsweise ist die Beziehung zwischen den zwei Kameras fest. Wenn somit die beiden Perspektiven (eine Perspektive von jeder Kamera) kombiniert werden, sind die sich auf die beiden Perspektiven beziehenden Informatio­ nen bekannt, da eine feste räumliche Beziehung zwischen den beiden Kameras besteht. Das Problem bei der Verwendung zwei­ er Kameras besteht darin, daß dies aufwendiger ist als eine Anordnung mit einer einzigen Kamera. Zwei Kameras erfordern üblicherweise zwei Linsen, zwei Kameragehäuse und zwei Sätze von Filmen.

Es wurden alternative Systeme zum Erzeugen von 3-D-Bil­ dern implementiert, die zwei Linsen in einem Kameragehäuse verwenden. Diese Systeme sind ebenfalls aufwendiger als zweidimensionale Standardkameras, da mehrere Systeme von Linsen erforderlich sind, um mehrere Bilder zu erzeugen. Je­ des Linsensystem erzeugt ein Bild, das einer anderen Per­ spektivansicht des fotografierten Objekts entspricht. Dar­ über hinaus erfordert das Anordnen von zwei Linsensystemen in einem einzigen Kameragrundkörper, daß die Linsensysteme eng beieinander angeordnet werden. Der geringere Abstand der beiden Linsensysteme führt zu einer geringeren Tiefenwahr­ nehmung, als sie verfügbar wäre, sofern die Linsensysteme weiter voneinander beabstandet angeordnet werden könnten.

Aus der Offenlegungsschrift DE 38 33 584 A1 ist eine Einrichtung zum Erzeugen von Stereobildpaaren bekannt. Von einer herkömmlichen Kamera werden zwei Bilder an vorgegebenen Punkten während einer Bewegung der Kamera entlang einer Schiene aufgenommen. Die Kamera ist auf einem Schlitten montiert, der auf der Schiene gleitet und von einem Riementrieb und einem Motor angetrieben wird. Der Antrieb des Schlittens und die Steuerung der Kamera sind so miteinander gekoppelt, daß die beiden Bildaufnahmen an vorgegebenen Positionen auf der Schiene ausgelöst werden. Diese Einrichtung ist relativ aufwendig und wenig flexibel.

Aus dem US-Patent Nr. 4,807,024 ist die Erzeugung eines Pseudo-Stereo-Eindrucks beim Betrachten von aus einem Flugzeug heraus aufgenommenen Bildfolgen bekannt, bei der bestimmte Bilder der Bildfolge entweder dem rechten oder dem linken Auge zugeführt werden.

Das US-Patent Nr. 4,895,431 offenbart eine Anordnung mit einem Endoskop mit einer ein Bild erfassenden und seitlich schwenkbaren Endoskopspitze und mit einer Einrichtung zur Steuerung des Endoskops zum Schwenken der Endoskopspitze und zur Erzeugung eines dreidimensionalen Bildes aus zwei mit der Endoskopspitze gewonnenen Aufnahmen. Bspw. werden zwei Aufnahmen an zwei Schwenkpositionen der Endoskopspitze aufgenommen. Die Einrichtung umfaßt einen Stellantrieb mit einem Seilzug zum Krümmen des Endoskops, wodurch die Endoskopspitze verschwenkt wird. Aus der jeweiligen Stellung des Positionierantriebs, die mit einem Sensor erfaßt wird, kann ein Schwenkwinkel der Endoskopspitze berechnet werden. Aus zwei Positionen des Sensorantriebs kann der Winkelabstand zwischen zwei zugehörigen Positionen der Endoskopspitze bestimmt werden, nicht aber der tatsächliche Ort der Endoskopspitze.

Aufgabe der Erfindung ist es, auf schnelle und einfache Weise ein dreidimensionales Bild mit Hilfe einer einzigen Kamera zu erzeugen.

Diese Aufgabe wird durch ein System zum Erzeugen eines dreidimensionalen Bildes mit den Merkmalen des Patentanspruchs 1 bzw. ein Verfahren mit den Merkmalen des Patentanspruchs 9 gelöst.

Vorteilhafte und bevorzugte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.

Im folgenden wird die Erfindung anhand bevorzugter Ausführungsformen näher beschrieben, die in den Zeichnungen abgebildet sind. In den Zeichnungen zeigen:

Fig. 1 veranschaulicht ein Ausführungsbeispiel der Er­ findung zum Erzeugen eines dreidimensionalen Bildes.

Fig. 2 ist ein Ablaufdiagramm, das den Prozeß des Er­ zeugens zweier Bilder beschreibt.

Fig. 3 ist ein Ablaufdiagramm, das den Prozeß des Kom­ binierens zweier Bilder zum Bilden eines einzigen dreidimen­ sionalen Bildes beschreibt.

Fig. 4 ist ein Ablaufdiagramm, das ein System zum Un­ terstützen eines Benutzers zur Verbesserung der Datengewin­ nungskapazität einer Kamera veranschaulicht.

In der folgenden Beschreibung wird ein System zur Ver­ wendung einer einzigen Kamera mit einem einzigen Linsensy­ stem zum Erzeugen dreidimensionaler Bilder beschrieben. Die Kamera enthält einen Satz von Bewegungssensoren, vorzugs­ weise einen mikromechanischen Siliziumsensor (MEMS-Sensor), welcher die lineare und die Rotationsbeschleunigung oder - bewegungen der Kamera erfaßt, und kann dadurch die Verschie­ bung der Kamera berechnen, um Positionen zu bestimmen, an welchen eine Kamera angeordnet ist. Alternativ kann ein glo­ bales Positionier(GPS)-System verwendet werden, um den Ort zu bestimmen. Andere Arten von Bewegungssensoren, welche ebenfalls verwendet werden können, sind MEM-Schwingungssen­ soren oder kommerziell verfügbare Laser-Gyroskope. Unter Verwendung der Positionsinformationen und der wenigstens zwei durch das einzige Linsensystem aufgenommenen Bilder kann die Kamera oder ein externer Prozessor ein dreidimen­ sionales Bild, das ein Objekt darstellt, erzeugen.

In der nachfolgenden Beschreibung sind bestimmte Be­ schreibungsteile vorgesehen, um das Verständnis der Erfin­ dung zu erleichtern. Beispielsweise ist beschrieben, daß die Erfindung bestimmte MEMS-Sensortypen, wie beispielsweise mi­ kromechanische Beschleunigungssensoren, verwendet. Es ist jedoch klar, daß andere Positionssensoren oder Bewegungsde­ tektoren verwendet werden können. Insbesondere können GPS- Systeme oder andere Arten von MEMS geeignet sein. Der tat­ sächlich verwendete Sensor hängt von den Kosten des Sensors ab und davon, ob ein Sensor Daten mit einer ausreichenden Genauigkeit bereitstellen kann, von dem Stromverbrauch des Sensors und von der Größe des Sensors. Die enthaltenen De­ tails werden angegeben, um das Verständnis der Erfindung zu erleichtern, und sollten nicht im Sinne einer Einschränkung des Umfangs der Erfindung interpretiert werden.

Eine Betriebsweise des gesamten Systems ist in Fig. 1 veranschaulicht. In Fig. 1 wird eine Kamera 104 verwendet, um ein dreidimensionales Bild eines Objekts 108 zu erzeugen. Die Kamera befindet sich in einer Anfangsposition 112, wenn das erste Bild aufgenommen wird. Nachdem ein erstes Bild aufgenommen ist, wird die Kamera zu einer zweiten Position 116 bewegt. Die Bewegung umfaßt sowohl eine seitliche Ver­ schiebung, die durch den Pfeil 120 veranschaulicht ist, als auch gegebenenfalls eine Rotationsbewegung, die durch den Pfeil 124 veranschaulicht ist. Bei einem Ausführungsbeispiel erfaßt ein Bewegungssensor 128 in der Kamera die seitliche Verschiebung und die Rotation der Kamera. Bei einem Ausfüh­ rungsbeispiel umfaßt der Bewegungssensor 128 zwei MEMS-Sen­ soren, einen MEMS-Sensor, welcher die laterale Beschleuni­ gung 120 umfaßt, und einen zweiten MEMS-Sensor zum Erfassen der Rotation. Bei einem alternativen Ausführungsbeispiel können GPS-Sensoren verwendet werden, um die Position der Kamera zu bestimmen.

Bei einem bevorzugten Ausführungsbeispiel ist der MEMS- Sensor 128 ein Trägheitssensor. Derartige Sensoren basieren auf der Kammstellantriebtechnologie (comb drive actuator technology), die von Howe entwickelt und in einem Artikel mit dem Titel "Laterally Driven Polysilicate Resident Micro Structures" von W. C. Tang, T. C. Nguyen und R. T. Howe, Proceedings IEEE Microelectromechanical Systems Workshop, Salt Lake City, Utah, U.S.A., Februar 1989, S. 53-59 be­ schrieben ist. Ein Beispiel eines geeigneten Beschleuni­ gungssensors ist ein 50N1G-Beschleunigungsmesser von Analog Devices. Analog Devices erzeugt darüber hinaus integrierte BiCMOS-Bauelemente, die mit einem mikromechanischen Sensor vereinigt sind, zum Bestimmen einer Geräterotation. Diese Sensoren werden in fortgeschrittenen Kraftfahrzeugbremssy­ stemen verwendet. Diese Sensoren werden von General Motors vermarktet und sind in dem Artikel "Overview Of MEMS Activities in The U.S." von C. H. Mastrangelo vom Center for Integrated Sensors and Circuits, Department of Electrical Engineering, Universität Michigan, Ann Arbor, Michigan, 48109 beschrieben. Der Artikel von Mastrangelo beschreibt darüber hinaus alternative Ausführungsbeispiele von Bewe­ gungssensoren, die optische Aktuatoren enthalten, welche verwendet werden können, um die Bewegung einer Kamera zu be­ stimmen. Durch Integration der Beschleunigung der Kamera kann eine Geschwindigkeit bestimmt werden. Eine zweite Inte­ gration der Geschwindigkeit erzeugt einen Weg der Kamera. Diese Weginformationen können verwendet werden, um dann, wenn das zweite Bild genommen wird, eine zweite Position 116 einer Kamera 104 in Bezug auf eine erste Position 112 und die Orientierung der Kamera 104 zu bestimmen.

Die relativen Orientierungen und Positionen der Kamera, die sowohl die erste Position 112 als auch die zweite Posi­ tion 116 einschließen, werden entweder in einer Speicherein­ richtung 132 in der Kamera aufgezeichnet, oder die Daten können bei einem alternativen Ausführungsbeispiel in einem externen Speicher, der mit der Kamera gekoppelt ist, gespei­ chert werden. Einige Bewegungssensoren, wie beispielsweise Sensoren, welche die Beschleunigung messen, können keine Po­ sitionsdaten erzeugen. Bei diesen Ausführungsbeispielen wer­ den die Daten, die die Bewegung der Kamera beschreiben, wie beispielsweise die Beschleunigungsdaten, in einem Speicher aufgezeichnet. Zu einem späteren Zeitpunkt verwendet ein Prozessor die Bewegungsdaten, um Positionsdaten zu berech­ nen. Die jeweiligen Bewegungs- oder Positions- und Orientie­ rungsdaten sind so organisiert, daß eine Korrelation jedes aufgezeichneten Bildes mit einer zugehörigen Position, wie beispielsweise der ersten Position 112 oder zweiten Position 116, ermöglicht wird.

Jedes aufgezeichnete Bild kann auf einem fotografischen Film oder, was vorzuziehen ist, unter Verwendung von elek­ tronischen Sensoren 134 aufgezeichnet werden. Bei einem Aus­ führungsbeispiel sind die elektronischen Sensoren Komplemen­ tär-Metall-Oxid-Halbleiter(CMOS-Sensoren). Bei alternativen Ausführungsbeispielen können das Licht erfassende Arrays la­ dungsgekoppelter Bauelement (CCD) oder Photodioden verwendet werden. Die von den elektronischen Sensoren ausgegebenen elektronischen Bilder werden von einer zweiten Speicherein­ richtung 136 gespeichert. Sofern das Bild von einem fotogra­ fischen Film aufgezeichnet wurde, wird das Bild für die wei­ tere Verarbeitung in eine elektronische Form konvertiert. Die Konvertierung kann unter Verwendung eines Scanners oder eines anderen Verfahrens zum Konvertieren chemischer Daten oder von Lichtdaten in elektronische Daten ausgeführt wer­ den. Derartige Scanner sind von verschiedenen Anbietern, wie beispielsweise Hewlett Packard in Palo Alto, Kalifornien, erhältlich. Das digitale Bild wird in der Speichereinrich­ tung 136 gespeichert.

Um ein einziges dreidimensionales Bild aus den zwei Bil­ dern eines Objekts zu erzeugen, liest die Verarbeitungsein­ heit 140 die Bilder und die zugehörigen Positions- und Ori­ entierungsinformationen und rekombiniert sie zu einem einzi­ gen dreidimensionalen Bild. Die Verarbeitungseinheit 140 kann in einer Graphikprozessorkarte implementiert sein. Bei einem anderen Ausführungsbeispiel ist der Prozessor ein all­ gemeiner Mikroprozessor, der ein Programm ausführt, um Gra­ phikverarbeitungsfunktionen zu handhaben. Verschiedene Ver­ fahren zur Verarbeitung von zwei Bildern, um ein 3-D-Bild zu erzeugen, sind beschrieben bei Masatoshi Okutomi und Takeo Kanade, A Multiple-Baseline Stereo, IEEE Transactions on Pattern Analysis and Machine Intelligence, Band 15, Nr. 4, April 1993.

Fig. 2 veranschaulicht ein Ablaufdiagramm, das die Schritte beschreibt, die verwendet werden, um ein 3-D-Bild aus der Kamera gemäß Fig. 1 zu erzeugen. Im Schritt 204 setzt der Benutzer einen Kamerapositionsindikator zurück, bevor das erste Bild aufgenommen wird. Das Rücksetzen des Kamerapositionsindikator löscht vorzugsweise den Speicher 132, der die Ausgangssignale des Bewegungssensors speichert, so daß das erste in einer Sequenz aufgezeichnete Bild sich vorzugsweise bei einem Nullpunkt-Referenzrahmen befindet. Die Kamera zeichnet ein Bild eines Objekts an dem Nullpunkt- Referenzrahmen im Schritt 208 auf. Zu etwa derselben Zeit, zu der das Aufzeichnen des ersten Bildes erfolgt, wird eine zugehörige Position und Orientierung der Kamera im Speicher 132 aufgezeichnet. Bei der Kamera gemäß Fig. 1 erzeugt ein CCD-Array das in dem zweiten Speicher 136 gemäß Fig. 1 ge­ speicherte Bild.

Nachdem die Kamera das erste Bild und zugehörige Positi­ ons- und Orientierungsinformationen aufgezeichnet hat, wird die Kamera im Schritt 212 verschoben. Die Bewegung kann so­ wohl eine seitliche Verschiebung 120 als auch eine Drehbewe­ gung 124 umfassen. Die Kamera kann entweder durch eine Per­ son oder durch eine motorgetriebene Einrichtung bewegt wer­ den. Bei einem Ausführungsbeispiel wird die Kamera entlang einer Spur bewegt, was die Rotationsbewegungen minimiert und Kameraausführungsbeispiele ermöglicht, welche keine Kamera­ orientierung messen. Während der Bewegung zeichnet ein Sen­ sor, vorzugsweise ein MEMS-Sensor, die Bewegung und Rotation der Einrichtung im Schritt 216 auf. Bei einem Ausführungs­ beispiel der Erfindung zeichnet der MEMS-Sensor die Be­ schleunigung auf und integriert die Beschleunigung, um eine Verschiebung zu erzeugen. Die aufgezeichneten Beschleuni­ gungs-, Rotations- oder Verschiebungsinformationen werden in einer Speichereinrichtung gespeichert.

Wenn die Kamera eine zweite Position erreicht hat, zeichnet die Kamera ein zweites Bild des Objekts auf. Wenn das zweite Bild aufgezeichnet wird, verwendet die Kamera In­ formationen aus dem Bewegungssensor und zeichnet eine Kame­ raposition und -orientierung auf, die dem zweiten Bild ent­ spricht. Die Positions- und Orientierungsinformationen wer­ den in einer Positions- und Orientierungsspeichereinrichtung 132 gespeichert. Das zweite Bild und das erste Bild müssen einen ausreichenden Grad der Objektüberlappung aufweisen, so daß der Prozessor in der Lage ist, die sich überlappenden Bereiche zu rekonstruieren und ein dreidimensionales Bild zu erzeugen.

Die vorgenannte Sequenz der Schritte 204 bis 220 be­ schrieb ein System, wie es bei einer Standbildkamera verwen­ det wird. Es ist vorgesehen, daß ein MEMS- oder Bewegungs­ sensor in einer Videokamera installiert werden kann und viele Bilder aufgenommen werden, wenn sich die Kamera be­ wegt. Jedes Bild entspricht einem Satz von Positionsdaten, die aus durch die Bewegungssensoren aufgezeichneten Informa­ tionen erzeugt werden. Diese Bilder können dann mit Nachbar­ bildern rekonstruiert werden, um die Neu-Erzeugung einer sich bewegenden 3-D-Graphik zu ermöglichen. Die bei der Re­ konstruktion eines derartigen sich bewegenden Bildes be­ schriebenen Techniken werden durch die wiederholten Itera­ tionen der Schritte 204 bis 220 und einer Reihe von Rekon­ struktionsschritten, die durch den Prozessor ausgeführt wer­ den, durchgeführt. Im Schritt 224 werden die von dem Bewe­ gungssensor erzeugten Positions- und Orientierungsinforma­ tionen zusammen mit den zugehörigen aufgezeichneten Bildern an einen Prozessor übertragen.

Fig. 3 ist ein Ablaufdiagramm, das die von dem Prozes­ sor oder der Verarbeitungseinrichtung 140 durchgeführten Schritte beschreibt, um ein dreidimensionales Bild aus den zweidimensionalen Bildern und zugehörigen Positions- und Orientierungsdaten zu rekonstruieren. Im Schritt 304 emp­ fängt der Prozessor die Positions- und Orientierungsinforma­ tionen und die zugehörigen Bilddaten aus der Kamera. Dann bestimmt der Prozessor im Schritt 308 korrespondierende Punkte in dem ersten und dem zweiten Bild. Korrespondierende Punkte sind Punkte in verschiedenen Bildern oder Perspekti­ ven, welche sich auf den gleichen Punkt auf einem Objekt be­ ziehen. So ist ein korrespondierender Punkt ein Punkt oder ein Pixel in dem ersten Bild, welcher bzw. welches einem Punkt auf dem Objekt entspricht, und ein zweiter Punkt oder ein zweites Pixel in dem zweiten Bild, welcher bzw. welches demselben Punkt auf dem Objekt entspricht. Beispielsweise kann die Nasenspitze einer Person ein korrespondierender Punkt in sowohl einem ersten als auch einem zweiten Bild sein. Bei einem Ausführungsbeispiel der Erfindung wird eine Mustererkennungssoftware verwendet, um korrespondierende Punkte zu bestimmen. Eine zweite einfachere Methode des Be­ stimmens korrespondierender Punkte involviert einen Endbe­ nutzer, welcher einen Punkt in dem ersten Bild auswählt, wo­ bei er den ersten Punkt unter Verwendung einer Maus oder ei­ ner anderen Zeigereinrichtung auswählt oder "anklickt", und auf den zugehörigen Punkt in dem zweiten Bild "klickt" oder diesen auswählt. Im Schritt 312 werden die ausgewählten kor­ respondierenden Punkte und ihre x, y-Koordinaten in einer Speichereinrichtung aufgezeichnet. Die Aufzeichnung ist ty­ pischerweise eine zweidimensionale Aufzeichnung, da für je­ den Punkt eine x- und y-Koordinate aufgezeichnet werden müs­ sen.

Im Schritt 316 wird die Distanz von der Kamera zu einem identifizierten Punkt auf dem Objekt bestimmt. Die Distanz oder der Abstand kann bestimmt werden, weil die erste Kame­ raposition, die zweite Kameraposition und der identifizierte Bildpunkt ein Dreieck bilden. Eine Seite eines Dreiecks stellt die Distanz dar, die sich die Kamera bewegte, oder den Abstand zwischen der ersten Kameraposition und der zwei­ ten Kameraposition, welche bzw. welcher bekannt ist. So ist die Dimension einer Seite des Dreiecks bekannt. Darüber hin­ aus erfaßt der Mikrosensor die Rotation der Kamera, während sich die Kamera von der ersten Position zu der zweiten Posi­ tion bewegte. Somit ist die Winkelverschiebung der Kamera in Bezug auf den Objektpunkt ebenfalls bekannt. Unter Verwen­ dung der Trigonometrie kann der Abstand zwischen jeder Kame­ raposition und dem identifizierten Bildpunkt bestimmt wer­ den, um eine z-Dimension zu erzeugen.

Im Schritt 320 erzeugt der Prozessor die dritte z-Dimen­ sion. Die z-Dimension wird in Beziehung zu dem ausgewählten Koordinatenrahmen gesetzt. Sobald ein kartesisches x, y-Koor­ dinatensystem ausgewählt wird, ist die z-Dimension spezifi­ ziert und typischerweise senkrecht zur Ebene des x, y-Koordi­ natensystems. Die z-Koordinate kann unter Verwendung des Ab­ stands vom Bildpunkt zur Kamera, der Kameraorientierung und des ausgewählten Koordinatensystems bestimmt werden. Die neuen x, y, z-Koordinaten für jedes korrespondierende Paar von Koordinaten werden in einem Feld in der Speichereinrichtung gespeichert, das den zugehörigen Punkten zugeordnet ist.

Die Schritte 316 und 320 werden für jedes Paar korre­ spondierender Punkte in dem ersten und dem zweiten Bild wie­ derholt. Nach jeder Verarbeitung eines Paars korrespondie­ render Punkte bestimmt das System, ob die korrespondierenden Punkte, die zuvor verarbeitet wurden, den letzten Satz kor­ respondierender Punkte in einem Bild darstellen. Sofern es weitere zu verarbeitende korrespondierende Punkte gibt, kehrt das System zum Schritt 316 zurück. Wenn das System ei­ nen vollständigen Satz von x, y, z-Koordinaten für jeden kor­ respondierenden Punkt in einem Bild abgeschlossen hat, kann der Prozessor ein Netz (Maschen) von Dreiecken aufbauen, welche sich nicht überlappen und welche die Punkte sämtli­ cher 3-D-Aufzeichnungen zu einer zweidimensionalen Oberflä­ che im 3-D-Raum verbinden. Die Konstruktion der Netzdreiecke kann unter Verwendung einer strukturierten Lösung des Anord­ nens von Punkten auf einem regelmäßigen Raster ausgeführt werden. Der Delaunai-Algorithmus kann ebenfalls verwendet werden, um das Maschendreieck zu rekonstruieren. Der De­ launai-Algorithmus ist im Stand der Technik gut bekannt und wird somit in dieser Anmeldung nicht im Detail beschrieben.

Im Schritt 332 konstruiert der Prozessor eine Datenbank aus den x, y, z-Datensätzen und dem Dreiecknetz, um das 3-D- Bild zu beschreiben. Der Computer kann darüber hinaus Be­ schreibungen der Oberfläche hinzufügen, so daß das Programm simulieren kann, wie das Objekt aus verschiedenen Winkeln aussieht. Bei einem Ausführungsbeispiel der Erfindung gibt der Prozessor eine Beschreibung aus, wie beispielsweise eine Virtuelle-Welt(WRL)-Datei, welche ein übliches Format für 3- D-Daten im Internet ist. 3-D-Dateien zur Verwendung bei gra­ phischen Betrachtungsprogrammen durch andere Anbieter können ebenfalls verwendet werden, um die Bilder anzuzeigen. Ein typisches 3-D-Betrachtungsprogramm ist "True Space" der Calligri Company.

Der in dem Ablaufdiagramm gemäß Fig. 3 beschriebene Prozeß gestattet es, daß ein dreidimensionales Bild aus zwei Sätzen zweidimensionaler Daten erzeugt wird. Die zweidimen­ sionalen Daten wurden durch eine Kamera erzeugt, welche ein erstes Bild an einer ersten Position nahm. Bewegungssensoren erfaßten die Bewegung und Rotation oder die Position der Ka­ mera, als sich die Kamera zu einer zweiten Position bewegte, an der ein zweites Bild aufgenommen wurde. Durch Verarbei­ tung der Bild- und Positionsinformationen erzeugte ein Pro­ zessor ein 3-D-Bild.

Das beschriebene System reduziert die Kosten, da weniger Geräteausrüstung erforderlich ist. Insbesondere wird nur ein Linsensystem benötigt. Ein einziges Linsensystem macht das System weniger sperrig als bekannte 3-D-Bildgebungssysteme.

Schließlich ist das beschriebene System für Videokameras ge­ eignet, bei welchen mehrere Bilder aufgenommen werden. Diese mehreren Bilder könnten kombiniert werden, um eine 3-D-Bild­ datenbank zu erzeugen. Das beschriebene System kann weiter verfeinert werden, um die Bedienung zu vereinfachen und die Datengewinnungskapazität der Kamera 104 zu verbessern. Fig. 4 ist ein Ablaufdiagramm, das ein Verfahren zum Unterstützen eines Benutzers zum Verbessern der Datengewinnungskapazität der Kamera 104 beschreibt. Im Schritt 404 nimmt die Kamera ein erstes Bild eines Objekts von einem ersten Ort aus auf. Im Schritt 408 mißt die Kamera die Distanz von dem Objekt zu dem Kamera-"Sucher" und zeichnet sie auf. Die Kamera kann dann damit fortfahren, optimale Kamerapositionen zu berech­ nen, aus welchen nachfolgende Bilder aufgenommen werden sol­ len. Es ist vorzuziehen, daß nachfolgende Bilder zur Erzeu­ gung eines 3-D-Bildes aus etwa dem gleichen Abstand von ei­ nem Objekt heraus aufgenommen werden. So würde eine Kamera vorzugsweise einen etwa konstanten Abstand von einem Objekt halten, wobei sie sich in einem Kreis um das Objekt herum bewegt.

Es können eine Reihe von Techniken verwendet werden, um den Abstand der Kamera von dem Objekt zu bestimmen, die eine Einrichtung zur automatischen Entfernungsmessung einschlie­ ßen. Eine derartige Einrichtung zur automatischen Entfer­ nungsmessung kann Bildsensordaten, Infrarotsignale oder Schallsignale benutzen, um den Abstand der Kamera von dem Objekt zu bestimmen. Bei einem automatischen Entfernungsmeß- Schallsignal-System emitiert ein Sender in der Kamera einen Schallimpuls. Ein Empfänger in der Kamera erfaßt die Refle­ xion des Schallimpulses von dem Objekt. Die Zeitdifferenz zwischen der Emission des Impulses bis zum Empfang der Schallimpulsreflexion wird verwendet, um den Abstand des Ob­ jekts von der Kamera zu bestimmen.

Im Schritt 412 beginnt die Kamera eine Bildaufnahmese­ quenz. Orientierungsmessungen werden vorgenommen, um die Orientierung der Kamera zu bestimmen. Vorzugsweise wird die Orientierung der Kamera so aufrechterhalten, daß die Linse stets dem Objekt zugewandt ist.

Im Schritt 416 fordert die Kamera den Benutzer auf, sich zu bewegen. Bei einem Ausführungsbeispiel können die Auffor­ derungen in Form von in dem Kamerasucher angezeigten Pfeilen gegeben werden. Die Pfeile fordern einen Benutzer auf, die Kamera in eine bestimmte Richtung zu bewegen oder die Kamera in eine bestimmte Orientierung zu drehen. Die Pfeile können unter Verwendung einer Flüssigkristallanzeige (LCD) ange­ zeigt werden. Eine automatische Entfernungsmeßeinrichtung kann verwendet werden, um Signale an einen Prozessor bereit­ zustellen. Der Prozessor steuert die Anzeige, um Signale auszugeben, die den Benutzer auffordern, einen näherungswei­ se konstanten Abstand zu dem abgebildeten Objekt zu halten. Bei einem alternativen Ausführungsbeispiel kann ein Ton- oder Sprachsignal verwendet werden, um dem Benutzer mitzu­ teilen, daß er die Kamera in eine bestimmte Richtung bewegen oder die Kamera in eine bestimmte Orientierung drehen soll.

Im Schritt 420 bestimmt die Kamera, ob sich die Kamera innerhalb eines Toleranzabstands von einer optimalen Positi­ on befindet. Wenn die Kamera nicht innerhalb des Toleranzab­ stands gegenüber der optimalen Position ist, kehrt die Kame­ ra zum Schritt 416 zurück, in dem sie den Benutzer auffor­ dert, mit dem Einstellen der Kameraposition fortzufahren. Sofern im Schritt 420 festgestellt wird, daß sich die Kamera innerhalb des Toleranzabstands befindet, zeichnet die Kamera ein zweites oder nachfolgendes Bild des Objekts im Schritt 424 auf.

Im Schritt 428 bestimmt die Kamera, ob sämtliche für ei­ ne Datenbank erforderlichen Bilder aufgezeichnet worden sind. Die Anzahl der benötigten Bilder wird durch die Anzahl der gewünschten Perspektiven des Objekts und die gewünschten Details des endgültigen 3-D-Bildes bestimmt. Wenn weitere Bilder erforderlich sind, kehrt die Kamera zum Schritt 416 zurück, um den Benutzer aufzufordern, sich zu einer nachfol­ genden Position zur Aufzeichnung eines nachfolgenden Bildes zu bewegen. Wenn im Schritt 428 festgestellt wird, daß eine ausreichende Anzahl von Bildern aufgezeichnet worden ist, ist die Kamera fertig und ein 3-D-Bild kann rekonstruiert werden.

Während bestimmte Ausführungsbeispiele im Detail be­ schrieben und in den begleitenden Zeichnungen gezeigt wur­ den, ist es klar, daß diese Ausführungsbeispiele die breite Erfindung nur veranschaulichen und nicht einschränken sol­ len, und daß diese Erfindung nicht auf die gezeigten und be­ schriebenen speziellen Anordnungen und Konstruktionen einge­ schränkt ist, da verschiedene andere Modifikationen Fachleu­ ten in den Sinn kommen können.

Claims (18)

1. System zum Erzeugen eines dreidimensionalen Bildes, aufweisend:
eine Bildaufnahmeeinrichtung, die so konfiguriert ist, daß sie ein erstes Bild eines Objekts an einem ersten Ort und ein zweites Bild des Objekts an einem zweiten Ort auf­ zeichnet;
Sensoren zum Erfassen der Orientierung der Bildaufnahmeeinrichtung am ersten und am zweiten Ort und zum Erfassen der Bewegung der Bildaufnahmeeinrichtung von dem ersten Ort zu dem zweiten Ort und Mittel zum Aufzeichnen der Orientierungsdaten und der Verschiebungsdaten, die die Be­ wegung der Bildaufnahmeeinrichtung wiedergeben und Daten ei­ ner seitlichen Verschiebung einschließen; und
einen Prozessor, der so konfiguriert ist, daß er korre­ spondierende Punkte in dem ersten Bild und dem zweiten Bild auswählt, die demselben Punkt auf dem Objekt entsprechen, und ein dreidimensionales Bild des Objekts durch Kombinieren des ersten Bilds und des zweiten Bilds unter Verwendung der korrespondierenden Punkte und der Verschiebungsdaten er­ zeugt.

2. System nach Anspruch 1, dadurch gekennzeichnet, daß der Bewegungssensor ein MEMS-Sensor ist.

3. System nach Anspruch 1, dadurch gekennzeichnet, daß der Bewegungssensor ein Globalpositionssystemsensor ist.

4. System nach Anspruch 1, dadurch gekennzeichnet, daß der Bewegungssensor ein Laser-Gyrometer ist.

5. System nach Anspruch 1, dadurch gekennzeichnet, daß die Bildaufnahmeeinrichtung ferner aufweist:
ein Linsensystem; und
ein Array von elektronischen Sensoren zum Erzeugen eines elektronischen Bildes.

6. System nach Anspruch 5, dadurch gekennzeichnet, daß die elektronischen Sensoren Teil eines Arrays ladungsgekop­ pelter Bauelemente sind.

7. System nach Anspruch 5, dadurch gekennzeichnet, daß die elektronischen Sensoren Teil eines Komplementär-Metall- Oxid-Halbleiter-Sensors sind.

8. System nach Anspruch 1, dadurch gekennzeichnet, daß die Bildaufnahmeeinrichtung eine Videokamera ist.

9. Verfahren zum Erzeugen eines dreidimensionalen Bil­ des, umfassend:
Aufzeichnen eines ersten Bildes eines Objekts unter Ver­ wendung einer Bildaufnahmeeinrichtung an einem ersten Ort;
Bewegen der Bildaufnahmeeinrichtung zu einem zweiten Ort;
Erfassen der Bewegung der Bildaufnahmeeinrichtung und Aufzeichnen der Bewegungsdaten, die eine seitliche Verschiebung einschließen und ausreichend sind, um die Position und Orientierung der Bildaufnahmeeinrichtung an dem zweiten Ort in Bezug zur Position und Orientierung an dem ersten Ort zu bestimmen; wobei die Verschiebungsdaten Daten der seitlichen Verschiebung einschließen;
Aufzeichnen eines zweiten Bildes unter Verwendung der Bildaufnahmeeinrichtung an dem zweiten Ort;
Auswählen korrespondierender Punkte in dem ersten Bild und dem zweiten Bild, die demselben Punkt auf dem Objekt entsprechen; und
Kombinieren des ersten Bildes und des zweiten Bildes un­ ter Verwendung der korrespondierenden Punkte und der Ver­ schiebungsdaten, um ein dreidimensionales Bild zu erzeugen.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß beim Erzeugen des dreidimensionalen Bildes eine z-Dimen­ sion für jeden der korrespondierenden Punkte berechnet wird.

11. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß beim Aufzeichnen der Daten, die ausreichend sind, um den ersten Ort und einen zweiten Ort nach der Bewegung zu defi­ nieren, eine Beschleunigung erfaßt wird; und die Beschleuni­ gung und die Zeitdauer der Beschleunigung aufgezeichnet wer­ den, um es einem Prozessor zu ermöglichen, einen Weg zu be­ rechnen.

12. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß beim Aufzeichnen der Daten, die ausreichend sind, um den ersten Ort und einen zweiten Ort nach der Bewegung zu defi­ nieren, eine Position unter Verwendung eines Globalpositio­ nierungssystemsensors bestimmt wird.

13. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß ein Netz von Dreiecken erzeugt wird, um eine dreidimen­ sionale Oberfläche zu simulieren.

14. Verfahren zum Erzeugen eines dreidimensionalen Bil­ des nach Anspruch 9, dadurch gekennzeichnet,
daß die Bildaufnahmeeinrichtung eine Kamera ist,
daß beim Aufzeichnen des ersten Bildes ein erster Ab­ stand des Objekts von der Kamera gemessen wird,
daß nach dem Aufzeichnen des ersten Bildes ein Benutzer der Kamera aufgefordert wird, die Kamera zu dem zweiten Ort zu bewegen, der sich in einem zweiten Abstand von dem Objekt befindet, wobei der zweite Ort sich an einer aus dem ersten Abstand berechneten optimalen Kameraposition befindet, und
daß der Benutzer nach dem Aufzeichnen des zweiten Bildes aufgefordert wird, die korrespondierenden Punkte auszuwäh­ len.

15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, daß der zweite Ort etwa den gleichen Abstand von dem Objekt hat wie der erste Ort.

16. Das Verfahren nach Anspruch 14, dadurch gekennzeich­ net, daß beim Auffordern des Benutzers, die Kamera zu dem zweiten Ort zu bewegen, der Benutzer aufgefordert wird, die Kamera in eine bestimmte Richtung zu bewegen, oder er aufge­ fordert wird, die Kamera in eine bestimmte Orientierung zu bewegen.

17. Verfahren nach Anspruch 14, dadurch gekennzeichnet, daß nach dem Bewegen der Kamera bestimmt wird, ob sich die Kamera innerhalb eines Toleranzabstands von der optimalen Kameraposition befindet.

18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, daß dann, wenn sich die Kamera nicht innerhalb des Toleranz­ abstands befindet, der Benutzer aufgefordert wird, mit dem Einstellen der Kameraposition fortzufahren.